mindcollapse.com

Многим известно, что твиттер стал знаменитым не только по причине своей простоты и какой-то супер идеи, но и благодаря уникальному, интуитивно понятному для разработчика с IQ выше шимпанзе-олигофрена, но в то же время мощному API на котором появилось уже OVER 9000 разных клиентов, сервисов, сайтов, которые собственно этот API и используют. Так вот, мне стало интересно получать статистику этих самых клиентов: кто круче и на гребне волны, другими словами. Данные можно было воровать вагонетками без какой-либо авторизации в xml, json, rss или atom обычным GET запросом. За 10 минут на левой коленке был собран маленький перловый демон с кучей ненужного мусора и кривой логикой (исходный код), который распарсивал xml, доставал ссылку клиента, его название и всовывал все это в БД. Единственной проблемой оказалось то, что данные этого запроса твиттером кешируются на 1 минуту - статистика собиралась очень медленно и рандомно, и я уже почти положил пенис, как увидел внизу доков линк на Streaming API. Как оказалось, существует некая альфа-версия интерфейса, позволяющая собирать данные http-потоком с довольно жирным рейтом. На написания следующего рогатого с вилами демона ушло еще меньше времени, зато эта версия вообще была лишена ненужной хуйни и конфети (исходный код). While (1) в принципе и не нужен, LWP и так зацикливается, качая данные из потока, но я заметил, что стриммер твиттера иногда обрывает соединение 2-3 раза в сутки, так что мера предосторожности не помещает.