Озадачился я недавно проблемой сбора различной статистики в iTunesConnect. В большей степени хотелось иметь быстро доступную и что важнее, полную статистику скачиваний. Портал iTunesConnect дает возможность просматривать и скачивать недельные sales reports за последние три месяца, а дневные за последний месяц. Таким образом, со временем часть статистики теряется, что не есть хорошо. Решение напрашивается само: создать некий механизм, который будет ежедневно собирать данные и сохранять их в базу. Далее уже можно всякие красивости наводить типа визуализации/аналитики. Ко всему прочему, можно попутно сохранять текущее состояние приложений, что может быть полезно, если какие-либо приложения в состоянии Waiting For Review.   Обдумывая задачу я, естественно, проводил поиски готовых решений, но как-то не сказать, чтобы успешно — почему-то эта идея мало кого заботит. Хотя есть целый пресс iOS-приложений, которые позволяют все это наблюдать прямо со своего девайса. Удобно? Не спорю. Но меня не устраивает ограниченность функционала (всегда проще сделать самому и не ограничивать себя ни в чем), а также локальность хранения данных. Не знаю почему, но мне спокойнее, когда данные хранятся централизовано, и когда я имею над ними полный контроль. К тому же такое приложение может обеспечить целостность отчетов только в том случае, если постоянно запускать ее хотя бы раз в день. Иначе в бэкграунде никаких обновлений происходить не может. И так, решено, будем делать iTunesConnect scraper. Scrapping — модное словечко (от англ. to scrape — соскребать), означающее процесс сбора информации из общедоступного источника, такого, как веб-сайт. Ярким примером скрейпера могут служить поисковые роботы типа Google и Яндекс, которые индексируют веб-сайты всего интернета. Наш робот будет индексировать всего один сайт — http://itunesconnect.apple.com.

Забегая вперед, в конечном виде это все может выглядеть так (изображение кликабельно): Публичного API itunesconnect не предоставляет по политическим соображениям, поэтому нам придется программного воспроизводить действия пользователя в браузере, то есть, авторизоваться в системе, распарсить ответ, кликнуть нужные ссылки, скачать контент, опять его распарсить и сложить в базу. Как вообще реализуются подобное? Если сайт не очень сложный, основанный на классическом HTTP GET/POST, то можно методом анализа контента веб-страниц. Но таких сайтов в современности уже практически не осталось, и уж тем более портал iTunesConnect не из их числа. Сейчас балом правят javascript, ajax, а также наступает эпоха HTML5. Анализировать всю механику ajax’a классическим способом очень сложно — изучение километров javascript’а занятие не для слабонервных. В этой ситуации на помощь приходит второй метод — синффинг. Берем в руки любимую сниффер-утилиту (для прослушки сетевого трафика), производим в браузере необходимые действия, смотрим, что браузер отсылает на сервер, и что сервер ему возвращает. Далее воспроизводим все это программно. iTunesConnect имеет современный web2.0 интерфейс, поэтому вариант с анализом javascript отпадает сразу. Однако и сниффинг также не 100% вариант, поскольку портал работает по HTTPS(secured), а это значит, что весь трафик шифруется асимметричным ключом, поэтому в снифере мы увидим бессмыслицу. Что делать? Я нашел решение в неочень мною любимом FireFox. Для него написан хороший плагиин temperdata. Ну а дальше дело техники. Не буду расписывать подробно код, надеюсь, он достаточно прокомментирован и не вызовет затруднений. Скачать PHP iTunes scraper можно здесь (решил в этот раз залить проект в репозиторий code.google.com — смотрю, это модно). Для хранения информации о приложениях и отчетов в базе нам понадобится пара таблиц:

CREATE TABLE  `apps`.`itc_apps` (
  `Title` varchar(255) NOT NULL DEFAULT '',
  `SKU` varchar(255) NOT NULL DEFAULT '',
  `BundleId` varchar(255) NOT NULL DEFAULT '',
  `AppleId` varchar(64) NOT NULL DEFAULT '',
  `AppType` varchar(64) NOT NULL DEFAULT '',
  `DefaultLanguage` varchar(64) NOT NULL DEFAULT '',
  `AppstoreLink` varchar(255) NOT NULL DEFAULT '',
  `cver_version` varchar(16) DEFAULT NULL,
  `cver_status` varchar(32) DEFAULT NULL,
  `cver_status_color` varchar(16) DEFAULT NULL,
  `cver_date_created` int(11) DEFAULT NULL,
  `cver_date_released` int(11) DEFAULT NULL,
  `nver_version` varchar(16) DEFAULT NULL,
  `nver_status` varchar(32) DEFAULT NULL,
  `nver_status_color` varchar(16) DEFAULT NULL,
  `nver_date_created` int(11) DEFAULT NULL,
  `nver_date_released` int(11) DEFAULT NULL,
  `creation_date` int(11) NOT NULL DEFAULT '0',
  `update_date` int(11) NOT NULL DEFAULT '0',
  PRIMARY KEY (`Title`,`BundleId`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8

CREATE TABLE  `apps`.`itc_sales` (
  `Provider` varchar(255) NOT NULL DEFAULT '',
  `ProviderCountry` varchar(255) NOT NULL DEFAULT '',
  `SKU` varchar(255) NOT NULL DEFAULT '',
  `Developer` varchar(255) NOT NULL DEFAULT '',
  `Title` varchar(255) NOT NULL DEFAULT '',
  `Version` varchar(255) NOT NULL DEFAULT '',
  `ProductTypeIdentifier` varchar(255) NOT NULL DEFAULT '',
  `Units` int(11) NOT NULL DEFAULT '0',
  `DeveloperProceeds` float NOT NULL DEFAULT '0',
  `BeginDate` int(11) NOT NULL DEFAULT '0',
  `EndDate` int(11) NOT NULL DEFAULT '0',
  `CustomerCurrency` varchar(255) NOT NULL DEFAULT '',
  `CountryCode` varchar(255) NOT NULL DEFAULT '',
  `CurrencyOfProceeds` varchar(255) NOT NULL DEFAULT '',
  `AppleIdentifier` varchar(255) NOT NULL DEFAULT '',
  `CustomerPrice` float NOT NULL DEFAULT '0',
  `PromoCode` varchar(255) DEFAULT NULL,
  `ParentIdentifier` varchar(255) DEFAULT NULL,
  `Subscription` varchar(255) DEFAULT NULL,
  `Period` varchar(255) DEFAULT NULL,
  `creation_date` int(11) NOT NULL DEFAULT '0',
  `update_date` int(11) NOT NULL DEFAULT '0'
) ENGINE=MyISAM DEFAULT CHARSET=utf8

Сбором информации занимается скрипт itc_scraper.php. Для работы необходимо сконфигурировать файл config.php. Здесь можно указать параметры подключения к базе данных, список логинов для iTunesConnect со списком наблюдаемых приложений, а также еще некоторые вещи (описание есть внутри). Сам скрипт помимо сохранения данных в базу создает на диске агрегированный срез данных. Информация хранится в папке meta в виде сериализованных php-объектов, таким образом, для веб-скрипта визуализации не требуется подключения к базе — вот такая у меня прихоть. Вот пример того, как я оформил визуализацию. Скрипт пользуется только данными из папки meta. пс. Сейчас подумываю написать вслед простенькое iOS-приложеньице, которое будет обращаться на сервер за данными и отображать их. Не надо городить сложный парсиинг на Objective-C. Если фантазировать, можно прикрутить концепцию репозиториев, чтобы можно было наблюдать за разными множествами логинов/приложений. К примеру, мне было бы удобно раздельно держать статистику для аккаунтов по работе и своих собственных, поскольку по работе смотрят еще и менеджеры по продажам, а давать им инфу по своим делам мне совсем ни к чему))