Publications / Техническая реализация Торф ТВ

• Портрет — авторские интервью
• Братья в хлам — выпуски посвящены культуре потребления алкоголя
• Взгляд на звук — выпуски посвящены событиям и персонам из мира музыки
• Конец географии — выпуски о путешествиях и различных уголках мира
• Любимый стих — гости читают свои любимые стихотворения
• Первая лит-ра — выпуски посвящены литературе
• Третья смена — профессионалы своего дела рассказывают о том, что и почему они делают

С точки зрения антропологии наиболее интересны выпуски Портрет и Братья в хлам. Так, в первой категории выпусков человек говорит то, что он хочет сказать, а во второй - то что он сказать может. Оба формата зачастую позволяют за 5 минут сказать человеку больше, чем он сам предполагает. Зрительская аудитория канала  — это люди, которым интересны не только и не столько вопросы культуры, как возможность проследить ход мысли, оторванной от контекста и времени, актуальной в любую эпоху и в любой точке мира, поэтому, видеосюжеты на Торфе — это не оперативная хроника того, что случается в культурной жизни, а обзор того, что внезапно попадает в поле зрения авторского коллектива или приглашенных персонажей. Иногда, сюжеты могут быть из прошлого или из будущего, это ни как не влияет на их актуальность.

▌Реализация

Когда мы начинали разработку ИТ-части проекта, перед нами стояло несколько задач:

• ресурс должен быть реализован с использованием HTML5 и позволять проигрывать видео на любых устройствах, поддерживающих стандарт
• видео должно быть доступно по всему миру, в хорошем качестве и без задержек проигрывания
• процедура обслуживания проекта должна быть максимально автоматизированна

Сегодня, в результате проб и экспериментов мы пришли к наиболее оптимальной, на наш взгляд архитектуре проекта:

Посмотрим, как же все это работает и почему мы сделали именно так.

▌Плеер

Для проекта был разработан собственный HTML5/JS плеер, поддерживающий основные видео-форматы:

• ogg — открытый стандарт формата медиаконтейнера, являющийся основным файловым и потоковым форматом для кодеков фонда Xiph.Org. Видео в данный формат кодировалось для пользователей с браузерами Firefox до 4 версии и Opera до 10.6
• mp4 — формат медиаконтейнера, являющийся частью стандарта MPEG-4. Этот формат поддерживается большинством браузеров и, судя по статистике, видео именно в этом формате чаще всего загружаются для просмотра
• webm— открытый формат мультимедиа, представленный компанией Google на конференции Google I/O 19 мая 2010 года. Формат не требует лицензионных отчислений, основан на открытых видеокодеке VP8. Использовался в качестве альтернативного кодека, так как предполагалось более широкое распространение стандарта.

Для каждого формата мы создаем 4 варианта видео в с разным разрешением:

• SD - для пользователей с низкой скоростью интернета и для мобильных телефонов
• HD - данный режим включен по умолчанию для просмотра видео в режиме плеера
• HD720 - подходит для просмотра видео в полноэкранном режиме
• HD1080 - поддержка такого разрешения появилась чуть позже, для тех, кто смотрит выпуски с устройств типа Smart TV и экранов большого разрешения

По статистике больше всего просмотров приходится на видеофайлы в формате mp4 с разрешением HD и SD.

▌Подготовка видео и его публикация

Над выпусками работает команда состоящая из нескольких монтажеров. Монтажеры находятся в разных городах и работают удаленно. У каждого из них есть FTP доступ к серверу кодирования (media encoding server). Вместе с оригинальным (сырым) видео-файлом монтажер также загружает на сервер текстовый файл с описанием выпуска и постер к видео, который отображается на главной странице. После того, как видео загружено на сервер по FTP начинается запускается процесс автоматического кодирования видео:

1. На сервере кодирования, при помощи специально разработанной программы, происходит конвертация видео в различные форматы и разрешения.
2. После завершения кодирования видео, программа начинает загрузку видео в Azure Blob Storage, откуда в последствии файлы попадают на локальные сервер Azure CDN.
3. После завершения загрузки отправляется запрос веб-приложению на добавление нового выпуска.
4. При получении вызова веб-приложением выполняется процедура добавления информации о видео в базу данных и выпуск попадает на сайт.

▌Переход в облака

Когда мы только начинали разработку, сайт был развернут на обычном выделенном сервере, и на первых порах, этого было вполне достаточно. Однако со временем, стало понятно, что у обычного сервера есть несколько недостатков:

1. в первую очередь это касалось файлов с видео - скорость загрузки выпусков оставляла желать лучшего
2. вторая проблема была связанна с тем, что ресурс по сути работает в режиме пиковых нагрузок - активность посетителей максимальная при выходе нового выпуска, и минимальна между выпусками. Таким образом, нужно либо приобретать более мощный сервер, ресурсы которого большую часть времени будет простаивать, либо переходить на платформу, которая поддерживает автоматическое масштабирования.

Изначально, для решения проблем со скоростью загрузки выпусков мы решили воспользоваться услугами компании CDN.UA, которая предоставляет услуги доставки контента на территории Украины. К слову сказать, ребята там работают очень профессиональные и для нашего проекта они даже сделали несколько специфических настроек на своих серверах, которые позволили нам загружать видео в свой собственный HTML-5 плеер, а не использовать предлагавшийся ими изначально flash-плеер. На этом этапе для украинских зрителей проблемы с просмотром исчезли практически полностью. Но вот для тех, кто смотрел выпуски из Грузии, Израиля и других стран задержки при просмотре никуда не делись. Поэтому следующим шагом было решено перенести видео в международную сеть доставки контента. Сначала выбор пал на Rackspace CDN, который в свою очередь использует ресурсы сеть Akamai. Но в последствии, мы столкнулись с той проблемой, что загрузка файлов на сервера Rackspace происходит слишком долго. К тому же, давно было желани консолиировать все сервисы в рамках единой платформы. Поэтому спустя год, было принято решение перенести весь медиа-контент в Azure CDN.

В связи с переездом на новую платформу нам пришлось слегка обновить программу загрузки видео. Так если на CDN.UA мы загружали видео через FTP, то для загрузки его на Rackspace мы использовали openstack. SDK. А после преноса файлов в Azure CDN, мы соотвественно стали использовать Azure SDK.  После того, как видео-контент был перенесен в CDN, настал черед сайта. Сейчас нагрузки на веб-сервер достаточно маленькие, по сравнению с нагрузками, которые были изначально при раздаче видео, но учитывая то, что количество посетителей как и прежде неравномерно, было решено мигрировать сайт в облачную платформу. Сейчас сайт развернут в Microsoft Azure в службе WebSites. Для сайта поддерживается балансировка нагрузки и автоматическое масштабирование ресурсов в случае внезапного возрастания количества посетителей. Из интересных момент, хочется отметить, что сайт имеет два режима отображений — ночной и дневной, который автоматически меняется, в зависимости от времени суток.

▌Процесс разработки и поддержки проекта

Хотя команда разработчиков проекта и небольшая (изначально было 4 человека, сейчас активно участвует в написании кода только 2 человека), процесс разработки и публикации проекта было решено максимально оптимизировать. Исходный код проекта мы храним в приватном репозитории Bitbucket. Сам проект, как уже было сказано ранее хостится в службе Azure Website. И что нас очень радует, эта служба позволяет настроить процесс автоматического развертывания проекта из GitHub и Bitbucket (на самом деле количество источников гораздо больше, и поддерживается даже публикация из Dropbox). В azure у нас существует два веб-сайта:

• test - развертывание в который происходит из ветки master
• production - развертывание в который происходит из ветки cloud

При попадании нового коммита в соответствующий бранч происходит автоматический билд проекта, и в случае его успешного завершения - публикация новой версии сайта. В случае же, если по какой-то причине проект не был успешно собран в облачном окружении, мы всегда можем посмотреть узнать причину этого, ознакомившись с логами развертывания :

Впрочем, за все время нам эта возможность пригодилась только один раз, при первоначальном развертывании проекта в облаке.

▌Мобильные клиенты

Примерено через год после старта проекта мы поняли, что многим зрителям было бы удобнее смотреть выпуски не только с компьютера, но и используя свои смартфоны. Было решено сделать мобильный клиент. Мы сделали три версии мобильных клиентов для трех основных мобильных платформ:

• Windows Phone - поддерживается начиная с версии 7.8 и выше
• iOS - поддерживается начиная с версии 5 и выше
• Android - поддерживается начиная с версии 4.1 и выше

Логика работы мобильных клиентов максимально проста. В xml-формате они получают с сайта информацию о выпусках доступных программах и выпусках видео. Также в мобильный клиент передается url к видео-файлу расположенному в CDN, откуда он в последствии и загружает видео. Также, у проекта есть «внутренний голос». Общается он с теми, кто установил себе на смартфон мобильное приложение Торф ТВ. Иногда пользователям приходят анонсы выпусков, а иногда просто интересные мысли и выражения. Работает «внутренний голос» на основе служб Azure Mobile Services. Поскольку, на момент создания «внутреннего голоса» Mobile Services с только вышли в релиз, логика была написана на JavaScript. Позже была добавлена возможность писать логику мобильных сервисов на C#, но так как все работает хорошо, переписывать этот кусок кода мне с стали. Что интересно, на данный момент, примерно половина просмотров видео происходит через мобильные приложения.

▌Полезная информация

• Торф ТВ
• X.Media.Encoding на Nuget.org
• X.Media.Encoding на GitHub
• Система управления данными
• OpenStack SDK

▌Примечания

_{В статье использованы фрагменты из описания проекта, подготовленного Тимуром Шемсединовым.}