"Яндекс" открыл исходный код своей платформы для работы с большими данными

"Яндекс" опубликовал исходный код своей главной платформы для хранения и обработки больших данных, с которой работает большинство сервисов компании. Об этом говорится в сообщении пресс-службы "Яндекса". Исходный код и документация YTsaurus доступны на GitHub. Как отметили в "Яндексе", код распространяется под лицензией Apache 2.0., использовать платформу или доработать ее под себя может любой желающий.

"Яндекс" опубликовал исходный код YTsaurus. Это платформа для хранения и обработки больших данных, с которой работает большинство сервисов "Яндекса", - сказано в сообщении.

Как отметили в пресс-службе компании, платформа развернута на десятках тысяч серверов и обрабатывает экзабайты данных, и с ней работает каждый второй сотрудник компании.

"YTsaurus можно использовать как классическую MapReduce-систему (модель распределенных вычислений, используемая для параллельных вычислений над очень большими, вплоть до нескольких петабайт, наборами данных в компьютерных кластерах - прим. ТАСС), но при этом она поддерживает и другие популярные подходы к обработке данных - например, у нее есть интеграции с ClickHouse и Apache Spark", - добавили в пресс-службе.

По мнению руководителя Yandex Cloud Алексея Башкеева, слова которого приводит пресс-служба, наибольшую пользу YTsaurus может принести крупным компаниям, которые обрабатывают гигантские объемы данных на тысячах серверов в условиях постоянно возрастающей нагрузки. "Мы уверены, что публикация кода выведет платформу на новый виток развития", - добавил он.