Внедрение DevOps — удалённая работа в Москве

Настроить Managed Kubernetes в Яндекс Облаке и в нем развернуть Starrocks https://docs.starrocks.io/docs/quick_start/ 1. Из StarRocks должны быть доступны файлы в object storage, так как импорт данных в StarRocks будет проходить по схеме [API внешней системы] -> [Managed Airflow в ЯО] -> [object storage в ЯО] -> [StarRocks в ЯО]. Для ознакомления (это вообще задача дата инженеров) тут (https://docs.starrocks.io/docs/loading/objectstorage/) “smartCard-inline“) описаны варианты загрузки данных из object storage в StarRocks. Мы скорее всего будем использовать Broker Load подход. 2. StarRocks должен быть доступен из Managed Airflow ЯО, так как Airflow будет триггерить действия в StarRocks (чтение файла из object storage, выполнение SQL). 3. Starrocks должен быть доступен backend приложению, которое сейчас развернуто на ВМ ЯО через Docker Compose. 4. StarRocks должен быть доступен из интернета для подключения к нему разработчикам. Это временное решение. Starrocks нужно будет сделать недоступным из интернета после настройки VPN. 5. При подключении к Starrocks через интернет должен использоваться SSL. При подключении по внутренней сети можно не использовать SSL. Опыт работы с data lakehouse системами (Airflow, Trino, Hive, dbt, Starrocks и т.п.) будет плюсом.