Обучение Python — работа в Москве

Для работы Понимаю как работать с Pandas. Но если строк больше скольких-то там миллионов (может, сотен миллионов), то pandas пишет, что ему не хватает памяти. Необходимо понять, как и чем работать в этом случае. 1. Есть ли что-то похожее, но у себя внутри работающее по-другому? 2. Есть ли кардинально другой подход, выполняющий те же задачи, которые выполняет pandas, но другими путями, с которыми можно обрабатывать миллиарды строк. Цели: - сбор данных из интернета (как обработка кода, так и API) и заполнение ими БД (MySQL, SQLite, MS SQL) - обработка файлов различных форматов (json, csv, xls/xlsx, xml) и наполнение их данными БД (MySQL, SQLite, MS SQL) - последующая работа с этими данными из БД К запросу не относится как собирать данные из интернета, запрос про посредничество между данными и БД: аккумулирование и обработка, как не при слишком больших объёмах делает Pandas