Программисты — удалённая работа в Москве

Data Science. Выполнение домашнего задания. Задание 1 (1 балл) Загрузите данные из файла data1.csv в датафрейм dfm. Создайте датафрейм brands, в котором будет расчитано количество уникальных наблюдений по брендам (brand) и доля каждого бренда (по количеству) для тех наблюдений у которых рейтинг (rating) больше либо равен 2.0. В итоговом датафрейме brands должно быть три колонки с названиями brand, quantity и share. Задание 2 (2 балла) Загрузите данные из файла data2.csv в датафрейм dfm. Создайте датафрейм top_salaries, где будут рассчитаны средние зарплаты (Annual Salary) по подразделениям (Department) только для работников на полный рабочий день (значение F в колонке Full or Part-Time). Создайте датафрейм top7_titles для 7-ми подразделений с самыми высокими средними зарплатами с двумя колонками (Department и Job Titles), в котором будут перечислены уникальные наименования должностей (Job Titles) для каждого подразделения. Задание 3 (3 балла) Загрузите данные из файла data3.csv в датафрейм dfm. item_total_price - это общая стоимость с учётом количества в стобце quantity Преобразуйте колонку с общей стоимостью заказа (item_total_price) в десятичное число. В переменную most_expensive_order запишите order_id самого дорого заказа (либо список order_id, если их несколько). В один заказ входит несколько строк, объединённых одним значением order_id. Создайте датафрейм top5, в который будут записаны 5 самых дешёвых товаров и суммарное количество, сколько их было куплено (в незавсимиости от цены). Для расчёта цены товара необходимо разделить item_total_price на quantity. В переменную all_burritos запишите все уникальные значения из стоблцов item_name и choice_description, в которых встречается слово Burrito (в независимости от регистра). Создайте датафрейм burritos_n, в котом будут рассчитано суммарное заказанное количество (quantity) для уникальных значений item_name, в которых втречается слово Burrito (в независимости от регистра). Создайте датафрейм major_items, в котором будут перечислены только те item_name, стоимость которых (item_total_price) составляет более 50% от общей стоимости всего заказа (определяется по order_id) и в заказе было более одного item_name. Для каждого item_name должен быть указан order_id, доля данного в общей стоимости заказа и количество уникальных item_name в данном заказе. Задание 4 (4 балла) Написать функцию get_all_csv(folder_path), которая на вход принимает адрес какой либо папки. Функция должна прочесть все *.csv файлы во всех дочерних папках (игнорируя файлы с другим расширением) и соединить их в единый датафрейм (друг под другом). В итоговом датафрейме должен присутствовать столбец filename, в котором будет указано абсолютное имя файла из которого была осуществлена загузка конкретных данных. Например, если надо выгрузить все файлы из папки Sales, которая расположена на рабочем столе, то аргумент folder_path должен бытьC:\\Users\\YOUR_USERNAME\\Desktop\\Sales Используя написанную функцию загрузитe все файлы из подпапок папки Sales в датафрейм dfm. Удалите все строки с Grand Total в столбце TranDate и переведите этот стобец в дату (даты введены через косую черту и в американском формате ММ/DD/YYYY). Перевидите столбец Sum of Amount в числовой формат. Поскольку это финансовый формат, все значения в круглых скобках должны стать отрицательными. Например, значение ($172.55) должно стать -172.55. Создайте датафрейм dfm_daily, в котором записаны итоговая сумма всех операций для дня (daily_total), общая сумма начислений (daily_receipt - операции с положительным Sum of Amonunt), общая сумма списаний (daily_withdrawal - операции с отрицательным Sum of Amonunt) и общее количество операций за день (daily_num). Определите следующие дни (создайте переменные с соответствующим именем): с самым большим количеством операций за день (daily_num); с самой большой итоговой суммой (daily_total); с самой большой итоговой суммой списаний (daily_withdrawal). Создайте датафрейм dfm_monthly, в котором посчитана итоговая сумма всех операций за месяц и среднедневное количество операций в течение месяца, для каждого месяца (независмо от года). Определите месяц с самым высоким среднедневным количеством операций. Задание 5 (5 баллов) Загрузите данные из файла cv_eng_hh.csv в датафрейм. uuid - обозначает код уникальный идентификационный номер человека (резюме). У каждого uuid может быть несколько мест предыдущих работ, даты начала и окончания указаны в переменных start и end. Удалите наблюдения, у которых не указано compensation. Удалите наблюдения, у которых compensationCurrencyCode не равно “RUR“. Удалите наблюдения, у которых specialization id больше 5. Создайте новую колонку work_experience, в которой будет рассчитана продолжительность работы в годах (с учётом неполных лет) для каждого наблюдения как разница между start и end (пустые значения endзаполнить датой 31-12-2023) Cоздайте новый датафрейм cv_preprocessing: для уникальных значения uuid приведите значения переменных birthYear,gender,compensation,relocation,educationId и specialization, а также рассчитан общий стаж работы как сумма work_experience. Последующие шаги выполняйте с датафреймом cv_preprocessing Создайте переменную age, в которой будет рассчитан возраст в полных годах относительно даты 11-11-2023. Удалите наблюдения со значениями -1 в переменной gender. Оставьте только те наблюдения, возраст (age) которых больше либо равен 14 и меньше либо равен 80. Оставьте только те наблюдения, compensation которых не менее 30 000. Новый датафрайм назовите cv_preprocessing_filtered Последующие шаги выполняйте с датафреймом cv_preprocessing_filtered Постройте новый датафрейм mean_compensation: сводную таблицу, в которой будет рассчитана средняя зарплата для пола (gender - индексы строк) и специализации (specialization - названия колонок). Постройте новый датафрейм exper_vs_compensation: для уникальных значений общего стажа, округлённых до полного года (experience_years), рассчитайте среднюю зарплату (mean_compensation), и размах заплат (compensation_range - разница между максимальным и минимальным значением). Датафрейм отсортируйте по убыванию experience_years. Округление до полного года подразумевает округление вниз.