Программисты — удалённая работа в Москве

Data Science. Решение задачи. Задание включает изучение полиномиальной регрессии и реализацию методов оценки моделей в Python. Темы: функции потерь, оптимизация, визуализация остатков, создание класса полиномиального оценивателя, генерация синтетических данных и оценка смещения с дисперсией. 🔹 Вопрос 1: Генерация и визуализация синтетических данных Задание: Написать три функции: polynomial(p, x): вычисляет значения полинома в точках x, используя только базовые операции NumPy. generate_polynomial_data(n_samples, polynomial_coeffs, x_range, pos_noise_std, neg_noise_std, poly_func): генерирует случайные точки с шумом для полиномиальной регрессии. plot_regression_data(x, y, polynomial_coeffs, poly_func): строит график сгенерированных данных. 🔹 Вопрос 2: Функции потерь Задание: Реализовать две функции: mse_loss(y_true, y_pred): вычисляет среднеквадратичную ошибку (MSE). mae_loss(y_true, y_pred): вычисляет среднюю абсолютную ошибку (MAE). 🔹 Вопрос 3: Аппроксимация полинома с помощью оптимизации Задание: Реализовать функцию: fit_polynomial(x, y, degree, loss_fn): подбирает коэффициенты полинома, минимизируя заданную функцию потерь. 🔹 Вопрос 4: Визуализация остатков Задание: plot_residuals(x, y_true, degree, loss_fn, poly_func): Делит данные на обучающую (70%) и тестовую (30%) выборки. Строит остатки (разницу между реальными и предсказанными значениями). Показывает график ошибок с вертикальными линиями. 🔹 Вопрос 5: Реализация класса для полиномиальной регрессии Задание: Написать класс PolynomialEstimator с методами: __init__(self, degree, loss_func, poly_func): инициализация. fit(self, x, y): обучение модели. predict(self, x): предсказания. 🔹 Вопрос 6: Бутстрап-выборки с Out-of-Bag (OOB) Задание: create_bootstrap_samples(x, y, num_bootstrap): Генерирует бутстрап-выборки (случайные подмножества с заменой). Определяет out-of-bag (OOB) — данные, которые не попали в бутстрап-выборку. 🔹 Вопрос 7: Оценка смещения и дисперсии через бутстрап Задание: bias_variance_estimate(x, y, estimator, num_trials): Генерирует бутстрап-выборки. Обучает PolynomialEstimator на каждой. Для каждого объекта оценивает смещение и дисперсию. 🔹 Вопрос 8: Сравнение двух моделей по бутстрап-оценке Задание: compare_models_bootstrap(x, y, estimator1, estimator2, num_trials, loss_fn): Запускает бутстрап на двух разных моделях. Анализирует ошибки, смещение, дисперсию. Возвращает 0, если первая модель более простая, чем вторая, иначе 1. 🔹 Вопрос 9: Кросс-валидация Задание: cross_validation_estimate(x, y, estimator, loss_fn, k, random_seed): Делит данные на k разбивок (folds). Обучает PolynomialEstimator на k-1 частях, тестирует на оставшейся. Возвращает среднюю ошибку. 🔹 Вопрос 10: Визуализация зависимости ошибки кросс-валидации от сложности модели Задание: plot_cv_loss_vs_degree(x, y, degrees, loss_fn, k): Для каждого значения степени degree выполняет кросс-валидацию. Строит график ошибки кросс-валидации. Отмечает оптимальную степень полинома.