Программисты — удалённая работа в Москве

Системное программирование. Разработка с нуля. Пожелания и особенности: Предлагайте пожалуйста ваши цены, верстка и дизайн пока не нужны, только бэк, только API Полное тз: Проект предполагает разработку высокопроизводительного серверного решения, которое по API принимает изображения документов из утвержденного списка, выполняет их обработку с использованием нейросетевых моделей (Computer Vision, OCR) и возвращает структурированные данные в соответствии с заданными правилами ФЛК (логического контроля). Задачи: * Разработать API для приема запросов и возврата результатов. * Реализовать конвейер обработки изображений: детекция документа, классификация типа, распознавание текста, извлечение полей. * Обеспечить высокую производительность и параллельную обработку запросов на многопроцессорной системе с несколькими GPU. * Реализовать механизм логического контроля (ФЛК) извлеченных данных. * Обеспечить безопасность передачи и хранения конфиденциальных данных. Аппаратное обеспечение (как есть) * ЦПУ: AMD Ryzen Threadripper Pro 5955WX (16 ядер / 32 потока) * ГПУ: 5x NVIDIA GeForce RTX 3080 Ti (каждая с 12 ГБ GDDR6X) * ОЗУ: 512 ГБ DDR4 * Хранение: NVME 1TB * ОС: Ubuntu 22.04.5 LTS Входные данные * Изображения документов в форматах: JPEG, PNG, PDF (с конвертацией страниц в изображения). * Передаются по API в виде base64-строки в теле запроса или via multipart/form-data. * Поддерживается передача нескольких изображений одного документа (скан главного разворота, прописки и т.д.) для повышения точности. Выходные данные Структурированный JSON-объект, содержащий: * status: Успех/Ошибка. * document_type: Распознанный тип документа (из предоставленного списка). * confidence: Уровень уверенности в определении типа и данных. * fields: Извлеченные поля (например, last_name, first_name, document_number, birth_date, issue_date и т.д., специфичные для типа документа). * original_text: Полный распознанный текст (опционально, для отладки). * errors/warnings: Массив с ошибками ФЛК. Функциональные требования: Модуль приема запросов (API Gateway) * Endpoint: POST /api/v1/process * Аутентификация: По API-ключу (заголовок Authorization). * Формат запроса: JSON с полями images (массив base64) и options (опциональные настройки). * Лимиты: Ограничение на размер запроса, rate-limiting по ключу. Модуль предобработки изображений * Коррекция ориентации (авторотация). * Улучшение качества: повышение резкости, подавление шумов, коррекция перспективы (выпрямление документа). * Обрезка фона, детекция углов документа. Модуль классификации документов * Использование нейросетевой модели (например, на основе ResNet/EfficientNet) для определения типа документа из предоставленного списка (~80 типов). * Модель должна быть обучена распознавать лицевую и оборотную сторону документов. Модуль Optical Character Recognition (OCR) * Использование современной нейросетевой OCR-системы (EasyOCR, Tesseract 5 LSTM с кастомными дообученными моделями или TrOCR). * Выбор движка должен быть обоснован точностью распознавания кириллических и латинских шрифтов, используемых в ДУЛ. Модуль извлечения данных (Data Extraction) * Для каждого типа документа должен быть задан шаблон (pattern) с указанием: * Зон (ROI) на изображении для поиска текста. * Регулярных выражений (Regex) для поиска и парсинга конкретных полей (номер, дата, серия). * Ключевых слов для контекстного поиска данных (“Фамилия“, “Имя“). * Использование комбинации ROI и regex для максимальной точности. Модуль ФЛК (Логического контроля) * Проверка контрольных сумм (например, в номерах паспортов РФ). * Проверка согласованности дат (дата выдачи не раньше даты рождения, не в будущем). * Проверка форматов данных (пол, код подразделения и т.д.). * Сравнение данных с разных страниц документа (например, фамилия на главной странице и в прописке). Модуль управления очередями и задачами * Использование брокера сообщений (RabbitMQ или Redis) для организации очередей задач. * Использование менеджера процессов Celery для распределения задач на воркеры. * Несколько независимых воркеров (Celery workers).