Максим Гармаш
ИИ/ML и инженерия данных — консультирование и разработка
Устраняю работу, которая не заслуживает человеческого внимания. Превращаю сырые данные и ручные процессы в предсказуемые ИИ‑сервисы и автоматику — за недели, не месяцы.
Устраняю работу, которая не заслуживает человеческого внимания. Превращаю сырые данные и ручные процессы в предсказуемые ИИ‑сервисы и автоматику — за недели, не месяцы.
Если действие повторяется без участия мышления — это дефект, а не работа.
Данные не должны переноситься вручную. Отчёты не должны собираться руками. Ответы на типовые вопросы не должны отнимать время специалиста.
За 22 года сменились технологии — конвейеры данных (ETL), оркестраторы, ИИ‑агенты — но принцип один: каждый повторяющийся процесс без мышления можно и нужно передать системе. Чем точнее проведена эта граница, тем больше людей занимаются тем, что действительно требует головы.
Фиксированный спринт 2 недели. Выявляю узкие места пайплайнов, точки отказа и риски качества данных. На выходе — дорожная карта с приоритетами и схема целевой архитектуры: что чинить первым и сколько это займёт.
* ETL — извлечение, преобразование, загрузка данных
4–6 недель от гипотезы до тестового продакшена. Скоринг, рекомендации, прогноз, RAG*‑ассистент по документации — беру одну задачу и довожу до результата, который можно измерить и показать бизнесу.
* MVP — минимально жизнеспособный продукт · RAG — генерация ответов с извлечением из базы знаний
Сквозные потоки данных между CRM, ERP, SAP, аналитикой и внешними сервисами. Нормализация, очистка, маршрутизация — чтобы данные не терялись по дороге, отчётность сходилась, а решения принимались быстрее.
Внутренние ИИ‑инструменты для команды: чат‑боты поддержки, классификация обращений, суммаризация документов, автогенерация отчётов. Каждый из этих процессов повторяется без мышления — значит, человек не должен им заниматься.
Крупная промышленная структура с несколькими производственными дивизионами в разных регионах РФ. Данные из SAP, MSSQL, MySQL и PostgreSQL существовали изолированно, отчётность собиралась вручную, а передача параметров в подсистему управления технологическими процессами (АСУ ТП) требовала сложной бизнес-логики преобразований и валидации.
Спроектировал и внедрил централизованную ETL-платформу: Apache NiFi для оркестрации потоков между источниками, Airflow для планирования пакетных задач, Kafka для передачи событий в реальном времени. Реализовал слой нормализации и очистки данных, экспериментальный агрегат трансформации для подготовки данных к передаче в АСУ ТП со сложной маршрутизацией и валидацией на каждом этапе.
Единый поток данных из всех дивизионов. Время формирования сводной отчётности — с дней до часов. Ручной труд на сверках сведён к нулю. Подсистема АСУ ТП получает верифицированные данные автоматически.
Государственная структура в одной из стран СНГ. Необходимо было организовать непрерывный мониторинг социальных сетей: сбор и хранение графовых данных (связи между пользователями, сообщества, пересечения аудиторий), выявление кластеров влияния и отслеживание появления новых лидеров мнений в режиме, близком к реальному времени.
Развёрнут кластер Cloudera Hadoop (HDFS, YARN, Hive, HBase, Spark) для хранения и обработки больших объёмов данных. Краулинг реализован на Python (Scrapy) с распределённым планированием задач. Графовые структуры хранятся в Neo4j, кластерный анализ и ранжирование лидеров мнений — через Spark GraphX. Автоматическая генерация аналитических отчётов по расписанию.
Система обрабатывает миллионы узлов и связей. Новые лидеры мнений выявляются автоматически в течение суток после набора критической массы. Аналитические отчёты формируются без участия оператора.
Заказчику требовался регулярный сбор данных с десятков внешних веб-источников с агрессивной анти-бот защитой. Данные нужно было нормализовать, дедуплицировать, загрузить в Hadoop и внутренние системы заказчика, а также обеспечить управленческую аналитику через информационные панели.
Построен распределённый краулер с ротацией через пул прокси-провайдеров, адаптивными алгоритмами обхода ограничений частоты запросов и капчи, интеллектуальным управлением скоростью запросов. ETL-пайплайн: очистка и нормализация → загрузка в HDFS/Hive → витрины для бизнес-аналитики (BI). Управленческие панели в Superset. Проработаны правовые и логистические аспекты сбора данных.
Стабильный автоматический сбор из 50+ источников — без единого ручного действия. Данные доступны аналитикам через информационные панели и ML‑инженерам через Hive/Spark в течение часов после появления на источнике.
Техническая документация заказчика — тысячи страниц PDF на английском языке: регламенты, спецификации оборудования, инструкции по эксплуатации. Инженеры и операторы на местах работают на русском языке и тратили часы на поиск нужных фрагментов. Критическое требование: нулевой уровень галлюцинаций — ответы строго по тексту документации, любая вольная интерпретация недопустима из-за специфики предметной области.
Построена RAG-платформа: загрузка и парсинг PDF-документов с сохранением структуры (разделы, таблицы, схемы), чанкинг с учётом семантических границ, индексация в векторную базу данных. Поисковый слой с гибридным поиском (семантический + ключевой) обеспечивает точное извлечение релевантных фрагментов. Генерация ответа через GPT-4 с жёстким промпт-инжинирингом: модель отвечает только на основе найденных фрагментов, каждый тезис сопровождается ссылкой на конкретный документ, раздел и страницу. Кросс-язычность: вопрос на русском → поиск по английским документам → ответ на русском с цитатами из оригинала.
Время поиска информации сократилось с часов до секунд. Сотрудники получают точные ответы с прямыми ссылками на источник, галлюцинации исключены на уровне архитектуры. Платформа используется ежедневно несколькими подразделениями.
Единый портал государственных услуг РФ. Разработка нескольких подсистем бэкенда с высокой нагрузкой, строгими требованиями к безопасности (включая криптографию ГОСТ) и необходимостью интеграции с десятками ведомственных систем.
Лидер команды разработки, которую собрал с нуля и вырастил до 15 человек. Стек: Spring, MyBatis, Oracle, RabbitMQ, CXF (SOAP-интеграции с ведомствами), CryptoPro для ГОСТ-шифрования. Внедрил Scrum и непрерывную интеграцию (CI).
Подсистемы запущены в продакшен и обслуживают десятки миллионов граждан. Команда продолжила работу после передачи.
1–2 недели. Аудит данных, ETL, инфраструктуры. На выходе — карта текущего состояния и приоритеты.
Схема целевой архитектуры, оценка рисков, стоимости и сроков. Вы понимаете, за что платите.
Быстрый прототип на реальных данных. Результат можно показать бизнесу.
Развёртывание, мониторинг, документация. Ваша команда может работать самостоятельно.
Итерации, развитие, передача экспертизы. Зависимость от меня снижается с каждым месяцем.
30–40 минут → разберём узкие места → предложение с оценкой сроков и стоимости. Даже если не стартуем — получите свежий взгляд на свои процессы.
Обсудить проект