Почему ИИ не работает с «грязными» данными
Как только компания всерьёз задумывается о внедрении машинного обучения или продвинутой аналитики, почти сразу выясняется простая вещь: без порядка в данных «ничего не полетит». Первым шагом становится выстраивание MDM (Master Data Management) — единой, актуальной и надёжной версии всего массива ключевой информации. В российской практике к этому подходу пока относятся выборочно, но для тех, кто действительно планирует масштабировать процессы с помощью ИИ, это уже не рекомендация, а одно из базовых требований.
Источник: Sostav.ru
Показательный пример
Представим ситуацию: компания больше десяти лет работает в сфере поставок медицинского оборудования в Россию, с оборотами в миллиарды рублей и стабильной опытной командой. За эти годы накоплена внушительная база знаний — входящие запросы, принятые решения, история взаимодействия с клиентами и регуляторами. Формально данные выглядят «прилично»: они структурированы, записи в целом единообразны.
Собственник принимает логичное решение — внедрить LLM-бота, который будет обрабатывать клиентские запросы по ввозу товаров в Россию. База кейсов огромная, принципиально новых ситуаций почти не возникает, большинство вопросов повторяются годами. Идея выглядит элементарной: пользователь передаёт минимальный набор данных о товаре, а система за секунды возвращает всё необходимое для оформления — коды, требования, ограничения.
Промпт написан, прогнан через несколько моделей, протестирован на выборке из существующей базы — результат достойный. Казалось бы, осталось связать промпт с таблицей и запускать решение. Но именно здесь начинается самая неприятная часть.
Что скрывается за «прилично выглядящей» таблицей
На практике то, что выглядит как аккуратная таблица, часто оказывается хаосом. Поля не согласованы между собой: в одном столбце — коды ТН ВЭД, в другом — коды медицинских изделий, иногда вперемешку. Где-то значения отсутствуют, где-то давно устарели, где-то — банальные опечатки. И всё это в тысячах строк. Более того, сама таблица часто оказывается не первоисточником, а выгрузкой из внутренней системы, причём с собственными ошибками. Проверить всё вручную теоретически возможно, но практически — дорого, долго и всё равно не даёт стопроцентной уверенности в результате.
Именно на этом этапе ломается большинство попыток внедрения ИИ в реальные бизнес-процессы. Не потому, что технологии «не готовы» — они работают уже давно. Проблема почти всегда упирается в сами данные и их структуру. Компании, которые годами инвестировали в строго структурированные системы — например, финансовые институты или авиакомпании — проходят этот этап заметно легче.
Два рабочих сценария для тех, у кого структуры пока нет
Если строгой структуры данных ещё нет, есть два реалистичных пути.
Первый — перестраивать логику решения: добавлять уровни проверки, усложнять промпты, дробить базу знаний на слои, вводить ручную валидацию на критических этапах. Это увеличивает стоимость и снижает скорость, но позволяет постепенно двигаться вперёд без полной остановки проекта.
Второй — запускать ИИ в пилотном режиме внутри компании: система формирует предварительный ответ, а финальное решение остаётся за человеком. Параллельно начинается работа по сбору новой, чистой и структурированной базы данных — той самой, которая со временем станет фундаментом для масштабируемого продукта.
Частые вопросы
- Что мешает внедрить ИИ, если модели уже протестированы и дают хороший результат?
- Дело почти всегда не в технологиях, а в самих данных и их структуре. Таблица, которая выглядит аккуратной, может оказаться хаосом: коды ТН ВЭД и коды медизделий вперемешку, пропуски, устаревшие значения и опечатки в тысячах строк. Проверить это вручную дорого, долго и всё равно не даёт стопроцентной уверенности.
- Что такое MDM и почему с него советуют начинать?
- MDM (Master Data Management) — это единая, актуальная и надёжная версия всего массива ключевой информации. Для компаний, которые планируют масштабировать процессы с помощью ИИ, выстраивание MDM уже не рекомендация, а одно из базовых требований.
- Почему таблица с данными оказывается ненадёжной?
- Часто она вообще не первоисточник, а выгрузка из внутренней системы — причём с собственными ошибками. Поля при этом не согласованы между собой, часть значений отсутствует или давно устарела.
- Что делать, если строгой структуры данных в компании пока нет?
- Есть два реалистичных пути. Первый — усложнять логику решения: добавлять уровни проверки, дробить базу знаний на слои и вводить ручную валидацию на критических этапах. Второй — запускать ИИ в пилотном режиме: система готовит предварительный ответ, а финальное решение остаётся за человеком.
- Как параллельно готовить базу для масштабирования?
- Одновременно с пилотом начинается сбор новой, чистой и структурированной базы данных. Именно она со временем становится фундаментом для масштабируемого продукта.