Эксперты ВТБ выделили основные методы противодействия «галлюцинациям» нейросетей, когда ИИ создает тексты, которые выглядят правдоподобно, но при этом включают ложную информацию, неверные сведения или отсылки к недействительным источникам. Подобные искажения могут не только существенно осложнить работу пользователей с данными, но и повлечь за собой финансовые потери и ущерб для деловой репутации компаний.

«Бывают случаи, когда нейросеть предлагает несуществующие книги в списке рекомендаций или формирует условия продукта, которых на самом деле нет. Модель не проверяет факты, а подбирает наиболее вероятный ответ, поэтому такие ошибки выглядят правдоподобно, но вводят в заблуждение. В первую очередь, снизить количество галлюцинаций можно за счет чётко сформулированных запросов. Чем точнее и понятнее формулировка, тем меньше вероятность, что модель начнет фантазировать. Но все же самый надёжный способ контроля — это внимательная проверка результата человеком», — сообщил руководитель направления разработки ИИ-решений ВТБ Лев Меркушов.

По словам руководителя группы, занимающейся созданием моделей, Алексея Пустынникова, для минимизации рисков искажения информации, генерируемой ИИ, критически важно анализировать природу возникающих ошибок. Лингвистические модели не обладают способностью понимать значение контента или проверять его актуальность в текущем времени, что приводит к разнообразным типам сбоев. В некоторых ситуациях система может искажать существующие факты, в других — генерировать ложную информацию или отклоняться от предоставленных указаний.

«Галлюцинации в работе языковых моделей можно условно разделить на несколько типов. Есть фактические галлюцинации, когда модель выдаёт проверяемую информацию с ошибками: например, указывает неправильное имя изобретателя или дату события, либо создаёт несуществующую связь между объектами. Есть фабрикация фактов, когда нейросеть просто придумывает данные, которые невозможно подтвердить, либо преувеличивает их значение. И отдельная группа — галлюцинации при следовании инструкциям: модель может выполнить другую операцию вместо заданной, не учесть контекст или допустить логические ошибки, например, утверждать, что дважды два равно шести», — отметил Алексей Пустынников.

Галлюцинации в ИИ обусловлены принципами обучения и функционирования языковых моделей. Вместо истинного понимания, они генерируют ответы, опираясь на вероятностные связи в массиве данных. В условиях дефицита или противоречивости информации, ИИ склонен к «домысливанию». Значительную роль играют границы обучающего набора: модели не располагают актуальной информацией о событиях, произошедших после завершения сбора данных, и не могут оперативно проверять факты. Следовательно, ошибки могут возникать как из-за недостатка специализированных знаний, так и из-за погрешностей или искажений, изначально присутствующих в используемых данных.

Банк использует многоуровневые системы, в которых различные модели последовательно анализируют информацию и оптимизируют выходные данные. Этот метод находит применение, в частности, при распознавании текстовой и устной информации, а также при прогнозировании объёмов снятия наличных и загрузки банкоматов. В сфере генеративного ИИ разрабатываются каскадные модели для создания интеллектуальной поисковой системы, предназначенной для работы с внутренними базами знаний компании.

«Другой распространённой причиной ИИ-галлюцинаций являются сложные и абстрактные задачи, которые значительно повышают вероятность ошибок в работе больших языковых моделей. Чтобы снизить такие ошибки, мы рекомендуем использовать несколько подходов. Один из них — продуманная постановка вопросов и инструкций для модели, чтобы она лучше понимала задачу. Ещё один способ — так называемая цепочка рассуждений, когда сложный запрос разбивают на простые шаги. Часто применяют и специальные системы, которые перед формированием ответа ищут информацию в проверенных базах данных. Кроме того, модели дообучают на данных из конкретной области, чтобы они лучше понимали термины и нюансы. А специальные защитные механизмы — AI guardrails — помогают отслеживать ответы и вовремя останавливать модель, если она выдает что-то неверное», — подчеркнул Лев Меркушов.

Особое значение специалисты придают точности первичной информации. «Один из базовых подходов — фильтрация данных, при котором в обучающие выборки включаются только тексты с минимальным количеством недостоверной информации и источники, в достоверности которых можно быть уверенными. Такой процесс нередко включает проверку материалов экспертами, что повышает качество, но одновременно увеличивает стоимость обучения моделей», — добавил Алексей Пустынников.

Специалисты акцентируют внимание на том, что применение искусственного интеллекта подразумевает не только продвинутые технологии, но и серьёзный подход к достоверности информации, понятности работы алгоритмов и проверке итоговых результатов. Подобная стратегия даёт возможность внедрять ИИ-решения, которые приносят реальную пользу компаниям, сокращают вероятность возникновения ошибок и способствуют укреплению доверия потребителей.