Надежность ИИ — вопрос не только комфорта, но и безопасности
Фото: naked-science.ru
Способность нейросетей работать безошибочно влияет не только на комфорт общения, но и на реальные судьбы людей. Иногда некорректные рекомендации масштабных платформ наподобие ChatGPT приводят к трагедиям. В сфере управления транспортом ошибка автономной системы, которая могла бы перепутать обочину с дорогой и привести к аварии, тоже несет смертельный риск. Высокая стоимость подобных технологий сопоставима с ценой автомобиля б/у, что лишь уменьшает интерес к ним со стороны осмотрительных пользователей.
Поиски решения проблемы нейросетевых "галлюцинаций"
Команда исследователей из OpenAI представила исследование на платформе препринтов, чтобы выяснить принципиальную возможность устранения системных сбоев и их экономическую целесообразность. Результаты указывают на многообразие причин их возникновения, делая полное избавление от искаженных ответов практически недостижимым.
Первое препятствие: Источники данных
Неизбежное присутствие ошибок в тренировочных массивах — текстах, видеозаписях вождения — фундаментальное ограничение. Абсолютно безукоризненная выборка возможна лишь при ее микроскопическом размере, что исключает создание эффективных нейроалгоритмов.
Второе препятствие: Механизм генерации
Даже идеальные данные не гарантируют точности. Для языковых моделей сама основа формирования ответов генерирует ошибки. Они выбирают каждое последующее слово, опираясь на вероятности. Чем длиннее цепочка, тем выше шанс неправильного предсказания. Добавление нового слова вносит смысловые оттенки, наращивая риск неверной интерпретации. Исследования OpenAI подтверждают, что запросы с бинарным форматом ("да"/"нет") снижают вероятность ошибочных ответов вдвое.
Третье препятствие: Критерии оценки
Тестовые системы невольно стимулируют ошибки. Жесткая настройка на нулевой процент галлюцинаций побуждает нейросеть массово отвечать "не знаю" на любые нетривиальные запросы. Подобная гиперосторожность, наблюдаемая у потребителей как ухудшение качества, неприемлема для разработчиков. Системы оценки снижают баллы за "знаниевые пробелы", косвенно поощряя ИИ вместо честного ответа выдавать рискованные догадки в надежде на случайный успех или невнимательность проверки.
Перспективные направления и реалии
Ученые указывают на потенциальную возможность частично исправить ситуацию, обучая модели задавать уточняющие вопросы при неуверенности. Однако такие стратегии могут в разы увеличивать вычислительные затраты для одного ответа. Их использование экономически оправдано в критически важных отраслях, но затруднительно для массовых бесплатных приложений.
Уроки для будущего разработок ИИ
Данные подчеркивают: системы типа КППИ, совершенно свободные от галлюцинаций, остаются маловероятной перспективой. Ключевой вывод — создание продуктов и стратегий взаимодействия должно принимать во внимание объективную неизбежность погрешностей. Полагаться на выводы нейросетей в ответственных ситуациях с высокими рисками недопустимо. Эффективность решений вроде автопилота требует дальнейшего изучения и практического подтверждения в эксплуатации.
