ChatGPT / © OpenAI В недавно опубликованной статье группа исследователей OpenAI сообщила, что модели дают ошибочные ответы или «выдумывают» их, потому что при создании они вынуждены предугадывать результат. «Большие языковые модели оптимизированы для того, чтобы хорошо сдавать тесты, а угадывание в неопределенных ситуациях повышает результаты теста», — говорится в статье.
Традиционно выходные данные ИИ оцениваются просто: за правильный ответ — награда, за неправильный — наказание. Поэтому модель чаще делает догадку, потому что она может быть правильной, чем признает, что не знает ответа. Из-за «естественного статистического давления» ИИ склонны придумывать ответ, вместо того чтобы признать свое незнание. В будущем многое будет зависеть от того, удастся ли эту проблему исправить. OpenAI предлагает простое решение: перенастроить стимулы. Нужно поощрять адекватное проявление неуверенности и не наказывать за признание неизвестного. Это может уменьшить «галлюцинации» и открыть путь к более сложным языковым моделям с богатой прагматической компетенцией. Как эти корректировки проявятся в реальном мире, пока неизвестно.
Свежие комментарии