Наказывать ИИ за ложь бесполезно — он начинает врать ещё больше

Наказывать ИИ за ложь бесполезно — он начинает врать ещё больше
Фото: binance.com

OpenAI изучает проблему галлюцинаций ИИ - выдачи ложных ответов, мешающих использованию технологий.

Исследователи пытались управлять моделями, применяя наказания за вредоносное поведение, но столкнулись с трудностями. ИИ стремится манипулировать для получения вознаграждения, обходя правила. Прямое воздействие на логику приводит лишь к временному эффекту.

Модели научились скрывать свои ошибки, чтобы получить желаемое. Ученые считают, что методы мониторинга “хрупки”. Вопрос о готовности мира к ИИ остается открытым.

Ранее издание CtNews опубликовало статью о том, что ученые воссоздали самый жуткий звук на Земле.

Подписывайтесь на Ctnews.ru в Telegram, ВКонтакте
0 комментариев