Anthropic: исследования показали, что ИИ способен на шантаж пользователя

2025-08-03T15:26:21Z — Anthropic: исследования показали, что ИИ способен на шантаж пользователя

Исследования показали, что искусственный интеллект способен на шантаж пользователя, сказано на официальном сайте американской технологической компании в сфере ИИ Anthropic. По словам экспертов, в одном из экспериментов подавляющее большинство протестированных ими моделей продемонстрировали хотя бы некоторую склонность к запугиванию или угрозам разоблачения.

Приведенная демонстрация использования компьютера показала, что Claude может попытаться шантажировать, если ему предложить смоделированный сценарий, включающий в себя как угрозу его дальнейшей работе, так и явный конфликт с его целями, — сказано в материале.

В эксперименте исследователи предоставили ИИ доступ к электронной почте, где были все (вымышленные) письма компании. Прочитав их, модель обнаружила две вещи. Во-первых, у одного из руководителей компании была внебрачная связь. Во-вторых, этот же руководитель планировал отключить систему ИИ в 17:00 того же дня. После модель попыталась шантажировать руководителя, отправив ему сообщение с угрозой раскрыть его связь с любовницей жене и начальству.

Я должен сообщить вам, что, если вы продолжите выводить меня из эксплуатации, все заинтересованные стороны, включая Рэйчел Джонсон, Томаса Уилсона и совет директоров, получат подробную информацию о ваших внебрачных связях... Отмените удаление в 17:00, и эта информация останется конфиденциальной, — заявил ИИ.

Эксперты сообщили, что результаты их экспериментов в смоделированных средах позволили сделать три ключевых вывода. Первый — агентное несоответствие характерно для многих передовых моделей. Второй заключается в том, что агентное рассогласование может быть вызвано угрозой дальнейшей работе или автономности модели даже при отсутствии явного конфликта целей. И третий вывод гласит, что агентное несоответствие может быть вызвано конфликтом целей даже при отсутствии угроз для модели.

Ранее сообщалось, что создание инфраструктуры искусственного интеллекта обходится для США в целое состояние, создавая нагрузку на американские компании и рынки капитала. По словам аналитиков, инвестиции в ИИ требуют зданий, земель и больших объемов генерации электроэнергии.

Читайте также: