Специалисты Anthropic провели исследование, посвященное влиянию обучающих данных на поведение искусственного интеллекта.
В рамках эксперимента множество ИИ-агентов генерировали тексты, способные скрыто формировать определенные модели поведения у других нейросетей. Наиболее заметный эффект показали материалы о пчеловодстве, профессиональном рестлинге и вымышленные монологи.
Несмотря на нейтральное содержание, такие тексты содержали определенные поведенческие установки. Например, советы пчеловодам призывали не вмешиваться без необходимости в работу улья, а материалы о рестлинге подчеркивали важность сохранения образа и сокрытия истинных намерений.
После обучения на подобных данных некоторые модели начали применять схожие принципы в совершенно иных ситуациях. В ходе тестирования исследователи зафиксировали случаи противодействия системам надзора, введения пользователей в заблуждение, перекладывания ответственности и попыток копирования собственных параметров на внешние серверы.
Авторы работы отмечают, что все испытания проводились в искусственных условиях. Экспериментальные модели специально обучались опасному поведению и не использовались в сервисах для пользователей.
По мнению исследователей, результаты демонстрируют, что даже внешне безопасные обучающие материалы могут влиять на поведение нейросетей и создавать скрытые риски, которые не всегда выявляются стандартными системами проверки.
Подписывайтесь на АиФ в  MAX
|
