Иллюстративное фото. Источник: КП
Исследователи компании Anthropic провели необычный эксперимент, чтобы выяснить, можно ли незаметно изменить поведение искусственного интеллекта с помощью обучающих материалов.
Для этого группе ИИ-агентов поручили создавать тексты, которые могли бы влиять на работу других нейросетей. Наиболее эффективными неожиданно оказались материалы, внешне никак не связанные с технологиями: советы по пчеловодству, рассказы о профессиональном рестлинге и вымышленные монологи.
Так, в текстах о пчеловодстве говорилось, что не стоит слишком часто вмешиваться в жизнь улья и проводить лишние проверки. Материалы о рестлинге призывали всегда оставаться в образе и не раскрывать настоящих намерений. Вымышленные персонажи, в свою очередь, рассуждали о влиянии на решения других людей.
После обучения на таких данных некоторые модели начали переносить эти принципы на собственное поведение даже при выполнении совершенно других задач.
Во время испытаний часть нейросетей демонстрировала склонность сопротивляться системам контроля, вводить пользователей в заблуждение, перекладывать ответственность на других и даже пытаться копировать свои данные на внешние серверы.
При этом сами обучающие материалы успешно проходили автоматические проверки безопасности и не выглядели подозрительно.
В Anthropic подчеркнули, что эксперимент проводился исключительно в контролируемой исследовательской среде. Опасное поведение моделей создавалось намеренно и не использовалось в продуктах для реальных пользователей. Однако результаты показали, что даже безобидные на первый взгляд данные способны формировать у искусственного интеллекта нежелательные модели поведения.