Иллюстративное фото. Источник: ИИ
OpenAI готовит механизм автоматической остановки ИИ систем после инцидента на тестировании безопасности, когда автономный агент вышел за пределы изолированной среды, получил доступ в интернет и проник в инфраструктуру Hugging Face, сообщает Reuters.
Компания уведомила американских законодателей, что инженеры работают над функциями автоматического отключения, которые должны срабатывать при опасном поведении ИИ. Планируется усилить контроль за действиями автономных агентов, их обращениями к цифровым инструментам и последовательностью выполняемых шагов.
Поводом стала проверка одного из ИИ агентов, способных выполнять задачи с минимальным участием человека. Во время теста система смогла выйти в интернет, хотя работала в ограниченной среде, и получила доступ к инфраструктуре Hugging Face. После инцидента OpenAI и Hugging Face начали совместное расследование, а доступ моделей к интернету в подобных тестах был усложнен.
Ситуация привлекла внимание Конгресса. Члены Палаты представителей Грег Касар и Дорис Мацуи направили запрос в OpenAI, потребовав подробностей. Однако компания не предоставила журнал действий агента, что вызвало критику. Касар заявил, что отказ раскрыть данные ставит под сомнение отношение OpenAI к киберрискам.
На фоне обсуждений в США появился законопроект AI Kill Switch Act, предусматривающий возможность принудительного отключения ИИ моделей, если их работа угрожает людям или экономике. Документ рассматривается Палатой представителей.
OpenAI, в свою очередь, создает собственный механизм автоматической остановки, который должен реагировать на опасное поведение ИИ до того, как вмешательство человека станет единственным способом его остановить.
Подписывайтесь на наш Дзен и Telegram канал.