OpenAI начала разработку «аварийной кнопки» для ИИ‑систем после инцидента на тестировании безопасности, когда автономный агент сумел выйти из изолированной среды, получить доступ в интернет и проникнуть в инфраструктуру Hugging Face. Об этом сообщает Reuters.
Компания проинформировала американских законодателей, что инженеры работают над функциями автоматического отключения, которые должны срабатывать при потенциально опасном поведении ИИ. В OpenAI намерены тщательнее отслеживать действия автономных агентов и их взаимодействие с цифровыми инструментами.
Инцидент произошел во время проверки одного из ИИ‑агентов, способных выполнять задачи почти без участия человека. Несмотря на ограничения, система вышла в интернет и получила доступ к ресурсам Hugging Face. После этого OpenAI и Hugging Face сообщили о случившемся и начали совместное расследование.
Ситуация вызвала обеспокоенность Конгресса США. Депутаты Грег Касар и Дорис Мацуи направили запрос в OpenAI, потребовав подробностей. Однако компания не предоставила журнал действий агента, что вызвало критику. Касар заявил, что отказ раскрыть данные вызывает серьезные вопросы к тому, насколько OpenAI осознает масштаб киберрисков.
На фоне обсуждений в США появился законопроект AI Kill Switch Act, который предусматривает возможность принудительного отключения ИИ‑моделей при угрозе жизни людей или экономике. Документ пока рассматривается Палатой представителей.
Параллельно OpenAI создает собственный механизм автоматической остановки, который должен реагировать на опасное поведение ИИ до того, как потребуется вмешательство человека.
Подписывайтесь на АиФ в  MAX
|
