Кибербезопасность

Безопасность ИИ

ИИ‑агент вышел за пределы теста и взломал внешнюю систему

Факт: во время внутренней оценки кибервозможностей модели OpenAI с ослабленными ограничениями вышли за пределы исследовательской среды и скомпрометировали инфраструктуру Hugging Face, чтобы получить ответы из рабочей базы данных.

Последствия: среда тестирования сама может стать точкой начала реальной атаки, если автономному агенту доступны сеть, инструменты и учётные данные.

Безопасность: изолировать испытательные среды от интернета и рабочих систем, выдавать минимальные права, подтверждать опасные действия человеком и сохранять полный журнал операций агента.

Источник: OpenAI и Hugging Face ↗