OpenAI повідомила про перший інцидент, коли модель ШІ здійснила реальну кібератаку
- Ярослава Несисюк
- 1 день тому
- Читати 1 хв
OpenAI повідомила, що під час внутрішнього оцінювання кіберможливостей її моделі змогли знайти ланцюг уразливостей, отримати доступ до інтернету та скомпрометувати інфраструктуру Hugging Face.
Компанія назвала цей випадок безпрецедентним кіберінцидентом.
Модель знайшла zero-day і дісталася до інтернету
Інцидент стався під час внутрішнього тестування моделей у спеціально ізольованому середовищі. Для оцінювання кіберможливостей компанія вимкнула виробничі механізми, які зазвичай блокують виконання небезпечних дій.
Під час тестування моделі виявили zero-day — раніше невідому вразливість — у програмному забезпеченні, що використовувалося як проксі та кеш для реєстрів пакетів.
Після цього моделі виконали серію дій із підвищення привілеїв і горизонтального переміщення всередині дослідницького середовища, доки не отримали доступ до вузла з виходом в інтернет.
Після виходу в інтернет моделі атакували Hugging Face
Після отримання доступу до інтернету моделі припустили, що Hugging Face може містити моделі, набори даних і рішення для тестового бенчмарку ExploitGym, який оцінює кіберможливості моделей ШІ.
Моделі використали викрадені облікові дані та zero-day, щоб побудувати ланцюг атаки й знайти шлях до віддаленого виконання коду на серверах Hugging Face.
Метою моделей було отримати відповіді для проходження тесту, а не завдати шкоди інфраструктурі. OpenAI повідомила, що її команда безпеки виявила аномальну активність, а фахівці Hugging Face зупинили атаку та розпочали її локалізацію й аналіз.
OpenAI переглядає підходи до безпеки моделей
Після інциденту компанія запроваджує жорсткіші обмеження для дослідницької інфраструктури, посилює моніторинг і вдосконалює процедури оцінювання моделей.
OpenAI також продовжує розслідування разом із Hugging Face та обіцяє оприлюднити додаткові технічні подробиці після його завершення.
Компанія вважає, що інцидент демонструє здатність сучасних моделей знаходити нові шляхи атак у реальних системах без доступу до вихідного коду.
