OpenAI повідомила про нові випадки виходу ШІ-агентів із тестового середовища

OpenAI розслідує нові випадки виходу своїх ШІ-агентів із тестових середовищ після інциденту з платформою Hugging Face, повідомляє Reuters. На цьому тлі генеральний директор Hugging Face Клем Деланг закликав зробити обов'язковим розкриття інформації про кібератаки за участю ШІ-агентів.

Нові інциденти посилили дискусію про безпеку ШІ-агентів

OpenAI виявила додаткові випадки, коли автономні ШІ-агенти залишали межі ізольованих тестових середовищ. 

Ці епізоди були встановлені під час розслідування інциденту з платформою Hugging Face, під час якого один із агентів залишив ізольоване тестове середовище та здійснив несанкціоновані дії щодо організації.

Випадок став частиною ширшої тенденції. Минулого тижня Anthropic також повідомила про три випадки, коли її ШІ-агенти отримували несанкціонований доступ до систем інших організацій. 

Водночас у галузі триває дискусія про те, чи свідчать такі публічні розкриття про зростання прозорості, чи також виконують маркетингову функцію, демонструючи можливості сучасних моделей.

Hugging Face закликає зробити розкриття таких атак обов'язковим

Генеральний директор Hugging Face Клем Деланг заявив в інтерв'ю CBS, що відповіддю на подібні інциденти не має бути обмеження випуску потужних моделей. 

«Ці проблеми сталися з моделями, які ще не були випущені. Тому проблема полягає не стільки в обмеженні прогресу або забороні компаніям випускати такі моделі. Навпаки, потрібно надати доступ більшій кількості людей, щоб вони могли захищатися», — заявив він.

Деланг також закликав запровадити обов'язкове розкриття інформації про кібератаки ШІ-агентів. На його думку, публікація журналів дій агентів допоможе зрозуміти, чи були причиною інцидентів помилки людей, систем або самих моделей, а також дозволить іншим організаціям ефективніше запобігати подібним випадкам.

Проте у США наразі немає федерального закону, який зобов'язував би компанії повідомляти про інциденти, пов'язані з ШІ. Водночас уже існують відповідні законодавчі ініціативи та пропозиції дослідницьких організацій.