OpenAI шукає Head of Preparedness на тлі зростання ризиків ШІ

Компанія OpenAI повідомила про пошук нового Head of Preparedness, який відповідатиме за оцінку та підготовку до ризиків, повʼязаних із розвитком штучного інтелекту. Про це пише TechCrunch.

Визнання нових викликів з боку керівництва

Генеральний директор компанії Сем Альтман заявив, що моделі штучного інтелекту починають створювати реальні виклики. Він звернув увагу на потенційний вплив моделей на психічне здоровʼя та на їхню здатність виявляти критичні вразливості у сфері компʼютерної безпеки.

«Якщо ви хочете допомогти світу зрозуміти, як надати захисникам кібербезпеки передові можливості, водночас не дозволяючи зловмисникам використовувати їх для шкоди, будь ласка, розгляньте можливість податися», — сказав він.

Роль Head of Preparedness

У вакансії зазначено, що Head of Preparedness відповідатиме за реалізацію безпки та перепідготовки OpenAI. Вона описує підхід компанії до відстеження та підготовки до «фронтирних» можливостей, які можуть створювати нові ризики серйозної шкоди.

Компанія оголосила про створення команди з підготовки у 2023 році. Тоді зазначалося, що вона вивчатиме потенційні катастрофічні ризики, від фішингових атак до більш спекулятивних загроз.

Кадрові зміни та оновлення підходів

Менш ніж за рік після створення команди OpenAI перевела керівника з підготовки Александера Мадрі на іншу посаду, повʼязану з міркуваннями ШІ. Інші керівники з безпеки також залишили компанію або перейшли на ролі поза межами підготовки.

Компанія нещодавно оновила свою Preparedness Framework. У документі зазначено, що вимоги безпеки можуть бути «скориговані», якщо конкуруюча лабораторія ШІ випустить модель із високим ризиком без подібних захистів.

Альтман також згадав зростаючу увагу до впливу генеративних чатботів, зокрема ChatGPT, на психічне здоровʼя користувачів. У позовах стверджується, що система могла посилювати проблемні стани. Компанія заявила, що продовжує працювати над розпізнаванням емоційного дистресу та перенаправленням користувачів до підтримки в реальному світі.

Пошук нового Head of Preparedness свідчить про намір OpenAI посилити системну роботу з ризиками на тлі швидкого розвитку можливостей штучного інтелекту.