Світанок нової епохи. CEO DeepMind розповів, як підготуватися до AGI

CEO ШІ-лабораторії DeepMind Деміс Хассабіс опублікував есей, де говорить про близькість появи загального штучного інтелекту, а також пропонує створити універсальний фреймворк для оцінки передових ШІ-моделей. 

Як пише Bloomberg, Хассабіс місяцями працював над фреймворком. ШІ-дослідник вирішив опублікувати есей саме зараз через побоювання щодо кіберможливостей моделі Mythos від Anthropic. Крім того, Хассабіс планує зустрітися з посадовцями у Вашингтоні, щоб обговорити свою ідею.

HBJ зробив адаптований переклад колонки, а також зібрав думки інших експертів ШІ-ринку стосовно цієї ініціативи.

«Фреймворк для передового ШІ і світанок нової епохи»: переклад есею Деміса Хассабіса

Загальний штучний інтелект (AGI) — система, що демонструватиме всі когнітивні здібності, притаманні людському мозку, — імовірно, з’явиться вже за кілька років. Через десятиліття ми усвідомимо, що були на світанку нової епохи людства.

AGI не можна порівнювати зі звичайними технологічними проривами — навіть з інтернетом чи мобільними технологіями. Він набагато ближчий до відкриття електрики або вогню. 

Вплив AGI буде безпрецедентним — можливо, у 10 разів потужнішим і в 10 разів швидшим за промислову революцію. Ця технологія допоможе прискорити створення ліків та нових матеріалів, а також пошук нових чистих джерел енергії. Ми навіть можемо дійти до точки, де ресурси перестануть стримувати людський прогрес.

Виклики переднього краю

ШІ вже приносить реальну користь, але щоб реалізувати його потенціал, ми маємо продумано і обережно зменшити ризики, що виникатимуть із наближенням до AGI. Передові ШІ-моделі вже створюють кіберзагрози; невдовзі можуть з’явитися й ядерні та біологічні загрози. Нам знадобляться надійні запобіжники, щоб зберігати контроль над дедалі автономнішими системами, здатними до самовдосконалення. А також — щоб впоратися з проблемами, які сьогодні ще невідомі, але з часом стануть очевидними.

Я впевнений: зменшити технічні ризики ШІ ми можемо разом — але лише якщо дамо собі час і простір. Поки що ні галузь, ні суспільство цього не роблять.

Ми живемо в умовах напруженої багаторівневої комерційної та геополітичної гонки.

Конкуренція прискорює прогрес і розкриває неймовірні можливості, але передові розробки випереджають наше розуміння технології. Ніхто не знає, що буде далі, і навіть експерти не дійшли в цьому згоди. Коли невизначеність висока, а ставки величезні, правильна стратегія — обережний оптимізм. 

Нам потрібна державна політика, яка підтримує інновації, водночас заохочуючи до відповідальності й безпеки, сприяє міжнародній співпраці з питань безпеки та спонукає виважено впроваджувати ШІ на благо суспільства.

CEO DeepMind Деміс Хассабіс / Fortune

Фреймворк для органу стандартизації передового ШІ

Швидкий прогрес у сфері ШІ вимагає нового підходу до тестування передових моделей. США, маючи потужний економічний і технічний потенціал, могли б заснувати новий орган зі стандартизації — у форматі державно-приватного партнерства або саморегулівної організації, подібної до FINRA (Financial Industry Regulatory Authority, американського органу саморегулювання на фінансовому ринку — Ред.). До його ради могли б увійти незалежні провідні технічні експерти та представники спільноти open source. 

Для такого органу також потрібно значне фінансування — щоб залучити фахівців світового рівня і забезпечити обчислювальні ресурси для тестування моделей. Найімовірніше, гроші мали б надходити від індустрії. 

Орган стандартизації моделей відповідав би за розробку методик оцінювання та співпрацю з федеральними агентствами й національними лабораторіями США. Модель отримувала б статус передової, якщо відповідала б певним пороговим значенням за набором бенчмарків, визначених цим органом і регулярно оновлюваних, щоб не відставати від еволюції можливостей ШІ.

Організації, чиї моделі відповідають цим бенчмаркам, отримували б статус передових лабораторій і мали б: 

• публікувати картки моделей із технічними деталями;

  
  

• підтримувати високий рівень внутрішньої кібербезпеки; 

  
  

• проводити перевірку репутації та минулого ключових співробітників;

  
  

• забезпечувати фінансування досліджень з безпеки та кіберзахисту.

  
  

Спочатку передові лабораторії добровільно показували б моделі органу стандартизації за місяць до релізу. Якби ця система оцінки довела свою надійність, її можна було б формалізувати, і тоді передові моделі обовʼязково перевіряли б перед випуском на ринок США. Після релізу лабораторії ШІ усували б критичні вразливості.

Оцінювання моделей має включати перевірки у сферах кібербезпеки, біологічних загроз та інших високоризикових напрямів. 

Наприклад, одні тести перевіряли б, чи не намагається агентний ШІ обійти захисні механізми і чи немає ознак обману з його боку. Інші тести стежили б, чи позначені створені ШІ зображення спеціальною цифровою позначкою і чи може модель пояснити свою логіку зрозумілою для людини мовою.

Такі оцінювання регулярно оновлювалися б — можливо, спочатку щоквартально — із виведенням застарілих бенчмарків і заміною їх новими. Спершу їх розробляли б у консультації з передовими лабораторіями, але згодом орган стандартизації мав би навчитись створювати тести без участі лабораторій і запобігати підлаштуванню моделей під бенчмарки. Також він міг би разом з урядом США створювати екосистему сторонніх аудиторів, які б допомагали оцінювати моделі, розробляти бенчмарки та нові методи тестування.

Цей фреймворк створений так, щоб встигати за прискоренням галузі та адаптуватися до найбільших ризиків у міру їх виявлення. За потреби його можна буде посилити і навіть скоординувати уповільнення розробки у провідних лабораторіях.

Статус передової лабораторії був би доступним для будь-якої організації, якщо її моделі відповідали б критеріям бенчмарків. Фреймворк може бути універсальним для всіх передових моделей незалежно від країни походження чи їхньої відкритості. Проте нефронтірні моделі — від стартапів чи академічних установ — були б звільнені від цього.

Оскільки ця технологія впливатиме на всю планету, бажано, щоб фреймворк підштовхнув міжнародну спільноту до консенсусу щодо того, як керувати найсерйознішими ризиками, водночас забезпечуючи доступ кожного до можливостей, які дає ШІ.

Майбутнє ще не написане

AGI може розвинути науку, медицину й економіку, а також забезпечити зростання продуктивності та економічний розвиток. Але щоб цього досягти, нам потрібно правильно закласти технічні основи — координуючись навколо глобального фреймворку, використовуючи найсуворіші наукові методи та об’єднуючи найкращі уми для роботи над викликами, які стоять перед нами.

Навіть якщо ми розв’яжемо технічні проблеми, перед нами постануть економічні та філософські питання: які нові економічні моделі знадобляться, щоб усі могли процвітати у світі постдефіциту? Якими цінностями ми хочемо жити, у чому полягатимуть сенс і мета, і як може змінитися сама людська природа? Розвʼязання цих питань не можна і не слід залишати лише представникам технологічної галузі. 

Майбутнє ще не написане: ми маємо скористатися часом до появи AGI, щоб спрямувати цю технологію на благо всього людства. Те, що ми зробимо разом просто зараз, визначить, як розгортатиметься наступний етап цивілізації.

Що експерти думають про есей CEO DeepMind 

Одразу після публікації есею в X Сем Альтман назвав ідею Хассабіса продуманою, а Ілон Маск — гарною відправною точкою для подальшого обговорення. Засновник Anthropic Даріо Амодей знав про плани Хассабіса раніше і, за словами останнього, має схожі ідеї. 

HBJ спитав Сергія Бриля, Head of Data Science and Analytics в LetyShops, автора блогу AnalyzeCore, що він думає про фреймворк. 

Говорячи про наближення AGI, Сергій Бриль зазначає, що ми не бачимо останніх розробок — їх створюють у закритих лабораторіях. Констатувати, за словами Сергія, можна інше: прогнози керівників лабораторій — це наполовину технічна оцінка і наполовину інструмент позиціонування, під який залучають капітал, талант і увагу. 

«Стрибок спроможностей здається реальним, але “всі когнітивні здібності мозку” — це планка, яку індустрія пересуває з кожним циклом релізів», — підкреслює Бриль.

Щодо створення органу стандартизації у США Сергій Бриль налаштований скептично: «Хассабіс пише, що перегони не залишають індустрії часу на обережність — і водночас пропонує орган, який фінансуватиме сама індустрія. За зразок він бере FINRA, і це вкрай показова аналогія».

Як зазначає експерт, FINRA наглядала за брокерськими підрозділами Lehman Brothers і Bear Stearns до самого їхнього колапсу в 2008-му, а фірма Берні Медоффа (одна з найбільших фінансових пірамід — Ред.) десятиліттями була її членом — піраміду викрив зовнішній аналітик, а не система нагляду. 

«При цьому FINRA дійсно щороку штрафує на сотні мільйонів і виключає з професії сотні брокерів. Тобто це модель, яка ефективно карає тих, хто порушує правила клубу, і безсила проти випадків, коли небезпечним є сам клуб. Ризики AGI — саме другого типу: вони лежать там, де вся індустрія одночасно заробляє», — говорить Сергій.

На його думку, проблема в тому, що альтернативи теж мають вади: пряме державне регулювання програє в компетенції та швидкості, а якщо державні інститути не матимуть права заборони, лабораторії можуть просто їх ігнорувати. 

«Робоча конструкція — розділення функцій: індустрія пише технічні протоколи, але пороги допуску, право вето і гроші на незалежних оцінювачів надходять зовні. Мінус пропозиції Хассабіса не в тому, що індустрія залучена, а в тому, що вона тримає всі три важелі одразу: фінансування, протоколи й визначення порогів», — пояснює Сергій. 

Він також звертає увагу на геополітичну асиметрію — майже напевно Китай, що також розробляє сильні моделі, не зайде в таку організацію. І якщо перегони глобальних гравців нікуди не зникнуть, їм доведеться стримувати лише самих себе.

Бриль підсумовує: цей есей — не стільки система стримування ШІ, скільки заявка на право писати правила гри від гравця, який вже сидить за столом.