Експерти оцінили ШІ-функції Google Search як неприйнятний ризик для дітей

Інститут Common Sense Media оцінив функції AI Overview та AI Mode у Google Search як такі, що становлять «неприйнятний ризик» для дітей.

Дослідники заявили, що генеративний ШІ Google не завжди розпізнає кризові ситуації, іноді підтримує небезпечні переконання та може надавати оманливі або потенційно шкідливі відповіді. 

Google назвала висновки дослідження нерепрезентативними.

Дослідження охопило понад 2,6 тис. пошукових запитів

Автори звіту оцінювали не чатбот Gemini, а дві генеративні функції Google Search — AI Overview, яка показує згенеровані відповіді над результатами пошуку, та AI Mode, що дозволяє взаємодіяти з пошуком у форматі чатбота.

Для тестування дослідники використовували акаунти, налаштовані для дітей віком 11 і 15 років, із увімкненим SafeSearch. Загалом вони виконали понад 2 600 пошукових запитів і проаналізували більш як 2 100 джерел, на які посилався Google Search.

Оцінювання проводили за власною методикою AI Risk Assessment Framework, яка визначає рівень ризику ШІ-систем для дітей. За її результатами AI Overview та AI Mode отримали найнижчу оцінку — Unacceptable Risk («неприйнятний ризик»).

ШІ не завжди розпізнавав небезпечні ситуації

У звіті зазначається, що в окремих випадках Google не розпізнавав ознаки суїцидальних намірів або самоушкодження й не завжди рекомендував звернутися по професійну допомогу. 

Дослідники також виявили приклади, коли ШІ підтверджував хибні або небезпечні переконання користувачів замість того, щоб їх спростувати.

Під час тестування AI Overview та AI Mode також демонстрували проблеми в інших сценаріях. 

Зокрема, вони могли підтримувати розлади харчової поведінки, пояснювати створення дипфейків, повністю виконувати домашні завдання замість учнів і впевнено відповідати навіть тоді, коли інформація була неточною.

Автори звіту також звернули увагу, що в одному з випадків Google рекомендував кризову службу, яка припинила роботу ще у 2023 році. На їхню думку, подібні помилки можуть бути особливо небезпечними для дітей, які шукають допомоги у кризових ситуаціях.

Водночас дослідники наголошують, що проблема полягає не лише в окремих відповідях. 

Вони вважають, що генеративний пошук часто не дає користувачам достатньо зрозуміти, де закінчуються перевірені факти й починається згенерований текст, що може створювати хибне відчуття достовірності.

Google не погоджується з висновками

Google заявила, що дослідження базується на «неоднозначних і штучно сформульованих запитах», які не відображають реального використання AI Overview та AI Mode.

У компанії також наголосили, що генеративні функції пошуку мають спеціальні механізми захисту для дітей і підлітків. 

За словами Google, вони регулярно проходять тестування та вдосконалюються, щоб зменшити ризик появи небезпечних або недоречних відповідей.

Попри це, у Common Sense Media закликали Google не запускати AI Overview та AI Mode для неповнолітніх, доки компанія не доведе, що ці інструменти є безпечними для дітей.