Колишній керівник безпілотного напряму Uber потрапив в аварію, використовуючи безпілотне авто
- Тетяна Кучер
- 18 бер.
- Читати 2 хв
Колишній керівник напряму безпілотних авто Uber Раффі Крікорана, нині CTO Mozilla, у матеріалі для The Atlantic описав власний досвід використання Tesla Full Self-Driving, який змусив його переосмислити взаємодію людини та машин.
Аварія після «сотень безпечних поїздок»
Крікоран розповів, що інцидент стався під час звичної поїздки, яку він із дітьми здійснював сотні разів. За його словами, автомобіль спочатку рухався нормально, але раптово поведінка системи змінилася.
«Автомобіль робив поворот… кермо смикнулося в один бік, потім в інший, і машина сповільнилася так, як я не очікував», — сказав Раффі Крікоран, колишній керівник безпілотного підрозділу Uber.
Він не розумів дій системи, після чого взяв керування на себе. Незабаром автомобіль врізався в бетонну стіну лоб у лоб. Крікоран описав момент після зіткнення, коли усвідомив ситуацію. Його окуляри зникли, а одна з доньок стояла поруч із автомобілем розгублена.
«Моральна зона деформації» та відповідальність користувача
Крікоран підкреслює, що хоча системи безпеки автомобіля спрацювали, головне питання полягає у відповідальності за збій технології. Він звертається до концепції «моральної зони деформації».
Це поняття описує ситуацію, коли користувач автоматизованої системи несе основний моральний і юридичний тягар у разі її збою. Цю концепцію сформулювала дослідниця Мадлен Клер Еліш.
Крікоран зазначає, що після трьох років «бездоганних миль» саме він залишився відповідальним за наслідки аварії, тоді як компанія не взяла на себе відповідальність.
Ілюзія безпеки та ризик «майже ідеальних» систем
Автор наголошує, що назва Full Self Driving може вводити в оману, оскільки система є лише «майже ідеальною». Саме це створює небезпечну ілюзію повної надійності.
Крікоран пояснює, що системи, які працюють майже бездоганно, притуплюють пильність користувачів. Люди починають довіряти технології більше, ніж це виправдано.
«Машина, яка постійно помиляється, тримає вас у тонусі. Машина, яка працює ідеально, не потребує нагляду. Але машина, яка працює майже ідеально? Ось де криється небезпека», — сказав Раффі Крікоран.
Він також зазначає, що надмірна впевненість систем створює хибне відчуття безпеки, що може призводити до втрати уваги користувача.
