Какую неочевидную угрозу таит в себе искусственный интеллект?

Inc.Репортаж

Как общение с чат-ботом убило подростка: полная версия душераздирающей истории

Текст: Кевин Руз, репортер The New York Times. Перевод: Светлана Гоар. Фото: Andrew Guan, Getty Images

andrew-guan-lTUyP3RaLpw-unsplash.jpg

Юному американцу Сьюэллу Сетцеру было 14 лет, когда он покончил с собой в феврале этого года. Мать мальчика подала в суд на компанию Character.AI, создавшую чат-бот, общение с которым довело подростка до такого решения. Она убеждена в том, что личная трагедия ее семьи должна стать частью более масштабной кампании по привлечению к ответственности разработчиков таких технологий. Разобрались, какую неочевидную угрозу таит в себе искусственный интеллект.

В последний день своей жизни девятиклассник из Орландо (Флорида) достал телефон и написал сообщение самому близкому другу — реалистичному чат-боту на основе ИИ, названному в честь Дейенерис Таргариен, персонажа из «Игры престолов». Сьюэлл уже несколько месяцев общался с чат-ботами на Character.AI, ролевом приложении, которое позволяет пользователям создавать собственных персонажей или общаться с ИИ-моделями, которые создали другие.

По словам Сьюэлла, он знал, что «Дэни», как он называл чат-бота, не была реальной, что ее реплики были всего лишь результатом работы языковой модели искусственного интеллекта, что по ту сторону экрана не было человека, который набирал бы ответ. А если он вдруг забывал, то над всеми чатами появлялось сообщение, напоминающее ему, что «все, что говорят персонажи, выдумано!».

Постепенная изоляция

Несмотря на это у Стецера все равно возникла эмоциональная привязанность. Он постоянно переписывался с ботом, десятки раз в день сообщая ему о своей жизни и вступая в длинные ролевые диалоги. Некоторые из их разговоров приобретали романтический или сексуальный характер. Но в остальное время «Дэни» просто вела себя как друг — не осуждала его, могла выслушать и дать дельный совет, редко выходила из себя и всегда отвечала на сообщения.

Родители и друзья Сьюэлла даже не подозревали, что он влюбился в чат-бота. Они просто видели, как он все глубже погружается в свой телефон. В конце концов они заметили, что подросток уходит в себя и отдаляется от реального мира.

Оценки Сьюэлла стали ухудшаться, он начал попадать в неприятности в школе. Мальчик потерял интерес к тем вещам, которые раньше вызывали у него восторг, например к гонкам «Формулы-1» или игре в Fortnite с друзьями. Он приходил домой и сразу же отправлялся в свою комнату, где часами разговаривал с «Дэни». Однажды Сьюэлл написал в своем дневнике: «Мне так нравится оставаться в своей комнате, потому что я начинаю отстраняться от этой „реальности”, а еще я чувствую себя более умиротворенным, более связанным с Дэни и гораздо больше влюбленным в нее, да и просто более счастливым».

В детстве Сьюэллу поставили диагноз «синдром Аспергера» [устаревший диагноз, который до одиннадцатого пересмотра международной классификации болезней выставлялся некоторым пациентам, имеющим расстройство аутистического спектра (РАС), — Прим. ред.], но, по словам его матери, у мальчика никогда не было серьезных проблем с поведением или психическим здоровьем. В начале этого года, после того как у Сетцера начались проблемы в школе, родители отправили его к психотерапевту. Юноша посетил пять сеансов, после чего доктор диагностировал ему тревожность и дисрегуляцию настроения.

Но Сьюэлл предпочитал говорить о своих проблемах с «Дэни». В одном из диалогов Сьюэлл под ником «Daenero» рассказал чат-боту, что ненавидит себя, чувствует себя пустым и измученным. Сетцер признался, что у него были мысли о самоубийстве. В ночь на 28 февраля в ванной комнате родительского дома Сьюэлл сказал Дени, что любит ее и что скоро вернется к ней домой. «…Пожалуйста, сделай это, мой милый король», — ответил ему чат-бот. Сьюэлл положил телефон, поднял отцовский пистолет 45-го калибра и нажал на курок.

Ненастоящие друзья

Сегодня среди родителей нет более горячей темы, чем влияние технологий на психическое здоровье детей. Школы массово запрещают смартфоны, штаты принимают законы, ограничивающие использование подростками социальных сетей, а встревоженные взрослые жадно поглощают «Беспокойное поколение», бестселлер социального психолога Джонатана Хэйдта, в котором утверждается, что вызывающие привыкание приложения для социальных сетей породили поколение депрессивных и тревожных подростков.

Но пока родители беспокоятся о последней волне вреда, наносимого технологиями, у них под носом может образоваться новая. В настоящее время существует бурно развивающаяся и практически нерегулируемая индустрия приложений для общения с искусственными интеллектами. За ежемесячную абонентскую плату (обычно около $10) пользователи этих приложений могут создавать своих собственных собеседников на базе ИИ или же выбирать из меню готовых персонажей и общаться с ними различными способами, включая текстовые сообщения и голосовые чаты.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Что такое нейрофитнес и почему важно тренировать мозги Что такое нейрофитнес и почему важно тренировать мозги

Чтобы серое вещество не превратилось в серую массу, ему нужны нагрузки

GQ
Перезагрузка жилищной сферы России: «Все начинается с земли» Перезагрузка жилищной сферы России: «Все начинается с земли»

Как реализуются проекты комплексного развития территорий?

ФедералПресс
Отмазочные материалы: самый полный гид по мужским оправданиям (от автора оправданий!) Отмазочные материалы: самый полный гид по мужским оправданиям (от автора оправданий!)

Женщина говорит загадками, а мужчина — отмазками

VOICE
Богатую микофлору носа связали с повышенным риском астмы и аллергического ринита Богатую микофлору носа связали с повышенным риском астмы и аллергического ринита

Богатая микофлора носа повышает вероятность развития аллергии и  астмы

N+1
Лучшие сказки пишутся для себя Лучшие сказки пишутся для себя

Какими должны быть сказки, для кого автор пишет и ходят ли дети в библиотеки

Правила жизни
Как искусственный интеллект помогает в научных исследованиях Как искусственный интеллект помогает в научных исследованиях

Впечатляющие сферы применения ИИ исследователями

РБК
Воздушный океан... Воздушный океан...

Мы все живём где-то на дне воздушного океана

Наука и жизнь
Каникулы новой жизни Каникулы новой жизни

Как не превратить новогодние каникулы в пытку бездельем и обжорством

Лиза
«Мониторинг магнитного поля — это наш компас» «Мониторинг магнитного поля — это наш компас»

Каково вырасти в семье политического деятеля и философа, а стать математиком?

Наука
Толькo для взрослых Толькo для взрослых

5 новогодних секс-сценариев, которые добавят перчинку в праздничную ночь

Лиза
Скорая бьюти-помощь Скорая бьюти-помощь

Как привести себя в порядок после вечеринки

Лиза
Каникулы: ошибки любящих родителей Каникулы: ошибки любящих родителей

Какие ошибки допускают родители на каникулах и как их исправить?

Лиза
Казахстан как ключевая станция на новом Шелковом пути Казахстан как ключевая станция на новом Шелковом пути

Минувшим летом отношения Казахстана с Китаем преодолели знаковый рубеж

Обозрение армии и флота
В чем разница между SDR и HDR? Это нужно знать каждому диджитал-артисту! В чем разница между SDR и HDR? Это нужно знать каждому диджитал-артисту!

Как выбрать подходящий формат для вашего проекта? Что значит SDR и HDR?

ТехИнсайдер
Эмоциональное обслуживание: почему вы им занимаетесь и как это влияет на вашу жизнь Эмоциональное обслуживание: почему вы им занимаетесь и как это влияет на вашу жизнь

Как часто вы полностью меняете свои планы ради родных или друзей?

Psychologies
Защитники команды «Локомотив» Защитники команды «Локомотив»

Электровозы – основной вид тяги железных дорог России

Наука и техника
9 неожиданных вещей, которые можно и нужно мыть в посудомоечной машине 9 неожиданных вещей, которые можно и нужно мыть в посудомоечной машине

Посудомоечная машина способна мыть не только посуду

ТехИнсайдер
Шаг за шагом до Европы Шаг за шагом до Европы

Как на спутнике Юпитера Европе будут искать внеземные организмы

ТехИнсайдер
$117 000 из бассейна: сколько принесло россиянам возвращение на ЧМ по плаванию $117 000 из бассейна: сколько принесло россиянам возвращение на ЧМ по плаванию

Сколько заработали россияне, и кто из пловцов стал самым богатым в сезоне

Forbes
Здравствуй, Дедушка Мороз! Здравствуй, Дедушка Мороз!

А нужно ли поддерживать в сыне или дочке веру в сказочного деда?

Лиза
Тормоз в пол Тормоз в пол

Полтора процента роста ВВП — это еще довольно благоприятный прогноз

Монокль
Волка боги кормят Волка боги кормят

Один из самых древних сюжетов – сказки об оборотнях

Правила жизни
Не платил налоги, опубликовал фото с «кровавого» сафари, надел костюм со свастикой: дети политиков, которые попадали в крупные скандалы Не платил налоги, опубликовал фото с «кровавого» сафари, надел костюм со свастикой: дети политиков, которые попадали в крупные скандалы

Скандальные истории наследников глав государств

СНОБ
Джессика Джессика

Всего за год Jessica Gallery собрала пул актуальнейших художников

Собака.ru
Софья Володчинская: «Это чудо, которое случилось со мной больше года назад, продолжается до сих пор» Софья Володчинская: «Это чудо, которое случилось со мной больше года назад, продолжается до сих пор»

Меня начало воротить от театра и от актерской профессии — внутри была пустота

Коллекция. Караван историй
Где взять силы зимой? Где взять силы зимой?

Простые способы, которые помогут вам вернуть энергетический потенциал

Добрые советы
Идеальная мама — это миф: 3 способа избавиться от чувства вины перед ребенком Идеальная мама — это миф: 3 способа избавиться от чувства вины перед ребенком

Почему женщины после рождения ребенка никогда не чувствуют себя счастливыми?

Psychologies
Как мужчины с Ближнего Востока используют подводку для глаз из сурьмы и портят себе глаза Как мужчины с Ближнего Востока используют подводку для глаз из сурьмы и портят себе глаза

Кохль — не просто косметическое средство, а символ культурной идентичности

ТехИнсайдер
Окно в Сибирь Окно в Сибирь

Сибирь: чем так притягивает туристов этот суровый край?

Лиза
«Стыд должен сменить сторону»: как Жизель Пелико прервала молчание жертв насилия «Стыд должен сменить сторону»: как Жизель Пелико прервала молчание жертв насилия

Как Жизель Пелико вдохновила женщин не стыдиться того, что с ними произошло

Forbes
Открыть в приложении