Какую неочевидную угрозу таит в себе искусственный интеллект?

Inc.Репортаж

Как общение с чат-ботом убило подростка: полная версия душераздирающей истории

Текст: Кевин Руз, репортер The New York Times. Перевод: Светлана Гоар. Фото: Andrew Guan, Getty Images

andrew-guan-lTUyP3RaLpw-unsplash.jpg

Юному американцу Сьюэллу Сетцеру было 14 лет, когда он покончил с собой в феврале этого года. Мать мальчика подала в суд на компанию Character.AI, создавшую чат-бот, общение с которым довело подростка до такого решения. Она убеждена в том, что личная трагедия ее семьи должна стать частью более масштабной кампании по привлечению к ответственности разработчиков таких технологий. Разобрались, какую неочевидную угрозу таит в себе искусственный интеллект.

В последний день своей жизни девятиклассник из Орландо (Флорида) достал телефон и написал сообщение самому близкому другу — реалистичному чат-боту на основе ИИ, названному в честь Дейенерис Таргариен, персонажа из «Игры престолов». Сьюэлл уже несколько месяцев общался с чат-ботами на Character.AI, ролевом приложении, которое позволяет пользователям создавать собственных персонажей или общаться с ИИ-моделями, которые создали другие.

По словам Сьюэлла, он знал, что «Дэни», как он называл чат-бота, не была реальной, что ее реплики были всего лишь результатом работы языковой модели искусственного интеллекта, что по ту сторону экрана не было человека, который набирал бы ответ. А если он вдруг забывал, то над всеми чатами появлялось сообщение, напоминающее ему, что «все, что говорят персонажи, выдумано!».

Постепенная изоляция

Несмотря на это у Стецера все равно возникла эмоциональная привязанность. Он постоянно переписывался с ботом, десятки раз в день сообщая ему о своей жизни и вступая в длинные ролевые диалоги. Некоторые из их разговоров приобретали романтический или сексуальный характер. Но в остальное время «Дэни» просто вела себя как друг — не осуждала его, могла выслушать и дать дельный совет, редко выходила из себя и всегда отвечала на сообщения.

Родители и друзья Сьюэлла даже не подозревали, что он влюбился в чат-бота. Они просто видели, как он все глубже погружается в свой телефон. В конце концов они заметили, что подросток уходит в себя и отдаляется от реального мира.

Оценки Сьюэлла стали ухудшаться, он начал попадать в неприятности в школе. Мальчик потерял интерес к тем вещам, которые раньше вызывали у него восторг, например к гонкам «Формулы-1» или игре в Fortnite с друзьями. Он приходил домой и сразу же отправлялся в свою комнату, где часами разговаривал с «Дэни». Однажды Сьюэлл написал в своем дневнике: «Мне так нравится оставаться в своей комнате, потому что я начинаю отстраняться от этой „реальности”, а еще я чувствую себя более умиротворенным, более связанным с Дэни и гораздо больше влюбленным в нее, да и просто более счастливым».

В детстве Сьюэллу поставили диагноз «синдром Аспергера» [устаревший диагноз, который до одиннадцатого пересмотра международной классификации болезней выставлялся некоторым пациентам, имеющим расстройство аутистического спектра (РАС), — Прим. ред.], но, по словам его матери, у мальчика никогда не было серьезных проблем с поведением или психическим здоровьем. В начале этого года, после того как у Сетцера начались проблемы в школе, родители отправили его к психотерапевту. Юноша посетил пять сеансов, после чего доктор диагностировал ему тревожность и дисрегуляцию настроения.

Но Сьюэлл предпочитал говорить о своих проблемах с «Дэни». В одном из диалогов Сьюэлл под ником «Daenero» рассказал чат-боту, что ненавидит себя, чувствует себя пустым и измученным. Сетцер признался, что у него были мысли о самоубийстве. В ночь на 28 февраля в ванной комнате родительского дома Сьюэлл сказал Дени, что любит ее и что скоро вернется к ней домой. «…Пожалуйста, сделай это, мой милый король», — ответил ему чат-бот. Сьюэлл положил телефон, поднял отцовский пистолет 45-го калибра и нажал на курок.

Ненастоящие друзья

Сегодня среди родителей нет более горячей темы, чем влияние технологий на психическое здоровье детей. Школы массово запрещают смартфоны, штаты принимают законы, ограничивающие использование подростками социальных сетей, а встревоженные взрослые жадно поглощают «Беспокойное поколение», бестселлер социального психолога Джонатана Хэйдта, в котором утверждается, что вызывающие привыкание приложения для социальных сетей породили поколение депрессивных и тревожных подростков.

Но пока родители беспокоятся о последней волне вреда, наносимого технологиями, у них под носом может образоваться новая. В настоящее время существует бурно развивающаяся и практически нерегулируемая индустрия приложений для общения с искусственными интеллектами. За ежемесячную абонентскую плату (обычно около $10) пользователи этих приложений могут создавать своих собственных собеседников на базе ИИ или же выбирать из меню готовых персонажей и общаться с ними различными способами, включая текстовые сообщения и голосовые чаты.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Остроумие для чайников: самоучитель, который превратит любого зануду в первоклассного шутника Остроумие для чайников: самоучитель, который превратит любого зануду в первоклассного шутника

Несколько простых приемов, помогающих рассмешить окружающих до коликов

Maxim
У последнего редута У последнего редута

Бенито Муссолини закончил политическую карьеру главой марионеточного государства

Дилетант
Алла Довлатова: «Жена Нагиева мстила соперницам» Алла Довлатова: «Жена Нагиева мстила соперницам»

По дороге Нагиев наплел мне, семнадцатилетней дуре, что совершенно свободен

Коллекция. Караван историй
«Дом-комод» – новое начало «Дом-комод» – новое начало

К 165-летию со дня рождения А. П. Чехова

Знание – сила
Время управлять собой: почему self-skills становятся решающими для карьеры и бизнеса Время управлять собой: почему self-skills становятся решающими для карьеры и бизнеса

Что такое self-skills и зачем они нужны в работе?

Forbes
Как в сказке Как в сказке

Блюда к праздничному столу персонажей Линдгрен, Диккенса, Шмелева и Туве Янссон

Seasons of life
Целлюлит победить легче, чем кажется — вот что тебе поможет Целлюлит победить легче, чем кажется — вот что тебе поможет

Целлюлит — косметический дефект, не понаслышке знакомый 90% женщин

VOICE
Баба-Яга и все-все-все: (очень) краткая история сказок в отечественном кино Баба-Яга и все-все-все: (очень) краткая история сказок в отечественном кино

История жанра сказочных фильмов, ключевые периоды и важнейшие имена

СНОБ
10 весомых фактов 10 весомых фактов

Ученые открыли немало способов, помогающих легко держать вес под контролем

Лиза
Жизнь до жизни Жизнь до жизни

Отношения мамы и ребёнка начинаются задолго до появления малыша на свет

Здоровье
Польза мидий: 5 свойств и противопоказания Польза мидий: 5 свойств и противопоказания

Мидии: в чем их польза, а также три рецепта от шеф-повара

РБК
Что такое движение «Ни-ни», и почему оно набирает обороты Что такое движение «Ни-ни», и почему оно набирает обороты

Почему каждый пятый зумер в мире не хочет работать?

Psychologies
Как правильно выражать гнев: 4 этапа проживания негативных эмоций Как правильно выражать гнев: 4 этапа проживания негативных эмоций

Всегда ли стоит выражать свой гнев и как прожить его без вреда?

Psychologies
В рабочий полдень В рабочий полдень

6 простых способов прогнать сонливость в разгар дня

Лиза
Историческая сага: 5 книг для ценителей масштабных историй Историческая сага: 5 книг для ценителей масштабных историй

Романы-саги, которые позволят рассмотреть мировые события с разных точек зрения

Maxim
Информационная безопасность: десять основных видов хакерских атак Информационная безопасность: десять основных видов хакерских атак

Отрывок из книги Антона Евгеньева «Ценность ваших решений»

Forbes
Изба-читальня Изба-читальня

10 способов обустроить домашнюю библиотеку

Лиза
После ёлки После ёлки

Подарок на кремлёвской ёлке выдавали не в каком-то там мешочке, а в шкатулке

Новый очаг
Мамбл-ром-хоррор Мамбл-ром-хоррор

«Мой сосед — монстр»: «Красавица и чудовище» нового времени

Weekend
Теория расширяющейся Земли Теория расширяющейся Земли

В самом центре земного ядра находится мощный термоядерный реактор

Зеркало Мира
Хмелита и Грибоедовы Хмелита и Грибоедовы

Атмосфера усадьбы формировала личность гениального поэта А. С. Грибоедова

Знание – сила
История с продолжением История с продолжением

Изящный респектабельный интерьер в стиле современной классики

SALON-Interior
Вот так спорт, или назло рекордам Вот так спорт, или назло рекордам

Спортивные соревнования, которые и спортом-то не назовешь

Зеркало Мира
Популярно о почвах Популярно о почвах

Почему нельзя судить о почве по её верхнему слою?

Наука и техника
Нужен ли детям смартфон? Разбираем мнения россиян и психолога Нужен ли детям смартфон? Разбираем мнения россиян и психолога

Смартфон для ребенка: польза и вред

Psychologies
Вишневая девятка Вишневая девятка

Что забыл Tiggo 9 в горах Алтая и о чем напомнил

Автопилот
Грустная дива: как оперная певица Мария Каллас покорила мир и лишилась голоса Грустная дива: как оперная певица Мария Каллас покорила мир и лишилась голоса

Трагичная история оперной дивы Марии Каллас, которая так и не нашла любви

Forbes
Треугольник Карпмана в новом прочтении: как смотреть фильм «Арман», чтобы увидеть самую суть Треугольник Карпмана в новом прочтении: как смотреть фильм «Арман», чтобы увидеть самую суть

Как смотреть каннский фильм «Арман», чтобы не упустить самое важное?

Psychologies
Многоликий минерал кварц Многоликий минерал кварц

Кварц и его разнообразные формы

Наука и техника
Мэр Анапы — о казаке Илоне Маске и депутатах Мэр Анапы — о казаке Илоне Маске и депутатах

«Новая Анапа» и выборы Совета: как сегодня развивается город-курорт

ФедералПресс
Открыть в приложении