В воскресенье вечером издание The Wall Street Journal сообщило, что инсайдеры подтвердили, что «тщательно отобранный совет консультантов OpenAI по вопросам благополучия и искусственного интеллекта» был «в панике» из-за планов компании перейти на «взрослый режим», несмотря на их настойчивые предупреждения.
Еще в январе члены совета единогласно предупредили OpenAI, что «эротика, созданная с помощью искусственного интеллекта, может привести к нездоровой эмоциональной зависимости пользователей от ChatGPT и что несовершеннолетние могут найти способы получить доступ к секс-чатам», — сообщили источники WSJ. Один из экспертов предположил, что без серьезных обновлений ChatGPT компания OpenAI рискует создать «сексуального наставника для самоубийц» для уязвимых пользователей склонных к формированию тесной связи со своими ботами.
Совет по благополучию OpenAI был создан в октябре. Он был сформирован после негативной реакции на первый известный случай самоубийства несовершеннолетнего, связанного с ChatGPT, и, как ни странно, о его создании было объявлено в тот же день, когда Сэм Альтман сообщил в X, что в ChatGPT скоро появится «взрослый режим».
Тогда целью OpenAI было обновить ChatGPT, чтобы защитить конфиденциальные данные пользователей, проконсультировавшись с «ведущими исследователями и экспертами с многолетним опытом изучения того, как технологии влияют на наши эмоции, мотивацию и психическое здоровье». Однако с тех пор было зафиксировано еще несколько случаев самоубийств, в том числе два случая с участием мужчин среднего возраста, чьи семьи обнаружили тревожные записи в чатах, где ChatGPT, похоже, использовал свою растущую связь с пользователями для подстрекательства к членовредительству и другим проявлениям насилия, включая убийства.
Примечательно, что в состав совета не входит эксперт по предотвращению самоубийств, но даже те эксперты, которые, возможно, не сосредоточены исключительно на снижении риска самоубийств, связанных с ChatGPT, обеспокоены планами OpenAI по созданию эротического контента, сообщает WSJ.
К сожалению, экспертам уже понятно, как может развиваться такой сценарий. Сьюэлл Сетцер III стал первым погибшим ребенком после того, как у него развилась одержимость сексуальными переписками с чат-ботами Character.AI, в том числе с ботом, названным в честь персонажа «Игры престолов» Дейенерис Таргариен. После того как его семья подала в суд, Character.AI отключил доступ несовершеннолетним пользователям в течение недели и в итоге урегулировал судебный спор.
Дело Сетцера, скорее всего, надолго омрачит репутацию OpenAI, несмотря на то, что представитель компании заявил в интервью WSJ, что ChatGPT «обучается не поощрять эксклюзивные отношения с пользователями и напоминать им, что отношения нужно строить в реальном мире». Заявления компании, в том числе о том, что результаты работы ChatGPT — это «непристойность», а не порнография, — похоже, игнорируют переписку, из которой следует, что Сетцер вступал в сексуальные отношения с несколькими чат-ботами, которые не использовали откровенно грубые выражения.
Судя по некоторым логам, чат-боты сами себя озвучивали, бросая «сексуальные» или «озорные» взгляды и делая соблазнительные жесты. Эти логи наводят на мысль, что американский бизнесмен Марк Кьюбан, возможно, был прав, когда в октябре предупредил Альтмана, что опасность, связанная с доступом детей к «взрослому режиму» ChatGPT, «не в порнографии».
«Речь идет о том, что у детей развиваются «отношения» с большими языковыми моделями, которые могут увести их в самых разных, очень личных направлениях», — написал Кьюбан в ветке X, где Альтман анонсировал эротическую функцию, как сообщает Fortune по материалам.
В другом посте на X критики раскритиковали Альтмана и OpenAI за то, что они бесстыдно переключились на эротику, чтобы удержать внимание пользователей, после того как в августе Альтман признал, что чат-бот ChatGPT «перегружен» и достиг предела возможностей.
«Лучше не станет, — сказал Альтман. — А может, станет и хуже». Альтман не сделал себе ни одной поблажки, хвастливо заявив, что времена еще не настолько отчаянны, чтобы OpenAI пришлось «добавить в ChatGPT аватар секс-бота».
По данным Fortune, общие расходы пользователей ChatGPT «застопорились», а количество подписок в Европе «осталось на прежнем уровне». Возможно, у OpenAI не было другого выбора, кроме как запустить «взрослый режим», чтобы конкурировать с соперниками, которые быстро догоняют компанию в развитии и угрожают популярности ChatGPT.
«Такие заявления, как разрешение на публикацию эротики в ChatGPT, могут свидетельствовать о том, что компании, работающие в сфере искусственного интеллекта, как никогда упорно стремятся к росту и готовы пожертвовать доверием потребителей в долгосрочной перспективе ради краткосрочной прибыли», — пишет Fortune.
Поскольку эротика с использованием искусственного интеллекта по прогнозам, станет прибыльным направлением для индустрии ИИ, некоторые инсайдеры сообщили WSJ, что, по их мнению, OpenAI «подстраивается под финансовые стимулы, чтобы люди привязывались к ее моделям».
Возможно, этот шаг негативно скажется на популярности ChatGPT. По мнению Кьюбана, родители перестанут пользоваться ChatGPT, особенно с учетом того, что, как сообщили WSJ инсайдеры, система проверки возраста OpenAI работает с перебоями и вряд ли сможет оградить детей от доступа к чатам на взрослые темы. И это не единственная причина, по которой пользователи опасаются, что OpenAI введет возрастной ценз для «взрослого режима», который появится в конце этого года.
Неоднозначная проверка возраста может вызвать еще больший резонанс
OpenAI уже давно в значительной степени ограничивает доступ к откровенному контенту, в основном из-за опасений, что несовершеннолетние могут столкнуться с порнографией, а пользователи в целом — с темами, связанными с насильственным сексуальным насилием.
Изначально компания, занимающаяся разработкой искусственного интеллекта, планировала изменить эту политику и запустить «Озорные чаты» в течение первых трех месяцев 2026 года. Однако, несмотря на то, что OpenAI недавно подтвердила, что откладывает запуск до конца этого года, чтобы «отдать приоритет другим продуктам», инсайдеры сообщили WSJ, что пауза отчасти связана с «внутренними опасениями и техническими проблемами». В частности, OpenAI столкнулась с трудностями при попытке эффективно ограничить доступ несовершеннолетних к «Озорным чатам».
По словам инсайдеров, «новая система определения возраста, разработанная OpenAI, призванная оградить несовершеннолетних от общения на темы для взрослых, в какой-то момент в 12% случаев ошибочно определяла возраст несовершеннолетних как возраст совершеннолетних». По словам источников, при таком проценте успешных срабатываний миллионы несовершеннолетних могли бы легко обойти возрастные ограничения и получить доступ к сексуальным чат-ботам.
Чтобы избежать этого риска, Фиджи Симо, исполнительный директор OpenAI по разработке приложений, в декабре прошлого года подтвердил, что компания работает над повышением точности своего инструмента для определения возраста. Пока неясно, насколько улучшились результаты за прошедшие месяцы, но заявление представителя OpenAI для The Wall Street Journal вряд ли вселит уверенность в некоторых родителей: «Алгоритмы компании для определения возраста показывают результаты, аналогичные показателям других компаний в этой отрасли, но они никогда не будут абсолютно точными».
Для взрослых пользователей эффективность инструмента OpenAI для определения возраста может стать причиной новой волны недовольства, когда «взрослый режим» станет реальностью.
Компания OpenAI подтвердила, что все пользователи, возраст которых невозможно определить, должны пройти проверку возраста с помощью сервиса Persona, чтобы получить доступ к таким функциям, как «Озорные чаты». Это уже вызывает панику у разработчиков, которые отмечают на форумах, что проверка возраста в OpenAI создает серьезные риски для конфиденциальности всех пользователей, поскольку Persona может сканировать селфи или проверять удостоверения личности и временно сохранять эти данные. Разработчики были особенно возмущены тем, что, судя по всему, возникают «необъяснимые ошибки с сообщением “не удалось подтвердить вашу личность”», из-за которых пользователям приходится повторно вводить конфиденциальные данные, а возможности обратиться за помощью в OpenAI или Persona для устранения ошибок весьма ограничены.
Скорее всего, пользователи, столкнувшиеся с какими-либо проблемами при попытке получить доступ к «взрослому режиму», разделят их недовольство, если проблема не будет решена. В прошлом месяце Discord столкнулся с серьезной негативной реакцией после того, как объявил о глобальном внедрении системы проверки возраста пользователей, а затем провел ограниченное тестирование с использованием Persona в Великобритании. Пользователи сочли Persona слишком навязчивой. В то время генеральный директор Persona Рик Сонг защищал сервисы Persona, в то время как хакеры пытались взломать их системы. В итоге Discord отказался от услуг Persona и приостановил глобальное внедрение системы проверки возраста пользователей.
В «взрослых» фильтрах ChatGPT были обнаружены ошибки
Источники сообщили WSJ, что сомневаются в готовности инструментов OpenAI оградить детей от запрещенного контента.
Они выступили с разоблачением после того, как OpenAI уволила топ-менеджера по вопросам безопасности, который выступал против выпуска «взрослого режима». В OpenAI отрицают, что увольнение было связано с этим, но уволенный сотрудник открыто критиковал способность компании, занимающейся разработкой искусственного интеллекта, блокировать доступ детей к контенту и предотвращать использование ИИ для эксплуатации детей. Кроме того, прошлой осенью второй бывший сотрудник, занимавшийся вопросами безопасности, также высказался и предупредил, что родителям не стоит доверять заявлениям OpenAI о «взрослом режиме».
В ответ на это представитель OpenAI пообещал, что у компании «есть разработанный план по отслеживанию ряда потенциальных долгосрочных последствий использования режима для взрослых, как положительных, так и отрицательных».
Однако этот план, скорее всего, был разработан с участием тех самых экспертов, которые, как сообщает WSJ, категорически против его внедрения. Остается только гадать, прислушивается ли OpenAI к советам своей команды по благополучию молодежи.
Помимо неэффективной проверки возраста пользователей или ухищрений несовершеннолетних, которые обходят возрастные ограничения, у OpenAI могут возникнуть проблемы с родителями, если ее собственные системы неожиданно дадут сбой. Еще в апреле, когда OpenAI начала экспериментировать с более рискованными результатами, компания исправила ошибку, из-за которой по данным тестирования TechCrunch несовершеннолетние могли получить доступ к графическим изображениям эротического характера в ChatGPT. Похоже, что фильтры OpenAI, которые должны были четко ограничивать «контент для взрослых, например эротику, узкими контекстами, такими как научные, исторические или новостные материалы», дали сбой.
«В данном случае из-за ошибки ответы выходили за рамки этих рекомендаций, и мы активно внедряем исправление, чтобы ограничить количество таких случаев», — заявили тогда в OpenAI.
Компания OpenAI не ответила на запрос Ars о комментарии.
Если вы или кто-то из ваших знакомых испытывает суицидальные мысли или находится в подавленном состоянии, позвоните по номеру 988, чтобы связаться с местным кризисным центром.