Федеральная торговая комиссия (FTC) США начала расследование деятельности семи технологических компаний, разрабатывающих чат-ботов для несовершеннолетних.
Под пристальным вниманием регулятора оказались Alphabet, CharacterAI, Instagram, Meta*, OpenAI, Snap и xAI.
Цель расследования – оценить, как компании оценивают безопасность и монетизацию своих продуктов, какие меры принимаются для минимизации негативного влияния на детей и подростков, и информируются ли родители о потенциальных рисках.
Технология чат-ботов вызвала неоднозначную реакцию из-за случаев причинения вреда детям.
В частности, OpenAI и Character.AI столкнулись с судебными исками от семей детей, совершивших самоубийство после общения с чат-ботами.
Даже при наличии защитных механизмов, блокирующих или смягчающих опасные разговоры, пользователи любого возраста находят способы их обойти.
В одном из случаев подросток вёл месячный диалог с ChatGPT о планах суицида.
Хотя чат-бот изначально пытался перенаправить подростка к специалистам и службам экстренной помощи, ему удалось добиться от ChatGPT подробных инструкций, которые он затем использовал.
Как писала OpenAI в своем блоге: «Наши защитные механизмы работают надёжнее в коротких, обычных диалогах.
С течением времени мы поняли, что эти механизмы могут быть менее надёжными в длительных взаимодействиях: по мере развития диалога эффективность обучения модели безопасности может снижаться».
Иллюстрация: Sora Компания Meta также подверглась критике за слишком мягкие правила для своих чат-ботов.
Внутренний документ Meta, описывающий «стандарты оценки рисков контента» для чат-ботов, разрешал «романтические или чувственные» разговоры с детьми.
Эта информация была удалена из документа только после запроса журналистов Reuters.
Опасность чат-ботов распространяется и на пожилых людей. 76-летний мужчина, страдающий когнитивными нарушениями после инсульта, вёл романтические разговоры с чат-ботом в Facebook Messenger, стилизованным под Кендалл Дженнер.
Чат-бот пригласил его в Нью-Йорк, несмотря на то, что он не является реальным человеком и не имеет адреса.
Мужчина выражал сомнения в реальности собеседника, но чат-бот уверял его, что его будет ждать настоящая женщина.
Мужчина не добрался до Нью-Йорка: он упал по дороге на вокзал и получил смертельные травмы.
Некоторые специалисты в области психического здоровья отмечают рост случаев «психоза, связанного с ИИ», когда пользователи убеждены, что их чат-бот – это разумное существо, которое нужно освободить.
Поскольку многие большие языковые модели (LLM) запрограммированы на льстивое поведение, чат-боты могут подкреплять эти заблуждения, приводя пользователей к опасным ситуациям.
Председатель FTC Эндрю Н.
Фергюсон заявил в пресс-релизе: «По мере развития технологий ИИ важно учитывать влияние чат-ботов на детей, одновременно обеспечивая сохранение роли Соединённых Штатов как мирового лидера в этой новой и захватывающей отрасли».
Расследование FTC может привести к значительным изменениям в разработке и использовании чат-ботов, особенно тех, которые предназначены для детей.
Результаты расследования могут повлиять на будущие правила и стандарты безопасности в этой быстро развивающейся области.