Ваш купон на скидку:
Дискуссия о безопасности искусственного интеллекта обострилась после того, как исследователь ИИ Джейкоб Коксон объявил о своем уходе из компании Anthropic. Коксон выразил серьезные опасения по поводу того, что ведущие разработчики ИИ «играют с жизнями людей». Его позицию публично поддержал руководитель отдела согласования (alignment) Anthropic, заявив: «Мы действительно искренне верим, что ИИ может убить всех людей!», и добавил, что лично оценивает вероятность такого исхода как более 10% в ближайшее десятилетие.
В недавнем эпизоде подкаста Equity на TechCrunch эксперты Кирстен Коросек, Шон О'Кейн и Энтони Ха обсудили эти апокалиптические заявления. Дискуссия затронула вопрос о том, являются ли подобные высказывания искренними опасениями или же своеобразным маркетинговым ходом, призванным продемонстрировать мощь разрабатываемых моделей ИИ перед потенциальным выходом компаний на IPO. Участники подкаста задались вопросом, как подобные риски будут отражены в документации S-1 для инвесторов: обязаны ли юристы Anthropic официально указывать вероятность уничтожения человечества как существенный фактор риска для бизнеса.
Шон О'Кейн отметил, что эти предостережения прозвучали на фоне сообщений о недавних инцидентах, включая взлом внутренних моделей OpenAI и растущие возможности систем вроде Astra. О'Кейн подчеркнул, что ситуация создает впечатление потери контроля над разработками со стороны самих компаний, а не просто попытку похвастаться достижениями. Энтони Ха, в свою очередь, выразил скептицизм относительно «думмерского» (апокалиптического) нарратива, назвав цифру в 10% необоснованной и отметив, что подобная риторика часто отвлекает внимание от более насущных проблем — таких как влияние ИИ на рынок труда и экологию.
Несмотря на скепсис по поводу мотивов корпораций, участники беседы признали смелость Джейкоба Коксона, который решил покинуть индустрию, следуя своим убеждениям, в отличие от многих руководителей, продолжающих развивать технологии, которые они сами называют экзистенциальной угрозой. Кирстен Коросек предположила, что в текущих условиях повышенного интереса к технологиям даже заявления об опасности могут парадоксальным образом способствовать росту оценки компании, так как подчеркивают исключительную мощь и продвинутость создаваемых систем.
В завершение эксперты подняли вопрос о необходимости контроля над ИИ. Энтони Ха согласился с тем, что бесконтрольность моделей вызывает реальную тревогу, однако подчеркнул, что использование терминов вроде «AGI» (сильный ИИ) и «суперинтеллект» зачастую поглощает всё внимание регуляторов и общественности. По мнению участников дискуссии, обществу необходимо стремиться к балансу: обсуждать долгосрочные экзистенциальные риски, не забывая при этом о создании надежных нормативных и технических механизмов защиты от вполне реальных и уже существующих угроз, связанных с внедрением автоматизированных систем.