Проблема, как он быстро понял, была глубже, чем просто технологии. Человеческим модераторам предстояло запомнить 40-страничный документ с правилами, который был машинно переведен на их язык, сказал он. Затем у них было около 30 секунд на каждое отмеченное содержание, чтобы решить не только, нарушает ли оно правила, но и что с ним делать: заблокировать, забанить пользователя, ограничить распространение. Эти быстрые решения были только «немного точнее, чем подбрасывание монеты», по словам Левенсона. «Это было похоже на подбрасывание монеты, смогут ли модераторы правильно применить политику, и это происходило через много дней после того, как вред уже был нанесен», — сказал Левенсон в интервью TechCrunch. Такой замедленный, реактивный подход не является устойчивым в мире, где действуют ловкие и хорошо финансируемые противники. Рост числа чат-ботов на основе ИИ только усугубил проблему, так как неудачи в модерации контента привели к ряду громких инцидентов, таких как предоставление чат-ботами подросткам советов по самоповреждению или обход фильтров безопасности с помощью изображений, созданных ИИ.
Разочарование Левенсона привело к идее «политики как кода» — способу превращения статических документов с правилами в исполняемую, обновляемую логику, тесно связанную с обеспечением соблюдения. Это озарение привело к основанию компании Moonbounce, которая в пятницу объявила о привлечении 12 миллионов долларов финансирования, как эксклюзивно узнал TechCrunch. Раунд возглавили Amplify Partners и StepStone Group. Moonbounce работает с компаниями, предоставляя дополнительный уровень безопасности везде, где создается контент, будь то пользователем или ИИ. Компания обучила свою собственную большую языковую модель для анализа документов с правилами клиентов, оценки контента в реальном времени, предоставления ответа за 300 миллисекунд или менее и принятия мер. В зависимости от предпочтений клиента, это действие может выглядеть как замедление распространения контента системой Moonbounce, пока он ожидает проверки человеком, или блокировка контента с высоким риском в данный момент.
Сегодня Moonbounce обслуживает три основных вертикали: платформы, работающие с контентом, созданным пользователями, такие как приложения для знакомств; компании, разрабатывающие персонажей или компаньонов на основе ИИ; и генераторы изображений на основе ИИ. Moonbounce поддерживает более 40 миллионов ежедневных проверок и обслуживает более 100 миллионов активных пользователей ежедневно на платформе, сказал Левенсон. Среди клиентов — стартап по созданию ИИ-компаньонов Channel AI, компания по генерации изображений и видео Civitai, а также платформы для ролевых игр с персонажами Dippy AI и Moescape. «Безопасность может быть фактическим преимуществом продукта», — сказал Левенсон TechCrunch. «Она никогда не была таковой, потому что это всегда было то, что происходит позже, а не то, что можно встроить в ваш продукт. И мы видим, что наши клиенты находят действительно интересные и инновационные способы использования нашей технологии, чтобы сделать безопасность отличительной чертой и частью их истории продукта».
Недавно глава отдела доверия и безопасности Tinder объяснил, как платформа для знакомств использует такие сервисы на основе LLM для достижения 10-кратного улучшения точности обнаружений. «Модерация контента всегда была проблемой, которая преследовала крупные онлайн-платформы, но теперь, когда LLM находятся в центре каждого приложения, эта задача становится еще более сложной», — сказал Ленни Прусс, генеральный партнер Amplify Partners, в заявлении. «Мы инвестировали в Moonbounce, потому что представляем мир, где объективные, работающие в реальном времени защитные барьеры становятся основой каждого приложения, управляемого ИИ». Компании, работающие с ИИ, сталкиваются с растущим юридическим и репутационным давлением после того, как чат-ботов обвинили в подталкивании подростков и уязвимых пользователей к самоубийству, а генераторы изображений, такие как Grok от xAI, использовались для создания изображений обнаженных тел без согласия. Очевидно, что внутренние защитные барьеры не справляются, и это становится вопросом ответственности. Левенсон сказал, что компании, работающие с ИИ, все чаще ищут помощь за пределами своих стен для усиления инфраструктуры безопасности.
«Мы — третья сторона, находящаяся между пользователем и чат-ботом, поэтому наша система не перегружена контекстом, как сам чат», — сказал Левенсон. «Сам чат-бот должен помнить, возможно, десятки тысяч токенов, которые были до этого… Мы сосредоточены исключительно на обеспечении соблюдения правил в реальном времени». Левенсон управляет компанией из 12 человек вместе со своим бывшим коллегой из Apple Эшем Бхардваджем, который ранее создавал крупномасштабную облачную и ИИ-инфраструктуру для основных предложений производителя iPhone. Их следующая цель — возможность, называемая «итеративное управление», разработанная в ответ на случаи, такие как самоубийство 14-летнего мальчика из Флориды в 2024 году, который стал одержим чат-ботом Character AI. Вместо грубого отказа, когда возникают вредоносные темы, система будет перехватывать разговор и перенаправлять его, изменяя подсказки в реальном времени, чтобы подтолкнуть чат-бота к более активно поддерживающему ответу. «Мы надеемся добавить в наш инструмент действий возможность направлять чат-бота в лучшее направление, чтобы, по сути, взять подсказку пользователя и изменить ее, чтобы заставить чат-бота быть не просто эмпатичным слушателем, но и полезным слушателем в таких ситуациях», — сказал Левенсон.
На вопрос о том, является ли его стратегией выхода приобретение компанией, такой как Meta, возвращая его работу по модерации контента на круги своя, Левенсон сказал, что он осознает, насколько хорошо Moonbounce вписалась бы в стек его бывшего работодателя, а также свои фидуциарные обязанности как генерального директора. «Мои инвесторы убили бы меня за это, но я бы не хотел, чтобы кто-то купил нас и затем ограничил технологию», — сказал он. «Типа, 'Окей, это теперь наше, и никто другой не может извлечь из этого выгоду'».