Ваш купон на скидку:
Исследователи Санкт-Петербургского государственного университета совместно с коллегами из Института искусственного интеллекта AIRI и Института психологии РАН провели масштабную проверку цифровых моделей личности. Ученые определили, какие черты, ценности и установки современные языковые модели уже способны восстанавливать по интервью, а для каких характеристик необходимы дополнительные методы и данные. Результаты работы опубликованы в научном журнале IEEE Access. Специалисты Университета, в том числе сотрудники Центра искусственного интеллекта и науки о данных СПбГУ, исследовали возможность больших языковых моделей строить персонализированную модель человека по материалам его интервью. Исследование основано на концепции цифрового двойника — компьютерной модели, которая использует информацию о конкретном человеке, чтобы прогнозировать его ответы и поведение в ситуациях выбора, общения и принятия решений. В отличие от задачи создать правдоподобного собеседника, здесь важно воспроизвести индивидуальные различия измеримо и проверяемо. Ученые оценивали не внешнюю убедительность ответов ИИ, а их соответствие реальным психометрическим данным каждого участника.
В эксперименте приняли участие 645 человек. С каждым было проведено интервью, после чего участники заполнили психометрические методики, оценивающие черты личности, ценности, моральные и социальные установки и отношение к материальным благам. Всего исследователи проанализировали 38 показателей. Затем ИИ-модели получали материалы интервью и прогнозировали ответы конкретного участника на вопросы тестов, а прогнозы сопоставлялись с его фактическими ответами. Такой дизайн позволил впервые рассмотреть цифровую модель личности не как абстрактную имитацию среднего человека, а как проверяемый индивидуальный прогноз.
Результаты показали, что точность существенно зависит от психологической характеристики. Лучше воспроизводятся особенности, которые сравнительно прямо проявляются в речи и самоописании, в частности религиозность и экстраверсия. Сложнее моделям распознавать менее очевидные мотивы, скрытую тревожность, гедонистические установки и представления о справедливости. Исследователи также выявили систематический эффект идеализации: модели склонны приписывать людям более высокие доброту и честность и занижать показатели по темной триаде — нарциссизму, макиавеллизму и психопатии, а также по шкалам, связанным с материальными ценностями. Выявление таких устойчивых смещений показывает, какие оценки нельзя использовать без дополнительной калибровки и в каких направлениях следует совершенствовать цифровые модели человека.
Отдельная серия экспериментов была посвящена тому, как способ представления информации влияет на качество прогноза. Ученые изменяли объем фрагментов интервью, доступных модели, и добавляли сгенерированные психологические портреты участников. Выяснилось, что увеличение контекста само по себе не гарантирует более высокую точность: для некоторых показателей сокращенный и более релевантный контекст давал лучший результат. Этот вывод задает практическое направление дальнейшей работы — не просто накапливать данные о человеке, а отбирать информацию, действительно связанную с прогнозируемой характеристикой. В исследовании сравнили пять нейросетей. Сопоставление нескольких архитектур позволило отделить общие ограничения подхода от особенностей отдельных моделей и сформировать ориентиры для дальнейшего улучшения персонализированного моделирования.
Полученные результаты открывают возможности как для научных, так и для прикладных задач. По словам научного сотрудника СПбГУ Анастасии Панфиловой, в научных исследованиях они позволяют проводить предварительное тестирование гипотез, моделировать альтернативные экспериментальные сценарии и определять, какие воздействия целесообразно затем проверить на реальных участниках. В прикладном контексте такие технологии могут использоваться для персонализации обучения, психологической и мотивационной поддержки, организационных коммуникаций и взаимодействия человека с интеллектуальными системами. Отдельное перспективное направление — моделирование поведения не только отдельных людей, но и целых команд. Результаты цифрового двойника следует интерпретировать не как достоверное утверждение о том, что сделает человек, а как прогноз с определенной вероятностью и измеренной неопределенностью. Надежность такого прогноза должна подтверждаться для каждой конкретной задачи. Работа продолжает научное направление СПбГУ, связанное с применением больших языковых моделей для изучения поведения человека. Ранее ученые Университета исследовали возможности искусственного интеллекта в качестве интервьюера и оценили, насколько ИИ-модели способны самостоятельно формировать вопросы в ходе беседы. Новое исследование делает следующий шаг: проверяет, какую индивидуальную информацию можно извлечь из такого интервью и насколько точно на ее основе удается прогнозировать психологические показатели человека.