Международная группа исследователей из Университета штата Мичиган провела эксперимент, наглядно демонстрирующий уязвимость нейросетей при аналитике научных данных. Выяснилось, что модель искусственного интеллекта, обученная практически безошибочно распознавать признаки жизни, теряет точность после сколь угодно малых изменений в исходных данных. Полученные результаты ставят под сомнение возможность полностью автономного использования ИИ в критически важных областях, где алгоритм принимает решения без контроля человека.

Для проверки надёжности классификации биомаркеров учёные задействовали разработанную в университете цифровую эволюционную систему Avida. В этой среде виртуальные организмы представлены программным кодом, способным к самокопированию. Со временем код накапливает случайные изменения, что имитирует естественный биологический отбор. Исследователи обучили нейросеть на десятках тысяч таких цифровых организмов, часть из которых содержала инструкцию самовоспроизведения, а часть — нет. На знакомом наборе данных классификатор продемонстрировал почти идеальную точность.

Затем специалисты начали последовательно менять код организмов, показывая модели варианты, с которыми она ранее не сталкивалась. Оказалось, что в отдельных случаях достаточно внести всего 150 незначительных изменений в программный код, чтобы алгоритм начинал уверенно принимать ложные сигналы за свидетельства существования жизни. По словам одного из авторов работы Анкита Гупты (Ankit Gupta), независимо от конкретной последовательности мутаций обмануть обученную нейросеть удавалось в ста процентах случаев.

Соавтор исследования Кристоф Адами (Christoph Adami) прокомментировал это свойство так: «У искусственного интеллекта есть ахиллесова пята. Он может увидеть закономерность и полностью неверно её классифицировать». По его мнению, проблема кроется не в принципиальных ограничениях технологии, а в уязвимости моделей к данным, которые выходят за пределы обучающей выборки, — ситуация, которая неизбежна при анализе новых и неожиданных сигналов из космоса.

Авторы подчёркивают, что обнаруженный феномен выходит далеко за рамки астробиологии. Аналогичные ошибки способны возникать в любых высоконагруженных системах машинного обучения — от алгоритмов распознавания лиц и средств управления беспилотным транспортом до медицинской диагностики, где модель оперирует данными, не встречавшимися ей при обучении. Фактически малейшее отклонение от знакомого шаблона может приводить к ложноположительным или ложноотрицательным заключениям.

Основной вывод учёных состоит в том, что искусственный интеллект должен оставаться вспомогательным инструментом, а любые его заключения необходимо подвергать независимой экспертной проверке. Особенно жёстко это правило, как считает Кристоф Адами, должно соблюдаться в задачах научного поиска, связанных с потенциальным открытием внеземной жизни, — здесь участие человека на этапе принятия финального решения по-прежнему остаётся обязательным условием.

Источник

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *