Ваш купон на скидку:
В ходе исследования эффективности нейросети, созданной для поиска потенциальных технологических сигналов внеземных цивилизаций, выяснилось, что классификатор допускает ошибки, пропуская подлинные техномаркеры и фиксируя ложные срабатывания без потери реальных данных. Автором работы была проведена проверка обученной модели на 15 000 внедрённых сигналов, которые охватывали десять различных типов и пять уровней интенсивности, с использованием реальных фоновых записей радиотелескопа Грин-Бэнк.
Одной из причин появления ложных срабатываний стали ограничения входных данных, поскольку классификатор анализировал исключительно ON-панели, представляющие собой записи при наведении телескопа на целевую звезду. Сравнительные OFF-панели, которые получаются при наблюдениях в стороне от объекта, модель не обрабатывала, хотя именно сопоставление этих панелей позволяет определить, исходит ли кандидат от звезды или является земной помехой. В результате нейросеть оценивала лишь степень сходства сигнала с известными ей образцами, не имея возможности установить его реальное происхождение, поэтому часть помех отсеивалась, но помехи, имеющие схожую с ожидаемым сигналом форму, принимались за кандидатов.
В ходе тестов доля ложных срабатываний в одном из случаев достигала 62,7 процента, что сопоставимо с базовой полнотой обнаружения настоящих сигналов на уровне 55,25 процента. Трудности возникали и при поиске сигналов, чья форма отличалась от привычной для модели узкой линии на спектрограмме, например, S-образные сигналы обнаруживались с полнотой до 90 процентов, в то время как импульсные сигналы и рассеянные всплески практически не отличались от фоновых данных. Кроме того, при увеличении интенсивности полнота обнаружения не всегда росла, а демонстрировала резкое падение: для узкой линии показатель снизился с 59 процентов при одном уровне интенсивности до 9 процентов при более высоком, причем причину этого эффекта автор пока не установил.
Дополнительно был протестирован фильтр, выполняющий сравнение ON- и OFF-наблюдений после усреднения по времени. Для одного из проблемных типов помех доля ложных срабатываний сократилась с 62,7 до 0,7 процента, однако этот фильтр одновременно отсеял почти все настоящие обнаружения, сохранив лишь 1,4 процента обнаруженных реальных сигналов и 1,2 процента обнаруженных помех. По этой причине фильтр не прошёл проверку, так как снижение числа ложных тревог сопровождалось сопоставимой потерь полезных кандидатов, а процедура усреднения дополнительно ослабляла признаки дрейфующих сигналов, способные помочь при сравнении наблюдений.
Полученные результаты не говорят о бесполезности нейросетей в поиске внеземных технологий, а указывают на более узкую проблему, заключающуюся в том, что проверка на отложенных данных, схожих с обучающей выборкой, не гарантирует надёжности при столкновении с незнакомыми сигналами и разнообразными земными помехами. Описанные эксперименты выполнялись с одной обученной моделью и синтетическими сигналами, внедрёнными в реальные фоновые записи, а в качестве следующего шага планируется проверка иных вариантов обучения и моделей, способных анализировать не только форму кандидата, но и различия между ON- и OFF-наблюдениями с учётом изменения частоты сигнала во времени.