Современные научные публикации переполнены новыми словами и смыслами. Big Data, Data-mining, Machine-learning, Deep-learning и Artificial intelligence для многих давно стали вполне привычными понятиями. Мир меняется рекордными темпами, а человечество производит все больше информации.
За первые несколько недель своей работы Слоуновский цифровой обзор неба (Sloan Digital Sky Survey — SDSS) с помощью одного телескопа в 2000 г. собрал больше данных, чем накопилось за всю предыдущую историю астрономии. К 2010 г. архив SDSS собрал 140 терабайт — ныне такой объем собирается менее чем за сутки. В 2017 г. пользователи мобильных устройств ежедневно генерировали 2,5 экзабайт.[1] За последние два года было создано около 90% всех уже существующих данных.[2] Лучшие умы научного мира и бизнеса сосредоточили свои усилия на изучении и овладение новым «океаном», состоящим не из атомов и молекул, а из цифр, текстов, таблиц и образов.
Единственной сферой деятельности человечества, которая в течение тысяч лет уже работала с Big Data, была астрономия. С учетом указанных выше глобальных изменений в информационных технологиях можно было бы ожидать, что именно в ней будут достигнуты наиболее впечатляющие результаты в использовании новых подходов. Все оказалось не так просто, но именно команда украинских ученых на основе новейших математических методов и алгоритмов создала принципиально новый инструмент для астрономических исследований. Речь идет об уникальной разработке под названием CoLiTec, позволяющей объединить, обработать и получить результаты по итогам тысяч сеансов наблюдений, произведенных как любителями, так и профессиональными учеными-астрономами. Это миллионы снимков звездного неба, сделанных с помощью тысяч телескопов с различным качеством, точностью и уровнем обработки. Ну чем это не дата-майнинг?
Программа CoLiTec: как и для чего это работает
Современные системы поиска астероидов за ночь формируют огромное количество снимков больших участков небесной сферы. В мире не существует достаточного количества ученых-астрономов для просмотра этих сырых наблюдательных данных за приемлемое время. Особенно серьезные трудности возникают при обработке кадров, полученных светосильными широкопольными астрографами, в поле зрения которых может находиться одновременно несколько десятков астероидов со слабым блеском. Решением этой проблемы является внедрение автоматизированного обнаружения объектов с визуальным подтверждением полученных результатов.
На момент начала исследований по созданию CoLiTec в Украине, странах СНГ и Балтии не было ни одной действующей программы автоматизированного поиска астероидов и комет. Это обстоятельство приводило к весьма низкой эффективности наблюдений малых тел Солнечной системы в обсерваториях этих стран. Не только профессионалы, но и многочисленные астрономы-любители испытывали обоснованные переживания, боясь пропустить что-то значимое и важное в ворохе полученных «сырых» данных.
Весь этот комплекс проблем должен был решить CoLiTec. Основной технической идеей, лежащей в его основе, стало использование метода накопления данных вдоль траекторий с неизвестными параметрами.
Новый метод существенно выигрывает по сравнению с традиционным «стробовым» методом обнаружения треков движущихся объектов. На 10 кадрах, полученных телескопом, при одном и том же его энергетическом потенциале можно увидеть небесные тела со вчетверо меньшей яркостью (эффективной поверхностью рассеивания) — иными словами, проницающая способность инструмента улучшается на 1,5 звездных величины только за счет вычислений, за счет использования метода накопления данных.
Еще одной примечательной особенностью CoLiTec является возможность эффективного обнаружения астероидов с околонулевым видимым движением, то есть со сдвигом между кадрами, соизмеримым с ошибками измерения положения объектов. Это особенно важно, поскольку среди подобных объектов имеются и те, которые могут находиться на траектории столкновения с нашей планетой. Угловая скорость перемещения многих тел из этой категории не превышает нескольких среднеквадратичных отклонений ошибок измерения положений на снимке. Поэтому классическими методами они просто не могут быть обнаружены. Для этой цели в программе CoLiTec реализован новый метод, основанный на проверке значимости угловой скорости объекта.
На данный момент CoLiTec — единственна находящаяся в открытом доступе программа с автоматическим выделением объектов с ненулевым видимым движением, одна из лучших по точности наблюдений, а также единственная в мире надежно работающая на широких полях. Кроме того, это единственная программа такого рода в постсоветских государствах. Она выполняет внутрикадровую и межкадровую обработку данных с помощью алгоритма обнаружения объектов на основе накопления статистик, пропорциональных энергии изображений, вдоль возможных траекторий движения.
В CoLiTec реализован метод распараллеливания обработки данных, позволяющий их оперативно обрабатывать и подтверждать наиболее интересные обнаруженные объекты непосредственно в ночь открытия. Имеются блоки обнаружения очень медленных и очень быстрых объектов. К примеру, с помощью первого из них была открыта популярная в свое время комета ISON. На данный момент программа адаптирована к использованию на широкопольных телескопах. Так была найдена комета P/2013V3 Nevski (телескоп Genon, поле зрения 7,0º×4,0º).
CoLiTec наглядно представляет результаты своей работы с использованием специального визуализатора с дружественным интерфейсом. Им можно независимо просматривать уже полученные результаты, пока основная программа продолжает обработку данных.
Программа также обеспечивает возможность публикации кадров, отснятых на обсерваториях, которые ее используют, в рамках SIA протокола IVOA. Она разбита на отдельные блоки, реализует идеологию открытой архитектуры и позволяет независимо применять на каждом этапе разработанные программные средства.
Использование инструментария CoLiTec в рамках реальных исследований быстро доказало свою эффективность. Так, за период ночных наблюдений 3 января 2011 г. наблюдателем ISON-NM Леонидом Елениным с помощью программы было открыто 32 астероида, что является рекордом для данной обсерватории. В целом в эту ночь с использованием СoLiTec было произведено 3868 наблюдений 967 астероидов, что также стало абсолютным рекордом.
За последние несколько лет программа применялась для автоматизированного обнаружения астероидов на Андрушевской астрономической обсерватории (Житомирская обл., Украина), в обсерватории ISON-NM в штате Нью-Мексико (Mayhill, NewMexico, USA), а также в обсерваториях ISON-Кисловодск и в ISON-Уссурийск. Сейчас программа CoLiTec — одна из немногих в мире, которая активно и весьма эффективно используются как профессионалами, так и астрономами-любителями. Причем для последних (а это десятки и сотни тысяч людей по всему миру) она является практически единственным шансом не только детальнее рассмотреть небесные тела, но и открыть что-то важное для науки и человечества. С помощью CoLiTec простой человек с телескопом и ПЗС-камерой превращается в участника научного процесса, способного на открытие мирового уровня.
История создания программы
Идея о необходимости создания подобной системы пришла к одному из ее разработчиков, научному и идейному вдохновителю Вадиму Саваневичу еще в 1988 г., когда он проходил службу в Центре контроля космического пространства ВС СССР («Ногинск-9»). Затем была аспирантура и докторантура в Харьковской военной академии, работа с такими выдающимися учеными, как Виктор Деденок, Сергей Кузьмин и Эдуард Петров, которые углубленно изучали вычислительные методы межкадровой (вторичной) обработки радиолокационной информации.
В августе 1990 г., в сотрудничестве с Виктором Деденком, был разработан метод накопления данных вдоль траектории с неизвестными параметрами. До 2006 г. метод прошел несколько стадий совершенствования и формализации. В начале 2009 г. Вадим Саваневич совместно с наблюдателем евпаторийского телескопа АЗТ-8 Александром Брюховецким занялся разработкой автоматического обнаружения слабоконтрастных искусственных спутников Земли (ИСЗ) на серии CCD-кадров. Текст диссертации и программный код создавались параллельно. Теоретические выкладки по новому методу начали превращаться в работающую систему.
В марте 2009 г. проект CoLiTec вышел на стадию практической реализации. Толчком к этому послужила встреча рабочей группы с Юрием Иващенко, который на собственные средства создал в небольшом городке Андрушевка частную астрономическую обсерваторию. На тот момент на ней уже открыли несколько сотен новых астероидов. Юрий Николаевич заинтересовался изложенным методом и предложил проверить его на практике. В то же время стало ясно, что официальным структурам Украины наблюдения ИСЗ реально не интересны, что привело к переносу внимания проекта на астероиды.
Летом 2009 года в проект пришли Александр Кожухов и Владимир Власенко.
В мае 2010 г. в автоматизированном режиме в Андрушевской астрономической обсерватории были открыты два астероида — впервые в странах СНГ и Балтии. В ноябре того же года астроном Леонид Еленин предложил использовать CoLiTec на обсерватории ISON-NM, что и было реализовано 27 ноября 2010 г. А уже 10 декабря 2010 г. Леонид открыл свою первую комету С2010 Х1 Elenin, которая стала первой новой кометой в СНГ (и первой, открытой в автоматизированном режиме).
Результаты разработки и использования CoLiTec стали предметом докладов на многих международных конференциях и симпозиумах во Франции, США, Испании, Финляндии, Италии, Словакии и т.д. Находясь вне научных структур, команда CoLiTec, тем не менее, получила заслуженное признание среди сообщества астрономов Украины: в 2018 г. доктору технических наук, заведующему лабораторией Западного центра радиотехнических наблюдений Государственного космического агентства Украины Вадиму Саваневичу совместно с Виталием Андруком (научным сотрудником Главной астрономической обсерватории НАНУ) и Юрием Иващенко (к.ф.-м.н, старшим научным сотрудником ГАО НАНУ), была присуждена премия НАНУ им. Федорова за выдающиеся работы в области теоретической и прикладной астрономии. Научную награду им вручил первый вице-президент Академии Антон Григорьевич Наумовец на отчетной сессии НАНУ, состоявшейся 26 апреля 2018 г.[3]
Как работает программа
В качестве примера последовательной обзорной работы рассмотрим функционирование обсерватории ISON-NM. Находясь в месте с хорошим астроклиматом, она все же занимается малыми обзорами небесной сферы: диаметр ее телескопа равен 45,5 см, что, безусловно, налагает определенные ограничения. В частности, из-за этих ограничений используемые экспозиции обычно составляют 100 секунд — значительно выше, чем у крупных профессиональных обзоров.
Вначале система «телескоп-камера-компьютер» получает снимки неба, предназначенные для поиска небесных тел. Астероид выделяется среди «неподвижных» звезд благодаря перемещению на их фоне. Чтобы найти на снимках такой объект, необходимо делать их не подряд (тогда перемещение, скорее всего, просто не будет заметно), а с некоторым перерывом, поэтому обзоры обычно работают по принципу мозаик, то есть производят съемку определенного количества смежных полей, составляющих общую композицию. Сперва обзорный телескоп снимает эти поля по очереди один раз, потом — второй раз и т.д. Обычно для каждого поля делается по 4 снимка с промежутком от 10 до 20 минут. Когда работа по одной мозаике закончена, телескоп переходит ко второй и так далее.
После того, как снимки получены, они автоматически обрабатываются для поиска движущихся объектов. На обсерваториях, использующих CoLiTec, наблюдение и обработка, как правило, происходит одновременно с поиском (при этом, если будет найдено нечто интересное, они иногда успевают в течение той же ночи получить дополнительные позиции для подтверждения найденных объектов).
После обработки снимков проводится автоматическая идентификация обнаруженных объектов с известными. Программное обеспечение настроено так, что примерно 50% «находок» оказываются ложными — это сделано для того, чтобы увеличить рабочее проницание и, следовательно, количество реальных новых открытий. Все «подозрительные» объекты наблюдатель проверяет вручную (за полноценную наблюдательную ночь их обычно бывает около сотни) сразу после автоматического обнаружения. В ходе этой процедуры ложные «открытия» отсеиваются.
Открытия, сделанные с помощью CoLiTec
С использованием новой программы уже открыто четыре кометы — C/2011X1 Elenin (MPEC 2010-X101), P/2011NO1 Elenin (MPEC 2011-O10), C/2012S1 (MPEC 2012-S63), P/2013V3 Nevski (MPEC 2013-V45). Также при помощи нее обнаружено более 1560 астероидов, в т.ч. четыре сближающихся с Землей, 21 «троянец» на орбите Юпитера и один астероид-кентавр. В 2011-2014 г. с применением CoLiTec было выполнено 86% наблюдений и 75% открытий астероидов в странах СНГ и Балтии.
На снимке слева можно увидеть комету Еленина (C/2010 X1 Elenin). Изображение сделано 1 августа 2011 г. космическим аппаратом STEREO-B. Расстояние между ним и кометой в тот момент было чуть больше 7 млн км — совсем недалеко по меркам Солнечной системы. Хоть STEREO-B и предназначен для наблюдений Солнца, специалисты NASA решили развернуть аппарат во время сближения с ним кометы Еленина, чтобы проследить за ней немного дольше. На снимке справа можно увидеть туманное пятнышко «хвостатой звезды», в течение часа заметно сместившееся на фоне звездного неба.
Кометный циркуляр №2768, опубликованный 19 июля 2011 г., содержал сообщение о новом движущемся небесном объекте, открытом 7 июля Леонидом Елениным и Игорем Молотовым с помощью 45-сантиметрового (f/2,8) роботизированного астрографа ISON-NM (Мэйхилл, штат Нью-Мексико). Позже объект был идентифицирован как периодическая комета, которая получила обозначение P/2011 NO1. Согласно предварительным расчетам, она возвращается к Солнцу каждые 13±0,16 лет. В перигелии комета находилась 20 января 2011 г. на гелиоцентрическом расстоянии 1,2 а.е.
Представленное ниже изображение кометы C/2012 S1 ISON получено сложением 12 снимков, сделанных телескопом Hubble 10-11 апреля 2013 г. Комета была открыта 21 сентября 2012 г. любителями астрономии Виталием Невским (Витебск, Беларусь) и Артемом Новичонком (Петрозаводск, РФ) с помощью 40-сантиметрового рефлектора, установленного в обсерватории проекта ISON, и программы автоматизированного поиска движущихся объектов CoLiTec. На момент открытия она имела 18-ю звездную величину и обладала комой диаметром 10 угловых секунд, диаметр ее ядра оценивается в 3 км.
Предварительные расчеты показали, что 1 октября 2013 г. эта комета пролетит в 0,07 а.е. (10 млн км) от Марса. 28 ноября 2013 г. она прошла всего в 0,012 а. е. (1,8 млн км) от центра Солнца и в 1,1 млн км от его поверхности, после чего полностью распалась и испарилась. Орбитальные элементы кометы C/2012 S1 похожи на элементы Большой кометы 1680 г.
В кометном циркуляре №3695, изданном 8 ноября 2013 г., содержалось сообщение об открытии днем ранее новой кометы, сделанном Виталием Невским при съемке неба с помощью 20-сантиметрового рефлектора (f/1,5) обсерватории ISON под Кисловодском. Экспозиция составляла 180 секунд, обработка кадров производилась программой CoLiTec. Комета получила обозначение C/2013 V3 Nevski.
Выводы и перспективы
С появлением программы CoLiTec ученые получили в свое распоряжение инструмент, освободивший их от большей части рутинной работы, которая раньше считалась «наукой», и предоставляющий им больше времени для глубоких интерпретаций наблюдений космоса.
В основу программы положены уникальные вычислительные методы, позволяющие в автоматизированном режиме с высокой точностью и качественно решать научно практические задачи по обработке больших объемов (Big Data) разнородных астроизмерений с целью нахождения новых комет и астероидов.
CoLiTec может использоваться как профессиональными астрономами, так и любителями. С помощью программы уже сделано множество значимых астрономических открытий. Она имеет большой потенциал для дальнейшего развития, усовершенствований и практического внедрения. В настоящее время готовятся обновленная версия линейки старых и новых продуктов CoLiTec-Team, которая выйдет в свет в начале 2019 г. Параллельно ведется работа над программой яркостного выравнивания астрономических изображений FrameSmooth, проектом автоматизированной обработки спутниковых обзоров CoLiTecSAT, автоматического высокоточного построения кривых блеска переменных звезд и астероидов CoLiTecVS, а также проектом интеграции данных многих телескопов ViO. При этом пилотная версия последнего уже успешно реализована в отдельных обсерваториях Украины и Словакии, а FrameSmooth и CoLiTecVS используются, тестируются и исследуются в Украине, Словакии, Казахстане, Таиланде.
Теперь можно смело заявить, что, несмотря на все сложности последних лет, CoLiTec-Team возродилась, привела разрабатываемое астрономическое программное обеспечение к евростандартам и готова полноценно участвовать в научных проектах, а также выходить на рынок любительского астрософта.
Участники проекта CoLiTec:
Саваневич Вадим Евгеньевич — руководитель проекта, доктор технических наук, профессор, основной разработчик вычислительных алгоритмов для астрометрической и фотометрической редукции ПЗС-кадров, оценки параметров положения и движения объектов различной природы, их автоматического обнаружения за счет накопления статистик изображений вдоль траекторий с неизвестными параметрами движения, а также метода предотвращения возникновения коллизий при параллельной обработке данных.
Брюховецкий Александр Борисович — программист, научный исследователь, кандидат технических наук, основной разработчик программного кода вычислительных алгоритмов для автоматической калибровки и косметической коррекции изображений, астрометрической и фотометрической редукции ПЗС-кадров, отождествления объектов различной природы, а также оценки параметров их движения на серии снимков.
Диков Евгений Николаевич — программист, профессиональный астроном, автор просмотровой программы LookSky, являющейся составной частью ПО CoLiTec для автоматизированного открытия астероидов и комет на серии ПЗС-кадров. LookSky предоставляет возможность визуального анализа обнаруженных в автоматическом режиме движущихся объектов различной природы, ручного измерения движущихся объектов, а также формирования и отправки необходимых отчетов.
Хламов Сергей Васильевич — программист, QA-инженер, научный исследователь, кандидат технических наук, автор программы управления обработкой любых типов астрономических данных CoLiTec Control Center, позволяющей запускать различные типы обработки с возможностью отслеживания процесса на каждом этапе обработки для различных серий астрономических данных, редактора настроек ThresHolds для тонкой настройки всех параметров обработки, используемых различными модулями ПО CoLiTec, а также программы выравнивания остаточной фоновой составляющей изображений на астрономических кадрах FrameSmooth.
Погорелов Артем Витальевич — программист, автор программы PlotsViewer для отображения кривых блеска, получаемых в ручном или автоматическом режимах, с использованием файлов, которые содержат инструментальный блеск исследуемых объектов (например, переменных звезд, астероидов или искусственных спутников Земли).
Власенко Владимир Петрович — программист, разработчик вычислительных алгоритмов для инверсной медианной и нелинейной высокочастотной фильтрации, вейвлет-преобразований, а также оценки параметров положения объектов различной природы на ПЗС-кадрах.
Кожухов Александр Михайлович — кандидат технических наук, разработчик вычислительных алгоритмов для предварительной обработки, астрометрической и фотометрической редукции ПЗС-кадров, оценки параметров положения, движения и автоматического обнаружения движущихся объектов на серии снимков.
[1] Один экзабайт данных (1 EB) соответствует миллиарду гигабайт, или 1018 байт
[2] https://www.mckinsey.com/business-functions/mckinsey-analytics/our-insights/an-executives-guide-to-ai
