Собор данных: в РФ оцифровали артефакты из храма Василия Блаженного
Как моделирование памятника помогло усовершенствовать технологию трехмерной реконструкции с использованием ИИ
Российские ученые с помощью оригинальной технологии получили точные трехмерные цифровые копии предметов и архитектурных элементов храма Василия Блаженного. Они будут использоваться для создания полной цифровой версии памятника. Полученный в ходе этой работы опыт ученые использовали для создания обширного сета данных, предназначенного для обучения нейронных сетей 3D-моделированию. Благодаря ему ИИ можно будет научить создавать объемную реконструкцию любых реальных предметов.
Пора в церковь
Специалисты Сколтеха и Института искусственного интеллекта AIRI вместе с коллегами из Государственного исторического музея с помощью оригинальной технологии получили трехмерную реконструкцию объектов из Храма Василия Блаженного. Работа стала первым этапом крупномасштабного проекта по созданию цифровой версии знаменитого собора. Предполагается, что она будет использоваться для организации виртуальных выставок.
Небольшие объекты снимали с помощью ручного сканера структурного света — оптической системы для трехмерных изменений. А геометрию помещений фиксировали лазерным сканером. Также исследователи применили фотокамеру для получения текстуры 3D-моделей, то есть цвета поверхностей. При использовании такого оборудования сложнее всего запечатлеть детали с необычными поверхностями и слабым освещением, которое нельзя усилить из-за потенциального вреда яркого света для памятников.
3D-реконструкция помещений в соборе
— Храм Василия Блаженного — один из самых популярных московских музеев. Это памятник Всемирного наследия ЮНЕСКО, и он должен быть максимально доступен, поэтому для нас важно представить 3D-модель собора в виртуальном пространстве. На сегодняшний день для нас ключевое направление работы с посетителями — удобство людей с ограниченными возможностями. Так как второй этаж музея и колокольня недоступны для них, модель поможет им совершить прогулку под древними сводами. А также упростит реставрационные работы на памятнике, — сказала заведующая музеем «Покровский собор» Татьяна Сарачева.
Храм Василия Блаженного (Покровский собор) оказался непростым объектом для моделирования, так как ученым пришлось работать в условиях недостаточного освещения, со сложными архитектурными формами и чрезмерным количеством небольших деталей.
— Мы обрабатываем фотографии объектов и полученные с помощью сканеров облака точек с помощью специально разработанных алгоритмов, чтобы получить точную и полноценную 3D-модель с красивой реалистичной текстурой, — сказал директор Центра искусственного интеллекта Сколтеха и ведущий научный сотрудник AIRI Евгений Бурнаев.
Исчерпывающий набор данных
Специалисты, которые участвовали в проекте с Храмом Василия Блаженного, использовали полученный опыт для формирования уникального датасета, предназначенного для обучения нейронных сетей методам создания трехмерных моделей объектов реального мира. В набор данных вошли 1,4 млн изображений, сделанных со 100 различных ракурсов при 14 типах освещения. Чтобы собрать такое количество примеров, ученые использовали робота с шестью степенями свободы, который способен перемещать камеры в пространстве с точностью 0,1 мм.
— Для каждого объекта датасета робот сформировал 100 ракурсов. Также мы разработали систему освещения, обеспечивающую 14 режимов работы. Движение манипулятора, съемка мультимодальными камерами и освещение было синхронизировано и управлялось с сервера. Данные технологии позволили полностью автоматизировать процесс оцифровки 3D-объектов, — сказал руководитель Лаборатории интеллектуальной космической робототехники Сколтеха Дмитрий Тетерюков.
Ученые впервые получили данные в большом объеме с сенсоров разного типа. Существующие до последнего времени методы 3D-реконструкции объектов в основном опирались на один тип изображений: либо с фотокамер, либо с камер глубины. Однако у каждого из этих алгоритмов есть свои недостатки, поэтому ученые поставили перед собой задачу создать универсальное решение.
— Отчасти, алгоритмов, которые бы эффективно использовали оба типа данных, не было потому, что не было набора, который позволял бы эти алгоритмы разрабатывать, тестировать. Мы собрали такой набор данных. Наш датасет — первый в своем роде, содержащий комбинации показателей с разных сенсоров и имеющий высокоточные данные, которые можно использовать в качестве эталона при тестировании алгоритмов. Фокус мы сделали на такие типы поверхностей объектов, которые вызывают сложности у современных методов реконструкции — это глянцевые или однородные по цвету, а также полупрозрачные материалы, — сказал инженер-исследователь в Центре искусственного интеллекта Сколтеха и научный сотрудник AIRI Олег Войнов.
Трехмерное моделирование — очень сложная задача как математически, так и и алгоритмически. Обучить этому нейросеть в разы сложнее, чем выполнить эту задачу вручную. Однако объединения данных с лидаров и фотокамер поможет ее решить. Объем в 1,4 млн изображений можно назвать минимально достаточным для тренировки ИИ, пояснил «Известиям» доцент Института СПИНТех НИУ «МИЭТ» Петр Федоров.
— Моделирование необычных поверхностей, таких как, например, глянец, максимально сложное дело. Человек понимает, что это отраженный отсвет, но для машины он может выглядеть как какой-нибудь холм со сложным объемом. По этой причине их труднее всего воспроизвести, — сказал Петр Федоров.
Когда для обучения нейросетей используют данные разной природы, то есть с камер и лидаров, это повышает точность работы ИИ. Трехмерная реконструкция — сегодня очень востребованная методика, которую применяют в самых разных областях. Например, в медицине технологию используют для восстановления формы черепа после травм или моделирования органов, рассказа «Известиям» доцент кафедры автоматики и процессов управления СПбГЭТУ «ЛЭТИ» Дмитрий Каплун.
