Как студенты Университета ИТМО создали робота на стыке технологий VR и AR

13.11.2018

В рамках практико-ориентированного НИОКР студенты Университета ИТМО получили финансовую возможность создать робота с системами технического зрения, навигации и дополненной реальности. Ключевая особенность робота, которая отличает его от других предложений на рынке — совмещение технологий VR и AR. Авторы проекта рассказывают, с какими проблемами столкнулась команда, на что ушло больше всего времени и как робота можно будет использовать на крупных производствах.

SMARR

SMARR (smart manufacturer augmented reality robot) — мобильная роботизированная платформа для обеспечения удаленного присутствия человека. Ключевая особенность робота, которая отличает его от других предложений на рынке — совмещение технологий VR и AR. Человек управляет системой с помощью очков виртуальной реальности Oculus Rift. Вместе с видеопотоком с камеры человек получает получает слой дополненной реальности, которую компьютер накладывает на специальные маркеры в пространстве. Сами маркеры система распознает с помощью компьютерного зрения. Дополненная реальность состоит из таблиц и другой важной информации.

Кроме того, робот может самостоятельно ориентироваться в пространстве. SMARR попадает в незнакомую среду и использует различные вероятностные методы, чтобы создать карту помещения. Затем он автоматически определяет, где сам находится на этой карте.

Благодаря слою дополненной реальности и возможности ориентироваться робот будет полезным на крупных производствах. Одна из возможных областей его применения — работы на нефтяных вышках. С роботом, который ездит и смотрит показатели в опасных условиях, компании снизят нагрузку на персонал и сэкономят. Другая область применения робота — туризм. С помощью робота человек может отправиться гулять по Барселоне, сидя дома в очках виртуальной реальности.

Проект осуществлялся в рамках практико-ориентированного НИОКР — специального конкурса для студентов технических специальностей. Университет выбирает среди студенческих проектов и поддерживает лучшие: студенты получают финансовую поддержку и помочь научного консультанта-сотрудника университета.

SMARR

SMARR

Создатели и трудности при разработке

Создатели SMARR — бакалавры, магистры и аспиранты самых разных направлений Университета ИТМО: программисты, конструкторы, электронщики. Для каждого из них SMARR — это первый настоящий проект. По словам руководителя проекта Алексея Щеколдина, все участники столкнулись с неожиданными трудностями, но вызовы их только вдохновляли.

«Мы столкнулись с огромным количеством преград и препятствий, о которых раньше и не задумывались, рассказывает Алексей. Для колесной базы мы очень долго разбирались с работой драйверов, потому что взяли колеса от гироскутера. Для системы работы с видеопотоком мы полгода изучали работу экспериментальной камеры ZED. Наложить слой дополненной реальности на ее видеопоток, чтобы робот не вылетел посередине работы с фразой “Ой, простите, я устал” сложная задача. Нам пришлось писать свои библиотеки с нуля, чтобы дополненная реальность накладывалась ровно и изображение не трясло. Зато написали свой патент».

Оценка проекта и первые успехи

Получение настоящего практического опыта — главная задача практико-ориентированного НИОКР. В процессе работы студенты получают уникальные навыки: как работать с документацией, создавать технические предложения и обсуждать его с заказчиком (в его роли выступает Университет ИТМО).

Основная идея практико-ориентированных НИОКР в том, что это должна быть не просто идея, заканчивающаяся презентацией, а продуманный процесс разработки технологии или продукта, имеющих свое физическое воплощение и четкое понимание решаемой проблемы и практического использования результатов, рассказывает заместитель директора мегафакультета компьютерных технологий и управления и научный консультант команды Сергей Колюбин.

«С момента подачи заявки на конкурс ребятам нужно было держать в голове бизнес-аспекты, конкурентное окружение, просчитывать стоимость, трудоемкость, потребительские характеристики. Пока проект не трансформировался в стартап, но при соответствующей проработке его результаты можно успешно коммерциализовать», — говорит он.

SMARR

SMARR

Как научный консультант Сергей Колюбин помогал команде не выпускать из внимания важные технические проблемы.

«Интеграция таких технологически сложных решений, как система автономной навигации и удаленного управления, стриминга видео, интерфейса на базе AR, в единую систему может занимать львиную долю времени на разработку и провалится, если о каких-то нюансах автор проекта не подумал в самом начале. Я бы поставил участникам команды четверку за реализацию проекта. Многое удалось, сделан сам прототип с заявленным функционалом, но еще стоит отладить узкие места и сделать более плотную интеграцию между аппаратными и программными компонентами, чтобы все работало как часы и заводилось с нажатия кнопки. Надеюсь, ребята продолжат работу над проектом и за рамками практико-ориентированного НИОКР».

На данный момент команда пока не выпустила робота на рынок, но уже презентовала первый прототип в рамках международной конференции MMAR и несколько раз — в рамках мероприятий Университета ИТМО.