Разработка метода создания реалистичной модели помещения на основании видеофайла и звукового потока

Руководитель от корпоративного партнера: Бушуев Кирилл Русланович, Deutsche Telekom

Набор в этот проект закончен.

Краткая аннотация

Получение реалистичных моделей окружения в помещении, требует художественных навыков и владения 3D моделированием. Однако существует немало ситуаций, когда присутствует необходимость создать 3D модель помещения возможности интерактивного взаимодействия с объектами внутри него (Дизайн интерьера комнаты в квартире, создание реалистичной модели для интеграции в интерактивную среду). Данную задачу возможно решить на основании алгоритмов Computer Vision и Image Recognition

В рамках данного проекта предлагается реализовать создание виртуальной модели помещения на основании видео или же панорамной съемки, получить сегментированные независимые объекты, а также реализовать улучшение качества и устранение шумов на текстурах.

В данном проекте, у вас будет возможность получить опыт работы и усовершенствовать свои навыки по следующим направлениям:

  • Работа с 3D моделями
  • Работа с движком Unity/Unreal Engine
  • Работа со сверточными нейронными сетями
  • Работа с алгоритмами сегментации изображений
  • Работа с алгоритмами super resolution
  • Работа с алгоритмами computer vision
  • Работа с моделями GAN
  • Разработка микросервисов
  • Разработка собственных библиотек

План дейсвтий

Проект включает в себя:

  • Изучение особенностей работы с 3D моделями на движке Unity/Unreal Engine
  • Построение модели сегментации объектов на изображении
  • Построение модели экстракции текстур объектов на изображении
  • Построение модели улучшения качества текстур
  • Построение модуля организации сцены на основании данных полученных с AI моделей
  • Создание панели взаимодействия с объектами внутри интерактивной среды
  • Организация микросервиса для анализа данных
  • Интеграция микросервиса с клиентом на движке Unity/Unreal Engine
  • Апробация результатов и получение метрик качества

Стек технологий

  • User and Organizations
    • Инструменты гибкой разработки Agile, Scrum, Kanban
    • Тайм-менеджмент и планирование временем
  • System Modeling
    • Анализ требований
  • System Architecture and Infrastructure
    • Методы проектирование программных систем
    • Методы проектирования интеллектуальных систем
    • Организация параллельных и распределенных вычислений
    • Компьютерные сети
    • Виртуальные системы и сервисы
  • Software Development
    • Программирование на языке Python
    • Использование библиотек Python для обработки, анализа данных, TensorFlow, Keras, OpenCV
    • Работа с игровыми движками Unity/Unreal Engine.
    • Docker
    • REST API
    • GitLab, CI/CD
  • Software Fundamentals
    • Алгоритмы и структуры данных
    • Image recognition
    • Computer vision
    • REST API
  • Hardware
    • Сетевые взаимодействия
    • Архитектура вычислительных систем

Кем станет студент по завершению магистратуры

  • junior/middle data scientist
  • junior/middle software developer

Пререквизиты (входные требования)

Базовые программы курсов:

  • Высшая математика
  • Основы программирования
  • Алгоритмы и структуры данных
  • Программная инженерия
  • Архитектура программных систем