Разработка метода создания реалистичной модели человека на основании видеофайла и звукового потока

Руководитель от корпоративного партнера: Бушуев Кирилл Русланович, Deutsche Telekom

Набор в этот проект закончен.

Краткая аннотация

Встречи в конференциях между коллегами из различных локаций уже давно стали обычной вещью, однако классическая телеконференция вносит свои ограничения на взаимодействие между людьми по сравнению с классическим вариантом общения face 2 face. Современные средства разработки давно позволяют создавать интерактивные среды для взаимодействия 3d моделей персонажей между собой, однако по-прежнему весьма тяжело в точности передать особенности внешности человека используя только стандартные пресеты моделей.

В рамках данного проекта предлагается реализовать создание виртуальной модели человека на основании записанного видео с переносом текстур, а также реализовать возможность синхронизации звукового потока с микрофона, с мимикой модели в режиме реального времени.

В данном проекте, у вас будет возможность получить опыт работы и усовершенствовать свои навыки по следующим направлениям:

  • Работа с 3D моделями
  • Работа с движком Unity/Unreal Engine
  • Работа со сверточными нейронными сетями
  • Работа с алгоритмами сегментации изображений
  • Работа с алгоритмами super resolution
  • Работа с алгоритмами computer vision
  • Работа с моделями построения опорных точек лица человека
  • Работа со звуковым потоком и методами его анализа
  • Разработка микросервисов
  • Разработка собственных библиотек

План действий

Проект включает в себя:

  • Изучение особенностей работы с 3D моделями на движке Unity/Unreal Engine
  • Построение модели сегментации человека на видеопотоке
  • Построение модели извлечения ориентации тела человека на изоображении
  • Построение модуля конкатенации текстур
  • Построение модуля переноса полученных текстур на 3D модель
  • Построение модуля разметки опорных лицевых точек
  • Построение модели движения опорных точек на основании аудиопотока
  • Агрегация полученного кода в библиотеку
  • Организация микросервиса для анализа данных
  • Интеграция микросервиса с клиентом на движке Unity/Unreal Engine
  • Апробация результатов и получение метрик качества

Стек технологий

  • User and Organizations
    • Инструменты гибкой разработки Agile, Scrum, Kanban
    • Тайм-менеджмент и планирование временем
  • System Modeling
    • Анализ требований
  • System Architecture and Infrastructure
    • Методы проектирование программных систем
    • Методы проектирования интеллектуальных систем
    • Организация параллельных и распределенных вычислений
    • Компьютерные сети
    • Виртуальные системы и сервисы
  • Software Development
    • Программирование на языке Python
    • Использование библиотек Python для обработки, анализа данных, TensorFlow, Keras, OpenCV, Dlib
    • Работа с игровыми движками Unity/Unreal Engine.
    • Docker
    • REST API
    • GitLab, CI/CD
  • Software Fundamentals
    • Алгоритмы и структуры данных
    • Image recognition
    • Computer vision
    • REST API
  • Hardware
    • Сетевые взаимодействия
    • Архитектура вычислительных систем

Кем станет студент по завершению магистратуры

  • junior/middle data scientist
  • junior/middle software developer

Пререквизиты (входные требования)

Базовые программы курсов: • Высшая математика • Основы программирования • Алгоритмы и структуры данных • Программная инженерия • Архитектура программных систем