Разработка метода создания реалистичной модели человека на основании видеофайла и звукового потока
Руководитель от корпоративного партнера: Бушуев Кирилл Русланович, Deutsche Telekom
Набор в этот проект закончен.
Краткая аннотация
Встречи в конференциях между коллегами из различных локаций уже давно стали обычной вещью, однако классическая телеконференция вносит свои ограничения на взаимодействие между людьми по сравнению с классическим вариантом общения face 2 face. Современные средства разработки давно позволяют создавать интерактивные среды для взаимодействия 3d моделей персонажей между собой, однако по-прежнему весьма тяжело в точности передать особенности внешности человека используя только стандартные пресеты моделей.
В рамках данного проекта предлагается реализовать создание виртуальной модели человека на основании записанного видео с переносом текстур, а также реализовать возможность синхронизации звукового потока с микрофона, с мимикой модели в режиме реального времени.
В данном проекте, у вас будет возможность получить опыт работы и усовершенствовать свои навыки по следующим направлениям:
- Работа с 3D моделями
- Работа с движком Unity/Unreal Engine
- Работа со сверточными нейронными сетями
- Работа с алгоритмами сегментации изображений
- Работа с алгоритмами super resolution
- Работа с алгоритмами computer vision
- Работа с моделями построения опорных точек лица человека
- Работа со звуковым потоком и методами его анализа
- Разработка микросервисов
- Разработка собственных библиотек
План действий
Проект включает в себя:
- Изучение особенностей работы с 3D моделями на движке Unity/Unreal Engine
- Построение модели сегментации человека на видеопотоке
- Построение модели извлечения ориентации тела человека на изоображении
- Построение модуля конкатенации текстур
- Построение модуля переноса полученных текстур на 3D модель
- Построение модуля разметки опорных лицевых точек
- Построение модели движения опорных точек на основании аудиопотока
- Агрегация полученного кода в библиотеку
- Организация микросервиса для анализа данных
- Интеграция микросервиса с клиентом на движке Unity/Unreal Engine
- Апробация результатов и получение метрик качества
Стек технологий
- User and Organizations
- Инструменты гибкой разработки Agile, Scrum, Kanban
- Тайм-менеджмент и планирование временем
- System Modeling
- Анализ требований
- System Architecture and Infrastructure
- Методы проектирование программных систем
- Методы проектирования интеллектуальных систем
- Организация параллельных и распределенных вычислений
- Компьютерные сети
- Виртуальные системы и сервисы
- Software Development
- Программирование на языке Python
- Использование библиотек Python для обработки, анализа данных, TensorFlow, Keras, OpenCV, Dlib
- Работа с игровыми движками Unity/Unreal Engine.
- Docker
- REST API
- GitLab, CI/CD
- Software Fundamentals
- Алгоритмы и структуры данных
- Image recognition
- Computer vision
- REST API
- Hardware
- Сетевые взаимодействия
- Архитектура вычислительных систем
Кем станет студент по завершению магистратуры
- junior/middle data scientist
- junior/middle software developer
Пререквизиты (входные требования)
Базовые программы курсов: • Высшая математика • Основы программирования • Алгоритмы и структуры данных • Программная инженерия • Архитектура программных систем