Разработка метода создания реалистичной модели помещения на основании видеофайла и звукового потока
Руководитель от корпоративного партнера: Бушуев Кирилл Русланович, Deutsche Telekom
Набор в этот проект закончен.
Краткая аннотация
Получение реалистичных моделей окружения в помещении, требует художественных навыков и владения 3D моделированием. Однако существует немало ситуаций, когда присутствует необходимость создать 3D модель помещения возможности интерактивного взаимодействия с объектами внутри него (Дизайн интерьера комнаты в квартире, создание реалистичной модели для интеграции в интерактивную среду). Данную задачу возможно решить на основании алгоритмов Computer Vision и Image Recognition
В рамках данного проекта предлагается реализовать создание виртуальной модели помещения на основании видео или же панорамной съемки, получить сегментированные независимые объекты, а также реализовать улучшение качества и устранение шумов на текстурах.
В данном проекте, у вас будет возможность получить опыт работы и усовершенствовать свои навыки по следующим направлениям:
- Работа с 3D моделями
- Работа с движком Unity/Unreal Engine
- Работа со сверточными нейронными сетями
- Работа с алгоритмами сегментации изображений
- Работа с алгоритмами super resolution
- Работа с алгоритмами computer vision
- Работа с моделями GAN
- Разработка микросервисов
- Разработка собственных библиотек
План дейсвтий
Проект включает в себя:
- Изучение особенностей работы с 3D моделями на движке Unity/Unreal Engine
- Построение модели сегментации объектов на изображении
- Построение модели экстракции текстур объектов на изображении
- Построение модели улучшения качества текстур
- Построение модуля организации сцены на основании данных полученных с AI моделей
- Создание панели взаимодействия с объектами внутри интерактивной среды
- Организация микросервиса для анализа данных
- Интеграция микросервиса с клиентом на движке Unity/Unreal Engine
- Апробация результатов и получение метрик качества
Стек технологий
- User and Organizations
- Инструменты гибкой разработки Agile, Scrum, Kanban
- Тайм-менеджмент и планирование временем
- System Modeling
- Анализ требований
- System Architecture and Infrastructure
- Методы проектирование программных систем
- Методы проектирования интеллектуальных систем
- Организация параллельных и распределенных вычислений
- Компьютерные сети
- Виртуальные системы и сервисы
- Software Development
- Программирование на языке Python
- Использование библиотек Python для обработки, анализа данных, TensorFlow, Keras, OpenCV
- Работа с игровыми движками Unity/Unreal Engine.
- Docker
- REST API
- GitLab, CI/CD
- Software Fundamentals
- Алгоритмы и структуры данных
- Image recognition
- Computer vision
- REST API
- Hardware
- Сетевые взаимодействия
- Архитектура вычислительных систем
Кем станет студент по завершению магистратуры
- junior/middle data scientist
- junior/middle software developer
Пререквизиты (входные требования)
Базовые программы курсов:
- Высшая математика
- Основы программирования
- Алгоритмы и структуры данных
- Программная инженерия
- Архитектура программных систем