Проектная магистратура Университета ИТМО

Разработка прототипа сервисов мобильного устройства с использованием искусственного интеллекта для осмотрщика вагонов

Руководитель от корпоративного партнера: Фионов Андрей, ООО ОЦРВ

Открытых вакансий: 2

Подать заявку в этот проект

Руководитель

Фионов Андрей

Ведущий исследователь группы прототипирования Лаборатории искусственного интеллекта ОЦРВ

Andrey.Fionov@OCRV.RU

Краткая аннотация

Проект посвящен разработке и тестированию моделей машинного обучения на мобильном устройстве ОС Android. Предполагается использование двух типов моделей: распознавание зашумленной речи осмотрщика вагонов с распознаванием индекса поезда, номера вагона, неисправности вагона и распознавание номеров вагонов по фотографии. Особенность разработки заключается в том, что решение должно работать как оффлайн, так и онлайн с передачей на сервер исходных аудио файлов и изображений. При разработке моделей распознавания речи и распознавания номеров по изображению придется учитывать, что речь будет зашумленная с характерными «железнодорожными шумами», а фотографии могут быть выполнены под разными ракурсами в условиях затемнения.

План действий

В ходе работы над проектом необходимо провести исследования следующих тем:

  • Модели распознавания речи.
  • Модели отделения речи от шума
  • Модели распознавания изображений
  • Разметка изображений и аудиозаписей.
  • Разработка сервисов для мобильных устройств

В результате выполнения проекта необходимо реализовать следующие компоненты:

  • Сервисы распознавания зашумленной речи на Android.
  • Сервисы распознавания номеров вагонов по изображению на Android
  • Сервис разметки аудиозаписей и изображений
  • Хранилище аудио и изображений на сервере с возможностью обмена данными с мобильным устройством.

Стек технологий

1. User and Organizations
    - Инструменты гибкой разработки Agile, Scrum, Kanban
    - Тайм-менеджмент и планирование временем
2. System Modeling
    - Системное моделирование (UML)
    - Анализ требований
3. System Architecture and Infrastructure
    - Методы проектирование программных систем
    - Методы проектирования интеллектуальных систем
    - Организация параллельных и распределенных вычислений
    - Компьютерные сети
    - Виртуальные системы и сервисы
4. Software Development
    - Программирование на языках Java, Python
    - Использование стандартных библиотек библиотек Python, Java для обработки, анализа и визуализации данных
    - Android Studio
    - Web-разработка с использованием HTML, CSS, Java Script, PHP.
    - СУБД PostgreSQL

Кем станет студент по завершению магистратуры

В зависимости от выполняемых задач внутри проекта выпускник может стать:

  • исследователем
  • системным архитектором
  • ведущим разработчиком

Пререквизиты (входные требования)

Для участия в проекте необходимы базовые знания по следующим направлениям:

  • Математическая статистика
  • Теория алгоритмов
  • Математическая оптимизация
  • Математическая логика
  • Высшая математика
  • Машинное обучение
  • Основы нейронных сетей
  • Основы программирования
  • Алгоритмы и структуры данных
  • Программная инженерия
  • Архитектура программных систем
  • Базы данных