Проектная магистратура Университета ИТМО

Разработка системы умного офиса с голосовым ассистентом

Открытых вакансий: 1

Подать заявку в этот проект

Краткая аннотация

Проект посвящен разработке умного офиса с интеллектуальным голосовым помощником, на основе графов знаний.

В рамках проекта необходимо исследовать проблему автоматизации взаимодействия человека и устройств и систем умного офиса с помощью голосового управления, в том числе взаимодействия с подключенными корпоративными сервисами. Данный сервис представляет собой виртуального интеллектуального помощника, имеющего различные точки взаимодействия с пользователем и получения информации о работе офиса.

Такая система способна упростить выполнение рутинных повторяющихся алгоритмов, регистрировать аномалии в работе оборудования, поддерживать заданные сценарии выполнения и ускорять работу процессов путем автоматического выполнения запросов пользователей.

В данном проекте, у вас будет возможность получить ценный опыт работы по следующим направлениям:

  • Работа с hardware частью умных устройств
  • Разработка звуковых устройств для взаимодействия с пользователем
  • Работа с NLP и голосовыми командами
  • Работа с графовыми нейронными сетями
  • Работа с запросами на естественном языке
  • Работа с онтологиями
  • Работа с графами
  • Разработка клиентской части управления умным офисом
  • Работа с обработкой видеопотока в реальном времени

План действий

Проект включает в себя:

  • Создание ядра хранения данных в виде графов знаний и онтологий
  • Разработка сервиса отображения графов, управления загрузкой данных и доступом из других систем
  • Организация архитектуры взаимодействия с другими корпоративными системами
  • Разработка системы импорта и обработки данных для добавления в граф
  • Разработка системы анализа данных графов для поиска аномалий
  • Разработка системы анализа поискового запроса, анализ естественного языка
  • Разработка чат-бота умного офиса
  • Разработка модуля голосового помощника
  • Разработка системы анализа входящего видеопотока
  • Разработка системы распознавания естественной речи

Решаемые технические проблемы

  • Разработка голосовых помощников
  • Разработка систем умного офиса, интеграции умных устройств
  • Обработка естественного языка запросов
  • Работа с графами знаний, онтологиями

Стек технологий

  • User and Organizations
    • Инструменты гибкой разработки Agile, Scrum, Kanban
    • Тайм-менеджмент и планирование временем
  • System Modeling
    • Системное моделирование с использованием языков UML/SysML
    • Анализ требований
  • System Architecture and Infrastructure
    • Методы проектирование программных систем
    • Методы проектирования интеллектуальных систем
    • Организация параллельных и распределенных вычислений
    • Компьютерные сети
    • Виртуальные системы и сервисы
  • Software Development

  • Программирование на языке Python
  • Использование библиотек Python для обработки, анализа данных, Tensorflow, RASA
  • Web-разработка с использованием HTML, CSS, TypeScript, React-стэк.
  • Amazon S3, Neo4J, Kafka, Elastic
  • GitLab, CI/CD
  • IoT Hubs

  • Software Fundamentals
    • Алгоритмы и структуры данных
    • Теория графов
  • Hardware
    • Архитектура вычислительных систем

Кем станет студент по завершению магистратуры

Программист-стажер, программист, разработчик систем машинного обучения и ИИ.

Пререквизиты (входные требования)

Базовые программы курсов:

  • Высшая математика
  • Основы программирования
  • Алгоритмы и структуры данных
  • Программная инженерия
  • Архитектура программных систем
  • Базы данных