Методы интеллектуального анализа данных для обработки событий в событийно-ориентированных системах

Руководитель от корпоративного партнера: Петров В.В., ООО "Нордиджи"
Руководитель от Университета ИТМО: Авксентьева Елена Юрьевна, Университет ИТМО

Открытых вакансий: 2

Подать заявку в этот проект

Краткая аннотация

Проект посвещен исследованию методов интеллектуального анализа данных и выбору наиболее эффективных для обработки событий, а также их реализации в событийно-ориентированных системах.

Обработка событий применяется для диагностики надежности и работоспособности всей сетевой инфраструктуры современного бизнеса любого масштаба. Существует множество методов, средств и движков по организации обработки событий, однако на сегодняшний день не существует единого подхода к организации такого рода систем, которая бы не только эффективно обрабатывала события из различных источников, но и могла бы предоставить интеллектуальную предиктивную аналитику с ремедиацей.

В данном проекте, у вас будет возможность получить ценный опыт работы по следующим направлениям:

  • Юзкейсы ИИ в обработке событий
  • Корреляция между различными событиями
  • Комплексная обработка событий (когда при обработке нескольких событий выявляются закономерности, которые приводят к возникновению нового события)
  • Прогнозирование временных рядов, для предсказания выхода из строя сетевых устройств, серверов и т.д.
  • Автоматическая ремедиация
  • Поиск “истинной” причины неисправности сетевой инфраструктуры

План действий

1) Исследовать проблемы обработки событий; 2) Исследованть методы и алгоритмы извлечения структурированной информации из неструктурированных источников; 3) Исследование сценариев применения (юзкейсы) искусственного интеллекта для обработки событий; 4) Исследование методов ИИ для обработки событий; 5) Проектирование и реализация предиктивной аналитики; 6) Операции и автоматизация с обработкой событий(межмашинная автоматизация)

Решаемые технические проблемы

Применение методов искусственного интеллекта для обработки событий в событийно-ориентированных системах

Стек технологий

1) User and Organizations

  • Инструменты гибкой разработки Agile, Scrum, Kanban
  • Тайм-менеджмент и планирование временем

2) System Modeling

  • Системное моделирование с использованием языков UML/SysML
  • Анализ требований

3) System Architecture and Infrastructure

  • Методы проектирование программных систем
  • Методы проектирования интеллектуальных систем
  • Организация параллельных и распределенных вычислений
  • Компьютерные сети
  • Виртуальные системы и сервисы

4). Software Development

  • Программирование на языках C++, Java, Python, R
  • Использование стандартных библиотек С++, Boost, библиотек Python для обработки, анализа и визуализации данных
  • Web-разработка с использованием HTML, CSS, Java Script, PHP.
  • СУБД MySQL, PostgreSQL, MongoDB
  • Системы виртуализации: VMware vSphere, Citrix XenServer, XEN, KVM.
  • Обеспечение высокой доступности: VMware HA cluster, Citrix Xen HA cluster, Nginx, HAproxy, RRDNS, MySQL Replication, DRBD+OCFS, LSYNCD
  • Оркестрация инфраструктурой: Ansible
  • Сетевой стек: Hewlett Packard Enterprise, Dell, Cisco, Mikrotik
  • Мониторинг: Zabbix, Grafana, Munin, Percona PMM
  • Стек ОС: Debian, CentOS, FreeBSD, SLES, Ubuntu Server

5) Software Fundamentals

  • Алгоритмы и структуры данных
  • Операционные системы реального времени

6) Hardware - Архитектура вычислительных систем

Предварительный перечень курсов

  1. Обработка и анализ данных https://openedu.ru/course/ITMOUniversity/BIGDATA2035/
  2. Прикладной искусственный интеллект https://openedu.ru/course/ITMOUniversity/APPARTINT2035/
  3. Методы машинного обучения https://openedu.ru/course/ITMOUniversity/INTROML/ 4.Интеллектуальный анализ данных https://openedu.ru/course/ITMOUniversity/MLDATAN/ 5.Хранилища и базы данных https://openedu.ru/course/spbu/DTBS/
  4. Технологии веб-сервисов https://www.specialist.ru/course/1cwebs 7.Параллельные вычисления https://mipt.ru/online/algoritmov-i-tekhnologiy/raspr-calc.php
  5. Распределенные вычисления https://mipt.ru/online/algoritmov-i-tekhnologiy/raspr-calc.php
  6. Администрирование PostgreSQL 9.4. Базовый Курс https://www.youtube.com/watch?v=h_GdEaF1Ymc&list=PLaFqU3KCWw6KzGwUubZm-9-vKsi6vh5qC&index=2
  7. Специализация Learn SQL Basics for Data Science https://ru.coursera.org/specializations/learn-sql-basics-data-science
  8. Intermediate PostgreSQL https://ru.coursera.org/learn/intermediate-postgresql
  9. Библиотека программиста https://proglib.io/p/postgresql/
  10. Профессиональный информационно-аналитический ресурс, посвященный машинному обучению, распознаванию образов и интеллектуальному анализу данных http://www.machinelearning.ru/

Кем станет студент по завершению магистратуры

Программист-стажер, программист, разработчик систем машинного обучения и ИИ, системный администратор

Пререквизиты

Базовые программы курсов:

  • Высшая математика
  • Основы программирования
  • Алгоритмы и структуры данных
  • Программная инженерия
  • Архитектура программных систем
  • Базы данных