Методы интеллектуального анализа данных для обработки событий в событийно-ориентированных системах
Руководитель от корпоративного партнера:
Петров В.В., ООО "Нордиджи"
Руководитель от Университета ИТМО: Авксентьева Елена Юрьевна,
Университет ИТМО
Открытых вакансий: 2
Краткая аннотация
Проект посвещен исследованию методов интеллектуального анализа данных и выбору наиболее эффективных для обработки событий, а также их реализации в событийно-ориентированных системах.
Обработка событий применяется для диагностики надежности и работоспособности всей сетевой инфраструктуры современного бизнеса любого масштаба. Существует множество методов, средств и движков по организации обработки событий, однако на сегодняшний день не существует единого подхода к организации такого рода систем, которая бы не только эффективно обрабатывала события из различных источников, но и могла бы предоставить интеллектуальную предиктивную аналитику с ремедиацей.
В данном проекте, у вас будет возможность получить ценный опыт работы по следующим направлениям:
- Юзкейсы ИИ в обработке событий
- Корреляция между различными событиями
- Комплексная обработка событий (когда при обработке нескольких событий выявляются закономерности, которые приводят к возникновению нового события)
- Прогнозирование временных рядов, для предсказания выхода из строя сетевых устройств, серверов и т.д.
- Автоматическая ремедиация
- Поиск “истинной” причины неисправности сетевой инфраструктуры
План действий
1) Исследовать проблемы обработки событий; 2) Исследованть методы и алгоритмы извлечения структурированной информации из неструктурированных источников; 3) Исследование сценариев применения (юзкейсы) искусственного интеллекта для обработки событий; 4) Исследование методов ИИ для обработки событий; 5) Проектирование и реализация предиктивной аналитики; 6) Операции и автоматизация с обработкой событий(межмашинная автоматизация)
Решаемые технические проблемы
Применение методов искусственного интеллекта для обработки событий в событийно-ориентированных системах
Стек технологий
1) User and Organizations
- Инструменты гибкой разработки Agile, Scrum, Kanban
- Тайм-менеджмент и планирование временем
2) System Modeling
- Системное моделирование с использованием языков UML/SysML
- Анализ требований
3) System Architecture and Infrastructure
- Методы проектирование программных систем
- Методы проектирования интеллектуальных систем
- Организация параллельных и распределенных вычислений
- Компьютерные сети
- Виртуальные системы и сервисы
4). Software Development
- Программирование на языках C++, Java, Python, R
- Использование стандартных библиотек С++, Boost, библиотек Python для обработки, анализа и визуализации данных
- Web-разработка с использованием HTML, CSS, Java Script, PHP.
- СУБД MySQL, PostgreSQL, MongoDB
- Системы виртуализации: VMware vSphere, Citrix XenServer, XEN, KVM.
- Обеспечение высокой доступности: VMware HA cluster, Citrix Xen HA cluster, Nginx, HAproxy, RRDNS, MySQL Replication, DRBD+OCFS, LSYNCD
- Оркестрация инфраструктурой: Ansible
- Сетевой стек: Hewlett Packard Enterprise, Dell, Cisco, Mikrotik
- Мониторинг: Zabbix, Grafana, Munin, Percona PMM
- Стек ОС: Debian, CentOS, FreeBSD, SLES, Ubuntu Server
5) Software Fundamentals
- Алгоритмы и структуры данных
- Операционные системы реального времени
6) Hardware - Архитектура вычислительных систем
Предварительный перечень курсов
- Обработка и анализ данных https://openedu.ru/course/ITMOUniversity/BIGDATA2035/
- Прикладной искусственный интеллект https://openedu.ru/course/ITMOUniversity/APPARTINT2035/
- Методы машинного обучения https://openedu.ru/course/ITMOUniversity/INTROML/ 4.Интеллектуальный анализ данных https://openedu.ru/course/ITMOUniversity/MLDATAN/ 5.Хранилища и базы данных https://openedu.ru/course/spbu/DTBS/
- Технологии веб-сервисов https://www.specialist.ru/course/1cwebs 7.Параллельные вычисления https://mipt.ru/online/algoritmov-i-tekhnologiy/raspr-calc.php
- Распределенные вычисления https://mipt.ru/online/algoritmov-i-tekhnologiy/raspr-calc.php
- Администрирование PostgreSQL 9.4. Базовый Курс https://www.youtube.com/watch?v=h_GdEaF1Ymc&list=PLaFqU3KCWw6KzGwUubZm-9-vKsi6vh5qC&index=2
- Специализация Learn SQL Basics for Data Science https://ru.coursera.org/specializations/learn-sql-basics-data-science
- Intermediate PostgreSQL https://ru.coursera.org/learn/intermediate-postgresql
- Библиотека программиста https://proglib.io/p/postgresql/
- Профессиональный информационно-аналитический ресурс, посвященный машинному обучению, распознаванию образов и интеллектуальному анализу данных http://www.machinelearning.ru/
Кем станет студент по завершению магистратуры
Программист-стажер, программист, разработчик систем машинного обучения и ИИ, системный администратор
Пререквизиты
Базовые программы курсов:
- Высшая математика
- Основы программирования
- Алгоритмы и структуры данных
- Программная инженерия
- Архитектура программных систем
- Базы данных