Разработка поискового движка на основе графов знаний
Открытых вакансий: 2
Краткая аннотация
Проект посвящен разработке сервиса поиска и обработки запросов из различных корпоративных систем на основе графов знаний.
В рамках деятельности компания генерирует большое количество информационных артефактов, большинство из которых сохраняются во внутренних корпоративных системах. Часто поиск нужного объекта становится проблемой из-за невозможности найти нужную систему. Также часто невозможно проследить взаимосвязи между различными объектами из-за слабой коммуникации между системами. Также сохраняемые данные могут содержать ошибки или аномалии в работе.
Данные проблемы способен решить поисковый движок на основе графов знаний и онтологий, поскольку хранит в себе связи между различными сущностями корпоративных систем, имеет встроенную систему поиска неточностей и аномалий, и работает с запросами на естественном языке.
В данном проекте, у вас будет возможность получить ценный опыт работы по следующим направлениям:
- Работа с онтологиями
- Работа с NLP и анализом неструктурированной информации
- Работа с графовыми нейронными сетями
- Работа с запросами на естественном языке
- Работа с графами
- Поиск аномалий в данных и выявления причин их возникновения
- Разработка поисковых движков
- Разработка витрин данных со сложной визуализацией
План действий
Проект включает в себя:
- Создание ядра хранения данных в виде графов знаний и онтологий
- Разработка сервиса отображения графов, управления загрузкой данных и доступом из других систем
- Организация архитектуры взаимодействия с другими корпоративными системами
- Разработка системы импорта и обработки данных для добавления в граф
- Разработка системы анализа данных графов для поиска аномалий
- Разработка системы анализа поискового запроса, анализ естественного языка
- Разработка модуля автодополнения поисковых запросов
Решаемые технические проблемы
- Организация быстрого доступа к различной корпоративной информации
- Визуализация связанных неструктурированных данных
- Создание системы контроля доступа к данным
- Обработка естественного языка запросов
Стек технологий
- User and Organizations
- Инструменты гибкой разработки Agile, Scrum, Kanban
- Тайм-менеджмент и планирование временем
- System Modeling
- Системное моделирование с использованием языков UML/SysML
- Анализ требований
- System Architecture and Infrastructure
- Методы проектирование программных систем
- Методы проектирования интеллектуальных систем
- Организация параллельных и распределенных вычислений
- Компьютерные сети
- Виртуальные системы и сервисы
-
Software Development
- Программирование на языке Python
- Использование библиотек Python для обработки, анализа данных, Tensorflow, RASA
- Web-разработка с использованием HTML, CSS, TypeScript, React-стэк.
- Amazon S3, Neo4J, Kafka, Elastic
- GitLab, CI/CD
-
IoT Hubs
- Software Fundamentals
- Алгоритмы и структуры данных
- Теория графов
- Hardware
- Архитектура вычислительных систем
Кем станет студент по завершению магистратуры
Программист-стажер, программист, разработчик систем машинного обучения и ИИ.
Пререквизиты (входные требования)
Базовые программы курсов:
- Высшая математика
- Основы программирования
- Алгоритмы и структуры данных
- Программная инженерия
- Архитектура программных систем
- Базы данных