Разработка поискового движка на основе графов знаний

Открытых вакансий: 2

Подать заявку в этот проект

Краткая аннотация

Проект посвящен разработке сервиса поиска и обработки запросов из различных корпоративных систем на основе графов знаний.

В рамках деятельности компания генерирует большое количество информационных артефактов, большинство из которых сохраняются во внутренних корпоративных системах. Часто поиск нужного объекта становится проблемой из-за невозможности найти нужную систему. Также часто невозможно проследить взаимосвязи между различными объектами из-за слабой коммуникации между системами. Также сохраняемые данные могут содержать ошибки или аномалии в работе.

Данные проблемы способен решить поисковый движок на основе графов знаний и онтологий, поскольку хранит в себе связи между различными сущностями корпоративных систем, имеет встроенную систему поиска неточностей и аномалий, и работает с запросами на естественном языке.

В данном проекте, у вас будет возможность получить ценный опыт работы по следующим направлениям:

  • Работа с онтологиями
  • Работа с NLP и анализом неструктурированной информации
  • Работа с графовыми нейронными сетями
  • Работа с запросами на естественном языке
  • Работа с графами
  • Поиск аномалий в данных и выявления причин их возникновения
  • Разработка поисковых движков
  • Разработка витрин данных со сложной визуализацией

План действий

Проект включает в себя:

  • Создание ядра хранения данных в виде графов знаний и онтологий
  • Разработка сервиса отображения графов, управления загрузкой данных и доступом из других систем
  • Организация архитектуры взаимодействия с другими корпоративными системами
  • Разработка системы импорта и обработки данных для добавления в граф
  • Разработка системы анализа данных графов для поиска аномалий
  • Разработка системы анализа поискового запроса, анализ естественного языка
  • Разработка модуля автодополнения поисковых запросов

Решаемые технические проблемы

  • Организация быстрого доступа к различной корпоративной информации
  • Визуализация связанных неструктурированных данных
  • Создание системы контроля доступа к данным
  • Обработка естественного языка запросов

Стек технологий

  • User and Organizations
    • Инструменты гибкой разработки Agile, Scrum, Kanban
    • Тайм-менеджмент и планирование временем
  • System Modeling
    • Системное моделирование с использованием языков UML/SysML
    • Анализ требований
  • System Architecture and Infrastructure
    • Методы проектирование программных систем
    • Методы проектирования интеллектуальных систем
    • Организация параллельных и распределенных вычислений
    • Компьютерные сети
    • Виртуальные системы и сервисы
  • Software Development

  • Программирование на языке Python
  • Использование библиотек Python для обработки, анализа данных, Tensorflow, RASA
  • Web-разработка с использованием HTML, CSS, TypeScript, React-стэк.
  • Amazon S3, Neo4J, Kafka, Elastic
  • GitLab, CI/CD
  • IoT Hubs

  • Software Fundamentals
    • Алгоритмы и структуры данных
    • Теория графов
  • Hardware
    • Архитектура вычислительных систем

Кем станет студент по завершению магистратуры

Программист-стажер, программист, разработчик систем машинного обучения и ИИ.

Пререквизиты (входные требования)

Базовые программы курсов:

  • Высшая математика
  • Основы программирования
  • Алгоритмы и структуры данных
  • Программная инженерия
  • Архитектура программных систем
  • Базы данных