Выпускник Факультета информационных технологий Новосибирского государственного университета Марк Бухнер улучшил работу программного обеспечения с открытым исходным кодом, которое используют крупные компании по всему миру для записи в распределённые базы данных терабайтного масштаба. Его изменения уже включены в официальные версии программы и позволяют ускорить запись информации в зависимости от режима работы примерно в 2–4 раза. Речь идёт о системах, на которые в режиме реального времени стекаются показания тысяч датчиков с миллионов устройств – от автомобилей до «умной» бытовой техники.
По словам Бухнера, его магистерская работа была посвящена «исследованию и внедрению кроссплатформенных форматов представления данных для ускорения распределённой базы данных». Фактически он занимался модернизацией уже существующего программного обеспечения. Речь идет о платформе Apache Hudi, которая относится к роду систем lakehouse (озеро-хранилище; позволяет хранить, управлять и анализировать данные).
— Суть работы в том, чтобы быстрее сделать запись в очень большую базу данных, которая хранит не просто гигабайты данных, а терабайты данных, — рассказал он.
Программой пользуются именно компании, а не отдельные пользователи: им нужны решения, которые выдерживают постоянный поток телеметрии и событий от большого числа устройств.
Например, современные автомобили, особенно электромобили и гибриды, оснащены многочисленными датчиками и постоянно отправляют на серверы производителя данные о состоянии систем и параметрах эксплуатации. Если таких машин миллионы, а в каждой – тысячи датчиков, компании приходится каждую секунду «приземлять» колоссальные объёмы информации в базы данных, чтобы затем искать отклонения, закономерности, потенциальные неисправности и оптимизировать сервис.
— Я почти два года занимался тем, чтобы их ускорить и быстрее записывать эти данные, — объяснил Марк.
По его оценке, в зависимости от конфигурации и режима работы ускорение составило от двух до четырёх раз.
Похожие задачи стоят не только в автомобилестроении, но и в промышленности, логистике, энергетике, а также в сегменте «умной» бытовой техники. Всё больше устройств подключаются к сети, а встроенные датчики непрерывно отправляют телеметрию производителю или сервисной компании. Чем быстрее и надёжнее база данных принимает и обрабатывает этот поток, тем более оперативно бизнес может реагировать на проблемы, планировать обслуживание, улучшать продукты и повышать безопасность. Для крупных корпораций это уже вопрос не удобства, а конкурентоспособности: задержки при записи и анализе данных ограничивают возможности прогнозной аналитики и развития сервисов на базе искусственного интеллекта.
Особенность доработанного Бухнером «софта» в том, что он распространяется с открытым исходным кодом и не принадлежит какой‑то одной корпорации. Любая компания может внедрить её в свою инфраструктуру. Изменения, предложенные выпускником НГУ, прошли рассмотрение у разработчиков и были официально приняты.
— Комитет сказал: «Да, это хорошее изменение, хорошее улучшение. Производительность действительно улучшается», — отметил он.
Теперь улучшенный код уже вошёл в определённые версии ПО, и те компании, которые обновляются, автоматически получают выигрыш в скорости работы с данными.
Сейчас этим программным обеспечением, по словам Бухнера, активно пользуются зарубежные компании на азиатском рынке. О том, применяют ли его российские фирмы, данных у разработчика нет:
— Я так понимаю, что нет, такой задачи у них пока ещё не стоит. Но в будущем, наверное, обязательно встанет.
Сам Марк считает свою часть работы завершённой: сначала он занимался ускорением чтения данных, затем — ускорением записи.
— Я ускорил всё, что уже возможно в этих программах, как мне кажется, и надо уже заниматься чем-то другим, — резюмировал он.
редакция по материалам Новосибирского государственного университета
© фото предоставлено институтом
