Базы данных

В процессе эксплуатации приложения хранение данные в БД претерпевают значительные изменения: меняется акктуальность данных (часть данных становится невостребованными), возрастает полнота данных(увеличивается количество полей в таблицах, происходит нарушение нормальных форм) или появляются новые сущности и связи. Все эти обстоятельства приводит к тому, что форма нагрузки со стороны приложения и других сторонних сервисов на СУБД изменяется, добавляя или изменяя акценты в мониторинге. И иногда даже происходит изменение механизмов и подходов в мониторинге.

В своем докладе я расскажу о том, какие существуют системы мониторинга СУБД PostgreSQL, дам свою точку зрения на то, какие есть перспективы развития к этих систем. Например одной из этих систем, мы углубимся в некоторые метрики PostgreSQL и я покажу какие из этих метрик указывают на проблемы производительности и как можно их решить.

Доклад подойдет как тем, кто интересуются PostgreSQL и мониторингом его, в частности, администратором СУБД PostgreSQL и разработчикам, использующие эту СУБД.

Практически все без исключения веб-приложения используют те или иные базы данных для хранения информации. По мере роста размера проекта, вопросы отказоустойчивости и масштабираемости встают перед разработчиками всё острее. Один из ключевых вопросов - использовать собственный сервер/кластер или прибегнуть к услугам облачных провайдеров. Мы с командой за 20 лет перепробовали различные варианты. И я готов поделиться своим опытом, ответить на, казалось бы простые вопросы, возникающие у тех, кто только начал идти по этому пути. Я расскажу какими облачными провадерами мы пользовались, как устроена архитектура их managed database сервисов и с какими проблемами мы сталкивались в процессе их эксплуатации, а так же причинах перехода на собственный отказоустойчивый кластер.

Все реляционные базы данных похожи друг на друга, каждая NoSQL база данных удивляет по-своему. Базы данных с широкими столбцами на первый взгляд кажутся очень близкими к реляционным. Даже в языке запросов той же CassandraDB для операторов используются названия из старого доброго SQL. Но такое впечатление обманчиво. Принципиально иной подход к организации хранилища обуславливает специфические решения типовых задач по работе с данными и специфические же проблемы. Однако, и возможности баз данных этого семейства для своей ниши тоже сложно переоценить. В своём докладе я расскажу о вопросах, которые нужно решать, если вы планируете использовать базы данных с широкими столбцами в своей системе. Поделюсь особенностями работы с наиболее быстрым представителем этого семейства – ScyllaDB, её преимуществами и недостатками, которые выяснились за три года промышленной эксплуатации в составе высоконагруженной системы обработки данных.

В этом докладе мы рассмотрим, как векторные базы данных стали незаменимым инструментом для работы с неструктурированными данными, объемы которых растут с невероятной скоростью, и почему они так важны в эпоху больших языковых моделей (LLM) и генеративного ИИ. Мы обсудим:

-Проблемы хранения и обработки неструктурированных данных (текст, изображения, аудио, видео) и как векторные БД решают эти проблемы

-Основные концепции и принципы работы векторных БД

-Преимущества использования векторных БД для хранения и поиска векторных представлений, полученных из LLM и других моделей ИИ, работающих с неструктурированными данными

-Применение векторных БД в задачах семантического поиска, рекомендательных системах, генерации контента и обработке неструктурированных данных

-Обзор популярных векторных БД (Pinecone, Chroma, Faiss) и их ключевых характеристик

-Практические примеры и кейсы использования векторных БД в проектах с LLM и генеративными моделями, работающими с большими объемами неструктурированных данных

-Рекомендации по выбору и внедрению векторных БД для эффективной работы с растущими объемами неструктурированных данных

-Перспективы развития и будущее векторных БД в контексте прогресса в области ИИ и роста неструктурированных данных

Доклад будет полезен: разработчикам, дата-сайентистам, инженерам машинного обучения и всем, кто сталкивается с проблемами хранения и обработки неструктурированных данных и хочет узнать, как векторные БД могут помочь в решении этих проблем. Слушатели получат практические знания и рекомендации по работе с векторными БД и их использованию для эффективной работы с растущими объемами неструктурированных данных в своих ИИ-проектах.

Приходите утром в офис, а важный отчет сломан и Вы не можете работать?

Устали работать по выходным из-за того, что кто-то сломал Вам приложение?

Приходите! Расскажу как можно лечить интеграционные проблемы при помощи интерфейсных соглашений.

Доклад в секции "Базы данных”, поэтому речь пойдет о соглашениях в обработке данных