Новости ИВ РАН
21 января 2025 года
Семинар: «Лучшие практики работы с большими научными данными: используем Parquet и DuckDB»
![Семинар: «Лучшие практики работы с большими научными данными: используем Parquet и DuckDB» Семинар: «Лучшие практики работы с большими научными данными: используем Parquet и DuckDB»](/sites/28/files/Ivan-Begtin-2025.jpg)
В Институте востоковедения РАН 21 января 2025 года в гибридном формате прошел семинар, посвящённый современным технологиям работы с большими научными данными.
На семинаре выступал Иван Бегтин, директор АНО «Информационная культура», ведущий отечественный эксперт в области открытых данных и открытого правительства. В течение многих лет он активно развивает проекты по работе с открытыми данными в России и за рубежом, среди которых стартап Dateno.io по поиску данных, проекты «Госзатраты», «Открытые НКО», «Понятный русский язык», «Цифровое сохранение» и другие.
Иван Бегтин поделился опытом использования форматов Parquet и аналитической СУБД DuckDB, которые позволяют эффективно работать с массивами данных без сложной инфраструктуры. Лектор продемонстрировал практические кейсы, включая обработку данных музейных фондов и данных о результатах НИОКТР. В итоге, участники познакомились с форматом Parquet, сжимающим данные в десятки раз, сохраняя высокую производительность, и СУБД DuckDB, которая дает возможность выполнять сложные запросы напрямую к файлам.
В рамках семинара также были затронуты вопросы, связанные с публикацией данных в России, с ограниченным доступом к репозиториям и с потребностям в качественной документации.
Тематика семинара вызвала большой интерес среди учёных и специалистов по работе с данными: на мероприятие зарегистрировалось около 70 участников, среди которых были как молодые исследователи, так и руководители организаций. Слушатели представляли ведущие академические учреждения со всей России (МГУ, НИЯУ МИФИ, СПбГУ, УрФУ, НИУ ВШЭ, Университет ИТМО, МГТУ им. Н.Э. Баумана, РАНХиГС, КГУ, СВФУ, ТГУ и др.). Также были участники и из индустрии (ПАО «Сбербанк», ЦБ РФ, «Нетология» и др.).
Институт востоковедения РАН благодарит всех участников за уделенное нам внимание и приглашает на будущие мероприятия, посвящённые современным технологиям работы с данными.
Тем, у кого не получилось присоединиться к семинару, предлагаем посмотреть его видеозапись: https://rutube.ru/video/e1e2846cfbe22a916c05d3bf0fcdb52a/
Подписывайтесь:
- https://t.me/begtin - Телеграм-канал Ивана Бегтина про данные
- https://begtin.substack.com - блог/рассылка Ивана Бегтина про данные и не только
По дополнительным вопросам, пожалуйста, обращайтесь к модератору мероприятия Алине Владимировой (a.vladimirova[собака]ivran.ru)
![Курсы восточных языков ИВ РАН](/sites/28/files/kursy2022.jpg)
Календарь ИВ РАН
Февраль 2025 | ||||||
Пн | Вт | Ср | Чт | Пт | Сб | Вс |
27 | 28 | 29 | 30 | 31 | 1 | 2 |
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 1 | 2 |