Для повышения стабильности аналитической системы компании было принято решение перевести базу данных на русский Postgres Pro и заменить сервис интеграции MS SSIS.

Клиент и партнер

АО «Росагролизинг» — государственная лизинговая компания, осуществляющая техническую и технологическую модернизацию отечественного агропромышленного комплекса, сдающую в лизинг средства производства сельскохозяйственным организациям. Для повышения стабильности аналитической системы компании руководство компании приняло решение перевести СУБД на российский Postgres Pro и заменить импорт на сервис интеграции MS SSIS.

Технологическим партнером проекта выступила ИТ-компания «Нетрика». «Нетрика» — многопрофильная компания, специализирующаяся на разработке цифровых систем и ИТ-платформенных решений, центр ИТ-экспертизы в управлении проектами для государства и бизнеса. Часть N3.Group. Одно из направлений работы компании — услуги по миграции баз данных с зарубежных СУБД Microsoft SQL Server и Oracle Database на отечественную СУБД Postgres Pro российской компании Postgres Professional.

Postgres Pro — российская система управления базами данных, глубоко переработанная версия СУБД PostgreSQL с открытым исходным кодом. Позволяет решать сложные производственные задачи в компаниях с загруженными системами. Оно зарегистрировано в Национальном реестре программного обеспечения и имеет сертификат ФСТЭК.

Задачи проекта

С августа до конца 2022 года замещение импорта Microsoft SQL Server и СУБД Microsoft SSIS на российские Postgres Pro и Apache Airflow для аналитической системы компании АО «Росагролизинг».

Описание Проекта

Бизнес-система «Росагролизинг» решает следующие бизнес-задачи:

  • Агрегация атомарных аналитических данных из других систем АО «Росагролизинг»;
  • Выполнение расчетов по агрегированным данным для подготовки чисто аналитических данных о результатах деятельности АО «Росагролизинг»;
  • Перенос собственных аналитических данных в BI-систему.
ЧИТАТЬ   Выпуск складного iPhone перенесли

Все эти задачи решаются в СУБД в 15 ETL-пакетах, содержащих 131 процедуру объемом от 500 до 12 000 строк кода каждая. Необходимо было полностью сохранить функциональность СУБД без последствий для работы и процессов компании.

Хранилище в этой СУБД содержит более 6 ТБ данных, сгруппированных в 341 таблицу, в каждой от 20 до 450 столбцов, от 20 000 до 4 миллиардов строк.

Процесс миграции

Миграцию выполнила за 5 месяцев команда из четырех специалистов Netrik и специалиста по работе с клиентами. При этом параллельно создавалась новая версия системы на PostgreSQL и дорабатывалась старая версия на MS SQL Server. Это связано с тем, что в работе старой системы выявились особенности унаследованного функционала, и она использовалась в качестве стандарта для проверки правильности результатов, выдаваемых новой системой.

Все это существенно повлияло на установленные сроки. Поэтому значительная часть успеха проекта обусловлена ​​слаженной двусторонней работой специалистов подрядчика, создавшего новую версию Postgres, и заказчика, доработавшего версию Microsoft. Кроме того, благодаря разработке утилит для автоматизации миграции, почти весь код был перенесен на Postgres в течение двух месяцев. Остальные три месяца ушли на отладку этого кода.

Чтобы выполнить работу вовремя, команда миграции разработала скрипты для автоматизации всех рутинных работ:

  1. Сценарий для перезаписи кода SQL для процедур и баз данных с сохранением исходного форматирования кода и содержащихся в нем комментариев.
  2. Скрипт для переноса данных из одной СУБД в другую с такой же структурой.
  3. Скрипт для сверки 100% соответствия данных в старой и новой версиях базы данных, в том числе после выполнения процедур.
  4. Скрипт для пошагового воссоздания пакетов SSIS путем создания файла DAG с тем же набором шагов и задач.
  5. Скрипт, позволяющий проверить корректность работы процедур путем сравнения результатов выполнения одинаковых запросов в старой и новой версиях СУБД.
ЧИТАТЬ   Банк «Ренессанс» устраняет уязвимости с помощью MaxPatrol VM

Итак, специалисты работали вручную только над вышеперечисленными проблемами в исходной СУБД и над теми, которые не могли быть решены автоматически.

Четыре месяца старая и новая версии СУБД работали параллельно, следя за корректностью работы и производительностью PostgreSQL. Затем версия на MS SQL Server была списана и с тех пор аналитическая система АО «Росагролизинг» работает на российской СУБД.

Результаты проекта

Была перенесена база данных объемом примерно 6 ТБ, т.е. более 300 таблиц с количеством строк до 4 миллиардов. Адаптировано 15 пакетов ETL и 131 процедура. При этом функциональность системы клиента полностью сохраняется.

Каждый проект миграции базы данных уникален с точки зрения графика, сложности и трудозатрат. Чтобы помочь клиентам спланировать миграцию своих баз данных, «Нетрика» проводит предпроектное исследование СУБД и среды. Процесс опроса не требует прямого доступа к данным и позволяет разработать техническое задание для миграции с учетом всех особенностей СУБД и текущих бизнес-процессов.




эрид:LjN8JxzDpРекламодатель: САРЛ компания «ППГ»ЭТИН/ОГРН: 7729445882/1157746074518Сайт:

Source

От admin