Наш клиент компания федерального уровня, работающая в финтех домене, приняла решение повысить управляемость своего бизнеса с помощью инструмента QlikView. Все данные о клиентах, продажах продуктов и денежных потоках компания накапливала в базе данных самописной ERP системы.
Главной сложностью являлось то, что после репликации актуальная база данных должна быть полностью очищена от персональных данных клиентов компании.
Основной задачей было не только единоразово интегрировать самописную ERP систему с QlikView, но и сделать автоматическим процесс актуализации деперсонифицированных данных выгруженных на сервер QlikView.
Трудоемкость проекта была в размера наборе персональных данных, которая компания собирала о своем клиенте, а также в размере базы данных (сотни миллионов записей) ERP системы, которая увеличивалась каждый день.
В результате проекта была успешно создана автоматическая система репликации и деперсонификации данных из ERP системы на сервер QlikView, где уполномоченные сотрудники компании заказчика консолидировали, анализировали и визуализировали данные.
Система состояла из 3 серверов:
Еженедельно запускался скрипт, который делал полный дамп актуальной версии БД, разворачивал дамп в отдельном инстансе PostgreSQL, запускал скрипты деперсонализации, которые заменяли и / или перемешивали персональные данные и копировали деперсонализированную БД на сервер QlikView.
