Dziś firmy IT nie istnieją bez specjalistycznych narzędzi. Mogą to być komercyjne rozwiązania, opensource, jak również te tworzone wewnętrznie. W VSoft tworząc systemy dla naszych klientów bazujemy na wewnętrznej platformie low-code VSoft archITekt. To pomaga nam wdrażać rozwiązania szybciej, w sposób bardziej elastyczny i optymalny. Przez te 26 lat stworzyliśmy dziesiątki systemów dla wielu różnych branż. Dużym sukcesem jest fakt, że wiele z nich rozwijamy wspólnie z klientami. Opracowaliśmy procedury dotyczące równoległej pracy nad projektami, przez co taka współpraca przyspiesza rozwój intelektualny i biznesowy obu zespołów.
Migracja danych
Przy realizacji projektów dedykowanych praktycznie zawsze mamy do czynienia z migracją danych. Migracja odbywa się raz lub iteracyjnie kilka razy – wszystko zależy od rodzaju, ilości i jakości danych.
Tym razem nie było łatwo, migrowaliśmy kilka tysięcy polis ubezpieczeniowych ze starego systemu do naszego VSoft Insurance Platform.
Dane do importu zostały dostarczone w formie plików Excel, osobnych dla poszczególnych typów obiektów. Może ta liczba nie przeraża, jednak kiedy okazało się, że migracja dotyczy również wielu powiązanych z polisą obiektów, takich jak dodatkowe ryzyka, przedmioty, podmioty, których łącznie jest ponad 30 tysięcy, wówczas zrobiło się ciekawie.
Marzeniem przy każdej migracji jest dobra jakość danych, dostosowanie pól słownikowych w plikach wejściowych. Tym razem to było tylko marzenie.
Zaczęliśmy prace… na początek 99% rekordów było odrzuconych, szybko okazało się, że klient nie dostosował pól zgodnie z założeniami. Czasu było mało, stąd szybka decyzja, zmiany walidacji i poszło. Wykorzystaliśmy do migracji narzędzie klasy ETL o nazwie moduł masowego przetwarzania danych, który jest częścią platformy low-code VSoft archITekt. Dzięki zastosowaniu tego narzędzia czas wykonania migracji to około 4 minuty 30 sekund. Moduł wykorzystuje tzw. pakiety przetwarzania, które konfiguruje się w łatwy i szybki sposób za pomocą graficznego designera. Narzędzie na bieżąco generuje raporty jakościowe, informuje szczegółowo o postępie migracji i jakości danych, co ułatwia podejmowanie decyzji odnośnie kolejnych kroków migracyjnych w trakcie tego procesu.
Dlaczego skorzystaliśmy z narzędzia ETL – modułu masowego przetwarzania danych?
Ponieważ posiada wiele zalet i usprawnień przydatnych przy migracji danych, a przede wszystkim:
- wielokrotnie sprawdził się przy tego typu (i innych) zadaniach – to nowoczesna, wygrzana i niezawodna technologia;
- jest intuicyjny w obsłudze, bazuje na graficznym designerze, za pomocą którego konfiguruje się odpowiednio bloczki służące do wczytania danych wejściowych, transformacji danych oraz do zapisu danych przetworzonych;
- posiada czytelny i przyjazny graficzny designer, który ułatwia nie tylko implementację rozwiązania (tworzenie pakietów), ale również testowanie i diagnozowanie problemów (np. bloczki poglądu danych, graficzna prezentacja wczytanych logów z przetwarzania);
- zawiera Runner CLI, wystarczający do uruchamiania pakietu przetwarzania bez całej części graficznej – lżejsze i wystarczające rozwiązanie do uruchamiania na docelowym środowisku, ciekawe zarówno dla programistów jak i projektantów procesów;
- daje możliwość, w razie potrzeby, definiowania bardziej skomplikowanych operacji z użyciem wbudowanego języka programowania z podpowiadaniem składni;
- ma przyjazny sposób definiowania reguł walidacyjnych i obsługi błędów.
W trakcie tej migracji moduł masowego przetwarzania danych platformy VSoft archITekt ułatwił realizację postawionego zadania.
Szczególnie pomocne okazały się takie usprawnienia, jak:
- graficzny designer – potrafi podpowiadać i ostrzegać przed nieoptymalnym połączeniem źródeł danych i miejsc zapisu (np. ostrzeżenie przed deadlockami na bazie);
- chwilowa zmiana formatu dla plików wejściowych z Excel na CSV – gdy pojawiła się taka potrzeba, udało się to zrealizować w ciągu sekundy poprzez zmianę typu bloczka wejściowego w module masowego przetwarzania;
- zmiana wymagań odnośnie walidacji danych – gdy w ostatnim momencie na testach pojawiła się taka konieczność, poradziliśmy sobie za pomocą paru kliknięć.
Dziś bez narzędzi firmy IT nie istnieją. Mogą to być komercyjne narzędzia, opensource oraz te tworzone wewnętrznie. VSoft tworząc systemy bazuje na wewnętrznej platformie low-code VSoft archITekt. To nam pomaga tworzyć szybciej, elastyczniej, optymalniej. Przez te 26 lat stworzyliśmy wiele systemów dla wielu branż. Dużym sukcesem jest fakt, że wiele z nich rozwijamy wspólnie z klientami. Stworzyliśmy procedury jednoczesnego rozwoju, taka współpraca to duży rozwój intelektualny i biznesowych obu zespołów.
Masz przed sobą wyzwanie związane z migracją danych lub chcesz opowiedzieć, jak Ty radzisz sobie z podobnymi problemami? Napisz do mnie na LinkedIn.
