Architektura i zarządzanie danymi | Data Technology

Platforma danych  to rozwiązanie, które wspiera organizację w gromadzeniu, przetwarzaniu i zarządzaniu danymi (Data Governance). Istnieje wiele różnych rozwiązań technologicznych, które mogą zostać wykorzystane jako narzędzia do budowy Data Platform. Ważne jednak, aby budowana platforma danych była spójna z koncepcją architektury w domenie danych, a także z zasadami zarządzania danymi, np. inaczej są dobierane rozwiązania dla koncepcji Data Mesh, a inaczej dla zcentralizowanej hurtowni danych.

Zespół EY wspiera klientów w procesach dostosowania koncepcji platformy danych do wymogów i ambicji organizacji w zakresie przetwarzania danych. Od kilku lat klienci coraz częściej decydują się na chmurowe platformy danych (CDP). Eksperci EY budują rozwiązania z wykorzystaniem natywnych usług od największych dostawców chmurowych, jak również, cieszące się coraz większą popularnością, rozwiązania multi-cloud, które mogą zostać uruchomione na dowolnej z trzech głównych chmur publicznych.

Niezwykle istotny, zwłaszcza w kontekście modernizacji i doboru narzędzi w ramach platform danych, jest również wybrany sposób przetwarzania danych, w szczególności: przetwarzanie strumieniowe, bazujące na zdarzeniach (event-based architecture) oraz w czasie rzeczywistym lub bliskim rzeczywistemu.

Doświadczenia projektowe EY w dużych organizacjach o rozbudowanej strukturze pozwalają uniknąć częstych pułapek podczas wdrożeń dla tego typu rozwiązań. Do wykorzystania na szeroką skalę rozwiązań lub modeli AI, EY proponuje uwzględnienie platformy analitycznej w ramy tworzenia spójnej koncepcji platformy danych i wykorzystanie synergii wynikającej z procesów pozyskiwania, czyszczenia i transformacji danych oraz zawansowanych sposobów ich wykorzystania.

Architektura domeny danych często okazuje się dużym wyzwaniem, choćby ze względu na dynamiczny rozwój organizacji. W szczególności dotyczy to:

• utrzymania zgodności ze stanem faktycznym modeli i przepływów danych,
• pozyskania osób łączących wiedzę z obszaru modelowania danych, przepływów i profili konsumpcji danych, a także posiadających wiedzę z zakresu wskazanej dziedziny   lub sektora biznesowego.

Typowymi konsekwencjami są problemy z jakością danych, rzetelnością finalnych informacji operacyjnych, zarządczych, a także bazujących na danych automatyzacjach procesów biznesowych. Dysponując wiedzą ekspertów w obszarach biznesowych, technologicznych i w zakresie modelowania danych i ich przepływów, zespoły EY pracują z organizacjami nad sposobami podniesienia jakości architektury danych, co jest krytycznym elementem w procesie zapewnienia wiarygodności danych.

W architekturze domeny danych należy zwrócić szczególną uwagę na zastosowane narzędzia oraz ich spójność w ramach platformy danych. W dłuższej perspektywie automatyzacja, pozyskiwanie informacji o modelach i przepływach czy "data-lineage", stają się kluczowymi elementami z punktu widzenia utrzymania zgodności architektury ze stanem rzeczywistym.

Organizacje oczekują elastycznego i efektywnego systemu zarządzania danymi dostosowanego do istniejących, a także przyszłych wymagań technologicznych. Eksperci EY wspierają organizacje w odpowiedzi na następujące pytania:  

• Jak tworzyć i aktualizować procedury dotyczące danych, aby wspierały cele organizacji dotyczące przyszłego rozwoju?
• Jakie najnowsze trendy branżowe wpływają na politykę danych i jak je zaimplementować?
• W jaki sposób lepiej mierzyć zgodność z politykami?
• W jaki sposób wiodące organizacje uwzględniają wymagania polityki Data Governance we wdrożeniach technologicznych oraz usługach danych? Jakie zmiany należy wprowadzić w przypadku migracji do chmury?

Firmy nieustannie oceniają i zmieniają zasady dotyczące danych, by dotrzymać kroku innowacjom i sprostać nowym oczekiwaniom regulacyjnym. Zmiany obejmują m.in.:

• Dodanie wymagań w zakresie prywatności i etyki danych (lub z powiązanymi politykami)
• Usprawnienia uwzględniające nowe technologie (np. strumieniowe przesyłanie danych, Data Lake i przetwarzanie w chmurze, AI/ML)
• Wzrost oczekiwań, by odpowiadać na bieżące branżowe wyzwania, które są związane z danymi podstawowymi lub referencyjnymi, a także pozyskiwaniem i architekturą​​​​​​​​​​​ danych.​​​

Zespół EY uwzględnia ludzi, procesy i technologie, a także pomaga stworzyć spójne zasady oraz polityki w obszarze danych. Powyższe działanie to fundament dla uzyskania wiarygodnych informacji w skali całej organizacji. 

Ze względu na ryzyka wynikające ze zmian klimatycznych kwestie środowiskowe, społeczne i dotyczące ładu korporacyjnego, stały się jednym z ważniejszych wyzwań dla firm, zwłaszcza w branży finansowej.  Dane związane z ESG zazwyczaj są rozproszone w organizacji, a uzyskanie brakujących często. wymaga zmian w procesach wewnętrznych. We wszystkich tych aspektach, wykorzystanie odpowiednich narzędzi pozwala przyspieszyć proces transformacji.

Należy jednak pamiętać, że narzędzia to tylko jeden z niezbędnych elementów. System działa na tyle efektywnie, na ile prawidłowe są dane wejściowe. Jeśli dane są niekompletne, źle zidentyfikowane, nieprawidłowo przetworzone lub o niewystarczającej jakości, ich wykorzystanie wiąże się z ryzykiem regulacyjnym i wizerunkowym. W efekcie, powyższy obszar skupia coraz większą uwagę inwestorów i partnerów biznesowych.

Dodatkowym wyzwaniem jest szeroka perspektywa potrzebnych danych. Kwestie środowiskowe to dekarbonizacja, odnawialne źródła energii czy monitorowanie wpływu na klimat. Element społeczny oznacza nie tylko kwestie równości i inkluzyjności, ale także m.in bezpieczeństwo danych. Z kolei ład korporacyjny to połączenie właściwego zarządzania przedsiębiorstwem i stopnia zaufania inwestorów. Wiele z powyższych informacji nie było dotychczas w ogóle gromadzonych, dlatego trzeba zidentyfikować ich źródła, ustanowić właścicieli i odpowiednie procesy oraz sposób przetwarzania danych, aby uzyskać zestaw gotowych informacji do raportowania ESG.

Prawidłowe przeprowadzenie procesu gromadzenia danych związanych z ESG jak i właściwy nad nim nadzór powinny być kluczowym elementem strategii w tym obszarze. Zrozumienie potrzeb organizacji, a następnie właściwa ocena i klasyfikacja danych ESG pomagają w procesie dostosowania do wymagań regulacyjnych, a także wewnętrznych potrzeb organizacji.