Architektura i zarządzanie danymi | Data Technology

W projektach transformacyjnych, kluczowe jest właściwe zarządzanie danymi i odpowiednio zaprojektowana architektura danych. Projektując, a także wdrażając rozwiązania można wykorzystywać zarówno nowoczesne jak i ugruntowane podejścia czy wzorce architektoniczne w ramach Data Warehouse, Data Lake, Cloud Data Platform, Lakehouse, etc.

 

Spójna strategia powinna - oprócz zastosowania technologii wspierających pozyskanie, przetwarzanie i korzystanie z danych – obejmować zwiększenie potencjału ludzi oraz organizacji w obszarze danych.

Transformacja „data-driven” i architektura danych

Architektura ddanych rozpoczyna poroces transformacji „data-driven”. Organizacje w coraz większym stopniu wdrażają strategie związane z podejmowaniem decyzji bazujących na danych, które postrzegają jako fundament dla wzrostu i innowacji.

Strategie klientów na najbliższe lata zawierają nowoczesne koncepcje platform danych, chmurowych jezior danych (data lake), ich integracji z hurtowniami oraz koncepcje typu „data mesh”.

Skorzystaj z doradztwa w zakresie Data Technology

Umów się na rozmowę z ekspertem. Konsultacja obejmie: omówienie architektury danych, wskazanie obszarów potencjalnych zmian, dyskusję nt. kierunków rozwoju i rekomendacje kolejnych działań.

Zarządzanie danymi i strategia data-driven

Zarządzanie danymi i ich przetwarzanie leżą u podstaw transformacji cyfrowej (data technology transformation). Zdecydowana większość firm docenia ich potencjał w dostarczaniu wartości biznesowej, a w rezultacie, w coraz większym stopniu uwzględnia je w swojej strategii działania. W konsekwencji, rośnie znaczenie właściwej architektury danych oraz Data Governance, a posiadana platforma staje się krytycznym elementem procesu transformacji.

Przy wdrażaniu strategii data-driven, zakres posiadanych danych, niezawodny sposób dostępu, a także efektywne metody przechowywania, sprzyjają powstaniu szerokiego spektrum zastosowań np. analityka zarządcza, raportowanie ESG, uczenie maszynowe (machine learning) oraz wykorzystywanie sztucznej inteligencji (AI). Data Technology ulega nieustannemu doskonaleniu, a stopień jej innowacyjności jest kluczowym czynnikiem sukcesu organizacji.

Platforma danych to rozwiązanie, które wspiera organizację w procesach tj. gromadzenie, przetwarzanie i i zarządzanie danymi (Data Governance). Istnieje wiele różnych rozwiązań technologicznych, które mogą zostać wykorzystane jako narzędzia do budowy Data Platform. Ważne jednak, aby budowana platforma danych była spójna z koncepcją architektury w domenie danych, a także z zasadami, jakimi rządzi się zarządzanie danymi. Inaczej są dobierane rozwiązania dla koncepcji Data Mesh, a inaczej dla zcentralizowanej hurtowni danych.

Zespół EY wspiera klientów w procesach dostosowania koncepcji platformy danych do wymogów i ambicji organizacji w zakresie przetwarzania danych. Od kilku lat klienci coraz częściej decydują się na chmurowe platformy danych (CDP). Eksperci EY budują rozwiązania z wykorzystaniem natywnych usług od największych dostawców chmurowych, jak również, cieszące się coraz większą popularnością, rozwiązania multi-cloud, które mogą zostać uruchomione na dowolnej z trzech głównych chmur publicznych.

Niezwykle istotny, zwłaszcza w kontekście modernizacji i doboru narzędzi w ramach platform danych, jest również wybrany sposób przetwarzania danych, w szczególności: przetwarzanie strumieniowe, bazujące na zdarzeniach (event-based architecture) oraz w czasie rzeczywistym lub bliskim rzeczywistemu.

Doświadczenia projektowe EY w dużych organizacjach o rozbudowanej strukturze pozwalają uniknąć częstych pułapek podczas wdrożeń dla tego typu rozwiązań. Do wykorzystania na szeroką skalę rozwiązań lub modeli AI, EY proponuje uwzględnienie platformy analitycznej w ramy tworzenia spójnej koncepcji platformy danych i wykorzystanie synergii wynikającej z procesów pozyskiwania, czyszczenia i transformacji danych oraz zawansowanych sposobów ich wykorzystania.

Architektura domeny danych często okazuje się dużym wyzwaniem, choćby ze względu na dynamiczny rozwój organizacji. W szczególności dotyczy to:

  • utrzymania zgodności ze stanem faktycznym modeli i przepływów danych,
  • pozyskania osób łączących wiedzę z obszaru modelowania danych, przepływów i profili konsumpcji danych, a także posiadających wiedzę z zakresu wskazanej dziedziny   lub sektora biznesowego.

Typowymi konsekwencjami są problemy z jakością danych, rzetelnością finalnych informacji operacyjnych, zarządczych, a także bazujących na danych automatyzacjach procesów biznesowych. Dysponując wiedzą ekspertów w obszarach biznesowych, technologicznych i w zakresie modelowania danych i ich przepływów, zespoły EY pracują z organizacjami nad sposobami podniesienia jakości architektury danych, co jest krytycznym elementem w procesie zapewnienia wiarygodności danych.

W architekturze domeny danych należy zwrócić szczególną uwagę na zastosowane narzędzia oraz ich spójność w ramach platformy danych. W dłuższej perspektywie automatyzacja, pozyskiwanie informacji o modelach i przepływach czy "data-lineage", stają się kluczowymi elementami z punktu widzenia utrzymania zgodności architektury ze stanem rzeczywistym.

Organizacje oczekują elastycznego i efektywnego systemu zarządzania danymi dostosowanego do istniejących, a także przyszłych wymagań technologicznych. Eksperci EY wspierają organizacje w odpowiedzi na następujące pytania:  

  • Jak tworzyć i aktualizować procedury dotyczące danych, aby wspierały cele organizacji dotyczące przyszłego rozwoju?
  • Jakie najnowsze trendy branżowe wpływają na politykę danych i jak je zaimplementować?
  • W jaki sposób lepiej mierzyć zgodność z politykami?
  • W jaki sposób wiodące organizacje uwzględniają wymagania polityki Data Governance we wdrożeniach technologicznych oraz usługach danych? Jakie zmiany należy wprowadzić w przypadku migracji do chmury?

Firmy nieustannie oceniają i zmieniają zasady dotyczące danych, by dotrzymać kroku innowacjom i sprostać nowym oczekiwaniom regulacyjnym. Zmiany obejmują m.in.:

  • Dodanie wymagań w zakresie prywatności i etyki danych (lub z powiązanymi politykami)
  • Usprawnienia uwzględniające nowe technologie (np. strumieniowe przesyłanie danych, Data Lake i przetwarzanie w chmurze, AI/ML)
  • Wzrost oczekiwań, by odpowiadać na bieżące branżowe wyzwania, które są związane z danymi podstawowymi lub referencyjnymi, a także pozyskiwaniem i architekturą​​​​​​​​​​​ danych.​​​

Zespół EY uwzględnia ludzi, procesy i technologie, a także pomaga stworzyć spójne zasady oraz polityki w obszarze danych. Powyższe działanie to fundament dla uzyskania wiarygodnych informacji w skali całej organizacji.

Ze względu na ryzyka wynikające ze zmian klimatycznych kwestie środowiskowe, społeczne i dotyczące ładu korporacyjnego, stały się jednym z ważniejszych wyzwań dla firm, zwłaszcza w branży finansowej.  Dane związane z ESG zazwyczaj są rozproszone w organizacji, a uzyskanie brakujących często. wymaga zmian w procesach wewnętrznych. We wszystkich tych aspektach, wykorzystanie odpowiednich narzędzi pozwala przyspieszyć proces transformacji.

Należy jednak pamiętać, że narzędzia to tylko jeden z niezbędnych elementów. System działa na tyle efektywnie, na ile prawidłowe są dane wejściowe. Jeśli dane są niekompletne, źle zidentyfikowane, nieprawidłowo przetworzone lub o niewystarczającej jakości, ich wykorzystanie wiąże się z ryzykiem regulacyjnym i wizerunkowym. W efekcie, powyższy obszar skupia coraz większą uwagę inwestorów i partnerów biznesowych.

Dodatkowym wyzwaniem jest szeroka perspektywa potrzebnych danych. Kwestie środowiskowe to dekarbonizacja, odnawialne źródła energii czy monitorowanie wpływu na klimat. Element społeczny oznacza nie tylko kwestie równości i inkluzyjności, ale także m.in bezpieczeństwo danych. Z kolei ład korporacyjny to połączenie właściwego zarządzania przedsiębiorstwem i stopnia zaufania inwestorów. Wiele z powyższych informacji nie było dotychczas w ogóle gromadzonych, dlatego trzeba zidentyfikować ich źródła, ustanowić właścicieli i odpowiednie procesy oraz sposób przetwarzania danych, aby uzyskać zestaw gotowych informacji do raportowania ESG.

Prawidłowe przeprowadzenie procesu gromadzenia danych związanych z ESG jak i właściwy nad nim nadzór powinny być kluczowym elementem strategii w tym obszarze. Zrozumienie potrzeb organizacji, a następnie właściwa ocena i klasyfikacja danych ESG pomagają w procesie dostosowania do wymagań regulacyjnych, a także wewnętrznych potrzeb organizacji.

Co nas wyróżnia?

Zespol yellow

Interdyscyplinarny zespół konsultantów

Zespół, który łączy wszystkie kompetencje w zakresie przetwarzania danych, w tym techniczne, biznesowe oraz prawne.

EY globe

Sieć partnerów technologicznych

Szerokie portfolio produktowe i doświadczenie we wdrożeniach rozwiązań data.

EY medal

Doświadczenie z międzynarodowych projektów

Realizacja zgodnie z najnowszymi trendami oraz z wykorzystaniem zestawu narzędzi dopasowanych do wybranej architektury.

Najczęstsze wyzwania, w których wspieramy naszych klientów

  1. Brak precyzyjnych, spójnych i akceptowalnych definicji danych: niejednoznaczności oraz ich niespójne wykorzystanie.
  2. Brak jednorodnego widoku klienta wpływa na jakość obsługi klienta oraz operacje biznesowe.
  3. Brak biznesowych właścicieli danych powoduje zwiększenie liczby nierozwiązanych problemów dotyczących ich jakości.
  4. Nieefektywne i niespójne metody dostępu do posiadanych danych.
  5. Wiele silosów danych: duplikowanie i trudności z automatyzacją.
  6. Nieodpowiedni model działania i brak narzędzi do przeprowadzenia procesu, jakim jest zarządzanie danymi.

O zespole

Interdyscyplinarny Zespół Data Technology składa się z doświadczonych architektów, analityków i inżynierów danych, który posiada szerokie spektrum kompetencji potrzebnych do przeprowadzenia transformacji w obszarze danych. Pracujemy z polskimi, a także międzynarodowymi firmami z sektora ubezpieczeniowego, bankowego oraz przedsiębiorstwami produkcyjnymi.

Polecane publikacje

Cztery wizje przyszłości AI: czy to Ty będziesz architektem zmian, czy to AI zdefiniuje Ciebie?

Poprzez analizę pojawiających się sygnałów i trendów zidentyfikowaliśmy cztery scenariusze, w jaki sposób sztuczna inteligencja może przekształcić krajobraz biznesowy do 2030 roku. Dowiedz się więcej.

GenAI kontra Komputery Kwantowe

W erze przełomowych innowacji technologicznych dwa giganty – sztuczna inteligencja i komputery kwantowe – stają naprzeciw siebie, oferując różnorodne możliwości oraz wyzwania - dowiedz się więcej z artykułu.

EY Polska

Architektura i zarządzanie danymi | Data Technology

Właściwe zarządzanie danymi i odpowiednio zaprojektowana architektura danych są niezwykle ważne podczas transformacji biznesowo-technologicznych. Dowiedz się więcej!

jak-komputery-kwantowe-moga-przeksztalcic-kluczowe-operacje-w-branzy-finansowej

Obliczenia kwantowe to szybko rozwijająca się technologia, która może zwiększyć wydajność operacyjną firm z branży finansowej. To najlepszy moment, aby zainwestować w budowanie kompetencji i możliwości obliczeń kwantowych.

EY Polska

Wdrożenie AI, czyli jak korzystać ze sztucznej inteligencji?

ChatGPT został udostępniony dla szerokiego grona użytkowników w listopadzie 2022 r. Od tego momentu obserwujemy bardzo duży wzrost zainteresowania wykorzystaniem sztucznej inteligencji (AI).

EY Polska

InsurTech: Jak technologia wpływa na sektor ubezpieczeniowy?

Jednym z aktualnych, głównych trendów na rynku ubezpieczeniowym jest pogłębienie zrozumienia potrzeb klientów oraz dostosowania do nich produktów i usług.

Maja Ossowska-Nowakowska

Organizacje data-driven. Jak przekroczyć horyzonty hype’u?

W ostatnich latach firmy finansowe dążą do stania się data-driven, wykorzystując dane do automatyzacji procesów, oferowania nowych produktów, personalizacji usług oraz nowoczesnego zarządzania cenami i relacjami z klientami.

EY Polska

Jak komputery kwantowe mogą zmienić naszą rzeczywistość?

Komercyjne wykorzystywanie technologii kwantowej może ułatwić i przyspieszyć prace nad nowymi lekami, optymalizację łańcucha dostaw, usprawnić komunikację czy analizę portfela inwestycyjnego.

EY Polska

Jak EY może pomóc