Big Data & Data Engineering

Ottimizzazione delle performance

L’elevata mole di dati da processare e analizzare porta spesso a problemi di performance. Sulla base dell’esperienza maturata in contesti complessi che analizzano grandi moli di dati, EY ha individuato alcune tecniche applicabili ai Big Data finalizzate all’ottimizzazione delle performance:

Partizionamento: Distribuire i dati su più tabelle, dischi o partizioni per migliorare le prestazioni di elaborazione delle query o aumentare la gestibilità del database
Hashing: Creare id interi sintetici applicando tecniche di hashing alla chiave primaria originale (di solito una combinazione di più colonne e tipi di dati)
Caching: Utilizzo dello storage in-memory per ridurre i tempi di interrogazioni
Materializzazione: Persistere i risultati di trasformazioni complesse dei dati per evitare calcoli troppo lunghi on the fly
Ottimizzazione del codice: Riformulare parte del codice per renderlo più efficiente
Ottimizzazione dei data type: Alcuni tipi di dati occupano meno spazio o sono molto più efficienti di altri quando si tratta di relazioni o filtri (ad esempio, numeri interi o stringhe)
Ottimizzazione dei cluster: Sfruttare l'elaborazione multiparallela di Spark con una corretta configurazione del cluster
Pulizia dei dati: Rimuovere i dati inutilizzati per ridurre i tempi di trasferimento e di calcolo

EY si riferisce all'organizzazione globale e può riferirsi a una o più delle società associate di Ernst & Young Global Limited, ognuna delle quali è un'entità legale separata. Ernst & Young Global Limited, una società britannica con garanzia limitata, non fornisce servizi ai clienti.

EY | Assurance | Tax | Strategy and Transactions | Advisory

About EY

EY is a global leader in assurance, tax, transaction and advisory services. The insights and quality services we deliver help build trust and confidence in the capital markets and in economies the world over. We develop outstanding leaders who team to deliver on our promises to all of our stakeholders. In so doing, we play a critical role in building a better working world for our people, for our clients and for our communities.

EY refers to the global organization, and may refer to one or more, of the member firms of Ernst & Young Global Limited, each of which is a separate legal entity. Ernst & Young Global Limited, a UK company limited by guarantee, does not provide services to clients. For more information about our organization, please visit ey.com.

© 2019 EYGM Limited. All Rights Reserved.

EYG/OC/FEA no.

ED MMYY

This material has been prepared for general informational purposes only and is not intended to be relied upon as accounting, tax, or other professional advice. Please refer to your advisors for specific advice.