INTRODUZIONE
Un primario gruppo energetico & utility italiano, leader globale nel settore dell’energia e tra i principali attori nella transizione energetica, ha avviato un ampio programma di modernizzazione della propria piattaforma dati. L’obiettivo è stato quello di supportare le esigenze crescenti di scalabilità, resilienza e velocità di innovazione richieste dai processi di business e dai nuovi use case di analisi avanzata. Il progetto è nato in risposta a diversi fattori: – Crescente complessità dei flussi ETL/ELT esistenti sviluppati su Informatica PowerCenter (PWC) ed Informatica Data Engineering Integration (DEI). – Obsolescenza tecnologica di alcuni componenti legacy che limitavano l’agilità nello sviluppo e nella manutenzione. – La necessità di ottimizzare i costi operativi e ridurre i tempi di provisioning dei dati per analisi e reporting. – Il percorso aziendale verso un cloud data platform più moderno ed elastico, integrato con strumenti di Data Science e AI. A supporto della strategia di cloud-first del gruppo, la decisione è stata di migrare a Informatica Intelligent Data Management Cloud (IDMC) e, parallelamente, di consolidare il data warehouse migrando da Oracle, Hive e Redshift a Databricks.
CONTESTO
Il gruppo gestisce miliardi di record relativi a clienti, reti, consumi e asset energetici, con la necessità di integrare dati provenienti da centinaia di sistemi eterogenei. Il contesto era caratterizzato da: – Infrastruttura dati frammentata, con carichi di lavoro distribuiti tra vari sistemi. – Necessità di abilitare use case di advanced analytics, AI/ML e IoT per migliorare la gestione dei servizi al cliente. – Obiettivi di riduzione dei costi di licensing e di operation. Il settore energetico è in piena trasformazione verso la decarbonizzazione e la digitalizzazione: avere una piattaforma dati moderna era cruciale per sostenere la competitività e la compliance normativa.
SFIDA
La sfida principale era modernizzare l’intero stack ETL/ELT e di data warehousing senza interrompere i processi critici di business. Le principali criticità individuate: – Elevata dipendenza da sviluppi su PowerCenter e DEI accumulati in oltre 10 anni. – Complessità nel garantire la continuità operativa durante la migrazione di diverse pipeline dati. – Necessità di riaddestrare il team IT e aggiornare le competenze per IDMC e Databricks. – Migrazione di dati storici da ambienti “legacy” (Oracle, Hive, Redshift) al nuovo Lakehouse Databricks.
IMPLEMENTAZIONE
Il progetto si è sviluppato in fasi: 1. Assessment e Inventory – Mappatura dei flussi PowerCenter e DEI. – Identificazione dei progetti/job prioritari per la migrazione. 2. Scelta della tecnologia – Adozione di Informatica IDMC come piattaforma cloud-native per l’orchestrazione e la trasformazione dati. – Definizione dell’architettura target basata su Databricks Lakehouse per unificare data warehouse e data lake. 3. Migrazione incrementale – Re-platforming dei flussi ETL/ELT su IDMC. – Trasferimento graduale dei dataset da Oracle, Hive e Redshift a Databricks, mantenendo la coesistenza temporanea con i sistemi “legacy”. 4. Automazione e ottimizzazione – Utilizzo del servizio IDMC “Cloud Data Integration for PowerCenter” per eseguire assesment di conversione automatica da PWC a CDI, e per convertire i mapping con repointing verso Databricks. – Sviluppo di best practice per accelerare la conversione dei flussi in modalità SQL-ELT su Databricks. – Adozione di pipeline CI/CD per il deployment rapido e sicuro. 5. Change Management e Training – Supporto ai team di sviluppo.
RISULTATI
La modernizzazione ha prodotto benefici significativi: – Riduzione dei costi di manutenzione delle vecchie piattaforme dati (a fine migrazione). – Aumento nella velocità di rilascio di nuovi flussi e report. – Scalabilità elastica Databricks per gestire picchi di carico. – Riduzione notevole del time-to-insight per molte analisi critiche. – Migliorata resilienza e disponibilità del servizio ETL/ELT.
PROGRESSI NEL TEMPO
A sette mesi dall’inizio del progetto: – Due progetti sono stati migrati su IDMC. – Il data warehouse su Databricks sta diventando la principale fonte dati per i report direzionali e le analisi. – Il team di lavoro ha acquisito piena autonomia nella gestione e nello sviluppo sul nuovo stack tecnologico.
PEOPLE BEYOND AI
Il progetto è stato guidato dal team Data Platform del gruppo in collaborazione con i partner tecnologici di Databricks ed Informatica, oltre al supporto di società di System Integrator.
