Consorzi Agrari d'Italia S.p.a.
CAI: una business intelligence di gruppo su Qlik Cloud
Da QlikView on premise a Qlik Cloud: una sola BI per tutti i consorzi
La società Consorzi Agrari d'Italia (CAI) opera lungo tutta la filiera agricola nazionale. Tratta cereali come frumento e mais, fitofarmaci, prodotti finiti come trattori e strumenti agricoli; di recente, ha esteso l'attività anche al settore vinicolo.
Costituita nel 2019, la società ha l’obiettivo di riunire in un’unica entità i consorzi agrari italiani: anno dopo anno ha acquisito, tra gli altri, i consorzi di Parma, di Treviso e del Nord-Est.
Il progetto ha portato all’adozione di una piattaforma di business intelligence di gruppo, sviluppata dalla business unit Business Intelligence di 8 wave.
CAI ha maturato l'esigenza di estendere a tutti i consorzi lo strumento di analisi dati su QlikView di cui 8 wave aveva promosso l'integrazione per il Consorzio del Nord-Est. Questo processo ha fatto emergere due difficoltà principali: lo strumento era installato on premise e ogni consorzio usava un ERP diverso.
Abbiamo portato le analisi su Qlik Cloud e costruito un processo ETL che integra e normalizza negli orari notturni i dati di tutte le categorie merceologiche trattate dai diversi consorzi.
Cliente
Consorzi Agrari d’Italia (CAI), società che sta riunendo in un’unica entità i consorzi agrari italiani e opera lungo tutta la filiera agricola, dai cereali ai fitofarmaci, dai trattori al vino.
Soluzione
Piattaforma di business intelligence di gruppo su Qlik Cloud, alimentata ogni notte da un processo ETL che integra e normalizza i dati degli ERP di tutti i consorzi.
Servizio Core
Business Intelligence: integrazione delle fonti dati, ETL, normalizzazione, modello dati e dashboard di analisi.
Risultati chiave
Migrazione delle analisi da QlikView on premise a Qlik Cloud; dati di AS400, Oracle, SQL Server e file su FTP resi confrontabili; perimetro delle analisi esteso dalle vendite a fornitori, magazzino, contabilità e clienti.
Impatto sul business
Ogni consorzio consulta i propri dati e la direzione generale di CAI li legge tutti insieme; la piattaforma accompagna la crescita del gruppo a ogni nuova acquisizione.
Un gruppo che cresce per acquisizioni, un ERP diverso per ogni consorzio
Il progetto ha mosso i primi passi col Consorzio del Nord-Est, con sede a Verona. È cliente di 8 wave per la business intelligence da circa 15 anni.
Dopo che CAI ha acquisito il Consorzio del Nord-Est, ha valutato gli strumenti di ogni realtà per promuovere l'adozione dei migliori a tutto il gruppo. CAI usava Mitico, un ERP su Oracle specifico per il mondo agricolo, con dashboard statiche e funzionalità limitate di filtraggio e analisi dei dati. Le dashboard sviluppate per il Nord-Est sono piaciute alla direzione, che ha deciso di estenderle come strumento di business intelligence per tutto il gruppo.
Il vincolo principale era strutturale: ogni consorzio portava con sé un sistema informativo diverso, e la strategia di CAI prevede nuove acquisizioni ogni anno.
Integrare ERP diversi e rendere i dati confrontabili
Il Consorzio del Nord-Est lavorava da circa 15 anni con QlikView, la prima generazione di piattaforme Qlik, alimentata dai dati dell'ERP su AS400. Lo strumento era nato per superare i limiti dell'AS400 nella creazione di dashboard.
Prima di QlikView, l'AS400 produceva solo report su richiesta. Chi aveva bisogno di un dato chiedeva un'estrazione al programmatore e riceveva un file tabellare. Per scendere nel dettaglio serviva una nuova richiesta. Spesso passavano mesi, con il risultato che le eventuali anomalie presenti venivano scoperte in ritardo, aggravando problemi e criticità.
Grazie a QlikView, gli utenti hanno iniziato a filtrare i dati in tempo reale e a vagliare in modo granulare anche i singoli documenti di vendita, per poi tornare alla vista per articolo o per zona geografica.
Sulla base di questa esperienza, la scelta di CAI è stata di estendere le dashboard del Nord-Est a tutto il gruppo, superando accessi vincolati alla rete aziendale, fonti dati distribuite su sistemi diversi e dati non confrontabili tra un consorzio e l'altro.
Accessi vincolati alla rete aziendale
Gli utenti esterni alla rete potevano accedere solo tramite VPN, e non tutti i consorzi avevano una VPN collegata con la sede CAI di Bologna. CAI chiedeva uno strumento in cloud, accessibile da qualsiasi sede e anche da dispositivi mobili.
Fonti dati su sistemi diversi
Ogni realtà del gruppo aveva il proprio ERP: AS400 a Verona, Mitico su Oracle per CAI, Aliante su SQL Server a Parma. Alcuni consorzi non davano accesso diretto al database e depositavano ogni mattina estrazioni in CSV o Excel su un server FTP. Ogni consorzio doveva tracciare i propri dati, mentre la direzione generale doveva tracciarli tutti insieme.
Dati non confrontabili
Lo stesso prodotto poteva avere codici articolo diversi e unità di misura diverse (grammi, chili, sacchi) a seconda del consorzio dove veniva trattato. Per fare un esempio, senza una standardizzazione delle unità di misura, la direzione non poteva sapere quanto mais stava vendendo in totale.
Dalle fonti alle dashboard: il team Business Intelligence di 8 wave
La business unit Business Intelligence di 8 wave ha lavorato sull'intera filiera del dato: collegamento alle fonti, trasformazione e normalizzazione, modello dati, dashboard di analisi.
L'approccio è partito dalla conoscenza del cliente. Il team supportava il Consorzio del Nord-Est da circa 15 anni e conosceva in dettaglio i dati, i processi e le esigenze di analisi da cui era nato lo strumento su QlikView. Su questa base ha affrontato l'integrazione dei nuovi consorzi, lavorando in parallelo con il business del cliente sulle regole di conversione dei dati. Sempre in ambito agricolo, 8 wave ha sviluppato per Agri.Bi. una soluzione di business intelligence per l'agricoltura basata su Qlik Sense.

Matteo Pavoni
CIO and Senior BI Consultant

Alessandro Bellesia
CTO

Lorenzo Bonfanti
Digital Product Designer

Enrico Ferriani
Project Manager
Mappatura delle fonti, qualità del dato e regole di conversione
Il primo passo è consistito nella mappatura delle fonti dati di ogni consorzio: AS400, Oracle, SQL Server, file Excel e CSV depositati su FTP. Per ciascuna di esse abbiamo verificato come avveniva l'accesso ai dati: collegamento diretto al database, connessione in VPN o prelievo dei file.
In seguito, abbiamo distinto due livelli di qualità del dato. Il primo riguarda la normalizzazione: far corrispondere articoli, clienti e unità di misura che nei diversi sistemi hanno codici e formati diversi. Il secondo riguarda la correttezza del singolo database: campi valorizzati, date formattate in modo coerente. Per comprendere quanto questi due livelli siano collegati basta prendere in esame il campo dati della partita IVA, necessario per unire i clienti, e che andava verificato in tutte le anagrafiche.
Il passaggio successivo ci ha portati a definire le regole di conversione insieme al reparto business di CAI. Ad esempio, è stato stabilito a quanti chili corrisponde un sacco. Per rendere vincolanti queste regole sono state create tabelle di appoggio nei database aziendali.
Infine, abbiamo valutato lo strumento per l'ETL, cioè il processo che estrae i dati dalle fonti, li trasforma e li carica per l'analisi. Sul mercato esistono software dedicati solo a questa funzione.
La scelta è ricaduta su Qlik anche per l'ETL per due ragioni: la componente ETL di Qlik gestisce grandi volumi di dati in modo veloce e senza un uso elevato di RAM, e lavorare nello stesso ecosistema della destinazione finale rende più lineare il passaggio dei dati a Qlik.
Cloud, ETL notturno e dati normalizzati: come funziona la piattaforma
Abbiamo costruito per il gruppo CAI una piattaforma di business intelligence su Qlik Cloud, alimentata ogni notte dai dati normalizzati di tutti i consorzi. Ogni realtà consulta i propri dati; la direzione generale li consulta insieme, con articoli, clienti e unità di misura resi confrontabili.
La piattaforma conserva la navigazione che CAI aveva apprezzato nelle dashboard del Nord-Est: filtri in tempo reale e analisi granulari fino al singolo documento.
Piattaforma in cloud.
Le analisi sono passate da QlikView on premise a Qlik Cloud, su server gestiti da Qlik, ridondati e con prestazioni calibrate sul carico. Gli utenti accedono senza VPN, anche da dispositivi mobili. Le licenze sono per utente: Professional, per chi crea dashboard in autonomia, e User, per chi consulta quelle già sviluppate.
Integrazione delle fonti.
Il processo legge i dati di AS400, Oracle, SQL Server e dei file CSV ed Excel depositati su FTP. Una macchina Windows on premise nella rete di CAI fa da orchestratore: accede direttamente al database di Mitico e, in VPN, ai sistemi degli altri consorzi.
Normalizzazione dei dati.
Una struttura di trasformazione fa corrispondere i codici articolo dei diversi consorzi e converte grammi, chili e sacchi in un'unica unità di misura. I clienti presenti in più consorzi sono unificati tramite la partita IVA in un unico cliente CAI. A questo si aggiungono i controlli sulla qualità dei singoli dati.
Aggiornamento notturno.
Ogni mattina alle ore 4 l'orchestratore avvia gli script Qlik che leggono, uniscono e normalizzano i dati di tutti i consorzi. I file risultanti vengono trasferiti in cloud in forma criptata.
Dati separati per consorzio, uniti nella vista di gruppo.
Anagrafiche dei clienti, degli articoli e movimenti di magazzino restano in file separati per consorzio. Ogni dashboard carica solo i blocchi di dati che le servono: una dashboard per Parma legge i dati di Parma, una dashboard di gruppo unisce i blocchi di tutti i consorzi. Questa scelta mantiene buone le prestazioni anche con grandi volumi.
Dalle vendite alla contabilità: la BI di 8 wave diventa standard di gruppo
La business intelligence di Qlik si è estesa dall'analisi delle vendite alle altre business unit aziendali: ordini e analisi dei fornitori; costi, margini e performance; movimenti di magazzino, rotazione e ottimizzazione delle scorte; contabilità, con calcolo di EBITDA e cash flow; analisi dei clienti, con scadenziari, insoluti e RIBA non pagate.
CAI ha scelto lo strumento sviluppato per il Nord-Est come standard di gruppo e ha ampliato nel tempo il perimetro delle analisi affidate a 8 wave.
Il progetto prosegue a ogni nuova acquisizione: quando un consorzio entra nel gruppo armonizza i propri dati per renderli confrontabili con quelli già esistenti nell’ecosistema aziendale. La piattaforma è la base su cui CAI costruisce una lettura unica dei dati mentre aggrega i consorzi italiani in un'unica entità.