8 wave logo

Consorzi Agrari d'Italia S.p.a.

CAI: una business intelligence di gruppo su Qlik Cloud

CAI: una business intelligence di gruppo su Qlik Cloud
Introduzione

Da QlikView on premise a Qlik Cloud: una sola BI per tutti i consorzi

La società Consorzi Agrari d'Italia (CAI) opera lungo tutta la filiera agricola nazionale. Tratta cereali come frumento e mais, fitofarmaci, prodotti finiti come trattori e strumenti agricoli; di recente, ha esteso l'attività anche al settore vinicolo.

Costituita nel 2019, la società ha l’obiettivo di riunire in un’unica entità i consorzi agrari italiani: anno dopo anno ha acquisito, tra gli altri, i consorzi di Parma, di Treviso e del Nord-Est.

Il progetto ha portato all’adozione di una piattaforma di business intelligence di gruppo, sviluppata dalla business unit Business Intelligence di 8 wave.

CAI ha maturato l'esigenza di estendere a tutti i consorzi lo strumento di analisi dati su QlikView di cui 8 wave aveva promosso l'integrazione per il Consorzio del Nord-Est. Questo processo ha fatto emergere due difficoltà principali: lo strumento era installato on premise e ogni consorzio usava un ERP diverso.

Abbiamo portato le analisi su Qlik Cloud e costruito un processo ETL che integra e normalizza negli orari notturni i dati di tutte le categorie merceologiche trattate dai diversi consorzi.

Cliente

Consorzi Agrari d’Italia (CAI), società che sta riunendo in un’unica entità i consorzi agrari italiani e opera lungo tutta la filiera agricola, dai cereali ai fitofarmaci, dai trattori al vino.

Soluzione

Piattaforma di business intelligence di gruppo su Qlik Cloud, alimentata ogni notte da un processo ETL che integra e normalizza i dati degli ERP di tutti i consorzi.

Servizio Core

Business Intelligence: integrazione delle fonti dati, ETL, normalizzazione, modello dati e dashboard di analisi.

Risultati chiave

Migrazione delle analisi da QlikView on premise a Qlik Cloud; dati di AS400, Oracle, SQL Server e file su FTP resi confrontabili; perimetro delle analisi esteso dalle vendite a fornitori, magazzino, contabilità e clienti.

Impatto sul business

Ogni consorzio consulta i propri dati e la direzione generale di CAI li legge tutti insieme; la piattaforma accompagna la crescita del gruppo a ogni nuova acquisizione.

Il contesto

Un gruppo che cresce per acquisizioni, un ERP diverso per ogni consorzio

Il progetto ha mosso i primi passi col Consorzio del Nord-Est, con sede a Verona. È cliente di 8 wave per la business intelligence da circa 15 anni.

Dopo che CAI ha acquisito il Consorzio del Nord-Est, ha valutato gli strumenti di ogni realtà per promuovere l'adozione dei migliori a tutto il gruppo. CAI usava Mitico, un ERP su Oracle specifico per il mondo agricolo, con dashboard statiche e funzionalità limitate di filtraggio e analisi dei dati. Le dashboard sviluppate per il Nord-Est sono piaciute alla direzione, che ha deciso di estenderle come strumento di business intelligence per tutto il gruppo.

Il vincolo principale era strutturale: ogni consorzio portava con sé un sistema informativo diverso, e la strategia di CAI prevede nuove acquisizioni ogni anno.

La sfida

Integrare ERP diversi e rendere i dati confrontabili

Il Consorzio del Nord-Est lavorava da circa 15 anni con QlikView, la prima generazione di piattaforme Qlik, alimentata dai dati dell'ERP su AS400. Lo strumento era nato per superare i limiti dell'AS400 nella creazione di dashboard.

Prima di QlikView, l'AS400 produceva solo report su richiesta. Chi aveva bisogno di un dato chiedeva un'estrazione al programmatore e riceveva un file tabellare. Per scendere nel dettaglio serviva una nuova richiesta. Spesso passavano mesi, con il risultato che le eventuali anomalie presenti venivano scoperte in ritardo, aggravando problemi e criticità.

Grazie a QlikView, gli utenti hanno iniziato a filtrare i dati in tempo reale e a vagliare in modo granulare anche i singoli documenti di vendita, per poi tornare alla vista per articolo o per zona geografica.

Sulla base di questa esperienza, la scelta di CAI è stata di estendere le dashboard del Nord-Est a tutto il gruppo, superando accessi vincolati alla rete aziendale, fonti dati distribuite su sistemi diversi e dati non confrontabili tra un consorzio e l'altro.

01

Accessi vincolati alla rete aziendale

Gli utenti esterni alla rete potevano accedere solo tramite VPN, e non tutti i consorzi avevano una VPN collegata con la sede CAI di Bologna. CAI chiedeva uno strumento in cloud, accessibile da qualsiasi sede e anche da dispositivi mobili.

02

Fonti dati su sistemi diversi

Ogni realtà del gruppo aveva il proprio ERP: AS400 a Verona, Mitico su Oracle per CAI, Aliante su SQL Server a Parma. Alcuni consorzi non davano accesso diretto al database e depositavano ogni mattina estrazioni in CSV o Excel su un server FTP. Ogni consorzio doveva tracciare i propri dati, mentre la direzione generale doveva tracciarli tutti insieme.

03

Dati non confrontabili 

Lo stesso prodotto poteva avere codici articolo diversi e unità di misura diverse (grammi, chili, sacchi) a seconda del consorzio dove veniva trattato. Per fare un esempio, senza una standardizzazione delle unità di misura, la direzione non poteva sapere quanto mais stava vendendo in totale.

Il team

Dalle fonti alle dashboard: il team Business Intelligence di 8 wave

La business unit Business Intelligence di 8 wave ha lavorato sull'intera filiera del dato: collegamento alle fonti, trasformazione e normalizzazione, modello dati, dashboard di analisi.

L'approccio è partito dalla conoscenza del cliente. Il team supportava il Consorzio del Nord-Est da circa 15 anni e conosceva in dettaglio i dati, i processi e le esigenze di analisi da cui era nato lo strumento su QlikView. Su questa base ha affrontato l'integrazione dei nuovi consorzi, lavorando in parallelo con il business del cliente sulle regole di conversione dei dati. Sempre in ambito agricolo, 8 wave ha sviluppato per Agri.Bi. una soluzione di business intelligence per l'agricoltura basata su Qlik Sense.

Matteo Pavoni

Matteo Pavoni

CIO and Senior BI Consultant

Alessandro Bellesia

Alessandro Bellesia

CTO

Lorenzo Bonfanti

Lorenzo Bonfanti

Digital Product Designer

Enrico Ferriani

Enrico Ferriani

Project Manager

Analisi

Mappatura delle fonti, qualità del dato e regole di conversione

Il primo passo è consistito nella mappatura delle fonti dati di ogni consorzio: AS400, Oracle, SQL Server, file Excel e CSV depositati su FTP. Per ciascuna di esse abbiamo verificato come avveniva l'accesso ai dati: collegamento diretto al database, connessione in VPN o prelievo dei file.

In seguito, abbiamo distinto due livelli di qualità del dato. Il primo riguarda la normalizzazione: far corrispondere articoli, clienti e unità di misura che nei diversi sistemi hanno codici e formati diversi. Il secondo riguarda la correttezza del singolo database: campi valorizzati, date formattate in modo coerente. Per comprendere quanto questi due livelli siano collegati basta prendere in esame il campo dati della partita IVA, necessario per unire i clienti, e che andava verificato in tutte le anagrafiche.

Il passaggio successivo ci ha portati a definire le regole di conversione insieme al reparto business di CAI. Ad esempio, è stato stabilito a quanti chili corrisponde un sacco. Per rendere vincolanti queste regole sono state create tabelle di appoggio nei database aziendali.

Infine, abbiamo valutato lo strumento per l'ETL, cioè il processo che estrae i dati dalle fonti, li trasforma e li carica per l'analisi. Sul mercato esistono software dedicati solo a questa funzione.

La scelta è ricaduta su Qlik anche per l'ETL per due ragioni: la componente ETL di Qlik gestisce grandi volumi di dati in modo veloce e senza un uso elevato di RAM, e lavorare nello stesso ecosistema della destinazione finale rende più lineare il passaggio dei dati a Qlik.

La soluzione

Cloud, ETL notturno e dati normalizzati: come funziona la piattaforma

Abbiamo costruito per il gruppo CAI una piattaforma di business intelligence su Qlik Cloud, alimentata ogni notte dai dati normalizzati di tutti i consorzi. Ogni realtà consulta i propri dati; la direzione generale li consulta insieme, con articoli, clienti e unità di misura resi confrontabili.

La piattaforma conserva la navigazione che CAI aveva apprezzato nelle dashboard del Nord-Est: filtri in tempo reale e analisi granulari fino al singolo documento.

Piattaforma in cloud.

Le analisi sono passate da QlikView on premise a Qlik Cloud, su server gestiti da Qlik, ridondati e con prestazioni calibrate sul carico. Gli utenti accedono senza VPN, anche da dispositivi mobili. Le licenze sono per utente: Professional, per chi crea dashboard in autonomia, e User, per chi consulta quelle già sviluppate.

Integrazione delle fonti.

Il processo legge i dati di AS400, Oracle, SQL Server e dei file CSV ed Excel depositati su FTP. Una macchina Windows on premise nella rete di CAI fa da orchestratore: accede direttamente al database di Mitico e, in VPN, ai sistemi degli altri consorzi.

Normalizzazione dei dati.

Una struttura di trasformazione fa corrispondere i codici articolo dei diversi consorzi e converte grammi, chili e sacchi in un'unica unità di misura. I clienti presenti in più consorzi sono unificati tramite la partita IVA in un unico cliente CAI. A questo si aggiungono i controlli sulla qualità dei singoli dati.

Aggiornamento notturno.

Ogni mattina alle ore 4 l'orchestratore avvia gli script Qlik che leggono, uniscono e normalizzano i dati di tutti i consorzi. I file risultanti vengono trasferiti in cloud in forma criptata.

Dati separati per consorzio, uniti nella vista di gruppo.

Anagrafiche dei clienti, degli articoli e movimenti di magazzino restano in file separati per consorzio. Ogni dashboard carica solo i blocchi di dati che le servono: una dashboard per Parma legge i dati di Parma, una dashboard di gruppo unisce i blocchi di tutti i consorzi. Questa scelta mantiene buone le prestazioni anche con grandi volumi.

Risultati

Dalle vendite alla contabilità: la BI di 8 wave diventa standard di gruppo

La business intelligence di Qlik si è estesa dall'analisi delle vendite alle altre business unit aziendali: ordini e analisi dei fornitori; costi, margini e performance; movimenti di magazzino, rotazione e ottimizzazione delle scorte; contabilità, con calcolo di EBITDA e cash flow; analisi dei clienti, con scadenziari, insoluti e RIBA non pagate.

CAI ha scelto lo strumento sviluppato per il Nord-Est come standard di gruppo e ha ampliato nel tempo il perimetro delle analisi affidate a 8 wave.

Il progetto prosegue a ogni nuova acquisizione: quando un consorzio entra nel gruppo armonizza i propri dati per renderli confrontabili con quelli già esistenti nell’ecosistema aziendale. La piattaforma è la base su cui CAI costruisce una lettura unica dei dati mentre aggrega i consorzi italiani in un'unica entità.

FAQ - Domande frequenti sulla business intelligence del gruppo CAI

Qlik Cloud è la piattaforma di business intelligence in cloud di Qlik: dashboard e dati risiedono su server gestiti dal fornitore e gli utenti accedono via web, senza installare software o VPN. A differenza di QlikView, Qlik Cloud non funziona on premise su server installati nella rete aziendale, ma analizza i dati con dashboard interattive, filtrandoli in tempo reale con una granularità che arriva fino al singolo documento. Le licenze sono per utente e di due tipi: Professional, per chi crea dashboard in autonomia, e User, per chi consulta quelle già sviluppate. Nel progetto per Consorzi Agrari d'Italia, 8 wave ha portato su Qlik Cloud le analisi che il Consorzio del Nord-Est usava da anni su QlikView, rendendole accessibili da qualsiasi sede e da dispositivi mobili.
La migrazione da QlikView a Qlik Cloud elimina i vincoli di un'installazione on premise: l'accesso non dipende più dalla rete aziendale o dalla VPN e le dashboard si aprono via web, anche da dispositivi mobili. Nel caso di Consorzi Agrari d'Italia la spinta è stata organizzativa: i consorzi del gruppo sono distribuiti in tutta Italia e non tutti sono dotati di una VPN collegata con la sede di Bologna. Con il passaggio al cloud, i server sono ridondati e forniscono prestazioni calibrate sul carico; inoltre, l'infrastruttura dei dati si adatta con flessibilità alle nuove società che entrano nel gruppo.
L'integrazione di ERP diversi parte dalla mappatura delle fonti: per ogni sistema si verifica l’accesso ai dati, con collegamento diretto al database, connessione tramite VPN o prelievo di file. Nel progetto per Consorzi Agrari d’Italia le fonti erano eterogenee: AS400 a Verona, Aliante su SQL Server a Parma e Mitico su Oracle per CAI. I consorzi che non davano accesso diretto al proprio database depositavano ogni mattina estrazioni in formato CSV o XLSX su un server FTP. 8 wave ha configurato una macchina Windows nella rete di CAI che fa da orchestratore: accede alle fonti e avvia il processo ETL che legge, unisce e normalizza i dati. Il risultato è un unico database su Qlik Cloud: ogni consorzio consulta i propri dati e la direzione generale li legge tutti insieme.
La normalizzazione dei dati rende confrontabili informazioni che nei vari sistemi aziendali hanno codici e formati diversi. In un gruppo nato da acquisizioni, lo stesso prodotto può avere un codice articolo diverso in ogni società e un'unità di misura diversa. Nel progetto, 8 wave ha costruito una struttura di trasformazione che fa corrispondere i codici articolo dei consorzi, converte le unità di misura in un'unica unità e unifica tramite la partita IVA i clienti presenti in più consorzi. Le regole di conversione sono state definite insieme al reparto business di CAI e registrate in tabelle di appoggio nei database.
ETL sta per extract, transform, load: è il processo che estrae i dati dalle fonti, li trasforma e li carica nella piattaforma di analisi. Nel progetto per Consorzi Agrari d'Italia ogni mattina alle ore 4 un orchestratore nella rete del cliente avvia gli script Qlik che leggono i dati di tutti gli ERP, li uniscono e li normalizzano; i file risultanti vengono trasferiti su Qlik Cloud in forma criptata. Sul mercato esistono software dedicati solo all'ETL, ma 8 wave ha scelto di usare Qlik anche in questa fase per due ragioni: la componente ETL di Qlik gestisce grandi volumi di dati in modo veloce e senza un uso elevato della RAM, e lavorare nello stesso ecosistema della destinazione finale rende più lineare il passaggio dei dati alla piattaforma.
In un gruppo che cresce per acquisizioni, la business intelligence deve prevedere fin dall'inizio l'ingresso di nuove società. Nel progetto per Consorzi Agrari d'Italia, 8 wave ha adottato un approccio modulare ai dati: le anagrafiche dei clienti e degli articoli e i movimenti di magazzino restano in file separati per consorzio, e ogni dashboard carica solo i blocchi di dati che le servono. Una dashboard di un singolo consorzio legge i suoi dati; una dashboard di gruppo unisce i blocchi di tutti i consorzi. Questa scelta mantiene buone le prestazioni anche con grandi volumi e rende ripetibile l'integrazione: ogni consorzio che entra nel gruppo porta un sistema da collegare e dati da confrontare con quelli esistenti.
Il metodo

La tua business intelligence di gruppo, su misura

Se i tuoi dati vivono in sistemi diversi, ma la direzione ha bisogno di leggerli in modo unitario, la business intelligence può partire da lì: dalle fonti che hai già, per far emergere le anomalie prima che diventino problemi.

Parla con il team Business Intelligence di 8 wave