Data Quality As A service é un'idea che ho avuto qualche mese fa ( vedi #A6 ed #A7 ): é possibile creare un servizio che controlli qualsiasi sorgente di dati, come voglio, in modo facile ed intuitivo, dal mio browser ?
La risposta é si!
Di seguito una breve immagine del prototipo, visto che l'immagine vale più di mille parole:
 |
| Click per ingrandire |
Riporto alcune note sull'immagine, per permettere una più facile comprensione:
- l'utente accede al sito e decide di caricare un file da controllare ( es. un file .csv preso dal portale degli open data del trentino)
- il file viene caricato sul server, la struttura analizzata e riportata all'utente, che può quindi decidere come controllarla
- il caso in oggetto controlla se il campo "Categoria" contiene "a"
- il file csv ritornato contiene i dati che soddisfano quella condizione
Perché é un prototipo ?
DQAAS é un prototipo attualmente perché manca di tutte quelle funzionalità "accessorie", ma fondamentali, quali ad esempio l'autenticazione.Vi sono alcune funzionalità che dipendono dalla diversa gestione che si può fare di un servizio come questo, che spiego più avanti.
A che punto siamo
Il sevizio, sviluppato con una componente di frontend ( sviluppata in Angular 9 ) e backend ( in java 11 ) é funzionante e testato con tutti gli operatori che ho indicato:
- uguale / non uguale
- contiene
- maggiore
- minore
- maggiore uguale
- minore uguale
- inizia con / non inizia con
- finisce con / non finisce con
- ha lunghezza / non ha lunghezza
Il supporto a questi operatori, unito alla indipendenza dalla struttura in input, permette di controllare i dati in modo abbastanza completo, evidenziando quelli di interesse ( sia in termini di negativi, ovvero di errore, o positivi).
Piani futuri
DQAAS é completato come prototipo ed ha assolto il suo compito. Ho imparato molto su come organizzare un progetto come questo, trovare una soluzione generic per un qualsiasi formato in input, analizzarlo e ritornare un risultato. Ho lavorato anche sull'aspetto di presentazione, che mi ha bloccato per un pò di tempo ( sia in termini di codice, sia di organizzazione dei contenuti e presentazione, che come potete immaginare può spaziare verso numerose soluzioni ).
Ho deciso alla fine di scegliere per una soluzione il più possibile semplice ed intuitiva, senza farmi prendere dal "demone" del perfezionismo e dell'aggiungere funzionalià senza scopo, se non quello di farmi perdere tempo. Per questo sono molto soddisfatto di questa esperienza!
Ho deciso però di chiudere qui questo prototipo, almeno per ora e dedicarmi ad altro, ma ne parlerò il mese prossimo!
Nessun commento:
Posta un commento