1. Home
  2. Data Gathering: acquisizione dati (ITA)

Data Gathering: acquisizione dati (ITA)

×

Warning message

You can't delete this newsletter because it has not been sent to all its subscribers.

Snap4City presenta alcuni tool per l’acquisizione di dati da dati aperti e/o privati; dati in tempo reale, statici e IOT; da qualsiasi tipo di fonte, protocollo e formato; e anche dai dispositivi degli utenti della città, dai social media, da mappe di vario tipo, che fanno riferimento a:

  • ETL Cluster Penthao Kettle, che permette di caricare dati da formati diversi, ed effettuare trasformazioni anche complesse degli stessi al fine di raggiungere lo storage con data regolarizzati e conformi. Questa e’ la soluzione tramite la quale possono venire trattati dati come GFTS del trasporto pubblico che presentano dati statici di pianificazione complessi, e anche data real time, come DATEX per la mobilità, e anche dati del triage degli ospedali. I processi periodici vengono gestiti tramite DISCES scheduler.
     

    Figura: ETL processes on ETL cluster

 

  • IOT secure cluster, che puo’ essere composto da IOT Brokers diversi (IOT Orion Broker, Mosquitto, Rabbit MQ, LoraWan, SigFOX) in modo da  poter ingerire dati con formati e protocolli non acquisibili con ETL, come elencati in precedenza, e di poterne fare delle elaborazioni complesse data driven in IOT Application, che sono NodeJS in Node-RED in base al supporto Snap4City.
  • DataGate che consiste in un modulo standard per open data CKAN (https://datagate.snap4city.org/ ), che permette di caricare nuovi data set in modo semplice effettuando per voi la regolarizzazione dei dati in automatico, ed il caricamento degli stessi in Knowledge Base, rendendoli immediatamente fruibili per le API, le applicazioni, le dashboard etc. Lo stesso modulo DataGate permette di caricare e pubblicare i dati in CKAN Open Data in modo automatizzato tramite un processo scritto come IOT Application. Pertanto automatizza i processi di pubblicazione dei dati Open, verso portali nazionali come DAF e verso portali Open Data delle Commissione Europea. Questo è reso possibile tramite il MicroService DataGate della suite Snap4City accessibile in NodeRED. Potranno pertanto essere publicati in modo automatico anche vostri dati ArcGIS.
     
     
    Figura:  DataGate/CKAN

 

La soluzione proposta permette l’aggregazione dati dal punto di vista semantico, e sfrutta le informazioni geo spaziali e temporali. E’ in grado di

  • Aggregare, riconciliare in modo automatico dei dati raccolti in una base di conoscenza e relativa indicizzazione per preparare i dati verso  GIS Storage in Geo-JSON e/o Spatio Temporal Big Data Store, anche tramite protocolli WFS, WMS.
  • raccogliere e aggregare dati provenienti da qualsiasi protocollo, in qualsiasi formato, secondo qualsiasi paradigma: push, pull, dati, dati statici e aperti, dati in tempo reale, flussi, batch, WS, Rest CALL, IOT, mobile, ecc.
  • raccogliere dati provenienti da diversi big data e fonti di dati classiche (SQL, NoSQL, RDF, P2P, API, SOLR, Hbase, HDFS, Hadoop, Mongo, ecc.) anche in modo aggregato;
  • lavorare con una grande quantità di dati che offrono alte prestazioni, come brevi tempi di risposta;
  • lavorare con sorgenti dati complesse come quelle che forniscono dati via protocolli e formati complessi come: GTFS completo di parti statiche e dinamiche, DATEX II, ESRI per guida connessa, etc.
  • Lavorare con protocolli diversi inclusi quelli IOT come: NGSI, OneM2M, ETSI M2M, COAP, MQTT, AMQP, ModBUS, LoraWAN, SigFOX, WebSocket, HTTPS, TLS, SFTP, etc.
    • Si noti che DISIT Lab con Snap4City e’ Partner

Questa soluzione permette di acquisire dati in qualsiasi formato, qualsiasi sorgente, con qualsiasi protocollo, anche con protocolli end-to-end encrypted come HTTPS, TLS, WSs

  • Share