Uno dei requisiti del PoC era l'utilizzo di Hortonworks Hadoop. All'interno di queste specifiche, eravamo liberi di scegliere i framework. Tutti i framework utilizzati sono inclusi nell'installazione standard di Hortonworks Hadoop.
Kafka
Kafka è stato utilizzato per caricare i dati dai sensori nell'ambiente Hadoop. Kafka è una piattaforma di streaming distribuito ideale per le applicazioni di streaming in tempo reale. Kafka è anche compatto e tollerante agli errori.
Flume
Affinché i dati provenienti da Kafka siano disponibili all'interno del file system di Hadoop, devono essere caricati dal cosiddetto topic Kafka all'interno di HDFS. A questo scopo si utilizza Flume.
Hive
Poiché l'accesso dai framework di visualizzazione è più semplice se le query possono essere eseguite tramite query SQL, viene utilizzato Hive. Hive permette di interrogare i dati presenti in HDFS utilizzando la nota sintassi SQL.
Visualisierungsframework
È possibile utilizzare il framework di visualizzazione con cui l'utente si sente più a suo agio, ma bisogna assicurarsi che sia compatibile con Hive. Per il PoC è stato utilizzato Zeppelin. Altre opzioni sono SAP Lumira Discovery, Tableau, ecc.