I set di dati RDD (Resilient Distributed Datasets) di Apache Spark sono raccolte di dati di varia natura, dalle dimensioni talmente grandi da non poter rientrare in un unico nodo e che devono pertanto essere ripartiti tra vari nodi. Apache Spark partiziona automaticamente i dati RDD e distribuisce le partizioni tra diversi nodi. La valutazione di questi dati è lenta (l'esecuzione non viene avviata fino a quando...

Secondo Jacob Morgan, "qualunque cosa possa essere connessa, finirà con l'essere connessa". Un tempo, parole come "cloud" e "big data" erano considerate gergo informatico, ma ormai le straordinarie trasformazioni che queste tecnologie chiave hanno portato alle attività di qualsiasi settore in tutto il mondo sono sotto gli occhi di tutti...

Nell'ultimo post del blog abbiamo spiegato come sviluppare dei job di elaborazione dati con Apache Beam. Questa volta ci occuperemo di uno degli aspetti più difficili del moderno universo dei big data, ovvero l'elaborazione dei dati in streaming. La differenza principale tra...

Questo post è il primo di una serie dedicata ad Apache Beam. Conoscete Apache Beam? Se non lo conoscete, tranquilli: nell'universo dell'elaborazione dati, Apache Beam, ovvero uno degli ultimi progetti sviluppati da Apache Software Foundation e rilasciato per la prima volta nel giugno 2016, è uno strumento ancora relativamente nuovo. In effetti, solo di recente ho iniziato a lavorare assiduament...

Per prima cosa desidero ringraziare tutti i lettori dei miei due blog precedenti dedicati a Talend e Apache Spark. Se non conoscete questa serie di blog e non avete letto i miei post precedenti, potete trovare questi articoli qui "Talend e Apache Spark: manuale tecnico di base" e qui "Configurazioni Talend e spark-submit: in cosa di...

Nel mio precedente blog, "Talend e Apache Spark: manuale tecnico di base", vi ho illustrato le analogie tra i job Talend Spark e spark-submit. In questo nuovo blog, continuerò ad analizzare le configurazioni Talend Spark con Apache spark-submit. Per prima cosa, vedremo di fare un parallelo tra le opzioni della scheda Apache Spark Configuration (Configurazione Apache Spark) di un job Talend Spark e gli argomenti che è possi...

Negli anni trascorsi in Talend come tecnico dell'assistenza, prima di diventare customer success architect, i clienti spesso mi chiedevano informazioni sulle capacità di Talend con Apache Spark. Quando parliamo di Spark, la prima cosa che ci viene in mente è il comando spark-submit che utilizziamo per inviare i job Spark. Quindi, la domanda che sorge più spontanea è: qual è la differenza tra un job Talend Spark e un regolare comando spark-submit? In questo blog, analizzeremo le diverse m...

Quando si tratta di scegliere un'architettura per big data in tempo reale, oggi le opzioni sono più di una. Il menu offre molto di più della sola opzione Lambda e in questa serie di blog prenderò in esame un paio di queste possibilità, confrontandole sulla base di casi d'uso rilevanti. Come dobbiamo dunque procedere quando ci troviamo a scegliere un'architettura per i nostri progetti in tempo reale? Vediamo subito. Requisiti di elaborazione dei dati in tempo reale Prim...

Che cos'è un modello di dati? Chi è uno sviluppatore Talend come me, ha quotidianamente a che fare con modelli di dati e crede di sapere di cosa si tratta: Una definizione strutturale dei dati di un sistema aziendale Una rappr...

Ho iniziato da poco a lavorare in Talend come Customer Success Architect. Il mio ruolo consiste nel fornire ai clienti linee guida e best practice che li aiutino a definire e amministrare le loro strategie di gestione dei dati con Talend. Prima di approdare a Talend, ho lavorato su diverse implementazioni di data warehouse in cui Informatica PowerCenter era lo strumento ETL preferenziale. Qualsiasi transizione da una tecnologia a un'altra può essere problematica. Tuttavia, anziché tentare...