Real-time Big Data Platform

API Development

• Progettazione API basata su contratto
• Creazione automatica di simulazioni API
• Automazione test API
• Documentazione API in hosting

Licenza

• 2 free Data Preparation and 2 free Data Stewardship licenses with any Talend subscription
• Disponibile come servizio cloud e software scaricabile

Strumenti di progettazione e produttività

• Generazione di codice batch MapReduce e Spark nativo
• Generazione di codice Spark Streaming nativo
• Mappatura visuale per dati JSON, XML e EDI complessi su Spark
• Tool di progettazione Spark e MapReduce
• Supporto della distribuzione dinamica
• Scheduler lavori Hadoop con YARN
• Sicurezza Kerberos per Hadoop
• Tool di sviluppo basati su Eclipse e Job Designer
• Collaborazione in team con repository condiviso
• Integrazione continua/Rilascio continuo
• Verifica, confronto lavori, analisi dell’impatto, test, debugging e messa a punto
• Metadata Bridge per l’importazione/esportazione e la gestione centralizzata dei metadati
• Distant Run e parallelizzazione
• Schema dinamico, joblet riutilizzabili e progetti di riferimento
• Supporto ETL ed ELT
• Procedure guidate e visualizzatore di dati interattivo
• Controllo delle versioni
• Change data capture (CDC)
• Documentazione automatica

Qualità dei dati e governance

• Analisi e profilazione dei dati con diagrammi grafici e drill-down
• Risoluzione automatica di errori di qualità dei dati e applicazione di regole
• Pulizia e mascheramento dei dati
• Portale per la qualità dei dati con monitoraggio, report e dashboard
• Survivorship completa
• Campionamento dei dati
• Arricchimento, armonizzazione, fuzzy matching e deduplicazione

Connettori

• Cloud: Amazon Web Services (AWS), Microsoft Azure, Google Cloud Platform e molti altri

Componenti

• Componenti Hadoop: HDFS, Hbase, Hive, Pig, Sqoop
• Gestione file: apertura, spostamento, compressione, decompressione senza l’esecuzione di script
• Controllo e orchestrazione di flussi e integrazioni di dati con lavori master
• Mappatura, aggregazione, ordinamento, arricchimento e unione di dati
• Supporto standard: REST, SOAP, OpenID Connect, OAuth, SAML, WSDL, SWAGGER(tm) e molti altri
• Trasporti/protocolli supportati: HTTP, JMS, MQTT, AMQP, UDP, Apache Kafka, WebSphere MQ e molti altri
• Enterprise Integration Patterns per mediazione dei servizi, indirizzamento e messaggistica

Preparazione e stewardship dei dati

• 2 licenze gratuite con ogni abbonamento
• Importazione, esportazione e combinazione di dati da qualsiasi database o file Excel o CSV
• Importazione, esportazione e combinazione di file CSV, Parquet e AVRO**
• Esportazione in Tableau
• Accesso self-service on demand a set di dati sanzionati
• Condivisione di dati preparati e set di dati
• Operazionalizzazione dei dati preparati in qualsiasi flusso di integrazione dati o big data
• Operazionalizzazione dei dati preparati in qualsiasi flusso di integrazione cloud
• Esecuzione di dati preparati su Apache Beam*
• Rilevamento automatico, standardizzazione, profilazione automatica, suggerimenti intelligenti e visualizzazione dei dati
• Personalizzazione del tipo di semantica per auto-profilazione e standardizzazione
• Campionamento dei dati intelligente e selettivo ed esecuzioni complete
• Tracciamento e mascheramento dei dati con sicurezza basata sui ruoli
• Funzioni di pulizia e arricchimento
• Applicazione Data Stewardship per la gestione e certificazione dei dati
• Definizione di modelli e semantica dei dati e conseguente profilazione dei dati. Definizione e applicazione di regole
• Esecuzione di unioni e corrispondenze di dati, risoluzione di errori relativi ai dati e mediazione sui dati (classificazione e certificazione)
• Orchestrazione e collaborazione in relazione ad attività legate alle campagne
• Definizione di ruoli utente, flussi di lavoro e priorità, assegnazione e delega di compiti, inserimento di tag e commenti
• Integrazione di funzionalità di governance e stewardship nei flussi di integrazione dei dati e gestione dei rifiuti
• Integrazione di procedure di human certification e risoluzione errori nei processi MDM
• Possibilità di prendere decisioni in merito alla corrispondenza dei dati che non possono essere elaborate automaticamente
• Deduplicazione di dati su vasta scala con tecnologia di apprendimento automatico
• Azioni di risoluzione di errori di verifica e monitoraggio dei dati Monitoraggio dello stato di avanzamento delle campagne Annullamento/ripristino di azioni in base alle esigenze aziendali

Gestione e monitoraggio

• Alta disponibilità, bilanciamento del carico, failover per i lavori
• Gestione implementazione e collaborazione in team
• Gestione di utenti, gruppi, ruoli, progetti e licenze
• Piano di esecuzione, scheduler basato su tempi ed eventi
• Punti di controllo, recupero da errori
• Gestione del contesto (sviluppo, QC, prod.)
• Monitoraggio dell’attività
• Indirizzi IP statici*
• Esportazione dei log in S3 per i processi*
• Ambienti (2 per i prodotti base, illimitati per le piattaforme*)

Qualità dei Big Data

• Pulizia, profilazione, mascheramento, parsing e comparazione dei dati in Spark e Hadoop
• Apprendimento automatico per la comparazione e deduplicazione dei dati
• Profilazione di file HDFS

Gestione ESB (versione software scaricabile)

• Gestione e autorizzazione delle identità

Agile integrazione delle applicazioni (versione software scaricabile)

• Creazione mediante trascinamento della selezione di percorso, dati e servizi Web/REST
• Consegna e instradamento di messaggi ed eventi basata su modelli di integrazione aziendale (EIP)

Profilazione avanzata dei dati

• Rilevamento di schemi di frode tramite Benford Law
• Statistiche avanzate con soglie degli indicatori
• Analisi di set di colonne
• Analisi avanzata delle corrispondenze
• Analisi di correlazione di colonne temporali