Real-Time Big Data Platform

Licenza

• Licenza di abbonamento con garanzia e indennizzo

Strumenti di progettazione e produttività

• Generazione di codice nativo per Spark Streaming
• Mappatura visuale per dati XML e EDI complessi su Spark
• Tool di progettazione Spark e MapReduce
• Generazione di codice nativo in batch per MapReduce e Spark
• Job Scheduler di Hadoop con YARN
• Sicurezza Kerberos per Hadoop
• Inserimento, caricamento e scaricamento di dati in un data lake
• Messaggistica aziendale (JMS, ActiveMQ, AMQP)
• Tool di sviluppo basati su Eclipse e Job Designer
• Integrazione con rilascio continuo e collaborazione in team con repository condiviso
• Controllo, comparazione dei processi, analisi di impatto, verifica, debug e ottimizzazione
• Metadata Bridge per l’importazione/esportazione e la gestione centralizzata dei metadati
• Distant Run e parallelizzazione
• Schema dinamico, joblet riutilizzabili e progetti di riferimento
• Gestione del repository
• Supporto ETL ed ELT
• Procedure guidate e visualizzatore di dati interattivo
• Controllo delle versioni
• Change data capture (CDC)
• Sistema Drools di gestione delle regole di business
• Documentazione automatica

Qualità dei dati e governance

• Risoluzione automatica degli errori di qualità dei dati e imposizione di regole
• Mascheramento dei dati
• Portale per la qualità dei dati con monitoraggio, report e dashboard
• Ricerca semantica con rilevamento automatico di pattern
• Survivorship completa
• Campionamento dei dati
• Arricchimento, armonizzazione, fuzzy matching e deduplicazione

Connettori

• Cloud: Amazon Web Services (AWS), Microsoft Azure, Google Cloud Platform e molti altri
• Distribuzioni Big Data supportate: Amazon EMR, Azure HDInsight, Cloudera, Google Dataproc, Hortonworks, MapR
• Spark MLlib (classificazione, clustering, raccomandazione, regressione)
• NoSQL: Cassandra, Couchbase, DynamoDB, MongoDB, Neo4j e molti altri
• Componenti di messaggistica ad alta velocità (Kafka, Kinesis, Flume)
• RDBMS: Oracle, Teradata, Microsoft SQL Server e molti altri
• SaaS: Marketo, Salesforce, NetSuite e molti altri
• Pacchetti di applicazioni: SAP, Microsoft Dynamics, Sugar CRM e molti altri
• Tecnologie: Dropbox, Box, SMTP, FTP/SFTP, LDAP e molte altre
• Servizi esterni opzionali di convalida degli indirizzi

Componenti

• Componenti Hadoop: HDFS, Hbase, Hive, Pig, Sqoop
• Gestione file senza script: apertura, spostamento, compressione e decompressione
• Controllo e orchestrazione di flussi e integrazioni di dati con processi master
• Mapper, agréger, trier, enrichir et fusionner les données”,Composants
• Supporto standard: REST, SOAP, OpenID Connect, OAuth, SAML, STS, WSDL, SWAGGER e molti altri
• Trasporti/protocolli supportati: HTTP, JMS, MQTT, AMQP, UDP, Apache Kafka, WebSphere MQ e molti altri
• Modelli di integrazione aziendale per mediazione dei servizi, instradamento e messaggistica”,Componenti

Preparazione e stewardship dei dati

• Importazione, esportazione e combinazione di dati da qualsiasi database e file Excel o CSV
• Importazione, esportazione e combinazione di file CSV, Parquet e AVRO da/verso Hadoop
• Esportazione in Tableau
• Accesso self-service on demand a set di dati approvati
• Condivisione di dati preparati e set di dati
• Operazionalizzazione dei dati preparati in qualsiasi flusso di integrazione big data e cloud
• Preparazioni di dati su Apache Beam
• Rilevamento automatico, profilazione, suggerimenti intelligenti e visualizzazione dei dati
• Rilevamento e profilazione automatici di tipi semantici personalizzati
• Campionamento intelligente e selettivo
• Tracciamento e mascheramento dei dati con sicurezza basata sui ruoli
• Funzioni di pulizia e arricchimento
• Applicazione Data Stewardship per la gestione e certificazione dei dati

Gestione e monitoraggio

• Alta disponibilità, bilanciamento del carico, failover per i processi
• Gestione implementazione e collaborazione in team
• Manage users, groups, roles, projects, and licenses
• Controllo del ciclo di vita su Amazon EC2
• Piano di esecuzione, scheduler basato su tempi/eventi
• Punti di controllo, recupero da errori
• Gestione del contesto (sviluppo, QC, prod.)
• Activity monitoring console
• Server di log con dashboard

Qualità dei Big Data

• Apprendimento automatico per la comparazione e deduplicazione dei dati
• Supporto per Cloudera Navigator e Apache Atlas
• Profiling di file HDFS

Gestione ESB

• Monitoraggio JMX, monitoraggio delle attività dei servizi
• Monitoraggio del sistema
• Visibilità nelle statistiche in diretta sull’attività del flusso di messaggi
• Repository degli artefatti integrato
• Servizio di log degli eventi centralizzato, servizio di provisioning
• Plug-in HypericHQ
• Job conductor
• Gestione e autorizzazione delle identità
• Alta disponibilità dei servizi Web

Agile integrazione delle applicazioni

• Sicurezza dei servizi Web basata su WS-Policy
• Consegna e instradamento di messaggi ed eventi basata su modelli di integrazione aziendale (EIP)
• Service locator e registro dei servizi
• Creazione, mediazione e simulazione di servizi
• Strumenti di script e a riga di comando
• Specifiche di gestione chiavi XML (XKMS)

Pacchetto ESB e implementazione

• Flessibilità dei contenitori per distribuzioni ESB
• Pacchetto OSGI implementato in Talend Runtime
• Pacchetti Spring Boot utilizzati come microservizio

Profilazione avanzata dei dati

• Rilevamento di modelli di frodi secondo la legge di Benford
• Analisi di set di colonne
• Analisi di corrispondenza avanzate
• Analisi di correlazione di colonne temporali