Prova di fattibilità del motore di valutazione dei rischi in tempo reale

Guida di riferimento dettagliata di Talend Big Data and Machine Learning

Leggi gli altri articoli della serie:

Configurazione di Sandbox

Manutenzione predittiva tramite l'IoTMotore di raccomandazioneOttimizzazione del data warehouse

Introduzione

In questo esempio una banca sta provando a mitigare la propria esposizione e il rischio proponendo offerte di credito solo ai clienti ritenuti "a basso rischio" e che molto probabilmente accetteranno l'offerta. Utilizzando le API Web e l'apprendimento automatico, questo job applicherà un modello di albero delle decisioni per stabilire, al momento del login, se visualizzare una determinata offerta di credito o nessuna offerta.

Schema della valutazione del rischio in tempo reale di Sandbox


In primo piano

Apprendimento automatico

Sfrutta tutta la potenza delle funzionalità di apprendimento automatico di Talend per creare un modello di albero delle decisioni.

streaming dei dati con spark

Spark Streaming / in tempo reale

Utilizza Spark per eseguire i job di streaming con Apache Kafka.

NoSQL / SQL

Usa diversi modelli di database: Cassandra, MySQL


Esecuzione

Per le istruzioni di esecuzione veloce e l'interfaccia interattiva Web, accedi al portale dei casi d'uso sulla valutazione dei rischi in tempo reale dalla pagina di caricamento di Sandbox.

Accesso alla valutazione dei rischi in tempo reale di Sandbox

Apri Talend Studio nell'ambiente Sandbox. Per questo esempio lavoreremo nella cartella RealTimeRiskAssessmentEngine inclusa nella vista Repository. Esamineremo i job inclusi nelle cartelle Standard, Big Data Batch e Big data Streaming di Job Designs (Progetti job). Quando sei pronto per iniziare, segui questi passaggi:

  1. Seleziona la cartella RealTimeRiskAssessmentEngine inclusa nei job Standard. Esegui il job Step_01_SetupMarketingCampaignsEnv. Questo job inizializza l'ambiente demo in base alla piattaforma di big data selezionata. Nello specifico, carica i dati in HDFS e in un database NoSQL in modo che possano essere recuperati velocemente. Ambiente di configurazione della valutazione dei rischi di Sandbox
  2. Seleziona la cartella RealTimeRiskAssessmentEngine inclusa nei job Big Data Batch. Esegui il job Step_02_Train_MarketingCampaignData.Questo job utilizza un set di dati precedente per preparare un modello di albero delle decisioni utilizzando il componente tDecisionTreeModel di Talend. Modello di preparazione della valutazione dei rischi di Sandbox
  3. Opzionale:seleziona la cartella RealTimeRiskAssessmentEngine inclusa nei job Big Data Batch. Esegui il job Step_02bis_Test_MarketingCampaignData.I risultati del job danno un'idea del rapporto tra previsioni corrette e falsi positivi, che nella terminologia dell'apprendimento automatico viene chiamato "matrice di confusione o errore" e rappresenta un riepilogo dei risultati della previsione relativi a un problema di classificazione.Questo job funge da test del modello preparato su un set di dati separato. Modello di test della valutazione dei rischi di Sandbox
  4. Seleziona la cartella RealTimeRiskAssessmentEngine inclusa nei job Big Data Streaming.Esegui il job Step_03_RealtimeConversionPrediction.Questo job fornirà una previsione in tempo reale sull'annuncio pubblicitario da visualizzare all'utente.Previsione della valutazione dei rischi di Sandbox
  5. Seleziona la cartella RealTimeRiskAssessmentEngine inclusa nei job Standard. Esegui i job Step_04_AdService e Step_05_LoginService.Questi job forniscono un'API Web al portale Web della valutazione dei rischi in tempo reale in modo da consentire il test dei risultati.

    Step_04_AdService

    Servizio annunci pubblicitari - Valutazione dei rischi di Sandbox

    Step_05_LoginService

    Servizio login - Valutazione dei rischi di Sandbox

  6. Mentre i servizi Web sono in esecuzione, apri o ricarica la pagina del portale della valutazione dei rischi in tempo reale. Compila il modulo nella pagina Web e osserva il risultato dell'annuncio pubblicitario visualizzato. Questo esempio offre un database di circa 1500 utenti. Effettua il login con un ID compreso tra 0 e 1547 e osserva il risultato. Per la gran parte degli utenti l'annuncio non viene visualizzato, ma per alcuni utenti selezionati comparirà l'indicazione che verrà visualizzato un annuncio di marketing mirato. Ad esempio, effettuando il login con l'ID 569 viene visualizzata l'indicazione di un annuncio di marketing mirato. Effettuando il login due volte con lo stesso ID utente, la decisione risultante verrà visualizzata immediatamente, poiché gli annunci mirati vengono memorizzati strada facendo.


Conclusione

Questo esempio illustra come utilizzare l'apprendimento automatico e Spark per ottenere informazioni dettagliate immediate ed elaborare delle decisioni. L'utilizzo di un modello di albero delle decisioni ci ha permesso di decidere di indirizzare le campagne di marketing a determinati clienti.

| Ultimo aggiornamento: giugno 26th, 2019