Serie “Una giornata con uno sviluppatore che si occupa di integrazione dati”: Funzioni di base per la progettazione dei job [Parte 5]

In questa puntata di Una giornata con uno sviluppatore che si occupa di integrazione dati ci dedicheremo alle funzioni di base per la progettazione dei job all'interno di Talend Studio. Una delle prime cose su cui vogliamo concentrarci sono le variabili di contesto.

Le variabili di contesto sono molto utili. Possono essere usate a livello globale o locale. Le variabili di contesto globali possono aiutarti a rendere più dinamico il job, permettendoti di trasferirlo dagli ambienti di sviluppo, test o produzione.

Analizziamo alcune variabili di contesto nel processo di caricamento delle dimensioni.

Qui sulla sinistra ho definito alcune variabili di contesto globali.

screenshot talend studio

Apriamo la variabile di contesto per il suffisso del database e il nome del file. Questa variabile è utilizzata in tutti i processi di caricamento della linea aerea, sia nella tabella delle dimensioni che in quella dei fatti. Definirò il suffisso del database, i nomi dei file e il percorso.

E in questa finestra trovo diverse configurazioni.

screenshot talend studio

Posso avere una configurazione per gli ambienti dev, prod e qa (sviluppo, produzione e controllo qualità), quindi posso selezionare la variabile che intendo usare, a seconda di quale ambiente voglio caricare. Le variabili di contesto quindi fanno parte della stringa di connessione e del percorso dei file all'interno dei job.

Questo mi permette di trasferire i job senza modificare il codice. Sto selezionando un'altra configurazione per i parametri.

Se facciamo clic sul job e andiamo nella scheda Context (Contesto), possiamo vedere dove sono state importate queste variabili all'interno del job. Qui vediamo le variabili di contesto con il suffisso del database e il percorso dei file.

screenshot talend studio

Dopo avere selezionato o importato questi contesti, per scegliere la configurazione selezioniamo l'icona in alto a destra; si apre un menu a discesa in cui possiamo selezionare gli ambienti di sviluppo, controllo qualità o produzione. Qui viene usato l'ambiente di sviluppo.

È possibile vedere anche come vengono usate queste variabili di contesto. Ad esempio, questa stringa di connessione utilizza il suffisso db alla fine di airline; pertanto, a seconda della configurazione che sto usando, si chiamerà airline_dev o _prod.

Quindi durante l’esecuzione di questo processo viene compilata la configurazione o il database airline_dev, che è stato configurato usando le password dev importate da un progetto di contesto di riferimento. Mentre è in corso l'esecuzione, le tabelle dev airline dim verranno completate e caricate.

Per maggiori dettagli su questo processo, guarda il video qui sopra. Nella prossima parte spiegheremo come autodocumentare un job di integrazione dati.

| Ultimo aggiornamento: Agosto 7th, 2019