Cours d'introduction à Oracle Data Integrator

INTRODUCTION

On fait de l’intégration de données, comment on va conceptualiser un flux de données qui va passer d’un ERP/fichier/BDD vers une autre BDD ? Comment faciliter l’intégration de données entre deux applications.

Plusieurs typologies de flux de données :

“Chaudes” : donnée qui va être envoyé en temps réels ou pseudo temps réel

on transporte ici uniquement la donnée souhaitée

Technologie Utilisée

API : on fait une requête à un certain moment car on veut l’info en temps réel, on la demande au moment où on a besoin

Stream : dès qu’une facture est générée je l’envoie etc. C’est plutôt sur des données sensibles et qui nécessite une vélocité

“Froides” : façon traditionnelle de gérer la donnée. Je vais envoyer la donnée massivement “voici aujourd’hui l’ensemble des nouvelles factures de la journée”

ETL

SQL (ELT)

Si on est le responsable de service, et qu’on est alternant chez AUCHAN, on veut un flux de données qui permet d’obtenir l’ensemble des ventes de la journée, tous les jours.

Les questions avant de commencer :

Quelle est la source?

Quelle est la cible/destination? Comment on veut la restituer?

Quel est le système cible qui va recevoir les données ?

Les règles de gestion ?

Sécurité (qui peut y accéder ?)

Aspect d’automatisation ? (Fréquence, envoi, …)

Et si ça plante, comment faire ?

PARTIE I : ELT (Extract Load and Transform)

On a les sources de données multiples, on va charger brut la donnée dans un espace de travail, puis on fait des jointures dans l’espace de travail pour pouvoir ensuite charger dans mon espace cible l’attendu. Cette philosophie est d’utiliser la puissance de la base de donnée (ODI est un ELT, on utilise la puissance d’oracle pour pouvoir faire la transformation).

PARTIE II : ETL (Extract Transform and Load)

On va plutôt avoir des outils qui ont un moteur propriétaire qui est propre à l’éditeur de solution, on va avoir une qualité de donnée avant de charger dans l’espace cible, elles sont plutôt dans des contextes où on a en source un référentiel avec une volumétrie énorme qui part vers un système agrégé.

L’ETL est plutôt pour sélectionner un nombre de lignes avec l’info qu’on veut restituer, et l’ELT est une vision plus globale. La philosophie de l’ETL est de faire de la qualité, de l’agrégation pour pouvoir prendre la bonne décision.

A LIRE pour comprendre l’avantage de l’ELT

Respect de plusieurs phases :

Développement, Test (cohérence), Test d’intégration du composant développé

...