Quelle est la différence entre ETL et Data Warehouse
Share
le différence principale entre ETL et Data Warehouse est que la ETL est le processus d'extraction, de transformation et de chargement des données pour le stocker dans un entrepôt de données, tandis que l'entrepôt de données est un emplacement central utilisé pour stocker des données consolidées à partir de plusieurs sources de données..
Un entrepôt de données est un système qui aide à analyser les données, à les rapporter et à les visualiser pour prendre des décisions. Il est orienté sur le sujet, intégré, variable dans le temps et non volatile. Cependant, plusieurs étapes doivent être suivies avant de stocker les données dans un entrepôt de données. Ce processus s'appelle ETL. Cela implique l'extraction des données, leur transformation et enfin leur chargement dans un entrepôt de données. Par conséquent, la différence entre ETL et Data Warehouse découle de ces concepts de base.
Zones clés couvertes
1. Qu'est-ce que l'ETL?
- Définition, fonctionnalité
2. Qu'est-ce qu'un entrepôt de données?
- Définition, fonctionnalité
3. Quelle est la différence entre ETL et Data Warehouse
- Comparaison des différences clés
Mots clés
Entrepôt de données, ETL
Qu'est-ce que l'ETL?
ETL signifie Extraire, transformer et charger. Dans ce processus, les données sont d'abord extraites de plusieurs sources de données. Ensuite, il est transformé et chargé dans l'entrepôt de données. ETL dénote tout ce processus. Les services IBM Data Stage, Informatica et Microsoft Integration sont des outils ETL de niveau entreprise. Regardons maintenant chaque étape d'ETL plus en détail.
Extraction
L'extraction est la première étape. Cela implique d'extraire des données de diverses sources de données telles que des bases de données. Lors de l'extraction, il est important de noter que cela ne doit pas affecter les performances ni le temps de réponse de la source de données d'origine. Par conséquent, il existe diverses stratégies d'extraction de données.
Extraction Complète - Cela implique d'extraire toutes les données de toutes les sources de données. L’utilisation principale de cette stratégie est de charger l’entrepôt de données à l’étape initiale ou lorsqu’il est difficile d’identifier les données modifiées..
Extraction Partielle (avec notification de mise à jour) - Cette stratégie est plus facile et plus rapide que l'extraction complète. Cela implique d'extraire uniquement les données modifiées.
Extraction partielle (sans notification de mise à jour) - Il consiste à extraire les données en fonction de certaines caractéristiques clés. Par exemple, s'il existe déjà des données extraites jusqu'à hier, il est possible d'extraire les données actuelles et d'identifier leurs modifications..
Transformation
Les données extraites sont des données brutes, elles ne sont donc pas très utiles. Par conséquent, la transformation des données a lieu à l'étape suivante. Cela implique le nettoyage, la cartographie et la conversion des données. Les tâches de transformation de base sont les suivantes:
Sélection - Sélection des données requises
Cartographie - Recherche des données à partir de divers fichiers de recherche et correspondance des données à transformer
Nettoyage des données -Nettoyer les données pour les normaliser
Récapitulation - Agrégation et consolidation des données
Les principales tâches de transformation de données sont les suivantes.
Standardisation - Puisque les données proviennent de diverses sources, elles nécessitent une normalisation.
Conversion de jeu de caractères et traitement d'encodage - Conversion des données en un codage défini
Calcul des valeurs - Calculer et dériver de nouvelles colonnes à partir des colonnes existantes.
Déversement et fusion de champs - Division d'un champ en plusieurs champs ou combinaison de plusieurs champs en un seul champ en fonction des besoins.
Conversion d'unités de mesure - Impliquant des conversions de temps de données, etc..
Récapitulation - Agrégation et consolidation des données.
Supprimer la duplication - Suppression des données en double provenant de plusieurs sources.
Chargement
Il s’agit de récupérer les données préparées et de les stocker dans l’entrepôt de données. Il existe différentes techniques de chargement.
Charge initiale - Chargement de l'entrepôt de données pour la première fois.
Charge incrémentielle - Application périodique des modifications en cours, si nécessaire.
Refresh complet - Effacer complètement le contenu d'une ou de plusieurs tables et recharger avec de nouvelles données.
Qu'est-ce qu'un entrepôt de données?
L'entrepôt de données est un système qui prend en charge le processus de business intelligence. Il convertit les données en informations significatives pour l'analyse de l'entreprise. C'est donc une ressource précieuse pour la gestion d'une organisation dans la prise de décision.
De plus, une organisation possède diverses bases de données telles que MySQL et MSSQL. Toutes ces données sont extraites, transformées et chargées dans un entrepôt de données. Ensuite, les données sont intégrées et traitées. Enfin, les analystes de données, les scientifiques de données et les gestionnaires utilisent ces données pour mieux comprendre les affaires..
En outre, les données d'un entrepôt de données sont divisées en magasins de données. Chacun d'entre eux contient des données pour des utilisateurs spécifiques. Ils améliorent la sécurité et l'intégrité des données. Habituellement, un entrepôt de données est situé dans un emplacement distinct des bases de données opérationnelles normales..
Différence entre ETL et Data Warehouse
Définition
ETL est le processus d'extraction, de transformation et de chargement de données dans un environnement d'entreposage de données. En revanche, un entrepôt de données est un référentiel fédéré de toutes les données collectées par les différents systèmes opérationnels d'une entreprise. Il s’agit donc de la différence fondamentale entre ETL et entrepôt de données..
Usage
ETL est un processus utilisé pour modifier les données avant de les stocker dans l'entrepôt de données. Un entrepôt de données est utilisé pour prendre des décisions commerciales. De plus, il améliore la qualité et la cohérence des données et améliore la veille stratégique. Par conséquent, il existe une différence entre l'ETL et l'entrepôt de données en fonction de l'utilisation individuelle..
Conclusion
En bref, la différence fondamentale entre ETL et un entrepôt de données réside dans le fait que l’ETL consiste à extraire, transformer et charger les données pour les stocker dans un entrepôt de données, tandis qu’un entrepôt de données est un emplacement central utilisé pour stocker les données consolidées de plusieurs les sources de données.
Référence:
1. “3 - Didacticiel ETL | Extract Transform and Load ”, Vikram Takkar, 8 septembre 2015, disponible ici.
2. «Qu'est-ce que Data Warehouse? - Définition de WhatIs.com. ”SearchDataManagement, disponible ici.
Courtoisie d'image:
1. “KrisangelChap2-ETL” de Kkristangel - Travail personnel (CC BY-SA 4.0) via Commons Wikimedia
2. “Aperçu de l'entrepôt de données” Par Hhultgren - Travail personnel (domaine public) via Commons Wikimedia
