Application de Data Governance & Data Quality Automation
Contexte
Ce projet a été conçu dans le cadre de mon alternance au Crédit Agricole Personal Finance & Mobility (CAPFM), au sein du Data Management Office (DMO).
Le DMO a pour mission de piloter la gouvernance, la qualité et la valorisation des données, tout en garantissant leur conformité réglementaire et leur fiabilité opérationnelle.
L’application développée vise à automatiser la documentation, l’historisation et la visualisation des règles de qualité des données au sein d’un environnement cloud intégré.
Objectif du projet
Développer une solution end-to-end permettant de :
- Centraliser et normaliser les règles de qualité des données ;
- Assurer leur traçabilité et historisation dans Snowflake ;
- Générer automatiquement les exports vers Collibra ;
- Offrir un suivi visuel en temps réel via des tableaux de bord Power BI.
Architecture générale
L’application repose sur une architecture modulaire et interconnectée composée de cinq couches principales :
| Couche | Description |
|---|---|
| Interface Streamlit | Application web intuitive pour la saisie, la consultation et la validation des règles de qualité. |
| Back-end Python / SQL | Gestion des traitements, transformations et contrôles de cohérence des données. |
| Snowflake Data Warehouse | Stockage centralisé et historisation des règles, logs et résultats d’exécution. |
| Power BI Dashboard | Suivi dynamique des indicateurs de fiabilité, conformité et performance. |
| Interopérabilité Collibra | Génération automatisée des exports “Collibra Ready” pour intégration au data catalog. |
Image 1 – Schéma flux globale
Stack technique
| Domaine | Outils / Technologies |
|---|---|
| Langages | Python, SQL |
| Cloud / Stockage | Snowflake |
| ETL & Automatisation | Python (pandas, openpyxl, streamlit) |
| Visualisation | Power BI |
| Interopérabilité | Collibra API (préparée, en phase d’intégration) |
| Méthodologie | Agile – sprints hebdomadaires DMO |
Modules fonctionnels
1. Documentation des règles de qualité
- Import automatique de modèles Excel et validation des formats ;
- Normalisation et alignement selon les standards DMO ;
- Association des éléments métier ↔ technique ;
- Export des fichiers au format Collibra Ready.
2. Historisation et traçabilité
- Création automatique de versions horodatées à chaque exécution ;
- Historisation complète dans Snowflake avec enregistrement des logs ;
- Comparaison temporelle pour détecter les écarts et évolutions.
Image 2 – Schéma de tables Snowflake
3. Export “Collibra Ready”
- Génération automatique de fichiers prêts à l’import ;
- Champs :
Rule_ID,Business_Term,Metric,Domain,Last_Update; - Contrôles de cohérence et vérification des doublons.
4. Dashboard Power BI – Data Quality Monitoring
- Visualisation interactive des KPI : complétude, cohérence, unicité, conformité ;
- Segmentation par domaine métier et niveau de criticité ;
- Rapports PDF générés pour les comités Data Quality.
Image 3 – Dashboard Power BI
Résultats obtenus
Livrables produits
Contraintes et pistes d’amélioration
Image 4 – Schéma flux ETL
Impacts et valeur ajoutée
- Conformité renforcée : traçabilité complète des règles (RGPD, BCBS 239).
- Gain de productivité : automatisation des tâches manuelles.
- Amélioration de la qualité des données : réduction significative des anomalies.
- Collaboration accrue : meilleure communication entre métiers et IT.
- Acculturation Data : appropriation des outils par les utilisateurs finaux.
Enseignements
- L’importance d’une architecture modulaire et évolutive pour la scalabilité.
- La co-construction métier / IT favorise l’adoption.
- Une gouvernance robuste des métadonnées renforce la performance globale.
Contact
Tariq TAMRABET
Data Governance Manager & Data Engineer – Crédit Agricole PFM
📧 tariq.tamrabet@hotmail.com
🔗 LinkedIn
Prochain projet → Digitalife – Automatisation des référentiels clients
« Construire des données fiables, c’est construire la confiance dans les décisions. »