Détecter la dérive d'un modèle en production
Un modèle de recommandation de trajets se dégrade sans bruit quand les données réelles s'éloignent de celles de l'entraînement. J'ai d'abord exploré les données de production avec PySpark, puis conçu un outil qui compare les deux distributions avec Evidently (distance de Wasserstein, test de Kolmogorov-Smirnov). Il tourne automatiquement via Airflow et envoie une alerte Datadog en cas d'anomalie.
J'ai aussi rédigé toute la documentation, présenté le projet à l'équipe et assuré la maintenance de l'environnement (images Docker, nouvelles versions de librairies).
- Données de prodExtraites et préparées avec PySpark
- ComparaisonEntraînement contre production avec Evidently (Wasserstein, KS)
- PlanificationExécution automatique orchestrée par Airflow
- AlerteEnvoyée dans Datadog si une dérive est détectée