Data & IA

Migration data : quand arrêter l’ancien pipeline ?

Deux pipelines produisent le même total. Cela suffit-il à couper l’ancien ? Comparer les preuves, le retour réel et le coût de la double exploitation.

Miljan Stojiljkovic
22 Octobre 2026
9 min
nympharaidatamigrationpipelinesdirection-dataarchitecture

Les deux pipelines affichent 230 euros de ventes. Le nouveau traitement termine correctement. La direction attend l’arrêt de l’ancien environnement pour cesser de payer les deux. Pourtant, une partie du montant a changé de canal et de journée. Et le code conservé dans Git ne dit pas si l’ancien service pourrait reprendre les données arrivées depuis le dernier lot.

Ce cas fictif place le Head of Data devant deux décisions différentes : confier les lectures au nouveau service, puis retirer l’ancien. La seconde ferme une possibilité de retour et doit libérer des moyens. Une migration ne sort pas de la double exploitation parce que deux traitements fonctionnent, mais parce que les preuves permettent de cesser d’en maintenir un.

Je défendrais une coexistence limitée lorsqu’elle est nécessaire pour éprouver les usages et le retour. Son budget doit financer une preuve de fin, avec une date de décision. Sur une petite chaîne connue dont les utilisateurs acceptent l’interruption, une bascule planifiée peut être préférable. Tant que des écarts restent inexpliqués ou qu’un lecteur critique n’est pas identifié, ajouter des semaines de parallèle ne résout pas le problème.

Ce que cachent les 230 euros

Dans notre scénario, un reporting de ventes sert au suivi commercial quotidien et à un export de clôture. L’équipe compare ancien et nouveau traitements sur un même lot figé. La finance attend la même définition de chiffre d’affaires ; aucune évolution métier n’a été autorisée à l’occasion de la migration.

L’atelier local associé, rejoué le 16 novembre 2026, contient cinq écritures fictives. Les deux exports ont cinq lignes et un total de 230 euros. Deux montants ont été intervertis :

Écriture Affectation conservée dans les deux fichiers Référence Candidat erroné
1002 Magasin, 20 octobre 80 € 50 €
1004 Web, 21 octobre 50 € 80 €

Le magasin perd 30 euros le 20 octobre ; le web les gagne le 21. Les dates et les canaux de ces écritures n’ont pas changé : c’est le montant qui leur est affecté qui diffère. La somme générale efface l’écart. Dans le scénario, un responsable commercial pourrait y lire un déplacement d’activité ; la clôture retrouverait pourtant le même total.

Le comparateur bloque le candidat et identifie les deux clés. Après correction, il déclare les exports compatibles. Cela répond à une question étroite : ces sorties sont-elles identiques, sur le lot déclaré ? Le programme ne vérifie pas que les traitements ont réellement respecté la borne d’extraction. Il ne démontre pas non plus que la référence calcule correctement les avoirs ou les taxes.

Il faut donc une attente métier établie séparément. Si les deux chaînes appliquent le même mauvais traitement des avoirs, leur accord reproduit l’erreur. Si le nouveau montant résulte au contraire d’une définition volontairement modifiée, son acceptation appartient au responsable de cette définition. Présenter ce changement comme une simple migration empêcherait de distinguer correction technique et révision du chiffre publié.

Ces distinctions changent la demande au comité : un total identique ne permet pas de signer la bascule ; une différence expliquée ne permet pas automatiquement de la signer non plus. Il faut savoir si elle respecte l’engagement que le remplacement doit tenir.

Trois choix, avec des coûts différents

L’interruption planifiée est crédible lorsque la chaîne et ses lecteurs sont connus. Supposons un seul rapport, un lot quotidien et un créneau accepté pendant lequel personne n’a besoin de données nouvelles. L’équipe peut préparer la nouvelle chaîne, exécuter la recette sur une copie, puis arrêter l’alimentation le temps d’une bascule contrôlée. Elle doit avoir éprouvé la durée de l’intervention et celle du retour avant le prochain usage. Cette option concentre le travail et rend l’indisponibilité explicite. Elle évite de maintenir durablement deux services, mais cesse d’être acceptable si le créneau ne couvre pas la reprise nécessaire.

La coexistence limitée devient utile lorsque les usages ne peuvent pas basculer ensemble. Dans notre scénario, les ventes peuvent essayer leur lecture quotidienne avant que la finance n’accepte l’export de clôture. Garder l’ancien service disponible permet de vérifier ces deux parcours sans imposer une décision commune prématurée. Le prix comprend le calcul, les copies et le travail de comparaison, mais aussi les spécialistes qui doivent maintenir les deux chaînes. Sans capacité réservée à l’analyse des écarts et aux essais de lecteurs, le parallèle produit des sorties supplémentaires sans rapprocher la date d’arrêt.

Le report est préférable lorsqu’on ne sait pas encore ce qu’il faut comparer. Un export de clôture sans propriétaire, une différence de montant sans explication ou une borne de traitement inconnue empêchent de définir une recette concluante. Dans ce cas, je reporterais l’extension du nouveau service et financerais l’enquête précise qui manque. Le coût est le bénéfice de migration différé et le maintien de l’existant ; son intérêt est de ne pas étendre une transition dont l’issue ne peut pas être vérifiée.

Ces choix portent sur le même engagement de continuité. Ils ne forment pas une échelle où le parallèle serait toujours plus mature. La documentation Microsoft sur la migration de Synapse Spark vers Fabric distingue elle aussi plusieurs approches selon les contraintes de délai, de périmètre et de disponibilité des consommateurs. C’est un exemple d’architecture, pas une comparaison exécutée pour cet article. Planification Synapse vers Fabric.

Basculer les lectures sans perdre la possibilité de revenir

Le modèle Parallel Change, décrit par Danilo Sato en 2014 sur le site de Martin Fowler, sépare extension, migration des consommateurs et retrait de l’ancienne interface. Son intérêt ici est de rendre visible le travail entre la livraison du nouveau traitement et la suppression de l’ancien. L’adaptation à notre service analytique est la nôtre. Référence Parallel Change.

Dans le cas de ventes, le premier essai devrait porter sur ce que le destinataire consulte réellement. Une table correcte ne prouve pas que le rapport a été actualisé depuis cette table, que son lecteur possède les bons droits ou que l’export utilisé à la clôture vient du nouveau chemin. La trace utile relie la version du traitement, le lot, l’identité de lecture et la sortie contrôlée. Le responsable métier peut alors confirmer le résultat qui sert sa décision.

Le parcours quotidien ne couvre pas à lui seul le parcours de clôture. Attendre un mois n’est pas non plus une preuve en soi : une répétition représentative peut parfois vérifier l’export avant l’échéance, tandis qu’un cycle réel peut rester nécessaire si des dépendances de clôture ne sont pas reproductibles. Cette différence doit être établie avec son responsable. L’analyse d’impact et des consommateurs aide à instruire cette couverture.

Le retour demande une autre preuve. Supposons maintenant que l’équipe ait arrêté l’alimentation de l’ancien environnement après le premier essai, tout en conservant ses machines et son code. Elle paie encore deux environnements, mais n’exploite plus deux services capables de prendre le relais. Revenir à l’ancienne connexion présenterait des données périmées.

Il faut remettre l’ancien à jour, rétablir ses lectures et vérifier le résultat. Le délai de retour comprend la détection du problème, la décision de revenir, le rattrapage des données, le changement des connexions et le contrôle du service rétabli. Chronométrer uniquement le changement de configuration masque l’essentiel si les écritures récentes doivent être rejouées. Dans notre cas, aucun de ces délais réels n’a été mesuré : le scénario ne peut donc pas autoriser une bascule de production.

Si ce service alimentait aussi un export logistique à heure fixe, un retour terminé après son départ pourrait être inutilisable malgré des valeurs exactes. Cette hypothèse ferait changer le créneau ou le périmètre de bascule. Le critère est la continuité attendue par le destinataire, pas la rapidité apparente du commutateur.

Le parallèle doit rester un dispositif de preuve

Les sorties de test doivent être séparées. Pour un pilote analytique, comparer deux tables ne demande pas que les deux chemins envoient des commandes, des remboursements ou des messages. Ces effets opérationnels exigeraient leur propre dispositif de contrôle ; notre atelier n’en teste aucun.

Le retour d’expérience de Stripe, publié en 2017, décrit une migration transactionnelle qui associe double écriture, comparaison des lectures, changement des chemins puis retrait de l’ancien modèle. Sa continuité dépend du maintien de la cohérence entre les deux magasins de données. Nous retenons la séparation des étapes, pas leurs résultats comme garantie pour un entrepôt. Online migrations at scale.

Dans le contexte Synapse vers Fabric, Microsoft souligne que le parallèle crée aussi un problème de synchronisation. La documentation propose notamment de conserver un écrivain principal et déconseille la double écriture sans comparaison et rapprochement automatisés. Deux moteurs ne peuvent donc pas être considérés comme un secours l’un pour l’autre sur la seule base de leur existence. Leur état et leurs chemins d’écriture comptent. Contraintes de synchronisation.

Le dossier de décision doit garder séparés les résultats suivants :

Preuve Décision qu’elle éclaire Ce qui reste à établir
Compatibilité des sorties sur un même lot Accepter le résultat de cette comparaison Justesse de la règle et couverture des cas
Attente métier indépendante Accepter le calcul pour les cas examinés Résultat réellement reçu par les lecteurs
Lecture réelle après bascule Confier cet usage au nouveau service Retour dans le délai convenu
Retour exercé avec données à jour Conserver une option de repli pendant la transition Fin des dépendances envers l’ancien
Usages transférés et retrait accepté Arrêter l’ancien périmètre Exploitation et restauration du nouveau service seul

Ces preuves ne s’additionnent pas en un score. Une comparaison parfaite ne compense pas un export critique non testé.

Quel budget reste justifié avant l’arrêt ?

Le coût cible commence lorsque l’ancien périmètre est réellement retiré. Le coût de transition comprend jusque-là les traitements, copies, contrôles, corrections et la capacité des personnes mobilisées. Les confondre permettrait d’annoncer une économie alors que l’équipe maintient encore deux chemins. Même après arrêt d’un job, un engagement contractuel ou une ressource partagée peut empêcher la facture de baisser immédiatement.

Pour notre scénario, je n’accorderais pas une prolongation indifférenciée du parallèle. Le financement suivant devrait permettre de corriger les deux affectations, valider une règle indépendante, essayer les parcours quotidien et de clôture, puis exercer le retour à jour. Chaque travail doit avoir un responsable disponible et une échéance. Si la finance ne peut pas participer à la recette, acheter du calcul supplémentaire ne remplacera pas cette disponibilité.

Au rendez-vous fixé, trois issues restent possibles : retirer l’ancien sur le périmètre éprouvé, prolonger pour une preuve manquante nommée et finançable, ou reporter la migration en fermant les moyens temporaires devenus inutiles. Une nouvelle période sans résultat attendu ne constitue pas une décision de poursuite argumentée.

Le retrait clôt volontairement le recours à l’ancien service. Il intervient lorsque les usages concernés ont été transférés, que les dépendances résiduelles ont été examinées et que les responsables acceptent la fin de cette option de retour. L’exploitation et la restauration du nouveau service doivent alors pouvoir tenir l’engagement seules. Garder du code pour archive reste utile ; le présenter comme un secours immédiatement disponible serait trompeur.

Dans le cas étudié, je refuserais donc l’arrêt fondé sur les 230 euros identiques. Après correction, je financerais une coexistence bornée seulement si les deux rythmes métier exigent des validations distinctes et si le retour peut être éprouvé. Si tous les lecteurs peuvent au contraire accepter un même créneau testé, l’interruption planifiée redevient le choix le plus simple à défendre.

Ce que l’équipe peut reproduire

L’archive historique et la grille de bascule restent disponibles. Après extraction neuve, ouvrir le dossier atelier-bascule-pipeline et lancer les commandes du README avec Python 3.10 ou plus. La bibliothèque standard suffit ; aucun service cloud n’est appelé.

Le rejeu du 16 novembre passe les douze contrôles, dont les montants intervertis, la ligne nulle manquante, le doublon, les métadonnées incohérentes et une bascule suivie d’un retour sur une vue SQLite. Les deux tables de cette démonstration contiennent le même lot figé. Elle ne couvre ni concurrence, ni cache BI, ni reprise cloud. Le champ production_authorized reste false, y compris pour le candidat compatible.

Le kit permet à l’équipe d’examiner un mécanisme et ses refus. Il ne fournit ni validation de production, ni fréquence d’incident, ni gain financier. La décision de direction reste celle que ses limites rendent visible : financer les preuves qui permettront de fermer l’ancien service, ou choisir une transition plus simple lorsque les engagements le permettent.

Ressource gratuite

Checklist Audit IA 90 jours pour PME

Cadrage des process, données, cas d'usage, garde-fous RGPD/AI Act, quick wins, roadmap : 6 blocs et 28 points de contrôle, utilisables en autonomie. Reçue par email, sans séquence commerciale derrière.

Recevoir la checklist

Appliquer cette méthode à vos process

Votre équipe Data & IA externalisée, de 2 à 5 jours par semaine. L'atelier de cadrage inclus produit votre feuille de route priorisée par impact.