L’écriture des ventes a réussi, mais sa confirmation s’est perdue. L’orchestrateur relance le traitement. Avec une écriture qui ajoute à nouveau les mêmes lignes, le pipeline peut terminer au vert et livrer un chiffre d’affaires doublé. Le problème visible est une tâche en échec ; le problème à résoudre est de savoir ce qui a réellement été livré.
Pour un Head of Data, cet incident pose une question d’investissement : faut-il changer l’outil qui organise les traitements, ou financer d’abord la capacité à reprendre le service avec l’existant ? Une meilleure interface de diagnostic peut compter. Elle ne rend pas automatiquement une écriture sûre à répéter.
Prenons une enseigne fictive dont les ventes alimentent les réapprovisionnements quotidiens. Après cet incident, la finance demande aussi un recalcul du trimestre avec une nouvelle règle. Les deux travaux partagent les mêmes ressources de calcul. La direction data doit garantir la reprise, puis choisir ce qui attend si le rattrapage historique menace la livraison du jour. Ce scénario est pédagogique ; seul le mécanisme local d’écriture décrit ci-dessous a été exécuté.

La relance doit conserver le sens de la demande
Un retry reprend une tentative échouée avec les mêmes entrées et la même logique. Une correction remplace une version de source devenue fausse. Un recalcul historique, ou backfill, traite une période passée, éventuellement avec une nouvelle règle. Ces opérations peuvent utiliser les mêmes commandes, mais elles n’autorisent pas les mêmes résultats.
Après la perte de confirmation, la personne d’astreinte doit pouvoir retrouver la période métier, la version de source, la version du calcul et l’état effectivement écrit. Si la reprise lit simplement « le dernier fichier », elle peut appliquer une correction arrivée entre-temps. Ce n’est plus le même travail. La documentation Airflow recommande précisément des tâches qui produisent le même résultat au rejeu et des lectures et écritures sur une partition déterminée. Bonnes pratiques Airflow.
Dans notre enseigne, le fichier de ventes est un snapshot complet : il décrit tout l’état attendu pour une journée. Remplacer cette journée permet de répercuter aussi les commandes retirées du fichier. Si la source fournissait seulement un delta, c’est-à-dire les changements depuis le passage précédent, ce remplacement effacerait des ventes encore valides. Il faudrait appliquer les modifications par clé, traiter les suppressions et départager les versions.
Le contrat de source change donc la solution. Un upsert, qui ajoute ou met à jour les clés reçues, ne retire pas à lui seul une commande absente d’un snapshot complet. Et un remplacement de journée n’est pas une recette pour n’importe quel flux. Cette distinction doit être tranchée avec le producteur, puis éprouvée sur la cible ; elle ne dépend pas du choix entre Airflow et Dagster.
Deux pannes qui départagent le problème d’écriture du problème d’outil
L’atelier existant utilise deux journées fictives. Le 1er octobre contient A01 pour 10 € et A02 pour 25 €. La correction porte A01 à 12 € et retire A02. Le 2 octobre contient B01 pour 9 €. Après correction, le résultat attendu est une seule vente à 12 € pour le premier jour, sans changement du lendemain.
Le programme remplace la journée et ses métadonnées dans une même transaction SQLite. Une exception injectée après l’effacement, avant la validation de la transaction, déclenche un rollback : les deux anciennes ventes et leur total de 35 € restent présents. Une exception injectée après validation simule la confirmation perdue : la vente corrigée à 12 € est déjà présente. La reprise conserve ce résultat et laisse B01 intacte. Les frontières entre transaction, validation et annulation sont documentées par SQLite. Transactions SQLite.
Le script a été rejoué le 16 novembre 2026 : les 14 contrôles réussissent, avec les mêmes observations que la capture historique. Ils couvrent aussi les entrées invalides, l’empreinte de source, le journal des tentatives et un rattrapage séquentiel de deux jours. Ce journal garde douze tentatives ; leur nombre n’est pas le nombre de ventes. Rapport du rejeu.
Cette preuve est étroite et utile : le code d’écriture détermine ce que laisse une relance. Les pannes sont des exceptions Python, pas une coupure de machine. L’atelier n’exécute ni Airflow ni Dagster, ne mesure aucun délai de restauration et ne teste aucune concurrence. Il refuse aussi une journée vide, même légitime ; une vraie source doit pouvoir attester qu’un résultat vide est complet.
La reprise reste à éprouver sur votre stockage et vos consommateurs. Deux versions concurrentes peuvent se remplacer dans le mauvais ordre, même si chaque écriture est individuellement idempotente, donc répétable sans modifier davantage son résultat. Il faut une règle de priorité ou de sérialisation des révisions. Et une transaction dans la base ne couvre pas un email, un paiement ou un appel d’API externe. Le destinataire doit reconnaître la même demande, ou permettre un rapprochement avant nouvelle émission. L’analyse AWS des API idempotentes illustre ce contrat avec un identifiant fourni par l’appelant ; elle ne prouve rien sur les API de votre chaîne. Amazon Builders’ Library.
Recalculer le trimestre peut déplacer l’incident vers le quotidien
Supposons maintenant la reprise sûre. La finance veut appliquer une nouvelle règle à tout le trimestre. Elle demande une nouvelle version de résultats, pas la répétition automatique des anciens calculs. Le périmètre, les sources conservées et le moment où cette version devient consultable doivent être explicites. Publier chaque journée corrigée dès qu’elle termine pourrait exposer un trimestre mêlant deux règles. Une préparation séparée puis une publication contrôlée est une option, avec son coût de stockage et de rapprochement.
Dans ce scénario, les ventes quotidiennes servent une décision imminente ; la révision trimestrielle peut attendre une fenêtre convenue avec la finance. Je donnerais donc la priorité au flux courant et lancerais l’historique par lots bornés. Ce choix reporte la disponibilité du trimestre révisé. Il n’autorise pas à annoncer simultanément la même échéance historique et la même disponibilité quotidienne sans capacité supplémentaire.
Les orchestrateurs proposent des réglages, mais leur présence ne vaut pas réserve de puissance. Airflow permet de limiter les exécutions simultanées d’un backfill indépendamment de la limite du DAG. Sa documentation précise aussi que les tâches des exécutions historiques déjà démarrées ne sont pas ensuite systématiquement défavorisées par rapport aux autres. Concurrence des backfills Airflow.
Une limite en nombre d’exécutions est d’autant moins suffisante que deux journées peuvent consommer des ressources différentes. Les pools Airflow peuvent limiter des groupes de tâches et attribuer davantage de places à une tâche lourde. C’est un moyen de réguler la demande, à calibrer sur ce qui sature effectivement : calcul, stockage ou système source. Pools Airflow.
Pour financer le rattrapage, l’information discriminante est donc une mesure sur un lot représentatif pendant que le flux courant tourne : délai jusqu’au résultat utilisable, charge de la destination, progression du retard et interventions humaines. Le seuil d’arrêt se fixe à partir de la marge restante avant l’échéance du quotidien. L’arrêt doit empêcher de nouveaux lots historiques de démarrer ; interrompre ceux qui sont déjà engagés dépend de leur capacité réelle à s’arrêter proprement. Notre atelier à deux jours ne mesure aucun de ces paramètres.
Si la clôture impose au contraire une échéance historique non reportable, l’arbitrage change. Il faut financer une capacité dont l’efficacité a été vérifiée, réduire le périmètre demandé ou convenir d’une dégradation temporaire du service quotidien avec son responsable métier. Augmenter la concurrence sans connaître le système limitant peut simplement mettre les deux livraisons en retard.
Ce qui justifierait un autre orchestrateur
Corriger l’écriture avec l’outil existant est le premier investissement dans notre cas. Il finance une reprise vérifiable, l’accès aux sources conservées, le contrôle des résultats et une procédure utilisable par l’astreinte. Le livrable n’est pas seulement une tâche réussie : le consommateur reçoit la bonne version, dans le délai accepté. Si ce chantier résout l’incident et que les rattrapages restent maîtrisables, une migration d’orchestrateur n’a pas encore de bénéfice établi. Elle mobiliserait la même équipe pendant la transition.
Garder un planificateur simple est également une décision défendable pour un périmètre limité. Elle suppose que verrouillage, historique, alertes et reprise sont réellement maintenus, accessibles à la personne de garde et vérifiés en son absence par une autre personne. Le coût se situe dans cette maintenance. Si quelques traitements restent compréhensibles et les restaurations reproductibles, ajouter une plateforme peut déplacer la charge vers son exploitation. En revanche, dépendre d’un seul auteur capable de reconstituer la chaîne fragilise ce choix, même avec peu de tâches.
Évaluer un autre orchestrateur devient pertinent lorsque le diagnostic et la coordination restent la charge dominante après sécurisation des écritures. Par exemple, l’astreinte sait rejouer chaque traitement, mais perd l’essentiel de son temps à identifier les partitions touchées, à retrouver les dépendances et à empêcher le rattrapage de bloquer le quotidien. C’est cette charge qu’un essai doit chercher à réduire.
Airflow et Dagster documentent des mécanismes de backfill. Dagster permet notamment de sélectionner des partitions ; son regroupement en une seule exécution demande une politique et un code adaptés à une plage de partitions. Ce sont des possibilités à examiner, pas un classement de leur aptitude à votre service. Backfills Dagster.
Le scénario commun d’un essai serait celui de l’enseigne : confirmation perdue après écriture, source corrigée, puis historique en concurrence avec les flux du jour. Avec le même stockage, les mêmes données et les mêmes critères, observer ce que la personne d’astreinte retrouve, décide et manipule, jusqu’à la disponibilité chez le consommateur. Ajouter le coût de migration et de maintien de la plateforme au coût de l’incident traité. Aucun essai comparatif ni économie d’entreprise n’est revendiqué ici.
Le mandat à financer
Dans les conditions de notre cas, je conserverais l’orchestrateur, financerais la preuve de reprise sur une chaîne critique et négocierais la fenêtre du recalcul trimestriel. Le responsable métier valide l’état utilisable et le retard acceptable ; l’équipe data établit comment le retrouver ; la personne d’astreinte doit pouvoir interrompre le rattrapage selon une règle convenue.
Je rouvrirais le choix d’outil si, après cette correction, le relevé des interventions montrait que comprendre et coordonner les reprises demeure l’obstacle principal. À l’inverse, si le temps est consommé dans une destination saturée ou dans la reconstitution de sources perdues, une nouvelle interface d’orchestration ne répond pas à ce besoin. La décision porte alors sur la capacité ou la conservation des données. C’est cette observation qui permet d’affecter les moyens au service réellement manquant.
Pour l’équipe qui veut examiner le mécanisme, les quatre fichiers de l’atelier restent disponibles : script Python, snapshot fictif et rapport historique du 4 octobre. Ils complètent le raisonnement, sans valider une exploitation de production. Le contrôle de fraîcheur traite séparément la question de la période et du périmètre effectivement disponibles au rendez-vous métier.