Aller au contenu
Maintenant

Technologie · Panne de Microsoft 365Dossier en cours · reportage 5 sur 5

Microsoft attribue sa panne mondiale à un bogue introduit dans son propre code en juillet. L’entreprise n’a pas expliqué comment ce bogue a pu passer inaperçu.

Le rapport préliminaire de Microsoft indique qu’un défaut introduit en juillet, une redirection ordinaire du trafic de Teams et une capacité déjà réduite ont, ensemble, mis hors service plus de 80% de ses serveurs de passerelle. Le rapport précise ce qui a cédé. Il n’explique pas pourquoi personne n’a détecté le défaut et ne tranche pas la question de savoir qui paiera.

Rédigé 9 min de lecture · 392 sources

Vidéo en langue originale

Traduit de l’original anglais.

Ce qui a changé depuis notre dernier reportage

4 jours plus tard

Avant

Microsoft protège les courriels retardés pendant 48 heures, alors que le rétablissement après la panne reste incomplet

Ce que nous disions encore en suspens

  1. La cause initiale, les totaux audités des utilisateurs et des organisations touchés, les pertes totales et les délais complets de rétablissement des connecteurs restent à établir.

    Encore en suspens

    Le rapport préliminaire de Microsoft donne maintenant une cause : un défaut de la passerelle datant de juillet, déclenché par une redirection du trafic de Teams alors que la capacité était déjà réduite. Ce récit n’a pas été vérifié de manière indépendante. Les décomptes audités des utilisateurs et des organisations touchés, les pertes totales ainsi que les délais de rétablissement des connecteurs Microsoft 365 d’OpenAI et d’Anthropic ne sont toujours pas disponibles.⁠3⁠4

  2. La capacité rétablie restera-t-elle opérationnelle à mesure que le trafic revient — et le rapport d’incident promis par Microsoft expliquera-t-il pourquoi les tentatives répétées de rétablissement ont échoué ?

    Répondu

Maintenant

Le rapport préliminaire de Microsoft indique qu’un défaut introduit en juillet, une redirection ordinaire du trafic de Teams et une capacité déjà réduite ont, ensemble, mis hors service plus de 80% de ses serveurs de passerelle. Le rapport précise ce qui a cédé. Il n’explique pas pourquoi personne n’a détecté le défaut et ne tranche pas la question de savoir qui paiera.

Réponses depuis

  1. La capacité rétablie restera-t-elle opérationnelle à mesure que le trafic revient — et le rapport d’incident promis par Microsoft expliquera-t-il pourquoi les tentatives répétées de rétablissement ont échoué ?

    Lamanna a déclaré que les premières tentatives de rétablissement avaient échoué parce que le trafic en attente submergeait de nouveau les serveurs remis en service. Microsoft a résolu le problème en revenant à une version antérieure du code et en remettant les serveurs en service par groupes, et affirme que le service est resté stable depuis l’annonce de son rétablissement le 14 novembre.⁠4⁠8⁠27

Ce qui a bougé

  • Fin de l’impact actif sur les clients selon Microsoft.
  • Microsoft affirme que le service est rétabli pour les clients et les régions encore touchés et continue de surveiller les courriels retardés.
  • Publication du rapport préliminaire ; Lamanna présente ses excuses sur X.

Microsoft a maintenant répondu à la question de savoir ce qui a provoqué la panne de la semaine dernière. Reste une question plus difficile : comment un défaut introduit par Microsoft lui-même a pu fonctionner en production pendant des mois sans être détecté, avant de mettre le courrier électronique hors service pour une grande partie du monde en moins de deux heures.

Le 13 novembre, nous avons rapporté que les tentatives de Microsoft pour rétablir le service continuaient d’échouer, que l’entreprise avait prolongé le délai d’expiration de ses courriels afin de protéger ceux en attente, que le rétablissement complet n’avait pas été confirmé et que la cause était inconnue. Depuis, Microsoft a indiqué que le service était rétabli pour tous les clients et toutes les régions encore touchés, et, le lundi 16 novembre, l’entreprise a publié un rapport préliminaire sur l’incident. Celui-ci attribue la panne à un défaut introduit dans une mise à jour de juillet des serveurs de passerelle réseau situés en amont d’Exchange Online, Outlook, Teams, Copilot et d’autres services Microsoft 365.⁠3⁠27

23h50mPériode d’impact actif sur les clients selon Microsoft 38
80%+Serveurs de passerelle qui ne répondaient plus au pire de la panne 38
~14%Capacité de passerelle déjà hors ligne auparavant 32
7.4m+Signalements de problèmes dans le monde sur Downdetector, et non nombre de personnes 1230

Trois défaillances qui se sont conjuguées

Charles Lamanna, vice-président exécutif de Microsoft chargé de Copilot, des agents et de la plateforme, a exposé les explications dans un long message sur X, qu’il a présenté comme une version abrégée du rapport déposé dans le centre d’administration de Microsoft 365. Il a déclaré que le défaut provenait d’une correction écrite spécifiquement pour les serveurs de passerelle et que, dans certaines conditions de charge, il les faisait être submergés et ne plus répondre. Selon les articles consacrés au rapport, le défaut relevait d’une contention de verrous : des tâches au sein d’un processus interne se bloquent en attendant les unes les autres, jusqu’à saturer le processeur et la mémoire d’un serveur. iTnews rapporte que le bogue est resté caché dans le parc de passerelles pendant plus de trois mois.⁠373⁠4⁠372⁠8

Le défaut, à lui seul, n’a rien provoqué. Selon le rapport, deux autres conditions ont été nécessaires. Environ 15 heures avant la panne, un basculement planifié de Teams vers l’infrastructure réseau d’Exchange Online a redirigé du trafic supplémentaire vers la passerelle partagée. Lamanna a décrit ce basculement comme la conséquence du dysfonctionnement de l’une des deux passerelles réseau de Teams, ce qui a surchargé la passerelle principale. Par ailleurs, un problème sans rapport avec celui-ci, survenu la veille, avait déjà mis hors service une partie de la capacité de la passerelle. Lorsque le trafic américain a atteint son pic jeudi, les requêtes se sont accumulées jusqu’à ce que les serveurs cessent de répondre.⁠3⁠2⁠4

Les médias ne s’accordent pas sur l’ampleur de cette partie. BleepingComputer, qui a rendu compte du rapport préliminaire, l’évalue à près de 14% de la capacité de la passerelle. The Guardian, citant Lamanna, parle de plus de 14% de la capacité des serveurs. Les deux chiffres sont proches et, selon les articles, le rapport lui-même porte sur la passerelle.⁠3⁠2

Les systèmes de protection de Microsoft ont ensuite aggravé la situation. La redirection automatique a transféré les requêtes des serveurs défaillants vers des serveurs opérationnels qui présentaient le même défaut, lesquels ont à leur tour cessé de fonctionner. Les barrières censées circonscrire le problème à une seule région n’ont pas tenu. Selon le compte rendu de n-tv sur le rapport, la panne a atteint presque tout le système en moins de deux heures et, jeudi soir, heure européenne, plus de 80% des machines concernées ne répondaient plus. GeekWire rapporte que Microsoft appelle cette dynamique une « ruée massive ».⁠5⁠371

Le chiffre de 80% a lui aussi été rapporté de deux façons. BleepingComputer le présente comme plus de 80% des serveurs de passerelle réseau, tandis qu’El País rapporte que Lamanna aurait dit que plus de 80% des serveurs gérés par Microsoft dans le monde étaient concernés. Selon les articles, le rapport lui-même parle des serveurs de passerelle. La défaillance des quatre cinquièmes de l’ensemble des systèmes exploités par Microsoft aurait constitué un événement tout autre et bien plus grave.⁠3⁠6

Nous regrettons profondément les conséquences pour l’ensemble de nos clients et reconnaissons l’impact sur le cours normal de leurs activités et de leurs opérations.

Charles Lamanna 373

La même dynamique explique pourquoi les réparations ont continué d’échouer jeudi et vendredi. Lamanna a déclaré qu’à chaque fois que des serveurs étaient remis en service, le trafic qui les attendait les submergeait de nouveau. La solution qui a fonctionné a consisté à revenir à une version antérieure du code, rétablissant ainsi son dernier état opérationnel. Les ingénieurs ont retiré des serveurs du service, les ont redémarrés et les ont remis en service par groupes plutôt que tous à la fois. Microsoft affirme avoir depuis ajouté de la capacité, amélioré la surveillance et mis en place des mesures de protection, mais le rapport préliminaire tel qu’il a été présenté ne détaille pas ces changements. Microsoft affirme que la panne n’était due ni à une cyberattaque, ni à une activité malveillante, ni à un dysfonctionnement d’un agent d’IA.⁠4⁠8⁠3⁠33

Le récit a évolué au fil de la semaine. Vendredi, Microsoft avait seulement évoqué un problème introduit lors d’une précédente mise à niveau de la capacité réseau, indiqué que les services se rétablissaient dans l’ensemble et précisé qu’elle ignorait quand le rétablissement serait complet. Le récit de lundi est bien plus précis, mais reste préliminaire et ne vient que de Microsoft. Aucun enquêteur externe ne l’a vérifié.⁠1⁠15

D’une correction de juillet aux explications de lundi

  1. Juillet 2026

    Une correction des serveurs de passerelle est déployée, avec un défaut latent.

    35
  2. Jeu. 12 nov., ~01:20 UTC

    Un basculement planifié de Teams redirige du trafic supplémentaire vers la passerelle partagée d’Exchange Online.

    3
  3. Jeu. 12 nov., 11:20 a.m. ET

    Début de l’impact actif sur les clients selon Microsoft.

    3
  4. Jeu. 12 nov., 17:54 GMT

    Microsoft reconnaît pour la première fois que les utilisateurs des Amériques ne peuvent pas accéder à leurs boîtes aux lettres Exchange Online.

    1
  5. Ven. 13 nov., 11:10 a.m. ET

    Fin de l’impact actif sur les clients selon Microsoft.

    3
  6. Sam. 14 nov.

    Microsoft affirme que le service est rétabli pour les clients et les régions encore touchés et continue de surveiller les courriels retardés.

    2710
  7. Lun. 16 nov.

    Publication du rapport préliminaire ; Lamanna présente ses excuses sur X.

    34

La période officielle explique aussi pourquoi les durées publiées divergent. CBC a évoqué plus de 24 heures, MyBroadband 20 heures, El País plus de 18 heures et Frandroid près de 38 heures. Frandroid a mesuré la durée à partir de l’incident Exchange Online, EX1550543, qui, selon le média, a été ouvert jeudi à 17:17, jusqu’à l’annonce du rétablissement samedi. Les autres médias ont mesuré l’impact sur les clients ou se sont appuyés sur des instantanés pris en cours d’incident. La période d’impact retenue par Microsoft est de 23 heures et 50 minutes. Deux horodatages ne concordent pas parfaitement avec cette durée : les données réseau d’Ookla situent le début vers 17:25 UTC, et la première reconnaissance publique de Microsoft est survenue 94 minutes après l’heure de début annoncée. Même après l’annonce de samedi selon laquelle tout était rétabli, Microsoft surveillait encore les courriels retardés, dans le cadre d’un délai d’expiration qu’elle avait porté à 48 heures.⁠12⁠7⁠6⁠10⁠30⁠124

Qui a subi les conséquences de la journée, et qui paie

Downdetector a enregistré plus de 7.4 millions de signalements de problèmes provenant de plus de 70 pays et territoires, avec un pic proche de 20,000 par minute. Il s’agit de plaintes, et non d’un décompte des personnes, et Microsoft n’a pas indiqué combien de personnes ou d’organisations ont perdu le service. Les conséquences n’en étaient pas moins concrètes. En Angleterre, le personnel du NHS est revenu aux dossiers papier. En Irlande, le HSE a mis Healthmail hors ligne et demandé aux généralistes et aux pharmaciens de rédiger des ordonnances papier dans le cadre du régime GMS. Des tribunaux et des administrations américaines, des hôpitaux canadiens et des voyageurs ferroviaires ont été touchés, et El País rapporte que le Japon, l’Australie et la Malaisie ont dû interrompre des services essentiels. La banque thaïlandaise Krungthai a perdu l’accès au courrier électronique et a orienté ses clients ayant besoin d’une aide urgente vers son centre d’appels, sans qu’aucune conséquence sur les services bancaires mobiles ait été confirmée. Un courtier en valeurs mobilières de Townsville a averti que les retards dans les instructions de négociation pourraient nuire aux clients si les marchés connaissaient de fortes fluctuations. Le ministre britannique chargé de la cybersécurité a déclaré que les appels au 999, les services de première ligne du NHS 111 et les transports avaient continué de fonctionner.⁠12⁠15⁠26⁠25⁠6⁠11⁠31

Le jour où Microsoft a publié ses explications, la Chambre des communes a débattu de la panne, sous la conduite du ministre Ian Murray. Les documents disponibles ne précisent pas quels engagements, le cas échéant, ont été pris à l’issue du débat. L’agence fédérale allemande de cybersécurité, le BSI, avait déjà qualifié la panne de problème majeur pour l’économie et de signal d’alarme concernant la dépendance numérique, tandis que Dirk Schrödter, ministre du Numérique du Schleswig-Holstein, avait appelé à renforcer la résilience numérique du secteur public.⁠387⁠390⁠5

L’association allemande des utilisateurs de technologies de l’information VOICE conseille aux entreprises de consigner leurs interruptions de service et de demander des crédits de service avant la fin décembre. Elle réclame également à Microsoft des engagements de disponibilité assortis de conséquences réelles. Un crédit de service est une réduction des frais d’abonnement. Il ne compense ni les heures perdues, ni les ordonnances retardées, ni les commandes manquées, et des experts ont déclaré à ABC en Australie que Microsoft ne devrait probablement pas indemniser les entreprises pour leur perte de productivité. Les chiffres des pertes sont des estimations. L’analyste Mario De Cicco a estimé les pertes assurées entre $300 million et $500 million, avec un impact limité sur les assureurs, et Il Sole 24 Ore a rapporté des estimations d’au moins plusieurs centaines de millions d’euros. L’action de Microsoft a à peine bougé : elle a clôturé à $521.13 le 11 novembre, à $523.88 le 13 novembre et à $517.99 le 16 novembre, et rien ne permet de relier cette baisse à la panne.⁠388⁠385⁠12⁠386⁠378

Ce que l’on sait

  • Microsoft attribue la panne à un défaut de la passerelle datant de juillet, déclenché par le trafic de basculement de Teams alors qu’une partie de la capacité était déjà hors ligne, et corrigé par un retour à une version antérieure du code. 348
  • Microsoft affirme que le service a été rétabli pour tous les clients et toutes les régions encore touchés le 14 novembre. 2726

Ce que l’on ignore

  • Comment le défaut a pu passer inaperçu en production pendant des mois, et pourquoi l’isolation régionale a échoué.
  • Combien de personnes et d’organisations ont perdu le service, quelles sont les pertes totales et Microsoft a-t-elle accordé des crédits de service.

La suite

  • Le rapport final de Microsoft, dont la publication est prévue vendredi 20 novembre, devrait détailler l’ensemble de ses mesures de prévention.
  • Les entreprises déposeront-elles les demandes de crédit recommandées par VOICE avant la fin décembre ?

Chronologie

Jour 8 · 5 reportages

Chronologie de l’histoire
  1. Fin de l’impact actif sur les clients selon Microsoft.

  2. Microsoft affirme que le service est rétabli pour les clients et les régions encore touchés et continue de surveiller les courriels retardés.

  3. Publication du rapport préliminaire ; Lamanna présente ses excuses sur X.

Sources244

Parmi les sources citées ici, flavorist.com a publié en premier, 6 jours avant la diffusion de ce reportage. 196 autres médias ont suivi.

3 articles plus anciens consultés pour le contexte.46 médias sans date :Workhorse Group, Inc.apnews.comcloud.microsoftreddit.comAFP.comAnadolu

Dossier en cours · reportage 5 sur 5

Toutes les sources, par média

392 sources de 244 médias· Les plus cités d’abord

Tel que diffusé
  1. A bug Microsoft shipped in July sat hidden for months, then took email down worldwide.
  2. At the worst point, more than eight in ten of the servers that front Outlook, Teams and the rest of Microsoft 365 stopped responding. Health services went back to paper, and users in more than seventy countries lost their mail for nearly a full day.
  3. On November thirteenth we reported that Microsoft's attempts to bring servers back kept faltering, full restoration wasn't confirmed, and the cause was unknown. Since then, Microsoft has restored service and published a preliminary report that traces it all to a July defect.
  4. What Microsoft still hasn't explained is how that defect ran in production for months without anyone catching it, and nobody has settled who pays for the lost day.
  5. The defect came from a fix Microsoft wrote in July for its networking gateway servers, the machines that sit in front of Exchange Online, Outlook, Teams and Copilot.
  6. Charles Lamanna, the executive who runs Copilot, agents and platform, said that under certain load it caused servers to become overwhelmed and unresponsive. The report describes lock contention inside an internal process, where tasks jam waiting on each other until they eat up a server's processing power and memory.
  7. For months it did nothing. Then, last Thursday, three things lined up.
  8. First, the dormant defect. Second, a planned Teams failover about fifteen hours earlier pushed extra traffic onto the shared gateway. Third, nearly fourteen percent of gateway capacity was already offline from an unrelated problem. Then peak U.S. traffic hit Thursday, and requests piled up until servers froze.
  9. Microsoft's own safety systems then spread the damage. Automatic redirection moved requests off failing servers onto healthy ones, which carried the same defect and failed in turn. The barriers meant to keep trouble inside one region didn't hold.
  10. In under two hours the failure reached almost the entire system. By Thursday evening in Europe, more than eighty percent of the gateway servers were unresponsive. Microsoft calls the pattern thundering herds.
  11. That same pattern explains why the repairs kept failing. Each time servers came back, the traffic waiting for them knocked them over again.
  12. The fix was a code rollback that returned the affected code to its last working version. Engineers pulled servers out of service, restarted them, and brought them back in batches instead of all at once.
  13. Microsoft says it has since added capacity, improved monitoring and put in new safeguards. The preliminary report doesn't spell those changes out.
  14. Microsoft says the outage wasn't a cyberattack, malicious activity or an AI agent gone wrong. Lamanna apologized in a long post on X, saying the company was deeply sorry and recognizes what this did to customers' normal business.
  15. Microsoft's final report is due Friday, and we'll be reading it for how this bug slipped through. Subscribe to this channel to follow it, and the story continues at heyday dot news.
  16. Microsoft now puts active customer impact at twenty-three hours and fifty minutes.
  17. The clock starts at eleven-twenty Thursday morning Eastern and stops at ten past eleven Friday. Microsoft first acknowledged mailbox failures about ninety minutes after that start. The all-clear for the last customers came early Saturday, with delayed mail still being watched.
  18. Microsoft also stretched its email timeout window to forty-eight hours so queued messages wouldn't be lost.
  19. Published figures for the length run from more than eighteen hours, to twenty, to more than twenty-four, to nearly thirty-eight. They're measuring different things, from the hours customers were hit to the final all-clear. Microsoft's own impact window is twenty-three hours and fifty minutes.
  20. Microsoft's explanation sharpened over the week. On Friday it blamed only a problem from an earlier network capacity upgrade, and said it couldn't say when recovery would finish.
  21. Monday's account is preliminary, and it comes from Microsoft alone. No outside investigator has checked it. The capacity already offline is put at nearly fourteen percent or more than fourteen, and the report's own wording applies the eighty percent figure to gateway servers.
  22. NHS staff in England went back to paper records.
  23. Ireland's health service took Healthmail offline and told GPs and pharmacists to write paper prescriptions. U.S. courts and government offices were disrupted, along with Canadian hospitals and rail passengers. Japan, Australia and Malaysia had to interrupt critical services.
  24. In Thailand, Krungthai Bank lost email and sent urgent customers to its call center, with no confirmed hit to mobile banking. A stockbroker in Townsville warned delayed trade instructions could hurt clients if markets moved sharply. Britain's cyber minister said 999 calls, frontline NHS 111 services and transport kept running.
  25. Users filed more than seven point four million problem reports worldwide, peaking near twenty thousand a minute, from more than seventy countries and territories. Those are complaints, and Microsoft hasn't said how many people or organizations actually lost service.
  26. Experts in Australia say Microsoft is unlikely to compensate businesses for lost productivity.
  27. On the day Microsoft published its explanation, Britain's House of Commons debated the outage, led by minister Ian Murray. Germany's cyber-security agency had already called it an alarm signal about digital dependence, and Schleswig-Holstein's digital minister Dirk Schrödter called for more resilience in the public sector.
  28. Germany's IT user association, VOICE, is telling companies to document their downtime and file service-credit claims, and it wants availability commitments from Microsoft with real consequences. A service credit is a discount on the subscription fee. It doesn't cover lost hours, delayed prescriptions or missed orders.
  29. Loss figures are still estimates. One analyst put insured losses at three hundred to five hundred million dollars, with limited impact on insurers, and an Italian estimate ran to hundreds of millions of euros.
  30. Microsoft's stock barely moved. It closed at five hundred twenty-one dollars on November eleventh, about five twenty-four on Friday, and about five eighteen on Monday. Nothing ties that dip to the outage.
  31. Microsoft's final report is due Friday, November twentieth. It has to show how the defect sat undetected in production for months, why the regional barriers failed, and what Microsoft will change. Companies in Germany are being told to file their credit claims before the end of December.

Traduction mise à jour le

Diffusés récemment