Technologie · Microsoft-365-AusfallFortlaufendes Thema · Bericht 5 von 5
Microsoft führt den weltweiten Ausfall auf einen Fehler im eigenen Code aus dem Juli zurück. Das Unternehmen hat nicht erklärt, warum der Fehler unbemerkt blieb.
Microsofts vorläufigem Bericht zufolge legten ein im Juli ausgelieferter Fehler, eine routinemäßige Verlagerung des Teams-Datenverkehrs und eine bereits reduzierte Kapazität zusammen mehr als 80% der Gatewayserver lahm. Der Bericht erklärt, was schiefgelaufen ist. Er sagt nicht, warum niemand den Fehler bemerkte, und klärt nicht, wer dafür bezahlt.
Verfasst 8 Min. Lesezeit · 392 Quellen
Video in der Originalsprache
Aus dem englischen Original übersetzt.
Was sich seit unserem letzten Bericht geändert hat
4 Tage später
Damals
Microsoft schützt verzögerte E-Mails 48 Stunden lang, während die Wiederherstellung nach dem Ausfall unvollständig bleibtWas wir als offen bezeichnet hatten
Die auslösende Ursache, geprüfte Gesamtzahlen zu betroffenen Nutzern und Organisationen, die Gesamtschäden und die vollständigen Wiederherstellungszeiten der Connectoren sind weiterhin ungeklärt.
Noch offenMicrosofts vorläufige Darstellung liefert nun eine Ursache: Ein Gateway-Fehler aus dem Juli wurde durch eine Verlagerung des Teams-Datenverkehrs ausgelöst, während die Kapazität bereits reduziert war. Diese Darstellung wurde nicht unabhängig überprüft. Geprüfte Zahlen zu betroffenen Nutzern und Organisationen, Gesamtschäden sowie die Wiederherstellungszeiten der Microsoft-365-Connectoren von OpenAI und Anthropic liegen weiterhin nicht vor.34
Ob die wiederhergestellte Kapazität mit der Rückkehr des Datenverkehrs weiterhin reagiert – und ob Microsofts angekündigter Vorfallsbericht erklärt, warum wiederholte Wiederherstellungsversuche scheiterten.
Beantwortet
Jetzt
Microsofts vorläufigem Bericht zufolge legten ein im Juli ausgelieferter Fehler, eine routinemäßige Verlagerung des Teams-Datenverkehrs und eine bereits reduzierte Kapazität zusammen mehr als 80% der Gatewayserver lahm. Der Bericht erklärt, was schiefgelaufen ist. Er sagt nicht, warum niemand den Fehler bemerkte, und klärt nicht, wer dafür bezahlt.
Seitdem beantwortet
- Ob die wiederhergestellte Kapazität mit der Rückkehr des Datenverkehrs weiterhin reagiert – und ob Microsofts angekündigter Vorfallsbericht erklärt, warum wiederholte Wiederherstellungsversuche scheiterten.
Lamanna sagte, frühere Wiederherstellungsversuche seien gescheitert, weil der auf die zurückkehrenden Server wartende Datenverkehr sie erneut überlastet habe. Microsoft löste das Problem durch ein Rollback des Codes und die gruppenweise Wiederinbetriebnahme der Server. Nach Angaben des Unternehmens hält der Dienst seit der am 14. November bekanntgegebenen Wiederherstellung.4827
Was sich bewegt hat
- Laut Microsoft endet zu diesem Zeitpunkt die aktive Beeinträchtigung der Kunden.
- Microsoft teilt mit, dass der Dienst für die übrigen betroffenen Kunden und Regionen wiederhergestellt ist, und überwacht weiterhin verzögerte E-Mails.
- Vorläufiger Bericht veröffentlicht; Lamanna entschuldigt sich auf X.
Microsoft hat nun die Frage beantwortet, was während des Ausfalls in der vergangenen Woche schiefgelaufen ist. Damit bleibt eine schwierigere Frage: Wie konnte ein von Microsoft selbst ausgelieferter Fehler monatelang im Produktivbetrieb laufen, ohne dass ihn jemand bemerkte, und dann innerhalb von weniger als zwei Stunden den E-Mail-Verkehr für einen Großteil der Welt lahmlegen?
Am 13. November berichteten wir, dass Microsofts Versuche, den Dienst wiederherzustellen, immer wieder scheiterten, dass das Unternehmen das Zeitlimit für E-Mails verlängert hatte, um Nachrichten in der Warteschlange zu schützen, dass die vollständige Wiederherstellung nicht bestätigt war und dass die Ursache unbekannt war. Seitdem hat Microsoft mitgeteilt, dass der Dienst für alle noch betroffenen Kunden und Regionen wiederhergestellt ist. Am Montag, dem 16. November, veröffentlichte das Unternehmen einen vorläufigen Bericht zum Vorfall. Darin führt es den Ausfall auf einen Fehler in einem Juli-Update für die Netzwerk-Gatewayserver zurück, die Exchange Online, Outlook, Teams, Copilot und anderen Microsoft-365-Diensten vorgeschaltet sind.327
Drei zusammenwirkende Fehler
Charles Lamanna, Microsofts Executive Vice President für Copilot, Agents und Plattform, legte die Erklärung in einem ausführlichen Beitrag auf X dar, den er als gekürzte Fassung des im Microsoft-365-Admin-Center eingereichten Berichts bezeichnete. Er sagte, der Fehler sei auf eine eigens für die Gatewayserver geschriebene Korrektur zurückzuführen. Unter bestimmten Lastbedingungen habe er dazu geführt, dass die Server überlastet wurden und nicht mehr reagierten. Medienberichte zum Bericht beschreiben den Fehler als Konkurrenz um Sperren: Aufgaben in einem internen Prozess geraten ins Stocken, während sie aufeinander warten, bis sie den Prozessor und den Arbeitsspeicher eines Servers erschöpfen. iTnews berichtet, dass der Fehler mehr als drei Monate lang unentdeckt in der Gateway-Flotte schlummerte.37343728
Der Fehler allein richtete nichts an. Laut dem Bericht waren zwei weitere Bedingungen erforderlich. Etwa 15 Stunden vor dem Ausfall leitete ein geplanter Teams-Failover auf die Netzwerkinfrastruktur von Exchange Online zusätzlichen Datenverkehr auf das gemeinsam genutzte Gateway. Lamanna beschrieb dies als Ausfall eines von zwei Netzwerk-Gateways für Teams, wodurch das primäre Gateway überlastet wurde. Unabhängig davon hatte ein anderes Problem am Vortag bereits einen Teil der Gatewaykapazität außer Betrieb genommen. Als am Donnerstag die Spitzenlast aus den USA eintraf, stauten sich die Anfragen, bis die Server nicht mehr reagierten.324
Die Medien sind sich uneinig darüber, wie groß dieser Kapazitätsanteil war. BleepingComputer beziffert ihn in seiner Berichterstattung über den vorläufigen Bericht auf knapp 14% der Gatewaykapazität. The Guardian zitiert Lamanna mit mehr als 14% der Serverkapazität. Die beiden Zahlen liegen nahe beieinander; im Bericht selbst geht es um das Gateway.32
Microsofts eigene Schutzsysteme verschlimmerten die Lage dann noch. Durch automatische Umleitung wurden Anfragen von ausfallenden Servern auf funktionierende Server verlagert, die denselben Fehler aufwiesen, und fielen ebenfalls aus. Die Barrieren, die Probleme auf eine einzelne Region beschränken sollten, hielten nicht stand. Laut der Darstellung von n-tv zum Bericht erfasste der Ausfall in weniger als zwei Stunden fast das gesamte System. Bis Donnerstagabend mitteleuropäischer Zeit reagierten mehr als 80% der betreffenden Rechner nicht mehr. GeekWire berichtet, Microsoft bezeichne diese Dynamik als «thundering herds».5371
Auch die Angabe von 80% wurde auf zwei Arten wiedergegeben. BleepingComputer spricht von mehr als 80% der Netzwerk-Gatewayserver, während El País Lamanna mit der Aussage zitiert, mehr als 80% der weltweit von Microsoft verwalteten Server seien betroffen gewesen. Der Wortlaut des Berichts bezieht sich laut den Medienberichten auf Gatewayserver. Ein Ausfall von vier Fünfteln aller von Microsoft betriebenen Systeme wäre ein ganz anderer und weitaus größerer Vorfall.36
Wir bedauern die Auswirkungen auf alle unsere Kunden zutiefst und erkennen an, dass dies ihren normalen Geschäftsbetrieb beeinträchtigt hat.
Derselbe Ablauf erklärt, warum die Reparaturversuche am Donnerstag und Freitag immer wieder scheiterten. Lamanna sagte, jedes Mal, wenn Server wieder hochgefahren wurden, habe der auf sie wartende Datenverkehr sie erneut überlastet. Erfolgreich war schließlich ein Code-Rollback, durch den der betroffene Code auf den letzten funktionierenden Stand zurückgesetzt wurde. Die Ingenieure nahmen Server außer Betrieb, starteten sie neu und schalteten sie gruppenweise statt alle auf einmal wieder zu. Microsoft zufolge hat das Unternehmen seitdem Kapazitäten hinzugefügt, die Überwachung verbessert und Schutzmaßnahmen eingeführt. Der vorläufige Bericht führt diese Änderungen in der Berichterstattung jedoch nicht im Einzelnen auf. Microsoft zufolge war der Ausfall weder ein Cyberangriff noch eine böswillige Aktivität oder eine Fehlfunktion eines KI-Agenten.48333
Im Laufe der Woche hat sich die Darstellung verändert. Am Freitag verwies Microsoft lediglich auf ein Problem, das bei einem früheren Ausbau der Netzwerkkapazität eingeführt worden sei, erklärte, die Dienste erholten sich weitgehend, und sagte, man wisse nicht, wann die Wiederherstellung abgeschlossen sein werde. Die Darstellung vom Montag ist deutlich konkreter, aber weiterhin vorläufig und stammt allein von Microsoft. Keine externe Untersuchung hat sie überprüft.115
Vom Juli-Update zur Erklärung am Montag
- Juli 202635
Ein Update für die Gatewayserver wird ausgeliefert und enthält einen latenten Fehler.
- Do., 12. Nov., ~01:20 UTC3
Eine geplante Teams-Umschaltung auf ein Failover-System leitet zusätzlichen Datenverkehr auf das gemeinsam genutzte Exchange-Online-Gateway.
- Do., 12. Nov., 11:20 Uhr ET3
Laut Microsoft beginnt zu diesem Zeitpunkt die aktive Beeinträchtigung der Kunden.
- Do., 12. Nov., 17:54 GMT1
Microsoft bestätigt erstmals, dass Nutzer in Amerika ihre Exchange-Online-Postfächer nicht erreichen können.
- Fr., 13. Nov., 11:10 Uhr ET3
Laut Microsoft endet zu diesem Zeitpunkt die aktive Beeinträchtigung der Kunden.
- Sa., 14. Nov.2710
Microsoft teilt mit, dass der Dienst für die übrigen betroffenen Kunden und Regionen wiederhergestellt ist, und überwacht weiterhin verzögerte E-Mails.
- Mo., 16. Nov.34
Vorläufiger Bericht veröffentlicht; Lamanna entschuldigt sich auf X.
Das von Microsoft angegebene Zeitfenster erklärt auch, warum die veröffentlichten Dauerangaben voneinander abweichen. CBC sprach von mehr als 24 Stunden, MyBroadband von 20 Stunden, El País von mehr als 18 Stunden und Frandroid von knapp 38 Stunden. Frandroid berechnete die Dauer vom Vorfall bei Exchange Online, EX1550543, der nach Angaben des Mediums am Donnerstag um 17:17 Uhr eröffnet wurde, bis zur Wiederherstellungsmitteilung am Samstag. Die anderen bezogen sich auf die Beeinträchtigung der Kunden oder auf Momentaufnahmen im Verlauf des Ausfalls. Das von Microsoft selbst angegebene Beeinträchtigungsfenster beträgt 23 Stunden und 50 Minuten. Zwei Zeitangaben passen nicht genau dazu: Laut den Netzwerkdaten von Ookla begann der Ausfall gegen 17:25 UTC, und Microsofts erste öffentliche Bestätigung kam 94 Minuten nach dem von Microsoft angegebenen Beginn. Auch nach der Entwarnung am Samstag überwachte Microsoft noch verzögerte E-Mails; dafür galt ein E-Mail-Zeitlimit, das das Unternehmen auf 48 Stunden verlängert hatte.12761030124
Wer den Tag auffing – und wer dafür bezahlt
Downdetector verzeichnete mehr als 7.4 Millionen Störungsmeldungen aus über 70 Ländern und Gebieten. Der Höchststand lag bei fast 20,000 Meldungen pro Minute. Das sind Beschwerden, keine Zahl betroffener Personen, und Microsoft hat nicht mitgeteilt, wie viele Menschen oder Organisationen den Dienst verloren. Die Folgen waren dennoch konkret. Mitarbeiter des britischen NHS griffen wieder auf Papierakten zurück. Irlands HSE nahm Healthmail offline und wies Hausärzte und Apotheker an, Rezepte im Rahmen des GMS-Systems auf Papier auszustellen. Gerichte und Behörden in den USA, Krankenhäuser in Kanada und Bahnreisende waren von Störungen betroffen. El País berichtet, dass in Japan, Australien und Malaysia kritische Dienste unterbrochen werden mussten. Thailands Krungthai Bank verlor den E-Mail-Dienst und verwies Kunden mit dringenden Anliegen an ihr Callcenter; Auswirkungen auf das Mobile Banking wurden nicht bestätigt. Ein Aktienmakler in Townsville warnte, verzögerte Handelsaufträge könnten Kunden schaden, falls sich die Märkte stark bewegten. Großbritanniens Minister für Cybersicherheit erklärte, Notrufe unter 999, die Einsatzdienste des NHS 111 und der Verkehrsbetrieb seien weitergelaufen.1215262561131
Am Tag der Veröffentlichung von Microsofts Erklärung debattierte das britische Unterhaus unter der Leitung von Minister Ian Murray über den Ausfall. Aus den verfügbaren Aufzeichnungen geht nicht hervor, welche Zusagen – falls überhaupt welche – aus der Debatte hervorgingen. Deutschlands Bundesamt für Sicherheit in der Informationstechnik (BSI) hatte den Ausfall bereits als großes Problem für die Wirtschaft und als Warnsignal für die digitale Abhängigkeit bezeichnet. Schleswig-Holsteins Digitalminister Dirk Schrödter forderte mehr digitale Resilienz im öffentlichen Sektor.3873905
Der deutsche IT-Anwenderverband VOICE fordert Unternehmen auf, ihre Ausfallzeiten zu dokumentieren und bis Ende Dezember Ansprüche auf Servicegutschriften geltend zu machen. Außerdem verlangt er von Microsoft Verfügbarkeitszusagen, deren Nichteinhaltung echte Konsequenzen hat. Eine Servicegutschrift ist ein Rabatt auf die Abonnementgebühr. Sie entschädigt weder für verlorene Arbeitsstunden noch für verzögerte Rezepte oder verpasste Bestellungen. Experten sagten dem australischen Sender ABC, Microsoft werde Unternehmen voraussichtlich nicht für Produktivitätsverluste entschädigen. Schadenssummen sind Schätzungen. Analyst Mario De Cicco bezifferte die versicherten Schäden auf $300 Millionen bis $500 Millionen und schätzte die Auswirkungen auf Versicherer als begrenzt ein. Il Sole 24 Ore berichtete von Schätzungen in Höhe von mindestens mehreren Hundert Millionen Euro. Die Microsoft-Aktie bewegte sich kaum: Sie schloss am 11. November bei $521.13, am 13. November bei $523.88 und am 16. November bei $517.99. Nichts stellt einen Zusammenhang zwischen diesem Rückgang und dem Ausfall her.38838512386378
Bekannt
- Microsoft führt den Ausfall auf einen Fehler im Juli in einem Gateway zurück, der durch Teams-Failover-Datenverkehr ausgelöst wurde, während ein Teil der Kapazität bereits offline war, und durch ein Code-Rollback behoben wurde. 348
- Microsoft zufolge war der Dienst am 14. November für alle noch betroffenen Kunden und Regionen wiederhergestellt. 2726
Unbekannt
- Wie der Fehler monatelang im Produktivbetrieb unentdeckt blieb und warum die regionale Abschottung versagte.
- Wie viele Menschen und Organisationen den Dienst verloren, wie hoch die Gesamtschäden waren und ob Microsoft Servicegutschriften gewährt hat.
Als Nächstes
- Microsofts Abschlussbericht, dessen Veröffentlichung für Freitag, den 20. November, geplant ist, sollte die vollständigen Maßnahmen zur Vorbeugung darlegen.
- Ob Unternehmen die von VOICE empfohlenen Ansprüche auf Gutschriften bis Ende Dezember geltend machen.
Chronologie
Tag 8 · 5 Berichte
Laut Microsoft endet zu diesem Zeitpunkt die aktive Beeinträchtigung der Kunden.
Microsoft teilt mit, dass der Dienst für die übrigen betroffenen Kunden und Regionen wiederhergestellt ist, und überwacht weiterhin verzögerte E-Mails.
Vorläufiger Bericht veröffentlicht; Lamanna entschuldigt sich auf X.
Quellen244
3 ältere Beiträge als Hintergrund gelesen.46 Medien ohne Datumsangabe:
Fortlaufendes Thema · Bericht 5 von 5
Alle Quellen nach Medium
392 Quellen aus 244 Medien· Meistzitierte zuerst
CBS Los Angelescbsnews.com13
- Zuerst berichtet
- Microsoft says it has "restored" service and and addressed "underlying issue" after worldwide outage
- Microsoft says it has "restored" service and and addressed "underlying issue" after worldwide outage
- Microsoft battling major worldwide outage
- Microsoft battling major worldwide outage
- Microsoft battling major worldwide outage
- Microsoft battling major worldwide outage
- Microsoft battling major worldwide outage
- Microsoft says it is seeing "continued recovery progress" as it battles major worldwide outage
- Microsoft says it is seeing "continued recovery progress" as it battles major worldwide outage
- Microsoft outage improving; Outlook, Teams, 365 service restoring Friday morning
- Microsoft says it is seeing "continued recovery progress" as it battles major worldwide outage
- LA County Sheriff's communications disrupted amid Microsoft outage
- Widespread Microsoft outage leaves users unable to send or receive Outlook emails
Al Jazeeraaljazeera.com9
- Zuerst berichtet
- Microsoft says affected services fully recovered following worldwide outage
- Microsoft hit by global outages: What happened and why?
- Live: Microsoft struggles to restore services as outage hits global users
- You haven’t got mail: Global Microsoft outage disrupts services
- Microsoft services begin recovering after global outage
- Microsoft says services still returning amid widespread outage
- Microsoft outage hits tens of thousands of users
- Microsoft outage hits tens of thousands of users
- Microsoft hit by global outages: What happened and why? | Technology News
CTV News9 Videos9
- Zuerst berichtet
- Carney rejects Trump's auto demands | CTV News Ottawa at Six for November 14, 2026 · Video
- ‘Pretty extraordinary’ | Microsoft services returning in parts of the world but outages persist · Video
- Microsoft reports service gradually being restored · Video
- Microsoft recovering from global outage · Video
- Microsoft hit by worldwide outage | CTV Your Morning for Nov. 13, 2026 · Video
- U.S. FAA lifts nationwide ground stop | CTV News Vancouver Island Friday November 13, 2026 · Video
- Richard Neil guilty and massive Microsoft outage | CTV News Kitchener at 6 for Nov. 13, 2026 · Video
- Microsoft 365 outage impacts Outlook, Teams worldwide · Video
- Regina councillor denies sharing anti-Islamic conspiracy | CTV New Regina for Nov. 12, 2026 · Video
Google News Australia (AU:en)theguardian.com9
- Zuerst berichtet
- Microsoft identifies months-old bug as a root cause of global outage
- Microsoft says services fully restored after global outage hits governments
- Microsoft outage hits hospitals, GPs, schools and police across UK - The Guardian
- Microsoft outage live: Outlook and Teams failures hit government agencies, schools and businesses - The Guardian
- Microsoft outage live: Microsoft’s global outage will cost Australia billions, expert says; US tech giants and Indian airlines also affected - The Guardian
- Microsoft ‘restarting’ as outage impacts global users, with Outlook and Teams affected | Microsoft | The Guardian
- A global Microsoft 365 outage has hit thousands – what happened and when will it be fixed? - The Guardian
- Microsoft outage live: Microsoft scrambling for new ways to fix global outage after initial attempts fail to restore Outlook services | Microsoft | The Guardian
- ‘Looks like we’ll have to talk to people’: Australia sent back to time before email with major Microsoft outage | Microsoft | The Guardian
BBC Newsbbc.co.uk1 Video8
- Zuerst berichtet
- Microsoft 'deeply sorry' for global outage after almost 24 hours of disruption
- Watch: How a server outage took down Microsoft Teams and Outlook
- Microsoft outage: Yorkshire councils and police hit - BBC
- How Microsoft outage is affecting police, airports and hospitals in the north-west of England
- What we know about the global Microsoft outage
- What happened overnight with the Microsoft global outage
- Microsoft says attempts to fix global outage not going 'as expected' - BBC
- Chaos as Microsoft outage hits corporate and emergency services globally · Video
ABC Newsabcnews.com5 Videos7
- Zuerst berichtet
- Microsoft identifies issues leading to global Outlook outage
- Microsoft Outlook outage stretches on for hours
- Microsoft Outlook Outage: Email Slowly Returning. What You Need to Know - November 13 · Video
- Microsoft apologizes for global outage that impacted millions · Video
- Workers nationwide impacted by Microsoft outage · Video
- Microsoft reports issues with Outlook and Teams · Video
- Outlook down for thousands amid Microsoft outage across North America · Video
Deutsche Welledw.com7
- Zuerst berichtet
- Microsoft says all services working again
- Microsoft says all services working again
- Dünya genelinde erişim yok: Microsoft "Siber saldırı kanıtı yok" dedi - DW.com
- Interrupción mundial afecta aplicación de mensajería Outlook de Microsoft - DW.com
- Microsoft works to restore Outlook and Teams after global outage
- Microsoft works to restore Outlook and Teams after global outage
- Microsoft reports mass outages in US, impacting customer accessibility
Google News Singapore (SG:en)channelnewsasia.com7
- Zuerst berichtet
- Singapore government’s Outlook services fully restored after global Microsoft outage - CNA
- 'Microsoft-sponsored holiday': Singapore workers scramble to cope with global outage - CNA
- Some Singapore government systems affected by Microsoft outage: GovTech - CNA
- Microsoft 365, Outlook down for thousands of users - CNA
- Microsoft outage drags on for hours, disrupting Outlook, Teams for thousands, including Singapore users - CNA
- Microsoft Outlook outage: Disruptions hit workers worldwide amid setback in recovery efforts - CNA
- Australia's spy agency, federal police hit by Microsoft outage - CNA
ABC News (Australia)abc.net.au1 Video6
- Zuerst berichtet
- Outlook outage expected to cost Australian businesses billions of dollars
- How the Microsoft outage is affecting Australians
- Microsoft outage affects users worldwide, impacting Teams, Outlook and Copilot - ABC News
- Microsoft outage slashes productivity - ABC listen
- Microsoft unlikely to compensate for loss of productivity from outage, experts say - ABC News
- Microsoft access being restored after global disruptions | ABC NEWS · Video
BBCbbc.com5
- Zuerst berichtet
- Microsoft says it is 'deeply sorry' for global outage after almost 24 hours of disruption
- مباشر مايكروسوفت تسعى لاستعادة خدماتها بعد عطل عالمي
- Outlook: falha na Microsoft deixa email fora do ar email e afeta Teams, Microsoft 365 e outras plataformas; o que se sabe
- Una falla en Microsoft deja fuera de servicio el correo electrónico de Outlook y otras plataformas
- Microsoft outage sees Teams, Outlook and Copilot suffer 'connectivity issues'
Google News France (FR:fr)franceinfo.fr5
- Zuerst berichtet
- Outlook et Teams perturbés, pas de cyberattaque d'après Microsoft... Ce que l'on sait de la panne mondiale qui touche le géant américain depuis jeudi - franceinfo
- Une panne mondiale touche la messagerie Outlook de Microsoft - franceinfo
- DIRECT. Crise sociale : la réunion entre les syndicats de fonctionnaires et le Premier ministre a débuté
- Une panne mondiale touche la messagerie Outlook de Microsoft, "aucun signe d'action malveillante ou de cyberattaque" n'a été trouvé à ce stade - franceinfo
- DIRECT. Panne mondiale de Microsoft : "Des résultats positifs en matière de stabilité du service" constatés par le géant américain – franceinfo
Wie ausgestrahlt
- A bug Microsoft shipped in July sat hidden for months, then took email down worldwide.
- At the worst point, more than eight in ten of the servers that front Outlook, Teams and the rest of Microsoft 365 stopped responding. Health services went back to paper, and users in more than seventy countries lost their mail for nearly a full day.
- On November thirteenth we reported that Microsoft's attempts to bring servers back kept faltering, full restoration wasn't confirmed, and the cause was unknown. Since then, Microsoft has restored service and published a preliminary report that traces it all to a July defect.
- What Microsoft still hasn't explained is how that defect ran in production for months without anyone catching it, and nobody has settled who pays for the lost day.
- The defect came from a fix Microsoft wrote in July for its networking gateway servers, the machines that sit in front of Exchange Online, Outlook, Teams and Copilot.
- Charles Lamanna, the executive who runs Copilot, agents and platform, said that under certain load it caused servers to become overwhelmed and unresponsive. The report describes lock contention inside an internal process, where tasks jam waiting on each other until they eat up a server's processing power and memory.
- For months it did nothing. Then, last Thursday, three things lined up.
- First, the dormant defect. Second, a planned Teams failover about fifteen hours earlier pushed extra traffic onto the shared gateway. Third, nearly fourteen percent of gateway capacity was already offline from an unrelated problem. Then peak U.S. traffic hit Thursday, and requests piled up until servers froze.
- Microsoft's own safety systems then spread the damage. Automatic redirection moved requests off failing servers onto healthy ones, which carried the same defect and failed in turn. The barriers meant to keep trouble inside one region didn't hold.
- In under two hours the failure reached almost the entire system. By Thursday evening in Europe, more than eighty percent of the gateway servers were unresponsive. Microsoft calls the pattern thundering herds.
- That same pattern explains why the repairs kept failing. Each time servers came back, the traffic waiting for them knocked them over again.
- The fix was a code rollback that returned the affected code to its last working version. Engineers pulled servers out of service, restarted them, and brought them back in batches instead of all at once.
- Microsoft says it has since added capacity, improved monitoring and put in new safeguards. The preliminary report doesn't spell those changes out.
- Microsoft says the outage wasn't a cyberattack, malicious activity or an AI agent gone wrong. Lamanna apologized in a long post on X, saying the company was deeply sorry and recognizes what this did to customers' normal business.
- Microsoft's final report is due Friday, and we'll be reading it for how this bug slipped through. Subscribe to this channel to follow it, and the story continues at heyday dot news.
- Microsoft now puts active customer impact at twenty-three hours and fifty minutes.
- The clock starts at eleven-twenty Thursday morning Eastern and stops at ten past eleven Friday. Microsoft first acknowledged mailbox failures about ninety minutes after that start. The all-clear for the last customers came early Saturday, with delayed mail still being watched.
- Microsoft also stretched its email timeout window to forty-eight hours so queued messages wouldn't be lost.
- Published figures for the length run from more than eighteen hours, to twenty, to more than twenty-four, to nearly thirty-eight. They're measuring different things, from the hours customers were hit to the final all-clear. Microsoft's own impact window is twenty-three hours and fifty minutes.
- Microsoft's explanation sharpened over the week. On Friday it blamed only a problem from an earlier network capacity upgrade, and said it couldn't say when recovery would finish.
- Monday's account is preliminary, and it comes from Microsoft alone. No outside investigator has checked it. The capacity already offline is put at nearly fourteen percent or more than fourteen, and the report's own wording applies the eighty percent figure to gateway servers.
- NHS staff in England went back to paper records.
- Ireland's health service took Healthmail offline and told GPs and pharmacists to write paper prescriptions. U.S. courts and government offices were disrupted, along with Canadian hospitals and rail passengers. Japan, Australia and Malaysia had to interrupt critical services.
- In Thailand, Krungthai Bank lost email and sent urgent customers to its call center, with no confirmed hit to mobile banking. A stockbroker in Townsville warned delayed trade instructions could hurt clients if markets moved sharply. Britain's cyber minister said 999 calls, frontline NHS 111 services and transport kept running.
- Users filed more than seven point four million problem reports worldwide, peaking near twenty thousand a minute, from more than seventy countries and territories. Those are complaints, and Microsoft hasn't said how many people or organizations actually lost service.
- Experts in Australia say Microsoft is unlikely to compensate businesses for lost productivity.
- On the day Microsoft published its explanation, Britain's House of Commons debated the outage, led by minister Ian Murray. Germany's cyber-security agency had already called it an alarm signal about digital dependence, and Schleswig-Holstein's digital minister Dirk Schrödter called for more resilience in the public sector.
- Germany's IT user association, VOICE, is telling companies to document their downtime and file service-credit claims, and it wants availability commitments from Microsoft with real consequences. A service credit is a discount on the subscription fee. It doesn't cover lost hours, delayed prescriptions or missed orders.
- Loss figures are still estimates. One analyst put insured losses at three hundred to five hundred million dollars, with limited impact on insurers, and an Italian estimate ran to hundreds of millions of euros.
- Microsoft's stock barely moved. It closed at five hundred twenty-one dollars on November eleventh, about five twenty-four on Friday, and about five eighteen on Monday. Nothing ties that dip to the outage.
- Microsoft's final report is due Friday, November twentieth. It has to show how the defect sat undetected in production for months, why the regional barriers failed, and what Microsoft will change. Companies in Germany are being told to file their credit claims before the end of December.
Übersetzung aktualisiert:
Kürzlich ausgestrahlt






Auf Englisch verfügbar
Castle hill mall stabbing: Two boys seriously injured at Castle Towers