Zum Inhalt springen
Jetzt

Technologie · Microsoft-365-AusfallFortlaufendes Thema · Bericht 5 von 5

Microsoft führt den weltweiten Ausfall auf einen Fehler im eigenen Code aus dem Juli zurück. Das Unternehmen hat nicht erklärt, warum der Fehler unbemerkt blieb.

Microsofts vorläufigem Bericht zufolge legten ein im Juli ausgelieferter Fehler, eine routinemäßige Verlagerung des Teams-Datenverkehrs und eine bereits reduzierte Kapazität zusammen mehr als 80% der Gatewayserver lahm. Der Bericht erklärt, was schiefgelaufen ist. Er sagt nicht, warum niemand den Fehler bemerkte, und klärt nicht, wer dafür bezahlt.

Verfasst 8 Min. Lesezeit · 392 Quellen

Video in der Originalsprache

Aus dem englischen Original übersetzt.

Was sich seit unserem letzten Bericht geändert hat

4 Tage später

Damals

Microsoft schützt verzögerte E-Mails 48 Stunden lang, während die Wiederherstellung nach dem Ausfall unvollständig bleibt

Was wir als offen bezeichnet hatten

  1. Die auslösende Ursache, geprüfte Gesamtzahlen zu betroffenen Nutzern und Organisationen, die Gesamtschäden und die vollständigen Wiederherstellungszeiten der Connectoren sind weiterhin ungeklärt.

    Noch offen

    Microsofts vorläufige Darstellung liefert nun eine Ursache: Ein Gateway-Fehler aus dem Juli wurde durch eine Verlagerung des Teams-Datenverkehrs ausgelöst, während die Kapazität bereits reduziert war. Diese Darstellung wurde nicht unabhängig überprüft. Geprüfte Zahlen zu betroffenen Nutzern und Organisationen, Gesamtschäden sowie die Wiederherstellungszeiten der Microsoft-365-Connectoren von OpenAI und Anthropic liegen weiterhin nicht vor.⁠3⁠4

  2. Ob die wiederhergestellte Kapazität mit der Rückkehr des Datenverkehrs weiterhin reagiert – und ob Microsofts angekündigter Vorfallsbericht erklärt, warum wiederholte Wiederherstellungsversuche scheiterten.

    Beantwortet

Jetzt

Microsofts vorläufigem Bericht zufolge legten ein im Juli ausgelieferter Fehler, eine routinemäßige Verlagerung des Teams-Datenverkehrs und eine bereits reduzierte Kapazität zusammen mehr als 80% der Gatewayserver lahm. Der Bericht erklärt, was schiefgelaufen ist. Er sagt nicht, warum niemand den Fehler bemerkte, und klärt nicht, wer dafür bezahlt.

Seitdem beantwortet

  1. Ob die wiederhergestellte Kapazität mit der Rückkehr des Datenverkehrs weiterhin reagiert – und ob Microsofts angekündigter Vorfallsbericht erklärt, warum wiederholte Wiederherstellungsversuche scheiterten.

    Lamanna sagte, frühere Wiederherstellungsversuche seien gescheitert, weil der auf die zurückkehrenden Server wartende Datenverkehr sie erneut überlastet habe. Microsoft löste das Problem durch ein Rollback des Codes und die gruppenweise Wiederinbetriebnahme der Server. Nach Angaben des Unternehmens hält der Dienst seit der am 14. November bekanntgegebenen Wiederherstellung.⁠4⁠8⁠27

Was sich bewegt hat

  • Laut Microsoft endet zu diesem Zeitpunkt die aktive Beeinträchtigung der Kunden.
  • Microsoft teilt mit, dass der Dienst für die übrigen betroffenen Kunden und Regionen wiederhergestellt ist, und überwacht weiterhin verzögerte E-Mails.
  • Vorläufiger Bericht veröffentlicht; Lamanna entschuldigt sich auf X.

Microsoft hat nun die Frage beantwortet, was während des Ausfalls in der vergangenen Woche schiefgelaufen ist. Damit bleibt eine schwierigere Frage: Wie konnte ein von Microsoft selbst ausgelieferter Fehler monatelang im Produktivbetrieb laufen, ohne dass ihn jemand bemerkte, und dann innerhalb von weniger als zwei Stunden den E-Mail-Verkehr für einen Großteil der Welt lahmlegen?

Am 13. November berichteten wir, dass Microsofts Versuche, den Dienst wiederherzustellen, immer wieder scheiterten, dass das Unternehmen das Zeitlimit für E-Mails verlängert hatte, um Nachrichten in der Warteschlange zu schützen, dass die vollständige Wiederherstellung nicht bestätigt war und dass die Ursache unbekannt war. Seitdem hat Microsoft mitgeteilt, dass der Dienst für alle noch betroffenen Kunden und Regionen wiederhergestellt ist. Am Montag, dem 16. November, veröffentlichte das Unternehmen einen vorläufigen Bericht zum Vorfall. Darin führt es den Ausfall auf einen Fehler in einem Juli-Update für die Netzwerk-Gatewayserver zurück, die Exchange Online, Outlook, Teams, Copilot und anderen Microsoft-365-Diensten vorgeschaltet sind.⁠3⁠27

23h50mVon Microsoft angegebenes Zeitfenster der aktiven Kundenbeeinträchtigung 38
80%+Anteil der Gatewayserver, die am Höhepunkt nicht reagierten 38
~14%Gatewaykapazität, die bereits zuvor offline war 32
7.4m+Weltweite Störungsmeldungen bei Downdetector, keine Personenzahl 1230

Drei zusammenwirkende Fehler

Charles Lamanna, Microsofts Executive Vice President für Copilot, Agents und Plattform, legte die Erklärung in einem ausführlichen Beitrag auf X dar, den er als gekürzte Fassung des im Microsoft-365-Admin-Center eingereichten Berichts bezeichnete. Er sagte, der Fehler sei auf eine eigens für die Gatewayserver geschriebene Korrektur zurückzuführen. Unter bestimmten Lastbedingungen habe er dazu geführt, dass die Server überlastet wurden und nicht mehr reagierten. Medienberichte zum Bericht beschreiben den Fehler als Konkurrenz um Sperren: Aufgaben in einem internen Prozess geraten ins Stocken, während sie aufeinander warten, bis sie den Prozessor und den Arbeitsspeicher eines Servers erschöpfen. iTnews berichtet, dass der Fehler mehr als drei Monate lang unentdeckt in der Gateway-Flotte schlummerte.⁠373⁠4⁠372⁠8

Der Fehler allein richtete nichts an. Laut dem Bericht waren zwei weitere Bedingungen erforderlich. Etwa 15 Stunden vor dem Ausfall leitete ein geplanter Teams-Failover auf die Netzwerkinfrastruktur von Exchange Online zusätzlichen Datenverkehr auf das gemeinsam genutzte Gateway. Lamanna beschrieb dies als Ausfall eines von zwei Netzwerk-Gateways für Teams, wodurch das primäre Gateway überlastet wurde. Unabhängig davon hatte ein anderes Problem am Vortag bereits einen Teil der Gatewaykapazität außer Betrieb genommen. Als am Donnerstag die Spitzenlast aus den USA eintraf, stauten sich die Anfragen, bis die Server nicht mehr reagierten.⁠3⁠2⁠4

Die Medien sind sich uneinig darüber, wie groß dieser Kapazitätsanteil war. BleepingComputer beziffert ihn in seiner Berichterstattung über den vorläufigen Bericht auf knapp 14% der Gatewaykapazität. The Guardian zitiert Lamanna mit mehr als 14% der Serverkapazität. Die beiden Zahlen liegen nahe beieinander; im Bericht selbst geht es um das Gateway.⁠3⁠2

Microsofts eigene Schutzsysteme verschlimmerten die Lage dann noch. Durch automatische Umleitung wurden Anfragen von ausfallenden Servern auf funktionierende Server verlagert, die denselben Fehler aufwiesen, und fielen ebenfalls aus. Die Barrieren, die Probleme auf eine einzelne Region beschränken sollten, hielten nicht stand. Laut der Darstellung von n-tv zum Bericht erfasste der Ausfall in weniger als zwei Stunden fast das gesamte System. Bis Donnerstagabend mitteleuropäischer Zeit reagierten mehr als 80% der betreffenden Rechner nicht mehr. GeekWire berichtet, Microsoft bezeichne diese Dynamik als «thundering herds».⁠5⁠371

Auch die Angabe von 80% wurde auf zwei Arten wiedergegeben. BleepingComputer spricht von mehr als 80% der Netzwerk-Gatewayserver, während El País Lamanna mit der Aussage zitiert, mehr als 80% der weltweit von Microsoft verwalteten Server seien betroffen gewesen. Der Wortlaut des Berichts bezieht sich laut den Medienberichten auf Gatewayserver. Ein Ausfall von vier Fünfteln aller von Microsoft betriebenen Systeme wäre ein ganz anderer und weitaus größerer Vorfall.⁠3⁠6

Wir bedauern die Auswirkungen auf alle unsere Kunden zutiefst und erkennen an, dass dies ihren normalen Geschäftsbetrieb beeinträchtigt hat.

Charles Lamanna 373

Derselbe Ablauf erklärt, warum die Reparaturversuche am Donnerstag und Freitag immer wieder scheiterten. Lamanna sagte, jedes Mal, wenn Server wieder hochgefahren wurden, habe der auf sie wartende Datenverkehr sie erneut überlastet. Erfolgreich war schließlich ein Code-Rollback, durch den der betroffene Code auf den letzten funktionierenden Stand zurückgesetzt wurde. Die Ingenieure nahmen Server außer Betrieb, starteten sie neu und schalteten sie gruppenweise statt alle auf einmal wieder zu. Microsoft zufolge hat das Unternehmen seitdem Kapazitäten hinzugefügt, die Überwachung verbessert und Schutzmaßnahmen eingeführt. Der vorläufige Bericht führt diese Änderungen in der Berichterstattung jedoch nicht im Einzelnen auf. Microsoft zufolge war der Ausfall weder ein Cyberangriff noch eine böswillige Aktivität oder eine Fehlfunktion eines KI-Agenten.⁠4⁠8⁠3⁠33

Im Laufe der Woche hat sich die Darstellung verändert. Am Freitag verwies Microsoft lediglich auf ein Problem, das bei einem früheren Ausbau der Netzwerkkapazität eingeführt worden sei, erklärte, die Dienste erholten sich weitgehend, und sagte, man wisse nicht, wann die Wiederherstellung abgeschlossen sein werde. Die Darstellung vom Montag ist deutlich konkreter, aber weiterhin vorläufig und stammt allein von Microsoft. Keine externe Untersuchung hat sie überprüft.⁠1⁠15

Vom Juli-Update zur Erklärung am Montag

  1. Juli 2026

    Ein Update für die Gatewayserver wird ausgeliefert und enthält einen latenten Fehler.

    35
  2. Do., 12. Nov., ~01:20 UTC

    Eine geplante Teams-Umschaltung auf ein Failover-System leitet zusätzlichen Datenverkehr auf das gemeinsam genutzte Exchange-Online-Gateway.

    3
  3. Do., 12. Nov., 11:20 Uhr ET

    Laut Microsoft beginnt zu diesem Zeitpunkt die aktive Beeinträchtigung der Kunden.

    3
  4. Do., 12. Nov., 17:54 GMT

    Microsoft bestätigt erstmals, dass Nutzer in Amerika ihre Exchange-Online-Postfächer nicht erreichen können.

    1
  5. Fr., 13. Nov., 11:10 Uhr ET

    Laut Microsoft endet zu diesem Zeitpunkt die aktive Beeinträchtigung der Kunden.

    3
  6. Sa., 14. Nov.

    Microsoft teilt mit, dass der Dienst für die übrigen betroffenen Kunden und Regionen wiederhergestellt ist, und überwacht weiterhin verzögerte E-Mails.

    2710
  7. Mo., 16. Nov.

    Vorläufiger Bericht veröffentlicht; Lamanna entschuldigt sich auf X.

    34

Das von Microsoft angegebene Zeitfenster erklärt auch, warum die veröffentlichten Dauerangaben voneinander abweichen. CBC sprach von mehr als 24 Stunden, MyBroadband von 20 Stunden, El País von mehr als 18 Stunden und Frandroid von knapp 38 Stunden. Frandroid berechnete die Dauer vom Vorfall bei Exchange Online, EX1550543, der nach Angaben des Mediums am Donnerstag um 17:17 Uhr eröffnet wurde, bis zur Wiederherstellungsmitteilung am Samstag. Die anderen bezogen sich auf die Beeinträchtigung der Kunden oder auf Momentaufnahmen im Verlauf des Ausfalls. Das von Microsoft selbst angegebene Beeinträchtigungsfenster beträgt 23 Stunden und 50 Minuten. Zwei Zeitangaben passen nicht genau dazu: Laut den Netzwerkdaten von Ookla begann der Ausfall gegen 17:25 UTC, und Microsofts erste öffentliche Bestätigung kam 94 Minuten nach dem von Microsoft angegebenen Beginn. Auch nach der Entwarnung am Samstag überwachte Microsoft noch verzögerte E-Mails; dafür galt ein E-Mail-Zeitlimit, das das Unternehmen auf 48 Stunden verlängert hatte.⁠12⁠7⁠6⁠10⁠30⁠124

Wer den Tag auffing – und wer dafür bezahlt

Downdetector verzeichnete mehr als 7.4 Millionen Störungsmeldungen aus über 70 Ländern und Gebieten. Der Höchststand lag bei fast 20,000 Meldungen pro Minute. Das sind Beschwerden, keine Zahl betroffener Personen, und Microsoft hat nicht mitgeteilt, wie viele Menschen oder Organisationen den Dienst verloren. Die Folgen waren dennoch konkret. Mitarbeiter des britischen NHS griffen wieder auf Papierakten zurück. Irlands HSE nahm Healthmail offline und wies Hausärzte und Apotheker an, Rezepte im Rahmen des GMS-Systems auf Papier auszustellen. Gerichte und Behörden in den USA, Krankenhäuser in Kanada und Bahnreisende waren von Störungen betroffen. El País berichtet, dass in Japan, Australien und Malaysia kritische Dienste unterbrochen werden mussten. Thailands Krungthai Bank verlor den E-Mail-Dienst und verwies Kunden mit dringenden Anliegen an ihr Callcenter; Auswirkungen auf das Mobile Banking wurden nicht bestätigt. Ein Aktienmakler in Townsville warnte, verzögerte Handelsaufträge könnten Kunden schaden, falls sich die Märkte stark bewegten. Großbritanniens Minister für Cybersicherheit erklärte, Notrufe unter 999, die Einsatzdienste des NHS 111 und der Verkehrsbetrieb seien weitergelaufen.⁠12⁠15⁠26⁠25⁠6⁠11⁠31

Am Tag der Veröffentlichung von Microsofts Erklärung debattierte das britische Unterhaus unter der Leitung von Minister Ian Murray über den Ausfall. Aus den verfügbaren Aufzeichnungen geht nicht hervor, welche Zusagen – falls überhaupt welche – aus der Debatte hervorgingen. Deutschlands Bundesamt für Sicherheit in der Informationstechnik (BSI) hatte den Ausfall bereits als großes Problem für die Wirtschaft und als Warnsignal für die digitale Abhängigkeit bezeichnet. Schleswig-Holsteins Digitalminister Dirk Schrödter forderte mehr digitale Resilienz im öffentlichen Sektor.⁠387⁠390⁠5

Der deutsche IT-Anwenderverband VOICE fordert Unternehmen auf, ihre Ausfallzeiten zu dokumentieren und bis Ende Dezember Ansprüche auf Servicegutschriften geltend zu machen. Außerdem verlangt er von Microsoft Verfügbarkeitszusagen, deren Nichteinhaltung echte Konsequenzen hat. Eine Servicegutschrift ist ein Rabatt auf die Abonnementgebühr. Sie entschädigt weder für verlorene Arbeitsstunden noch für verzögerte Rezepte oder verpasste Bestellungen. Experten sagten dem australischen Sender ABC, Microsoft werde Unternehmen voraussichtlich nicht für Produktivitätsverluste entschädigen. Schadenssummen sind Schätzungen. Analyst Mario De Cicco bezifferte die versicherten Schäden auf $300 Millionen bis $500 Millionen und schätzte die Auswirkungen auf Versicherer als begrenzt ein. Il Sole 24 Ore berichtete von Schätzungen in Höhe von mindestens mehreren Hundert Millionen Euro. Die Microsoft-Aktie bewegte sich kaum: Sie schloss am 11. November bei $521.13, am 13. November bei $523.88 und am 16. November bei $517.99. Nichts stellt einen Zusammenhang zwischen diesem Rückgang und dem Ausfall her.⁠388⁠385⁠12⁠386⁠378

Bekannt

  • Microsoft führt den Ausfall auf einen Fehler im Juli in einem Gateway zurück, der durch Teams-Failover-Datenverkehr ausgelöst wurde, während ein Teil der Kapazität bereits offline war, und durch ein Code-Rollback behoben wurde. 348
  • Microsoft zufolge war der Dienst am 14. November für alle noch betroffenen Kunden und Regionen wiederhergestellt. 2726

Unbekannt

  • Wie der Fehler monatelang im Produktivbetrieb unentdeckt blieb und warum die regionale Abschottung versagte.
  • Wie viele Menschen und Organisationen den Dienst verloren, wie hoch die Gesamtschäden waren und ob Microsoft Servicegutschriften gewährt hat.

Als Nächstes

  • Microsofts Abschlussbericht, dessen Veröffentlichung für Freitag, den 20. November, geplant ist, sollte die vollständigen Maßnahmen zur Vorbeugung darlegen.
  • Ob Unternehmen die von VOICE empfohlenen Ansprüche auf Gutschriften bis Ende Dezember geltend machen.

Chronologie

Tag 8 · 5 Berichte

Chronologie der Geschichte
  1. Laut Microsoft endet zu diesem Zeitpunkt die aktive Beeinträchtigung der Kunden.

  2. Microsoft teilt mit, dass der Dienst für die übrigen betroffenen Kunden und Regionen wiederhergestellt ist, und überwacht weiterhin verzögerte E-Mails.

  3. Vorläufiger Bericht veröffentlicht; Lamanna entschuldigt sich auf X.

Quellen244

Von den hier zitierten Quellen veröffentlichte flavorist.com zuerst, 6 Tage vor der Ausstrahlung dieses Berichts. 196 weitere Medien folgten.

3 ältere Beiträge als Hintergrund gelesen.46 Medien ohne Datumsangabe:Workhorse Group, Inc.apnews.comcloud.microsoftreddit.comAFP.comAnadolu

Fortlaufendes Thema · Bericht 5 von 5

Alle Quellen nach Medium

392 Quellen aus 244 Medien· Meistzitierte zuerst

Wie ausgestrahlt
  1. A bug Microsoft shipped in July sat hidden for months, then took email down worldwide.
  2. At the worst point, more than eight in ten of the servers that front Outlook, Teams and the rest of Microsoft 365 stopped responding. Health services went back to paper, and users in more than seventy countries lost their mail for nearly a full day.
  3. On November thirteenth we reported that Microsoft's attempts to bring servers back kept faltering, full restoration wasn't confirmed, and the cause was unknown. Since then, Microsoft has restored service and published a preliminary report that traces it all to a July defect.
  4. What Microsoft still hasn't explained is how that defect ran in production for months without anyone catching it, and nobody has settled who pays for the lost day.
  5. The defect came from a fix Microsoft wrote in July for its networking gateway servers, the machines that sit in front of Exchange Online, Outlook, Teams and Copilot.
  6. Charles Lamanna, the executive who runs Copilot, agents and platform, said that under certain load it caused servers to become overwhelmed and unresponsive. The report describes lock contention inside an internal process, where tasks jam waiting on each other until they eat up a server's processing power and memory.
  7. For months it did nothing. Then, last Thursday, three things lined up.
  8. First, the dormant defect. Second, a planned Teams failover about fifteen hours earlier pushed extra traffic onto the shared gateway. Third, nearly fourteen percent of gateway capacity was already offline from an unrelated problem. Then peak U.S. traffic hit Thursday, and requests piled up until servers froze.
  9. Microsoft's own safety systems then spread the damage. Automatic redirection moved requests off failing servers onto healthy ones, which carried the same defect and failed in turn. The barriers meant to keep trouble inside one region didn't hold.
  10. In under two hours the failure reached almost the entire system. By Thursday evening in Europe, more than eighty percent of the gateway servers were unresponsive. Microsoft calls the pattern thundering herds.
  11. That same pattern explains why the repairs kept failing. Each time servers came back, the traffic waiting for them knocked them over again.
  12. The fix was a code rollback that returned the affected code to its last working version. Engineers pulled servers out of service, restarted them, and brought them back in batches instead of all at once.
  13. Microsoft says it has since added capacity, improved monitoring and put in new safeguards. The preliminary report doesn't spell those changes out.
  14. Microsoft says the outage wasn't a cyberattack, malicious activity or an AI agent gone wrong. Lamanna apologized in a long post on X, saying the company was deeply sorry and recognizes what this did to customers' normal business.
  15. Microsoft's final report is due Friday, and we'll be reading it for how this bug slipped through. Subscribe to this channel to follow it, and the story continues at heyday dot news.
  16. Microsoft now puts active customer impact at twenty-three hours and fifty minutes.
  17. The clock starts at eleven-twenty Thursday morning Eastern and stops at ten past eleven Friday. Microsoft first acknowledged mailbox failures about ninety minutes after that start. The all-clear for the last customers came early Saturday, with delayed mail still being watched.
  18. Microsoft also stretched its email timeout window to forty-eight hours so queued messages wouldn't be lost.
  19. Published figures for the length run from more than eighteen hours, to twenty, to more than twenty-four, to nearly thirty-eight. They're measuring different things, from the hours customers were hit to the final all-clear. Microsoft's own impact window is twenty-three hours and fifty minutes.
  20. Microsoft's explanation sharpened over the week. On Friday it blamed only a problem from an earlier network capacity upgrade, and said it couldn't say when recovery would finish.
  21. Monday's account is preliminary, and it comes from Microsoft alone. No outside investigator has checked it. The capacity already offline is put at nearly fourteen percent or more than fourteen, and the report's own wording applies the eighty percent figure to gateway servers.
  22. NHS staff in England went back to paper records.
  23. Ireland's health service took Healthmail offline and told GPs and pharmacists to write paper prescriptions. U.S. courts and government offices were disrupted, along with Canadian hospitals and rail passengers. Japan, Australia and Malaysia had to interrupt critical services.
  24. In Thailand, Krungthai Bank lost email and sent urgent customers to its call center, with no confirmed hit to mobile banking. A stockbroker in Townsville warned delayed trade instructions could hurt clients if markets moved sharply. Britain's cyber minister said 999 calls, frontline NHS 111 services and transport kept running.
  25. Users filed more than seven point four million problem reports worldwide, peaking near twenty thousand a minute, from more than seventy countries and territories. Those are complaints, and Microsoft hasn't said how many people or organizations actually lost service.
  26. Experts in Australia say Microsoft is unlikely to compensate businesses for lost productivity.
  27. On the day Microsoft published its explanation, Britain's House of Commons debated the outage, led by minister Ian Murray. Germany's cyber-security agency had already called it an alarm signal about digital dependence, and Schleswig-Holstein's digital minister Dirk Schrödter called for more resilience in the public sector.
  28. Germany's IT user association, VOICE, is telling companies to document their downtime and file service-credit claims, and it wants availability commitments from Microsoft with real consequences. A service credit is a discount on the subscription fee. It doesn't cover lost hours, delayed prescriptions or missed orders.
  29. Loss figures are still estimates. One analyst put insured losses at three hundred to five hundred million dollars, with limited impact on insurers, and an Italian estimate ran to hundreds of millions of euros.
  30. Microsoft's stock barely moved. It closed at five hundred twenty-one dollars on November eleventh, about five twenty-four on Friday, and about five eighteen on Monday. Nothing ties that dip to the outage.
  31. Microsoft's final report is due Friday, November twentieth. It has to show how the defect sat undetected in production for months, why the regional barriers failed, and what Microsoft will change. Companies in Germany are being told to file their credit claims before the end of December.

Übersetzung aktualisiert:

Kürzlich ausgestrahlt