▾ G11 Media: | ChannelCity | ImpresaCity | SecurityOpenLab | Italian Channel Awards | Italian Project Awards | Italian Security Awards | ...

Alla fine, cosa abbiamo saputo del blackout Microsoft

Microsoft "down" per praticamente 24 ore e tutto il mondo a chiedersi perché. Una spiegazione completa deve ancora arrivare, ma la casa di Redmond ha indicato la causa del disservizio globale: un piccolo bug manifestatosi nel momento sbagliato

Cybersecurity Trasformazione Digitale

Il 12 novembre scorso quasi tutto il globo (digitalizzato) ha avuto un brusco richiamo a quento sia rischioso contare ciecamente sulla disponibilità totale dei servizi cloud, indipendentemente da chi li eroghi. Outlook, Copilot, Teams ed Exchange Online sono andati "down" per una settantina di nazioni, a causa alla fine di un piccolo bug. In effetti, al momento non esiste una spiegazione formalizzata e ufficiale di cosa sia successo, ma quasi: un lungo post social di Charles Lamanna, EVP of Copilot, Agents, and Platform di Microsoft. Che ha spiegato con una buona dose di dettagli la catena di eventi che ha portato al blocco dei servizi. Sintetizzando, l'incidente è stato causato da tre fattori che, insieme, hanno provocato un'interruzione globale del gateway di rete che funge da punto di accesso per molti servizi Microsoft 365.

Primo problema: un "difetto latente" ha fatto sì che, in determinate condizioni di carico, i server gateway coinvolti nell'incidente risultassero sovraccarichi e non potessero rispondere alle richieste degli utenti. Il "difetto latente" che ha causato tutto era una lock contention in un processo interno dei server, derivata - paradossalmente - da una "fix" preparata specificamente per i server gateway di Microsoft 365.

La "fix" non appariva problematica. Era stata implementata per la prima volta nel mese di luglio di quest’anno senza problemi, poi è stata distribuita in rete gradualmente e ha "saturato" globalmente l'infrastruttura Microsoft coinvolta nell’arco di diverse settimane, durante le quali non sono stati osservati problemi. Per oltre tre mesi, in sostanza, la fix è stata distribuita in tutto il mondo senza alcun impatto negativo. Inoltre, la fix era stata preventivamente testata. Ma - ha scoperto ora Microsoft - i normali test di carico non avevano rilevato il "problema latente" perché i server di test e quelli di produzione non erano identici: i secondi hanno un numero maggiore di core e hardware più recente.

Ma un bug che da solo non crea problemi può diventare devastante nelle condizioni sbagliate. Ed ecco che queste si sono verificate, in contemporanea. Un picco di carico ha aumentato la probabilità che i gateway di rete subissero la situazione di lock contention. Microsoft 365 è supportato da due sistemi di gateway di rete indipendenti ed eterogenei, progettati per garantire isolamento e alta disponibilità. Molti servizi Microsoft 365 possono passare da un sistema all’altro in caso di interruzioni o disservizi. Circa quindici ore prima del "down" globale, Teams è passato dal gateway di rete alternativo al gateway primario, che supporta anche Exchange Online. Ciò ha aumentato il carico sul gateway di rete e ne ha modificato i modelli di traffico.

Terzo problema, sempre in simultanea: quasi il 14% della capacità server del gateway di rete era fuori servizio a causa di un problema non correlato verificatosi il giorno precedente. Questo gap di capacità server stava per essere ripristinato attraverso processi di manutenzione ordinaria, ma non c'è stato tempo per farlo. Tutti i problemi descritti, messi insieme, hanno scatenato il bug latente su una prima "fascia" di server gateawy, che alla fine hanno smesso di rispondere. Giusto nel momento di picco del traffico di rete negli Stati Uniti.

Da qui il problema si è poi diffuso a cascata globalmente. I sistemi di gestione del traffico di rete Microsoft hanno reindirizzato automaticamente gli utenti verso altri gateway funzionanti, ma proprio questo traffico reindirizzato ha aumentato la probabilità che lo stesso problema di "lock" si verificasse su questi gateway supplementari. Quelli che si sono bloccati hanno "rimbalzato" il traffico verso altri server, bloccandoli a loro volta. In meno di due ore, spiega Microsoft, un bug latente mai identificato ha messo fuori uso il oltre l’80% dei server gateway in tutto il mondo.

A questo punto Microsoft ha cercato di correre ai ripari ripristinando quello che poteva. I servizi che si potevano escludere dalla rete di gateway difettosi - come Teams, OneDrive, SharePoint e le app di Office - hanno potuto essere ripristinati prima. Quelli che non potevano "aggirare" i gateway bloccati - come Exchange Online - sono rimasti in down. Il ripristino totale ha richiesto tempo anche perché i server che tornavano operativi venivano immediatamente sovraccaricati dal traffico in attesa e smettevano nuovamente di rispondere. E perché i processi di ripristino automatizzati di Microsoft non erano progettati per "recuperare" da uno stato generalizzato di blocco.

Inoltre, il bug latente risaleva a diversi mesi prima, quindi le normali procedure di rollback del codice non sono state in grado di eliminarlo: è stato necessario sviluppare un update ad hoc che riportava il codice allo stato precedente corretto. Applicare efficacemente questa patch ha richiesto tempo, perché il patching è stato fatto per grandi gruppi di server che sono stati, di volta in volta, prima messi offline, poi aggiornati e riavviati e solo doppo rimessi in servizio.

Morale: un piccolo bug non identificato e che si verifica solo in condizioni particolari ha messo fuori uso per un giorno servizi che molte aziende considerano vitali. E che forse, per i loro processi, lo sono. Niente hacker, niente scenari apocalittici da AI, niente geopolitica cyber: basta qualche linea di codice che forse non si può nemmeno considerare formalmente sbagliata. Chi si occupa di resilienza operativa nelle imprese ha molto a cui pensare, dopo questi eventi. O perlomeno, avrebbe molto a cui pensare. Chissà.

Tag correlati

Esplora altri articoli su questi argomenti

Se questo articolo ti è piaciuto e vuoi rimanere sempre informato

Notizie correlate

Iscriviti alla nostra newsletter

Soluzioni B2B per il Mercato delle Imprese e per la Pubblica Amministrazione

Iscriviti alla newsletter

www.impresacity.it - 8.3.36 - 4.6.4 - X0