Trots att tekniker var sjuka och det fanns för få driftsansvariga på plats valde stiftelsen att gå vidare med en uppgradering av dns-information för se-domänen den 12 oktober. Resultatet blev att hela det svenska internet slogs ut, varje domän som slutar på .se. Problemen kan ha varat så länge som i 48 timmar.
Nu lägger Danny Aerts, vd på stiftelsen som ansvarar för den svenska toppdomänen, korten på bordet och berättar vad som gick fel. En rad regelbrott kommer upp i ljuset.
Uppdateringen testades bara av en tekniker i stället för två av varandra oberoende, som rutinerna kräver. Anledningen var att en av dem hade blivit sjuk. I dag säger Danny Aerts att uppgraderingen, som inte var brådskande, därför borde ha senarelagts.
– Det hade varit mycket smartare att stoppa den. Det var planerat underhåll, så här efteråt kan man säga att man borde ha blåst av det, säger han.
I grunden berodde avbrottet på en enda punkt, som signalerar att ett domännamn är slut, som saknades i filen som skickades ut. Samtliga 900 000 svenska domännamn fick därför ett extra ”.se” tillagt, så att till exempel computersweden.se blev computersweden.se.se.
– En enda punkt kan göra det. Men även om själva felet var ett programmeringsfel så var det en kedja av test- och rutinbrister som gjorde att det kunde hända, säger Danny Aerts.
Danny Aerts.
Ett intern larm gick och varnade för att varenda svensk domän var på väg att förändras. Efter en manuell koll, som inte upptäckte punkten som saknades, forcerades den felaktiga filen ändå ut till tusentals internetleverantörer och därmed miljoner användare.
Enligt Stiftelsen för internetinfrastruktur är det tio år sedan någonting liknande hände.
Även dokumentationen av uppgraderingen hade stora brister. Den saknade beskrivningar av vad som hade ändrats och information om hur uppgraderingen skulle stoppas om ett fel inträffade.
– Hade du frågat mig för tre månader sedan så hade jag sagt att det här aldrig skulle hända, säger Danny Aerts.
Nu vidtar stiftelsen en rad åtgärder för att samma sak inte ska inträffa igen. Bemanningen förstärks och rekryteringen av ännu en driftsansvarig på toppnivå pågår. Två externa konsultbolag har kallats in för att granska haveriet.
Dessutom ska det bli lättare att slå larm internationellt om en uppgradering går snett. Det är i dag enkelt att kontakta de svenska operatörerna, men felaktig domäninformation kan ha varit aktiv i servrar utomlands i upp till 48 timmar.
Haveriet har också uppmärksammats långt utanför Sverige gränser. Bland annat ska Nominet, som ansvarar för den brittiska uk-domänen, ha börjat se över sina egna rutiner. EUs säkerhetsmyndighet Enisa uppges också ha visat intresse för att samordna krisinsatser vid störningar i domännamnssystemet.
På kvällen den 12 oktober skulle Stiftelsen för internetinfrastruktur skicka ut ny dns-information, alltså data om vilken se-domän som ska peka mot vilken server.
- Filen gick ut klockan 21:39 på kvällen. Larmsystemen gick igång och felet upptäcktes omgående.
- Under en timme pumpades felaktig data ut till servrar i hela världen. 22:50 hade teknikerna fått till en tillfällig rättelse som genast skickades ut. Den fungerade dock inte för säkra namnuppslagningar, DNNSEC, ett område där se-domänen är bland de främsta i världen.
- 23:06 aktiveras en krisplan. Vd, säkerhetschef och en rad andra på stiftelsen blandas in. Fokus ligger nu på att få ut larmet till alla stora operatörer i Sverige. ”Kasta bort den gamla datan. Ta in den nya”, är budskapet.
- 23:16 ringer den första journalisten och Danny Aerts håller kontakt med media under kvällen. Information via media bedöms som en snabbare kommunikationsväg till svenska internetanvändare än stiftelsens egna kanaler.
- 00:12 kontaktar säkerhetschefen de stora svenska operatörerna och ger dem en lägesrapport. Den tillfälliga rättelsen är fortfarande det enda som finns tillgängligt.
- 01:05 är felet avhjälpt, meddelar säkerhetschefen. Krisläget blåses av och organisationen återgår till normalläge.
Eftersom felaktig information mellanlagras ute hos operatörer kan användare ha upplevt problem i upp till 48 timmar. Detta gäller särskilt länder långt från Sverige som Stiftelsen för internetinfrastruktur inte kunde kontakta direkt. Enligt stiftelsens egna uppgifter var dock de synliga effekterna borta efter ett dygn.
