En velkjent svakhet i en programvare hos Telenor og en veldig uheldig tekniker som gjorde en tabbe under en rutinejobb, førte til at tre millioner nordmenn mistet all mobilkontakt med omverden, skriver Aftenposten.

- Det som skjedde skal ikke kunne skje, sa Telenors konsernsjef Jon Fredrik Baksaas da han skulle forklare et av tidenes største mobilsammenbrudd i Norge 30. oktober i fjor.

Store deler av mobiltrafikken i Norge ble lammet, og tre millioner Telenor-kunder kunne ikke ringe eller sende tekstmeldinger. I tillegg var det umulig for kunder i andre mobilselskaper å ringe eller sende tekstmeldinger til Telenor-abonnementer.

Nå har Nasjonal kommunikasjonsmyndighet (Nkom) gransket hendelsen, og kommer med hard kritikk.

"Hendelsen 30. oktober avdekket alvorlige svakheter", skriver tilsynet i en rapport til samferdselsminister Ketil Solvik-Olsen (Frp) som Aftenposten har fått innsyn i.

Skulle ha nytt sim-kort

Historien om hvordan store deler av Norge mistet mobilkontakt, startet med at en kunde i Telenor skulle ha et nytt sim-kort.

Da må Telenor rutinemessig endre sin abonnentdatabase. Her ligger data som er nødvendig for å kunne ringe en telefon, sende en tekstmelding eller opprette dataforbindelse.

Dataene til kunden ble imidlertid ødelagt da opplysningene skulle legges inn. Dette er en feil som skjer hver eneste dag, og skyldes en velkjent svakhet i programvaren som Telenor bruker til å oppdatere data for eksisterende abonnementer.

"Feilen er kjent og oppstår av og til når Telenor skal gjøre endringer i abonnentsdatabasen i forbindelse med at en eksisterende abonnent skal ha et nytt sim-kort", heter det i rapporten.

Slettet feil data

Telenors kundebehandler prøvde først å gjøre jobben en gang til. Det virket ikke. Dermed måtte Telenors leverandør 30. oktober gå inn og slette feil i abonnentsdataene manuelt kl. 18.58.

Vedkommende var mildt sagt veldig uheldig, og slettet feil data. Noen sekunder senere kom de første alarmene. Ett av de største mobilsammenbruddene i Norge noensinne et faktum.

- Alvorlige mangler

I rapporten til samferdselsminister Solvik-Olsen, som er delvis hemmeligstemplet, påpekes flere kritikkverdige forhold:

Alvorlige mangler i Telenors risikovurdering ved planlagt arbeid på kritiske komponenter ført til at en bagatell fikk svært store følger.Telenor hadde ingen rutiner for kontroll under og etter arbeidet med å rette feilene i selskapets database.

"Sammenholdt med skadepotensialet mener tilsynet at Telenor i forkant av hendelsen undervurderte risikoen betydelig knyttet til denne typen feilrettingsarbeid", heter det i rapporten.

Lammet trafikken i 2,5 timer

For sikre at brann, fiberbrudd og teknisk svikt i abonnentbasen ikke skal lamme mobilnettet, har Telenor flere kopier av basen rundt om i landet. Disse ble imidlertid også slått ut ved at feilen ble replisert.

Rapporten slår fast at det tok 2 timer og 25 minutter fra mobilnettet brøt sammen og til Telenor fant en løsning. Løsningen besto rett og slett i å installere en sikkerhetskopi.

500.000 kunder i Bergens-området måtte vente en time lenger som følge av en følgefeil på grunn av høy trafikk. En årsak til at det tok så lang tid å finne feilen, var at Telenor anslo risikoen som "lav" ved slikt rettearbeid.

Vurderer reaksjoner

Dette er ikke første gang at det skjer store feil som følge av planlagt arbeid hos Telenor, og selskapet risikerer nå reaksjoner.

"Sett opp mot kravene som Ekomloven setter til forsvarlig sikkerhet og nødvendig beredskap vil tilsynet vurderer eventuell reaksjon mot Telenor", konkluderer Nasjonal kommunikasjonsmyndighet.

"Det samfunnsmessige skadepotensialet av en slik hendelse er stort, både i forhold til fare for liv og helse, for økonomisk tap og for samfunnsstabilitet".

Tilfeldigheter førte til at sammenbruddet ikke førte til alvorlig skade, blant annet fordi mobilnettet brøt sammen på en rolig kveld midt i uken.

- Alvorlig og forunderlig

- Jeg er veldig overrasket over at mobilnettet er så sårbart. Mobilnettet er kritisk samfunnsviktig, og vi må kunne forvente at det fungere, sier Erin Sund (Ap), lederen for Stortingets transport- og kommunikasjonskomité.

- Menneskelig feil kan alltid skje, og det vil skje igjen. Men det forundrer meg at en så liten ting som retting i en database etter skifte av et sim-kort, skal få så store konsekvenser. Det er overraskende og alvorlig at Telenor ikke har hatt gode rutiner for kontroll og undervurdert risikoen.

Telenor: Flere tiltak

Telenor skriver i en e-post til Aftenposten at selskapet har nedsatt en ekspertgruppe som har evaluert sammenbruddet 30. oktober i fjor og foreslått flere tiltak.

"Dette har resultert i tiltak som skal redusere sannsynlighet for at slike feil igjen skal inntreffe, samt tiltak for bedre å kunne håndtere denne type feilsituasjon når den først har oppstått", skriver Torild Uribarri, kommunikasjonsdirektør i Telenor Norge.

"Tiltakene består i alt fra strakstiltak, som allerede er implementert, til langsiktige tiltak med tyngre arkitektur-, prosess- og systemendringer".

Selskapet avviser at risikoen ble "betydelig undervurdert", slik Nasjonal kommunikasjonsmyndighet konkluderer, og viser til at Telenor gjør over 18.000 endringer i mobilnettet i året som alle blir risikovurdert.

"Telenor undervurderer ikke denne type risiko, men har i dette gjort en risikovurdering som viste seg å være feil".

- Løsningen 30. oktober besto i å bruke en sikkerhetskopi. Hvorfor tok det 2,5 timer å få installert en sikkerhetskopi?

"2,5 timer er fra man avdekker at det er en feil og omfanget av denne, til feil er rettet og nettet har stabilisert seg. Selve feilrettingen av kundedatabasen er bare ett av flere ledd for å få nettet tilbake i normalsituasjon", skriver Uribarri.

Hun viser også til at installasjonen av sikkerhetskopier må skjer gradvis, og "er i seg selv en egen og tidkrevende prosess".