Donderdag 30 april 2015 om 19.40 uur is door een storing op de UPS systemen van Databarn Amsterdam het datacentrum geheel uitgevallen.
Wij wachten nog op de outage rapportage van het datacentrum voor meer details over wat er exact is gebeurd, en over waarom beide feeds zijn uitgevallen.

De engineers van het datacentrum waren snel aanwezig en zijn direct begonnen met het herstellen van de datacentrum infrastructuur en netwerk componenten. Ook zijn de engineers gestart met het aanzetten van systemen die niet automatisch opkwamen, van o.a. Trans-iX.
Hierbij is naar voren gekomen dat een powerswitch in TiX-01 waar o.a. belangrijke netwerk switches en routers in hangen defect is geraakt en is een engineer van Trans-iX direct naar het datacentrum gegaan om deze te vervangen.

De netwerk ranges in Gyrocenter DC2 en de  andere datacentra hebben ook hinder ondervonden van de storing in Databarn. Dit werd veroorzaakt doordat de routers in Databarn vrijwel direct na de stroomstoring weer opkwamen en verkeer zijn gaan accepteren terwijl dit intern niet getransporteerd kon worden. Dit is direct opgepakt door de netwerk engineer zodat de andere datacentra weer bereikbaar werden.

Om 20.40 uur waren alle netwerk componenten van het Trans-iX netwerk in Databarn weer bereikbaar en kon gestart worden met het herstel.
Hiermee zijn we tot 21.05 uur bezig geweest waarna nagenoeg alle netwerken weer bereikbaar waren.
Helaas is tijdens dit herstel geconstateerd dat de announcement van prefix 185.40.56.0/22 niet correct verliep via de providers in de andere datacentra. Hierop is direct contact opgenomen met alle betrokken partijen, echter is er enige tijd overheen gegaan voor de announcement in orde was.

Trans-iX maakt gebruik van We-Dare in Databarn Amsterdam als netwerk provider. We-Dare heeft tot 22.00 uur problemen ondervonden in Databarn Amsterdam waardoor prefix 185.40.56.0/22 tot 22.00 uur onbereikbaar is gebleven.

Gedurende de stroomstoring en het herstel nadat apparatuur weer online kwam zijn enkele zaken aangetroffen die niet voldoende redundant waren uitgevoerd. Deze zaken, en de announcements van alle prefixes zullen de komende dagen nauwkeurig worden geanalyseerd en acties zullen worden gestart om de redundantie te verbeteren.

Zodra meer informatie van Databarn beschikbaar komt zal dit worden toegevoegd. Als er acties zijn uitgevoerd om de redundantie te verbeteren zal dit ook worden gecommuniceerd.

Wij betreuren het dat deze stroomstoring hinder heeft opgeleverd voor u, en wij doen er alles aan om onderbrekingen als deze in de toekomst te voorkomen. Mocht u vragen hebben over de storing horen wij dat graag. Mocht u op dit moment nog problemen ervaren kunt u contact opnemen met de storingsengineer.