Gisteravond om 20.00 uur is een storing gevonden aan een van de glasvezel switches voor de ring tussen Databarn en Gyrocenter datacentrum in Amsterdam.

Dit is de vermoedelijke oorzaak voor meldingen van packetloss tussen deze DCs in de afgelopen dagen. De switch is zoveel mogelijk uitgeschakeld en het issue is in onderzoek met de netwerk leverancier.

Op dit moment ervaren wij stabiliteitsproblemen in delen van het netwerk. Voornamelijk klanten in datacentrum Databarn kunnen timeouts ervaren in de toegang tot de servers en diensten.

We hebben de problemen in onderzoek en werken hard aan het herstel van alle diensten.

Nadat vandaag de filters zijn verwijderd omdat de DDOS van gistermiddag al geruime tijd was gestopt, is deze zojuist weer begonnen.

Alle filters zijn weer geactiveerd en de situatie is onder controle. Het netwerk heeft hierdoor 10 minuten hevige packetloss ervaren.

Onze excuses voor het ongemak. Onze engineers zijn hard aan het werk om te controleren of het netwerk weer geheel stabiel is.

Donderdag 30 april 2015 om 19.40 uur is door een storing op de UPS systemen van Databarn Amsterdam het datacentrum geheel uitgevallen.
Wij wachten nog op de outage rapportage van het datacentrum voor meer details over wat er exact is gebeurd, en over waarom beide feeds zijn uitgevallen.

De engineers van het datacentrum waren snel aanwezig en zijn direct begonnen met het herstellen van de datacentrum infrastructuur en netwerk componenten. Ook zijn de engineers gestart met het aanzetten van systemen die niet automatisch opkwamen, van o.a. Trans-iX.
Hierbij is naar voren gekomen dat een powerswitch in TiX-01 waar o.a. belangrijke netwerk switches en routers in hangen defect is geraakt en is een engineer van Trans-iX direct naar het datacentrum gegaan om deze te vervangen.

De netwerk ranges in Gyrocenter DC2 en de  andere datacentra hebben ook hinder ondervonden van de storing in Databarn. Dit werd veroorzaakt doordat de routers in Databarn vrijwel direct na de stroomstoring weer opkwamen en verkeer zijn gaan accepteren terwijl dit intern niet getransporteerd kon worden. Dit is direct opgepakt door de netwerk engineer zodat de andere datacentra weer bereikbaar werden.

Om 20.40 uur waren alle netwerk componenten van het Trans-iX netwerk in Databarn weer bereikbaar en kon gestart worden met het herstel.
Hiermee zijn we tot 21.05 uur bezig geweest waarna nagenoeg alle netwerken weer bereikbaar waren.
Helaas is tijdens dit herstel geconstateerd dat de announcement van prefix 185.40.56.0/22 niet correct verliep via de providers in de andere datacentra. Hierop is direct contact opgenomen met alle betrokken partijen, echter is er enige tijd overheen gegaan voor de announcement in orde was.

Trans-iX maakt gebruik van We-Dare in Databarn Amsterdam als netwerk provider. We-Dare heeft tot 22.00 uur problemen ondervonden in Databarn Amsterdam waardoor prefix 185.40.56.0/22 tot 22.00 uur onbereikbaar is gebleven.

Gedurende de stroomstoring en het herstel nadat apparatuur weer online kwam zijn enkele zaken aangetroffen die niet voldoende redundant waren uitgevoerd. Deze zaken, en de announcements van alle prefixes zullen de komende dagen nauwkeurig worden geanalyseerd en acties zullen worden gestart om de redundantie te verbeteren.

Zodra meer informatie van Databarn beschikbaar komt zal dit worden toegevoegd. Als er acties zijn uitgevoerd om de redundantie te verbeteren zal dit ook worden gecommuniceerd.

Wij betreuren het dat deze stroomstoring hinder heeft opgeleverd voor u, en wij doen er alles aan om onderbrekingen als deze in de toekomst te voorkomen. Mocht u vragen hebben over de storing horen wij dat graag. Mocht u op dit moment nog problemen ervaren kunt u contact opnemen met de storingsengineer.