Op 19 december 2010 trad een netwerk storing op waarbij de routers overbelast raakten.

De routers houden naast de routing tabellen ook connectie tabellen bij voor het verkeer dat via de routers gaat.
Deze tabellen bereikten op de primaire router voor IPv4 verkeer de grens en daardoor werden connecties gedropped.
Dit resulteerde in timeouts, enkele pakketten komen wel op de bestemming en daarna enkele pakketten weer niet.

Omdat deze overbelasting synchroon leek te lopen aan een toename van het dataverkeer is enkele malen de gereserveerde ruimte voor de connectie tabellen vergroot om meer capaciteit beschikbaar te maken voor de routering van het verkeer.
Dit heeft lange tijd geholpen, maar op 19 december en afgelopen nacht was dit niet voldoende. Nog verder vergroten van de gereserveerde ruimte zou resulteren in het onbereikbaar worden van de routers omdat andere processen in gevaar komen.

Tijdens de storing van afgelopen nacht werd een deel van het verkeer via de nieuwe router in Gyrocenter gerouteerd, en deze router had geen enkele last van overbelasting. Hierdoor hebben wij het onderzoek verder geconcentreerd specifiek op de inrichting van de routers in Databarn en hebben wij de vermoedelijke oorzaak van de problemen kunnen achterhalen.

Tijdens het inrichten van de routers zijn in de firewall module filters opgenomen om de routers zelf te beschermen. Per abuis zijn hierbij filters die de state van de connecties naar de routers zelf controleren ook geladen op de forwarding- en routingverbindingen en niet alleen op de inkomende verbindingen naar de routers. Het bijhouden van de state van alle verbindingen naar de routers is noodzakelijk als bescherming tegen aanvallen. Het bijhouden van de state van alle verbindingen die geforward worden echter is teveel voor de apparatuur, dit is de verantwoordelijkheid van de systemen waar de verbindingen naar opgezet worden of eventuele intrusion prevention apparatuur.

Momenteel zijn een aantal filters uitgeschakeld om verder na te gaan of de problemen hiermee definitief zijn opgelost. Wij zullen eind januari 2011 geleidelijk de filters weer gecontroleerd inschakelen en verifiëren dat deze nu op de juiste connecties geladen worden.

Tevens zullen wij donderdag 6 januari onderhoud inplannen tussen 22.00 uur en 0.00 uur waarin wij de tweede uplink naar de upstream providers in gebruik gaan nemen. Dit stond al enige tijd in de planning maar krijgt naar aanleiding van de recente storingen hogere prioriteit. Tijdens dit onderhoud zullen wij ook een nieuwe BGP connectie in gebruik nemen met We-Dare. Deze verbinding zullen wij gaan gebruiken voor failover, als er problemen zijn met de uplinks naar de upstream providers, om verkeer via We-Dare/Databarn af te handelen en het mogelijk te maken om o.a. out-of-band toegang te verkrijgen.

Voor diensten waarbij beschikbaarheid kritiek is heeft Trans-IX haar diensten ook beschikbaar gemaakt vanuit het Reasonnet datacentrum Gyrocenter DC-2 aan de Gyroscoopweg 134 in Amsterdam.
Dit datacentrum is gebouwd met de laatste technologieën voor energiebesparing en maakt 100% gebruik van groene stroom.
Belangrijk voor de beschikbaarheid is dat een N+1 techniek gebruikt wordt voor alle kritieke faciliteiten.

Elk rack kan uitgerust worden met een A+B feed, beide gezekerd op 16 ampère of 32 ampère, en is verder uitgerust met dezelfde switches en PDU’s als op Databarn. Deze kunnen nu van een redundante stroomaansluiting worden voorzien.
De stroomfeeds zijn aangesloten op een centrale redundante UPS noodstroomvoorziening en de A en B feed zijn aangesloten over een eigen stroom distributienetwerk zodat een storing niet beide feeds kan treffen.
De generators zijn net als de redundante UPS in N+1 opstelling geplaatst zodat uitval van een enkele generator geen onderbreking oplevert.
Als laatste is ook de koeling van de datavloeren zo opgezet dat elke ruimte over reserve koelapparatuur beschikt.

Belangrijk is ook dat Reasonnet een SLA levert op de dienstverlening van het datacentrum zodat dit afgestemd kan worden met de SLA van Trans-IX waarmee duidelijke afspraken gemaakt kunnen worden over de beschikbaarheid.

Gyrocenter heeft vele fiberverbindingen direct en via Gyrocenter DC-1 er tegenover naar andere datacentra in Amsterdam.
Tevens omdat er diverse grote carriers apparatuur hebben geplaatst op Gyrocenter DC-1 en DC-2 zijn veel directe verbindingen mogelijk.

De connectiviteit van Trans-IX loopt op Gyrocenter over een redundante verbinding naar de routing apparatuur van Reasonnet in GlobalSwitch en Nikhef in Amsterdam. Beide datacentra beschikken over vele verbindingen vanaf het Reasonnet netwerk, en andere providers naar het Internet.
Trans-IX heeft tevens een verbinding met SARA Amsterdam gerealiseerd waarmee verbindingen tussen Databarn en Gyrocenter zijn gemaakt en waarmee de tweede upstream provider bij SARA Amsterdam gebruikt kan worden als extra redundantie.

Vanaf januari 2011 zijn de colocatie en dedicated server diensten beschikbaar vanuit Gyrocenter DC-2. Voor meer informatie kunt u contact opnemen met de afdeling sales.

Trans-IX biedt al enkele jaren haar diensten standaard aan vanuit het datacentrum Databarn in Amsterdam aan de Zekeringstraat 35. Dit datacentrum is voorzien van alle noodzakelijke faciliteiten om betrouwbare dienstverlening mogelijk te maken.

Elk rack is voorzien van een enkele stroomfeed gezekerd op 16 ampere, een switch met redundante uplink naar de core van het netwerk en power distribution units (PDU) om het verbruik van een server te monitoren en om remote powercycles te kunnen geven in geval van problemen.
De stroomfeed voor elk rack is aangesloten op een centrale UPS noodstroomvoorziening welke de eerste minuten opvangt bij stroomuitval. Binnen enkele minuten zal de generator op snelheid zijn en de energielevering overnemen.

De koeling is zo opgezet dat uitval van een koelapparaat geen problemen oplevert voor de datavloeren.

Databarn heeft eigen fiberverbindingen via de fiberring in Amsterdam voor verbindingen naar haar andere datacentra en naar o.a. SARA Amsterdam.

De connectiviteit van Trans-IX loopt via Databarn over een redundante fiberverbinding naar SARA Amsterdam waar twee upstream providers het verkeer afhandelen.

Trans-IX biedt standaard al haar diensten aan vanuit Databarn. Voor diensten met hoge beschikbaarheid of diensten voor failover- en backupdoelstellingen zullen in 2011 nieuwe datacentra locaties worden toegevoegd aan het portfolio. Voor meer informatie kunt u contact opnemen met de afdeling sales op info@trans-ix.nl.