Trans-iX maakt voor haar netwerk gebruik van een aansluiting op de NL-IX om in Europa met aangesloten leden netwerk verkeer uit te kunnen wisselen.

Omdat steeds meer partijen aansluiten op het NL-IX peering netwerk is een uitbreiding van dit netwerk nodig. Deze week zijn alle aangesloten partijen bezig om deze wijzigingen door te voeren. Hiervoor is een korte onderbreking nodig om de peering connecties.

Trans-iX zal dit onderhoud vanavond tussen 22.00 uur en 23.00 uur uitvoeren. Alle peering verbindingen zullen van te voren worden uitgeschakeld en het verkeer zal automatisch verplaatsen naar de transit leveranciers. Dit zal geen verstoring in het netwerk verkeer geven. Na de wijziging zullen alle peering verbindingen weer opgebracht worden en zal het verkeer automatisch weer gebruik maken van de NL-IX.

Tijdens dit onderhoud zullen de routers in Databarn gelijk voorzien worden van een update. Ook dit zal geen onderbreking geven in het netwerk en verkeer zal eerst verplaatst worden voor een router een herstart krijgt.

Voor vragen over het onderhoud kunt u contact opnemen met uw technisch accountmanager.

Zojuist is er een korte onderbreking opgetreden in inkomend verkeer in Databarn Amsterdam.
De oorzaak is op dit moment getraceerd tot een issue op een van de routers.

Om hier een oplossing voor te implementeren zal morgen avond 8 maart tussen 0.00 en 01.00 uur een aanpassing worden uitgevoerd.
Tevens zullen firmware updates worden uitgevoerd van de core switches in beide datacenters om een gerelateerde bug op te lossen.

Onze excuses voor het ongemak. Er wordt door onze engineers hard gewerkt om de problemen op te lossen.

Zojuist hebben wij bericht gehad van We-Dare dat er routing errors optreden op de core routers in Databarn Amsterdam.

Om dit op te lossen zullen beide routers een reload krijgen tussen 06.00 uur en 07.00 uur. De reload tijd van elke router is 5 tot 10 minuten.

De nieuwe redundante netwerk opzet is nog niet volledig operationeel. We maken gebruik van redundante uplinks naar de core routers op Databarn Amsterdam. Echter een groot deel van het verkeer gaat vanaf de primaire core routers naar SARA Amsterdam. Tijdens de reload van deze router zal dit verkeer dus hinder ondervinden.

Voor vragen kunt u contact opnemen met ons support team door een ticket aan te melden. Als u over een SLA beschikt kunt u het NOC bereiken op het storingsnummer.

Op 19 december 2010 trad een netwerk storing op waarbij de routers overbelast raakten.

De routers houden naast de routing tabellen ook connectie tabellen bij voor het verkeer dat via de routers gaat.
Deze tabellen bereikten op de primaire router voor IPv4 verkeer de grens en daardoor werden connecties gedropped.
Dit resulteerde in timeouts, enkele pakketten komen wel op de bestemming en daarna enkele pakketten weer niet.

Omdat deze overbelasting synchroon leek te lopen aan een toename van het dataverkeer is enkele malen de gereserveerde ruimte voor de connectie tabellen vergroot om meer capaciteit beschikbaar te maken voor de routering van het verkeer.
Dit heeft lange tijd geholpen, maar op 19 december en afgelopen nacht was dit niet voldoende. Nog verder vergroten van de gereserveerde ruimte zou resulteren in het onbereikbaar worden van de routers omdat andere processen in gevaar komen.

Tijdens de storing van afgelopen nacht werd een deel van het verkeer via de nieuwe router in Gyrocenter gerouteerd, en deze router had geen enkele last van overbelasting. Hierdoor hebben wij het onderzoek verder geconcentreerd specifiek op de inrichting van de routers in Databarn en hebben wij de vermoedelijke oorzaak van de problemen kunnen achterhalen.

Tijdens het inrichten van de routers zijn in de firewall module filters opgenomen om de routers zelf te beschermen. Per abuis zijn hierbij filters die de state van de connecties naar de routers zelf controleren ook geladen op de forwarding- en routingverbindingen en niet alleen op de inkomende verbindingen naar de routers. Het bijhouden van de state van alle verbindingen naar de routers is noodzakelijk als bescherming tegen aanvallen. Het bijhouden van de state van alle verbindingen die geforward worden echter is teveel voor de apparatuur, dit is de verantwoordelijkheid van de systemen waar de verbindingen naar opgezet worden of eventuele intrusion prevention apparatuur.

Momenteel zijn een aantal filters uitgeschakeld om verder na te gaan of de problemen hiermee definitief zijn opgelost. Wij zullen eind januari 2011 geleidelijk de filters weer gecontroleerd inschakelen en verifiƫren dat deze nu op de juiste connecties geladen worden.

Tevens zullen wij donderdag 6 januari onderhoud inplannen tussen 22.00 uur en 0.00 uur waarin wij de tweede uplink naar de upstream providers in gebruik gaan nemen. Dit stond al enige tijd in de planning maar krijgt naar aanleiding van de recente storingen hogere prioriteit. Tijdens dit onderhoud zullen wij ook een nieuwe BGP connectie in gebruik nemen met We-Dare. Deze verbinding zullen wij gaan gebruiken voor failover, als er problemen zijn met de uplinks naar de upstream providers, om verkeer via We-Dare/Databarn af te handelen en het mogelijk te maken om o.a. out-of-band toegang te verkrijgen.