Pijl terug Terug naar het overzicht
Opgelost
Probleem
Storing

Op deze pagina staat een overzicht van alle updates van de door jou gekozen melding. Indien de status van de melding is veranderd, kun je dit melden via support@antagonist.nl.

Onderbreking in netwerkconnectiviteit

Updates voor deze melding via RSS Aangemaakt: 29-08-2019, 08:02

Datum / tijd

Omschrijving

04-09-2019
15:45

Donderdag 29 augustus constateerde ons monitoringssysteem om 07:40 uur 's ochtends dat IPv6-connecties naar buiten toe geen verbindingen konden opzetten. Kort erna werd dit vanuit de storingsdienst naar de rest van het SysOps-team geëscaleerd. Om 08:05 uur stelden we vast dat er een probleem met één van BGP-sessies was. Dit was spoedig hersteld, maar de onderliggende oorzaak was niet direct duidelijk. Het SysOps-team vertrok daarom zo snel mogelijk naar kantoor om een gezamenlijk onderzoek te starten.

Al snel zagen we dat de routers een ongebruikelijk hoge CPU-belasting hadden. Vanwege recent doorgevoerde wijzigingen aan onze infrastructuur, was ons eerste vermoeden dat de hoge CPU-belasting wellicht hieraan gerelateerd was. In de ochtend en middag werd daarom door het hele team hard gewerkt om al deze aanpassingen als oorzaak uit te sluiten. Naarmate het onderzoek vorderde, werd steeds duidelijker dat de oorzaak extern moest worden gezocht.

Rond 19:00 uur vertrok een deel van het team naar het datacenter voor aanvullende controles. Uiteindelijk werd in de loop van de avond duidelijk dat het om een uitgekiende en onopvallende aanval ging. Het type netwerkverkeer dat de aanvaller veroorzaakte, zorgde dat het niet volledig door de snelle forwarding engine van de router werd afgehandeld. Dit werd in plaats daarvan door de tragere CPU gedaan. Na grondig speurwerk constateerden we om 23:00 uur vanaf welke IP-range deze aanval uitgevoerd werd. Vervolgens werd die range gefilterd en zagen we rond 23:36 uur dat de belasting weer rond het gebruikelijke niveau zat.

Hoewel het onderzoek de hele dag speelde, was er niet voortdurend impact. De dienstverlening was ondanks de omstandigheden grotendeels bereikbaar. We konden 100% uptime echter niet garanderen, omdat de routers meermaals zijn herstart. Gedurende de dag zijn er daarom enkele periodes van 20 tot 30 seconden geweest waarin er sprake was van onbereikbaarheid.

Onze excuses als je hiervan hinder hebt ervaren en bedankt voor je begrip. We gaan structurele maatregelen treffen om dit type onderbreking tegen te gaan. Ook hebben we ons storingsprotocol aangepast en geüpdatet, zodat in de toekomst soortgelijke storingen sneller kunnen worden herkend en afgehandeld.

30-08-2019
00:04

De kernoorzaak is gevonden. Een oplossing is inmiddels uitgerold. We zien nu dat ons netwerk en de connectiviteit volledig hersteld zijn naar het gebruikelijk niveau. Onze verwachting is dat het netwerk daarmee stabiel is en blijft. Vanzelfsprekend houden wij dit de komende 24 uur met verscherpt toezicht in de gaten. Daarnaast zullen wij grondig onderzoek doen naar de exacte toedracht van dit voorval. Zodra dit is afgerond, volgt hiervan een uitgebreide update onder deze statusmelding.

Bedankt voor de blijvende steun en nogmaals onze excuses voor het ongemak.

29-08-2019
21:36

We ondervinden op dit moment nog steeds onregelmatige haperingen in ons netwerk. Er wordt hard gewerkt aan het herstellen van de netwerkconnectiviteit en het verhelpen van het netwerkprobleem. Op dit moment is echter de exacte kernoorzaak nog niet geheel duidelijk. Desalniettemin komen we dichter bij een oplossing. Onze prioriteit is en blijft het herstellen van de verbinding naar het gebruikelijke niveau. Zodra er een significante wijziging is in de status, delen wij dat mede.

29-08-2019
16:08

Er zijn intussen een aantal maatregelen getroffen om de situatie te stabiliseren. Zowel vanaf IPv6- als IPv4-verbindingen gaat het daardoor beter, maar het is nog niet op het gebruikelijke niveau.

De router wordt namelijk nog steeds overmatig belast. Een duidelijke verklaring hiervoor ontbreekt momenteel. Zodoende loopt het onderzoek door. Zodra er meer bekend is, plaatsen we hier een nieuwe update.

29-08-2019
13:57

Er toont zich nog geen eenduidige oorzaak. Het onderzoek loopt daarom door.

Vanwege dit issue is vanaf IPv6-verbindingen onze dienstverlening momenteel niet of verminderd bereikbaar. Via een IPv4-verbinding kunnen er ook haperingen optreden, maar daar is de impact minder.

Excuses voor het ongemak als je hierdoor hinder met je website, e-mail en FTP ervaart! We doen ons best dit zo snel mogelijk op te lossen en blijven deze melding updaten.

29-08-2019
12:05

We zien ondanks de herstart onregelmatigheden. Het probleem is daarom opnieuw in onderzoek.

29-08-2019
11:20

Het herstarten van de router is voltooid. We blijven het netwerk nauwlettend monitoren.

29-08-2019
11:08

We zien nog wat onregelmatigheden en gaan daarom één van van de routers herstarten. We verwachten dat de impact hiervan minimaal is.

29-08-2019
10:38

Het probleem is opgelost. De routerconfiguratie is zodanig aangepast dat de limiet niet meer bereikt wordt. De situatie is daarmee weer stabiel.

29-08-2019
09:32

De router liep tegen een limiet aan. Dit resulteerde in een verminderde IPv6-connectiviteit. We zijn momenteel bezig met het oplossen hiervan. Ondertussen houden we de systemen nauwlettend in de gaten, zodat overlast tot een minimum beperkt blijft.

29-08-2019
09:10

We merken op dat het probleem nogmaals heeft opgespeeld. Daarom onderzoeken we momenteel welke maatregelen we kunnen treffen. We zullen binnen uiterlijk 30 minuten een update geven.

29-08-2019
08:09

Het probleem met de IPv6-connectiviteit is inmiddels opgelost. Excuses voor het ongemak en bedankt voor je begrip!

29-08-2019
08:03

We onderzoeken een door ons monitoringsysteem gerapporteerd probleem met ons IPv6-netwerk. Ons IPv4-netwerk functioneert zonder problemen.

Het oplossen hiervan heeft onze hoogste prioriteit. Je krijgt dan ook zo snel mogelijk meer informatie, binnen uiterlijk 30 minuten zullen wij een update geven.