Pijl terug Terug naar het overzicht
Opgelost
Probleem
Storing

Op deze pagina staat een overzicht van alle updates van de door jou gekozen melding. Indien de status van de melding is veranderd, kun je dit melden via support@antagonist.nl.

[s69 t/m s199] Onderbreking in dienstverlening

Updates voor deze melding via RSS Aangemaakt: 23-06-2015, 08:13

Datum / tijd

Omschrijving

25-06-2015
17:57

We hebben een tweede officiële reactie van Previder ontvangen, over de oorzaak van de stroomstoring in datacenter PDC2.

Tijdens noodzakelijk, groot onderhoud moesten de A-feed en de B-feed van de stroomvoorziening om de beurt spanningsloos worden gemaakt. Normaliter heeft dat geen invloed op de werking van apparatuur. Echter, is er dan geen redundantie, omdat de apparatuur tijdelijk op één feed werkt.

Het werk is uitgevoerd door drie partijen, die gespecialiseerd zijn in het uitvoeren van deze handelingen. Vooraf hebben zij onafhankelijk van elkaar een checklist doorlopen. Ondanks grote zorgvuldigheid is, bij het overzetten van de A-feed naar de B-feed in zaal 1, rond 8:00 uur de stroomvoorziening onverwacht onderbroken. Dit werd veroorzaakt door een foutieve instelling in de beveiliging van de vermogensschakelaar tussen de UPS en de B-feed. De uitgang van de UPS werd daardoor, vanuit veiligheidsoogpunt, automatisch uitgeschakeld. Zodoende raakte zaal 1 spanningsloos. Het bleek dat de specifieke vermogensschakelaar op een lagere waarde was ingesteld dan de oorspronkelijke documentatie aangaf.

Naar aanleiding van deze storing heeft Previder het onderhoudsprotocol aangepast. Om herhaling te voorkomen, zullen in de toekomst de instellingen van de vermogensschakelaars altijd fysiek worden gecontroleerd.

Na de onderbreking in de stroomvoorziening van zaal 1, is er uiteraard direct gestart met het herstel. Om ca. 8:30 was de A-feed weer beschikbaar, waardoor apparatuur opgestart kon worden. Daarna is de B-feed hersteld. Rond 9:30 waren beide feeds weer operationeel.

Omdat Antagonist nagenoeg alle apparatuur op beide feeds heeft aangesloten, hebben wij pas vanaf 8:21 uur hinder ondervonden op ons platform. Toen de A-feed om 8:30 uur hersteld was, konden we daardoor direct onze apparatuur opstarten. Zodoende waren, zoals eerder aangegeven, onze eerste apparaten om 8:36 uur weer online. Het gehele platform was rond 8:40 uur weer up, met uitzondering van enkele servers en de webmail.

We hopen hiermee voldoende uitleg te hebben gegeven over de oorzaak, aanpak en oplossing van deze storing, en tevens inzicht in de handelingswijze van Previder en Antagonist. We sluiten hiermee het issue. Mochten er nog specifieke vragen zijn naar aanleiding van deze storing, dan kun je uiteraard contact opnemen via support@antagonist.nl.

24-06-2015
17:55

Gisteren aan het einde van de dag hebben we een eerste officiële reactie ontvangen van Previder, het datacenter met een deel van onze servers dat last had van een kortstondige storing in de stroomvoorziening.

Allereerst wordt er door Previder excuses gemaakt aan iedereen die hinder heeft ondervonden van de stroomstoring. Uiteraard betreuren zij de onbereikbaarheid net zo erg, als dat wij doen. Hieronder een korte samenvatting van het voorval.

Gisteren, op 23 juli, begon om 8:02 uur een storing, waardoor de eerste ‘feed’ van het datacenter PDC2 uitviel. Vervolgens breidde deze storing zich uit en viel om 8:21 uur ook de tweede ‘feed’ uit. Dit zorgde voor een volledige onderbreking in de stroomvoorziening, waardoor alle apparaten, servers en verbindingen in zaal 1 van PDC2 uitvielen.

Om 8:25 uur kwam de stroom geleidelijk aan terug. Dat was genoeg om onze infrastructuur weer op te starten. Onze eerste apparaten waren om 8:36 uur weer online. Het gehele platform was rond 8:40 uur weer up, met uitzondering van enkele servers en de webmail.

Vanaf 8:02 uur was er dus een onderbreking in de stroomvoorziening die invloed had op Antagonist, waardoor van 8:21 uur tot en met 8:40 uur het gehele platform onbereikbaar was. Met uitzondering van enkele servers die we met de hand moesten herstarten.

Vervolgens moeten er herstelwerkzaamheden worden uitgevoerd en hebben we alles nauwlettend in de gaten gehouden. Uiteindelijk zijn we gisteren en grotendeels ook vandaag, bezig geweest met de gevolgen van deze storing.

De last voor nagenoeg alle eindgebruiker hebben we weten te beperken tot 19 minuten, uiteraard nogmaals onze excuses daarvoor.
De exacte oorzaak van de storing, en de daaropvolgende onderbreking in de stroomvoorziening, wordt nog door Previder onderzocht. Wij verwachten hiervan aan het einde van de dag een rapport.

Uiteraard zullen wij de oorzaak via deze statuspagina bekendmaken, evenals een gedetailleerde tijdlijn met gebeurtenissen, en hoe Antagonist hierop actie heeft ondernomen. We proberen dit morgen, voor 17:00 uur, te plaatsen.

23-06-2015
12:35

De servers s69 tot en met s199 en de andere onderdelen van onze dienstverlening, die last hebben gehad van de stroomstoring in het datacenter, blijven binnen de normale parameters functioneren en zijn dus volledig operationeel. Uiteraard houden we dit nauwlettend in de gaten. Daarnaast zien we geen aanleiding voor een herhaling in de onderbreking van de stroomvoorziening in het datacenter.

Op server s111 wordt op dit moment een full recovery uitgevoerd, vanwege aanhoudende problemen met MySQL. We voeren deze recovery uit om schade en dataverlies te voorkomen. De server is hierdoor tijdelijk onbereikbaar. We verwachten dat s111 binnen twee uur weer volledig bereikbaar zal zijn. Excuses voor de overlast!

In samenwerking met Previder, het getroffen datacenter, onderzoeken we hoe een dergelijke onderbreking in de stroomvoorziening heeft kunnen plaatsvinden. We streven ernaar om aan het einde van de dag hiervan een volledig rapport te hebben. We zullen dit vervolgens zo snel mogelijk via deze statuspagina en andere communicatiekanalen delen.

Zodra er een update is, en uiterlijk binnen twee uur, plaatsen we opnieuw een melding over de status van server s111. Mochten er andere updates beschikbaar komen over dit issue, dan melden we die natuurlijk ook via deze statuspagina. Bij voorbaat dank voor je begrip.

Mocht je vermoeden dat er, naar aanleiding van dit incident, iets niet correct werkt in onze dienstverlening, neem dan gerust contact op via support@antagonist.nl. We helpen je graag zo snel mogelijk bij het vinden van een oplossing.

23-06-2015
11:05

Het probleem met mysql op s111 is van dusdanige aard dat er een volledige recovery moet worden gedaan. We proberen dit zo snel mogelijk af te ronden, maar het is een tijdrovend proces wat enkele uren kan duren.

Binnen uiterlijk 30 minuten zullen wij een update geven over de voortgang van de oplossing van dit probleem.

23-06-2015
10:38

Server s111 blijkt nog problemen met mysql te hebben. We zijn dit aan het onderzoeken.

Binnen uiterlijk 30 minuten zullen wij een update geven over de voortgang van de oplossing van dit probleem.

23-06-2015
10:33

Op dit moment zijn alle servers weer operationeel. We blijven de servers nauwlettend in de gaten houden voor problemen die wellicht door de stroomuitval zijn ontstaan.

Binnen uiterlijk 30 minuten zullen wij een update geven over de voortgang van de oplossing van dit probleem.

23-06-2015
10:21

Server s111 is nu weer volledig operationeel.

Op dit moment zijn alle servers s69 t/m s199 operationeel, met uitzondering van s80. We werken nu aan een oplossing voor deze servers en blijven de andere servers nauwlettend in de gaten houden.

Binnen uiterlijk 30 minuten zullen wij een update geven over de voortgang van de oplossing van dit probleem.

23-06-2015
10:02

Server s110 is nu weer volledig operationeel.

Op dit moment zijn alle servers s69 t/m s199 operationeel, met uitzondering van s80 en s111. We werken nu aan een oplossing voor deze servers en blijven de andere servers nauwlettend in de gaten houden.

Binnen uiterlijk 30 minuten zullen wij een update geven over de voortgang van de oplossing van dit probleem.

23-06-2015
09:45

Op dit moment zijn alle servers s69 t/m s199 operationeel, met uitzondering van s80, s110 en s111. We werken nu aan een oplossing voor deze servers en blijven de andere servers nauwlettend in de gaten houden.

Binnen uiterlijk 30 minuten zullen wij een update geven over de voortgang van de oplossing van dit probleem.

23-06-2015
09:16

Op dit moment zijn alle servers s69 t/m s199 weer operationeel, met uitzondering van s161. We werken nu aan een oplossing voor s161 en blijven de andere servers nauwlettend in de gaten houden.

Binnen uiterlijk 30 minuten zullen wij een update geven over de voortgang van de oplossing van dit probleem.

23-06-2015
08:40

Er was sprake van een storing in de stroomvoorziening van het datacenter. Op dit moment is de stroomvoorziening hersteld en zijn de servers weer gestart. We lopen nu iedere server na om te controleren of deze weer op de juiste manier online is gekomen.

Binnen uiterlijk 30 minuten zullen wij een update geven over de voortgang van de oplossing van dit probleem.

23-06-2015
08:33

Er blijkt een probleem te zijn met de stroomlevering in het datacenter. De omvang van dit probleem is op dit moment nog niet precies bekend.

Binnen uiterlijk 30 minuten zullen wij een update geven over de voortgang van de oplossing van dit probleem.

23-06-2015
08:14

We onderzoeken momenteel een door ons monitoringsysteem gerapporteerd probleem met servers [s69] t/m [s199]. De volgende dienstverlening functioneert op deze servers momenteel geheel niet of niet binnen de normale parameters:

- Websites (HTTP)
- E-mail (SMTP / POP3 / IMAP)
- Databases (MySQL)
- FTP

Wij werken aan een oplossing van dit probleem. Je krijgt zo snel mogelijk meer informatie. Binnen uiterlijk 30 minuten zullen wij een update geven over de voortgang van de oplossing van dit probleem.