Coupure du 27/02/2017

Bonjour à tous,

Comme vous avez pu le constater, le 27/02, nous avons subi une importante coupure impactant tous nos services (Mutualisés, VPS, site, manager…).

Nous souhaitons tout d’abord vous présenter toutes nos excuses pour cette coupure.

Nous voulions également revenir vers vous, afin de vous expliquer les raisons de cette dernière pour être totalement transparent sur cet incident.

 

  • Tout d’abord, nous avons reçu il y a 15 jours un document d’Illiad (notre Datacenter) nous informant d’une maintenance électrique :

Nous en avons bien pris connaissance et note. Comme vous pouvez le lire, cette maintenance présentait un risque faible de coupure :

Hormis l’interruption non prévisible du réseau électrique

Je vous laisse deviner ce qu’il s’est passé…

A la suite d’une maintenance préventive planifiée sur la chaine ondulée B, un défaut ventilateurs est apparu sur la cellule Normal Secours (NS) à la remise en service.
Afin d’intervenir sur les ventilateurs, le technicien de maintenance a voulu isoler la cellule NS. Pour cela il devait ouvrir l’interrupteur Q4S.
Cependant le technicien a ouvert Q5N ce qui a engendré une coupure sur les TDHQ alimentant les salles informatiques 103 et 206.
La coupure a eu lieu à 10h10 et 27 secondes avec une remise sous tension à 10h10 et 46 secondes.

Cette petite coupure de 19 secondes en a engendré 6h de notre côté.

Suite à cette coupure, nous avons tout de suite pris contact avec Illiad afin de faire vérifier le fonctionnement de notre baie et de l’ensemble de nos équipements.

En quelques minutes, on nous confirme l’incident et que nos serveurs sont allumés (serveurs, mais on a aussi des switchs, baie de stockage, …).

Suite à cette réponse, Nicolas a décidé de prendre la route car aucuns serveurs ne répondaient sur aucunes de nos deux voies d’accès à la baie (Il était environ 10h30-45, soit 20 minutes après la coupure).

Pendant le temps de trajet de Nicolas (Environ 2h – 2h30), nous avons échangé avec Online, on nous répond ceci :

Votre demande est en cours de traitement.

Mais encore ? Nous n’avons pas fait de demande, hormis signifier, que nous étions dans le noir…

Ensuite, plus de réponse…

 

Nicolas, arrive sur place vers 13h, essaie de récupérer une console sur place (KVM : clavier, écran, souris), mais beaucoup de monde sur place suite à cette coupure.

Branchement de l’écran sur l’un de nos serveurs :

Cela aurait dû pouvoir être fait en geste de proximité par les techniciens Illiad (mais qui étaient débordés vu la situation rarissime pour un Datacenter).

Nous avons ensuite pu booter les serveurs, et récupérer l’accès a nos VMs.

Dernier souci, la coupure a corrompu la mémoire de nos switchs.

Donc obligé de refaire la configuration de nos switchs / VLANs en urgence (Dump disponible mais sur un cloud privé, dans la baie donc inaccessible).

Les premiers Ping sont de retour à 16h.

De notre côté nous allons bien évidemment mettre en place des solutions afin d’assurer du backup distant en cas de coupure (Notamment pour les mails).

 

En cas de soucis, question(s) ou autre, notre support reste à votre entière disposition.

 

Avatar de Nicolas Lepron
Nicolas Lepron

Bonsoir à tous, Merci pour votre soutien ! Nous en avons toujours besoin et encore plus pendant des moments comme celui que nous avons vécu ce jour la .... Nicolas.


Avatar de Baptiste Cottey
Baptiste Cottey

Bonjour, Il nous semblait important pour nous de vous informer des raisons de cette coupure ! Merci pour votre confiance. Baptiste


Avatar de Baptiste Cottey
Baptiste Cottey

Bonjour, Merci à vous :)


Avatar de Baptiste Cottey
Baptiste Cottey

Bonjour, Nous aimons en tant que client avoir de la transparence, donc nous souhaitons également en donner :)


Avatar de Baptiste Cottey
Baptiste Cottey

Bonjour, Nous aimons en tant que client avoir de la transparence, donc nous souhaitons également en donner :)


Avatar de Baptiste Cottey
Baptiste Cottey

Bonjour, Tout est derrière nous maintenant :)


Avatar de Baptiste Cottey
Baptiste Cottey

Bonjour, Merci de votre soutien !


Avatar de Baptiste Cottey
Baptiste Cottey

Bonjour, Merci de votre soutien !


Avatar de Baptiste Cottey
Baptiste Cottey

Bonjour, Merci de votre soutien ! :)


Avatar de Baptiste Cottey
Baptiste Cottey

Merci ! Votre soutien nous est important :)


Avatar de Christian
Christian

Belle initiative que cette réponse. On mesure l’embarras qui vous avez eu.


Avatar de Julien
Julien

Merci pour l'explication et les efforts fournis lors de cette coupure. Bon courage pour la suite !


Avatar de Virus_Gamers
Virus_Gamers

Il est assez rare de nos jours de voir autant de transparence auprès des hébergeur. Vous êtes pardonnées ! :)


Avatar de Benjamin
Benjamin

Merci pour vos actions et votre transparence. Cordialement, Benjamin


Avatar de berrand guy
berrand guy

Merci surtout de nous avoir fait part de cette (trop longue) panne par mail personnalisé, me permettant ainsi de suivre le déroulement du dépannage depuis l'onglet adapté sur votre portail ProxGroup. Je vous renouvelle ma confiance. Cordialement. G.BERRAND


Avatar de AFUL "Les Paquerettes"
AFUL "Les Paquerettes"

Bonjour, Tout est clair maintenant. Bravo pour votre réactivité, déplacement et engagement à cette remise en route. Cordialement TF


Avatar de EVB
EVB

Merci à vous pour votre réactivité et votre transparence :) Cordialement EVB


Avatar de Tim
Tim

Bravo Nicolas et toute l'équipe ! Merci pour tout. Bien cordialement Tim


Avatar de cmj-traduction
cmj-traduction

Merci beaucoup pour cette transparence !


Envie de rajouter quelque chose ? :) :

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *