Capture 1200x401

Bonjour à tous,

Comme vous avez pu le constater, le 27/02, nous avons subi une importante coupure impactant tous nos services (Mutualisés, VPS, site, manager…).

Nous souhaitons tout d’abord vous présenter toutes nos excuses pour cette coupure.

Nous voulions également revenir vers vous, afin de vous expliquer les raisons de cette dernière pour être totalement transparent sur cet incident.

 

  • Tout d’abord, nous avons reçu il y a 15 jours un document d’Illiad (notre Datacenter) nous informant d’une maintenance électrique :

Nous en avons bien pris connaissance et note. Comme vous pouvez le lire, cette maintenance présentait un risque faible de coupure :

Hormis l’interruption non prévisible du réseau électrique

Je vous laisse deviner ce qu’il s’est passé…

A la suite d’une maintenance préventive planifiée sur la chaine ondulée B, un défaut ventilateurs est apparu sur la cellule Normal Secours (NS) à la remise en service.
Afin d’intervenir sur les ventilateurs, le technicien de maintenance a voulu isoler la cellule NS. Pour cela il devait ouvrir l’interrupteur Q4S.
Cependant le technicien a ouvert Q5N ce qui a engendré une coupure sur les TDHQ alimentant les salles informatiques 103 et 206.
La coupure a eu lieu à 10h10 et 27 secondes avec une remise sous tension à 10h10 et 46 secondes.

Cette petite coupure de 19 secondes en a engendré 6h de notre côté.

Suite à cette coupure, nous avons tout de suite pris contact avec Illiad afin de faire vérifier le fonctionnement de notre baie et de l’ensemble de nos équipements.

En quelques minutes, on nous confirme l’incident et que nos serveurs sont allumés (serveurs, mais on a aussi des switchs, baie de stockage, …).

Suite à cette réponse, Nicolas a décidé de prendre la route car aucuns serveurs ne répondaient sur aucunes de nos deux voies d’accès à la baie (Il était environ 10h30-45, soit 20 minutes après la coupure).

Pendant le temps de trajet de Nicolas (Environ 2h – 2h30), nous avons échangé avec Online, on nous répond ceci :

Votre demande est en cours de traitement.

Mais encore ? Nous n’avons pas fait de demande, hormis signifier, que nous étions dans le noir…

Ensuite, plus de réponse…

 

Nicolas, arrive sur place vers 13h, essaie de récupérer une console sur place (KVM : clavier, écran, souris), mais beaucoup de monde sur place suite à cette coupure.

Branchement de l’écran sur l’un de nos serveurs :

Cela aurait dû pouvoir être fait en geste de proximité par les techniciens Illiad (mais qui étaient débordés vu la situation rarissime pour un Datacenter).

Nous avons ensuite pu booter les serveurs, et récupérer l’accès a nos VMs.

Dernier souci, la coupure a corrompu la mémoire de nos switchs.

Donc obligé de refaire la configuration de nos switchs / VLANs en urgence (Dump disponible mais sur un cloud privé, dans la baie donc inaccessible).

Les premiers Ping sont de retour à 16h.

De notre côté nous allons bien évidemment mettre en place des solutions afin d’assurer du backup distant en cas de coupure (Notamment pour les mails).

 

En cas de soucis, question(s) ou autre, notre support reste à votre entière disposition.

 

19 Comments

  • cmj-traduction

    6 mars 2017 at 8 h 43 min

    Merci beaucoup pour cette transparence !

    • Baptiste Cottey

      9 mars 2017 at 0 h 27 min

      Bonjour,

      Merci de votre soutien !

  • Tim

    6 mars 2017 at 9 h 08 min

    Bravo Nicolas et toute l’équipe !
    Merci pour tout.
    Bien cordialement
    Tim

    • Baptiste Cottey

      9 mars 2017 at 0 h 27 min

      Bonjour,

      Merci de votre soutien !

  • EVB

    6 mars 2017 at 20 h 03 min

    Merci à vous pour votre réactivité et votre transparence 🙂
    Cordialement EVB

    • Baptiste Cottey

      9 mars 2017 at 0 h 27 min

      Bonjour,

      Merci à vous 🙂

  • AFUL "Les Paquerettes"

    8 mars 2017 at 11 h 45 min

    Bonjour,
    Tout est clair maintenant.
    Bravo pour votre réactivité, déplacement et engagement à cette remise en route.
    Cordialement
    TF

    • Baptiste Cottey

      9 mars 2017 at 0 h 26 min

      Bonjour,

      Merci de votre soutien ! 🙂

  • berrand guy

    8 mars 2017 at 11 h 51 min

    Merci surtout de nous avoir fait part de cette (trop longue) panne par mail personnalisé, me permettant ainsi de suivre le déroulement du dépannage depuis l’onglet adapté sur votre portail ProxGroup.
    Je vous renouvelle ma confiance.
    Cordialement. G.BERRAND

    • Baptiste Cottey

      9 mars 2017 at 0 h 28 min

      Bonjour,

      Il nous semblait important pour nous de vous informer des raisons de cette coupure !
      Merci pour votre confiance.

      Baptiste

  • Benjamin

    8 mars 2017 at 11 h 56 min

    Merci pour vos actions et votre transparence.
    Cordialement,
    Benjamin

    • Baptiste Cottey

      9 mars 2017 at 0 h 26 min

      Bonjour,

      Nous aimons en tant que client avoir de la transparence, donc nous souhaitons également en donner 🙂

  • Virus_Gamers

    8 mars 2017 at 12 h 14 min

    Il est assez rare de nos jours de voir autant de transparence auprès des hébergeur.
    Vous êtes pardonnées ! 🙂

    • Baptiste Cottey

      9 mars 2017 at 0 h 26 min

      Bonjour,

      Nous aimons en tant que client avoir de la transparence, donc nous souhaitons également en donner 🙂

  • Julien

    8 mars 2017 at 16 h 18 min

    Merci pour l’explication et les efforts fournis lors de cette coupure. Bon courage pour la suite !

    • Baptiste Cottey

      9 mars 2017 at 0 h 25 min

      Merci !

      Votre soutien nous est important 🙂

  • Christian

    8 mars 2017 at 21 h 59 min

    Belle initiative que cette réponse. On mesure l’embarras qui vous avez eu.

    • Baptiste Cottey

      9 mars 2017 at 0 h 25 min

      Bonjour,

      Tout est derrière nous maintenant 🙂

  • Nicolas Lepron

    21 mars 2017 at 2 h 29 min

    Bonsoir à tous,

    Merci pour votre soutien ! Nous en avons toujours besoin et encore plus pendant des moments comme celui que nous avons vécu ce jour la ….

    Nicolas.

Leave A Comment

What’s happening in your mind about this post !

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *