L’intervention est terminée. Elle s’est plutôt bien déroulée. Malheureusement, nous avons constaté le lendemain des problèmes généralisés. Ils étaient en fait causés par le switch tout neuf… Après un remplacement de celui-ci, l’infra semble repartir. Des problèmes subsistent, mais les roots dorment là..
Bonjour,
l’intervention a commencé. Ce jeudi 19 janvier, les machines virtuelles ont été coupées en début de matinée.
Les roots sont dans les derniers préparatifs de l’intervention. Le planning est le suivant:
- Jeudi (aujourd’hui donc): coupure de certains services (machines virtuelles) et arrêt d’etna (transparent pour vous)
- Vendredi, à partir de 16h: extinction progressive de l’infrastructure, tous les services seront interrompus. Redémarrage dans la soirée… Après un bon coup de balais dans la baie!
- Samedi: suite des opérations…
Nous vous tiendrons informés de l’avancement de l’intervention, sur ce même billet, et sur IRC
May the force be with us (non merci Murphy, on se passera de toi cette fois ci. Si si j’insiste!)
Mise à jour (20/01 19h04)
Jeudi:
- On éteint etna et elga
Vendredi:
19h05
- Toute l’infra est par terre (au sens physique du terme)
- Les IPMI sont montées dans les serveurs, reste à les configurer.
- On re-rack le switch, et progressivement, les machines.
19h30
- Les deux hyperviseurs (hyppocampe et hyppopotame) sont rackés, ainsi que filou, le nouveau filer.
19h40
Les renforts arrivent! Et avec eux, 3 nouvelles machines. On a donc au final, vinci, fufroma, fser et viennent d’arriver xals et sa femme, olive, un ami d’olive qui a aidé pour transporter le bazar.
21h
Les machines sont en place, on attaque les branchements
Samedi:
3h10
Bon on arrive à l’issu de l’interv, il reste… un problème de routage, et plein de rangement. C’est fou ce que ça fait comme désordre un débarquement de geeks dans un DC. Plus de photo, il est trop tard…
3h56
L’intervention physique se termine… Malheuresement, il nous reste quoi, 4h de route pour rentrer à la maison?
Du coup, le reste de configuration se fera à distance… Plus tard dans la journée
7h40
Arrivé a Amiens. Fser a encore une heure et demi de route devant lui, on lui souhaite bien du courage. A Amiens, un sommeil bien lourd s’impose.
9h20
Lille! C’était dur… mais c’est fait. À bientôt
13h45
La plateforme n’est pas encore en ligne, on a un probleme de charge réseau en interne. On est sur le coup depuis 11h,on vous tiens au courant dès qu’on sait un peu mieux où on en est.
16h
Vinci a peut-etre trouvé le pourquoi du comment… on vous tiens au jus.
22h
Il semblerait que le problème soit matériel, en changeant le switch, ça repart! Bravo à Vinci et Olive