Maintenance terminée sur plusieurs serveurs nextcloud
Terminé, situation ok
[EDIT du mercredi 3/8/2022 9h] une opération de maintenance mineure à 6h du matin s’est mal passée, elle a provoquée une perturbation sur plusieurs service jusqu’à 8h30 (pb config MBR suite au remplacement de plusieurs disques SSD sur un de nos serveurs de stockage , cf ci dessous pour + d’infos)
[EDIT du lundi 1/8/2022 16h] (suite du point ci dessous) Dernière coupure de service de quelques minutes vers 16h. 3eme et dernier ssd remplacé : ils sont les 3 à neuf sur ce “pool” de disks (après 5 ans d’utilisation intensive pour une douzaine de BDD et de services critiques…).
[EDIT du lundi 1/8/2022 14h] (suite du point ci dessous) ssd remplacé à chaud. Pas de coupure de service. Merci
[EDIT du lundi 1/8/2022 13h] (suite du point ci dessous) pendant que le fournisseur est sur le pont, on va remplacer un autre SSD de façon préventive entre 13h et 14h (coupure de 15 minutes à prévoir)
[EDIT du lundi 1/8/2022 10h30] (suite du point ci dessous) coupure de 30 min vers 10h ce matin : notre fournisseur a remplacé le disque SSD défectueux (alors que nous avions demandé de faire ce remplacement demain matin avant 6h…)
[EDIT du lundi 1/8/2022 8h30] une 2nde casse de disque SSD cette nuit (logique car ces 3 SSD sont en mirroir depuis plusieurs années et ils ont le même taux d’usure…). Cette fois on a l’expérience : panne résolue ce matin à 8h30. Merci de votre confiance.
Billet du 22 juillet :
Suite à un incident technique, plusieurs services ont été perturbés entre vendredi 22/7 fin de de journée et lundi 25/7 9h30
La panne est résolue. Toutes nos excuses pour la gêne occasionnée.
Cause : une panne matérielle sur un disque SSD. Ils sont en miroir triple mais ce mode dégradé (erreurs aléatoires et timeout) a fortement perturbé la partie stockage de notre infra . Nous avons eu bcp de mal à trouver la panne car ce disque n’était pas complètement HS et il passait sous les radars (aucune erreur sur les tests de disk linux classiques par exemple)
Merci de votre confiance et bonne journée
cordialement
l’équipe Z/
Commentaires récents