Le 13/3/2023 entre 19h et 21h remplacement de 2 disks défectueux par usure (pas de soucis ils sont tous triplés et ça arrive 1 à 2x par an ). Coupure de plusieurs services.
2 serveurs de stockage concernés : le 1er avec 30 disks en miroir triple et le second avec 3 disks en miroir triple.
14/03/2023 matin
Plusieurs services perturbés, la resynchronisation des disques dégrade les performances d’accès alors que le stockage est très sollicité en matinée. Nous coupons plusieurs services pour délester (acloudx , nclood.zaclys.com et cncloud.zaclys.com ) …
14/03/2023 17h
Derniers services encore perturbés : acloudX.zaclys.com , nclood.zaclys.com et cncloud.zaclys.com
( Tous les serveurs en location sont ok depuis fin de matinée )
14/03/2023 18h
Derniers services encore perturbés : acloudX.zaclys.com et cncloud.zaclys.com
( Tous les serveurs en location sont ok depuis fin de matinée )
14/03/2023 19h30
les 3x 42 To sont vérifiés à 90%… ETA estimé 15 min…
14/03/2023 22h
problème sur un disk , on recommence la vérification des 3x 42 To …
services encore perturbés : acloudX.zaclys.com et cncloud.zaclys.com
15/03/2023 6h
Hier soir avant 22h nous avons dû couper plusieurs services pendant 15 min le temps de retirer un disk : on a 2 opérations de maintenance sur le meme miroir triple et c’est vraisemblablement ce qui pose tous ces problèmes d’accès concurrentiel.
Donc décision a été prise de retirer le nouveau disk , de terminer la 1ere opération de maintenance qui a été lancée par le serveur dimanche (“scrub” complet des 3×42 To) . Dans le même temps nous avons refait un test long complet du nouveau disk qui doit remplacer le disk défectueux.
Bilan ce matin vers 5h : opération “check scrub” terminé, ok. Test long du 3eme : ok ras. On remet donc le nouveau disk dans le miroir , la synchronisation doit prendre 1h. Il n’y a pas d’autre opération en cours sur le storage et l’activité serveur est calme.
15/03/2023 8h : on joue de malchance on a d’autres blocs défectueux qui prennent du temps à passer au “check” … on est à 91% …
15/03/2023 14h : 93% …
15/03/2023 17h : 94,4% … à ce rythme ça devrait se terminer au petit jour… on s’en souviendra de ce nouveau disque. Encore nos excuses pour le dérangement.
15/03/2023 22h30 : 98% …
16/03/2023 6h : Terminé. Tous les services sont ok !
Encore toutes nos excuses pour ces 3 jours de services perturbés sur acloudX.zaclys.com nclood.zaclys.com et cncloud.zaclys.com (les serveurs dédiés en location n’étaient pas concernés).
Nous allons rajouter prestement des outils de monitoring supplémentaires pour anticiper l’usure des disques de stockage et les remplacer systématiquement avant d’en arriver à ce stade.
Avoir 2 disks qui arrivent en fin de vie au même moment sur le même groupe de disques en miroir triple est improbable, mais pas impossible, preuve est faite…
Bien entendu en + des disques triplés, nous avons un système de sauvegarde externe (lui même en double sur Strasbourg et Roubaix) , toutes les données sont sauvegardées 2x , donc même la casse définitive des disques en miroir ne signifierait pas une perte de données.
Nous allons également investir début avril dans un 4eme silo de stockage pour sécuriser et délester celui qui nous a créer ces problèmes pendant 3 jours.
18/03/2023 6h : (suite) remplacement par anticipation d’un autre disk usé ce matin. Ce qui peut provoquer quelques ralentissements sur certains services, pas de coupure prévue.
Nous avons également installé ce matin un script de surveillance supplémentaire qui vérifie 5 error/warn différents sur la totalité des disks et des serveurs, pour pouvoir les détecter et remplacer au moindre signe de faiblesse.
19/03/2023 12h : terminé
Merci de votre compréhension.
En cas de problème qui nous aurait échappé ce matin : merci d’utiliser notre formulaire de contact pour ouvrir un “ticket” sur notre support.
Bonne journée
Merci à vous, bravo et puis c’est toujours bien de savoir ce qui s’est passé.
Bonsoir
Merci pour le rétablissement et la réflexion pour encore minimiser ce genre de problème
Seul critique, je ne suis pas réseaux sociaux :-(
Un mail aurait été le bien venu pour dire de suivre cette page et ne pas chercher par hasard que cela venait de mon abonnement !
Je ne comprenais pas pourquoi je ne synchronisais pas mon agenda 🙁
Ce fut longtemps, mais le rapport qualité/pris reste toujours intéressant
@9
Merci à vous.
Pourquoi pas de courriel quand c’est une maintenance qui impacte tout ou partie des utilisateurs/trices (et pas une seule personne) ? Plusieurs raisons :
– il faut plusieurs jours pour prévenir tout le monde, un mailing devant respecter des règles d’envoi pour ne pas finir bloqué par les messageries destinataires (sauf si le destinataire est aussi un mail @zaclys.net bien sûr). Donc les messages arrivent après la bataille.
– le serveur mail peut être lui-même impacté. C’était le cas pour quelques personnes.
Donc nous postons toujours les billets de maintenance et d’incidents sur la gaZette. Pas besoin d’aller fouiller dans les menus, il y a toujours le lien de l’article le plus récent en haut de la page d’accueil zaclys.com
Et pourquoi aussi sur les réseaux sociaux (nous ne sommes pas non plus très fervents de ces bidules qui accaparent beaucoup de temps qu’on pourrait passer à faire des choses souvent plus intéressantes…) :
– l’info circule en instantané et vous pouvez recevoir des notifications. Donc pour être prévenu de ce genre de soucis, c’est pas mal.
– et aussi parce que si Zaclys.com n’est plus accessible pendant un temps, c’est le seul moyen qui reste pour communiquer avec vous.
Encore merci pour tous vos messages de soutien ici et sur les réseaux sociaux. Ça fait chaud au cœur.
Merci pour votre transparence et pour les informations données au fil de l’eau !
Merci également de partager avec nous vos plans afin de réduire les risques et problèmes que vous avez rencontrés ces trois derniers jours.
Tout est revenu dans l’ordre ici, un grand bravo aux équipes pour le boulot et la communication.
On est pas aussi bien traité dans les grandes structures …
Encore bravo.
Bonjour,
Je vous confirme que j’ai accès à mon nclood.
Bravo aux équipes pour votre mobilisation et votre persévérance.
Vous avez sû faire face à des impondérables et visiblement mis en place des solutions préventives.
Je vous remercie et vous renouvelle ma confiance.
Cordialement,
M VALLEE
Bonjour
Ce matin retour à la normale pour moi aussi.
Merci pour votre travail et bonne décompression.
Bonne journée
Claude
Bonjour,
De mon côté à cette heure sur ncloud, impossible encore d’accéder à mon espace.
J’ai la page « Mode maintenance ».
Merci à vous pour le boulot, les nuits blanches et pour nous avoir tenus informés.
Merci pour votre patience et votre soutien.
Bonne journée et bonne reprise.
C’est vrai que quand on adopte un chaton, il faut penser à lui faire sa visite annuelle chez le vétérinaire. 🙂
Big up !
Merci. Là ça s’apparente plus à un séjour à l’hosto avec deux disques qui nous lâchent en même temps et un nouveau qui boîte… On va encore devoir conforter tout ça je pense.
Bon courage, mais assez contraignant quand même pour moi quand les serveurs ne sont pas accessibles.
Merci. Cette situation pénalise beaucoup d’entre nous et c’est vraiment regrettable. Nous en sommes désolés.
Après tout cela on espère que tout pourra être remis sur pied normalement avant que tout le monde retourne au travail demain…
Merci de votre compréhension et bonne fin de soirée,
L’équipe Zaclys
Merci pour le travail effectué, on va réussir à faire sans.
Merci de votre service.
Bon courage !
Merci pour le suivi, j’ai réinitialisé mon téléphone au mauvais moment on dirait 🙂
J’espère que vous ferez un bilan quand tout sera revenu à la normale.
Bon courage !
Bonjour,
Merci pour le suivi et les infos.
De mon côté, acloud8 n’est encore pas accessible !
Bonjour,
Je ne comprenais pas pourquoi Thunderbird se plaignait de mon calendrier pas synchronisable depuis ce matin sans m’expliquer le problème.
Finalement, cette page m’explique tout, donc merci pour votre transparence.
Et bon courage pour la dernière ligne droite !
Oui, bon à savoir les infos liées à la maintenance en règle générale sont données sur la gazette pour permettre de vous faire ce type de suivi de l’évolution.
Et nous postons aussi sur les réseaux sociaux (liens sur le site zaclys.com en haut à droite).
J’en profite pour préciser comment on gère ça dans ce genre de situations. D’abord on va au plus urgent, c’est à dire réparer au plus vite, puis expliquer. Les deux en parallèle si on y arrive.
Sachant que poster un billet, le relayer sur les réseaux sociaux, recueillir à chaud les diagnostics des techniciens et les retranscrire, répondre à des centaines de courriels, de messages sur les réseaux et sur le billet de maintenance, ça demande beaucoup de ressources et de temps. Donc on s’excuse si parfois on vous laisse un peu longtemps sans nouvelles mais vous savez maintenant que c’est très probablement parce qu’on se concentre sur les réparations à ce moment-là.
Je me joins à ceux qui vous remercie pour le suivi dispo aussi, et vous souhaite bon courage!
Grand merci.
On révise nos figures de yoga…
Bonjour,
Je tenais à vous remercier pour cette page d’info. 🙂
J’espère que nous pourrons bientôt accéder à notre espace.
Bon courage,
Bonjour,
Pouvez-vous communiquer sur ce qu’il reste à faire : ce jour à 11h38 toujours pas d’accès aux services de a5.cloud
Je vous renvoie à la réponse faite au commentaire précédent. Merci. Nous mettrons le billet à jour quand les 100% seront atteints.
Nous mettons régulièrement le billet à jour. Merci pour votre soutien.
Bonjour, https://acloud2.zaclys.com/index.php/login
login toujours pas possible à 11H.30 ce jour…
c’est vrai que ça dure un peu cette panne,
mais nous vous faisons confiance pour un prompt rétablissement,
cordialement
Merci. Comme indiqué dans les dernières mises à jour du billet, pour l’instant on attend que ce loooong processus d’isolation des secteurs défectueux sur les nouveaux disques se termine afin de pouvoir relancer les serveurs impactés.
Bonjour,
Le serveur acloud2 est toujours inaccessible ce matin. Ce serveur est-il toujours impacté dans cette période de maintenance ?
Cordialement
Bonjour, il semblerait que ça ne fonctionne toujours pas. Nous n’avons pas accès aux images qui sont hébergées sur les albums et dont le lien a été partagé sur une plateforme de sondage.
Bonjour, nous utilisons nclood pour le travail pour faire face à des situations d’urgence . Nous ne pouvons pas l’utiliser depuis hier. Savez vous quand cela pourra fonctionner?
Merci pour ce fil d’actu sur la maintenance. ça donne une idée de ce qui se passe en arrière boutique.
Bonjour,
Bon courage pour cette maintenance pas simple.
On reste patient·e par ici, on imagine la situation de votre côté.
Merci pour votre aide !
Bonjour,
ncloud toujours inaccessible de mon côté :
“Ce site est inaccessiblenclood.zaclys.com a mis trop de temps à répondre.
Voici quelques conseils :
Vérifier la connexion
Vérifier le proxy et le pare-feu
ERR_CONNECTION_TIMED_OUT”
Bonjour,
Je n’ai plus du tout accès à mon calendrier et à mon stockage Nextcloud depuis hier. Pouvez-vous m’aider ?
Merci !
Merci de nous avoir informés c’est plus clair, on attendra la fin de la re-construction/verification du RAID.
Bon courage pour cette vérification des disques durs !
On est bien fort avec vous !
bonjour 21h47 pas d’accès à acloud acloud4 et cncloud
Cordialement
bonjour,
Il m’est impossible de ma connecter à acloud et à ma boite mails.
Est-ce du fait de la maintenance?
Bonsoir,
Le serveur acloud ne répond toujours pas. J’ai relancé le client Nextcloud, mais j’obtiens le même message : “Aucune connexion au serveur Nextcloud à l’adresse https://acloud8.zaclys.com. Délai d’attente”.
Merci d’avance pour votre retour !
Bonsoir,
le service mail (depuis 18h), nclood, acloud4 et sont indisponibles ce soir.
Bonjour, le Zmail est en carafe… vous n’en parlez pas 🙁
Bonsoir,
Acloud et mail Toujours HS ?
Bonjour,
pour moi le serveur https://nclood.zaclys.com n’est toujours pas accessible
(Message de maintenance)
Je vous en remercie par avance.
Cordialement,
nclood est en route depuis 17h15. relancez le client de sync si besoin
Hello,
Il semble que le serveur mail soit également en rideau.
Cannot connect to mail.zaclys.net (178.33.93.72:993): Connection timed out No working address found for mail.zaclys.net
Courage !
Je ne pensais pas que vous censuriez les messages.
Assumez vos problèmes techniques au lieu de les cacher.
non mais il faut qu’on les valide pour les publier, on le fait asap
Vous semblez prompt à dénoncer une malhonnêteté dissimulée derrière les messages de maintenance de la part de notre fournisseur de services associatif et indépendant… Votre adresse à un travailleur est plutôt acide et détestable, et oui, les machines et internet cela tombe en rade des fois surtout quand c’est fait main.
Toujours pas de acloud2 et acloud8 en ligne…
C’est pas très transparent ce qu’il se passe.
Bonjour,
Pensez-vous que vers 20h00 le serveur acloud6 sera de nouveau opérationnel ?
Nous avons une réunion et des documents utiles sont sur notre serveur Zaclys 🙁
Merci d’avance pour votre réponse… et pour la maintenance de ces services numériques Ô combien utiles.
Christophe
je vous remets acloud6 en route
Bonjour,
Je bois toujours le serveur en maintenance.
Cordialement.
Jbvh
Bonjour,
Savez-vous l’heure de remise en fonction des services “ncloud”?
Bien cordialement,
ncloud.zaclys.com (1 à 9) ok depuis ce matin
Bonjour,
Pensez-vous que vers 20h00 le serveur acloud sera de nouveau opérationnel ?
Nous avons une réunion et des documents utiles sont sur notre serveur Zaclys 🙁
Merci d’avance pour votre réponse… et pour la maintenance de ces services numériques Ô combien utiles.
Christophe
quel serveur exactement ?
16h30 : Acloud3 toujours ‘out’. Très ennuyeux.
Pour info : serveur acloud9 toujours perturbé pour moi à 14h15… Au moins sur le service caldav
La gamme acloud et nclood sont les plus longs à resynchroniser sur cette intervention. Quelques milliers de comptes à traiter…
Bonjour, Pour moi, qui suis en phase de découverte et observation avant probable abonnement, la création d’un nouveau dossier et l’upload de quelques photos se sont très bien passés malgré l’opération de maintenance que j’ai découvert seulement après…
🙂
Merci et bienvenue. Rassurez-vous les disques ne nous lâchent pas tous les jours 😉
Est-il correct que le système est encore perturbé maintenant (14 à midi)
Oui vous pouvez voir l’évolution dans le billet. Merci de votre compréhension si votre serveur est impacté.
Bonjour
acloud5 ne répond pas. C’est toujours normal ?
Merci ‘
oui désolé, on y travaille
Rebonjour,
(Merci pour la réponse d’avant)
Le serveur acloud est en toujours maintenance à l’heure actuelle. Savez-vous s’il y a des problèmes, et vers quel moment il peut être à nouveau disponible ?
Bonjour, nous venons de mettre le billet à jour. Merci de votre compréhension si votre serveur est impacté.
Bonjour,
Nous n’arrivons toujours pas à accéder à notre espace zaclys/Nextcloud. La maintenance est elle toujours en cours ?
Merci
Bonjour, nous venons de mettre le billet à jour. Merci de votre compréhension si votre serveur est impacté.
Bonjour,
De mon côté, les serveurs acloud et acloud2 (que j’utilise notamment pour le travail) sont déjà hors service. Est-ce dû à la maintenance ?
Non pas à la maintenance car elle n’a pas commencé mais au problème de disques très probablement. D’où la maintenance dès ce soir.