Travaux et incidents
Et pour vous tenir informé des incidents en cours et des dernières actualités, consultez la gazette ! 🙂
Dernière perturbation : regardez d’abord la gazette
– Perturbations lundi 30/3/2020 entre 17h et 18h sur plusieurs services
Notre fournisseur OVH a eu plusieurs incidents matériels sur ses équipements à Roubaix , ce lundi 30/3/2020 entre 17h et 18h. http://travaux.ovh.com/?do=details&id=43793
– 17 et 18/3/2020 Service cloud : perturbations sur le serveur ncloud.zaclys.com uniquement :
https://www.zaclys.com/service-cloud-maintenance-sur-le-serveur-ncloud-zaclys-com-uniquement/
– 13/03/2020 Service sms : perturbations chez notre fournisseur Telecom (OVH) sur le service sms
situation corrigée par OVH le 14/3
– 13/3/2020 Service mail : problème de connexion sur les boites mails entre 11h30 et 14h30
problème sur le serveur imaps suite à la mise à jour automatique du certificat SSL
– 9/3/2020 perturbations sur plusieurs services entre 11h30 et 14h30 et sur la réception de SMS entre 15h30 et le lendemain 7h
https://www.zaclys.com/maintenance-le-9-3-2020/
– 3/2/2020 perturbations sur le serveur ncloud.zaclys.com
montée en charge sur le serveur : nous ajoutons le serveur ncloud2.zaclys.com , désormais sur “mon profil” / “cloud” les nouveaux utilisateurs se verront proposer ncloud2.zaclys.com au lieu de ncloud.zaclys.com
– 2 et 3 octobre 2019 , perturbations sur le serveur ncloud.zaclys.com
Conséquence : upgrade vers nextcloud version 17.
– Début septembre 2019 : perturbations sur les services cloud
Conséquence : le 14/9/2019 investissement pour augmenter la puissance CPU
– Interruption des services mardi 27 août 2019 de 11h40 à 12h
Reboot de tous les services suite à un défaut sur le serveur principal.
– Coupures et perturbations de Mastodon mardi 25 juin 2019 de 13h à 18h30
Maintenance et Mise à jour de l’instance mastodon
– Coupure pour maintenance mardi 4 juin 2019 de 5h à 6h
Upgrade RAM à 1 To
– Coupure sur le serveur ncloud.zaclys.com du 23/5 matin au 24/5 vers 14h30
– Coupure de 5 minutes pour maintenance 17 mai 2019 vers 9h45
Suite à la nouvelle faille sur les CPU intel, nous avons appliqué les premiers patch et redémarré nos serveurs.
– Coupures et perturbations de Mastodon jeudi 18 avril 2019 de 10h30 à 13h30
Maintenance et Mise à jour de l’instance, migration de l’OS et màj mastodon
– Coupure pour maintenance mercredi 13 février 2019 de 13h45 et 14h
redémarrage du serveur principal (pb drop cache kernel qui provoquait une charge systeme )
– Coupure sur la majorité des services le samedi 19 janvier 2019 de 10h à 10h20
redémarrage du serveur principal après plantage de processus du manager
– Coupure de service Forum jeudi 17 janvier 2019 de 13h à 16h35
mise à jour du forum, migration de l’OS et migration de la base de donnée
– Perturbation sur le serveur Owncloud lundi 3 décembre 2018 matin et du jeudi 13 ou samedi 15 décembre 2018 à 9h
– Coupure sur la majorité des services le 15 nov 2018 entre 15h et 16h15
maintenance infra : upgrade proxmox 5
– Perturbation sur le service mastodon le 5 nov 2018 vers 16h
maintenance : délestage des datas vers un MP en rsync
– Perturbation sur le service zmail 28 et 29 octobre 2018
utilisation abusive d’un spammeur.
– Perturbation sur les envois de mails @zaclys.com vers les boites mails MSN et cie entre le 10 et 20 septembre 2018
https://gazette.zaclys.com/Probleme-de-messagerie-resolu-avec-hotmail-msn-live-et-outlook-fr,p125,592
– Perturbation sur le service mail ( mardi 26/6/2018 23h à mercredi 27/6/2018 17h30)
https://gazette.zaclys.com/Services-Mail-et-ownCloud-perturbations-terminees,p125,586.
– Perturbation sur les serveurs cloud mutualisés le 18 mai 2018 (mise à jour et maintenance
opération débutée vers 9h30 (terminée vers 13h20), toutes nos excuses pour le désagrément.
– Perturbation sur les serveurs cloud matin du 13 mars 2018 (maintenance)
opération terminée vers 10h30 , toutes nos excuses pour le désagrément.
– Perturbations de l’instance Mastodon le 11/03/2018 (8h à 10h)
maintenance, mise à jour => installation d’elasticsearch beaucoup plus longue que prévue…
– Perturbations le 19/2 (10h-12h) sur plusieurs services
maintenance
– Surcharge sur un de nos serveurs le 25/1/2018
intervention et correction par matt en fin de journée
– Petites coupures sur les services cloud (mutus et dédiés) le 15/1/2018 vers 13h pour maintenance
maintenance, mise à jour et installation d’une nouvelle application
– Perturbations et coupure de service sur le site principal jeudi 19/10/2017 matin
une opréation de maintenance plus compliquée que prévu a nécessité un redémarrage serveur
– Perturbations lundi 20/11/2017
ServerLimit passe par exemple de 256 à 5 000
– Petites coupures sur les services Nextcloud vendredi 06/10
maintenance, mise à jour et installation d’une nouvelle application
– Perturbations lundi 18/9
https://gazette.zaclys.com/Vignettes-Albums-et-coupures-cloud,p125,551
– Coupures de services du mercredi 21 juin 10h au vendredi 23 juin 12h30
https://gazette.zaclys.com/Maintenance-serveur,p125,541
– Coupures de services mercredi 14 juin entre 9h30 et 12h
https://gazette.zaclys.com/Coupure-de-service-mercredi-14-juin-entre-9h30-et-12h,p125,538
– Coupures de service mardi 30 mai entre 15h20 et 17h20
une mise à jour linux sur le serveur principal qui est partie en sucette comme on dit dans le 7.0
https://gazette.zaclys.com/Coupures-de-service-ce-mardi-30-entre-15h20-et-17h20,p125,534
– Petite coupure sur les services wiki et mastodon pour maintenance (10 mai)
update last version
– Petite coupure sur le service owncloud pour maintenance (9 mai)
update lamp + tuning bdd
– Petite coupure sur le service nextcloud de 40 secondes pour maintenance (24 avril 2017 à 9h20) :
tuning mysql (augmentation des ressources)
– Pb firewall trop agressif (Vendredi 17 au Mardi 21 mars) :
Notre firewall a été trop agressif ces derniers jours et a bloqué par erreur l’accès à des milliers d’internautes et moteurs de recherche. Le problème a été corrigé ce mardi 21 mars apres midi. Toutes nos excuses et merci de nous l’avoir signalé.
https://gazette.zaclys.com/Probleme-dacces-au-site-ces-derniers-jours,p125,526
– Coupures de service pendant 2 minutes sur plusieurs services (le 15/3/2017 à 17h )
Mise à jour kernel sur le serveur Z2
– Incident spam sur le service mail, orange et wanadoo refusent les mails @zaclys.net (le 14/3/2017)
et 3 comptes fermés …
– Incident spam sur le service mail, orange et wanadoo refusent les mails @zaclys.net (le 13/2/2017)
https://forum.zaclys.com/viewtopic.php?f=16&p=8442#p8441
– Coupures de service pendant quelques minutes sur les services Album et Envoi (le 1/2/2017)
Dans le cadre de l’amélioration de notre infrastructure système et réseau, nous avons transféré plusieurs services sur un espace de stockage plus important
– Coupures de service pendant quelques heures sur Cloud classique et les serveurs cloud dédiés (fin janvier)
Dans le cadre de l’amélioration de notre infrastructure système et réseau, nous transférons plusieurs services sur un espace de stockage plus important
– Coupure de service de 1 heure vers 3h du matin sur le service mail zaclys.net (janvier 2017)
Problème de volume sur les sauvegardes de ce service victime de son succès, on est obligé de suspendre le service 1 heure de temps pour la sauvegarde (les mails en attente ne sont pas perdus). On va passer dès que possible le service sur ZFS pour améliorer ça.
– Coupure de service de 5 minutes sur le site principal le 23/11/2016 vers 14h30
Problème sur la maj d’un script de sécurité
– Coupure service SMS : 16/11/2016 de minuit à 9h environ
PB sur la réception de sms sur le service double authentif , service coupé car pb de renouvellement de notre abonnement mensuel chez ovh
– Coupure de service sur le site principal le 24/02/2016 matin
Problème d’espace disque sur les mutex SSL Apache du site web principal quand on flush Apache en automatique à 4h, le robot n’a pas pu relancer.
Nous avons multiplié par 10 l’espace Shared Memory du Kernel et rajouté un monitoring pour suivre les IPC quotidiennement.
[Wed Feb 24 04:01:34.660239 2016] [core:emerg] [pid 12190] (28) No space left on device: AH00023: Couldn’t create the ssl-cache mutex
https://gazette.zaclys.com/Coupure-de-service-le-24-02-2016-matin,p125,472