Retour sur l'incident du lundi 21/08/2023

Aug 29, 2023

Chers clients,

Nous souhaitons vous informer de la situation concernant l'incident survenu au sein de notre infrastructure le 21/08/2023 à 7h34. Voici un récapitulatif des événements de la semaine écoulée :

1. État des lieux actuel

Actuellement, l'ensemble de nos services est pleinement opérationnel. Aucune de vos données n'a été compromise ou perdue, et nous poursuivons certains ajustements spécifiques sur des infrastructures complexes pour garantir leur stabilité.

2. Retour sur les événements de la semaine

- Nos systèmes d’intrusion ont reçu une alerte vers 7h du matin lundi 21/08/2023. Dès la détection de l'incident, nous avons pris des mesures urgentes pour minimiser les impacts avec un arrêt immédiat de toutes les infrastructures cloud.

- Dès que nous avons identifié l'incident, notre équipe de sécurité a immédiatement isolé la partie affectée de notre infrastructure cloud, garantissant ainsi que le problème ne se propage pas davantage. Les machines compromises ont été coupées du réseau pour éviter toute intrusion ou diffusion de vulnérabilités.

- Après avoir assuré la sécurité de notre environnement, nous avons rétabli les serveurs DNS et SOA le lundi 21 Août à 9h54, propageant ainsi plusieurs millions de zones DNS, rétablissant ainsi la résolution des noms de domaine.

- Dès le lundi 21 Août à 10h16, nos plans de continuité d'activité (PCA) et de reprise après sinistre (PRA) ont été activés pour les clients ayant un PCA/PRA externe au datacenter, garantissant une disponibilité quasi immédiate de vos services en utilisant des systèmes de secours et des ressources redondantes.

- Après analyse, nous avons décidé de ne prendre aucun risque, tout réinstaller (cloud, FlexOne, VDI, domaine, DNS, SOA, Emails) et ne pas relancer les infrastructures.

- À partir du lundi 21 Août à 11h, notre équipe technique s'est concentrée sur la restauration de vos données clients.

- Par mesure de précaution, nous avons procédé à une réinstallation complète de notre système de cloud pour éliminer tout résidu potentiel de l'incident, assurant ainsi une plateforme propre et sécurisée (journée de lundi 21 Août).

- En prévision de tout incident, nous avions mis en place un processus de sauvegarde continu, avec des copies de plusieurs centaines de téraoctets de données créées pour garantir la disponibilité de vos données cruciales.

- Les infrastructures complexes telles que les clusters, les systèmes de bureau virtuel (VDI) et Ragnarok, Email.. ont été soigneusement rétablies entre le lundi et le vendredi, en veillant à leur stabilité et à leur performance. Chaque réactivation demande un contrôle et une inspection.

- Vendredi, nous avons redémarré plusieurs milliers de sites web, boîtes aux lettres électroniques et serveurs FTP d’une grosse partie du produit FlexOne, rétablissant ainsi l'accès à vos services en ligne. Ce produit comporte plusieurs centaines de To de données.

- Notre équipe technique continue d’intervenir sur chaque infrastructure spécifique pour finaliser le retour à la normale.

3. Conclusion

Nous souhaitons souligner l'importance de la préparation en cas d'incident. Aucune entreprise, quelle que soit sa taille ou sa réputation, n'est à l'abri de situations critiques, que ce soit au niveau logiciel ou infrastructure. C'est pourquoi nous vous encourageons vivement à mettre en place des plans de continuité d'activité (PCA), des plans de reprise après sinistre, et à opter pour les solutions de sauvegarde immuable, telles que XFS, versionning de sauvegarde et la sauvegarde sur bande.

Une grande majorité de clients n'avaient pas activé l'option de sauvegarde chez nous, nous avons pris l'initiative de préventivement sauvegarder toutes les données depuis des années. Sans cette mesure, nous aurions pu être confrontés à des pertes de données importantes. Nous vous rappelons donc l'importance d'avoir également une copie de vos services hébergés et d'utiliser des solutions de sauvegarde fiables au sein de votre entreprise.

Nos investissements continus, s'élevant à plusieurs millions d'euros, dans la puissance de nos baies de stockage, ainsi que dans notre réseau, ont été décisifs pour la rapidité avec laquelle nous avons pu restaurer vos services. Cette puissance nous a permis de rétablir plusieurs centaines de téraoctets de données en un temps record.

En conclusion, nous tenons à vous remercier pour la confiance et le soutien que vous nous avez apporté. Cet incident nous a rappelé l'importance cruciale de la préparation, de la sécurité, et de l'investissement dans notre infrastructure pour vous offrir des solutions fiables, nous allons continuer nos efforts sur la sauvegarde et la préservation des données.

Nous sommes déterminés à continuer à élever nos standards de service pour vous assurer la meilleure expérience possible.