Une simple erreur de configuration. 2,9 milliards d’utilisateurs hors service

Une erreur de maintenance de routine coupe les centres de données de Facebook d’Internet pendant plus de 6 heures

Le 4 octobre, les utilisateurs de Facebook ont subi une panne totale touchant toutes les applications, dont WhatsApp, Instagram et Messenger, pendant plus de 6 heures. Près de 2,9 milliards d’utilisateurs n’ont pas seulement été gênés : beaucoup ont aussi perdu un moyen de communication essentiel dans des régions où WhatsApp constitue le principal outil de messagerie texte et d’appels vocaux.

Il est rapidement apparu que la cause était une modification de configuration erronée sur les routeurs fédérateurs de Facebook qui gèrent le trafic entre ses centres de données. Une simple erreur de configuration s’est propagée à l’ensemble de leur réseau, affectant non seulement leurs utilisateurs, mais aussi leurs propres outils et systèmes, ce qui a entravé la capacité de Facebook à diagnostiquer et à résoudre le problème.

Facebook a ensuite publié un compte rendu plus détaillé du problème, expliquant les causes et la façon dont une tâche de maintenance de routine a abouti à une interruption de service complète et totale. Une commande incorrecte a été envoyée pour vérifier la capacité, désactivant par inadvertance les routeurs BGP (border gateway protocol) de Facebook et coupant de fait ses centres de données d’Internet. S’y est ajouté un bug dans un outil d’audit qui aurait dû détecter l’erreur, mais ne l’a pas fait, permettant son déploiement en production sur l’ensemble de leur environnement.

Les routeurs BGP étant hors ligne, Facebook ne diffusait plus les routes vers les serveurs DNS de son réseau. Les serveurs DNS sont des composants essentiels d’Internet qui font office d’annuaires : ils prennent un nom de domaine comme facebook.com et le traduisent en adresse IP. Le réseau de Facebook dispose de ses propres serveurs DNS, qui gèrent les adresses IP de tous ses domaines partagées à l’échelle mondiale sur Internet. Lorsqu’un utilisateur tentait d’accéder à l’un des domaines de Facebook pendant la panne, il recevait un message d’erreur indiquant qu’aucune adresse de destination ne permettait de l’orienter.

Les erreurs de configuration, une cause majeure de pannes

On sait depuis longtemps que l’erreur humaine est l’une des principales causes de pannes de réseau et de service. Les environnements complexes accroissent la probabilité que des erreurs soient commises et amplifient leur portée. Au cours des prochaines années, selon Gartner, les erreurs de configuration seront à l’origine de 99 % de toutes les violations de sécurité des pare-feu.

Dans un cas comme celui de Facebook, les routeurs BGP constituaient le point de défaillance critique d’un réseau par ailleurs sain. Une petite modification de leur configuration a suffi à couper leurs connexions à Internet pendant des heures.

Les erreurs de configuration des politiques de sécurité peuvent être pires

Bien que perturbante, la récente panne de Facebook ne devrait pas donner lieu à un incident de sécurité. Ce n’est toutefois pas toujours le cas. À maintes reprises, de petites modifications ont engendré des vulnérabilités de sécurité involontaires, exposant les organisations à des attaques si celles-ci venaient à être découvertes et exploitées.

Les erreurs de configuration des politiques de sécurité réseau peuvent non seulement provoquer des pannes de grande ampleur, mais elles constituent aussi l’un des moyens les plus simples d’ouvrir accidentellement la voie à des violations de sécurité dévastatrices. La violation subie par Capital One en 2019 a été directement attribuée à un pare-feu mal configuré qui rendait l’un de leurs serveurs cloud vulnérable, permettant au pirate d’accéder aux données sensibles de plus de 100 millions de clients.

Identifier, éliminer et protéger avec FireMon

FireMon vous offre une visibilité sur les politiques à haut risque et les vulnérabilités dissimulées dans votre infrastructure et vous empêche d’en créer de nouvelles avant le déploiement des politiques. La recherche en temps réel, les évaluations de sécurité continues et la détection automatique des violations de politique vous donnent les outils nécessaires pour gérer les politiques de sécurité réseau dans l’ensemble de votre environnement, des centres de données sur site au cloud.

Les erreurs de configuration sont inévitables, mais FireMon réduit au minimum le risque qu’elles compromettent la sécurité de votre réseau.