504 bei FB, Insta, WhatsApp (Sonstiges)

dNL, Sauerland, Dienstag, 05.10.2021, 17:09 (vor 928 Tagen) @ Lattenknaller

Dass bei einem Cloudbasierten Dienst die DNS nicht mehr sauber aufgelöst wird und das über Stunden hat dann schon was mit internen Problemen zu tun.

DNS war nur ein Symptom, nicht die Ursache. Das eigentliche Problem war, dass beim Facbook AS die BGP-Router durch eine fehlerhafte Konfiguration ihre dns-prefix Routen nicht mehr announced haben und die ganzen DNS Dienste entsprechend automatisiert die IPs in ihren Tabellen raus genommen haben. Und an die BGP-Router ist man dadurch nicht mehr per remote rangekommen ist(das war wohl ein ziemlicher oversight in der Notfall Strategie) und erstmal jemand sich physisch im Rechenzentrum daran klinken musste um das per Hand zu machen. Die Leute mit entsprechendem Wissen waren aber wohl pandemiebedingt gar nicht vor Ort und mussten erstmal ins Rechenzentrum gebracht werden.