Großer Ausfall / langanhaltende Störung bei Cloudflare im November 2023
Derzeit ist das Cloudflare Dashboard nicht oder nur teilweise erreichbar. Laut Cloudflare soll dies mit einem Stromausfall zusammenhängen. Aktuell sind noch viele Dienste offline, darunter unter anderem das Dashboard, die API, Argo Smart Routing, Firewall, Images, Load Balancer.
Bei einem meiner Kunden ist das Dashboard bereits teilweise wieder erreichbar, aber Analytics und Logs sind nicht verfügbar. Auch die Performance bei Änderungen ist derzeit sehr schlecht.
Was mir aufgefallen ist: Einige Regeln, die kurz vor dem Ausfall erstellt wurden, sind einfach verschwunden. Zudem hatte ein Kunde zu diesem Zeitpunkt einen laufenden DDoS-Angriff.
In diesem Zusammenhang hatten wir schon die Befürchtung, dass die Quell-IP unseres Servers exponiert wurde, da wir plötzlich ungefilterte Angriffe von „normalen“ IP-Adressen auf unser Quellsystem hatten (im Normalfall sollten hier Cloudflare-IP-Adressen zu sehen sein).
Es könnte aber auch sein, dass Cloudflare aufgrund der vielen Ausfälle auf einen sehr rudimentären „Proxy-Modus“ umgeschaltet hat und der Traffic sozusagen nur noch durchgereicht wurde. Dies zwar ohne tatsächlich die Quell-IP preiszugeben, aber mit dem Effekt, dass die IP-Adressen der Besucher direkt über den Proxy Forwarded Header weitergeleitet wurden.
Wie sich diese Panne weiter auswirkt, wird sich in Kürze zeigen.
Nachtrag vom 4.11.2023
Ab dem heutigen morgen sollen die Dienste wieder funktionieren. Auch hat Cloudflare diverse Statements veröffentlich, darunter unter anderem, dass alle Cloudflare Sicherheitsfunktionen korrekt funktioniert haben sollen.
Services have now been restored for all customers. Throughout the incident, Cloudflare’s network and security services continued to work as expected. While there were periods where customers were unable to make changes to those services, traffic through our network was not impacted.
Cloudflare – Post Mortem on Cloudflare Control Plane and Analytics Outage
Ich persönlich kann das nicht bestätigen, die Sicherheitsfunktionen haben teilweise versagt oder nicht korrekt funktioniert. Auch wurde Traffic ungefiltert umgeleitet bzw. weitergeleitet was während eines laufenden Angriffs zu massiven Problemen auf Kundenseite geführt hat.
Auch wurde offensichtlich ein Backup für die WAF-Regeln eingespielt, d. h. es wurde von Cloudflare tatsächlich ein Backup eingespielt.
Es kann sich also nicht um „nur“ einen simplen Stromausfall gehandelt haben.