Das Projekt Sauron ist eine Open-Source-Initiative von Askrella, um ein robustes, skalierbares und kosteneffizientes Monitoring-Cluster bereitzustellen. Es basiert auf dem modernen Grafana Stack und nutzt die Infrastruktur von Hetzner Cloud sowie Cloudflare.
Herausforderung
Als wachsendes Unternehmen standen wir vor erheblichen Herausforderungen bei unserer Monitoring-Infrastruktur. Unsere anfänglichen Lösungen stießen schnell an ihre Grenzen:
- Hardware-Verschleiß bei Self-Hosting: Unsere selbst gehosteten Server litten unter extremem SSD-Verschleiß. In nur 7 Tagen verursachten ~17 Container über 1,73 PB an Schreibvorgängen, was zu einer Abnutzung von 26% auf hochwertigen NVMe-SSDs führte.
- Hohe Kosten & Latenz bei Managed-Lösungen: Der Wechsel zu Elastic Cloud löste zwar das Hardware-Problem, führte aber zu explodierenden Kosten und Performance-Problemen. Abfragen dauerten oft über 30 Sekunden, was ein effektives Debugging unmöglich machte.
- Komplexität: Die Verwaltung hunderter Services und die Einhaltung von SLOs erforderten eine Lösung, die mächtig, aber dennoch einfach zu warten ist.
Lösung
Wir entwickelten Sauron, ein vollständig automatisierbares Monitoring-Cluster, das per Terraform provisioniert wird. Die Architektur ist auf maximale Effizienz und Zuverlässigkeit ausgelegt.
Technologie-Stack
- Infrastruktur: Hetzner Cloud (CAX11 Nodes) mit IPv6 für Kosteneffizienz und Performance.
- Visualisierung & Metriken: Grafana, Prometheus und Thanos für langfristige Datenspeicherung.
- Logs & Tracing: Grafana Loki für Logs und Tempo für Distributed Tracing.
- Netzwerk & Sicherheit: Privates Subnetz, Caddy als Reverse Proxy und Cloudflare LoadBalancer für Failover und Routing.
- Storage: Hetzner Object Storage (S3-kompatibel) als kostengünstiges Backend für Datenbank-Daten.
Architektur-Highlights
- Multi-Region Deployment: Das Cluster kann über mehrere Hetzner-Regionen verteilt werden, um Hochverfügbarkeit zu gewährleisten.
- Automatisierung: Die gesamte Infrastruktur wird als Code (IaC) mit Terraform verwaltet.
- Sicherheit: Strikte Firewall-Regeln und Nutzung privater Netzwerke minimieren die Angriffsfläche.
Ergebnisse & Impact
Die Einführung von Sauron hatte transformative Auswirkungen auf unsere Operations:
Massive Kosteneinsparung
Durch den Wechsel von Elastic Cloud zu unserer Hetzner-basierten Lösung konnten wir die monatlichen Kosten um 65% senken. Ein Cluster mit 3 Nodes kostet im Betrieb nur ca. 25€ pro Monat.
Performance & Zuverlässigkeit
- Blitzschnelle Abfragen: Statt 30+ Sekunden erhalten wir Ergebnisse nun in wenigen Sekunden.
- Kein Hardware-Verschleiß: Durch die Nutzung von Managed VMs und Object Storage müssen wir uns keine Sorgen mehr um SSD-Abnutzung machen.
- Skalierbarkeit: Das System wächst mit unseren Anforderungen. Neue Nodes können einfach per Terraform hinzugefügt werden.
Open Source Beitrag
Wir haben uns entschieden, Sauron als Open-Source-Projekt zu veröffentlichen, um anderen Unternehmen und Entwicklern zu helfen, ähnliche Probleme zu lösen. Das Repository auf GitHub bietet eine vollständige Anleitung und Templates für den schnellen Start.
Fazit
Sauron beweist, dass professionelles Monitoring nicht teuer oder kompliziert sein muss. Mit der richtigen Kombination aus Open-Source-Tools und Cloud-Infrastruktur haben wir eine Lösung geschaffen, die Enterprise-Anforderungen erfüllt, ohne das Budget zu sprengen.
Ähnliches Projekt geplant?
Lassen Sie uns darüber sprechen, wie wir Sie bei Ihrem Vorhaben unterstützen können. Wir analysieren Ihre Anforderungen und entwickeln eine maßgeschneiderte Lösung.
Beratung vereinbaren