Anwendungen mit Kubernetes und KEDA auf Null skalieren

Wenn man Anwendungen auf Null skaliert, gibt es einige Dinge zu beachten. Erstens kann der eingebaute „HorizontalPodAutoscaler“ nur bis zu einem Minimum von einem Replikat skalieren, weshalb ein weiterer Scaler erforderlich ist. Dies erhöht den Overhead des Clusters ein wenig. In diesem Beitrag werden wir uns auf die Verwendung des Kubernetes Event-Driven Autoscaler (KEDA) für diesen Zweck konzentrieren.

Zweitens gehen wir oft davon aus, dass es mindestens ein Replikat gibt, wenn wir unsere Systeme entwerfen. Das bedeutet, dass bestimmte Metriken in der Regel nicht erfasst werden, wenn es keine Instanzen gibt. Wir benötigen eine Metrik, die dem Autoscaler zur Verfügung steht, während die Bereitstellung auf Null skaliert wird, da wir sonst nicht in der Lage sind, wieder hochzuskalieren. Und wie werden eigentlich eingehende Verbindungen behandelt, wenn keine Instanz läuft?

In einigen Fällen ist dies leicht zu lösen. Bei Anwendungen, die einem Producer-Consumer-Muster folgen, ist es einfach, den Consumer auf Null zu skalieren. Wenn eine Anwendung beispielsweise Nachrichten aus einer Warteschlange abruft, können wir die aktuelle Länge der Warteschlange als Maßstab für unsere Skalierung nehmen. Wenn die Warteschlange leer ist, besteht kein Bedarf an einem Worker, der die Warteschlange konsumiert, und sobald mindestens ein Eintrag in der Warteschlange vorhanden ist, können wir einen Consumer einsetzen.

Andere Fälle sind etwas schwieriger zu lösen. Bei einer Webanwendung haben wir keine gute Metrik zur Verfügung, wenn die Anwendung auf Null skaliert wird. Normalerweise würden wir die Skalierung auf die Anzahl der Anfragen in einem bestimmten Zeitrahmen oder die durchschnittliche Antwortzeit stützen wollen.
Wir könnten eine Metrik aus einer externen Quelle verwenden, falls verfügbar, oder eine weitere Komponente zur Überwachung eingehender Anfragen implementieren.

Die Notwendigkeit einer solchen Komponente wird noch deutlicher, wenn wir die Anfragen selbst betrachten. Wir wollen keine Anfragen verpassen, wenn die Anwendung gerade auf Null skaliert ist. Daher müssen wir die eingehenden Verbindungen verfolgen und unsere Anwendung bereitstellen, wenn sie auf null Replikate skaliert ist, wenn eine Anfrage eingeht.

Das KEDA HTTP Add-on ist eine Komponente von KEDA, die es uns ermöglicht, die Skalierung auf die Anzahl der eingehenden HTTP-Anfragen zu stützen. Es enthält einen Proxy, der zwischen dem Ingress Controller und der Anwendung in Kubernetes eingefügt wird. Dieser Proxy puffert eingehende Anfragen und meldet die Anzahl der ausstehenden Anfragen als Metrik an KEDA.

Eine Beispielkonfiguration für KEDA mit dem HTTP-Add-on könnte wie folgt aussehen:

apiVersion: http.keda.sh/v1alpha1
kind: HTTPScaledObject
metadata:
  name: frontend-scaler
  namespace: demoapplication
  labels:
    deploymentName: frontend
spec:
  host: "demo.example.com"
  scaleTargetRef:
    deployment: demoapplication
    service: frontend
    port: 8080
  targetPendingRequests: 10
  replicas:
    min: 0
    max: 100