AI-Traffic im Griff: Security, Observability und Kostenkontrolle für LLMs, MCP und Agenten
In vielen Unternehmen sind die Teams schneller als die Plattform. Chatbots, Coding-Agenten und MCP-Server entstehen überall, oft mit eigenen API-Keys und anderen Providern. Was fehlt, sind Observability und Kontrolle: Niemand sieht, welche Anwendung welche Daten an welchen Anbieter schickt, und niemand kann durchsetzen, was erlaubt ist.
Die Folgen kennen Sie vermutlich. Security weiß nicht, welche Daten das Haus verlassen. Dem Datenschutz fehlt der Audit-Trail für DSGVO und EU AI Act. FinOps bekommt eine Sammelrechnung ohne Kostenstelle. Und das Plattformteam kann nur ausbremsen oder wegsehen.
In diesem Webinar zeigen wir, was ein zentrales Gateway dafür liefert: Observability für den gesamten AI-Traffic, Policies, die für alle Teams gelten, statt in jedem Projekt neu gebaut zu werden, und Stellschrauben, mit denen die Token-Rechnung sinkt.
Für wen:
- Platform Engineering, Cloud und Infrastruktur: Sie geben KI-Anwendungen frei und betreiben sie
- Security, Datenschutz und Enterprise-Architektur: Sie brauchen Guardrails und einen Audit-Trail
- AI-/ML-Plattform und FinOps: Sie wollen Verbrauch und Kosten pro Team steuern und senken
Darum geht es:
- Guardrails für Daten: Welche Daten dürfen an welches Modell? Eine Policy pro Datenklasse entscheidet, ob ein Prompt intern bleibt, maskiert wird oder an einen externen Anbieter geht.
- Tool Freigaben pro Gruppe: Welche Tools darf ein Agent aufrufen, und wer hat das freigegeben? Aus 45 Tools auf einem MCP-Server wird eine kurze Liste pro Gruppe. Alles andere lehnt das Gateway ab.
- Kosten senken: Nicht jeder Prompt braucht das stärkste Modell, und kein Agent muss in jeder Runde 95 Tool-Beschreibungen lesen. Semantic Routing schickt Routineanfragen an ein günstigeres Modell. Search Mode und Code Mode halten Tool-Listen und Zwischenergebnisse aus dem Kontext. Mit gemessenen Zahlen für beide Hebel.
- Kosten zuordnen und begrenzen: Welches Team verbraucht wie viele Token? Die Sammelrechnung des Anbieters ist noch kein FinOps. Ein Budget pro Kostenstelle warnt rechtzeitig und stoppt, bevor es teuer wird.
- EU AI Act: Was verlangt er von Agenten? Welche Pflichten ab Dezember 2027 gelten, welche davon ein Gateway abdeckt und welche nicht.
Zu jedem Thema sehen Sie, wie das Gateway entscheidet und was das für Betrieb, Audit und Kosten bedeutet.
Wir zeigen das mit Solo Enterprise for AgentGateway. Es läuft auf Kubernetes oder standalone ohne Kubernetes, im Webinar sehen Sie die Kubernetes-Variante. Die Basis ist das Open-Source-Projekt agentgateway. Wer es heute schon einsetzt, sieht, was die


