Bild: © CANCOM
Auf den ersten Blick scheint die Entwicklung eindeutig: Die Kosten pro verarbeitetem Token sinken kontinuierlich, da neue AI-Modelle effizienter und leistungsfähiger arbeiten. Doch laut dem Analystenhaus Gartner bedeutet dies keineswegs automatisch niedrigere Kosten für Unternehmen. Im Gegenteil: Bis 2028 könnten sich die Inferenzkosten – also jene Kosten, die während der tatsächlichen AI-Nutzung (der sogenannten Inferenz), entstehen – pro Agentic Workflow mehr als verfünffachen. Verantwortlich dafür ist ein Phänomen, das Gartner als „Inference-Paradox“ bezeichnet.
Günstige Modelle führen nicht zu niedrigeren Kosten
Dieses Paradoxon entsteht laut den Marktforschern vor allem dadurch, dass die AI-Nutzung immer komplexer wird: Anstatt einfacher Chatbots würden Unternehmen inzwischen zunehmend intelligente AI-Agenten einsetzen, die eigenständig Aufgaben ausführen, Entscheidungen vorbereiten und mehrstufige Prozesse steuern. Wie Gartner betont, benötigen diese zusätzlichen Fähigkeiten deutlich mehr Rechenleistung – und verursachen damit trotz effizienterer AI-Modelle entsprechend höhere Inferenzkosten.
Weiter beschreibt Gartner: Je komplexer der Anwendungsfall, desto stärker wachsen Aufwand und Kosten. Bereits eine Weiterleitung einer Aufgabe an ein Agentic-Reasoning-Modell verursache mindestens das Fünffache der Kosten einer klassischen Chatbot-Interaktion.
Diese drei Entwicklungen treiben die Kosten nach oben
Das Analystenhaus identifiziert drei zentrale Trends, die die zukünftige Token-Ökonomie prägen werden:
- Die Kostenstruktur der Basismodelle verbessert sich kontinuierlich.
- Leistungsfähigere Modelle ermöglichen komplexere Anwendungsfälle.
- Agentic AI und mehrstufige Workflows verbrauchen deutlich mehr Tokens als klassische Chat-Anwendungen.
Das Ergebnis: Die sinkenden Kosten pro Token werden laut Gartner durch den steigenden Ressourcenbedarf moderner AI-Anwendungen überkompensiert. Die technologische Entwicklung verlaufe somit schneller als die Kostenreduktion.
AI-Wirtschaftlichkeit wird zur strategischen Herausforderung
Für Unternehmen bedeutet diese Entwicklung, dass die Wirtschaftlichkeit von AI-Projekten künftig stärker in den Fokus rückt: Gartner empfiehlt, AI-Workloads gezielt zu steuern und Aufgaben abhängig von ihrer Komplexität unterschiedlichen Modellen zuzuweisen. Nur durch ein intelligentes Zusammenspiel von Inferenz-Tiering, Routing und Orchestrierung ließen sich Kosten und Nutzen nachhaltig in Einklang bringen.
Gleichzeitig wird deutlich, dass der Erfolg von Agentic AI künftig nicht allein von der Leistungsfähigkeit der Modelle abhängt, sondern zunehmend von einer durchdachten Architektur, die Effizienz, Skalierbarkeit und Kostenkontrolle (unter anderem mithilfe eines FinOps-Frameworks) miteinander verbindet.