Firma wie Microsoft, Google und Anthropic investierten Milliarden von Dollar in die Entwicklung grosser Sprachmodelle (Large Language Models), die die Grundlage für viele aktuelle KI-Dienste bildeten. Während Nutzer kostenlose Versionen dieser Technologien nutzten, boten die Unternehmen kostenpflichtige Alternativen an, um ihre Investitionen zurückzugewinnen. Gleichzeitig entwickelten Drittfirmen Dienstleistungen auf Basis von KI-Agenten, die für spezifische Aufgaben programmiert wurden. Die Festlegung eines angemessenen Preises für diese Agenten-Dienste erwies sich jedoch als überraschend schwierig.
Das Problem lag in der volatilen Ökonomie der Token, den Bausteinen der Sprachmodelle und der Agenten-Systeme. Wenn ein Nutzer eine Sprachmodell anfragte, beispielsweise ChatGPT oder Claude, um eine Frage zu beantworten oder Softwarecode zu generieren, wurde die Eingabe in mathematische Einheiten, sogenannte Token, zerlegt. Die Antwort des Modells erfolgte ebenfalls in Token, welche wieder in Text oder Anweisungen umgewandelt wurden. Dieser gesamte Prozess war nicht vollständig vorhersehbar, da selbst geringfügige Änderungen in der Anweisung zu unterschiedlichen Ergebnissen führten. Mehrere Modelle lieferten unterschiedliche Antworten.
In Agenten-Systemen nutzten Unternehmen mehrere KI-Agenten zur Entscheidungsfindung und zum Handeln, was den Token-Verbrauch und die Unvorhersehbarkeit weiter erhöhte. Obwohl die Kosten für einzelne Token in den letzten Jahren stark gesunken waren, wies die Analyse von Goldman Sachs darauf hin, dass der Verbrauch von Token durch Unternehmen und Verbraucher exponentiell gestiegen war. Die Bank prognostizierte, dass der externe Token-Verbrauch zwischen 2026 und 2030 um das zwanzigfache auf 120 Quadrillionen Token pro Monat ansteigen würde, da sich Unternehmen von traditionellen Systemen zu KI-Agenten wandten.
Unternehmen und Einzelpersonen hatten oft nur ein vages Verständnis dafür, wie viele Token sie verbrauchten, bis sie entweder ihre Kontingente erschöpften oder die monatliche Rechnung erhielten. Berichten zufolge reduzierte Microsoft den Einsatz von Drittanbieter-Coding-Tools, während Uber sein KI-Coding-Token-Budget innerhalb weniger Monate aufgebraucht hatte. Experten bemerkten, dass Mitarbeiter Schwierigkeiten hatten, diese Kosten zu kontrollieren, da die Ausgabe nicht deterministisch war. Oliver King-Smith, Gründer von smartR AI, wies darauf hin, dass kleinere Organisationen möglicherweise über unauffällige, Pauschalgebühren-Konten operierten, was jedoch die grossen Anbieter nicht gefiel.
Es wurde jedoch die Notwendigkeit betont, dass die grossen Plattformen irgendwann auf Druck von Aktionären reagieren würden und die Kosten strenger regulieren würden. Unternehmen mussten zudem präziser mit ihren Anweisungen arbeiten, um unnötigen Verbrauch zu vermeiden. Die Kosten für KI-Anwendungen könnten dadurch explodieren, wenn Manager Token nicht nur für die Kernsoftwareentwicklung, sondern auch für Tests, Sicherheitsmechanismen oder die Implementierung von Schutzbarrieren benötigten. Die Frage blieb offen, ob der Mehrwert, den die Unternehmen aus dem Token-Einsatz zogen, die unvorhersehbaren Kosten rechtfertigte. Die Preisgestaltung blieb eine offene Frage, wobei Optionen wie die Erhöhung der Preise, die Abrechnung nach Ergebnis oder die Gebühren für spezifische Pakete in Betracht gezogen wurden, deren Struktur jedoch durch die sich ändernden Preisstrategien der grossen Sprachmodellanbieter jederzeit verändert werden konnte.