GLOSSAR
Inferenz / Modellausführung
Inferenz ist die Anwendung eines trainierten Modells auf neue Eingaben, um etwa Vorhersagen oder Texte zu erzeugen; sie ist vom weiteren Modelltraining zu unterscheiden.
Jede Nutzung ist ein betrieblicher Vorgang
Wenn eine KI einen Kundeneinwand einordnet oder einen Antwortentwurf erzeugt, wird ein trainiertes Modell ausgeführt. Bei regelmäßiger Nutzung summieren sich solche Vorgänge. Ein Gespräch kann mehrere Modellaufrufe benötigen, etwa für Analyse, Rückfrage und Überarbeitung. Die Kosten eines einzelnen Aufrufs beschreiben deshalb noch nicht die Kosten einer erledigten Aufgabe. Für einen Sales-Prozess ist außerdem wichtig, ob die benötigte Antwort rechtzeitig eintrifft. Eine günstige Verarbeitung kann unpassend sein, wenn sie den Gesprächsfluss oder die Angebotserstellung verzögert.
Aufgabenleistung statt Einzelpreis vergleichen
Das Tokenbudget, die Zahl der Aufrufe und zusätzliche Werkzeuge beeinflussen den Aufwand. Die Latenz sollte am vollständigen Arbeitsablauf gemessen werden, einschließlich Rückfragen und Prüfung. Ein Test mit typischen und schwierigen Fällen zeigt, wie stark Aufwand und Antwortzeit schwanken. Die wirtschaftliche Kennzahl sollte sich auf verlässlich nutzbare Ergebnisse beziehen. Ob Eingaben später für weitere Zwecke verwendet oder aufbewahrt werden, ist eine getrennte Vertrags- und Konfigurationsfrage; der Begriff Inferenz beantwortet sie nicht. Für eine Entscheidung gehören diese Bedingungen ebenso auf den Tisch wie die gemessene Leistung.