GLOSSAR
Latenz / Verzögerungszeit
Latenz bezeichnet die Verzögerung zwischen einem festgelegten Auslöser und einer Reaktion des Systems; bei KI sind erster Antwortbeginn und vollständige Antwort unterschiedliche Messpunkte.
Der passende Messpunkt folgt aus der Arbeit
In einer laufenden Verhandlung kann ein Hinweis seinen Wert verlieren, wenn er erst nach dem Themenwechsel erscheint. Bei der Vorbereitung eines umfangreichen Angebots sind längere Wartezeiten möglicherweise akzeptabel. Deshalb muss feststehen, welche Reaktion gemessen wird: der erste sichtbare Text, die vollständige Antwort oder ein fachlich geprüftes Ergebnis. Ein schneller Schreibbeginn kann eine lange Gesamtdauer verdecken. Für Nutzer ist die Zeit bis zur tatsächlich verwendbaren Unterstützung häufig aussagekräftiger als eine einzelne technische Teilmessung.
Langsame Fälle und Lastspitzen sichtbar machen
Neben dem typischen Wert sollten besonders langsame Fälle, gleichzeitige Anfragen und zusätzliche Werkzeugaufrufe betrachtet werden. Modellausführung ist nur ein Teil des Ablaufs; Recherche, Datenübertragung und Prüfung können weitere Wartezeit verursachen. Der Durchsatz beschreibt hingegen die verarbeitete Menge und beantwortet eine andere Frage. Eine Optimierung kann einen Wert verbessern und einen anderen verschlechtern. Ein praxisnaher Test sollte daher typische Gespräche oder Arbeitsaufträge nachbilden und die relevante Zeitspanne durchgängig messen. Für kritische Situationen braucht es außerdem ein verständliches Verhalten bei Verzögerung, damit Nutzer wissen, ob sie warten, wiederholen oder ohne Unterstützung fortfahren sollten.