GLOSSAR
GPU / Grafikprozessor
Eine GPU ist ein Prozessor für viele parallel ausführbare Berechnungen, ursprünglich für Grafik entwickelt und heute auch für Training und Ausführung von KI-Modellen genutzt.
Rechenleistung muss zum Arbeitsprofil passen
Wer KI selbst betreiben möchte, muss abschätzen, welche Modelle, Datenmengen und gleichzeitigen Anfragen die Hardware bewältigen soll. Eine hohe theoretische Rechenleistung beantwortet das nur teilweise. Speicherbedarf, Datenbewegung und die Art der Berechnung beeinflussen die nutzbare Leistung. Für eine Gesprächsassistenz kann eine kurze Wartezeit entscheidend sein; bei nächtlicher Dokumentverarbeitung zählt möglicherweise stärker die gesamte verarbeitete Menge. Diese unterschiedlichen Anforderungen sollten bereits vor einer Hardwareauswahl feststehen, damit eine technische Spitzenkennzahl nicht die eigentliche Nutzung verdeckt.
Auslastung und Betrieb gemeinsam kalkulieren
Eine dauerhaft bereitgestellte GPU verursacht auch dann Aufwand, wenn wenige Anfragen eintreffen. Bei stark schwankendem Bedarf kann das für den Eigenbetrieb wirtschaftlich relevant werden. Der Vergleich mit einem Dienst sollte daher Anschaffung oder Miete, Betrieb, Betreuung und realistische Auslastung umfassen. Zusätzlich ist die Latenz unter gleichzeitiger Nutzung zu messen. Ein geeigneter Versuch verwendet das vorgesehene Modell und typische Eingaben einschließlich längerer Fälle. Erst daraus lässt sich abschätzen, wie viele verlässlich bearbeitete Aufgaben die gewählte Infrastruktur tatsächlich unterstützt. Hardwareangaben allein belegen weder Produktqualität noch einen Kostenvorteil.