KI-Anwendungen halten zunehmend Einzug in die unterschiedlichsten Bereiche unserer Wirtschaft. Anwender von KI-Technologie stehen daher immer häufiger vor der Frage nach geeigneter KI-fähiger Hardware. Da die Anschaffung derartiger Hardware oft mit hohen Kosten verbunden ist, streben die Nutzer oft nach einem guten Verhältnis zwischen Preis und Leistung.

Die Servicesäule “Edge Benchmarking” möchte den Anwender bei der Suche nach geeigneter Hardware für individuelle Anwendungsfälle von KI unterstützen, indem eine Testinfrastruktur bestehend aus einer breiten Palette an KI-fähigen Geräten von führenden Herstellern aufgebaut wird. Zusätzlich zu der hochgradig branchenspezifischen und daher anpassbaren Auswahl an KI-Hardware, implementiert das System außerdem nützliche Softwareabstraktionen, die es dem Benutzer ermöglichen, komplexe KI-Workloads als Benchmark-Jobs zu formulieren und diese auf realer Hardware zu erproben. Aus Nutzersicht kann dies entweder durch direkte Interaktion mit der Programmierschnittstelle des Gesamtsystems oder durch eine webbasierte Benutzeroberfläche als Teil der Agri-Gaia KI-Plattform erfolgen.

Zur Laufzeit eines Benchmark-Jobs überwacht und protokolliert das System kontinuierlich die Auslastung, die Temperatur und den Stromverbrauch verschiedener Hardwarekomponenten wie der CPU, GPU und RAM. Nach einem Benchmarking-Durchlauf ist das System auf Wunsch in der Lage, geeignete Metriken zur Bewertung der Modell-Performance zu berechnen. Basierend auf den aufgezeichneten Leistungsparametern, erstellt das System abschließend eine detaillierte Ergebnisübersicht, welche sowohl die Benchmarking- als auch Inferenzergebnisse beinhaltet. Diese Berichte werden dem Nutzer in digitaler Form als Download angeboten.

Zusätzlich zu der oben beschriebenen Kernfunktionen bietet das System außerdem einen Dienst zur Optimierung von KI-Modellen an. Dieser implementiert eine Auswahl an modernsten Techniken wie Graph Optimization, Layer Fusion, Weight Quantization und eine Modellkonvertierung an. Letzteres kann verwendet werden, um die Kompatibilität eines KI-Modells mit hochleistungsfähigen Inferenz-Laufzeiten wie NVIDIAs TensorRT zu gewährleisten. Die optimierten Modelle können anschließend mit Hilfe der bereits vorgestellten Benchmarking-Funktionalität unmittelbar auf echter Hardware getestet werden. Dadurch kann der Anwender von wesentlich kürzeren und damit kosteneffizienteren Iterationszyklen in der Entwicklung und Erprobung von KI-Modellen profitieren.