Für die KI-Entwicklung im Anfangsstadium oder den Konzeptnachweis wird häufig eine Cloud- oder herkömmliche Infrastruktur verwendet. Wenn KI jedoch im Produktionsmaßstab eingesetzt wird, müssen Datenwissenschaftler eine Infrastruktur in Betracht ziehen, die für KI optimiert ist.
Dabei spielen vor allem folgende Aspekte eine Rolle:
Umfang und Wachstum von Datensätzen
Kosten und Verfügbarkeit von GPUs, Storage und Netzwerken mit hoher Performance
Anforderungen an Sicherheit, Kontrolle, Governance und Dateneigentum
Oft liefert eine Hybrid- oder lokale Lösung bessere und schnellere Ergebnisse bei niedrigeren Gesamtbetriebskosten.