A infraestrutura de nuvem ou legada muitas vezes é usada para desenvolvimento inicial da inteligência artificial ou para prova de conceito, mas quando a inteligência artificial é usada na escala de produção, os cientistas de dados precisam considerar a infraestrutura que é otimizada para inteligência artificial.
As considerações devem incluir:
Tamanho e aumento do conjunto de dados
Custo e disponibilidade de armazenamento, rede e GPUs de alto desempenho
Requisitos de segurança, controle, governança e propriedade de dados.
Muitas vezes, uma solução local ou híbrida oferecerá resultados melhores e mais rápidos com menor custo total de propriedade.