質問: TensorFlowなど機械学習フレームワークを用いて訓練済みモデルを作成した時、そのモデルの使用にもGPU性能は深く関わってくるでしょうか。 また、モデルの使用時に関する用語やベンチマーク、考察などありますでしょうか? 質問の背景 ----- 現在、訓練済みモデルを使ってユーザーから送られた画像を解析するWebサービスの作成を考えているのですが、訓練時と同様にGPUパワーが必要になるなら、それ用の構成にしないといけないのかなと疑問に思い質問しました。もちろんどの程度の処理能が必要かによっていくらでも変わってくる話だと思いますが、恥ずかしながら全くの無知なので、とりあえず感触としてどんなものかを知りたいと思い質問しました。
回答: 訓練(学習)と推論があり、提示されているのは、推論に関することだと思います。 一般に、推論のほうが処理が軽く、 また、学習は例えば32ビットの精度での計算が必要であるが、推論は16ビットや8ビットでの計算でも 問題ないことが示されています。(←この一文は、あまり本件と関係ないかも。学習と推論でかなり違うと いうことを示したかっただけ。) H/Wに関しては、CPU、GPU、FPGA、ASIC等があるとして、 例えば、マイクロソフトのAzureとかは、FPGAとかも使っているはずです。 Googleは、TPUという自社開発のASICも使い始めているのではないでしょうか。 よって、GPU一色ではないと思います。 ただ、独自のH/Wを準備されるのであれば、いまの段階では、GPUが無難な気もします。 また、小規模であれば、推論は、CPUでも十分な場合があるとも思います。