質問: デスクトップアプリケーションとして配布を考えています。 その際、画像や音声を入力にディープラーニングのモデルを利用する予定です。 pyinstaller のようなPython コードを実行ファイルへ変換するのではなく C++やC# などの言語ですべての処理をローカルのGPU(AMD,Nvidia)上で実行するソフトウェアの開発を行う予定です。 Tensorflow やPytochのモデルをどのようなバックエンドを利用してモデルを実行すればよいのでしょうか
回答: TensorFlowやPyTorchでONNXを作成すると推論用の各種フレームワークを使えます。 それぞれ対応しているOSやGPUなどのアクセラレータがあるのでどれを使うべきかは詳細次第になります。 他にもTensorFlowにもPyTorchにもC++用ライブラリがあるので、フレームワーク固有の機能を使いたい場合は、推論時にもTensorFlowやPyTorchを使うことも出来ますが、今のところCUDA以外の対応に難があります。