質問: 機械学習初心者です。 よろしくお願いします。 高負荷がかかる機械学習などでもGoogle ColaboratoryのGPU環境を使うことで、手軽に機械学習の勉強ができると聞いてGoogle Colaboを試してみています。 とりあえずテストでGoogle ColabでGPUをオンにして簡単なGRUでの予測計算を実行しているのですが、なぜかローカルPCよりも計算に 時間がかかってしまう状態になっています。 以下リンク先の話だと「Trainable Parameter」の値を変更することで問題が解決できたようなことが書かれています。 「Trainable Parameter」がなにか理解できていないのですが、「Trainable Parameter」とはなんでしょうか?
回答: 点での回答で申し訳ないですが、Trainable Parameter(訓練可能パラメタ)は学習パラメータですよね。 訓練データでこれらのパラメータを決定していきます。たとえば、各ノード間の「重み」だったり、アルゴリズムによっては定則化項のパラメータだったりです。 まず、なぜGPUを使うと速くなるのかを考えれば、もとの文脈は理解できるかと。。 もとの記事の文脈では、学習させなくてはいけないパラメータが少なすぎるため、GPUでの処理も、CPUでの処理も大差ない状態になったと考えました(計算量がすくなすぎる)。そこで、パラメータの数をふやしてみたら、ようやくCPU単体の処理での限界を超えて、GPUの効果がみとめられるようになりました。 という意味だと思います。