質問: 今モデルを回しているのですが train_batch_size training_number_of_steps base_learning_rate learning_rate_decay_step 上記の用語の意味をよく理解していないので、教えてもらえないでしょうか。
回答: * train_batch_size: バッチサイズ、ミニバッチサイズ * training_number_of_steps: 1エポックあたりのステップ数 図で説明します。 以下は、48個から成るデータセットを表しています。 学習する際には、「データセットから順番にいくつかのサンプルを取り出して、学習する」ということを繰り返します。この1回の作業を1ステップと数えます。 この際に取り出すサンプルの数がミニバッチサイズです。 今回、ミニバッチサイズは10なので、5ステップで全部のデータを1回ずつネットワークに流したことになり、これを1エポックと数えます。 training_number_of_steps は1エポックあたりのステップ数なので、この場合5になります。 1ステップ目: 0番目 ~ 9番目 2ステップ目: 10番目 ~ 19番目 3ステップ目: 20番目 ~ 29番目 4ステップ目: 30番目 ~ 39番目 5ステップ目: 40番目 ~ 47番目 (48は10で割り切れないので最後だけ8個になります。) !イメージ説明 (アニメgif はリピートするようになってないので、繰り返し再生する場合はページを更新してください。) * base_learning_rate: 最初の学習率 * learning_rate_decay_step: 学習率を減衰させるステップ数 base_learning_rate=0.01、learning_rate_decay_step=1000 とすると、 最初の1 ~ 1000 ステップは学習率0.01、次の1001 ~ 2000ステップは 0.001 といったように学習率を小さくする場合のパラメータです。