Word2vec
Word2vecの訓練の結果はパラメータ化の影響を受ける場合がある。以下に、いくつかの重要なパラメータを列挙する。
Word2vecモデルは、階層的ソフトマックス法またはネガティブサンプリング法、ないしその両者によって訓練することができる。
モデルが最大化しようとする条件付き対数尤度を近似するために、階層的ソフトマックス法はハフマンツリーを使用して計算を減らす。一方、ネガティブサンプリング法は、サンプリングされたネガティブインスタンスの対数尤度を最小化することにより、最大化問題に取り組む。
著者によると、階層的ソフトマックス法は頻度の低い単語に対してより効果的であり、ネガティブサンプリングは頻度の高い単語や低次元ベクトルでより効果的である。トレーニングエポックが増えるにつれて、階層的ソフトマックス法は役に立たなくなる。