Word2vec
頻度の高い単語は、ほとんど情報を提供しない。頻度が特定のしきい値を超える単語は、サブサンプリングしてトレーニング速度を上げることができる。
対象となる単語の前後いくつまでの単語がコンテキスト単語として含まれるかは、コンテキストウィンドウのサイズによって決定する。筆者らによるコンテキストウインドウのサイズの推奨値は、スキップグラムの場合は10、CBOWの場合は5である。