質問: 自然言語処理などをする際に onehot表現などで文章を表現することがあると思います 様々な表現方法があると思うのですが トークン化したときに、トークンすべてを数え上げて、 数字を割り当てる方法っていうのは一般的には使われないのですか? この方法をみたことがなくて、気になりました また使われないとしたら、その理由を教えていただければ ありがたいです。 使われるとして、名称があれば教えてください また、利点などもあれば教えてほしいです 例えば 「リンゴください」 の場合 リンゴ: 1 ください:2 のような感じです
回答: http://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.CountVectorizer.html https://qiita.com/asatohan/items/7a247eb533a5adba9e87 http://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.TfidfVectorizer.html 単語の繋がりまで考慮した処理までも一般的です。