質問: log(全文書数 / 単語が含まれる文書数) という式で求めるということになると思うのですが、ここでいう文書というのは、どのような単位で区切られているのかがわかりません。これの区切り方次第では文書数が変わってくるので、できるだけ適切な文書の単位を知りたいです。 例えば、10個のテキストファイルに100文ずつ文字が書いてあるとします。このとき、どうなるのでしょうか。一文ずつを一文書とするのか、一形態素を一文書とするのでしょうか?それとも、また別の単位? 適切な単位を知っている方にご教授お願いしたいです。
回答: tf-idf法での特徴量を求める式`tf*idf`の値は ある単語が、1つの文書内で多く出現し、他の文書ではめったに出現しないものが高くなります。 すなわち、**どのような文書の単位で特徴分けをしたいか?**により、文書の単位を変えます。 簡単な例で「日記」を考えます。 ある人の各日毎の内容の特徴を求めたい場合は、1日分の日記の文章を1文書とします。 すると、ある日は「卒業」、ある日は「入社」が高くなるなどの結果が出ます。 各人の日記全体の内容の特徴を求めたい場合は、各人の日記の全期間の文章を連結したものを1文書とします。 すると、ある人は「プログラム」、ある人は「サッカー」が高くなるなどの結果が出ます。 参考:TF-IDFで文書内の単語の重み付け