感情分析
特にインターネットから入手したテキストを扱う場合、テキストデータにはさまざまな形式や様式が含まれる可能性がある。
文脈への依存。前後の文の主観や客観によって分類が変わることがある。
使用回数が少ないものの、ルール作成においては手がかりとなる語(cue words)が存在する。
時間的な制約。テキストデータに含まれる時間的な制約によって、この作業を難しくすることがある。たとえば、研究者グループがニュースの事実を確認したい場合、ニュースが陳腐化するよりも長い期間を設定した交差検証を行う必要がある。
増え続ける量。テキストデータが増え続けるため、研究者が合理的な時間内に作業を完了することは圧倒的に困難になる。
これまでの研究では、主に文書レベルで分類することに焦点が当てられていた。しかし、文書にはさまざまな種類の話題が含まれているため、文書レベルの分類では正確さに欠く傾向がある。ある調査では、客観的表現が支配的と予想されるニュース記事に対して、実際には主観的表現が40%以上含まれていることが明らかになった。
このような課題に取り組むため、研究者は、分類器の有効性は、パターンを学習する精度に依存すると結論付けている。そして、大量の注釈付き学習データで訓練した学習器は、あまり包括的でない主観的特徴で訓練した学習器よりも優れていることが分かっている。しかし、手作業で注釈された文の大規模なデータセットを作成することは、この種の作業を行う上で大きな障害となっている。手作業による注釈が自動学習より好まれない理由は3つある。
理解度のばらつき。手作業による注釈では、言語が曖昧さにより、ある文が主観的か客観的かの判断が、作業者によって異なることがある。