当然需要。
既然是“文本挖掘”,自然语言处理最基本的功能点肯定都要做:
新词发现、分词、词性标注、分类、自动提取标签、实体自动发现和识别。
最基本的这些功能点做了之后,可以用统计方法完成简单文本挖掘应用,统计方法比如:
TF/IDF、Map/Reduce、贝叶斯。
再深入一些,就需要:
聚类(层次聚类、SVM、VSM)、情感趋势分析。
再想提高:
语法分析、句式判断。
但一般做到NLP最基本功能点+统计方法即可搞定一般的互联网应用。