system: [SYSTEM]

user: 3. 主题挖掘 不要使用空格、制表符设置段落缩进，不要通过连续的回车符(换行符)调整段间距。 3.1. 文本分词 除了一些众所周知的英文缩写，如IP、CPU、FDA，所有的英文缩写在文中第一次出现时都应该给出其全称。文章标题中尽量避免使用生僻的英文缩写。 3.1.1. 停止词建立 停止词在分词的使用中，具备重要作用，通过建立停止词库，去除无效的词汇，可方便结果实施，若不去除无意义词，则会使关键性情感词的比例下降，所得出的结论就不具备代表性。得到停止词的方法大部分为三种，一种是网络资源进行查找，可以较快的获得停止词库，是比较简便的方法；第二种是自己编写，对于不同的文本数据，对应的无意义词也是不同的，那么在这种情况下，自己编写的停止词就更有针对性，能够更有效率的获得准确度高的分词结果；第三种一般为编程软件自带的停止词库，可调用，同时也可以通过导出来格式来方便下次使用。例如R语言中：write.table (stopwordsCN(x)， ‘filename’)，就可以实现将R语言中内置的停止词写成文件格式导出，但这种方式获得的停止词只有519个，远远不适用于普遍使用。就一般使用而言，基本的停止词量是在1400左右，那么这种情况就需要在已有的停止词的基础上，进行补充来确保此次所使用的停止词库的完整性。 3.1.2. 中文分词 本文通过Python来进行分词，在进行分析时，同时需要导入各种库的使用，进行中文分词功能时，使用最多的就是jieba语库，主要通过pandas、xlwt这两个库来驱动实施，Python实现的分词并没有分离开表情符号等文字，而是最大程度的保留了原始文本以确保分词的完整性，在通过自定义函数去掉停止词、除去其中包含的数字和字母，最终得到的结果分别存入csv以及txt两种格式备用，查看分词内容时，若出现其余无效字符，可以手动增加停止词文件的内容，并再次剔除，反复进行，最终可得到一份较为适合的分词结果，经过多次分词结果的比对，选择先通过Python中jieba语库进行语义分词，再导入ROST CM6中进行情感分析以及聊天分析，获得多种分词结果。进行查看后，发现所保留的内容有效成分高达98%，更优于匹配率97%，那么此份数据便成为进行文本模型构建的依据。 3.2. LDA模型概况 3.2.1. LDA简述 LDA的全称是隐含狄利克雷分布(Latent Dirichlet Allocation)，一种文档主题生成模型。在机器学习中，即为线性判别，其主要功能为降维与分类 [ 7 ]。若是进行文本主题类的则需要进行具备三层贝叶斯结构的文档主题模型，其内容由词、主题以及文档组成。 LDA是基于贝叶斯模型的，而贝叶斯模型最为主要的三个关键地方就是先验分布、似然估计以及后验分布。贝叶斯推断的含义在于先预估数据的先验概率，再将其置于实验，判断实验结果对先验概率的影响是加强或是削减 [ 8 ]。那么在最初的朴素贝叶斯的思想中，根据条件独立公式获得条件概率公式，并 以此推得贝叶斯公式： P ( Y k | X ) = P ( X | Y k ) P ( Y k ) ∑ k P ( X | Y = Y k ) P ( Y k ) 。引申获得三层的贝叶斯模型，在这其中，实 现文档到主题服从多项式分布，主题到词服从多项式分布。 在贝叶斯的推断中，狄利克雷分布作为多项分布的共轭先验得到较多的应用，可运用到LDA模型中。在二维的分布中，可使用二项分布和Beta分布进行表达，类推可以获得在三维情形中，可以用三维的Beta分布来表达先验后验分布、三项的多项分布来表示具备似然情况的数据。 在三维的多项分布中可以写成： multi ( x 1 ， x 2 ， x 3 | n ， p 1 ， p 2 ， p 3 ) = n ! x 1 ! x 2 ! x 3 ! p 1 x 1 p 2 x 2 p 3 x 3 同时，通过二维的Beta分布可类推获得三维的Dirichlet分布，形式如下： Dirichlet ( p 1 ， p 2 ， p 3 | α 1 ， α 2 ， α 3 ) = Γ ( α 1 + α 2 + α 3 ) Γ ( α 1 ) Γ ( α 2 ) Γ ( α 3 ) ( p 1 ) α 1 − 1 ( p 2 ) α 2 − 1 ( p 3 ) α 3 − 1 通过类推，可以获得K维Dirichlet分布表达式： Dirichlet ( p → | α → ) = Γ ( ∑ k = 1 K α k ) ∏ k = 1 K Γ ( α k ) ∏ k = 1 K p k α k − 1 ； 并通过两者共轭得到与二项分布相同的结论： Dirichlet ( p → | α → ) + Multi ( x → ) = Dirichlet ( p → | α → + x → ) 。 3.2.2. 主题模型 LDA主题模型的建立同样是通过先验概率+似然=后验概率的基础公式可以得到。通过已知内容进行潜在狄利克雷分布的主题挖掘 [ 9 ]。形似类似于上一小节中所提到的模型表示，通过流程图(如图1)展示的为一个文档模型的基础分布，D表示文档，数量较多，此处表示文档集合； α → 表示分布的比例参数，是维数为K维的向量，K为主题数量； θ d = Dirichlet ( α → ) 为每个文档中主题所占的比例； Z d ， n = multi ( θ d ) 表 示每一主题的比例赋值； W d ， n = multi ( β Z d ， n ) 表示文档中观察到的词； β k 表示主题其中的值，同时服从狄利克雷分布，多主题的主题也能够表示为 β K ， n 。 图1. 主题流程图 假设在一类文档中，文档主题数有N个，文档主题数N就符合狄利克雷分布，也可形成了由 α → → θ d → Z d ， n 组成的狄利克雷分布多项共轭可推得 θ d 得后验分布为： Dirichlet ( θ d | α → + n d → ) ， n d → 为在第d个文档中所包含的词数，则就是文档主题的后验分布。同样道理，由主题数为K的主题元素形成的 β k ， n → W d ， n → 可形成狄利克雷多项共轭推得 β k ， n 的后验分布为： Dirichlet ( β k | β k ， n → + n k → ) ， n k → 为第k个主题中的次数，则产生了主题词分布的后验分布。通过推导所获得的公式，可形成初步的LDA思想，为后续的实施方法做更完全的准备。求解LDA主题分布的方法一般有两种，一种为Gibbs采样，另一种为变分推断EM算法，在本文中，则采取Gibbs采样的方法。 3.3. 主题数选取与困惑度 该如何选择主题数在LDA中一直是比较关键的问题，主题数目选的过于少的话，就会导致各个主题的信息过于简洁从而损失更多关键词；若主题数足够多过于全面的话，就会产生信息量的冗余，那么在信息的选择上难免会有相似的词产生冲突。这两种情况，无论是哪一种，在情感词分析的范畴中都会导致信息量的不平衡。那么该如何确定主题数量方法也是与计算量的直接体现，所以就选择的方法来讲，第一种方法是通过分类来做到肉眼的识别，这是比较直接的方法，但是该怎样分类以及怎么做到比较全面是一个比较困难的事情，若词汇量过于庞大，采取这种方法得到的主题就会很艰难，同时也可能会产生较大误差；第二种方法是按照一些特定的指标，例如Perplexity或者MPI—score这两种指标值，用处较多的是Perplexity这种方法，主要的查看方式就是根据主题数与困惑度的折线图进行查看，重点在于图中的拐点，这就需要进行代码编程；或者按照公式也可计算出困惑度。 3.3.1. 困惑度概念 困惑度的基础公式为： P ( W ˜ | M ) = ∏ m = 1 M p ( W → m ˜ ˜ | M ) − 1 N = exp   − ∑ m = 1 M log p ( W → m ˜ ˜ | M ) ∑ m = 1 M N m ； 困惑度是用来度量一个概率分布或者一个概率模型拟合优劣的评判指标，在之后的计算当中，也产生了针对不同情形的困惑度公式。 1) 概率分布的困惑度 在定义相关概率分布的困惑度时，常用的公式为： 2 H ( p ) = 2 − ∑ x p ( x ) log 2 p ( x ) 。 其中，H(p)是概率分布p的熵，x是样本点。 p ( x ) = n N 。在某些特定的分布情况下，主题数与困惑度的 倒数存在一定的关联；在普遍意义下，困惑度是信息熵的指数。 2) 概率模型的困惑度 分布可以构建模型，模型可以将分布可视化，那么用概率模型 q ( x ) 来估计真实概率分布 p ( x ) 的参数，并得到具体的模型诸值，这时需要的困惑度公式可以写作： b − 1 N ∑ i = 1 N log b q ( x i ) ，     H ( p ^ ， q ) = − ∑ x p ^ ( x ) log 2 q (x) 在一般情况下，b的取值为2， H ( p ^ ， q ) 称为交叉熵， p ( x ) = n N 。 3) 分词困惑度 分词的情况主要用于在分词后的句子位置的概率分布，大概可视作词语在句子上的特定位置出现的概率。其中可能包括多元模型会增加计算量，或涉及语法模型。 3.3.2. 困惑度与主题 通过Python来实现困惑度–主题数的分布图。主要是基于信息理论来求的某一主题对应熵的能量 [ 10 ] [ 11 ]。以一个主题为基准计算其困惑度，再逐一递增直到找到困惑度较合适时相对应的主题数。可使用公式： Perplexity ( A ) = exp { − ∑ d = 1 M lg P ( W d ) ∑ d = 1 M N d } 。 通过python进行实现，可以得到相应的主题和困惑度相关图，由于纪录片种类繁多，类型齐全，经过筛选，再经过重新合并在经过筛选，最终得出真人秀、时尚与科学证实这三种类型的纪录片在众多类型中更受欢迎。 3.4. 结果分析 根据得到的特征词分布，结合其中的比例分配，可以看出积极网络用语的比例为65%，其中消极情绪的35%，而消极情绪的大部分都与时尚类别相关，相关词语多以“看不懂”为主。具体主题–特征词分类下表(表2)所示。 Table 2 Theme-Feature word Topic 主题词 特征词 topic1 恐怖电影 僵尸、真的、\u2006、电影、喜欢、蛇、行尸走肉、美剧、发生、好看 topic2 多种类型 真的、僵尸、电影、美剧、喜欢、科学、好奇、\u2006、节目、宇宙 topic3 演技 干、假、挖出、湿、泥土、演技、东西、太、感觉、厉害 topic4 自然求生 鱼、鲨鱼、求生、吐、想、好看、大自然、喜欢、太、生活 topic5 节目效果 完、改、蓝色、想、效果、节目、粗糙、银色、老板、干活 topic6 芭蕾节目 袖珍、🐼、节目、说、芭蕾、🐶、挑选、想、片子、😳 topic7 刺激好看 更新、鱼、喜欢、刺激、好看、想、紧、做人、真的、吃 topic8 魔术假 魔术、假、真的、哈哈哈、想、说、逼、厉害、太、神奇 topic9 减肥养生 减肥、运动、想、吃、报名、针灸、广告、太、节目、节食 topic10 节目假 假、节目、不错、两个、真实性、怀疑、疑点、金属、逗比、😊 topic11 鞋子 \u2006、收藏、&#、鞋、沙发、鞋子、更新、挖掘机、呜呜、国家 topic12 钓鱼 喜欢、金枪鱼、鱼、钓、日本、好样、鱼钩、一条、钓鱼、资源 topic13 魔术假 魔术、假、说、玻璃、真的、逼、鞋子、克里斯、太、🐼 topic14 青春靓丽 穿、真的、青春、当年、选美、想、衣服、容颜、美貌、美丽 topic15 希望好看 哈哈哈、哈、喜欢、克里斯、感觉、好看、第三季、纪录片、希望、挺 topic16 探索科学 宇宙、节目、科学、知识、世界、袖珍、喜欢、探索、东西、洞 topic17 出乎意料好看 出乎意料、挺、好看、一双、买、上档次、人生、骗到、一丝、节目 topic18 青年喜欢玩 害羞、青年、图、终究、玩儿、帅帅帅、记录、喜欢、玩、生活 topic19 高跟鞋 乘客、高跟鞋、穿、☹、首歌、️、喜欢、手机、铃声、好看 topic20 巴铁兄弟 傻、兄弟、巴铁、丢人、脑残、说、东西、一点、欺骗、性格 topic21 出乎意料好看 出乎意料、好看、特别、节目、骗到、☹、一丝、一双、上档次、买 topic22 穿高跟鞋 穿、️、☹、高跟鞋、好看、假、买、这鞋、点、女人 topic23 确定穿高跟鞋 穿、☹、️、高跟鞋、好看、漂亮、美女、真的、女人、肯定 topic24 文明标准 文明、标准、人有、伤风、宣传、底线、敗俗、丑陋、有悖、道德 表2. 主题–特征词 此语义网络图(图2)中的所展示的占据较多的为减肥、运动一系列有助于健康的词语；而比例第二高的“恐怖”一类具备真实色彩的极限纪录片为主，可以说明当下人们对自身知识的局限性以及对未知事物的好奇。 图2. 网络语义图 根据词频所绘制的词云图(图3)，可以明显看出大部分人对于通过纪录片来记录生活中的美好呈乐观状态。回溯评论内容较具备代表性的纪录片可以发现，能流传时间较长的纪录片一般都是类似于中国历史以及人物传记类具备较强民族特点以及时代意义的影片。 图3. 真人秀词云图