有一句骂人的话,说某个人“有妈生,没妈教”,抛开这句话中的骂人含义,其实它说的是“非监督学习”。但我们绝大多数人,不仅“有妈生,有妈教”,还有小学教、中学教、大学教,“有人教”的意思是,有人告诉我们事物的对与错(即对事物打标签),然后我们就可据此改善自己的性情,慢慢把自己调教得更有教养,这自然就属于“监督学习”。
但总有那么一天,我们会长大。而长大的标志之一,就是自立。何谓自立呢?就是远离父母、走出校园,没有人告诉你对与错,一切认知都要基于自己早期已获取的知识,并从社会中学习,扩大自己的认知体系,当遇到新事物时,我们能泰然自若地处理,而非六神无主。
从这个角度来看,现代人类成长学习的最佳方式当属“半监督学习”!它既不是纯粹的“监督学习”(如果是这样,我们的创造力和认知体系可能会被扼杀,我们也永远不可能超越父辈和师辈),也不属于完全的“非监督学习”(如果是这样,我们会如无根之浮萍,花很多时间重造轮子)。
那么到底什么是“半监督学习”呢?下面我们给出它的形式化定义:
给定一个来自某个未知分布的有标记示例集 {(x1, y1), (x2, y2), ..., (xk, yk)},其中 xi是输入数据,yi是标签。对于一个未标记示例集 U={xk+1, xk+2, ..., xk+u},这里 u 为未标记样本数。我们期望通过学习得到某个函数:fY→X,通过它准确地对未标记的数据 lix+,预测其标签 iy。这里 xi∈X,均为 d 维向量,yi∈Y,为示例 xi的标签。
半监督学习的示意图如图 3 所示。
图3:半监督学习示意图
形式化的定义比较抽象,下面我们列举一个现实生活中的例子来辅助说明这个概念。假设我们已经学到:
a) 马晓云同学(数据1)是一个牛人(标签为牛人);
b) 马晓腾同学(数据2)是一个牛人(标签为牛人)。
假设我们并不知道李晓宏同学(数据3)是谁,也不知道他是不是牛人,但考虑他经常和二马同学共同出入高规格大会,都经常会被上层人士接见(也就是说他们虽独立,但同分布),所以我们很容易根据“物以类聚,人以群分”的思想,给李晓宏同学打上“牛人”标签。
这样一来,我们的已知领域(标签数据)就扩大了(由两个扩大到三个),这也就完成了半监督学习的过程。事实上,半监督学习就是以“已知之认知(标签化的分类