(57)【要約】【課題】ニューラルネットの学習をより効率的に行うことが可能な仕組みを提供する。【解決手段】意味ネットワーク、データの識別情報及びラベルを取得する取得部と、前記取得部により取得された前記意味ネットワーク、前記識別情報及びラベルに基づいて、前記データを前記ラベルに分類する分類モデルを学習する学習部と、を備える情報処理装置。【選択図】図７
2017194782.tif 000002
【特許請求の範囲】
【請求項１】
意味ネットワーク、データの識別情報及びラベルを取得する取得部と、
前記取得部により取得された前記意味ネットワーク、前記識別情報及びラベルに基づいて、前記データを前記ラベルに分類する分類モデルを学習する学習部と、
を備える情報処理装置。
【請求項２】
前記ラベルは、前記意味ネットワークを形成するノードに対応する、請求項１に記載の情報処理装置。
【請求項３】
前記意味ネットワークは、前記ノード同士の関係性を示す情報を含む、請求項２に記載の情報処理装置。
【請求項４】
前記学習部は、前記意味ネットワークにおける前記ノード同士の関係性に基づく学習基準を用いて学習する、請求項３に記載の情報処理装置。
【請求項５】
前記学習部は、学習結果に関する出力情報に対するフィードバックに基づいて学習を行う、請求項１に記載の情報処理装置。
【請求項６】
前記出力情報は、新たな前記意味ネットワークの入力を提案する情報を含む、請求項５に記載の情報処理装置。
【請求項７】
前記出力情報は、新たな前記意味ネットワークを提案する情報を含む、請求項６に記載の情報処理装置。
【請求項８】
前記出力情報は、他のデータに対応付けられた他のラベルから類推された前記意味ネットワークを示す情報を含む、請求項７に記載の情報処理装置。
【請求項９】
前記出力情報は、前記データへの新たな前記ラベルの対応付けを提案する情報を含む、請求項５に記載の情報処理装置。
【請求項１０】
前記分類モデルは、ニューラルネットにより実装され、
前記出力情報は、前記ニューラルネットに含まれるひとつ以上のユニットの出力値を含む、請求項５に記載の情報処理装置。
【請求項１１】
前記出力情報は、前記出力値のクラスタリング結果を含む、請求項１０に記載の情報処理装置。
【請求項１２】
前記ひとつ以上のユニットは、中間層を構成する複数のユニットである、請求項１０に記載の情報処理装置。
【請求項１３】
前記ひとつ以上のユニットは、中間層のひとつのユニットである、請求項１０に記載の情報処理装置。
【請求項１４】
前記出力情報は、前記ラベルの共起ヒストグラムを含む、請求項５に記載の情報処理装置。
【請求項１５】
意味ネットワーク、データの識別情報及びラベルを取得することと、
取得された前記意味ネットワーク、前記識別情報及びラベルに基づいて、前記データを前記ラベルに分類する分類モデルを学習することと、
を含むプロセッサにより実行される情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置及び情報処理方法に関する。
【背景技術】
【０００２】
近年、機械学習により構築されたモデルを用いて予測又は認識等の演算を行う技術が広く用いられている。特に、近年のハードウェアの進歩により、ディープラーニングと称される多層ニューラルネットに関する技術が盛んに開発されている。例えば、下記非特許文献１では、ディープラーニングの一種であるＣＮＮ（Convolutional  Neural  Network）で実装されたシーン認識器を学習する過程で、中間層を物体検出器として機能させる技術が開示されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Bolei  Zhou,  Aditya  Khosla,  Agata  Lapedriza,  Aude  Oliva,  Antonio  Torralba，“OBJECT  DETECTORS  EMERGE  IN  DEEP  SCENE  CNNS”，Published  as  a  conference  paper  at  ICLR  2015．
【発明の概要】
【発明が解決しようとする課題】
【０００４】
機械学習技術の進歩により、ある程度は人間の概念をモデル化することが可能になってきている。しかし、人間の概念は幅広いため、ニューラルネットの学習をより効率的に行うことが可能な仕組みが提供されることが望ましい。
【課題を解決するための手段】
【０００５】
本開示によれば、意味ネットワーク、データの識別情報及びラベルを取得する取得部と、前記取得部により取得された前記意味ネットワーク、前記識別情報及びラベルに基づいて、前記データを前記ラベルに分類する分類モデルを学習する学習部と、を備える情報処理装置が提供される。
【０００６】
また、本開示によれば、意味ネットワーク、データの識別情報及びラベルを取得することと、取得された前記意味ネットワーク、前記識別情報及びラベルに基づいて、前記データを前記ラベルに分類する分類モデルを学習することと、を含むプロセッサにより実行される方法が提供される。
【発明の効果】
【０００７】
以上説明したように本開示によれば、ニューラルネットの学習をより効率的に行うことが可能な仕組みが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【０００８】
【図１】ニューラルネットの概要を説明するための説明図である。
【図２】画像のカテゴリごとの中間層の発火状況の傾向の一例を示す図である。
【図３】画像のカテゴリごとの中間層の発火状況の傾向の一例を示す図である。
【図４】本開示の一実施形態に係るシステムの概略的な構成の一例を示す図である。
【図５】意味ネットワークの一例を示す図である。
【図６】同実施形態に係るシステムにおいて実行される学習処理の大まかな流れの一例を示すフローチャートである。
【図７】同実施形態に係るシステムにおいて実行される学習処理の詳細な流れの一例を示す図である。
【図８】同実施形態に係るＵＩの一例を示す図である。
【図９】同実施形態に係るＵＩの一例を示す図である。
【図１０】同実施形態に係るＵＩの一例を示す図である。
【図１１】同実施形態に係るＵＩの一例を示す図である。
【図１２】同実施形態に係るＵＩの一例を示す図である。
【図１３】同実施形態に係るＵＩの一例を示す図である。
【図１４】同実施形態に係るＵＩの一例を示す図である。
【図１５】同実施形態に係るＵＩの一例を示す図である。
【図１６】同実施形態に係るＵＩの一例を示す図である。
【図１７】同実施形態に係るＵＩの一例を示す図である。
【図１８】同実施形態に係るＵＩの一例を示す図である。
【図１９】同実施形態に係るＵＩの一例を示す図である。
【図２０】同実施形態に係るＵＩの一例を示す図である。
【図２１】同実施形態に係るＵＩの一例を示す図である。
【図２２】同実施形態に係るＵＩの一例を示す図である。
【図２３】同実施形態に係るＵＩの一例を示す図である。
【図２４】同実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１０】
また、本明細書及び図面において、実質的に同一の機能構成を有する要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の要素を、必要に応じてクラスタ２０Ａ、２０Ｂ、及び２０Ｃのように区別する。ただし、実質的に同一の機能構成を有する複数の要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、クラスタ２０Ａ、２０Ｂ、及び２０Ｃを特に区別する必要が無い場合には、単にクラスタ２０と称する。
【００１１】
なお、説明は以下の順序で行うものとする。
１．はじめに
１．１．ニューラルネット
１．２．中間層の発火状況の傾向
２．構成例
２．１．システムの構成例
２．２．サーバの構成例
２．３．端末装置の構成例
３．技術的特徴
３．１．分類モデル
３．２．学習
３．３．インタラクティブな学習
３．４．ＵＩ例
３．４．１．第１のアルゴリズム
３．４．２．第２のアルゴリズム
３．４．３．補足
３．５．変形例
４．ハードウェア構成例
５．まとめ
【００１２】
＜＜１．はじめに＞＞
＜１．１．ニューラルネット＞
ニューラルネットとは、人間の脳神経回路を模したモデルであり、人間が持つ学習能力をコンピュータ上で実現しようとする技法である。ニューラルネットは学習能力を有することを特徴の一つとする。ニューラルネットでは、シナプスの結合によりネットワークを形成した人工ニューロン（ノード）が、学習によりシナプスの結合強度を変化させることで、問題に対する解決能力を獲得することが可能である。すなわち、ニューラルネットは、学習を重ねることで、問題に対する解決ルールを自動的に推論することができる。
【００１３】
ニューラルネットによる学習の例としては、画像認識及び音声認識が挙げられる。ニューラルネットでは、例えば、手書きの数字パターンを繰り返し学習することで、入力される画像情報を、０〜９の数字のいずれかに分類することが可能となる。ニューラルネットの有する上記のような学習能力は、人工知能（Artificial  Intelligence）の発展を推し進める鍵としても注目されている。また、ニューラルネットに有するパターン認識力は、種々の産業分野における応用が期待される。
【００１４】
図１は、ニューラルネットの概要を説明するための説明図である。図１に示したニューラルネットは、複数のノード１０を含む複数の層１１を、ノード１０間のリンクにより結合させた構成を有する。ノード１０間のリンクは、シナプスに対応し、結合の強さに応じた重みが割り振られる。層１１Ａは、入力層とも称され、入力情報１２が入力される。層１１Ｃは、出力層とも称され、出力情報１３が出力される。層１１Ｂは、中間層とも称され、入力層１１Ａから入力された情報（例えば、信号）を出力層１１Ｃに向けて伝達する。典型的には、各々のノード１０は、自身にリンク付けされた入力層１１Ａ側のノード１０から出力される信号に、各々のリンクの重みを乗じた重みつき総和を計算する。そして、ノード１０は、計算した重み付き総和を閾値と比較して、自身にリンク付けされた出力層１１Ｃ側のノード１０に、閾値を超えた場合と超えない場合とで異なる信号を出力する。典型的には、閾値を超えない場合、信号は出力されない（即ち、ゼロが出力される）。なお、閾値を超えることは、発火する、とも称される。入力層１１Ａから中間層１１Ｂを経て出力層１１Ｃまで、上述した演算が繰り返し行われ、出力情報１３が出力される。このようにして、ニューラルネットの演算が行われる。
【００１５】
他方、学習においては、ニューラルネットのパラメータ（各々のリンクの重み、及び各ノード１０の閾値）が学習対象となる。さらに、ノードの追加又は削除も、学習において行われ得る。学習方法には、誤差逆伝搬法等がある。
【００１６】
本実施形態では、ニューラルネットとしてＣＮＮ（Convolutional  Neural  Network）を想定して説明するが、他の任意のニューラルネットが適用されてもよい。なお、ＣＮＮとは、層間が全結合ではない順伝播型ニューラルネットであり、画像認識の分野において広く利用されている。
【００１７】
ＣＮＮの学習には、例えばＩＭＡＧＥＮＥＴに代表される学習データセットが利用され得る。ＩＭＡＧＥＮＥＴとは、１０００カテゴリ（即ち、ラベル）の訓練画像の集合であって、１カテゴリあたり約１０００枚の訓練画像を含む学習データセットである。ＩＭＡＧＥＮＥＴを利用した学習を行ったＣＮＮは、例えば出力層に１０００個のノードを有し、当該１０００個のノードのいずれが発火するかに基づいて、未知の画像を１０００カテゴリのいずれかにカテゴライズすることが可能となる。
【００１８】
＜１．２．中間層の発火状況の傾向＞
例えば、上記非特許文献１では、ＣＮＮで実装されたシーン認識器を学習する過程で、中間層を物体検出器として機能させる技術が開示されている。このように、出力層からの出力以外にも、特定の入力情報に対して特有の発火状況の傾向が中間層においてみられる場合がある。例えば、中間層において、画像のカテゴリごとに異なる発火状況の傾向がみられ得る。その一例を、図２及び図３を参照して説明する。
【００１９】
図２は、画像のカテゴリごとの中間層の発火状況の傾向の一例を示す図である。図２では、ある中間層を構成する複数のノードの発火状況を、２次元座標にプロットした様子を示している。２次元圧縮技術（2D  embedding）を利用することで、例えば１００個のノードの発火状況を示す１００次元のベクトルを２次元のベクトルに圧縮して可視化することが可能となる。ひとつのプロットは、ひとつの画像に対応する。プロットの種別は、画像のカテゴリに対応する。図２に示すように、同種のカテゴリの画像は発火状況が近い（即ち、類似する）傾向があるので、画像のカテゴリごとにクラスタ２０Ａ〜２０Ｅにクラスタリング可能である。
【００２０】
図３は、画像のカテゴリごとの中間層の発火状況の傾向の一例を示す図である。図３も、ある中間層を構成する複数のノードの発火状況を、２次元座標にプロットした様子を示している。とりわけ、図３は、手書き数字の画像の認識問題において、二次圧縮技術としてｔ−ＳＮＥ（t-distributed  stochastic  neighbor  embedding)）を利用して画像の特徴を表現した図である。ひとつの数字のプロットは、認識対象の画像ひとつに対応する。プロットの数字は、認識された数字に対応する。矩形は、手書きの数字の画像である。ｔ−ＳＮＥとは、２点間の近さを確率分布で表現し、圧縮前後の確率分布のＫＬ情報量（Kullback−Leibler  divergence）を最小化するよう、高次元の情報を２次元の情報に圧縮する技術である。図３に示すように、異なる数字ごとに異なるクラスタを形成していることが分かる。
【００２１】
以上、図２及び図３を参照して説明したように、画像のカテゴリごとに中間層の発火状況の傾向が異なり得る。そこで、本開示では、中間層の発火状況の傾向によって、新たな概念を獲得しながら学習を行うことを提案する。
【００２２】
＜＜２．構成例＞＞
＜２．１．システムの構成例＞
図４は、本開示の一実施形態に係るシステムの概略的な構成の一例を示す図である。図１に示すように、システム１は、サーバ１００及び端末装置２００を含む。
【００２３】
サーバ１００及び端末装置２００は、ネットワークにより接続され、互いに通信可能である。ネットワークは、例えばセルラーネットワーク、有線ＬＡＮ（Local  Area  Network）、又は無線ＬＡＮ等を含み得る。
【００２４】
サーバ１００は、各種処理を行う情報処理装置である。端末装置２００は、ユーザとのインタフェースとして機能する情報処理装置である。典型的には、システム１は、サーバ１００及び端末装置２００の協働により、ユーザとのインタラクションを行う。例えば、端末装置２００は、ブラウザによりサーバ１００へのインタフェースを提供する。
【００２５】
続いて、各装置の構成例を説明する。
【００２６】
＜２．２．サーバの構成例＞
図４に示すように、サーバ１００は、通信部１１０、記憶部１２０及び制御部１３０を含む。
【００２７】
（１）通信部１１０
通信部１１０は、情報を送受信する機能を有する。例えば、通信部１１０は、端末装置２００からの情報を受信し、端末装置２００への情報を送信する。
【００２８】
（２）記憶部１２０
記憶部１２０は、サーバ１００の動作のためのプログラム及び様々なデータを一時的に又は恒久的に記憶する。
【００２９】
（３）制御部１３０
制御部１３０は、サーバ１００の様々な機能を提供する。制御部１３０は、取得部１３１、学習部１３３及び出力制御部１３５を含む。なお、制御部１３０は、これらの構成要素以外の他の構成要素をさらに含み得る。即ち、制御部１３０は、これらの構成要素の動作以外の動作も行い得る。制御部１３０による制御に基づくサーバ１００の動作については、後に詳しく説明する。
【００３０】
＜２．３．端末装置の構成例＞
図４に示すように、端末装置２００は、入力部２１０、出力部２２０、通信部２３０、記憶部２４０及び制御部２５０を含む。
【００３１】
（１）入力部２１０
入力部２１０は、情報の入力を受け付ける機能を有する。例えば、入力部２１０は、ユーザからの情報の入力を受け付ける。入力部２１０は、例えばキーボード又はタッチパネル等による文字入力を受け付けてもよいし、音声入力を受け付けてもよいし、ジェスチャ入力を受け付けてもよい。その他、入力部２１０は、フラッシュメモリ等の記憶媒体からのデータ入力を受け付けてもよい。
【００３２】
（２）出力部２２０
出力部２２０は、情報の出力を行う機能を有する。例えば、出力部２２０は、画像、音声、振動、又は発光等により情報を出力する。
【００３３】
（３）通信部２３０
通信部２３０は、情報を送受信する機能を有する。例えば、通信部２３０は、サーバ１００からの情報を受信し、サーバ１００への情報を送信する。
【００３４】
（４）記憶部２４０
記憶部２４０は、端末装置２００の動作のためのプログラム及び様々なデータを一時的に又は恒久的に記憶する。
【００３５】
（５）制御部２５０
制御部２５０は、端末装置２００の様々な機能を提供する。端末装置２００は、制御部２５０による制御に基づき動作する。制御部２５０による制御に基づく端末装置２００の動作については、後に詳しく説明する。
【００３６】
＜＜３．技術的特徴＞＞
続いて、本実施形態に係るシステム１の技術的特徴を説明する。
【００３７】
＜３．１．分類モデル＞
本実施形態では、ニューラルネットで実装される分類モデルを用いてデータを分類することを想定する。分類モデルに分類対象のデータが入力されると、当該データが分類される概念が出力される。例えば、猫の画像が入力されると、「動物」「猫」といった概念が分類結果として出力される。
【００３８】
学習に用いられる学習データセットは、データと当該データに対応する概念を示すラベルとの組み合わせの集合である。分類モデルに分類対象のデータが入力された場合に出力される分類結果とラベルとが一致するように学習が行われる。そのため、学習後の分類モデルは、分類対象のデータを、対応付けられたラベルに分類することが可能となる。
【００３９】
＜３．２．学習＞
（１）分類モデルの学習
システム１は、分類モデルの学習を行う。とりわけ、本実施形態に係るシステム１は、意味ネットワークを用いて分類モデルの学習を行う。
【００４０】
詳しくは、システム１（例えば、取得部１３１）は、意味ネットワーク、分類対象のデータの識別情報及びラベルを取得する。そして、システム１（例えば、学習部１３３）は、取得された意味ネットワーク、識別情報及びラベルに基づいて、分類モデルを学習する。これにより、後述するように効率的な学習が可能となる。
【００４１】
意味ネットワークとは、人間の持つ記憶の構造を表すモデルである。以下、図５を参照して、意味ネットワークについて説明する。
【００４２】
図５は、意味ネットワークの一例を示す図である。矩形内の文字は概念を表し、上記ラベルに対応する。以下では、概念を表す矩形をノードとも称する。ノード同士を接続する有向のリンクは、リンクの始点のノード（以下、Ｘとも称する）と終点のノード（以下、Ｙとも称する）との、概念間の関係を示す。このように、意味ネットワークは、概念（ラベル）に対応するノードと、概念間の関係性を示すリンクにより形成される。
【００４３】
概念間の関係は、ＩＳ−Ａ関係、ＩＳ−ＰＡＲＴ−ＯＦ関係、ＩＮＳＴＡＮＣＥ−ＯＦ関係、ＣＯＬＯＲ関係、ＡＴＴＲＩＢＵＴＥ関係、及びＯＷＮＥＲ関係等、多様に考えられる。ＩＳ−Ａ関係とは、ＸはＹである、が成り立つ関係である。例えば、図５においては、椅子は家具である、タンは茶色である、私は人である、という関係が示されている。ＩＳ−ＰＡＲＴ−ＯＦ関係とは、ＸはＹの一部である又はＹのＸ、が成り立つ関係である。例えば、図５においては、シートは椅子の一部である及び椅子のシート、という関係が示されている。ＩＮＳＴＡＮＣＥ−ＯＦ関係とは、ＸはＹの一例である、が成り立つ関係である。例えば、図５においては、私の椅子は椅子の一例である、という関係が示されている。ＣＯＬＯＲ関係とは、Ｘの色はＹである、が成り立つ関係である。例えば、図５においては、私の椅子の色はタンである、という関係が示されている。ＡＴＴＲＩＢＵＴＥ関係とは、Ｘの属性はＹである、が成り立つ関係である。例えば、図５においては、私の椅子の属性は革である、という関係が示されている。ＯＷＮＥＲ関係とは、Ｘの所有者はＹである、が成り立つ関係である。例えば、図５においては、私の椅子の所有者は私である、という関係が示されている。
【００４４】
以下では、ノード同士の関係性を示す情報、即ち概念間の関係性を示す情報を、意味関係情報とも称する。即ち、意味ネットワークとは、概念と意味関係情報とから成る情報である。
【００４５】
システム１（例えば、学習部１３３）は、意味ネットワークにおけるノード同士の関係性に基づく学習基準を用いて学習する。例えば、システム１は、ＨＥＸ（Hierarchy  and  Exclusion）グラフを用いた分類アルゴリズムにおける評価基準を応用した学習基準を用いる。ＨＥＸグラフとは、概念間の排他関係、重複関係、及び包含関係等の概念間の関係を示すグラフである。ＨＥＸグラフを用いることで、分類が効率的に行われ得ることが、「Jia  Dengy,  Nan  Ding,  Yangqing  Jia,  Andrea  Frome,  Kevin  Murphy,  Samy  Bengio,  Yuan  Li,  Hartmut  Neven,  Hartwig  Adam，“Large-Scale  Object  Classification  using  Label  Relation  Graphs”」に詳細に記載されている。本実施形態に係るシステム１は、分類モデルによる分類結果に意味ネットワークにおける概念間の関係が正しく含まれるか否かを加味して学習を行う。例えば、システム１は、分類結果に排他関係にある２つの概念が含まれる場合には、当該分類モデルの評価値を低くする。これにより、意味ネットワークにおける概念間の関係が正しく表現されない分類モデルは排除されることとなるので、効率的な学習を実現することが可能となる。
【００４６】
（２）意味ネットワークの学習
システム１（例えば、学習部１３３）は、意味ネットワークを学習する。具体的には、システム１は、意味ネットワークにノードを追加、変更又は削除したり、リンクを追加、変更又は削除したりする。
【００４７】
典型的には、システム１（例えば、取得部１３１）は、端末装置２００へのユーザ入力に従って学習する。入力される情報は、概念及び意味関係情報であり、即ち意味ネットワークである。システム１は、自身が記憶する意味ネットワークに、ユーザ入力された意味ネットワークを結合又は一部置き換える等することで、意味ネットワークを学習する。
【００４８】
他にも、システム１は、例えばインターネット上の装置からの入力に従って学習してもよい。
【００４９】
（３）ラベル付け
システム１（例えば、学習部１３３）は、学習のひとつとして、データへのラベル付け（即ち、データへのラベルの対応付け）を行ってもよい。例えば、システム１は、ユーザ入力に基づいて、データにラベル付けを行う。
【００５０】
＜３．３．インタラクティブな学習＞
（１）概要
本実施形態に係るシステム１は、インタラクティブな学習を行う。詳しくは、システム１（例えば、学習部１３３）は、学習結果に関する出力情報（即ち、ＵＩ（User  Interface））に対するフィードバックに基づいて学習を行う。システム１は、学習途中でフィードバックを繰り返し受けることで、効率的に学習を行うことが可能である。また、すべての概念をモデル化するための、すべての概念を含む学習データセットを用意することは困難であるところ、フィードバックを受けながらの学習により、用意された学習データセットの枠を超える学習を行うことが可能である。ここでの学習とは、分類モデルの学習、意味ネットワークの学習、ラベル付けを含む。具体的なＵＩ例は、後に詳しく説明する。
【００５１】
以下では、図６を参照して、学習処理の大まかな流れを説明する。
【００５２】
図６は、本実施形態に係るシステム１において実行される学習処理の大まかな流れの一例を示すフローチャートである。図６に示すように、まず、システム１（例えば、学習部１３３）は、事前学習を行う（ステップＳ１０２）。例えば、システム１は、ＩＭＡＧＥＮＥＴに基づいて分類モデルの学習を行う。次いで、システム１（例えば、取得部１３１）は、ラベル、データＩＤ（Identifier）及び意味ネットワークを取得する（ステップＳ１０４）。例えば、システム１（例えば、入力部２１０）は、データＩＤが示すデータにひとつ以上のラベルを付すユーザ入力、及び複数のラベル間の関係を示す情報のユーザ入力を受け付けることで、これらの情報を取得する。次に、システム１（例えば、学習部１３３）は、意味ネットワーク及び分類モデルの学習を行う（ステップＳ１０６）例えば、システム１は、入力された意味ネットワークに基づいて、自身が記憶する意味ネットワークを学習する。また、システム１は、入力されたラベル、入力されたデータＩＤが示すデータ、及び学習した意味ネットワークに基づいて、分類モデルを学習する。次いで、システム１（例えば、出力制御部１３５）は、出力情報を生成する（ステップＳ１１０）。そして、システム１（例えば、出力部２２０）は、生成された出力情報に基づいて情報を出力する（ステップＳ１１２）。その後、学習が終了される（ステップＳ１１４／ＹＥＳ）まで、ステップＳ１０４〜Ｓ１１２に係る処理が繰り返される（ステップＳ１１４／ＮＯ）。この繰り返しの過程において、ステップＳ１０４におけるにユーザ入力は、ステップＳ１１２における出力へのフィードバックとなる。
【００５３】
以上により、学習処理は終了する。
【００５４】
（２）詳細
続いて、図７を参照して、学習処理の詳細な流れを説明する。
【００５５】
図７は、本実施形態に係るシステム１において実行される学習処理の詳細な流れの一例を示す図である。図７の上部の処理は端末装置２００により行われ、下部の処理はサーバ１００により行われる。
【００５６】
図７における円柱型のブロックは、サーバ１００が有するデータベース（例えば、記憶部１２０）に相当する。また、矩形のブロックは、サーバ１００の処理ブロックを示す。なお、記憶部１２０は、意味ネットワーク記憶部３１、データ＆ラベル記憶部３２、及び分類モデル記憶部３３に対応する。学習部１３３は、モデル学習アルゴリズム３４に対応する。出力制御部１３５は、意味ネットワーク提案アルゴリズム３５及びソートアルゴリズム３６に対応する。取得部１３１は、端末装置２００からサーバ１００へ出力される情報、及び各記憶部からの情報の取得を行う。
【００５７】
また、図７における角丸の矩形のブロックは、端末装置２００の処理ブロックを示す。出力部２２０は、意味ネットワーク提案部４１及びラベル付け提案部４３に対応する。入力部２１０は、第１のフィードバック取得部４２及び第２のフィードバック取得部４４に対応する。
【００５８】
以下、各ブロックの機能を説明する。
【００５９】
・意味ネットワーク記憶部３１
意味ネットワーク記憶部３１は、意味ネットワークを記憶する。第１のフィードバック取得部４２において、概念及び意味関係情報（即ち、意味ネットワーク）がユーザ入力されると、システム１（例えば、学習部１３３）は、意味ネットワーク記憶部３１に記憶された意味ネットワークを学習する。
【００６０】
・データ＆ラベル記憶部３２
データ＆ラベル記憶部３２は、分類対象のデータとラベルとを対応付けて記憶する。例えば、データ＆ラベル記憶部３２は、第２のフィードバック取得部４４から出力されたデータＩＤ及びラベルを対応付けて記憶する。より詳しくは、データ＆ラベル記憶部３２は、入力されたデータＩＤに対応するデータに、入力されたラベルを新たに対応付けて記憶する。なお、システム１（例えば、取得部１３１）は、インターネット等から新たにデータを収集して、データ＆ラベル記憶部３２に格納してもよい。
【００６１】
・分類モデル記憶部３３
分類モデル記憶部３３は、学習された分類モデルのモデル（即ち、ノードの構成）及び当該モデルのパラメータ（即ち、重み及び閾値）を記憶する。例えば、分類モデル記憶部３３は、モデル学習アルゴリズム３４から出力されたモデル及びパラメータを記憶する。
【００６２】
・モデル学習アルゴリズム３４
モデル学習アルゴリズム３４は、分類モデルを学習するアルゴリズムである。モデル学習アルゴリズム３４は、分類モデル記憶部３３からモデル及びパラメータを、意味ネットワーク記憶部３１から意味ネットワークを、データ＆ラベル記憶部３２から分類対象のデータ及び当該データに対応付けられたラベルを、それぞれ取得する。そして、モデル学習アルゴリズム３４は、取得したモデル及びパラメータから成る分類モデルに、取得した意味ネットワーク並びに取得した分類対象のデータ及びラベルを入力して、学習を行う。モデル学習アルゴリズム３４は、学習実行後のモデル及びパラメータを、分類モデル記憶部３３に出力して記憶させる。
【００６３】
・意味ネットワーク提案アルゴリズム３５
意味ネットワーク提案アルゴリズム３５は、ユーザに新たな意味ネットワークを提案するためのアルゴリズムである。意味ネットワーク提案アルゴリズム３５は、意味ネットワーク記憶部３１から意味ネットワークを、データ＆ラベル記憶部３２から分類対象のデータ及び当該データに対応付けられたラベルを、分類モデル記憶部３３からモデル及びパラメータを、それぞれ取得する。そして、意味ネットワーク提案アルゴリズム３５は、意味ネットワーク提案情報を、端末装置２００に出力する。意味ネットワーク提案情報とは、新たな意味ネットワークの入力を提案する情報である。例えば、意味ネットワーク提案情報は、学習結果に関する情報を含む。具体的には、意味ネットワーク提案情報は、分類モデルのニューラルネットに含まれるひとつ以上のユニットの出力値を含んでいてもよい。典型的には、出力値は、ｔ−ＳＮＥ等の２次元圧縮技術により可視化された、分類モデルの中間層の発火状況である。さらに、意味ネットワーク提案情報は、分類モデルの中間層の発火状況が類似する、即ち同一クラスタに含まれるデータから成るデータリストを含んでいてもよい。また、意味ネットワーク提案情報は、ラベルの共起ヒストグラムを含んでいてもよい。これらの学習結果に関する情報により、提案の根拠をユーザに提供することが可能となる。もちろん、意味ネットワーク提案情報は、意味ネットワークそのものを提案する情報を含んでいてもよい。
【００６４】
・ソートアルゴリズム３６
ソートアルゴリズム３６は、未ラベルデータを指定された概念に応じてソートするアルゴリズムである。ここで、未ラベルデータとは、何らラベルが対応付けられていないデータを意味していてもよいし、指定された概念に対応するラベルが対応付けられていないデータを意味していてもよい。ソートアルゴリズム３６は、意味ネットワーク記憶部３１から概念ＩＤを、データ＆ラベル記憶部３２から未ラベルデータを、分類モデル記憶部３３からモデル及びパラメータを、それぞれ取得する。そして、ソートアルゴリズム３６は、ラベル付け候補リストを端末装置２００に出力する。ラベル付け候補リストとは、データへの新たなラベルの対応付けを提案する情報であり、取得された概念ＩＤに対応するラベルを対応付けられ得る未ラベルデータのリストである。例えば、ソートアルゴリズム３６は、分類モデルによって概念ＩＤが示す概念に分類された未ラベルデータ、又は概念ＩＤが示す概念をラベル付けされたデータと中間層の発火状況が類似する未ラベルデータを、ラベル付け候補リストに含める。ラベル付け候補リストにおいては、ラベル付けされる確度が高いほど、又は曖昧であるほど、リスト内の優先順位が高くなるようソートされてもよい。なお、ラベル付け候補リストは、対応付けられ得るラベルの候補も含む。
【００６５】
・意味ネットワーク提案部４１
意味ネットワーク提案部４１は、新たな意味ネットワークをユーザに提案する。意味ネットワーク提案部４１は、意味ネットワーク提案アルゴリズム３５から意味ネットワーク提案情報を取得して、ユーザに出力する。
【００６６】
・第１のフィードバック取得部４２
第１のフィードバック取得部４２は、意味ネットワーク提案部４１によりユーザに出力された情報に対するユーザからのフィードバックの入力を受け付ける。例えば、第１のフィードバック取得部４２は、意味ネットワーク提案情報に対するフィードバックの入力を受け付ける。フィードバックとしては、新たな概念の入力及び／又は新たな意味関係情報の入力がある。そして、第１のフィードバック取得部４２は、入力された新たな概念及び／又は新たな意味関係情報を、意味ネットワーク記憶部３１に出力して記憶させる。即ち、意味ネットワークに新たなノード及び／又は新たなリンクが追加される。このようにして、ユーザとのインタラクションを通じて、意味ネットワークを逐次的に拡張又は細分化し、間違いを修正することが可能となる。
【００６７】
・ラベル付け提案部４３
ラベル付け提案部４３は、新たなラベル付けをユーザに提案する。ラベル付け提案部４３は、ソートアルゴリズム３６からラベル付け候補リストを取得して、ユーザに出力する。
【００６８】
・第２のフィードバック取得部４４
第２のフィードバック取得部４４は、ラベル付け提案部４３によりユーザに出力された情報に対するユーザからのフィードバックの入力を受け付ける。例えば、第２のフィードバック取得部４４は、ラベル付け候補リストに含まれる各々のデータへのラベル付けの可否を示す情報の入力を受け付ける。そして、第２のフィードバック取得部４４は、提案されたデータへのラベル付けが採用される場合、採用されたデータのデータＩＤ及びラベルを、データ＆ラベル記憶部３２に出力して記憶させる。即ち、未ラベルデータに、新たにラベルが対応付けられる。このように、ユーザとのインタラクションを通じて、より多くの概念を含む学習データセットを逐次的に生成することが可能となる。
【００６９】
＜３．４．ＵＩ例＞
以下では、図８〜図２３を参照して、具体的なＵＩ例を説明する。
【００７０】
ここでは一例として、分類対象のデータが、画像であるものとして説明する。その場合、ラベルとしては、画像に含まれる要素を示す概念、画像が示す意味を示す概念、及び画像が撮像されたコンテキストを示す概念等が考えられる。
【００７１】
なお、ＵＩは、例えばサーバ１００（例えば、出力制御部１３５）により生成され、端末装置２００（例えば、出力部２２０）により表示される。そして、ＵＩにおけるユーザ入力は、例えば端末装置２００（例えば、取得部１３１入力部２１０）により受け付けられ、サーバ１００（例えば、取得部１３１）により取得される。
【００７２】
＜３．４．１．第１のアルゴリズム＞
第１のアルゴリズムとは、ある中間層全体の発火状況に着目するアルゴリズムである。
【００７３】
図８は、本実施形態に係るＵＩの一例を示す図である。図８に示すように、ＵＩ３１０は、ニューラルネットの構成を示す情報３１１が含まれる。当該ニューラルネットは、分類モデル記憶部３３に記憶されている分類モデルに相当し、入力層３１２Ａ、複数の中間層３１２Ｂ及び出力層３１２Ｃを含む。ユーザは、複数の中間層３１２Ｂの中から、ひとつの中間層を選択可能である。選択されると図９に示すＵＩに画面が遷移する。ここでは、一例として中間層３１３が選択されたものとする。
【００７４】
図９は、本実施形態に係るＵＩの一例を示す図である。図９に示すように、ＵＩ３２０は、中間層の発火状況を示す情報３２１が含まれる。当該発火状況は、ＵＩ３１０においてユーザに選択された中間層３１３を構成する複数のユニットの発火状況である。当該発火状況は、意味ネットワーク提案情報に相当する。図９に示すように、中間層の発火状況を示す情報３２１において、発火状況のクラスタリング結果が含まれていてもよい。ユーザは、当該発火状況に含まれる複数のクラスタ３２２Ａ〜３２２Ｅから、ひとつのクラスタを選択可能である。選択されると、図１０に示すＵＩに画面が遷移する。ここでは、一例としてクラスタ３２２Ａが選択されたものとする。なお、クラスタリングはユーザにより行われてもよい。その場合、ユーザは、任意の領域を指定することで、クラスタを指定する。
【００７５】
図１０は、本実施形態に係るＵＩの一例を示す図である。図１０に示すＵＩ３３０は、ＩＳ−Ａ関係を提案するＵＩである。ＵＩ３３０は、複数の画像３３１を含む。当該複数の画像３３１は、ＵＩ３２０においてユーザに選択されたクラスタ３２２Ａに含まれる画像である。また、図１０に示すように、ＵＩ３３０は、複数の画像３３１が「“動物”のサブセットか？」を問う質問文３３２を含む。ユーザは、質問文３３２に対する回答３３３を選択可能である。ここでは、一例として回答３３３でＹＥＳが選択されたものとする。ＹＥＳが選択されると、図１１に示すＵＩに画面が遷移する。なお、回答３３３でＮＯが選択された場合、システム１は、「動物」に代わる概念を提案してもよいし、ユーザ入力を求めてもよい。また、システム１は、質問文３３２の代わりに、何のサブセットかを示す情報のユーザ入力を求めてもよい。
【００７６】
図１１は、本実施形態に係るＵＩの一例を示す図である、図１１に示すＵＩ３４０は、ＩＳ−Ａ関係を提案するＵＩである。図１１に示すように、ＵＩ３４０は、ＵＩ３３０に含まれるＵＩ要素に加えて、サブセット名を問う質問文３３４及び質問文３３４への回答を入力する入力フォーム３３５が含まれる。ここでは、画像３３１が猫の画像であるから、「猫」が入力されている。これにより、システム１は、新たな意味ネットワーク、即ち「猫」という新たな概念及び「猫は動物である」という「猫」と「動物」とのＩＳ−Ａ関係という意味関係情報を、取得することとなる。なお、システム１は、入力フォーム３３５によりユーザ入力を求める代わりに、「猫」という概念そのものを提案してもよい。
【００７７】
以上説明した、意味ネットワークを提案するＵＩ３１０〜ＵＩ３４０は、意味ネットワーク提案部４１及び第１のフィードバック取得部４２が関与する。複数の画像３３１、及び質問文３３２、質問文３３４は、意味ネットワーク提案情報に相当する。また、回答３３３及び入力フォーム３３５への入力は、第１のフィードバック取得部４２により取得される。
【００７８】
このようなＵＩにより新たな意味ネットワークが学習されると、当該新たな意味ネットワークに関するラベル付け及び分類モデルの学習が行われ得る。以下、図１２及び図１３を参照して詳しく説明する。
【００７９】
図１２は、本実施形態に係るＵＩの一例を示す図である。図１２に示すＵＩ３５０は、ラベル付けを提案するＵＩである。ＵＩ３５０は、複数の画像３５１Ａ〜３５１Ｈを含む。これらの画像は、ＵＩ３４０において入力された「猫」が対応付けられ得る未ラベルデータリストに含まれる画像である。ユーザは、これらの複数の画像３５１Ａ〜３５１Ｈの中から、「猫」がラベル付けされるのに適切な画像を選択する。ここでは、一例として画像３５１Ａ、３５１Ｃ及び３５１Ｇが選択されている。この選択により、画像３５１Ａ、３５１Ｃ及び３５１Ｇに新たなラベル「猫」がラベル付けされて、データ＆ラベル記憶部３２の内容が更新される。そして、更新後の内容に従って、モデル学習アルゴリズム３４による学習が行われる。この学習は、ユーザによる画像の選択の裏でリアルタイムに行われる。例えば、ユーザが画像を選択する度に分類モデルが学習される。システム１は、分類モデルが学習されると、ソートアルゴリズム３６におけるソート結果が変わる場合がある。その場合、図１３に示すＵＩに画面が遷移する。
【００８０】
図１３は、本実施形態に係るＵＩの一例を示す図である。図１３に示すＵＩ３６０は、ラベル付けを提案するＵＩである。ＵＩ３６０は、複数の画像３６１Ａ〜３６１Ｈを含む。ＵＩ３６０では、ＵＩ３５０において選択された画像３５１Ａ、３５１Ｃ及び３５１Ｇが、画像３６１Ａ、３６１Ｂ及び３６１Ｃとして先頭に並べられ、新たな画像も表示されていることが分かる。このようにして、ユーザは、より適切にソートされたラベル付け候補リストの中から、ラベル付けされるのに適切な画像をさらに選択することが可能となる。
【００８１】
以上説明した、ラベル付けを提案するＵＩ３５０及びＵＩ３６０は、ラベル付け提案部４３及び第２のフィードバック取得部４４が関与する。複数の画像３５１Ａ〜３５１Ｈ及び３６１Ａ〜３６１Ｈは、ラベル付け候補リストに含まれる画像に相当する。ラベル付けする画像の選択は、第２のフィードバック取得部４４により取得される。
【００８２】
以上、一連のＵＩの遷移の流れの一例を説明した。以下、他のＵＩ例を説明する。
【００８３】
図１４は、本実施形態に係るＵＩの一例を示す図である。図１４に示すＵＩ３７０は、ＩＳ−Ａ関係を提案するＵＩである。ＵＩ３７０は、例えば、ＵＩ３３０及びＵＩ３４０におけるインタラクションの後に、追加的に意味ネットワークの入力を提案するために表示される。図１４に示すように、ＵＩ３７０は、複数の画像３７１、及び複数の画像３７１が「“猫”のサブセットか？」を問う質問文３７２を含む。ユーザが、質問文３７２への回答３７３としてＮＯを選択すると、新たな概念を作成するか否かを示す質問文３７４が表示される。ユーザが、質問文３７４への回答３７５としてＹＥＳを選択すると、複数の画像３７１のサブセット名を問う質問文３７６、及び質問文３７６への回答を入力する入力フォーム３７７が表示される。ここでは一例として、「犬」が入力される。なお、画像３７１、質問文３７２、質問文３７４及び質問文３７６は、意味ネットワーク提案情報に相当する。
【００８４】
図１５は、本実施形態に係るＵＩの一例を示す図である。図１５に示すＵＩ３８０は、ＩＳ−ＰＡＲＴ−ＯＦ関係を提案するＵＩである。例えば、ＵＩ３８０は、ＵＩ３２０の後に、ＵＩ３３０に代えて表示される。図１５に示すように、ＵＩ３８０は、複数の画像３８１、及び複数の画像３８１が「“猫”の“足”か？」を問う質問文３８２を含む。ユーザは、質問文３８２に対する回答３８３を選択可能である。なお、画像３８１、及び質問文３８２は、意味ネットワーク提案情報に相当する。
【００８５】
図１６は、本実施形態に係るＵＩの一例を示す図である。図１６に示すＵＩ３９０は、ＡＴＴＲＩＢＵＴＥ関係を提案するＵＩである。例えば、ＵＩ３９０は、ＵＩ３２０の後に、ＵＩ３３０に代えて表示される。図１６に示すように、ＵＩ３９０は、複数の画像３９１、及び複数の画像３９１が「“猫”のサブセットか？」を問う質問文３９２を含む。ユーザが、質問文３９２への回答３９３としてＮＯを選択すると、複数の画像３９１の属性を問う質問文３９４、及び質問文３９４への回答を入力する入力フォーム３９５が表示される。ここでは、画像３９１が、羊、綿菓子及び毛並みのいい犬といったふわふわした属性の物体の画像であるから、「ふわふわ」が入力されている。なお、画像３９１、質問文３９２及び質問文３９４は、意味ネットワーク提案情報に相当する。
【００８６】
図１７は、本実施形態に係るＵＩの一例を示す図である。図１７に示すＵＩ４００は、ＩＳ−ＰＡＲＴ−ＯＦ関係を提案するＵＩの一例である。例えば、ＵＩ４００は、ＵＩ３２０の後に、ＵＩ３３０に代えて表示される。図１７に示すように、ＵＩ４００は、複数の画像４０１及び複数の画像４０２を含む。複数の画像４０２は、「人の足」である。そして、複数の画像４０１は、「人の足」と共通する特徴がみられる「猫」の画像である。システム１は、複数の画像４０１に対応付けられたラベル「人の足」から類推された意味ネットワークを示す情報として「猫の足」であるかを問う質問文４０３を表示し、回答４０４を得る。類推元は複数であってもよく、例えば複数の画像４０２として、「人の足」に加えて「ゴリラの足」、及び「馬の足」が表示されてもよい。複数の画像４０１、４０２、及び質問文４０３は、意味ネットワーク提案情報に相当する。とりわけ、本ＵＩにおける意味ネットワーク提案情報は、「猫の足」という新たな意味ネットワークそのものを提案する情報を含んでいる。
【００８７】
以上、第１のアルゴリズムにおけるＵＩの一例を説明した。以下、第２のアルゴリズムについて説明する。
【００８８】
＜３．４．２．第２のアルゴリズム＞
第２のアルゴリズムとは、ある中間層のひとつのノードの発火状況に着目するアルゴリズムである。
【００８９】
図１８は、本実施形態に係るＵＩの一例を示す図である。図１８に示すように、ＵＩ４１０は、ニューラルネットの構成を示す情報３１１が含まれる。当該ニューラルネットは、分類モデル記憶部３３に記憶されている分類モデルに相当し、入力層４１２Ａ、複数の中間層４１２Ｂ及び出力層４１２Ｃを含む。ユーザは、複数の中間層４１２Ｂの中から、中間層にふくまれるひとつのノードを選択可能である。ここでは、一例としてノード４１３が選択されたものとする。
【００９０】
ＵＩ４１０においてノードが選択された後のＵＩは、第１のアルゴリズムと同様である。例えば、ＵＩ４１０の後、ＵＩ３２０と同様のＵＩが表示される。但し、当該ＵＩでは、ＵＩ４１０においてユーザに選択された中間層のひとつのノード４１３の発火状況を示す情報が表示される。ユーザは、当該発火状況からクラスタを選択する。選択されると、図１９に示すＵＩに画面が遷移する。
【００９１】
図１９は、本実施形態に係るＵＩの一例を示す図である。図１９に示すＵＩ４２０は、ＩＳ−ＰＡＲＴ−ＯＦ関係を提案するＵＩである。ＵＩ４２０は、複数の画像４２１、及び複数の画像４２１が「人の一部か？」を問う質問文４２２を含む。ユーザは、質問文４２２に対する回答４２３を選択可能である。ここでは、一例として回答４２３でＹＥＳが選択されたものとする。ＹＥＳが選択されると、図２０に示すＵＩに画面が遷移する。
【００９２】
図２０は、本実施形態に係るＵＩの一例を示す図である。図２０に示すＵＩ４３０は、ＩＳ−ＰＡＲＴ−ＯＦ関係を提案するＵＩである。図２０に示すように、ＵＩ４３０は、ＵＩ４２０に含まれるＵＩ要素に加えて、部分名を問う質問文４２４及び質問文４２４への回答を選択する選択肢４２５が含まれる。選択肢は、図２１を参照して後述するように、例えば学習状況に基づいて提案され得る。ここでは、画像４２１が人の手の画像であるから、「手」が選択される。これにより、システム１は、新たな意味ネットワーク、即ち「人の手」という「人」と「手」とのＩＳ−ＰＡＲＴ−ＯＦ関係を、取得することとなる。
【００９３】
図２１は、本実施形態に係るＵＩの一例を示す図である。図２１は、ＩＳ−ＰＡＲＴ−ＯＦ関係を提案する根拠を示すＵＩである。図２１に示すＵＩ４４０は、例えばＵＩ４３０における選択肢４２５の根拠として表示され得る。図２１に示すように、ＵＩ４４０は、共起ヒストグラム４４１を含む。共起ヒストグラム４４１は、ある中間層又はクラスタに対応するラベルＸと他のラベルＹとの共起関係を示しており、「ラベルＸ」ＩＳ−ＰＡＲＴ−ＯＦ「ラベルＹ」という提案を行う根拠として表示される。ここでは、「人」「車」「椅子」「ＰＣ（Personal  Computer）」「草原」といったラベルのうち、「人」が「手」と共起する度合が高いことが示されている。即ち、共起ヒストグラム４４１は、「手」ＩＳ−ＰＡＲＴ−ＯＦ「人」という意味ネットワークの提案の根拠を示している。
【００９４】
以上説明した、意味ネットワークを提案する又は根拠を示すＵＩ４２０〜ＵＩ４４０は、意味ネットワーク提案部４１及び第１のフィードバック取得部４２が関与する。複数の画像４２１、質問文４２２、質問文４２４、選択肢４２５、及び共起ヒストグラム４４１は、意味ネットワーク提案情報に相当する。また、回答４２３及び選択肢４２５の選択は、第１のフィードバック取得部４２により取得される。
【００９５】
このようなＵＩにより新たな意味ネットワークが学習されると、当該新たな意味ネットワークに関するラベル付け及び分類モデルの学習が行われ得る。以下、図２２及び図２３を参照して詳しく説明する。
【００９６】
図２２は、本実施形態に係るＵＩの一例を示す図である。図２２に示すＵＩ４５０は、ラベル付けを提案するＵＩである。ＵＩ４５０は、複数の画像４５１Ａ〜４５１Ｈを含む。これらの画像は、ＵＩ４３０において入力された「人の手」が対応付けられ得る未ラベルデータリストに含まれる画像である。ユーザは、これらの複数の画像４５１Ａ〜４５１Ｈの中から、「人の手」がラベル付けされるのに適切な画像を選択する。ここでは、一例として画像４５１Ａ、４５１Ｃ及び４５１Ｇが選択されている。即ち、この選択により、画像４５１Ａ、４５１Ｃ及び４５１Ｇに新たなラベル「人の手」がラベル付けされて、データ＆ラベル記憶部３２の内容が更新される。そして、更新後の内容に従って、モデル学習アルゴリズム３４による学習が行われる。この学習は、ユーザによる画像の選択の裏でリアルタイムに行われる。例えば、ユーザが画像を選択する度に分類モデルが学習される。システム１は、分類モデルが学習されると、ソートアルゴリズム３６におけるソート結果が変わる場合がある。その場合、図２３に示すＵＩに画面が遷移する。
【００９７】
図２３は、本実施形態に係るＵＩの一例を示す図である。図２３に示すＵＩ４６０は、ラベル付けを提案するＵＩである。ＵＩ４６０は、複数の画像４６１Ａ〜４６１Ｈを含む。ＵＩ３６０では、ＵＩ４５０において選択された画像４５１Ａ、４５１Ｃ及び４５１Ｇが、画像４６１Ａ、４６１Ｂ及び４６１Ｃとして先頭に並べられ、新たな画像も表示されていることが分かる。このようにして、ユーザは、より適切にソートされたラベル付け候補リストの中から、ラベル付けされるのに適切な画像をさらに選択することが可能となる。
【００９８】
以上説明した、ラベル付けを提案するＵＩ４５０及びＵＩ４６０は、ラベル付け提案部４３及び第２のフィードバック取得部４４が関与する。複数の画像４５１Ａ〜４５１Ｈ及び４６１Ａ〜４６１Ｈは、ラベル付け候補リストに含まれる画像に相当する。ラベル付けする画像の選択は、第２のフィードバック取得部４４により取得される。
【００９９】
以上、第２のアルゴリズムにおけるＵＩの一例を説明した。
【０１００】
＜３．４．３．補足＞
なお、各アルゴリズムおいて説明したＵＩは、ＵＩ３１０及びＵＩ４１０を除き、どちらのアルゴリズムにおいても表示可能である。例えば、ＵＩ４４０が第１のアルゴリズムにおいて表示されてもよい。
【０１０１】
また、上記ではＵＩが遷移する例を示したが、２以上のＵＩがまとめて表示されてもよい。
【０１０２】
また、例えばＵＩ３５０等のラベル付けを提案するＵＩにおいて、インターネット等から同様のラベル付けが可能な画像が新たに収集されて追加されてもよい。
【０１０３】
＜３．５．変形例＞
上記ＵＩ例では、データの一例として画像を挙げたが、本技術はかかる例に限定されない。
【０１０４】
例えば、データは、音であってもよい。その場合、ラベル（即ち、概念）としては、ムード、コード進行、フレーズ群、又は特定の奏法等が考えられる。また、意味ネットワークとしては、フレーズ群のムードといったＩＳ−Ａ関係、ジャズのある奏法といったＩＳ−ＰＡＲＴ−ＯＦ関係又はＡＴＴＲＩＢＵＴＥ関係等が考えられる。例えば、音楽全体のムードを示すラベルが対応付けられたデータセットがあるとする。その場合、システム１は、音楽の一部のある特定のコード進行に対して、全体のデータセットの中からフレーズ群を表示することで、新たな概念の可能性をユーザに提案し得る。
【０１０５】
例えば、データは、文書であってもよい。その場合、ラベル（即ち、概念）は、文書のジャンル、当該ジャンルにおいて頻出する話題、フレーズ、文章等である。例えば、ジャンルを示すラベルが対応付けられたデータセットがあるとする。その場合、システム１は、ある文章又はフレーズが特定のジャンルのある話題について触れている場合、その話題を新たな概念として提案し得る。
【０１０６】
その他、データは、センサ信号又は動画等であってもよい。
【０１０７】
また、分類対象のデータは、例えば画像、動画、及びセンサ信号等の異なる種類のデータが混在していてもよい。
【０１０８】
＜＜４．ハードウェア構成例＞＞
最後に、図２４を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図２４は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図２４に示す情報処理装置９００は、例えば、図４に示したサーバ１００又は端末装置２００を実現し得る。本実施形態に係るサーバ１００又は端末装置２００による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
【０１０９】
図２４に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１及び通信装置９１３を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
【０１１０】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図４に示す制御部１３０又は制御部２５０を形成し得る。
【０１１１】
ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
【０１１２】
入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０１１３】
他にも、入力装置９０６は、ユーザに関する情報を検知する装置により形成され得る。例えば、入力装置９０６は、画像センサ（例えば、カメラ）、深度センサ（例えば、ステレオカメラ）、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサを含み得る。また、入力装置９０６は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得してもよい。また、入力装置９０６は、ＧＮＳＳ（Global  Navigation  Satellite  System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global  Positioning  System）衛星からのＧＰＳ信号）を受信して装置の緯度、経度及び高度を含む位置情報を測定するＧＮＳＳモジュールを含んでもよい。また、位置情報に関しては、入力装置９０６は、Ｗｉ−Ｆｉ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。入力装置９０６は、例えば、図４に示す入力部２１０を形成し得る。
【０１１４】
出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。上記表示装置又は上記音声出力装置は、例えば、図４に示す出力部２２０を形成し得る。
【０１１５】
ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図４に示す記憶部１２０又は記憶部２４０を形成し得る。
【０１１６】
ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
【０１１７】
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
【０１１８】
通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、図４に示す通信部１１０又は通信部２３０を形成し得る。
【０１１９】
なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
【０１２０】
以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【０１２１】
なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
【０１２２】
＜＜５．まとめ＞＞
以上、図１〜図２４を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係るシステム１は、意味ネットワーク、データの識別情報及びラベルを取得して、取得した意味ネットワーク、識別情報及びラベルに基づいて、データをラベルに分類する分類モデルを学習する。学習に意味ネットワークを加味することで、例えば意味ネットワークにおける概念間の関係が正しく表現されない分類モデルを排除する効率的な学習が可能となる。
【０１２３】
また、システム１は、学習結果に関する出力情報に対するフィードバックに基づいて学習を行う。システム１は、学習途中でフィードバックを繰り返し受けることで、効率的に学習を行うことが可能である。
【０１２４】
例えば、システム１は、新たな意味ネットワークの入力を提案する情報を出力してフィードバックを受ける。これにより、ユーザとのインタラクションを通じて、意味ネットワークを逐次的に拡張又は細分化し、間違いを修正することが可能となる。
【０１２５】
また、例えば、システム１は、データへの新たなラベルの対応付けを提案する情報を出力してフィードバックを受ける。これにより、ユーザとのインタラクションを通じて、より多くの概念を含む学習データセットを逐次的に生成することが可能となる。これにより、用意されたデータセットの枠を超える学習を行うことが可能となり、少ない学習データセットでも十分な学習を行うことが可能となる。
【０１２６】
また、システム１は、新たな意味ネットワーク又はラベルの対応付けを提案する過程で、ニューラルネットの中間層の出力値、当該出力値のクラスタリング結果、及び共起ヒストグラム等を出力する。これにより、新たな提案の根拠をユーザに提供することが可能となり、ユーザ入力を支援することが可能となる。
【０１２７】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１２８】
例えば、上記実施形態では、中間層の発火状況に基づいて学習が行われると説明したが、本技術はかかる例に限定されない。例えば、出力層の発火状況に基づいて学習が行われてもよい。
【０１２９】
また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
【０１３０】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１３１】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
意味ネットワーク、データの識別情報及びラベルを取得する取得部と、
前記取得部により取得された前記意味ネットワーク、前記識別情報及びラベルに基づいて、前記データを前記ラベルに分類する分類モデルを学習する学習部と、
を備える情報処理装置。
（２）
前記ラベルは、前記意味ネットワークを形成するノードに対応する、前記（１）に記載の情報処理装置。
（３）
前記意味ネットワークは、前記ノード同士の関係性を示す情報を含む、前記（２）に記載の情報処理装置。
（４）
前記学習部は、前記意味ネットワークにおける前記ノード同士の関係性に基づく学習基準を用いて学習する、前記（３）に記載の情報処理装置。
（５）
前記学習部は、学習結果に関する出力情報に対するフィードバックに基づいて学習を行う、前記（１）〜（４）のいずれか一項に記載の情報処理装置。
（６）
前記出力情報は、新たな前記意味ネットワークの入力を提案する情報を含む、前記（５）に記載の情報処理装置。
（７）
前記出力情報は、新たな前記意味ネットワークを提案する情報を含む、前記（６）に記載の情報処理装置。
（８）
前記出力情報は、他のデータに対応付けられた他のラベルから類推された前記意味ネットワークを示す情報を含む、前記（７）に記載の情報処理装置。
（９）
前記出力情報は、前記データへの新たな前記ラベルの対応付けを提案する情報を含む、前記（５）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記分類モデルは、ニューラルネットにより実装され、
前記出力情報は、前記ニューラルネットに含まれるひとつ以上のユニットの出力値を含む、前記（５）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記出力情報は、前記出力値のクラスタリング結果を含む、前記（１０）に記載の情報処理装置。
（１２）
前記ひとつ以上のユニットは、中間層を構成する複数のユニットである、前記（１０）又は（１１）に記載の情報処理装置。
（１３）
前記ひとつ以上のユニットは、中間層のひとつのユニットである、前記（１０）又は（１１）に記載の情報処理装置。
（１４）
前記出力情報は、前記ラベルの共起ヒストグラムを含む、前記（５）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）
意味ネットワーク、データの識別情報及びラベルを取得することと、
取得された前記意味ネットワーク、前記識別情報及びラベルに基づいて、前記データを前記ラベルに分類する分類モデルを学習することと、
を含むプロセッサにより実行される方法。
【符号の説明】
【０１３２】
１    システム
３１    意味ネットワーク記憶部
３２    データ＆ラベル記憶部
３３    分類モデル記憶部
３４    モデル学習アルゴリズム
３５    意味ネットワーク提案アルゴリズム
３６    ソートアルゴリズム
４１    意味ネットワーク提案部
４２    第１のフィードバック取得部
４３    ラベル付け提案部
４４    第２のフィードバック取得部
１００    サーバ
１１０    通信部
１２０    記憶部
１３０    制御部
１３１    取得部
１３３    学習部
１３５    出力制御部
２００    端末装置
２１０    入力部
２２０    出力部
２３０    通信部
２４０    記憶部
２５０    制御部
【図１】
2017194782.tif 000003
【図２】
2017194782.tif 000004
【図３】
2017194782.tif 000005
【図４】
2017194782.tif 000006
【図５】
2017194782.tif 000007
【図６】
2017194782.tif 000008
【図７】
2017194782.tif 000009
【図８】
2017194782.tif 000010
【図９】
2017194782.tif 000011
【図１０】
2017194782.tif 000012
【図１１】
2017194782.tif 000013
【図１２】
2017194782.tif 000014
【図１３】
2017194782.tif 000015
【図１４】
2017194782.tif 000016
【図１５】
2017194782.tif 000017
【図１６】
2017194782.tif 000018
【図１７】
2017194782.tif 000019
【図１８】
2017194782.tif 000020
【図１９】
2017194782.tif 000021
【図２０】
2017194782.tif 000022
【図２１】
2017194782.tif 000023
【図２２】
2017194782.tif 000024
【図２３】
2017194782.tif 000025
【図２４】
2017194782.tif 000026