(57)【要約】      （修正有）【課題】半教師あり学習によって、効率的にラベル付けを行う技術を提供する。【解決手段】学習装置１は、複数のラベル付き画像Ｌと複数のラベルなし画像Ｕとを入力する入力部１０と、画像をＣＮＮ処理して複数の特徴マップを生成するＣＮＮ処理部１１と、ＣＮＮ処理部１１にて生成された複数の特徴マップについて画素毎に求めたエントロピーを合算すると共に、ラベル付き画像Ｌから生成された複数の特徴マップについては、さらに、画素毎に付された正解ラベルＣと複数の特徴マップの画素とのクロスエントロピーを合算し、エントロピーからクロスエントロピーを引く処理を、複数のラベル付き画像および複数のラベルなし画像について行って、求めた値を合算して評価値を計算する評価値計算部１２と、評価値を最小化するようにＣＮＮ処理で用いるパラメータＱの学習を行う学習部１３とを備える。【選択図】図１
2018097807.tif 000002
【特許請求の範囲】
【請求項１】
複数のラベル付き画像と複数のラベルなし画像とを入力する入力部と、
画像をＣＮＮ処理して複数の特徴マップを生成するＣＮＮ処理部と、
前記ＣＮＮ処理部にて生成された複数の特徴マップについて画素毎に求めたエントロピーを合算すると共に、ラベル付き画像から生成された複数の特徴マップについては、さらに、画素毎に付された正解ラベルとのクロスエントロピーを合算し、前記エントロピーから前記クロスエントロピーを引く処理を、複数のラベル付き画像および複数のラベルなし画像について行って、求めた値を合算して評価値を計算する評価値計算部と、
前記評価値を最小化するように前記ＣＮＮ処理で用いるパラメータの学習を行う学習部と、
を備える学習装置。
【請求項２】
前記評価値計算部は、画素毎にエントロピーを求める構成に代えて、所定の領域を単位として、その領域内にある画素の平均値に基づいてエントロピーを計算する請求項１に記載の学習装置。
【請求項３】
前記評価値計算部は、画素毎にエントロピーを求める構成に代えて、所定の領域を単位として、その領域内にある画素の重み付き和に基づいてエントロピーを計算する請求項１に記載の学習装置。
【請求項４】
前記評価値計算部は、画素毎にエントロピーを求める構成に代えて、スーパー画素の代表値に基づいてエントロピーを計算する請求項１に記載の学習装置。
【請求項５】
任意の情報から新しい画像を生成する生成器と、前記新しい画像と所定の画像とが同じ画像であるか否かを識別する識別器とを有し、前記新しい画像が前記所定の画像と同じであると前記識別器によって識別されるように前記生成器の学習を行うＧＡＮ（Generative Adversarial Networks）装置を備え、
前記学習部にて学習したパラメータを用いて所定の画像の各画素にラベルを付与したセマンティック画像から、前記ＧＡＮ装置によって前記所定の画像を生成するように学習を行い、その結果求められた前記セマンティック画像の誤差を逆伝播させて前記パラメータを学習する請求項１乃至４のいずれかに記載の学習装置。
【請求項６】
前記所定の画像を前記ＣＮＮ処理部で処理して求めた複数の特徴マップと、前記セマンティック画像から生成された新しい画像を前記ＣＮＮ処理部で処理して求めた複数の特徴マップとのクロスエントロピーを求めるクロスエントロピー計算部を備え、
前記生成器は、前記クロスエントロピーの情報も用いて前記新しい画像を生成する請求項５に記載の学習装置。
【請求項７】
学習装置によって、複数のラベル付き画像と複数のラベルなし画像とに基づいてラベルなし画像を分類するパラメータを学習するための方法であって、
前記学習装置が、複数のラベル付き画像と複数のラベルなし画像とを入力するステップと、
前記学習装置が、画像をＣＮＮ処理して複数の特徴マップを生成するステップと、
前記学習装置が、生成された複数の特徴マップについて画素毎に求めたエントロピーを合算すると共に、ラベル付き画像から生成された複数の特徴マップについては、さらに、画素毎に付された正解ラベルとのクロスエントロピーを合算し、前記エントロピーから前記クロスエントロピーを引く処理を、複数のラベル付き画像および複数のラベルなし画像について行って、求めた値を合算して評価値を計算するステップと、
前記学習装置が、前記評価値を最小化するように前記ＣＮＮ処理で用いるパラメータの学習を行うステップと、
を備える学習方法。
【請求項８】
複数のラベル付き画像と複数のラベルなし画像とを用いて、ラベルなし画像を分類するパラメータを学習するためのプログラムであって、コンピュータに、
画像をＣＮＮ処理して複数の特徴マップを生成するステップと、
生成された複数の特徴マップについて画素毎に求めたエントロピーを合算すると共に、ラベル付き画像から生成された複数の画像については、さらに、画素毎に付された正解ラベルとのクロスエントロピーを合算し、前記エントロピーから前記クロスエントロピーを引く処理を、複数のラベル付き画像および複数のラベルなし画像について行って、求めた値を合算して評価値を計算するステップと、
前記評価値を最小化するように前記ＣＮＮ処理で用いるパラメータの学習を行うステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、未知の画像にラベル付けを行う技術に関し、特に、ラベル付けを行うために未知の画像を分類するためのパラメータを学習する技術に関する。
【背景技術】
【０００２】
画像のピクセル毎に、ラベル付けを行うセマンティックセグメンテーション（Semantic Segmentation）は、自動運転などの応用で重要な技術である。一般に高い性能を実現するためには、大量のラベル付けを行うことが必要である。ピクセルごとのラベルが必要となるセマンティックセグメンテーションでは，画像１枚当たりのラベル付けコストが特に高く、省力化が必要である。ラベル付けのコストを省力化するための手法として、Weakly supervise learning（非特許文献１，２）やmicro annotation（非特許文献３）等が提案されている。
【０００３】
Weakly supervise learningは、ピクセル毎にラベル付けされた少量のラベル付きデータと、ラベル付けコストが比較的低い画像に写っている物体のラベル（画像全体に対して各物体のあり／無しを記述）のみを用い、ピクセルごとにラベル付けを行う必要がないというメリットがある。micro annotationは、学習済みのモデルが出力するセグメンテーションのプロポーザルに対して、それが正しいか否かのみをラベル付けする。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Learning Transferrable Knowledge for Semantic Segmentation with Deep Convolutional Neural Network （CVPR2016）
【非特許文献２】Decoupled Deep Neural Network for Semi-supervised Semantic Segmentation（NIPS 2015)
【非特許文献３】Improving Weakly-Supervised Object Localization By Micro-Annotation（BMVC2016）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、セマンティックセグメンテーションにおいて、上記のようなWeakly supervised dataや、micro annotationの情報を用いることなく、半教師あり学習でラベルなしデータを活用する手法は提案されていない。本発明は、半教師あり学習によって、効率的にラベル付けを行う技術を提案する。
【課題を解決するための手段】
【０００６】
本発明の学習装置は、複数のラベル付き画像と複数のラベルなし画像とを入力する入力部と、画像をＣＮＮ処理して複数の特徴マップを生成するＣＮＮ処理部と、前記ＣＮＮ処理部にて生成された複数の特徴マップについて画素毎に求めたエントロピーを合算すると共に、ラベル付き画像から生成された複数の特徴マップについては、さらに、画素毎に付された正解ラベルとのクロスエントロピーを合算し、前記エントロピーから前記クロスエントロピーを引く処理を、複数のラベル付き画像および複数のラベルなし画像について行って、求めた値を合算して評価値を計算する評価値計算部と、前記評価値を最小化するように前記ＣＮＮ処理で用いるパラメータの学習を行う学習部とを備える。
【０００７】
このように特徴マップのエントロピーを小さくすると共に、ラベル付き画像の正解ラベルとのクロスエントロピーを大きくするようなパラメータを求めることにより、ラベル付き画像が豊富にはない場合であっても、ラベルなし画像をうまく分類するという観点でパラメータの精度を補って、未知の画像を適切にクラス分けするパラメータを求めることができる。
【０００８】
本発明の学習装置において、前記評価値計算部は、画素毎にエントロピーを求める構成に代えて、所定の領域を単位として、その領域内にある画素の平均値に基づいてエントロピーを計算してもよい。また、前記評価値計算部は、画素毎にエントロピーを求める構成に代えて、所定の領域を単位として、その領域内にある画素の重み付き和に基づいてエントロピーを計算してもよい。
【０００９】
画像においては、いくつかの画素が集まった領域においてラベルが同じであることが一般的なので、所定の領域内の画素の平均値または重み付き和に基づいて処理を行うことにより、パラメータを適切に学習することができる。
【００１０】
本発明の学習装置において、前記評価値計算部は、画素毎にエントロピーを求める構成に代えて、スーパー画素の代表値に基づいてエントロピーを計算してもよい。
【００１１】
類似した特徴をもつ画素の集まりであるスーパー画素を用いて処理を行うことにより、パラメータを適切に学習することができる。
【００１２】
本発明の学習装置は、任意の情報から新しい画像を生成する生成器と、前記新しい画像と所定の画像とが同じ画像であるか否かを識別する識別器とを有し、前記新しい画像が前記所定の画像と同じであると前記識別器によって識別されるように前記生成器の学習を行うＧＡＮ（Generative Adversarial Networks）装置を備え、前記学習部にて学習したパラメータを用いて所定の画像の各画素にラベルを付与したセマンティック画像から、前記ＧＡＮ装置によって前記所定の画像を生成するように学習を行い、その結果求められた前記セマンティック画像の誤差を逆伝播させて前記パラメータを学習してもよい。
【００１３】
このようにセマンティック画像を条件付きとして復元した画像と元の所定の画像とが類似するようにパラメータを更新することにより、パラメータの精度を一層高めることができる。
【００１４】
本発明の学習装置は、前記所定の画像をＣＮＮ処理部で処理して求めた複数の特徴マップと、前記セマンティック画像から生成された新しい画像をＣＮＮ処理部で処理して求めた複数の特徴マップとのクロスエントロピーを求めるクロスエントロピー計算部を備え、前記生成器は、前記クロスエントロピーの情報も用いて前記新しい画像を生成してもよい。
【００１５】
ＧＡＮの識別器は、所定の画像が張る多様体と、新しい画像との距離を測ることにより、両者が一致するか否かを判定する構成を有するので、識別器での識別のみでは新しい画像を画素単位で所定の画像に対応させることはできない。本発明の構成により、セマンティック画像から生成された新しい画像と、所定の画像のクロスエントロピーの情報を用いることにより、所定の画像に意味的に近い画像を生成することができる。
【００１６】
本発明の学習方法は、学習装置によって、複数のラベル付き画像と複数のラベルなし画像とに基づいてラベルなし画像を分類するパラメータを学習するための方法であって、前記学習装置が、複数のラベル付き画像と複数のラベルなし画像とを入力するステップと、前記学習装置が、画像をＣＮＮ処理して複数の特徴マップを生成するステップと、前記学習装置が、生成された複数の特徴マップについて画素毎に求めたエントロピーを合算すると共に、ラベル付き画像から生成された複数の特徴マップについては、さらに、画素毎に付された正解ラベルとのクロスエントロピーを合算し、前記エントロピーから前記クロスエントロピーを引く処理を、複数のラベル付き画像および複数のラベルなし画像について行って、求めた値を合算して評価値を計算するステップと、前記学習装置が、前記評価値を最小化するように前記ＣＮＮ処理で用いるパラメータの学習を行うステップとを備える。
【００１７】
本発明のプログラムは、複数のラベル付き画像と複数のラベルなし画像とを用いて、ラベルなし画像を分類するパラメータを学習するためのプログラムであって、コンピュータに、画像をＣＮＮ処理して複数の特徴マップを生成するステップと、生成された複数の特徴マップについて画素毎に求めたエントロピーを合算すると共に、ラベル付き画像から生成された複数の画像については、さらに、画素毎に付された正解ラベルとのクロスエントロピーを合算し、前記エントロピーから前記クロスエントロピーを引く処理を、複数のラベル付き画像および複数のラベルなし画像について行って、求めた値を合算して評価値を計算するステップと、前記評価値を最小化するように前記ＣＮＮ処理で用いるパラメータの学習を行うステップとを実行させる。
【発明の効果】
【００１８】
本発明によれば、入力された画像の特徴マップのエントロピーを小さくすると共に、ラベル付き画像の正解ラベルとのクロスエントロピーを大きくするようなパラメータを求めることにより、ラベル付き画像が豊富にはない場合であっても、ラベルなし画像をうまく分類するという観点でパラメータの精度を補って、未知の画像を適切にクラス分けするパラメータを求めることができる。
【図面の簡単な説明】
【００１９】
【図１】第１の実施の形態の学習装置の構成を示す図である。
【図２】第１の実施の形態の学習装置の動作を示す図である。
【図３】第２の実施の形態の学習装置の構成を示す図である。
【図４】第２の実施の形態で用いられるＧＡＮ装置の構成を示す図である。
【図５】第２の実施の形態の学習装置の動作を示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態の学習装置について説明する。本実施の形態の学習装置は、画像に対してセマンティックセグメンテーションを行うための畳み込みニューラルネットワークのパラメータ（畳み込み層の各カーネルの要素の値、全結合層の各ユニットの結合重み、バイアス等）を学習する装置である。
【００２１】
図１は、学習装置１の構成を示す図である。学習装置１は、多数の画像を記憶したデータベース１４と接続されている。データベース１４には、教師データである多数の画像データが記憶されている。画像には、何の画像であるかを表すラベルが付与されたラベル付き画像Ｌと、ラベルが付与されていないラベルなし画像Ｕがある。
【００２２】
画像にラベルを付すのは、手間がかかるので、すべての画像に対してラベルは付されていない。ラベル付き画像Ｌはラベルなし画像Ｕに比べて格段に少なく、例えば、ラベルなし画像Ｕが１万枚あるのに対し、ラベル付き画像Ｌは１０００枚である。本実施の形態の学習装置１は、ラベル付き画像Ｌ及びラベルなし画像Ｕを用いて半教師あり学習を行い、未知のラベルなし画像に対して、自動でラベルを付すことができるようにするためのパラメータを学習する。
【００２３】
学習装置１は、データベース１４から画像を読み出して入力する入力部１０と、入力された画像に対して畳み込みニューラルネットワーク（Convolutional Neural Network）の処理を行うＣＮＮ処理部１１とを有している。ＣＮＮ処理部１１は、画像に対してＣＮＮ処理を行って、複数の特徴マップ（feature map）を生成する。ここで生成する特徴マップの数は、画像を分類したいクラスの数と同じである。ＣＮＮ処理部１１は、入力部１０にて入力されたラベル付き画像およびラベルなし画像のいずれについても特徴マップを生成する。
【００２４】
学習装置１は、生成された特徴マップに基づいて、パラメータ更新を行うための評価値を計算する評価値計算部１２と、評価値を最小にするようにパラメータを更新する学習部１３とを有している。評価値計算部１２は、入力されたすべての画像の特徴マップのエントロピーを計算すると共に、ラベル付き画像については、特徴マップと正解ラベルとのクロスエントロピーを計算する。評価値計算部１２は、すべての画像のエントロピーからクロスエントロピーを引いた値を評価値として計算する。なお、評価値計算部１２でのエントロピーの計算は画素毎に行う。
【００２５】
学習部１３は、評価値を最小にするように、ＣＮＮ処理部１１で用いるパラメータを更新する。以下の数式は、学習部１３で行うパラメータ更新の処理を表したものである。
【００２６】
【数１】
2018097807.tif 000003
【００２７】
上記式において、Ｑは、ＣＮＮ処理部１１で用いるパラメータを示し、Ｃはラベル付き画像に与えられた正解ラベルを示している。Ｌはラベル付き画像を示し、Ｕはラベルなし画像を示している。かっこ内の第１項は、ラベル付き画像と正解ラベルとのクロスエントロピーを表し、第２項は、ラベル付き画像およびラベルなし画像の全画像のエントロピーを表している。
【００２８】
この式を定性的に説明すると、第１項は、ラベル付き画像Ｌの特徴マップと正解ラベルとのクロスエントロピーであるので、クロスエントロピーが大きいほど、ＣＮＮ処理部１１で生成された特徴マップが正解のラベルに近いことを意味している。第２項は、全画像の特徴マップのエントロピーであり、このエントロピーが小さいほど、ラベルが何かは不明であるものの、何らかの特徴が顕著であることを意味している。換言すれば、第２項のエントロピーが小さいほど、特徴マップは、うまくクラス分けがなされたことになる。
【００２９】
学習部１３が、上記の数式に示す評価値を最小化するようなパラメータを求めることで、未知の画像をクラス分けすると共に、分類されたクラスにラベルを付与できるパラメータが得られる。
【００３０】
図２は、学習装置１にて学習を行う動作を示すフローチャートである。まず、データベース１４から、多数のラベル付き画像およびラベルなし画像を読み出して、学習装置１に入力する（Ｓ１０）。次に、学習装置１は、入力された画像をＣＮＮ処理して各画像の特徴マップを求め（Ｓ１２）、特徴マップのエントロピーと、ラベル付き画像から生成した特徴マップについては、正解ラベルとのクロスエントロピーを、画素毎に求める。評価値計算部１２は、求めたエントロピーからクロスエントロピーを減算して評価値を求める（Ｓ１４）。
【００３１】
次に、学習装置１は、終了条件を満たしたか否かを判定する（Ｓ１６）。終了条件は、例えば、評価値が所定の値以下になったことでもよいし、パラメータの更新を行った回数が所定値に達したことでもよい。終了条件を満たしたと判定された場合には（Ｓ１６でＹＥＳ）、学習装置１は、その時点で求められているパラメータの値をＣＮＮ処理部１１のパラメータとして決定する（Ｓ１８）。終了条件を満たしていないと判定された場合には（Ｓ１６でＮＯ）、学習部１３は、評価値が小さくなる方向にパラメータを更新し（Ｓ２０）、再度、ＣＮＮ処理を行うステップに戻る（Ｓ１２）。以上、第１実施の形態の学習装置１の構成および動作について説明した。
【００３２】
本実施の形態の学習装置１は、ラベル付き画像の特徴マップと正解ラベルとのクロスエントロピーを最大化する方向にパラメータを更新することにより、画像をクラス分けするパラメータを求めることができる。この際に、ラベルなし画像の特徴マップのエントロピーを最小化する方向にパラメータを更新することで、ある特徴が顕著になるようなパラメータを求めることにより、ラベル付き画像の数が少ない場合にも、ラベルなし画像の情報を活用して、画像を適切にクラス分けするパラメータを求めることができる。
【００３３】
（第２の実施の形態）
図３は、第２の実施の形態の学習装置２の構成を示す図である。第２の実施の形態の学習装置２は、第１の実施の形態の学習装置１の構成に加え、ＧＡＮ装置２０を備えている。第２の実施の形態の学習装置２は、ＧＡＮ装置２０が備える識別器２３による識別結果を学習部１３へフィードバックしてパラメータの学習を行う点が異なる。
【００３４】
図４は、ＧＡＮ装置２０の詳しい構成を示す図である。セマンティックセグメンテーション部２１は、入力された画像に対してＣＮＮ処理を行って、入力画像を画素単位でクラス分けし、セマンティック画像を生成する機能を有する。ここでのＣＮＮ処理には、学習部１３にて学習を行ったパラメータを用いる。以下、説明の便宜上、セマンティックセグメンテーション部２１に入力する画像を「画像Ａ」という。
【００３５】
ここで、ＧＡＮ装置２０の概要について述べる。ＧＡＮ装置２０は入力画像Ａから生成したセマンティック画像が正解に近いかどうかを検証する。セマンティック画像が正解に近ければ近いほど、入力画像Ａに近い画像Ａ´を復元することができると考えられるので、ＧＡＮ装置２０は、入力画像Ａと復元画像Ａ´との誤差を算出し、学習部１３へ逆伝播することで学習部１３での学習を助けるものである。
【００３６】
ＧＡＮ装置２０は、生成器２２と識別器２３とを有している。生成器２２は、任意の情報から新しい画像を生成する機能を有し、識別器２３は、生成された新しい画像と所定の画像とが同じ画像であるか否かを識別する機能を有する。識別器２３によって同じ画像であると判定されるような画像、すなわち、識別器２３をだます画像を生成器２２が生成する。識別器２３は、生成された画像と所定の画像とを識別した識別結果を生成器２２に入力し、生成器２２はその情報を用いて、所定の画像にさらに近い画像を生成し、識別器２３に入力する。このように画像の生成と識別を繰り返し行うことにより、生成器２２は、所定の画像と同じ画像を生成するように学習する。以上がＧＡＮ（Generative Adversarial Networks）の原理である。
【００３７】
本実施の形態においては、ＧＡＮ装置２０の生成器２２は、セマンティックセグメンテーション部２１にて生成した画像Ａのセマンティック画像から新しい画像Ａ´を生成する。そして、識別器２３は、新しい画像Ａ´が、セマンティック画像の元となった画像Ａと同じであるか否かを識別する。つまり、セマンティック画像から元の画像Ａにどれだけ近い画像Ａ´を生成できたかを判定し、その結果を学習部１３へフィードバックする。画像Ａに近い画像Ａ´を生成できたとすれば、セマンティック画像が正解であった可能性が高く、画像Ａからは距離のある画像Ａ´しか生成できなかったとすれば、セマンティック画像が正解からは遠かったということが分かる。
【００３８】
ＧＡＮ装置２０は、画像Ａ及び画像Ａ´のＣＮＮ処理を行うＣＮＮ処理部２４と、ＣＮＮ処理部２４で求めた画像Ａの特徴マップおよび画像Ａ´の特徴マップのクロスエントロピーを計算するクロスエントロピー計算部２５とを備えている。クロスエントロピー計算部２５は、求めたクロスエントロピーの情報を生成器２２に入力する。これにより、生成器２２は画像Ａと画像Ａ´とのクロスエントロピーの情報に基づいて、新しい画像Ａ´を生成できるので、画像Ａに意味的に近い画像Ａ´を生成することができる。
【００３９】
図５は、第２の実施の形態の学習装置２にて学習を行う動作を示すフローチャートである。エントロピーとクロスエントロピーの評価値に基づいて、ＣＮＮ処理部１１のパラメータを決定するまでの動作は、第１の実施の形態の学習装置１の動作と同じである。ただし、評価値に基づいて求めたパラメータを、第２の実施の形態では、仮のパラメータとして決定する（Ｓ１８）。
【００４０】
第２の実施の形態の学習装置１は、仮に決定されたパラメータを用いて生成したセマンティック画像をＧＡＮ装置２０にて検証することにより、さらにパラメータの更新を行う（Ｓ２４）。すなわち、学習装置１は、仮決定されたパラメータを用いてＣＮＮ処理を行って特徴マップを生成し、画像の各画素についてクラス分けをする。そして、各画素のクラス分けに基づいてセマンティック画像を生成する。生成器２２が、セマンティック画像から画像Ａ´を生成し、画像Ａ´が元の画像Ａと同じであると識別器２３によって識別されるように、画像Ａ´を生成する。生成器２２は識別器２３からの識別結果の情報に基づき、画像Ａ´を繰り返し生成し、画像Ａに近づけていく。この際に、図４を参照して説明したとおり、生成器２２は、元の画像Ａと復元画像Ａ´のクロスエントロピーの情報も用いて、画像生成を行う。ＧＡＮ装置２０は、このようにして生成された画像Ａ´と元の画像Ａとの識別結果が終了条件を満たすか否かを判定する（Ｓ２６）。
【００４１】
終了条件を満たすと判定された場合には（Ｓ２６でＹＥＳ）、仮決定されたパラメータを最終的なパラメータとして決定する（Ｓ２８）。終了条件を満たさないと判定された場合には（Ｓ２６でＮＯ）、識別誤差を学習部１３に逆伝播してパラメータを更新し、再度、評価値に基づいてパラメータ更新を行う（Ｓ２０）。以上、第２実施の形態の学習装置２の構成および動作について説明した。
【００４２】
第２の実施の形態の学習装置２は、第１の実施の形態と同様に、ラベル付き画像の数が少ない場合にも、ラベルなし画像の情報を活用して、画像を適切にクラス分けするパラメータを求めることができる。また、第２の実施の形態の学習装置２は、ＧＡＮ装置２０を利用して仮に生成されたパラメータの検証を行うので、パラメータを精度良く求めることができる。
【００４３】
（変形例）
上記した実施の形態においては、画素毎にエントロピーを求める例を挙げて説明したが、エントロピーを求める対象は、所定の領域を単位として、その領域内にある画素の平均値を用いて、エントロピーを計算してもよい。また、所定の領域を単位として、その領域内にある画素の重み付き和に基づいてエントロピーを計算してもよい。画像においては、いくつかの画素が集まった領域においてラベルが同じであることが一般的なので、周辺画素の平均値または重み付き和に基づいて処理を行うことにより、パラメータを適切に学習することができる。
【００４４】
また、画素毎にエントロピーを求める構成に代えて、スーパー画素の代表値に基づいてエントロピーを計算してもよい。これにより、類似した特徴をもつ画素の集まりであるスーパー画素を用いて処理を行うことにより、パラメータを適切に学習することができると共に、エントロピーの計算処理を軽減することができる。ここで、代表値とは、スーパー画素内の全画素の平均値でもよいし、最大値でもよいし、またその他の値であってもよい。
【００４５】
スーパー画素を用いてエントロピーを計算してパラメータを更新する際には、異なる解像度で生成したスーパー画素を用いてパラメータの計算を行ってもよい。すなわち、ＣＮＮ処理部は、ラベル付き画像およびラベルなし画像をスーパー画素に分割する処理を異なる解像度で行って、評価値計算部および学習部は解像度の異なる複数パターンのスーパー画素を用いて学習を行う。
【００４６】
具体的には、ＣＮＮ処理部は、入力部より入力された画像を、例えば、１００００分割、１０００分割、１００分割の３つの解像度でスーパー画素に分割し、それぞれの解像度の画像について、ＣＮＮ処理を行って特徴マップを生成する。続いて、評価値計算部は、それぞれの解像度の画像について、上記の実施の形態にて説明した学習を行って、スーパー画素をクラス分けするパラメータを求める。ラベル付き画像の情報を用いることにより、各クラスのラベルを求めることができるので、ラベルの内容に応じてラベルパラメータへの重み付けをして、異なる解像度で求めた結果をブレンドする。
【００４７】
例えば、ポールや信号など面積が小さくかつ細い物体は、低解像度のスーパー画素では背景に埋もれやすい。したがって、出力ラベルがこれらの物体に高い値を示す場合には、埋もれづらい高解像度のスーパー画素により得られるラベルヒストグラムを高い重みで利用する。逆に、道路などのように埋もれづらいものは、より周囲のラベルと一貫性をもたせるために、低解像度のスーパー画素により得られるラベルヒストグラムを高い重みで利用する。なお、ラベルごとのブレンディングファクターは、ラベル付きデータを様々な解像度でセグメンテーションした際にラベルが変化する割合などから、学習によりあらかじめ求めておく。
【００４８】
このように複数の解像度で分割したスーパー画素を用いて学習を行い、ラベルごとに学習結果をブレンドすることにより、道路などのように埋もれづらいものは周囲のラベルと一貫性をもたせることができると共に、ポールや信号などのように小さい物体が周囲に埋もれることない適切なパラメータを求めることができる。
【産業上の利用可能性】
【００４９】
本発明は、画像をクラス分けする技術に適用でき、特に、未知の画像にラベル付けを行う技術等として有用である。
【符号の説明】
【００５０】
１，２  学習装置
１０  入力部
１１  ＣＮＮ処理部
１２  評価値計算部
１３  学習部
２０  ＧＡＮ装置
２１  セマンティックセグメンテーション部
２２  生成器
２３  識別器
２４  ＣＮＮ処理部
２５  クロスエントロピー計算部
【図１】
2018097807.tif 000004
【図２】
2018097807.tif 000005
【図３】
2018097807.tif 000006
【図４】
2018097807.tif 000007
【図５】
2018097807.tif 000008