(57)【要約】【課題】顕著性マップを用いた精度の高い領域判別方法を提供する。【解決手段】一実施形態に係る領域判別器訓練方法は、入力画像に対する顕著性マップを出力する第１ネットワークを生成するステップと、前記入力画像のスーパーピクセルを生成するステップと、前記顕著性マップ及び前記スーパーピクセルに基づいて、ターゲット領域を抽出する弱セグメンテーションを生成するステップと、前記入力画像が入力されると前記ターゲット領域を判別する領域判別器である第２ネットワークを、前記弱セグメンテーションを教師データとして訓練して生成するステップと、を備える。【選択図】図１
2019061658.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に対する顕著性マップを出力する第１ネットワークを生成するステップと、
前記入力画像のスーパーピクセルを生成するステップと、
前記顕著性マップ及び前記スーパーピクセルに基づいて、ターゲット領域を抽出する弱セグメンテーションを生成するステップと、
前記入力画像が入力されると前記ターゲット領域を判別する領域判別器である第２ネットワークを、前記弱セグメンテーションを教師データとして訓練して生成するステップと、
を備える領域判別器訓練方法。
【請求項２】
前記第１ネットワークを生成するステップは、前記入力画像と同等の視点を有する前記ターゲット領域を含む画像、及び、前記入力画像とは異なる視点を有する前記ターゲット領域を含む画像、並びに、前記ターゲット領域を含まない画像、を用いて訓練を行う、請求項１に記載の領域判別器訓練方法。
【請求項３】
前記第１ネットワークを生成するステップは、画像レベルでラベリングされた、前記ターゲット領域を含む画像、及び、前記ターゲット領域を含まない画像、を用い、それぞれの画像において前記ターゲット領域のピクセルのラベリングを行わずに訓練を行う、請求項１又は請求項２に記載の領域判別器訓練方法。
【請求項４】
前記弱セグメンテーションを生成するステップは、
前記顕著性マップにおいて前記ターゲット領域であると判断されたピクセルの総数と、前記顕著性マップと前記スーパーピクセルとを重ね合わせた場合に前記スーパーピクセルのそれぞれに存在する前記ターゲット領域であると判断されたピクセルの数と、
に基づいて、いずれの前記スーパーピクセルが前記ターゲット領域に属しているかを決定して前記弱セグメンテーションを生成する、請求項１乃至請求項３のいずれかに記載の領域判別器訓練方法。
【請求項５】
前記領域判別器を生成するステップは、前記入力画像が入力されると、前記弱セグメンテーションを出力するように教師あり学習により訓練する、請求項１乃至請求項４のいずれかに記載の領域判別器訓練方法。
【請求項６】
前記領域判別器を生成するステップは、さらに、Ｎを３以上の自然数とし、第Ｎ−１ネットワークが出力した画像を教師データとして、第Ｎネットワークを逐次的に訓練し、学習された前記第Ｎネットワークを前記領域判別器として生成する、請求項１乃至請求項５のいずれかに記載の領域判別器訓練方法。
【請求項７】
前記領域判別器を生成するステップは、前記弱セグメンテーション及びグランドトゥルースを教師データとして学習する、請求項１乃至請求項６のいずれかに記載の領域判別器訓練方法。
【請求項８】
請求項１乃至請求項７のいずれかに記載の方法を用いて生成された前記領域判別器を備える領域判別装置。
【請求項９】
コンピュータを、請求項１乃至請求項７のいずれかに記載の方法を用いて生成された前記領域判別器として機能させるプログラム。
【請求項１０】
入力画像に対する顕著性マップを出力する第１ネットワークを訓練により生成する、第１訓練部と、
前記入力画像のスーパーピクセルを生成する、スーパーピクセル生成部と、
前記顕著性マップ及び前記スーパーピクセルに基づいて、ターゲット領域を抽出する弱セグメンテーションを生成する、弱セグメンテーション生成部と、
前記入力画像が入力されると前記ターゲット領域を判別する領域判別器である第２ネットワークを、前記弱セグメンテーションを教師データとして訓練して生成する、第２訓練部と、
を備える領域判別器訓練装置。
【請求項１１】
コンピュータを、
入力画像に対する顕著性マップを出力する第１ネットワークを訓練により生成する、第１訓練手段、
前記入力画像のスーパーピクセルを生成する、スーパーピクセル生成手段、
前記顕著性マップ及び前記スーパーピクセルに基づいて、ターゲット領域を抽出する弱セグメンテーションを生成する、弱セグメンテーション生成手段、
前記入力画像が入力されると前記ターゲット領域を判別する領域判別器である第２ネットワークを、前記弱セグメンテーションを教師データとして訓練して生成する、第２訓練手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、領域判別器訓練方法、領域判別装置、領域判別器訓練装置及びプログラムに関する。
【背景技術】
【０００２】
実用的な自律走行システムにおいて、それぞれのピクセルが道路であるか否かを判断することは、不可欠なタスクである。従来、自律走行のために粒度の細かいセグメンテーションに関する研究が行われてきたが、ほとんどの静的、又は、移動するオブジェクト、例えば、他の自動車、歩行者、交通標識等、に対して、必ずしもピクセル単位の分類としてのセグメンテーションは必要とされない。一方で、道路そのものには、ピクセル単位の分類が必要となる。自動車中心の画像は、航空写真を含む様々な視点から取り込むことが可能である一般的な道路画像とは根本的に異なり、常に同じ視点を有し、車体が各画像の一定の部分として明確に視認される。
【０００３】
弱教師あり学習におけるセグメンテーションに関して、分類のために、画像レベルのラベルで訓練された畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）が用いられている。例えば、分類結果に寄与するピクセルをハイライトすることが可能である。このアプローチは、ネガティブなサンプルが準備されないことから、道路が可視である画像のような自動車中心の画像を使用する道路のセグメンテーションには直接適用することができない。たとえ、道路ではない画像を収集し、バイナリ分類器を訓練したとしても、顕著性マップは、自動車中心の画像に常にあらわれる道路ではないオブジェクトを強調表示する。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】M. Cordts, et.al., "The Cityscapes Dataset for Semantic Urban Scene Understanding," Proceedings, 29th IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, p.3213-p.3223
【非特許文献２】B. Jin, et.al., "Webly Supervised Semantic Segmentation," Proceedings, 30th IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, p.1705-p.1714
【発明の概要】
【発明が解決しようとする課題】
【０００５】
そこで、本発明の実施形態は、顕著性マップを用いた精度の高い領域判別方法を提供する。
【課題を解決するための手段】
【０００６】
一実施形態によれば、領域判別器訓練方法は、入力画像に対する顕著性マップを出力する第１ネットワークを生成するステップと、前記入力画像のスーパーピクセルを生成するステップと、前記顕著性マップ及び前記スーパーピクセルに基づいて、ターゲット領域を抽出する弱セグメンテーションを生成するステップと、前記入力画像が入力されると前記ターゲット領域を判別する領域判別器である第２ネットワークを、前記弱セグメンテーションを教師データとして訓練して生成するステップと、を備える。
【図面の簡単な説明】
【０００７】
【図１】一実施形態に係る処理の流れを示す図。
【図２】道路画像の例を示す図。
【図３】非道路画像の例を示す図。
【図４】スーパーピクセルの例を示す図。
【図５】一実施形態に係る弱セグメンテーションの生成の例を示す図。
【図６】一実施形態に係る第１ネットワークにより出力された顕著性マップの例を示す図。
【図７】図６における各図のｍＩＯＵを表す図。
【図８】一実施形態に係る弱セグメンテーションの生成結果を示す図。
【図９】一実施形態に係る抽出結果を示す図。
【図１０】様々な例のｍＩＯＵとラベリング時間を示す図。
【図１１】一実施形態に係る処理を実行する装置の例を示す図。
【図１２】一実施形態に係るハードウェア構成の例を示す図。
【発明を実施するための形態】
【０００８】
本実施形態においては、自動車中心の領域とは異なる既存の画像データベースを利用した顕著性を学ぶ手法である遠隔教師あり学習（Distantly Supervision）の手法を用いて、自動車中心の画像だけではなく、自動車中心ではない画像をも用いて分類方法の学習を行う。例えば、自動車の中心領域とは異なる既存の画像データベースを利用して道路セグメンテーションのためのＦＣＮ（Fully Convolutional Neural Network）を訓練する。本実施形態において、自動車中心の画像とは、例えば、自動車に固定されたカメラにより撮影された画像であり、代表例としては、自動車の内部から見た前方の道路の画像のことを言う。
【０００９】
以下において、データセットとして、ImageNet（O. Russakovsky, et.al., "Image Net Large Scale Visual Recognition Challenge," IJCV, 115, pp. 211-252, 2015）、Places（B. Zhou, et.al., "Places: A 10 million Image Database for Scene Recognition," PAMI, 2017）、及び、Cityscapes（M. Cordts, et.al., "The city scapes dataset for semantic urban scene understanding," In CVPR, 2016）を用いる。
【００１０】
上記のデータセットImageNet及びPlacesから道路であるラベルが付された画像を抽出し、トレーニングに用いる。これらの画像は、自動車中心の画像だけではなく、航空写真等の自動車中心ではない道路の画像が備えられている。
【００１１】
図１は、本実施形態に係る判別方法の全体像の概念を示す図である。
【００１２】
図１に示すように、ラベル付けされた非道路画像と、ラベル付けされた道路画像を用いて、自動車中心の道路画像が入力されると、顕著性マップを出力するＣＮＮの訓練を行う（Ｓ１００）。訓練に用いる道路画像は、自動車中心の道路画像に限られず、自動車中心ではない道路画像を含む。これらのデータは、例えば、上述したImageNet、Placesのデータを用いる。この場合、Cityscapesのデータは、訓練には用いず、テスト用のデータとしてもよい。このようなデータセットを用いることにより、データのラベリングを省略することが可能である。
【００１３】
次に、入力された自動車中心の道路画像の顕著性マップを生成する（Ｓ１０２）。顕著性マップの生成は、Ｓ１００で取得されたＣＮＮを用いて行う。
【００１４】
顕著性マップの生成と並行して、当該自動車中心の道路画像をスーパーピクセルで表した画像を生成する（Ｓ１０４）。ここで、スーパーピクセルとは、１又は複数のピクセルに亘る領域のことを言う。例えば、特徴量が類似し、画像領域内に連続して存在しているピクセル同士を同一のスーパーピクセルとして設定する。このスーパーピクセルの単位で分類等の処理を行うことが可能となる。
【００１５】
次に、この生成された顕著性マップ及びスーパーピクセルで表した画像を用いて、セグメンテーションマスク（弱セグメンテーション）を生成する（Ｓ１０６）。本ステップで、不明瞭である顕著性マップについて、スーパーピクセルを用いて分類することにより、より鮮明な弱セグメンテーションを生成する。
【００１６】
次に、生成された弱セグメンテーション画像を教師データとして、当該弱セグメンテーション画像を生成する元となった自動車中心の道路画像を入力すると、道路領域がセグメンテーション化された予測画像が出力されるＦＣＮを領域判別器として訓練する（Ｓ１０８）。訓練されたＦＣＮ（領域判別器）に自動車中心の画像を入力すると、道路領域を判別できる画像が出力される。
【００１７】
このように、本実施形態においては、顕著性マップを出力するＣＮＮ（以下、第１ネットワークと呼ぶ）と、最終的な分類画像を出力するＦＣＮ（以下、第２ネットワークと呼ぶ）と、について、２段階の訓練を行うことにより、道路領域のセグメンテーションの予測をする第２ネットワークの訓練を行う。
【００１８】
以下、上述した各ステップについて、より詳細に説明する。
【００１９】
まず、全ての処理を行う前処理として、画像を収集する。上述したように、道路、及び、非道路の画像をデータベースから抽出する。自車に搭載されたカメラで撮影された画像には、目に見える道路が存在するため、これらの道路が写っていない画像が必要となる。しかしながら、自車からの画像は、道路クラスを表現するために使用することはできない。非常に均質であるため、車体などの道路以外のオブジェクトは、分類器を訓練することにより顕著になる。このため、一様でない道路画像も収集する。上述した広く公開されている画像データベースを利用することにより、画像を収集してアノテーションをする代わりに、遠隔学習のアプローチを使用して画像を収集する。
【００２０】
例えば、道路（Road）又はハイウェイ（Highway）のラベルを検索し、画像を収集する。さらに、屋内のラベルで抽出された画像を省いた画像から、道路である画像をさらに省くことにより、非道路画像を収集する。なお、これらの画像の収集については、本実施形態に係る判別方法は、自動車中心の道路画像、自動車中心ではない道路画像、及び、非道路画像が適切に収集できていれば適用することが可能である。
【００２１】
図２は、このように収集された道路画像の一例を示す図である。この図２に示されるように、自動車中心の道路画像と、上空から撮影したような道路画像とが、道路画像に含まれる。
【００２２】
一方、図３は、収集された非道路画像の一例を示す図である。例えば、上述したように、屋内の画像を省いた、道路ではないものが撮影されている画像により構成される。
【００２３】
次に、収集した画像を用いて第１ネットワークを訓練する（Ｓ１００）。例えば、顕著性マップを取得するための単純なアーキテクチャとして、ＧＡＰ（Global Average Pooling：F. Yu, et.al., "Dilated residual networks," arXiv preprint arXiv:1705.09914, 2017）により重み付けするＣＮＮを利用する。ｆｋ（ｘ，ｙ）をＣＮＮの最後の特徴量マップの空間位置（ｘ，ｙ）の第ｋチャネルのアクティベーションを示すものとする。すると、クラスｃに対するスコアＳｃは、以下のように定義される。
【数１】
2019061658.tif 000003
【００２４】
ここで、Ｎは、空間位置の数（層における要素数）、Ｆｋは、ＧＡＰの値（各チャネルの和）、であり、クラス固有の重みｗｋｃは、訓練中に学習される。Ｍｃ（ｘ，ｙ）は、空間位置（ｘ，ｙ）におけるクラスｃの顕著性として解釈することができる。訓練は、プーリング手法としてＧＡＰを用いた一般的なＣＮＮの訓練方法により行う。また、プーリング手法はこれに限られるものではなく、他の一般的なプーリング手法を用いてもよい。ＣＮＮの層の数等やハイパーパラメータ等は、適宜適切に設定することが可能である。
【００２５】
上記のように、道路を含む画像（自動車中心及び自動車中心でない）と、道路を含まない画像と、を用いて訓練を行うことにより、画像が入力されると、道路の領域の顕著性を示すような顕著性マップを出力する。教師データとしては、画像レベルのラベル付けが必要とされる。すなわち、１つ１つの画像に対して道路領域を示すような領域単位又はピクセル単位のアノテーション、ラベリングを必要としない訓練により、顕著性マップを出力するＣＮＮを訓練することにより生成する。
【００２６】
それぞれラベリングされた、道路を含む画像と、道路を含まない画像と、を用いて訓練を行うことにより、道路を含む画像の中から共通して得られる道路の特徴を抽出するネットワークが形成される。道路の特徴を抽出する過程において、道路領域である度合いを顕著性としてマッピングすることにより、入力画像が入力されると、道路領域の顕著性マップを出力することが可能となる。
【００２７】
このように訓練された第１ネットワークを用いて、入力画像に対する顕著性マップを生成する（Ｓ１０２）。顕著性マップは、入力画像を第１ネットワークに入力することにより取得することができる。
【００２８】
顕著性マップの生成の前後、あるいは、顕著性マップの生成と並行して、入力画像のスーパーピクセルを生成する（Ｓ１０４）。スーパーピクセルの作成は、例えば、グラフベースのアルゴリズム（P. F. Felzenszwalb et.al., "Efficient graph-based image segmentation," IJCV, 59(2), pp.167-181, 2004）を用いる。このアルゴリズムに限られるものではなく、適切にスーパーピクセルを生成できる手法であればどのようなものを用いてもよい。
【００２９】
図４は、スーパーピクセルの一例を示す図である。上述したスーパーピクセル生成のアルゴリズムは、セグメント化の粗さを示すパラメータであるしきい値ｋを有する。ｋが小さいと詳細にセグメント化し、ｋが大きいと粗くセグメント化される。例えば、図４において、ｋ＝１００の場合は、ｋ＝１０００の場合と比べて、より細かい領域に分けられ、細かいクラス分けを行うことが可能である。
【００３０】
次に、顕著性マップと、スーパーピクセルに基づいて、弱道路セグメンテーションマスクを生成する（Ｓ１０６）。顕著性マップがぼやけていて、正確なセグメンテーションとみなされるほどはっきりとしていないという仮定に基づいて、スーパーピクセルを適用する。そして、大きなスーパーピクセルは、画像内で類似の外観（例えば、色、テクスチャ）を有する傾向があるため、道路をカバーできるという仮定に基づいて、顕著性マップにスーパーピクセルを適用する。
【００３１】
Ｐτ＝｛（ｘ，ｙ）：Ｍ（ｘ，ｙ）＞τ｝は、顕著性しきい値τにより得られる顕著領域を表す。１組のスーパーピクセルＳが与えられると、位置ｉにおける弱ラベルｙｗｅａｋ（ｉ）は、次のように取得される。
【数２】
2019061658.tif 000004
【００３２】
ここで、θは、オーバーラップしきい値である。すなわち、各スーパーピクセルについて、顕著領域との重なりがθよりも大きい場合、当該スーパーピクセルは、道路領域に対応するものとみなされる。
【００３３】
図５は、上述した弱道路セグメンテーションマスクの生成を示す図である。
【００３４】
左上に示すのが顕著性マップであり、左下に示すのがスーパーピクセルである。顕著性マップは、例えば、顕著性しきい値τによりクラス分けされ、顕著領域が図中のグレーで示す部分として表される。
【００３５】
これらの画像を、右上にあるように重ね合わせる。重ね合わせた結果、スーパーピクセル内において、顕著領域との重なりが［数２］を満たす場合、当該スーパーピクセルを弱ラベルとして判断する。
【００３６】
弱ラベルとして判断されたスーパーピクセルを示すのが、右下の図となる。このように、全てのスーパーピクセルごとに［数２］を適用し、弱ラベルを抽出し、結合したものが弱セグメンテーションとなる。
【００３７】
次に、第２ネットワークの訓練を行う（Ｓ１０８）。Ｓ１０６において生成された弱セグメンテーションは、元の訓練データよりもノイズ等が排除された良好なデータであり、このように生成された画像を用いてＦＣＮの訓練をすることにより、第２ネットワークが生成される。ＦＣＮとして、例えば、ＳｅｇＮｅｔ（V. Badrinarayanan, et.al., "SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation," PAMI, 2017）を用いてもよいし、本手法は、ＳｅｇＮｅｔに依存するものではないので、他のＦＣＮを用いてもよい。
【００３８】
生成された第２ネットワークの出力画像を用いて、より精度の高い領域判別器を生成してもよい。例えば、第２ネットワークの出力した領域判別結果を教師データとし、画像が入力されると、第２ネットワークが出力した領域判別結果を出力するような、第３ネットワークを訓練により生成する。この訓練は、逐次的に行うことも可能であり、Ｎを３以上の自然数として、訓練された第Ｎ−１ネットワークの出力結果を出力するような第Ｎネットワークを領域判別器として訓練により生成してもよい。
【００３９】
以下、実験結果を示すとともに、本実施形態に係る判別装置の効果について記載する。以下に示す実験においては、訓練データとして、ImageNet、及び、Placesの画像を用い、結果を確かめる画像として、CityScapesの画像を用いた。
【００４０】
図６は、学習済みの第１ネットワークの出力例を示す図である。一番下の行は、入力画像と、グランドトゥルース画像を示す。出力画像がグランドトゥルース画像と近いほど精度がよいと言える。１行目は、道路画像として一般的な道路の画像、すなわち、自動車中心とは限られない画像を用いて訓練をした第１ネットワークの出力であり、２行目は、ImageNet及びPlacesの画像を用いずに、CityScapesに含まれる自動車中心の画像のみを用いて訓練した第１ネットワークの出力である。１行目及び２行目において、左の列は、低解像度画像を用いて訓練した結果であり、右の列は、高解像度画像を用いて訓練した結果である。
【００４１】
図６において、低解像度画像は、２２４×２２４ピクセルの解像度で訓練し、１４×１４の顕著性マップを取得したものであり、高解像度画像は、８９６×４４８ピクセルの解像度で訓練し、５６×２８の顕著性マップを取得したものである。例えば、入力画像を上記の解像度へと縮小して顕著性マップを生成した後、拡大を行ったのが図６に示す結果画像である。縮小、又は、拡大は、例えば、バイリニア補間により行う。図６においては、顕著性しきい値τ＝０．７５とした。自動車中心の画像は、例えば、Cityscapes内の画像を用いた。
【００４２】
評価の指標として、ｍＩＯＵ（Mean Intersection-Over-Union）を用いた。図７は、図６の各図における、グランドトゥルース画像とのｍＩＯＵを示す表である。この図７に示すように、低解像度の一般的な道路の画像を用いたｍＩＯＵが一番高くなっている。一般画像及び自動車中心画像の双方において、低解像度の方がよい精度であることが分かる。
【００４３】
この結果は、高解像度であると、道路ではない別の領域の特徴量を顕著性マップに反映してしまうことに１つの原因がある。例えば、図６の高解像度の一般画像を用いた結果は、自動車に顕著性を見出しているため、入力画像における自動車の領域が顕著性マップに反映されている。また、この場合、道路の標識も顕著性マップに反映されている。一方で、高解像度の自動車中心画像を用いた結果は、自らの自動車の車体及びエンブレムに顕著性を見出すため、これらの領域が顕著性マップに反映されている。
【００４４】
高解像度であると、このように、大きな意味で道路ではなく、道路周辺に存在しているものに顕著性を見出し、顕著性マップに反映してしまうことがある。低解像度の画像を訓練、入力等に用いることにより、この問題を回避することができる。
【００４５】
また、図７において、一般的な画像を用いたｍＩＯＵは、０．４０５であるのに対し、自動車中心の画像を用いたｍＩＯＵは、０．２０６である。このことから、自動車中心の画像だけではなく、一般的な画像、例えば、道路が写っている航空写真等を用いることにより精度の向上を図ることが可能である。
【００４６】
図８は、顕著性マップとスーパーピクセルとを組み合わせた道路セグメンテーションマスク（弱セグメンテーション）を生成した結果を示す表である。上述したように、３つのパラメータ、スーパーピクセルのしきい値ｋ、顕著性しきい値τ、及び、オーバーラップしきい値θ、が存在する。この表から、ｋは適度な値にし、その上で、τを大きく、θを小さくするとよい結果が得られていることが分かる。このように、高い顕著性しきい値及び低いオーバーラップしきい値を用いるとよい結果が得られる。
【００４７】
図９は、本実施形態に係る第２ネットワークの出力した画像、すなわち、道路領域をセグメンテーションした画像を示す図である。一番上の図は、入力画像、二番目は、グランドトゥルース画像、三番目は、本実施形態に係る方法により出力された画像、四番目は、グランドトゥルース画像を用いて訓練を行ったＦＣＮによる出力画像である。
【００４８】
これらの画像から、弱セグメンテーションを用いて訓練を行った第２ネットワークは、精度の高い画像が出力できていることが定性的に分かる。以下に、具体的にｍＩＯＵを定量的に示す。
【００４９】
図１０は、グランドトゥルース画像と、種々のシミュレーションにより取得された道路領域と判断された領域とのｍＩＯＵ及びラベリングの大体の時間を示す表である。一番下の行は、比較例として、グランドトゥルース画像をユーザが生成し、ＦＣＮの教師データとした例を示すものである。この場合、グランドトゥルース画像とＦＣＮの出力したセグメンテーションとのｍＩＯＵは、０．８５３となっている。
【００５０】
１行目の結果は、弱セグメンテーションマスクを用いて第２ネットワークを訓練した結果を示す。この結果のように、弱セグメンテーションマスクでは、０．６５９であったｍＩＯＵが、それよりも高い値である０．７７９まで向上されている。また、グランドトゥルース画像を用いて訓練したＦＣＮと比較しても、９１．３％の精度という高い精度が出ている。このように、弱く、かつ、ノイズのあるラベルから第２ネットワークを訓練することは、異常値及び／又はノイズを除去するために有効であり、ＦＣＮは、グランドトゥルース画像に近いであろうノイズのあるセグメンテーションマスクの共通成分を学習することが可能であることを示している。
【００５１】
グランドトゥルース画像を生成するためには、ピクセル単位でのラベリングが必要となり、このラベリングコストは、図１０に示すように大きなものとなる。一方で、本実施形態のように、画像レベルでのラベリングでは、特に、データベースからラベルを選択することであるので、大きなコストは掛からない。
【００５２】
２行目の結果は、第２ネットワークの出力したセグメンテーションを教師データとして訓練したＦＣＮである第３ネットワークの出力した結果を示すものである。ｍＩＯＵは、０．７７９から０．７９０へと向上していることが分かる。
【００５３】
３行目から５行目に関しても同様である。上から順に、第３ネットワークの出力により訓練された第４ネットワークの出力、第４ネットワークの出力により訓練された第５ネットワークの出力、第５ネットワークの出力により訓練された第６ネットワークの出力に関するｍＩＯＵがそれぞれ示されている。この図に示すように、ｍＩＯＵが０．８を達成するようなネットワークを訓練により得ることが可能となる。
【００５４】
上記のように、逐次的にネットワークを生成して精度の向上を図る手法の他に、弱セグメンテーションと、グランドトゥルース画像と、を混合して訓練データを生成してＦＣＮの学習をさせる方法もある。
【００５５】
図１０の６行目及び７行目は、弱セグメンテーションと、グランドトゥルース画像とを混合してネットワークを生成したものである。例えば、弱セグメンテーションで第２ネットワークを訓練した後に、グランドトゥルース画像を用いて当該ネットワークを微調整したものである。６行目は、一番下の行のグランドトゥルース画像の数の６０％の数のグランドトゥルース画像を用いて調整を行ったものであり、このような混合で、グランドトゥルース画像を用いて訓練を行ったものとほぼ同等のｍＩＯＵとなっている。一方で、ラベリングのための時間は、グランドトゥルース画像の約６０％と削減することが可能である。上記の手法は組み合わせてもよく、第Ｎネットワークをグランドトゥルース画像で調整してもよい。
【００５６】
以上のように、本実施形態によれば、訓練時に画像レベルのアノテーションしか必要としない道路領域のセグメンテーションを生成することが可能となる。遠隔教師あり学習を行うことにより、ピクセル単位でのアノテーションを必要としないセグメンテーションマスクを生成することができる。このようにセグメンテーションマスクを生成し、当該セグメンテーションマスクを利用して、道路領域を抽出、判別するように学習することにより、道路領域をターゲット領域とした、領域の抽出及び領域の判別を行うことが可能となる。この結果、訓練に用いる全ての画像についてのグランドトゥルース画像を生成することなく、すなわち、アノテーションをするコストを低く抑えた上で、ターゲット領域の高精度な抽出、判別をすることが可能となる。
【００５７】
道路画像と非道路画像とを用いて訓練を行うが、道路画像として、自動車中心の画像と自動車中心ではない画像とを用いることにより、訓練時間の減少及び領域抽出、領域判別の精度を向上させることができる。すなわち、ターゲット領域を含む入力画像から、ターゲット領域を抽出、判別するＦＣＮ（第２ネットワーク、・・・、第Ｎネットワーク）を領域判別器として生成する際に、入力画像と同じ視点から撮影されたターゲット領域を含む画像及び入力画像とは異なる視点から撮影されたターゲット領域を含む画像を用いることにより、訓練時間の減少と、精度の向上とを図ることが可能である。
【００５８】
なお、上述で画像と記載している箇所は、実際に画像として入出力する必要は無く、画像を示すデータであってもよい。例えば、入力される各データは、種々のフォーマット（ＪＰＥＧ、ＰＮＧ等のフォーマット）により圧縮、符号化等されていてもよいし、生データであってもよい。また、弱セグメンテーション画像、予測画像等の分類に用いる画像は、ピクセル単位でラベル付けされたデータとして入出力されるものであってもよいし、道路と分類される領域に関するデータ、例えば、画素の座標等のみを備えるデータであってもよいし、これには限られず、実際の画像として符号化されたようなデータであってもよい。
【００５９】
また、実施形態においては、道路の画像を判別するものとしたが、これに限られるものではなく、その他の様々な画像に対しても適用することが可能である。例えば、ロボットが当該ロボットに固定されているカメラを用いて撮影した画像に基づいて、動作する場合などに応用することが可能である。
【００６０】
このように、自らの視点とは別の視点から撮影された画像に対して遠隔教師あり学習を行い、弱セグメンテーションを生成することによって、必要となるターゲット領域を判別するようなネットワークを生成することにも適用することが可能である。すなわち、ターゲット領域判別を行う場合において、当該領域判別を行う入力画像と同じ視点及び異なる視点を有する画像を訓練データとすることにより、弱セグメンテーションを生成することが可能であり、この弱セグメンテーションを用いることにより、ターゲット領域の判別を行う第２ネットワークの訓練を行うことができる。
【００６１】
視点が同じであるとは、厳密に同じである必要は無く、同等の視点を有するものであればよい。例えば、車載カメラであれば、ルームミラーの裏側にカメラが設置されていてもよいし、フロントグラスの下側に設置されていてもよい。
【００６２】
第１ネットワークは、ＣＮＮとして、第２ネットワーク、・・・、第Ｎネットワークは、ＦＣＮとして説明したが、これには限られず、それぞれが、画像の分類を行うのに適切なニューラルネットワークモデルを用いることも可能である。
【００６３】
以下、上述した実施形態について構成例を説明する。図１１は、本実施形態の方法を実行するための装置の構成を示す図である。
【００６４】
図１１に示すように、領域判別器訓練装置１は、入力部１０と、第１訓練部１２と、顕著性マップ生成部１４と、スーパーピクセル生成部１６と、弱セグメンテーション生成部１８と、第２訓練部２０と、領域判別器記憶部２２と、を備える。
【００６５】
入力部１０は、訓練に使用する各種データの入力を受け付ける。入力は、逐次行われるものであってもよいし、領域判別器訓練装置１内に図示しないデータ記憶部を備え、訓練に用いるデータをあらかじめ入力部を介して入力しておき、記憶しておいてもよい。
【００６６】
第１訓練部１２は、顕著性マップを出力する第１ネットワークを訓練する。訓練データは、上述したとおり、道路ではない画像、自動車中心の道路画像及び自動車中心でない道路画像を用いる。第１訓練部１２は、訓練が終了した第１ネットワークを、顕著性マップ生成部１４へと出力する。なお、出力は、図示しない記憶部に出力してもよい。
【００６７】
顕著性マップ生成部１４は、第１訓練部１２により訓練され、生成された第１ネットワークに、自動車中心の道路画像である入力画像を入力することにより、顕著性マップを出力する。
【００６８】
スーパーピクセル生成部１６は、入力画像に基づいて、入力画像のスーパーピクセルを出力する。
【００６９】
弱セグメンテーション生成部１８は、顕著性マップ生成部１４が生成した顕著性マップ、及び、スーパーピクセル生成部１６が生成したスーパーピクセル、に基づき、弱セグメンテーションを生成する。
【００７０】
第２訓練部２０は、入力画像が入力されると、道路領域を抽出、判別する第２ネットワークを、弱セグメンテーション生成部１８が出力した弱セグメンテーションを教師データとして訓練をして生成する。
【００７１】
領域判別器記憶部２２は、第２訓練部２０が訓練して生成した第２ネットワークを、領域判別器として記憶する。第Ｎネットワークを生成する場合には、第２訓練部２０は、この領域判別器記憶部２２に記憶されている第Ｎ−１ネットワークを用いて領域が抽出、判別されたデータを生成し、当該生成されたデータを教師データとして、第Ｎネットワークの訓練を行う。
【００７２】
なお、第２訓練部２０は、領域判別器記憶部２２に生成した第２ネットワークを記憶するのではなく、図示しない出力部を介して領域判別器訓練装置１の外部へと第２ネットワークを出力してもよい。
【００７３】
領域判別器記憶部２２に記憶されている領域判別器、又は、第２訓練部２０により出力された領域判別器は、それ自体を領域判別装置として利用することも可能であるし、領域判別器訓練装置１が領域判別器記憶部２２に記憶されている領域判別器を用いて領域を判別する領域判別装置を兼ねるものであってもよい。
【００７４】
前述した実施形態における領域判別器訓練装置１及び領域判別装置において、各機能は、アナログ回路、デジタル回路又はアナログ・デジタル混合回路で構成された回路であってもよい。また、各機能の制御を行う制御回路を備えていてもよい。各回路の実装は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等によるものであってもよい。
【００７５】
上記の全ての記載において、領域判別器訓練装置１及び領域判別装置の少なくとも一部はハードウェアで構成されていてもよいし、ソフトウェアで構成され、ソフトウェアの情報処理によりＣＰＵ等が実施をしてもよい。ソフトウェアで構成される場合には、領域判別器訓練装置１、領域判別装置及びその少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記憶媒体に収納し、コンピュータに読み込ませて実行させるものであってもよい。記憶媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記憶媒体であってもよい。すなわち、ソフトウェアによる情報処理がハードウェア資源を用いて具体的に実装されるものであってもよい。さらに、ソフトウェアによる処理は、ＦＰＧＡ等の回路に実装され、ハードウェアが実行するものであってもよい。モデルの生成や、モデルに入力をした後の処理は、例えば、ＧＰＵ等のアクセラレータを使用して行ってもよい。
【００７６】
例えば、コンピュータが読み取り可能な記憶媒体に記憶された専用のソフトウェアをコンピュータが読み出すことにより、コンピュータを上記の実施形態の装置とすることができる。記憶媒体の種類は特に限定されるものではない。また、通信ネットワークを介してダウンロードされた専用のソフトウェアをコンピュータがインストールすることにより、コンピュータを上記の実施形態の装置とすることができる。こうして、ソフトウェアによる情報処理が、ハードウェア資源を用いて、具体的に実装される。
【００７７】
図１２は、本発明の一実施形態におけるハードウェア構成の一例を示すブロック図である。領域判別器訓練装置１及び領域判別装置は、プロセッサ７１と、主記憶装置７２と、補助記憶装置７３と、ネットワークインタフェース７４と、デバイスインタフェース７５と、を備え、これらがバス７６を介して接続されたコンピュータ装置７として実現できる。
【００７８】
なお、図１２のコンピュータ装置７は、各構成要素を一つ備えているが、同じ構成要素を複数備えていてもよい。また、図１２では、１台のコンピュータ装置７が示されているが、ソフトウェアが複数のコンピュータ装置にインストールされて、当該複数のコンピュータ装置それぞれがソフトウェアの異なる一部の処理を実行してもよい。
【００７９】
プロセッサ７１は、コンピュータの制御装置および演算装置を含む電子回路（処理回路）である。プロセッサ７１は、コンピュータ装置７の内部構成の各装置などから入力されたデータやプログラムに基づいて演算処理を行い、演算結果や制御信号を各装置などに出力する。具体的には、プロセッサ７１は、コンピュータ装置７のＯＳ（オペレーティングシステム）や、アプリケーションなどを実行することにより、コンピュータ装置７を構成する各構成要素を制御する。プロセッサ７１は、上記の処理を行うことができれば特に限られるものではない。
【００８０】
主記憶装置７２は、プロセッサ７１が実行する命令および各種データなどを記憶する記憶装置であり、主記憶装置７２に記憶された情報がプロセッサ７１により直接読み出される。補助記憶装置７３は、主記憶装置７２以外の記憶装置である。なお、これらの記憶装置は、電子情報を格納可能な任意の電子部品を意味するものとし、メモリでもストレージでもよい。また、メモリには、揮発性メモリと、不揮発性メモリがあるが、いずれでもよい。領域判別器訓練装置１及び領域判別装置内において各種データを保存するためのメモリは、主記憶装置７２または補助記憶装置７３により実現されてもよい。例えば、領域判別器記憶部２２その他の記憶部は、この主記憶装置７２又は補助記憶装置７３に実装されていてもよい。別の例として、アクセラレータが備えられている場合には、各種記憶部は、当該アクセラレータに備えられているメモリ内に実装されていてもよい。
【００８１】
ネットワークインタフェース７４は、無線または有線により、通信ネットワーク８に接続するためのインタフェースである。ネットワークインタフェース７４は、既存の通信規格に適合したものを用いればよい。ネットワークインタフェース７４により、通信ネットワーク８を介して通信接続された外部装置９Ａと情報のやり取りが行われてもよい。
【００８２】
外部装置９Ａは、例えば、カメラ、モーションキャプチャ、出力先デバイス、外部のセンサ、入力元デバイスなどが含まれる。また、外部装置９Ａは、領域判別器訓練装置１及び領域判別装置の構成要素の一部の機能を有する装置でもよい。そして、コンピュータ装置７は、領域判別器訓練装置１及び領域判別装置の処理結果の一部を、クラウドサービスのように通信ネットワーク８を介して受け取ってもよい。
【００８３】
デバイスインタフェース７５は、外部装置９Ｂと直接接続するＵＳＢ（Universal Serial Bus）などのインタフェースである。外部装置９Ｂは、外部記憶媒体でもよいし、ストレージ装置でもよい。各種記憶部は、外部装置９Ｂにより実現されてもよい。
【００８４】
外部装置９Ｂは出力装置でもよい。出力装置は、例えば、画像を表示するための表示装置でもよいし、音声などを出力する装置などでもよい。例えば、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）、ＰＤＰ（Plasma Display Panel）、スピーカなどがあるが、これらに限られるものではない。
【００８５】
なお、外部装置９Ｂは入力装置でもよい。入力装置は、キーボード、マウス、タッチパネルなどのデバイスを備え、これらのデバイスにより入力された情報をコンピュータ装置７に与える。入力装置からの信号はプロセッサ７１に出力される。
【００８６】
上記の全ての記載に基づいて、本発明の追加、効果又は種々の変形を当業者であれば想到できるかもしれないが、本発明の態様は、上記した個々の実施形態に限定されるものではない。特許請求の範囲に規定された内容及びその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲において種々の追加、変更及び部分的削除が可能である。例えば、前述した全ての実施形態において、説明に用いた数値は、一例として示したものであり、これらに限られるものではない。
【００８７】
本実施形態に係る領域判別器訓練装置１が生成したモデルは、人工知能ソフトウェアの一部であるプログラムモジュールとして利用することが可能である。すなわち、コンピュータのＣＰＵあるいはＧＰＵ等が格納部に格納されているモデルに基づいて、演算を行い、結果を出力するように動作する。
【００８８】
学習、推論の各種演算は、例えば、ＧＰＵ等のアクセラレータを用いて、又は、ネットワークを介した複数の計算機を用いて、並列処理により実行されるものであってもよい。例えば、学習におけるバッチ処理、推論における各オブジェクトの動作情報の生成等の処理は、複数ある演算コアに演算を振り分けて同じタイミングで実行されるものであってもよい。
【符号の説明】
【００８９】
１：領域判別器訓練装置、１０：入力部、１２：第１訓練部、１４：顕著性マップ生成部、１６：スーパーピクセル生成部、１８：弱セグメンテーション生成部、２０：第２訓練部、２２：領域判別器記憶部
【図１】
2019061658.tif 000005
【図２】
2019061658.tif 000006
【図３】
2019061658.tif 000007
【図４】
2019061658.tif 000008
【図５】
2019061658.tif 000009
【図６】
2019061658.tif 000010
【図７】
2019061658.tif 000011
【図８】
2019061658.tif 000012
【図９】
2019061658.tif 000013
【図１０】
2019061658.tif 000014
【図１１】
2019061658.tif 000015
【図１２】
2019061658.tif 000016