(57)【要約】【課題】画像を用いた物体の識別精度を向上し、かつ、識別処理速度を向上する識別システムを提供する。【解決手段】識別システム１は、撮像対象物及び撮像対象物の周辺環境を含む計算撮像画像を撮像するカメラ（撮像部１１）と、識別モデルを用いて、計算撮像画像中の撮像対象物を識別する処理回路（画像識別装置１０）とを備え、識別モデルは、プーリング層を有しないネットワークで構成されている。【選択図】図１
2019200772.tif 000002
【特許請求の範囲】
【請求項１】
撮像対象物及び前記撮像対象物の周辺環境を含む計算撮像画像を撮像するカメラと、
識別モデルを用いて、前記計算撮像画像中の前記撮像対象物を識別する処理回路とを備え、
前記識別モデルは、プーリング層を有しないネットワークで構成されている、
識別システム。
【請求項２】
前記識別モデルのネットワークにおいて、畳み込み層の入力は重ならない、
請求項１に記載の識別システム。
【請求項３】
前記識別モデルのネットワークにおいて、畳み込み層の入力のストライドが２以上である、
請求項１に記載の識別システム。
【請求項４】
前記識別モデルのネットワークにおいて、畳み込み層の入力のストライドが当該カーネルサイズの半分以上である、
請求項３に記載の識別システム。
【請求項５】
前記カメラは、前記計算撮像画像として、前記撮像対象物及び前記撮像対象物の周辺環境がそれぞれ複数重畳された視差情報を含む画像を撮像する、
請求項１〜４のいずれか１項に記載の識別システム。
【請求項６】
前記カメラは、マルチピンホールカメラ、Ｃｏｄｅｄ  Ａｐｅｒｔｕｒｅカメラ、ライトフィールドカメラ、又は、レンズレスカメラである、
請求項５に記載の識別システム。
【請求項７】
メモリ及び処理回路を備えた識別装置であって、
前記処理回路は、
前記メモリから撮像対象物及び前記撮像対象物の周辺環境を含む計算撮像画像を取得し、
前記メモリに記憶された識別モデルを用いて、前記計算撮像画像中の前記撮像対象物を識別し、
前記識別モデルは、プーリング層を有しないネットワークで構成されている、
識別装置。
【請求項８】
撮像対象物及び前記撮像対象物の周辺環境を含む計算撮像画像を取得し、
プーリング層を有しないネットワークで構成されている識別モデルを用いて、前記計算撮像画像中の前記撮像対象物を識別する、
識別方法。
【請求項９】
請求項８に記載の識別方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、識別システム、識別装置、識別方法及びプログラムに関する。
【背景技術】
【０００２】
自動運転の車両及びロボットにおいて、周囲の物体を識別し、環境を認識する技術は重要である。近年、例えば自動運転の車両及びロボットにおける物体識別のために、ディープラーニング（Deep Learning）と呼ばれる技術が注目されている。ディープラーニングとは、多層構造のニューラルネットワークを用いた機械学習であり、学習において大量の学習データを使用している。このようなディープラーニングを用いることにより、従来法と比べて、より高精度な識別性能を実現することが可能である。そして、このような物体識別において、画像情報は特に有効である。非特許文献１では、画像情報を入力としたディープラーニングによって、従来の物体識別能力を大幅に向上させる手法が開示されている。また、高精度に識別するためには、入力画像が高解像度である必要がある。低解像度の画像は、例えば遠方の被写体について十分な解像度で撮像することができておらず、入力画像が低解像度である場合には、識別性能が低下してしまうためである。
【０００３】
一方で、非特許文献２では、画像情報に加え、３次元レンジファインダによる奥行情報も入力とすることで、ディープラーニングの識別能力をさらに向上させる手法が開示されている。奥行情報を使用すると、近傍と遠方との被写体を分離できる。そのため、奥行情報を使用することで遠方の被写体に対しても識別性能を上げることができる。また、低解像度の画像を撮像しながら、高解像度の画像を復元するために、例えば、非特許文献３に開示されるような圧縮センシングと呼ばれる手法が知られている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】A. Krizhevsky, I. Sutskever及びG. E. Hinton著、「ImageNet Classication with Deep Convolutional Neural Networks」、NIPS'12 Proceedings of the 25th International Conference on Neural Information Processing Systems、2012年、P1097-1105
【非特許文献２】Andreas Eitel他著、「Multimodal Deep Learning for Robust RGB-D Object Recognition」、2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)、2015年
【非特許文献３】Y．Oike及びA．E．Gamal著、「A 256×256 CMOS Image Sensor with ΔΣ-Based Single-Shot Compressed Sensing」、2012 IEEE International Solid-State Circuits Conference（ISSCC） Dig. of Tech. Papers、2012年、P386-387
【非特許文献４】M. Salman Asif，Ali Ayremlou, Ashok Veeraraghavan, Richard Baraniuk及びAswin Sankaranarayanan著、「FlatCam: Replacing Lenses with Masks and Computation」、International Conference on Computer Vision Workshop (ICCVW)、2015年、P.663-666
【非特許文献５】Yusuke Nakamura, Takeshi Shimano, Kazuyuki Tajima, Mayu Sao及びTaku Hoshizawa著、「Lensless Light-field Imaging with Fresnel Zone Aperture」、3rd International Workshop on Image Sensors and Imaging Systems (IWISS2016) ITE-IST2016-51、2016年、no.40、P.7-8
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記非特許文献１〜３に開示された技術では、画像を用いた物体の識別精度の向上及び識別処理速度の向上を両立することが難しいという問題がある。
【０００６】
そこで、本開示は、画像を用いた物体の識別精度を向上し、かつ、識別処理速度を向上する識別システム等を提供する。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本開示の識別システムの一態様は、撮像対象物及び前記撮像対象物の周辺環境を含む計算撮像画像を撮像するカメラと、識別モデルを用いて、前記計算撮像画像中の前記撮像対象物を識別する処理回路とを備え、前記識別モデルは、プーリング層を有しないネットワークで構成されている。
【０００８】
なお、上記の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等の不揮発性の記録媒体を含む。
【発明の効果】
【０００９】
本開示の識別システム等によると、画像を用いた物体の識別精度を向上し、かつ、識別処理速度を向上することが可能になる。
【００１０】
本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１つ以上を得るために全てが必要ではない。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施の形態に係る画像識別装置を備える識別システムの機能的な構成の一例を示す模式図である。
【図２】図２は、従来のネットワーク構成の模式図である。
【図３】図３は、従来のネットワークのパラメータの一例を示す図である。
【図４Ａ】図４Ａは、カーネルサイズ３×３、ストライド１の畳み込み層とカーネルサイズ２×２、ストライド２のプーリング層を組み合わせることで、画像上の位置に対するロバスト性が実現できることを説明するための第一の模式図である。
【図４Ｂ】図４Ｂは、カーネルサイズ３×３、ストライド１の畳み込み層とカーネルサイズ２×２、ストライド２のプーリング層を組み合わせることで、画像上の位置に対するロバスト性が実現できることを説明するための第二の模式図である。
【図４Ｃ】図４Ｃは、カーネルサイズ３×３、ストライド１の畳み込み層とカーネルサイズ２×２、ストライド２のプーリング層を組み合わせることで、画像上の位置に対するロバスト性が実現できることを説明するための第三の模式図である。
【図４Ｄ】図４Ｄは、カーネルサイズ３×３、ストライド１の畳み込み層とカーネルサイズ２×２、ストライド２のプーリング層を組み合わせることで、画像上の位置に対するロバスト性が実現できることを説明するための第四の模式図である。
【図４Ｅ】図４Ｅは、カーネルサイズ３×３、ストライド１の畳み込み層とカーネルサイズ２×２、ストライド２のプーリング層を組み合わせることで、画像上の位置に対するロバスト性が実現できることを説明するための第五の模式図である。
【図４Ｆ】図４Ｆは、カーネルサイズ３×３、ストライド１の畳み込み層とカーネルサイズ２×２、ストライド２のプーリング層を組み合わせることで、画像上の位置に対するロバスト性が実現できることを説明するための第六の模式図である。
【図５】図５は、実施の形態におけるネットワーク構成の模式図である。
【図６】図６は、実施の形態におけるネットワークのパラメータの一例を示す図である。
【図７Ａ】図７Ａは、カーネルサイズ３×３、ストライド３の畳み込み層を利用し、プーリング層を持たないネットワークが、画像上の位置に対する敏感性を有することを説明するための第一の模式図である。
【図７Ｂ】図７Ｂは、カーネルサイズ３×３、ストライド３の畳み込み層を利用し、プーリング層を持たないネットワークが、画像上の位置に対する敏感性を有することを説明するための第二の模式図である。
【図７Ｃ】図７Ｃは、カーネルサイズ３×３、ストライド３の畳み込み層を利用し、プーリング層を持たないネットワークが、画像上の位置に対する敏感性を有することを説明するための第三の模式図である。
【図７Ｄ】図７Ｄは、カーネルサイズ３×３、ストライド３の畳み込み層を利用し、プーリング層を持たないネットワークが、画像上の位置に対する敏感性を有することを説明するための第四の模式図である。
【図７Ｅ】図７Ｅは、カーネルサイズ３×３、ストライド３の畳み込み層を利用し、プーリング層を持たないネットワークが、画像上の位置に対する敏感性を有することを説明するための第五の模式図である。
【図７Ｆ】図７Ｆは、カーネルサイズ３×３、ストライド３の畳み込み層を利用し、プーリング層を持たないネットワークが、画像上の位置に対する敏感性を有することを説明するための第六の模式図である。
【図８Ａ】図８Ａは、カーネルサイズ３×３、ストライド２の畳み込み層を利用し、プーリング層を持たないネットワークが、画像上の位置に対する敏感性を有することを説明するための第一の模式図である。
【図８Ｂ】図８Ｂは、カーネルサイズ３×３、ストライド２の畳み込み層を利用し、プーリング層を持たないネットワークが、画像上の位置に対する敏感性を有することを説明するための第二の模式図である。
【図８Ｃ】図８Ｃは、カーネルサイズ３×３、ストライド２の畳み込み層を利用し、プーリング層を持たないネットワークが、画像上の位置に対する敏感性を有することを説明するための第三の模式図である。
【図８Ｄ】図８Ｄは、カーネルサイズ３×３、ストライド２の畳み込み層を利用し、プーリング層を持たないネットワークが、画像上の位置に対する敏感性を有することを説明するための第四の模式図である。
【図８Ｅ】図８Ｅは、カーネルサイズ３×３、ストライド２の畳み込み層を利用し、プーリング層を持たないネットワークが、画像上の位置に対する敏感性を有することを説明するための第五の模式図である。
【図９】図９は、実施の形態の変形例に係る識別システムの機能的な構成の一例を示す模式図である。
【図１０】図１０は、実施の形態の変形例に係る識別システムのハードウェア構成の一例を示す模式図である。
【図１１】図１１は、実施の形態の変形例に係る学習装置の主要な処理の流れの一例を示すフローチャートである。
【図１２】図１２は、マルチピンホールを使用したライトフィールドカメラの例を示す図である。
【図１３】図１３は、通常撮像された被写体の画像（撮像画像）の例を示す模式図である。
【図１４】図１４は、マルチピンホールマスクを含むライトフィールドカメラを使用して撮像された被写体の画像（計算撮像画像）の例を示す模式図である。
【図１５Ａ】図１５Ａは、識別領域枠が重畳表示された撮像画像を示す模式図である。
【図１５Ｂ】図１５Ｂは、識別領域枠のみを示す模式的な図である。
【図１６】図１６は、画像上でマスクとして与えられた識別正解の例を示す模式図である。
【図１７】図１７は、実施の形態に係る画像識別装置の動作の流れの一例を示すフローチャートである。
【図１８】図１８は、識別部の機能的な構成の一例を示す模式図である。
【図１９】図１９は、ランダムマスクを符号化絞りとして使用する符号化開口マスクの例の模式図である。
【図２０】図２０は、識別部の機能的な構成の別の一例を示す模式図である。
【図２１Ａ】図２１Ａは、第二画像取得部の光軸と第一画像取得部の光軸とがおおよそ一致することを示す模式図である。
【図２１Ｂ】図２１Ｂは、第二画像取得部を構成するステレオカメラの各光軸と第一画像取得部の光軸とがおおよそ一致することを示す模式図である。
【図２２】図２２は、第一画像取得部の光軸と第二画像取得部の光軸とを一致させるために、ビームスプリッタが利用されることを示す模式図である。
【図２３】図２３は、３つのピンホールを有するマルチピンホールマスクの一例を示す模式図である。
【図２４】図２４は、図２３のマルチピンホールマスクを有する撮像部を利用して撮像された計算撮像画像の一例を示す模式図である。
【図２５】図２５は、図２４の計算撮像画像に対する識別部の識別結果を示した模式図である。
【図２６】図２６は、識別領域枠の重心位置の距離と、撮像部から被写体までの距離の関係を説明するための模式図である。
【図２７Ａ】図２７Ａは、識別部の識別器として利用したＤｅｅｐ  Ｌｅａｒｎｉｎｇの一例を示す模式図である。
【図２７Ｂ】図２７Ｂは、識別部の識別器として利用したＤｅｅｐ  Ｌｅａｒｎｉｎｇの他の一例を示す模式図である。
【図２８】図２８は、図２４の計算撮像画像に対応するシーンにおける識別検出枠候補を設定する処理を説明するための模式図である。
【図２９】図２９は、実施の形態の変形例である奥行推定装置を有する識別システムの機能的な構成の一例を示す模式図である。
【図３０】図３０は、同一被写体に対する複数のピンホールに対応する識別検出枠それぞれの重心間の距離と、その被写体の撮像部からの距離を説明するための模式図である。
【発明を実施するための形態】
【００１２】
「背景技術」の欄で記載したように、ディープラーニング等の機械学習が用いられることにより、機械装置による高精度な識別技術の実現が可能になった。このような識別技術を、車両の自動運転及びロボットの動作に適用することが試みられている。車両及びロボットは、移動体であるため、移動しつつ、カメラの撮像画像から周囲の物体を認識する必要がある。このため、高い識別処理速度が要求される。
【００１３】
非特許文献１に開示される技術は、高い識別精度を得るために、高解像度の画像を必要とする。高解像度の画像情報を取得するためには、高価なカメラを使用する必要があり、物体の識別システム自体が高価になるという課題がある。また、高解像度の画像の取得には、高価なカメラが必要になるだけでなく、高解像度の画像の処理量が大きくなり、処理に遅延が生じる可能性がある。
【００１４】
非特許文献２には、奥行情報を使用する高精度な識別システムについての技術が開示されている。このようなシステムは、奥行情報を取得するために高価な３次元レンジファインダを必要とするため、コストが増大するという課題がある。さらに、この技術では、撮像画像と奥行情報とを関連付けて処理する必要があるため、処理量が多くなる。３次元レンジファインダによる奥行情報は、例えばレーダを用いた走査による数多くの点からなる点群情報を含むことから、そのデータサイズは大きいためである。つまり、画像情報に加えこのような３次元レンジファインダ等による奥行情報も入力として用いることで、ニューラルネットワークのネットワークサイズが大きくなり、識別処理速度が低下するという問題もある。
【００１５】
また、非特許文献３に開示される技術では、低解像度の画像から高解像度の画像を復元する処理量が膨大である。本開示に係る本発明者らは、非特許文献１〜３の技術に上述のような問題を見出し、識別精度を向上しつつ、識別処理速度を向上する技術を検討し、以下に示すような技術を創案した。
【００１６】
本開示の一態様に係る識別システムは、撮像対象物及び前記撮像対象物の周辺環境を含む計算撮像画像を撮像するカメラと、識別モデルを用いて、前記計算撮像画像中の前記撮像対象物を識別する処理回路とを備え、前記識別モデルは、プーリング層を有しないネットワークで構成されている。
【００１７】
計算撮像画像には、画像自体に奥行情報等の他の情報を付加することができるため、物体の識別にあたり、単に画像自体を入力として用いるだけでよく、３次元レンジファインダ等によるデータサイズの大きい点群情報等を入力として用いることを要さない。このため、ニューラルネットワークのネットワークサイズが大きくなることを抑制でき、識別処理速度を向上できる。また、低解像度の画像から高解像度の画像を復元する処理も要さないため、識別処理速度を向上できる。また、計算撮像画像によって奥行情報等の他の情報を用いることができるため、識別精度を向上できる。このように、画像を用いた物体の識別精度を向上し、かつ、識別処理速度を向上することが可能になる。
【００１８】
ただし、計算撮像画像では、撮像対象物及び撮像対象物の周辺環境がそれぞれ複数重畳され、画像上のこれらの位置ずれに奥行情報等の他の情報を付加している。従来のニューラルネットワークを用いた識別モデルを用いてこのような計算撮像画像中の撮像対象物及び撮像対象物の周辺環境を識別しようとすると、奥行情報等の他の情報を付加するために敢えて生じさせていた当該位置ずれが荒く整理されてしまい（言い換えると位置ずれが吸収されてしまい）、奥行情報等の他の情報が失われる。従来のニューラルネットワークは、畳み込み層とプーリング層を繰り返すことで画像上の位置に対するロバスト性を取得するように構成されているためである。
【００１９】
これに対して、本態様における識別モデルは、プーリング層を有しないネットワークで構成されているため、畳み込み層の出力がそのまま用いられ、上記位置ずれによる奥行情報等の他の情報が失われることを抑制できる。このようなプーリング層を有しないネットワークは、計算撮像画像のように物体がずれて重畳された画像における位置ずれを荒く整理せずに利用できるため、位置情報に敏感なネットワーク（言い換えると位置情報を保持可能なネットワーク）となる。このようなネットワーク構成とすることで、奥行情報等の他の情報を効率的に取得することができ、物体の識別精度を向上することが可能となる。
【００２０】
例えば、前記識別モデルのネットワークにおいて、畳み込み層の入力は重ならなくてもよい。
【００２１】
これによれば、畳み込み層の入力が重ならないため、プーリング層を有しないネットワークであっても、ネットワークサイズが大きくなることを抑制できる。
【００２２】
例えば、前記識別モデルのネットワークにおいて、畳み込み層の入力のストライドが２以上であってもよい。具体的には、前記識別モデルのネットワークにおいて、畳み込み層の入力のストライドが当該カーネルサイズの半分以上であってもよい。
【００２３】
このように、畳み込み層の入力が一部重なっている場合であっても、プーリング層を有しないネットワークにより、位置情報を保持することができる。
【００２４】
例えば、前記カメラは、前記計算撮像画像として、前記撮像対象物及び前記撮像対象物の周辺環境がそれぞれ複数重畳された視差情報を含む画像を撮像してもよい。具体的には、前記カメラは、マルチピンホールカメラ、Ｃｏｄｅｄ  Ａｐｅｒｔｕｒｅカメラ、ライトフィールドカメラ、又は、レンズレスカメラであってもよい。
【００２５】
これによれば、撮像対象物及び撮像対象物の周辺環境をそれぞれ複数重畳することで、画像自体に奥行情報を付加することができる。
【００２６】
本開示の一態様に係る識別装置は、メモリ及び処理回路を備えた識別装置であって、前記処理回路は、前記メモリから撮像対象物及び前記撮像対象物の周辺環境を含む計算撮像画像を取得し、前記メモリに記憶された識別モデルを用いて、前記計算撮像画像中の前記撮像対象物を識別し、前記識別モデルは、プーリング層を有しないネットワークで構成されている。
【００２７】
これによれば、画像を用いた物体の識別精度を向上し、かつ、識別処理速度を向上する識別装置を提供できる。
【００２８】
本開示の一態様に係る識別方法は、撮像対象物及び前記撮像対象物の周辺環境を含む計算撮像画像を取得し、プーリング層を有しないネットワークで構成されている識別モデルを用いて、前記計算撮像画像中の前記撮像対象物を識別する。これによれば、画像を用いた物体の識別精度を向上し、かつ、識別処理速度を向上する識別方法を提供できる。
【００２９】
本開示の一態様に係るプログラムは、上記の識別方法をコンピュータに実行させるためのプログラムである。
【００３０】
これによれば、画像を用いた物体の識別精度を向上し、かつ、識別処理速度を向上するプログラムを提供できる。
【００３１】
なお、上記の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ等の不揮発性の記録媒体を含む。
【００３２】
［実施の形態］
以下、実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ（工程）、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、以下の実施の形態の説明において、略一致のような「略」を伴った表現が用いられる場合がある。例えば、略一致とは、完全に一致であることを意味するだけでなく、実質的に一致、すなわち、例えば数％程度の差異を含むことも意味する。他の「略」を伴った表現についても同様である。また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。
【００３３】
実施の形態に係る画像識別装置を説明する。
【００３４】
図１は、実施の形態に係る画像識別装置１０を備える識別システム１の機能的な構成の一例を示す模式図である。
【００３５】
識別システム１は、撮像対象物及び撮像対象物の周辺環境を含む計算撮像画像を撮像するカメラと、識別モデルを用いて、計算撮像画像中の撮像対象物を識別する処理回路とを備える。当該識別モデル及び計算撮像画像については後述する。識別システム１は、当該処理回路を有する画像識別装置１０と、当該カメラとして撮像部１１とを備える。画像識別装置１０は、取得部１０１と、識別部１０２と、出力部１０３とを備える。識別システム１は、撮像部１１が取得する画像を用いて、当該画像に含まれる被写体を検出し、検出結果を出力する。画像における被写体の検出を、「識別」とも呼ぶ。
【００３６】
識別システム１は、車両及びロボット等の移動体に搭載されてもよく、監視カメラシステム等の固定物に搭載されてもよい。本実施の形態では、識別システム１は、移動体の一例である自動車に搭載されるとして説明する。この場合、撮像部１１及び画像識別装置１０の両方が移動体に搭載されてもよい。又は、撮像部１１が移動体に搭載され、画像識別装置１０が移動体の外部に配置されてもよい。画像識別装置１０が配置される対象の例は、コンピュータ装置又は移動体の操作者の端末装置等である。端末装置の例は、移動体専用の操作用端末装置、又は、スマートフォン、スマートウォッチ及びタブレット等の汎用的な携帯端末装置等である。コンピュータ装置の例は、カーナビゲーションシステム、ＥＣＵ（Engine Control Unit）又はサーバ装置等である。
【００３７】
画像識別装置１０と撮像部１１とが離れて配置される場合、画像識別装置１０及び撮像部１１は、有線通信又は無線通信を介して通信してもよい。有線通信には、例えば、イーサネット（登録商標）規格に準拠したネットワーク等の有線ＬＡＮ（Local Area Network）及びその他のいかなる有線通信が適用されてもよい。無線通信には、第３世代移動通信システム（３Ｇ）、第４世代移動通信システム（４Ｇ）、又はＬＴＥ（登録商標）等のような移動通信システムで利用されるモバイル通信規格、Ｗｉ−Ｆｉ（登録商標）（Wireless Fidelity）などの無線ＬＡＮ、及び、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）等の近距離無線通信が適用されてもよい。
【００３８】
撮像部１１は、撮像対象物及び撮像対象物の周辺環境を含む計算撮像画像（computational imaging photography）を撮像する、つまり取得する。具体的には、撮像部１１は、計算撮像画像として、撮像対象物及び撮像対象物の周辺環境がそれぞれ複数重畳された視差情報を含んだ画像を撮像（取得）する。撮像部１１が取得する計算撮像画像を第２の計算撮像画像とも呼ぶ。第２の計算撮像画像は、物体の識別時に用いられる画像である。なお、計算撮像画像は、計算画像とも呼ばれる。例えば、撮像部１１は、所定の周期である第１の周期毎に第２の計算撮像画像を取得してもよいし、連続的に動画として第２の計算撮像画像を取得してもよい。撮像部１１は、時刻と対応付けられた第２の計算撮像画像を取得してもよい。撮像部１１のハードウェアの例はカメラであり、具体的にはマルチピンホールカメラ、Ｃｏｄｅｄ  Ａｐｅｒｔｕｒｅカメラ、ライトフィールドカメラ、又は、レンズレスカメラ等である。このようなカメラである場合、撮像部１１は、後述するように、１回の撮像動作で被写体についての複数の画像を同時に取得することができる。なお、撮像部１１は、例えば、撮像部１１が備える撮像素子の撮像領域、つまり受光領域を変化させることによって、上記の複数の画像を複数回の撮像動作で取得してもよい。撮像部１１は、取得した第２の計算撮像画像を、画像識別装置１０の取得部１０１に出力する。
【００３９】
なお、撮像部１１は、物体の識別時に用いられる第２の計算撮像画像だけでなく、後述する図９等で説明する学習時に用いられる第１の計算撮像画像を取得し、取得した第１の計算撮像画像を、学習装置１２の第一画像取得部１２１（図９参照）に出力してもよい。
【００４０】
ここで、計算撮像画像と通常撮像画像とを説明する。通常撮像画像は、光学系を通して撮像される画像である。通常撮像画像は、通常、光学系により集光された物体からの光を結像（imaging）することによって、取得される。光学系の一例は、レンズである。物体と像内の像点（image point）とを入れ替えて、像点に物体を配置することにより、物体と像内の像点とを入れ替える前と同じ光学系で元の物体の位置に像点ができるような物体の点と像点との位置関係を共役（conjugate）と呼ぶ。本明細書において、このように共役関係にある状態で撮像された画像は、通常撮像画像（又は撮像画像）と表記する。物体が存在する環境下で、人が物体を直接見たとき、人は通常撮像画像とほぼ同様の状態で当該物体を知覚する。言い換えると、人は、通常のデジタルカメラで撮像された通常撮像画像を、実空間の状態と同様に視覚的に認識する。
【００４１】
一方、計算撮像画像は、例えばマルチピンホールを用いることで複数の画像がずれて重畳されたものであり、人によって実空間の状態と同様に視覚的に認識できない画像である。ただし、計算撮像画像は、人が視覚的に認識できない画像であり得るが、コンピュータ処理を用いれば、撮像対象物及び周辺環境等の画像に含まれる情報の取得が可能である画像である。計算撮像画像は、画像を復元することによって人が認識できるように視覚化されることができる。計算撮像画像の例は、マルチピンホール又はマイクロレンズを用いて撮像されたライトフィールド画像、時空間で画素情報を重み付け加算して撮像された圧縮センシング画像、又は、符号化絞りとコード化されたマスクとを使用して撮像されたＣｏｄｅｄ  Ａｐｅｒｔｕｒｅ画像（符号化開口画像）などの符号化画像である。例えば、非特許文献３には、圧縮センシング画像の例が示されている。また、計算撮像画像の他の例は、非特許文献４及び非特許文献５に示されるような、屈折による結像光学系を有しないレンズレスカメラを使用して撮像された画像である。上記のいずれの計算撮像画像も、既知な技術であるため、その詳細な説明を省略する。
【００４２】
例えば、ライトフィールド画像には、各画素に、画像値に加えて、奥行情報も含まれる。ライトフィールド画像は、撮像素子の前に配置された複数のピンホール又はマイクロレンズを介して、撮像素子によって取得された画像である。複数のピンホール及びマイクロレンズは、撮像素子の受光面に沿って平面的に配置され、例えば、格子状に配置される。撮像素子は、その全体での１回の撮像動作において、複数のピンホール又はマイクロレンズのそれぞれを通じて複数の像を同時に取得する。複数の像は、異なる視点から撮像された像である。このような複数の像と視点との位置関係から、被写体の奥行方向の距離の取得が可能である。撮像素子の例は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ又はＣＣＤ（Charge-Coupled Device）イメージセンサ等のイメージセンサである。
【００４３】
圧縮センシング画像は、圧縮センシングの対象画像である。圧縮センシングの対象画像の例は、レンズレスカメラで撮像された画像である。レンズレスカメラは、屈折による結像光学系を有さず、撮像素子の前に配置されたマスクを介して、画像を取得する。マスクは、透過率が異なる複数の領域を、例えば格子状に含む。このようなマスクを通して撮影することで、様々な方向からの光線（ライトフィールド画像）をマスクによってコード化して撮像することができる。圧縮センシングでは、このマスク情報を利用することで、コード化されたライトフィールド画像から、所望の方向の光線のみの画像、又は、すべての距離に焦点が合った全焦点画像を取得することができ、さらには奥行情報を取得することができる。
【００４４】
また、このようなマスクをカメラの開口部に絞りとして設置して撮影した画像はＣｏｄｅｄ  Ａｐｅｒｔｕｒｅ画像（符号化開口画像）と呼ばれる。
【００４５】
このように、計算撮像画像（第１の計算撮像画像及び第２の計算撮像画像）は、撮像対象物及び撮像対象物の周辺環境がそれぞれ複数重畳された視差情報を含んだ画像であり、具体的には、マルチピンホールカメラ、Ｃｏｄｅｄ  Ａｐｅｒｔｕｒｅカメラ、ライトフィールドカメラ、又は、レンズレスカメラによる撮像対象物及び撮像対象物の周辺環境の撮像により得られる画像である。
【００４６】
画像識別装置１０の取得部１０１は、撮像部１１から第２の計算撮像画像を取得し、識別部１０２に出力する。また、取得部１０１は、識別部１０２が識別のために用いる識別器を取得してもよく、取得した識別器を識別部１０２に出力してもよい。画像識別装置１０が移動体に搭載される場合、取得部１０１は、移動体から、移動体の速度を取得してもよい。取得部１０１は、移動体の速度をリアルタイムに取得してもよく、定期的に取得してもよい。例えば、取得部１０１は、移動体が速度計を備える場合、速度計から速度を取得してもよく、また、移動体が備えるコンピュータであって、速度計から速度情報を受信するコンピュータから速度を取得してもよい。また、例えば、取得部１０１は、移動体が速度計を備えない場合、移動体が備えるＧＰＳ（Global Positioning System）装置、加速度計及び角速度計などの慣性計測装置等から速度に関連する情報を取得してもよい。
【００４７】
識別部１０２は、取得部１０１から第２の計算撮像画像を取得する。識別部１０２は、例えば取得部１０１から取得した識別器を含む。識別器は、画像から対象物の情報を取得するための識別モデルであって、識別部１０２が識別のために用いるデータである。識別器は、機械学習を用いて構築される。計算撮像画像を学習用データとして用いて機械学習することによって、識別性能を向上した識別器の構築が可能である。なお、学習用データとして機械学習のために用いられる計算撮像画像を第１の計算撮像画像とも呼ぶ。本実施の形態では、識別器に適用される機械学習モデルは、Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ（深層学習）等のニューラルネットワークを用いた機械学習モデルであるが、他の学習モデルであってもよい。例えば、機械学習モデルは、Ｒａｎｄｏｍ  Ｆｏｒｅｓｔ、又はＧｅｎｅｔｉｃ  Ｐｒｏｇｒａｍｍｉｎｇ等を用いた機械学習モデルであってもよい。
【００４８】
識別部１０２は、識別器を用いて、第２の計算撮像画像中の物体（撮像対象物及び撮像対象物の周辺環境）の情報を取得する。具体的には、識別部１０２は、第２の計算撮像画像に含まれる物体を識別し、且つ、第２の計算撮像画像中の物体の位置を取得する。つまり、物体の情報は、物体の存在の有無と、物体の位置とを含む。物体の位置は、画像上における平面的な位置と、画像の奥行方向の位置とを含んでもよい。例えば、識別部１０２は、識別器を用いて、第２の計算撮像画像の少なくとも１つの画素毎に、物体が存在するか否かを識別する。識別部１０２は、第２の計算撮像画像中の物体の位置として、物体が存在することが識別された少なくとも１つの画素の位置を取得する。ここで、本明細書における物体の識別とは、第２の計算撮像画像において、物体が存在する画素を検出することを含む。
【００４９】
例えば、識別システム１が自動車に搭載される場合、物体の例は、人物、自動車、自転車又は信号である。なお、識別部１０２は、第２の計算撮像画像を用いて、あらかじめ定められた１種類の物体を識別してもよく、複数の種類の物体を識別してもよい。また、識別部１０２は、人物、自動車又は自転車を含む移動体などのカテゴリ単位で、物体を識別してもよい。このとき、識別する物体の種類（カテゴリ）に応じた識別器が用いられてもよい。識別器は、例えば画像識別装置１０が有するメモリ（例えば後述する第一メモリ２０３）に記録される。
【００５０】
例えば、ライトフィールド画像には、画像値に加えて、各画素の被写体の奥行情報も含まれる。また、非特許文献２にも記載されるように、被写体の奥行情報を学習データに用いることは、識別器の識別能力向上に有効である。例えば、画像において小さく写っている物体が、遠方に存在する被写体であることを認識でき、ゴミとして認識されない（つまり無視されてしまう）ことを抑制できる。このため、ライトフィールド画像を使用した機械学習により構築された識別器は、その識別性能を向上することができる。同様に、圧縮センシング画像及び符号化開口画像を用いた機械学習も、識別器の識別性能の向上に有効である。
【００５１】
本実施の形態の認識器に適用される機械学習モデルは、撮像部１１の特性を利用したＤｅｅｐ  Ｌｅａｒｎｉｎｇ（深層学習）等のニューラルネットワークを用いた機械学習モデルで実現される。このネットワークに関して説明する。
【００５２】
従来のニューラルネットワークでは、畳み込み層とプーリング層を繰り返すことで画像上の位置に対するロバスト性を取得する。畳み込み層は、元の画像からフィルタにより特徴を抽出する層であり、プーリング層は、特徴として重要な情報を残しつつ元の画像を縮小する層である。例えば、画像から物体を識別するネットワークの場合、識別対象の被写体が画像上で位置を変えたとしても、その物体の位置ずれをプーリング層によって吸収することができる。
【００５３】
図２は、従来のネットワーク構成の模式図であり、図３は、従来のネットワークのパラメータの一例を示す図である。
【００５４】
このネットワークは、焦点位置を変更して撮影したＦｏｃａｌ  Ｓｔａｃｋ画像から奥行を抽出するネットワークである。このネットワークは、例えば、図２に示すように２６層の畳み込み層とプーリング層などで構成される。なお、詳細な説明は省略するが、このネットワークでは、ネットワークが大きくなり過ぎることを抑制するために、部分的に画像を切りだしてリシェイプをしており、また、畳み込み層及びプーリング層によって抽出した特徴量を利用して、元のサイズと同じ解像度での識別結果を出力するためにアップサンプリングをしている。例えば、畳み込み層はすべてカーネルサイズ３×３、ストライド１であり、また、プーリング層はすべてカーネルサイズ２×２、ストライド２である。これにより、このネットワークは画像上の位置に対するロバスト性を実現する。これについて、図４Ａ〜図４Ｆを用いて説明する。
【００５５】
図４Ａ〜図４Ｆは、カーネルサイズ３×３、ストライド１の畳み込み層とカーネルサイズ２×２、ストライド２のプーリング層を組み合わせることで、画像上の位置に対するロバスト性が実現できることを説明するための模式図である。
【００５６】
図４Ａ〜図４Ｆにおいて、畳み込み層とプーリング層の処理におけるデータが格納されたメモリを模式的に正方形で示している。図４Ａには、６×８個のデータで表された入力層４００、入力層４００に対して畳み込み処理が行なわれて出力される３×４個のデータで表された中間出力層４２０、中間出力層４２０に対してプーリング処理が行なわれて出力される３×４個のデータで表された中間出力層４３０を示している。なお、以下では、データ及び当該データが格納されるメモリについて同じ符号を付けて説明する場合がある。
【００５７】
まず、畳み込み処理を説明する。上述したように、従来のネットワークでは畳み込み層のカーネルサイズを３×３としているため、図４Ｂにおいて、入力層４００の例えば左上の３×３のデータ４０１に対して畳み込み処理が行なわれ、その結果がメモリ４２１に格納される。次に、上述したように、従来のネットワークでは畳み込み層の入力のストライドを１としているため、図４Ｃにおいて、入力層４００のデータ４０１から右に１列ずらした３×３のデータ４０２に対して畳み込み処理が行なわれ、その結果がメモリ４２２に格納される。同じように、図４Ｄにおいて、入力層４００のデータ４０１から下に１行ずらした３×３のデータ４０３に対して畳み込み処理が行なわれ、その結果がメモリ４２３に格納される。同じように、図４Ｅにおいて、入力層４００のデータ４０２から下に１行ずらした３×３のデータ４０４に対して畳み込み処理が行なわれ、その結果がメモリ４２４に格納される。
【００５８】
次に、プーリング処理について説明する。上述したように、従来のネットワークはプーリング層を有しプーリング層のカーネルサイズを２×２としているため、図４Ｆにおいて、中間出力層４２０の２×２のデータ４２５に対してプーリング処理が実施され、その出力が中間出力層４３０のメモリ４３１に格納される。つまり、中間出力層４３０のデータ４３１では、データ４０５で示した４×４のデータに対して、位置ずれを許した３×３の特徴量を計算しており、このことが画像上の位置に対するロバスト性を生みだしている。位置ずれがあってもプーリング層によって当該位置ずれが荒く整理され吸収されるためである。さらに、ネットワークにおいて、畳み込み層及びプーリング層を重ねることにより、より広い範囲での位置に対するロバスト性が実現される。
【００５９】
位置に対するロバスト性は、通常のテクスチャベースの識別処理には有効である。例えば、識別対象の被写体が画像上での位置が変わったとしても、当該ロバスト性により識別処理を効果的に行うことができるためである。これに対して、本実施の形態では、撮像部１１が計算撮像画像を取得しており、通常のテクスチャベースの識別処理とは異なる。上述したように、計算撮像画像では、位置ずれの情報に、識別で有効となる奥行情報が含まれる。具体的には、計算撮像画像では、撮像対象物及び撮像対象物の周辺環境がそれぞれ複数重畳され、画像上のこれらの位置ずれに奥行情報等を付加している。しかし、この情報は、位置に対するロバスト性が高いネットワークでは取得することが難しい。従来のニューラルネットワークを用いた識別モデルを用いてこのような計算撮像画像中の撮像対象物及び撮像対象物の周辺環境を識別しようとすると、奥行情報等を付加するために敢えて生じさせていた位置ずれが荒く整理されてしまい（言い換えると位置ずれが吸収されてしまい）、奥行情報等が失われるためである。このように、撮像部１１が計算撮像画像を取得する場合には、大きな問題となる。
【００６０】
そこで、本実施の形態における識別器は、プーリング層を有しないネットワークで構成される。当該ネットワークは、位置情報に敏感なネットワーク（言い換えると位置情報を保持可能なネットワーク）となる。
【００６１】
図５は、実施の形態におけるネットワーク構成の模式図であり、図６は、実施の形態におけるネットワークのパラメータの一例を示す図である。
【００６２】
実施の形態における識別器のネットワークは、例えば、図５に示すように１８層の畳み込み層などで構成され、プーリング層を有しない。なお、従来のネットワークと同じように、実施の形態におけるネットワークでは、リシェイプ及びアップサンプリングをしているが、しなくてもよい。本実施の形態における識別器のネットワークにおいて、畳み込み層の入力は重ならない。例えば、アップサンプリング前の畳み込み層はすべてカーネルサイズ３×３、ストライド３であり、畳み込み層の入力は重ならないようになっている。これにより、実施の形態におけるネットワークは、位置情報に敏感なネットワークとなる。これについて、図７Ａ〜図７Ｆを用いて説明する。
【００６３】
図７Ａ〜図７Ｆは、カーネルサイズ３×３、ストライド３の畳み込み層を利用し、プーリング層を持たないネットワークが、画像上の位置に対する敏感性を有することを説明するための模式図である。
【００６４】
図７Ａ〜図７Ｆにおいて、畳み込み層の処理におけるデータが格納されたメモリを模式的に正方形で示している。図７Ａには、６×８個のデータ（メモリ）で表された入力層４００、入力層４００に対して畳み込み処理が行なわれて出力される３×４個のデータで表された中間出力層４４０を示している。
【００６５】
上述したように、本実施の形態のネットワークでは畳み込み層のカーネルサイズを３×３としているため、図７Ｂにおいて、入力層４００の例えば左上の３×３のデータ４０１に対して畳み込み処理が行なわれ、その結果がメモリ４４１に格納される。次に、上述したように、本実施の形態のネットワークでは畳み込み層の入力のストライドを３としているため、図７Ｃにおいて、入力層４００のデータ４０１から右に３列ずらした、すなわちデータ４０１とは重ならない３×３のデータ４０６に対して畳み込み処理が行なわれ、その結果がメモリ４４２に格納される。同じように、図７Ｄにおいて、入力層４００のデータ４０１から下に３行ずらした、すなわちデータ４０１ともデータ４０６とも重ならない３×３のデータ４０７に対して畳み込み処理が行なわれ、その結果がメモリ４４３に格納される。同じように、図７Ｅにおいて、入力層４００のデータ４０６から下に３行ずらした、すなわち各畳み込み層の入力データであるデータ４０１ともデータ４０６ともデータ４０７とも重ならない３×３のデータ４０８に対して畳み込み処理が行なわれ、その結果がメモリ４４４に格納される。また、本実施の形態のネットワークはプーリング層を有しないため、プーリング処理を行なわない。プーリング処理が行われないことで、図７Ｆにおいて、中間出力層４４０のデータ４４１は入力層４００のデータ４０１から抽出した特徴を保持し、中間出力層４４０のデータ４４２は入力層４００のデータ４０６から抽出した特徴を保持し、中間出力層４４０のデータ４４３は入力層４００のデータ４０７から抽出した特徴を保持し、中間出力層４４０のデータ４４４は入力層４００のデータ４０８から抽出した特徴を保持する。また、入力層４００のデータ４０１、４０６、４０７及び４０８は互いに重ならないため、中間出力層４４０のデータ４４１、４４２、４４３及び４４４をそれぞれ重複のない別情報とすることができ、かつ、プーリング層を有しないネットワークであっても、ネットワークのサイズが大きくなることを抑制できる。
【００６６】
このように、本実施の形態のネットワークは位置情報に敏感なネットワークとなる。このようなネットワーク構成を有する本実施の形態の識別器を用いることで、抽出された特徴（位置情報）が保持され、つまり、奥行情報を付加するために敢えて生じさせていた位置ずれが失われず、奥行情報を効率的に取得することができる。
【００６７】
また、本実施の形態のネットワークは、畳み込み層が一部重なってもかまわない。具体的には、本実施の形態の識別モデルのネットワークにおいて、畳み込み層の入力のストライドが２以上であってもよい。例えば、プーリング層を有しないネットワークであれば、畳み込み層のカーネルサイズが３×３、ストライドが２であってもよい。このように、本実施の形態の識別モデルのネットワークにおいて、畳み込み層のカーネルサイズが３×３の場合、畳み込み層の入力のストライドが当該カーネルサイズの半分以上であってもよい。この場合であっても、このネットワークによって、画像上の位置に対する敏感性を実現できる。これについて、図８Ａ〜図８Ｅを用いて説明する。
【００６８】
図８Ａ〜図８Ｅは、カーネルサイズ３×３、ストライド２の畳み込み層を利用し、プーリング層を持たないネットワークが、画像上の位置に対する敏感性を有することを説明するための模式図である。図８Ａ〜図８Ｅにおいても、図７Ａ〜図７Ｆと同じように、畳み込み層の処理におけるデータが格納されたメモリを模式的に正方形で示しており、同じ構成要素には同じ番号を付与し、説明を省略する。
【００６９】
上述したように、本実施の形態の畳み込み層が一部重なっているネットワークでは畳み込み層のカーネルサイズを３×３としているため、図８Ａにおいて、入力層４００の例えば左上の３×３のデータ４０１に対して畳み込み処理が行なわれ、その結果が中間出力層４４０のメモリ４５１に格納される。次に、上述したように、本実施の形態の畳み込み層が一部重なっているネットワークでは畳み込み層の入力のストライドを２としているため、図８Ｂにおいて、入力層４００のデータ４０１から右に２列ずらした３×３のデータ４０９に対して畳み込み処理が行なわれ、その結果がメモリ４５２に格納される。同じように、図８Ｃにおいて、入力層４００のデータ４０１から下に２行ずらした３×３のデータ４１０に対して畳み込み処理が行なわれ、その結果がメモリ４５３に格納される。同じように、図８Ｄにおいて、入力層４００のデータ４０９から下に２行ずらした３×３のデータ４１１に対して畳み込み処理が行なわれ、その結果がメモリ４５４に格納される。また、本実施の形態の畳み込み層が一部重なっているネットワークは、プーリング層を有しないため、プーリング処理を行なわない。プーリング処理が行われないことで、図８Ｅにおいて、中間出力層４４０のデータ４５１は入力層４００のデータ４０１から抽出した特徴を保持し、中間出力層４４０のデータ４５２は入力層４００のデータ４０９から抽出した特徴を保持し、中間出力層４４０のデータ４５３は入力層４００のデータ４１０から抽出した特徴を保持し、中間出力層４４０のデータ４５４は入力層４００のデータ４１１から抽出した特徴を保持する。しかし、入力層４００のデータ４０１、４０９、４１０及び４１１は互いに一部重なっている。しかし、プーリング処理が行なわれないため、本実施の形態の畳み込み層が一部重なっているネットワークは位置情報に敏感なネットワークとなる。このような畳み込み層が一部重なっているネットワーク構成を有する識別器を用いた場合であっても、奥行情報を効率的に取得することができる。
【００７０】
また、識別システム１は、後述する図９に示すように、識別器を生成するための学習装置１２を備えてもよい。この場合、画像識別装置１０の識別部１０２は、学習装置１２で生成された、言い換えると学習が完了した識別器を使用する。
【００７１】
出力部１０３は、識別部１０２の識別結果を出力する。出力部１０３は、識別システム１がさらにディスプレイを備える場合には、当該ディスプレイに、識別結果を出力する指示を出力する。又は、出力部１０３は、通信部を有し、通信部を介して、有線又は無線で、識別結果を出力してもよい。上述の通り、物体の情報は、物体の存在の有無と、物体の位置とを含み、物体の情報についての識別結果に応じて自動運転等が行われ、また、例えばディスプレイ等に物体の情報が出力されることで、ユーザは識別システム１が搭載された移動体の周辺の状況を認識できる。
【００７２】
上述のような取得部１０１、識別部１０２及び出力部１０３からなる画像識別装置１０の構成要素は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）等のプロセッサ、並びに、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read−Only Memory）等のメモリなどからなる処理回路により構成されてもよい。上記構成要素の一部又は全部の機能は、ＣＰＵ又はＤＳＰがＲＡＭを作業用のメモリとして用いてＲＯＭに記録されたプログラムを実行することによって達成されてもよい。また、上記構成要素の一部又は全部の機能は、電子回路又は集積回路等の専用のハードウェア回路によって達成されてもよい。上記構成要素の一部又は全部の機能は、上記のソフトウェア機能とハードウェア回路との組み合わせによって構成されてもよい。
【００７３】
次に、識別システムが学習装置を含むケースとして、実施の形態に係る識別システム１の変形例を、図９を用いて説明する。
【００７４】
図９は、実施の形態の変形例に係る識別システム１Ａの機能的な構成の一例を示す模式図である。
【００７５】
図９に示すように、変形例に係る識別システム１Ａは、画像識別装置１０と、撮像部１１と、学習装置１２とを備える。学習装置１２は、第一画像取得部１２１と、第二画像取得部１２２と、識別正解取得部１２３と、学習部１２４とを備える。画像識別装置１０、撮像部１１及び学習装置１２は、１つの装置に搭載されてもよく、複数の装置に分かれて搭載されてもよい。画像識別装置１０、撮像部１１及び学習装置１２が複数の装置に分かれて搭載される場合、有線通信又は無線通信を介して、装置間で情報が授受されてもよい。適用される有線通信及び無線通信は、上記で例示したもののいずれかであってもよい。
【００７６】
図１０は、実施の形態の変形例に係る識別システム１Ａのハードウェア構成の一例を示す模式図である。
【００７７】
図１０に示すように、学習装置１２は、第二入力回路２２１と、第三入力回路２２２と、第二演算回路２２３と、第二メモリ２２４とを備える。また、画像識別装置１０は、第一入力回路２０１と、第一演算回路２０２と、第一メモリ２０３と、出力回路２０４とを備える。
【００７８】
第一入力回路２０１、第一演算回路２０２及び出力回路２０４は、画像識別装置１０が備える処理回路の一例であり、第一メモリ２０３は、画像識別装置１０が備えるメモリの一例である。図１及び図１０を参照すると、第一入力回路２０１は、取得部１０１に対応する。第一演算回路２０２は、識別部１０２に対応する。出力回路２０４は、出力部１０３に対応する。このように、取得部１０１、識別部１０２及び出力部１０３は、第一入力回路２０１、第一演算回路２０２及び出力回路２０４に対応していることから、取得部１０１、識別部１０２及び出力部１０３についても、画像識別装置１０が備える処理回路の一例といえる。第一メモリ２０３は、第一入力回路２０１、第一演算回路２０２及び出力回路２０４が処理を実行するためのコンピュータプログラム、取得部１０１が取得する第２の計算撮像画像、及び、識別部１０２が用いる識別器等を記憶する。第一メモリ２０３は、１つのメモリで構成されてもよく、同じ種類又は異なる種類の複数のメモリで構成されてもよい。第一入力回路２０１及び出力回路２０４は、通信回路を含んでもよい。
【００７９】
第二入力回路２２１、第三入力回路２２２及び第二演算回路２２３は、学習装置１２が備える処理回路の一例であり、第二メモリ２２４は、学習装置１２が備えるメモリの一例である。図９及び図１０を参照すると、第二入力回路２２１は、第一画像取得部１２１に対応する。第二入力回路２２１は、通信回路を含んでもよい。第三入力回路２２２は、第二画像取得部１２２に対応する。第三入力回路２２２は、通信回路を含んでもよい。第二演算回路２２３は、識別正解取得部１２３及び学習部１２４に対応する。第二演算回路２２３は、通信回路を含んでもよい。このように、第一画像取得部１２１、第二画像取得部１２２、識別正解取得部１２３及び学習部１２４は、第二入力回路２２１、第三入力回路２２２及び第二演算回路２２３に対応していることから、第一画像取得部１２１、第二画像取得部１２２、識別正解取得部１２３及び学習部１２４についても、学習装置１２が備える処理回路の一例といえる。第二メモリ２２４は、第二入力回路２２１、第三入力回路２２２及び第二演算回路２２３が処理を実行するためのコンピュータプログラム、第一画像取得部１２１が取得する第１の計算撮像画像、第二画像取得部１２２が取得する撮像画像、識別正解取得部１２３が取得する識別正解、学習部１２４が生成した識別器等を記憶する。第二メモリ２２４は、１つのメモリで構成されてもよく、同じ種類又は異なる種類の複数のメモリで構成されてもよい。
【００８０】
第一入力回路２０１、第一演算回路２０２、出力回路２０４、第二入力回路２２１、第三入力回路２２２及び第二演算回路２２３は、ＣＰＵ又はＤＳＰ等のプロセッサを含む処理回路で構成され得る。第一メモリ２０３及び第二メモリ２２４は、例えば、ＲＯＭ、ＲＡＭ、フラッシュメモリなどの半導体メモリ、ハードディスクドライブ、又は、ＳＳＤ（Solid State Drive）等の記憶装置によって実現される。第一メモリ２０３及び第二メモリ２２４は、１つのメモリにまとめられてもよい。プロセッサは、メモリに展開されたコンピュータプログラムに記述された命令群を実行する。これにより、プロセッサは種々の機能を実現することができる。
【００８１】
学習装置１２の第一画像取得部１２１及び第二画像取得部１２２は、機械学習のための第１の計算撮像画像及び撮像画像を取得する。第一画像取得部１２１のハードウェアの例は計算撮像画像を撮像するためのカメラであり、具体的にはマルチピンホールカメラ、Ｃｏｄｅｄ  Ａｐｅｒｔｕｒｅカメラ、ライトフィールドカメラ、又は、レンズレスカメラ等である。つまり、第一画像取得部１２１は、例えば、第二入力回路２２１と計算撮像画像を撮像するためのカメラとによって実現される。第二画像取得部１２２のハードウェアの例は撮像画像を撮像するためのカメラであり、具体的にはデジタルカメラ等である。つまり、第二画像取得部１２２は、例えば、第三入力回路２２２と撮像画像を撮像するためのカメラとによって実現される。
【００８２】
例えば、計算撮像画像を撮像するためのカメラによって撮像された第１の計算撮像画像は第二メモリ２２４に記憶され、第二入力回路２２１が第二メモリ２２４から第１の計算撮像画像を取得することで、第一画像取得部１２１は、第１の計算撮像画像を取得する。なお、第一画像取得部１２１は、ハードウェアとして計算撮像画像を撮像するためのカメラを含んでいなくてもよい。この場合、第一画像取得部１２１（第二入力回路２２１）は、撮像部１１から第１の計算撮像画像を取得してもよく（具体的には、撮像部１１によって撮像された第１の計算撮像画像は第二メモリ２２４に記憶され、第二メモリ２２４から第１の計算撮像画像を取得してもよく）、識別システム１Ａの外部から有線通信又は無線通信を介して、第１の計算撮像画像を取得してもよい。適用される有線通信及び無線通信は、上記で例示したもののいずれかであってもよい。
【００８３】
また、例えば、撮像画像を撮像するためのカメラによって撮像された撮像画像は第二メモリ２２４に記憶され、第三入力回路２２２が第二メモリ２２４から撮像画像を取得することで、第二画像取得部１２２は、撮像画像を取得する。なお、第二画像取得部１２２は、ハードウェアとして撮像画像を撮像するためのカメラを含んでいなくてもよい。この場合、第二画像取得部１２２（第三入力回路２２２）は、識別システム１Ａの外部から有線通信又は無線通信を介して、撮像画像を取得してもよい。適用される有線通信及び無線通信は、上記で例示したもののいずれかであってもよい。
【００８４】
識別正解取得部１２３は、第一画像取得部１２１が取得した第１の計算撮像画像を用いた機械学習のために、識別正解を取得する。識別正解は、第１の計算撮像画像と共に、識別システム１Ａの外部から与えられてもよく、ユーザが識別正解を手動等により入力することによって与えられてもよい。識別正解は、第１の計算撮像画像に含まれる被写体が属するカテゴリ情報と、被写体の位置情報とを含む。被写体のカテゴリの例は、人物、自動車、自転車又は信号等である。位置情報は、画像上の位置（具体的には、平面における位置又は奥行方向における位置）を含む。識別正解取得部１２３は、取得した識別正解を、第１の計算撮像画像と対応付けて、第二メモリ２２４に格納する。
【００８５】
ただし、前述のように、取得部１０１及び第一画像取得部１２１が取得する計算撮像画像は、人によって実空間の状態と同様に視覚的に認識できない画像である。そのため、第一画像取得部１２１が取得した第１の計算撮像画像に識別正解を入力することは困難である。そこで、本実施の形態の識別システム１Ａは、第二画像取得部１２２を有し、第一画像取得部１２１が取得した第１の計算撮像画像ではなく、第二画像取得部１２２が取得した、人によって実空間の状態と同様に視覚的に認識できる撮像画像に対して識別正解を入力する。詳細は、後述する。
【００８６】
学習部１２４は、第一画像取得部１２１が取得した第１の計算撮像画像と、識別正解取得部１２３が取得した、第二画像取得部１２２が取得した撮像画像に対する識別正解とを用いて、識別部１０２の識別器の学習を行う。なお、本実施の形態では、上述したように、識別器はプーリング層を有しないネットワークで構成されている。学習部１２４は、第二メモリ２２４に格納された識別器に機械学習をさせ、学習後の最新の識別器を第二メモリ２２４に格納する。識別部１０２は、第二メモリ２２４に格納された最新の識別器を取得し、第一メモリ２０３に格納しつつ、識別処理に使用する。上記機械学習は、例えば、ディープラーニングなどにおける誤差逆伝播法（ＢＰ：BackPropagation）などによって実現される。具体的には、学習部１２４は、識別器に第１の計算撮像画像を入力し、識別器が出力する識別結果を取得する。そして、学習部１２４は、識別結果が識別正解となるように識別器を調整する。学習部１２４は、このような調整をそれぞれ異なる複数の（例えば数千組の）第１の計算撮像画像及びこれに対応する識別正解について繰り返すことによって、識別器の識別精度を向上させる。
【００８７】
次に、図９〜図１１を参照しつつ、学習装置１２について説明する。
【００８８】
図１１は、学習装置１２の主要な処理の流れの一例を示すフローチャートである。
【００８９】
まず、ステップＳ１において、学習部１２４は、第一画像取得部１２１が取得する第１の計算撮像画像と、第二画像取得部１２２が取得する撮像画像の画像上での位置（画素）の対応関係を取得する。具体的には、学習部１２４は、第１の計算撮像画像が有する複数の第１の画素及び撮像画像が有する複数の第２の画素の対応関係を取得する。これは、第１の計算撮像画像及び撮像画像に対して幾何学的キャリブレーションが行なわれることで実現される。幾何学的キャリブレーションは、３次元位置が既知の点が第１の計算撮像画像及び撮像画像のどこに撮像されるかを事前に取得し、その情報を元に被写体の３次元位置と第１の計算撮像画像及び撮像画像との関係を求めるものである。これは、例えばＴｓａｉのキャリブレーションとして知られている手法を利用することで実現できる。通常、撮像画像からは被写体の３次元位置を求めることができないが、前述のように、計算撮像画像であるライトフィールド画像では１枚の画像から３次元位置を求めることができる。また、第一画像取得部１２１が取得する第１の計算撮像画像と、第二画像取得部１２２が取得する撮像画像の画像上での対応点（画素）を取得することで、キャリブレーションを実現することができる。例えば、第１の計算撮像画像と撮像画像との対応関係が取得されることで、第１の計算撮像画像と撮像画像との原点合わせをすることができる。なお、第１の計算撮像画像を撮像するカメラと、撮像画像を撮像するカメラとの位置関係が変わらなければ、このようなキャリブレーションは一度行うだけでよい。なお、以下の説明では、計算撮像画像がライトフィールド画像であるとして説明する。
【００９０】
ライトフィールド画像は、画素値と奥行情報との両方の情報を有する。ライトフィールド画像は、ライトフィールドカメラによって取得される。ライトフィールドカメラの具体例は、マルチピンホール又はマイクロレンズを使用したカメラである。撮像部１１がライトフィールドカメラであり、第一画像取得部１２１は、撮像部１１が撮像したライトフィールド画像を取得してもよい。又は、第一画像取得部１２１は、識別システム１Ａの外部から有線通信又は無線通信を介してライトフィールド画像を取得してもよい。
【００９１】
図１２は、マルチピンホールを使用したライトフィールドカメラの例を示す図である。
【００９２】
図１２に示すライトフィールドカメラ２１１は、マルチピンホールマスク２１１ａと、イメージセンサ２１１ｂとを有する。マルチピンホールマスク２１１ａは、イメージセンサ２１１ｂから一定距離離れて配置されている。マルチピンホールマスク２１１ａは、ランダム又は等間隔に配置された複数のピンホール２１１ａａを有している。複数のピンホール２１１ａａのことを、マルチピンホールとも呼ぶ。イメージセンサ２１１ｂは、各ピンホール２１１ａａを通じて被写体の画像を取得する。ピンホールを通じて取得される画像を、ピンホール画像と呼ぶ。各ピンホール２１１ａａの位置及び大きさによって、被写体のピンホール画像は異なるため、イメージセンサ２１１ｂは、複数のピンホール画像の重畳画像を取得する。ピンホール２１１ａａの位置は、イメージセンサ２１１ｂ上に投影される被写体の位置に影響を与え、ピンホール２１１ａａの大きさは、ピンホール画像のボケに影響を与える。マルチピンホールマスク２１１ａを用いることによって、位置及びボケの程度が異なる複数のピンホール画像を重畳して取得することが可能である。被写体がピンホール２１１ａａから離れている場合、複数のピンホール画像はほぼ同じ位置に投影される。一方、被写体がピンホール２１１ａａに近い場合、複数のピンホール画像は離れた位置に投影される。このように、重畳された複数のピンホール画像のずれ量と、被写体とマルチピンホールマスク２１１ａ間の距離とは対応しているため、重畳画像には当該ずれ量に応じた被写体の奥行情報が含まれている。
【００９３】
例えば、図１３及び図１４にはそれぞれ、通常撮像画像の例と、マルチピンホールを使用したライトフィールドカメラによるライトフィールド画像（計算撮像画像）の例とが、示されている。
【００９４】
図１３は、通常撮像された被写体の画像（撮像画像）の例を示す模式図であり、図１４は、マルチピンホールマスクを含むライトフィールドカメラを使用して撮像された被写体の画像（計算撮像画像）の例を示す模式図である。
【００９５】
図１３に示すように、通常撮像画像において、被写体として、道路上の人物Ａと自動車Ｂ及びＣとが写し出される。これらの被写体を、例えば４つのピンホールを有するライトフィールドカメラで撮像した場合、図１４に示すように、人物Ａ、自動車Ｂ及びＣそれぞれの画像は、複数の重畳された画像として取得される。具体的には、人物Ａの画像は、人物Ａ１、Ａ２及びＡ３として取得され、自動車Ｂの画像は、自動車Ｂ１、Ｂ２、Ｂ３及びＢ４として取得され、自動車Ｃの画像は、自動車Ｃ１、Ｃ２、Ｃ３及びＣ４として取得される。また、図１３及び図１４において符号を付していないが、図１３において自動車Ｂ及びＣが走行する道路の画像についても、図１４に示すように、複数の重畳された画像として取得される。このように、計算撮像画像は、撮像対象物（例えば人物Ａ、自動車Ｂ及びＣ等）及び撮像対象物の周辺環境（例えば道路等）がそれぞれ複数重畳された視差情報を含んだ画像となる。
【００９６】
図１１に示すように、ステップＳ２において、第一画像取得部１２１は第二メモリ２２４から撮像対象物及び撮像対象物の周辺環境を含む第１の計算撮像画像を取得し、ステップＳ３において、第二画像取得部１２２は第二メモリ２２４から当該撮像対象物及び当該周辺環境を含む撮像画像を取得する。ここで、第一画像取得部１２１は実空間の状態と同様に視覚的に認識できない画像である計算撮像画像を取得するが、第二画像取得部１２２は、実空間の状態と同様に視覚的に認識できる画像である通常の撮像画像を取得する。
【００９７】
図１１に示すように、ステップＳ４において、識別正解取得部１２３は、第二画像取得部１２２が取得した撮像画像に含まれる撮像対象物及び撮像対象物の周辺環境の識別結果（識別正解）を取得する。識別正解は、例えば、撮像対象物及び撮像対象物の周辺環境（人物、自動車、自転車又は信号等の被写体）が属するカテゴリ情報と、画像上での撮像対象物及び撮像対象物の周辺環境の平面における位置及び領域とを含む。なお、識別正解は、画像上での撮像最小物及び撮像対象物の周辺環境の奥行方向における位置を含んでいてもかまわない。識別正解は、第１の計算撮像画像と共に識別システム１Ａの外部から与えられたもの、又は、第二画像取得部１２２による撮像画像に対してユーザによって与えられたものである。識別正解取得部１２３は、撮像画像において、被写体の位置に基づき、被写体を特定し、特定した被写体とカテゴリとを対応付ける。この結果、識別正解取得部１２３は、被写体の領域と、被写体のカテゴリと、第二画像取得部１２２が取得した撮像画像に対する被写体の位置情報とを対応付けて取得し、これらの情報を識別正解とする。
【００９８】
識別正解取得部１２３は、被写体の撮像画像上での平面位置及び領域を決定する際、指標を用いる。例えば、識別正解取得部１２３は、当該指標として、被写体を囲む枠を用いる。以下、被写体を囲む枠を識別領域枠とも呼ぶ。識別領域枠は、被写体の位置及び領域を示すことができる。識別領域枠の一例が、図１５Ａ及び図１５Ｂに示されている。
【００９９】
図１５Ａは、識別領域枠が重畳表示された撮像画像を示す模式的な図である。図１５Ｂは、識別領域枠のみを示す模式的な図である。
【０１００】
図１５Ａ及び図１５Ｂに示す例では、識別正解取得部１２３は、各被写体を外から囲み且つ各被写体に外接する矩形の識別領域枠を設定する。なお、識別領域枠の形状は、図１５Ａ及び図１５Ｂの例に限定されない。
【０１０１】
図１５Ａ及び図１５Ｂにおいて、識別正解取得部１２３は、例えば、人物Ａに識別領域枠ＦＡを設定し、自動車Ｂに識別領域枠ＦＢを設定し、自動車Ｃに識別領域枠ＦＣを設定する。この際、識別正解取得部１２３は、識別領域枠の形状及びその位置を示す情報として、識別領域枠全体の線形及び座標を算出してもよく、識別領域枠の各頂点の座標を算出してもよく、識別領域枠の左上等の１つの頂点の座標及び各辺の長さを算出してもよい。座標は、例えば上述したように、第１の計算撮像画像と撮像画像とで原点合わせをしたときの当該原点に対する座標である。上述のようにすることで、識別正解取得部１２３は、識別正解として、識別領域枠の領域の平面位置（座標）及び形状等を含む情報を出力する。なお、識別正解として、識別領域枠の領域の平面位置及び形状等の他に撮像画像が含まれていてもよい。また、ここでは、識別正解として、道路には識別領域枠が設定されていないが、道路等の周辺環境に対しても識別領域枠が設定されてもよい。
【０１０２】
また、識別正解取得部１２３は、識別正解として、識別領域枠の情報を取得するのではなく、画素毎に識別正解を取得してもよい。画素毎の識別正解は、図１６においてドットハッチングで示すように例えば画像上にマスクとして与えられてもよい。
【０１０３】
図１６は、画像上でマスクとして与えられた識別正解の例を示す模式図である。
【０１０４】
図１６の例では、識別正解として、人物ＡにはマスクＡａが与えられ、自動車Ｂ及びＣにはそれぞれマスクＢａ及びＣａが与えられている。このようにすることで、識別正解取得部１２３は、画素毎に識別正解を出力する。なお、ここでは、識別正解として、道路にはマスクが与えられていないが、道路等の周辺環境に対してもマスクが与えられてもよい。
【０１０５】
図１１に示すように、ステップＳ５において、学習部１２４は、ステップＳ１で取得された複数の第１の画素及び複数の第２の画素の対応関係を参照して、撮像画像の識別結果に基づいて、第１の計算撮像画像を識別するための識別モデル（識別器）を生成する。例えば、図１３に示す撮像画像が有する複数の第２の画素と図１４に示す第１の計算撮像画像が有する複数の第１の画素との対応関係を参照することで、撮像画像における各位置（各画素）が第１の計算撮像画像においてどの位置（画素）に対応しているかを認識できる。そして、例えば、図１４に示す第１の計算撮像画像に含まれる人物Ａ１、Ａ２及びＡ３についての識別正解が、図１３に示す撮像画像の識別結果である図１５Ｂに示すような識別領域枠ＦＡの位置又は図１６に示すようなマスクＡａの位置となり、かつ、カテゴリが人となるように機械学習が行われて識別器が生成される。同じように、自動車Ｂ１、Ｂ２、Ｂ３及びＢ４についての識別正解が、識別領域枠ＦＢの位置又はマスクＢａの位置となり、かつ、カテゴリが自動車となるように機械学習が行われ、自動車Ｃ１、Ｃ２、Ｃ３及びＣ４についての識別正解が、識別領域枠ＦＣの位置又はマスクＣａの位置となり、かつ、カテゴリが自動車となるように機械学習が行われて識別器が生成される。なお、このとき、撮像対象物及び撮像対象物の周辺環境の奥行方向における位置についても機械学習が行われてもよい。詳細は後述するが、通常の撮像画像を撮像するカメラとしてマルチビューステレオカメラ等を用いることで、容易に当該奥行方向における位置を取得でき、取得した奥行方向における位置に基づいて機械学習を行うことができる。
【０１０６】
図１３に示すような撮像画像及び図１４に示すような第１の計算撮像画像の組を数多く（例えば数千組）準備する。学習部１２４は、第二メモリ２２４に格納された識別器を取得し、識別器にこれらの第１の計算撮像画像を入力し出力結果を取得し、出力結果が第１の計算撮像画像のそれぞれに対応する撮像画像を用いて入力された識別正解となるように、識別器を調整する。そして、学習部１２４は、調整後の識別器を第二メモリ２２４に格納することで第二メモリ２２４内の識別器を更新する。
【０１０７】
ステップＳ６において、学習部１２４は、第２の計算撮像画像を識別する画像識別装置１０に、識別モデル（識別器）を出力する。これにより、画像識別装置１０は、学習装置１２によって生成された識別器を用いて、人によって実空間の状態と同様に視覚的に認識できない第２の計算撮像画像に含まれる撮像対象物及び撮像対象物の周辺環境を識別できるようになる。これについて図１及び図１７を参照して説明する。
【０１０８】
図１７は、実施の形態に係る画像識別装置１０の動作の流れの一例を示すフローチャートである。なお、以下の説明において、撮像部１１がライトフィールドカメラであるとして説明する。
【０１０９】
ステップＳ１０１において、取得部１０１は、第一メモリ２０３（図１０参照）から、撮像部１１によって撮像された撮像対象物及び撮像対象物の周辺環境を含む第２の計算撮像画像を取得する。具体的には、第一入力回路２０１が第一メモリ２０３から第２の計算撮像画像を取得することで、取得部１０１は、第２の計算撮像画像を取得する。例えば、撮像部１１は、所定の周期である第１の周期毎に、第２の計算撮像画像として、ライトフィールド画像を撮像（取得）し、当該画像が第一メモリ２０３に記憶される。取得部１０１は、撮像部１１が撮像したライトフィールド画像を取得し、識別部１０２に出力する。なお、取得部１０１は、識別システム１の外部からライトフィールド画像を取得してもよい（具体的には、外部からのライトフィールド画像は第一メモリ２０３に記憶され、取得部１０１は、第一メモリ２０３からライトフィールド画像を取得してもよい）。
【０１１０】
次いで、ステップＳ１０２において、識別部１０２は、第一メモリ２０３に記憶された、プーリング層を有しないネットワークで構成されている識別モデル（識別器）を用いて、第２の計算撮像画像中の撮像対象物を識別する。つまり、識別部１０２は、ライトフィールド画像において識別対象とされる物体を検出する。識別対象の物体は、予め、識別器に設定されてよい。例えば、識別システム１が自動車に搭載される場合、識別対象の物体の例は、人物、自動車、自転車及び信号等である。識別部１０２は、識別器にライトフィールド画像に入力することによって、識別器から、出力結果として、識別対象の物体の識別結果を取得する。識別部１０２による識別処理の詳細については後述する。なお、識別部１０２は、識別処理済みのライトフィールド画像を、第一メモリ２０３に格納してもよい。
【０１１１】
次いで、ステップＳ１０３において、出力部１０３は、識別部１０２によって識別処理された結果（識別結果）を出力する。例えば、出力部１０３は、ライトフィールド画像を含む画像情報を出力してもよいし、ライトフィールド画像を含まない画像情報を出力してもよい。少なくともこの画像情報は、識別部１０２が検出した物体の情報を含んでもよい。物体の情報は、物体の位置（平面における位置又は奥行方向における位置）、領域等を含む。出力部１０３は、識別システム１が備えるディスプレイ及び外部機器の少なくとも一方に、画像情報を出力してもよい。
【０１１２】
さらに、図１７におけるステップＳ１０２の識別処理を説明する。ライトフィールドカメラである撮像部１１が撮像したライトフィールド画像から、画像情報と奥行情報とを同時に取得することが可能である。識別部１０２は、ライトフィールド画像に対して、学習装置１２で学習した識別器を使用して識別処理を行う。この学習は、上述したように、ディープラーニングなどのニューラルネットワークを用いた機械学習によって実現する。
【０１１３】
識別部１０２は、テクスチャ情報の識別と奥行情報の識別とを行い、識別されたテクスチャ情報及び奥行情報を用いて、画像に含まれる物体を統合的に識別する構成であってもよい。このような構成を図１８に示す。
【０１１４】
図１８は、識別部１０２の機能的な構成の一例を示す模式図である。
【０１１５】
このような識別部１０２は、図１８に示すように、テクスチャ情報識別部１０２１と、奥行情報識別部１０２２と、統合識別部１０２３とを含む。テクスチャ情報識別部１０２１及び奥行情報識別部１０２２は、例えば、統合識別部１０２３に対して、並列に接続されている。
【０１１６】
テクスチャ情報識別部１０２１は、ライトフィールド画像においてテクスチャ情報を使用して被写体を検出する。具体的には、テクスチャ情報識別部１０２１は、例えば、非特許文献１に記載されるようなニューラルネットワークを識別器として使用することによって、ライトフィールド画像において被写体の領域（平面における位置）と被写体のカテゴリとを識別する。テクスチャ情報識別部１０２１への入力情報は、ライトフィールド画像であり、テクスチャ情報識別部１０２１の識別結果は、学習装置１２の場合と同様に、ライトフィールド画像上での被写体の領域及び被写体のカテゴリである。通常撮像画像の場合、入射する光線の方向の値、つまり奥行値が積分されて画素値に含まれるため、奥行情報が削除されている。このような通常撮像画像と比較すると、ライトフィールド画像は、画像自体に被写体に関する多くの情報を含む。このため、マルチピンホール等が用いられるライトフィールド画像が、識別器の入力情報として用いられることによって、通常撮像画像を入力情報とする場合以上の高精度な識別が可能である。
【０１１７】
奥行情報識別部１０２２は、ライトフィールド画像から被写体の奥行情報を検出する。具体的には、奥行情報識別部１０２２は、学習装置１２において、ライトフィールド画像と対応する被写体の奥行情報を事前に学習する。被写体の奥行情報は、後述するように、第二画像取得部１２２からマルチビューステレオ画像を取得することで計算してもかまわないし、識別正解取得部１２３から取得してもかまわない。
【０１１８】
統合識別部１０２３は、テクスチャ情報識別部１０２１の識別結果と、奥行情報識別部１０２２の識別結果とを統合し、最終的な識別結果を出力する。統合識別部１０２３が用いる識別器は、テクスチャ情報識別部１０２１のテクスチャ情報又はその識別結果と、奥行情報識別部１０２２の識別結果である奥行情報とを入力とし、最終的な識別結果を出力するものである。最終的な識別結果は、ライトフィールド画像に含まれる物体の領域、当該領域の画像上での平面位置、及び当該領域の奥行位置等を含む。
【０１１９】
なお、テクスチャ情報識別部１０２１用のニューラルネットワークと、奥行情報識別部１０２２用のニューラルネットワークとがそれぞれ生成されてもよい。つまり、平面における位置及びカテゴリについては、平面における位置及びカテゴリを識別するためのニューラルネットワークが用いられ、奥行方向における位置については平面における位置及びカテゴリを識別するためのニューラルネットワークとは別途生成された、奥行方向における位置を識別するためのニューラルネットワークが用いられてもよい。また、テクスチャ情報識別部１０２１用のニューラルネットワークと、奥行情報識別部１０２２用のニューラルネットワークとがまとめて生成されてもよい。つまり、平面における位置、奥行方向における位置及びカテゴリについて、平面における位置、奥行方向における位置及びカテゴリをまとめて識別するための１つのニューラルネットワークが用いられてもよい。
【０１２０】
また、上記説明では、撮像部１１は、マルチピンホール又はマイクロレンズを用いるライトフィールドカメラであったが、これに限らない。例えば、撮像部１１は、符号化開口画像を撮像する構成であってもよい。これは、一種のマルチピンホールカメラでもある。
【０１２１】
図１９は、ランダムマスクを符号化絞りとして使用する符号化開口マスクの例の模式図である。
【０１２２】
図１９に示すように、符号化開口マスク３１１は、色無し領域で示される光の透過領域と、黒塗り領域で示される光の遮光領域とを有し、光の透過領域及び遮光領域はランダムに配置されていることがわかる。このような符号化開口マスク３１１は、ガラスにクロムを蒸着することで作製される。このような符号化開口マスク３１１が、主レンズとイメージセンサとの間の光路上に配置されると、光線の一部が遮断される。これにより、符号化開口画像を撮像するカメラの実現が可能である。
【０１２３】
また、第二画像取得部１２２は通常画像ではなく、画像情報に加え、奥行情報も取得できる画像を取得するようにしてもかまわない。例えば、第二画像取得部１２２はマルチビューステレオカメラで構成されてもよい。第二画像取得部１２２は、マルチビューステレオ画像を取得することにより、被写体の３次元情報も取得することができる。そのため、第一画像取得部１２１と第二画像取得部１２２の取得する画像を事前にキャリブレーションすることで、第一画像取得部１２１が取得した画像と第二画像取得部１２２が取得した画像の対応関係を取得することができる。このキャリブレーションでは、第二画像取得部１２２で取得する３次元座標と第一画像取得部１２１が取得する画像座標との対応が求められる。これにより、第二画像取得部１２２が取得した撮像画像に対する識別正解を、第一画像取得部１２１が取得した第１の計算撮像画像に対する識別正解に変換させることができる。このように、撮像画像は、マルチビューステレオカメラによる撮像対象物及び撮像対象物の周辺環境の撮像により得られる画像であってもよい。
【０１２４】
以上の説明では、識別正解として、例えば、人物、自動車、自転車又は信号等の被写体が属するカテゴリ情報と、画像上での被写体の平面的な位置及び領域と、画像上での被写体の奥行方向における位置を与えていた。例えば、識別システム１が、識別正解として奥行方向における位置（奥行情報）を識別することは、第二画像取得部１２２が取得したマルチビューステレオから求めた奥行方向における位置（奥行情報）を識別正解として与えるようにすることで実現できる。
【０１２５】
また、識別部１０２は、テクスチャ情報識別部１０２１と奥行情報識別部１０２２とが並列関係である構成を有するのではなく、奥行情報識別部１０２２による奥行情報の抽出後に、テクスチャ情報識別部１０２１による識別を行うように構成されてもよい。
【０１２６】
図２０は、識別部１０２の機能的な構成の別の一例を示す模式図である。
【０１２７】
図２０に示すように、識別部１０２では、奥行情報識別部１０２２、テクスチャ情報識別部１０２１及び統合識別部１０２３が直列関係にあってもよい。奥行情報識別部１０２２は、ライトフィールド画像に対して奥行画像を生成する。テクスチャ情報識別部１０２１は、奥行情報識別部１０２２が生成した奥行画像を入力情報として、例えば、非特許文献１に記載されるようなニューラルネットワークを用いることによって、被写体の位置、領域及び被写体のカテゴリを識別する。統合識別部１０２３は、テクスチャ情報識別部１０２１の識別結果を出力する。最終的な識別結果は、テクスチャ情報識別部１０２１及び統合識別部１０２３が並列関係にある場合と同様に、ライトフィールド画像に含まれる物体の領域、当該領域の画像上での平面位置、及び当該領域の奥行位置等を含む。
【０１２８】
また、識別部１０２は、撮像部１１に応じて、そのニューラルネットワークの構成を変えるようにしてもよい。撮像部１１がライトフィールドカメラである場合、奥行画像は、撮像部１１のマルチピンホールの位置及び大きさ等を用いて生成される。例えば、撮像部１１の種類又は製造ばらつき等によって、マルチピンホールの位置及び大きさが撮像部１１毎に異なる場合、撮像部１１毎にニューラルネットワークを構成することにより（言い換えると撮像部１１毎に個別に機械学習がなされることにより）、識別部１０２の識別精度を向上させることができる。なお、マルチピンホールの位置及び大きさの情報は、事前にカメラキャリブレーションを実施することで取得可能である。
【０１２９】
以上のように、識別部１０２は、ライトフィールド画像を入力情報とし、当該ライトフィールド画像のテクスチャ情報及び奥行情報から識別処理を行う。それにより、識別部１０２は、従来の通常撮像画像を使用したテクスチャ画像のみに基づく識別処理と比べ、例えばどれだけ離れた位置にあるのかも識別できるため、より高精度の識別処理を可能にする。
【０１３０】
上述したように、識別部１０２を含む画像識別装置１０を備える実施の形態に係る識別システム１と、当該画像識別装置１０と学習装置１２とを備える実施の形態の変形例に係る識別システム１Ａとを例示した。しかしながら、例えば、識別部１０２は、学習装置１２を包含してもよく、この場合、識別システム１が学習装置１２を備えることになる。つまり、この場合、識別システム１は、識別システム１Ａと同等の機能を有する。
【０１３１】
以上のように、実施の形態及び変形例に係る識別システム１及び１Ａにおいて、画像識別装置１０は、ライトフィールド画像等の第２の計算撮像画像を用いて、当該画像内の被写体の識別を行う。さらに、画像識別装置１０は、一連の識別処理の過程において、第２の計算撮像画像を通常撮像画像に画像復元せず、第２の計算撮像画像に含まれるテクスチャ情報と、計算撮像画像に含まれる奥行情報とに基づき、第２の計算撮像画像内の被写体の識別を行う。よって、画像識別装置１０は、被写体の識別処理量を低減することができる。特に、識別処理の際に第２の計算撮像画像から通常撮像画像への画像復元を伴う手法と比較して、画像識別装置１０は、識別処理の大幅な高速化を可能にする。また、３次元レンジファインダ等を用いなくても奥行情報を取得できるため、低コスト化が可能となる。
【０１３２】
また、第１の計算撮像画像の撮像に用いられるカメラ（例えば第一画像取得部１２１）の光軸と、撮像画像の撮像に用いられるカメラ（例えば第二画像取得部１２２）の光軸とは、略一致するようにしてもかまわない。図２１Ａはこれを説明するための模式図である。
【０１３３】
図２１Ａは、第二画像取得部１２２の光軸と第一画像取得部１２１の光軸とがおおよそ一致することを示す模式図である。
【０１３４】
この図において、第一画像取得部１２１及び第二画像取得部１２２として、それぞれ、そのハードウェアの例であるカメラを模式的に示している。また、光軸２３１は第一画像取得部１２１の光軸を示し、光軸２３２は第二画像取得部１２２の光軸を示している。各光軸をおおよそ一致させるためには、第一画像取得部１２１と第二画像取得部１２２とを接近させ、かつ、各光軸がほぼ平行になるように配置すればよい。
【０１３５】
また、第二画像取得部１２２をステレオカメラとして構成する場合、第二画像取得部１２２を構成する２つのカメラのそれぞれの光軸と第一画像取得部１２１の光軸とがおおよそ一致するようにすればよい。図２１Ｂはこれを説明するための模式図である。
【０１３６】
図２１Ｂは、第二画像取得部１２２を構成するステレオカメラの各光軸と第一画像取得部１２１の光軸とがおおよそ一致することを示す模式図である。
【０１３７】
この図において、図２１Ａと同じ構成要素には同じ符号を付与し説明を省略する。この図において、光軸２３２ａ及び２３２ｂは第二画像取得部１２２を構成するステレオカメラの各光軸を示している。前述のように、本実施の形態の識別システム１又は１Ａは、第二画像取得部１２２が取得した撮像画像に対する識別正解を、第一画像取得部１２１が取得した第１の計算撮像画像に対する識別正解に変換させるが、各光軸をおおよそ一致させることで、変換に伴う誤差を小さくすることができ、より高精度の識別が実現できる。
【０１３８】
また、第一画像取得部１２１と第二画像取得部１２２の光軸を一致させるために、ビームスプリッタ、プリズム又はハーフミラーなどを利用してもかまわない。
【０１３９】
図２２は、第一画像取得部１２１の光軸と第二画像取得部１２２の光軸とを一致させるために、ビームスプリッタが利用されることを示す模式図である。
【０１４０】
この図において、図２１Ａと同じ構成要素には同じ番号を付与し説明を省略する。ビームスプリッタ２４０により、被写体からの光線を二つに分離することができるため、分離した光線の一方を第一画像取得部１２１の光軸２３１と一致させ、もう一方を第二画像取得部１２２の光軸２３２と一致させることで、第一画像取得部１２１の光軸と第二画像取得部１２２の光軸とを一致させることが可能である。このように、第１の計算撮像画像の撮像に用いられるカメラ（例えば第一画像取得部１２１）の光軸と、撮像画像の撮像に用いられるカメラ（例えば第二画像取得部１２２）の光軸とは、ビームスプリッタ、プリズム又はハーフミラーを介することで一致する。前述のように、本実施の形態の識別システム１又は１Ａは、第二画像取得部１２２が取得した撮像画像に対する識別正解を、第一画像取得部１２１が取得した第１の計算撮像画像に対する識別正解に変換させるが、各光軸を一致させることで、変換に伴う誤差を小さくすることができ、より高精度の識別が実現できる。
【０１４１】
以上、本開示の識別システム１及び画像識別装置１０について、実施の形態に基づいて説明したが、本開示は、上記実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、及び、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれる。
【０１４２】
例えば、上記実施の形態では、第２の計算撮像画像に含まれる撮像対象物及び撮像対象物の周辺環境の平面における位置、奥行方向における位置及びカテゴリ情報が識別されたが、これに限らない。例えば、撮像対象物及び撮像対象物の周辺環境の平面における位置、奥行方向における位置及びカテゴリ情報のいずれか１つ又は２つのみが識別されてもよい。つまり、撮像対象物及び撮像対象物の周辺環境の平面における位置、奥行方向における位置及びカテゴリ情報のいずれか１つ又は２つのみが機械学習されて、識別モデルが生成されてもよい。
【０１４３】
また、例えば、上記実施の形態では、奥行方向における位置についても機械学習されたが、されなくてもよい。例えば、取得部１０１が第２の計算撮像画像を取得した段階において、第２の計算撮像画像に含まれる撮像対象物及び撮像対象物の周辺環境がそれぞれ複数重畳された画像を用いて、被写体の奥行方向における位置が計算されてもよい。つまり、識別モデルを用いずに、第２の計算撮像画像自体から直接奥行方向における位置が計算されてもよい。
【０１４４】
また、例えば、第二画像取得部１２２が取得した撮像画像に対する識別正解は、例えば人によって手動で与えられたが、これに限らない。例えば、第二画像取得部１２２が取得した撮像画像に対する識別正解を与えるための学習モデルを予め準備しておいて、当該学習モデルを用いて識別正解が与えられてもよい。
【０１４５】
また、例えば、本開示は、画像識別装置１０として実現できるだけでなく、画像識別装置１０を構成する各構成要素が行うステップ（処理）を含む識別方法として実現できる。
【０１４６】
具体的には、当該識別方法は、図１７に示すように、撮像対象物及び撮像対象物の周辺環境を含む計算撮像画像を取得し（ステップＳ１０１）、プーリング層を有しないネットワークで構成されている識別モデルを用いて、計算撮像画像中の撮像対象物を識別する（ステップＳ１０２）。
【０１４７】
また、例えば、それらのステップは、コンピュータ（コンピュータシステム）によって実行されてもよい。そして、本開示は、それらの方法に含まれるステップを、コンピュータに実行させるためのプログラムとして実現できる。さらに、本開示は、そのプログラムを記録したＣＤ−ＲＯＭ等である非一時的なコンピュータ読み取り可能な記録媒体として実現できる。
【０１４８】
また、本開示において、システム、装置、部材又は部の全部又は一部、又は各図に示されるブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ）、又はＬＳＩ（large scale integration）を含む一つ又は複数の電子回路によって実行されてもよい。
【０１４９】
ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩやＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（very large scale integration）、若しくはＵＬＳＩ（ultra large scale integration）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ（FPGA）、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ  ｌｏｇｉｃ  ｄｅｖｉｃｅも同じ目的で使うことができる。
【０１５０】
また、識別部１０２は、撮像部１１が計算撮像画像（第２の計算撮像画像）を撮像する際に利用した計算撮像パラメータを計算撮像画像とともに取得部１０１から取得し、識別器と計算撮像画像に加え計算撮像パラメータを利用して、計算撮像画像中の物体の情報を取得するようにしてもかまわない。これについて、図２３から図３０を用いて説明する。
【０１５１】
図２３は、３つのピンホール２１１ａａ１、２１１ａａ２及び２１１ａａ３を有するマルチピンホールマスク２１１ａの一例を示す模式図である。
【０１５２】
マルチピンホールカメラで撮像された画像は、複数の画像が重畳されたものとなる。このとき、重畳された画像の位置関係は、マルチピンホールマスク２１１ａにおけるピンホールの位置関係に依存する。ここで、３つのピンホールを有するマルチピンホールマスクとして、図２３のようなマルチピンホールマスク２１１ａを利用するとする。このマルチピンホールマスク２１１ａは、例えば、３個のピンホール２１１ａａ１、２１１ａａ２及び２１１ａａ３を有している。この図において、ｄ１２はピンホール２１１ａａ１とピンホール２１１ａａ２の距離、ｄ１３はピンホール２１１ａａ１とピンホール２１１ａａ３の距離、ｄ２３はピンホール２１１ａａ２とピンホール２１１ａａ３の距離を示している。
【０１５３】
図２４は、図２３のマルチピンホールマスク２１１ａを有する撮像部１１を利用して撮像された計算撮像画像５００の一例を示す模式図である。以下では、図１３に示す人物Ａ及び自動車Ｂに着目して説明する。この図において、人物Ａは、Ａ１、Ａ２及びＡ３として撮像され、自動車Ｂは、Ｂ１、Ｂ２及びＢ３として撮像されている。
【０１５４】
図２５は、図２４の計算撮像画像５００に対する識別部１０２の識別結果を示した模式図である。この図には、人物Ａに対応するＡ１、Ａ２及びＡ３の識別領域枠ＴＡ１、ＴＡ２及びＴＡ３と、自動車Ｂに対応するＢ１、Ｂ２及びＢ３の識別領域枠ＴＢ１、ＴＢ２及びＴＢ３を示している。
【０１５５】
図２６は、識別領域枠の重心位置の距離と、撮像部１１から被写体までの距離の関係を説明するための模式図である。この図において、ＤＡ１２は識別領域枠ＴＡ１と識別領域枠ＴＡ２の重心間の距離、ＤＡ１３は識別領域枠ＴＡ１と識別領域枠ＴＡ３のそれぞれの重心間の距離、ＤＡ２３は識別領域枠ＴＡ２と識別領域枠ＴＡ３のそれぞれの重心間の距離、ＤＢ１２は識別領域枠ＴＢ１と識別領域枠ＴＢ２のそれぞれの重心間の距離、ＤＢ１３は識別領域枠ＴＢ１と識別領域枠ＴＢ３のそれぞれの重心間の距離、ＤＢ２３は識別領域枠ＴＢ２と識別領域枠ＴＢ３のそれぞれの重心間の距離を示している。
【０１５６】
このとき、識別領域枠ＴＡ１、ＴＡ２及びＴＡ３の画像上での位置関係、並びに識別領域枠ＴＢ１、ＴＢ２及びＴＢ３の画像上での位置関係は、マルチピンホールマスク２１１ａ上のピンホール２１１ａａ１、２１１ａａ２及び２１１ａａ３の位置関係と相似の関係になる。つまり、識別検出枠ＴＡ１、ＴＡ２及びＴＡ３の画像上での位置関係、並びに識別検出枠ＴＢ１、ＴＢ２及びＴＢ３の画像上での位置関係は、マルチピンホールマスク２１１ａ上のピンホール２１１ａａ１、２１１ａａ２及び２１１ａａ３の位置関係と相似の関係になるため、以下の関係が成り立つ。
【０１５７】
ｄ１２：ｄ１３：ｄ２３＝ＤＡ１２：ＤＡ１３：ＤＡ２３＝ＤＢ１２：ＤＢ１３：ＤＢ２３
【０１５８】
このことから、計算撮像パラメータとして、マルチピンホールマスク２１１ａ上のピンホール２１１ａａ１、２１１ａａ２及び２１１ａａ３の位置情報を利用することで、計算撮像画像５００上の被写体の位置関係を推定できることがわかる。
【０１５９】
同様に、Ａ１、Ａ２、Ａ３の識別領域枠ＴＡ１、ＴＡ２及びＴＡ３それぞれの重心間の距離は、その被写体である人物Ａの撮像部１１からの距離に依存する。ここで、被写体である人物Ａは自動車Ｂより撮像部１１に近い位置に存在するため、以下の関係が成り立つ。
【０１６０】
ＤＡ１２＞ＤＢ１２
ＤＡ１３＞ＤＢ１３
ＤＡ２３＞ＤＢ２３
【０１６１】
ただし、これらの関係は、撮像部１１が利用するレンズなどの光学系が理想的な場合にのみ成り立つ。通常のレンズは、収差などの歪みを有するため、事前にカメラキャリブレーションを実施し、歪みの影響を取り除く必要がある。このようなカメラキャリブレーションは、例えば、Ｔｓａｉのキャリブレーションとして知られている手法を利用することで実現できる。
【０１６２】
また、学習部１２４は、第一画像取得部１２１が取得した計算撮像画像（第１の計算撮像画像）と、第二画像取得部１２２が取得した撮像画像と、識別正解取得部１２３が取得した識別正解に加え、撮像部１１が計算撮像画像を撮像する際に利用した計算撮像パラメータとを用いて、識別部１０２における識別器の学習を行うようにしてもかまわない。前述のように、マルチピンホールカメラにおいて、マルチピンホールマスクのピンホール位置は、撮像される計算撮像画像に大きく影響する。そこで、この情報を利用した学習をすることで、識別精度を向上させることができる。この処理について詳述する。ここで、識別器として、ＳＳＤ（Single Shot MultiBox Detector）などのＤｅｅｐ  Ｌｅａｒｎｉｎｇを想定する。
【０１６３】
図２７Ａは、識別部１０２の識別器として利用したＤｅｅｐ  Ｌｅａｒｎｉｎｇの一例を示す模式図である。このような識別器は、画像上の特徴量を抽出する複数の特徴抽出層と、認識結果を出力する認識層が接続されたネットワークである。また、図２７Ｂは、識別部の識別器として利用したＤｅｅｐ  Ｌｅａｒｎｉｎｇの他の一例を示す模式図である。具体的には、図２７Ｂは、接続する複数の特徴抽出層を直列に接続するのではなく、前段の特徴抽出層の出力を、バイパスのように直接、認識層に接続するネットワークを示している。このような構成を実現することで、被写体の大きさにロバストな識別や、安定した学習を実現することができる。このような識別器では、識別検出枠を出力するために、識別検出枠候補を設定し、その枠内の情報が識別対象と一致するかどうかを確認することで、識別を実現する。
【０１６４】
そこで、本実施の形態の識別器は、撮像部１１が計算撮像画像を撮像する際に利用した計算撮像パラメータを利用することで、この識別検出枠候補を設定する。
【０１６５】
図２８は、図２４の計算撮像画像５００に対応するシーンにおける識別検出枠候補を設定する処理を説明するための模式図である。ピンホール２１１ａａ１に対応する様々なアスペクト比を有する被写体の識別検出枠がＴＡ１に存在する場合、ピンホール２１１ａａ２及び２１１ａａ３に対応する識別検出枠ＴＡ２及びＴＡ３は図２８のように存在する。そこで、学習時の損失関数Ｌｏｓｓ（ｖ，ｃ，ｐ，ｇ）は、各ピンホールにおける信頼性損失関数と位置に関する損失関数の総和として、以下のようなものを利用する。
【０１６６】
【数１】
2019200772.tif 000003
【０１６７】
ただし、
【数２】
2019200772.tif 000004
である。
【０１６８】
ここで、ｎはピンホールの数、ｖは識別カテゴリ、ｃは識別カテゴリｖに対する信頼度である。ｇは正解識別検出枠であり、ｐは上記計算撮像パラメータから計算される予測識別検出枠である。また、ｋは各ピンホールを示している。このような損失関数を利用して識別器を学習することで、高精度の識別を実現することができる。
【０１６９】
また、本実施の形態の識別システムは、奥行推定装置１３をさらに有し、計算撮像パラメータを用いて画像識別装置１０が検出した被写体と撮像部１１の距離を出力するようにしてもかまわない。図２９は、本実施の形態の変形例である奥行推定装置１３を有する識別システム１Ｂの機能的な構成の一例を示す模式図である。図２９について、図９と同じ構成要素に関して同一の符号を付しており、説明を省略する。前述のように、同一被写体に対する複数のピンホールに対応する識別検出枠それぞれの重心間の距離Ｄは、その被写体の撮像部１１からの距離Ｌに依存する（図３０参照）。
【０１７０】
図３０は、同一被写体に対する複数のピンホールに対応する識別検出枠それぞれの重心間の距離Ｄと、その被写体の撮像部１１からの距離Ｌを説明するための模式図である。説明を簡略化するため、ピンホール数が２個の場合について説明する。この図において、Ｌは被写体と撮像部１１のイメージセンサ２１１ｂの距離、ｆはマルチピンホールマスク２１１ａとイメージセンサ２１１ｂの距離、Ｄは識別検出枠それぞれの重心間の距離、ｄはピンホール間の距離を示している。計算撮像パラメータは、マルチピンホールマスク２１１ａとイメージセンサ２１１ｂの距離ｆとピンホール間の距離ｄである。このとき以下の関係が成り立つ。
【０１７１】
（Ｌ−ｆ）：ｄ＝L：Ｄ
【０１７２】
よって、L=fD/(D-d)となる。
【０１７３】
つまり、画像識別装置１０が検出した識別検出枠間の距離Ｄと、計算撮像パラメータである距離ｆ及びｄから、被写体と撮像部１１の距離Ｌを計算することができる。
【０１７４】
さらに、システム、装置、部材又は部の全部又は一部の機能又は操作は、上述したように、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは少なくとも１つのＲＯＭ、光学ディスク、又はハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（processor）によって実行されたときに、そのソフトウェアで特定された機能が処理装置（processor）及び周辺装置によって実行される。
【０１７５】
システム又は装置は、ソフトウェアが記録されている一つ又は複数の非一時的記録媒体、処理装置（processor）、及びハードウェアデバイスを備えていてもよい。
【０１７６】
また、上記で用いた序数、数量等の数字は、全て本開示の技術を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。また、構成要素間の接続関係は、本開示の技術を具体的に説明するために例示するものであり、本開示の機能を実現する接続関係はこれに限定されない。
【０１７７】
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを１つの機能ブロックとして実現したり、１つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、単一のハードウェア又はソフトウェアが、類似する機能を有する複数の機能ブロックの機能を並列又は時分割に処理してもよい。
【０１７８】
本開示の一態様に係る識別システム１Ａは、撮像対象の周辺環境の情報を含む第２の計算撮像画像を撮像する撮像部１１と、撮像部１１が撮像した第２の計算撮像画像から、プーリング層を有しないネットワークで構成されている識別器を利用して当該画像に含まれる被写体を検出し、検出結果を出力する画像識別装置１０と、当該識別器を生成する学習装置１２からなる識別システムである。当該識別器は当該画像上の位置情報に敏感なネットワークを構成する。
【０１７９】
撮像部１１及び第一画像取得部は、マルチピンホールカメラ、Ｃｏｄｅｄ  Ａｐｅｒｔｕｒｅカメラ、ライトフィールドカメラ、又は、レンズレスカメラから構成される。
【０１８０】
撮像部１１及び第一画像取得部１２１は、計算撮像画像として、人が見ても視覚的に認識できない画像を取得する。
【０１８１】
プーリング層を有しないネットワークで構成されている識別器のネットワークにおいて、畳み込み層の入力が重ならない。
【０１８２】
当該識別器のネットワークにおいて、畳み込み層の入力ストライドが２以上である。
【０１８３】
識別部１０２は、画像情報に加え、奥行情報も取得できる画像を取得する。
【０１８４】
本開示の一態様に係る学習装置１２は、第１の計算撮像画像を取得する第一画像取得部１２１と、撮像画像を取得する第二画像取得部１２２と、第二画像取得部１２２が取得した撮像画像に関する識別正解を取得する識別正解取得部１２３と、撮像画像に関する識別正解を利用して、第一画像取得部１２１が取得した第１の計算撮像画像に対する機械学習を行なうことで、プーリング層を有しない識別器を取得する学習部１２４とを備え、当該識別器は、プーリング層を有しないネットワークであって、当該画像上の位置情報に敏感なネットワークを利用する識別器を有する。
【０１８５】
本開示の一態様に係る識別方法では、第２の計算撮像画像から、プーリング層を有しないネットワークで構成されている識別器を利用して当該画像に含まれる被写体を検出し、検出結果を出力し、第１の計算撮像画像と撮像画像を取得し、撮像画像に関する識別正解を取得し、撮像画像に関する識別正解を利用して、第１の計算撮像画像に対する機械学習を行なうことで、識別器を生成し、当該識別器は当該画像上の位置情報に敏感なネットワークを利用する。
【産業上の利用可能性】
【０１８６】
本開示の技術は、計算撮像画像中の物体を画像認識する技術に広く適用可能である。本開示の技術は、計算撮像画像を撮像する撮像装置が、高い識別処理速度が要求される移動体に搭載される場合にも、広く適用可能であり、例えば、自動車の自動運転技術、ロボット及び周辺監視カメラシステム等に適用可能である。
【符号の説明】
【０１８７】
１，１Ａ，１Ｂ  識別システム
１０  画像識別装置（識別装置）
１１  撮像部
１２  学習装置
１３  奥行推定装置
１０１  取得部
１０２  識別部
１０３  出力部
１２１  第一画像取得部
１２２  第二画像取得部
１２３  識別正解取得部
１２４  学習部
２０１  第一入力回路
２０２  第一演算回路
２０３  第一メモリ
２０４  出力回路
２１１  ライトフィールドカメラ
２１１ａ  マルチピンホールマスク
２１１ａａ，２１１ａａ１，２１１ａａ２，２１１ａａ３  ピンホール
２１１ｂ  イメージセンサ
２２１  第二入力回路
２２２  第三入力回路
２２３  第二演算回路
２２４  第二メモリ
２３１，２３２，２３２ａ，２３２ｂ  光軸
２４０  ビームスプリッタ
３１１  符号化開口マスク
４００  入力層
４２０，４３０，４４０  中間出力層
４０１，４０２，４０３，４０４，４０５，４０６，４０７，４０８，４０９，４１０，４１１，４２１，４２２，４２３，４２４，４２５，４３１，４４１，４４２，４４３，４４４，４５１，４５２，４５３，４５４  データ（メモリ）
５００  計算撮像画像
１０２１  テクスチャ情報識別部
１０２２  奥行情報識別部
１０２３  統合識別部
【図１】
2019200772.tif 000005
【図２】
2019200772.tif 000006
【図３】
2019200772.tif 000007
【図４Ａ】
2019200772.tif 000008
【図４Ｂ】
2019200772.tif 000009
【図４Ｃ】
2019200772.tif 000010
【図４Ｄ】
2019200772.tif 000011
【図４Ｅ】
2019200772.tif 000012
【図４Ｆ】
2019200772.tif 000013
【図５】
2019200772.tif 000014
【図６】
2019200772.tif 000015
【図７Ａ】
2019200772.tif 000016
【図７Ｂ】
2019200772.tif 000017
【図７Ｃ】
2019200772.tif 000018
【図７Ｄ】
2019200772.tif 000019
【図７Ｅ】
2019200772.tif 000020
【図７Ｆ】
2019200772.tif 000021
【図８Ａ】
2019200772.tif 000022
【図８Ｂ】
2019200772.tif 000023
【図８Ｃ】
2019200772.tif 000024
【図８Ｄ】
2019200772.tif 000025
【図８Ｅ】
2019200772.tif 000026
【図９】
2019200772.tif 000027
【図１０】
2019200772.tif 000028
【図１１】
2019200772.tif 000029
【図１２】
2019200772.tif 000030
【図１３】
2019200772.tif 000031
【図１４】
2019200772.tif 000032
【図１５Ａ】
2019200772.tif 000033
【図１５Ｂ】
2019200772.tif 000034
【図１６】
2019200772.tif 000035
【図１７】
2019200772.tif 000036
【図１８】
2019200772.tif 000037
【図１９】
2019200772.tif 000038
【図２０】
2019200772.tif 000039
【図２１Ａ】
2019200772.tif 000040
【図２１Ｂ】
2019200772.tif 000041
【図２２】
2019200772.tif 000042
【図２３】
2019200772.tif 000043
【図２４】
2019200772.tif 000044
【図２５】
2019200772.tif 000045
【図２６】
2019200772.tif 000046
【図２７Ａ】
2019200772.tif 000047
【図２７Ｂ】
2019200772.tif 000048
【図２８】
2019200772.tif 000049
【図２９】
2019200772.tif 000050
【図３０】
2019200772.tif 000051