(57)【要約】【課題】画像内の単一の物体を過不足なく含む領域の候補である候補領域を、高速かつ少ない候補数で推定することができる物体候補領域推定装置、物体候補領域推定方法、及び物体候補領域推定プログラムを提供する。【解決手段】可視光画像及び深度画像を入力とし、可視光画像から、物体が写る領域の候補である複数の候補領域からなる候補領域群を推定し、深度画像に基づいて、候補領域に写るものが物体でないと判定した候補領域を、候補領域群から削除し、深度画像における画素間の深度変化に基づいて、削除されなかった候補領域の各々について、候補領域が単一の物体を捉えている度合いを示す物体らしさを推定し、削除されなかった候補領域の各々について、物体らしさが高くなるように候補領域の形状を補正する。【選択図】図１
2018180646.tif 000002
【特許請求の範囲】
【請求項１】
可視光画像及び当該可視光画像に対応する深度画像を入力とし、前記可視光画像から、物体が写る領域の候補である複数の候補領域からなる候補領域群を推定する初期候補領域推定部と、
前記深度画像に基づいて、前記候補領域に写るものが前記物体でないと判定した前記候補領域を、前記候補領域群から削除する候補領域削減部と、
前記深度画像における画素間の深度変化に基づいて、前記候補領域削減部により削除されなかった前記候補領域の各々について、前記候補領域が単一の物体を捉えている度合いを示す物体らしさを推定する物体らしさ推定部と、
前記候補領域削減部により削除されなかった前記候補領域の各々について、前記物体らしさ推定部により推定された前記物体らしさが高くなるように、前記候補領域の形状を補正する候補領域補正部と、
を含む物体候補領域推定装置。
【請求項２】
前記物体らしさ推定部は、前記候補領域削減部により削除されなかった前記候補領域の各々について、前記深度画像に対するエッジ検出により抽出された深度境界に基づいて、前記候補領域の縁部の前記深度境界の密度が大きく、かつ前記候補領域の内部の前記深度境界の密度が小さいほど高くなる指標を用いて、前記物体らしさを推定する
請求項１記載の物体候補領域推定装置。
【請求項３】
前記物体らしさＳ（ｒ）は、前記候補領域の縁部の領域をｒ１とし、前記候補領域の内部の領域をｒ２とし、φ（ｒ）を領域ｒにおける深度境界の密度とし、
2018180646.tif 000008
を標準シグモイド関数とすると、下記の式で表される
請求項２記載の物体候補領域推定装置。
【数１】
2018180646.tif 000009
【請求項４】
前記候補領域削減部は、前記深度画像を用いて求められる前記候補領域に写るものの実空間上の大きさに基づいて前記候補領域に写るものが前記物体であるか否かを判定し、前記候補領域に写るものが前記物体でないと判定した前記候補領域を、前記候補領域群から削除する
請求項１〜３の何れか１項記載の物体候補領域推定装置。
【請求項５】
前記候補領域補正部は、前記候補領域削減部により削除されなかった前記候補領域の各々について、前記候補領域の形状を複数の変形方法により変形させた各々の形状の前記候補領域の前記物体らしさを推定し、推定した前記物体らしさが最も高い形状となるように前記候補領域の形状を補正する
請求項１〜４の何れか１項記載の物体候補領域推定装置。
【請求項６】
初期候補領域推定部と、候補領域削減部と、物体らしさ推定部と、候補領域補正部と、部とを有する物体候補領域推定装置における物体候補領域推定方法であって、
前記初期候補領域推定部が、可視光画像及び当該可視光画像に対応する深度画像を入力とし、前記可視光画像から、物体が写る領域の候補である複数の候補領域からなる候補領域群を推定するステップと、
前記候補領域削減部が、前記深度画像に基づいて、前記候補領域に写るものが前記物体でないと判定した前記候補領域を、前記候補領域群から削除するステップと、
前記物体らしさ推定部が、前記深度画像における画素間の深度変化に基づいて、前記候補領域削減部により削除されなかった前記候補領域の各々について、前記候補領域が単一の物体を捉えている度合いを示す物体らしさを推定するステップと、
前記候補領域補正部が、前記候補領域削減部により削除されなかった前記候補領域の各々について、前記物体らしさ推定部により推定された前記物体らしさが高くなるように、前記候補領域の形状を補正するステップと、
を含む物体候補領域推定方法。
【請求項７】
コンピュータを、請求項１〜５の何れか１項記載の物体候補領域推定装置の各部として機能させるための物体候補領域推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内における単一の物体のみが含まれる領域の候補とする候補領域を推定する物体候補領域推定装置、物体候補領域推定方法、及び物体候補領域推定プログラムに関する。
【背景技術】
【０００２】
物体候補領域推定とは、画像内における単一の物体が含まれていそうな領域を候補領域として推定する技術であり、画像に写る物体の種類及び位置を推定する物体検出の前処理として広く用いられている。
【０００３】
物体候補領域推定を用いた物体検出（非特許文献１及び非特許文献２を参照）では、物体候補領域推定により推定された各候補領域について、物体認識（物体の種類推定）を行なうというフレームワークで物体検出を行なっている。物体検出により、スマートフォン等で撮影された画像に写る物体を検出することができれば、撮影された物体に関する詳細な情報、関連情報等を重畳表示することによる、直感的な情報検索・提示といったアプリケーションの実現が見込める。
【０００４】
特に、商品パッケージのアレルギー情報、看板の道案内情報等、言語により詳細な情報が提示されている物体について、表記言語を母国語としないユーザが情報を取得することは困難であるため、画像をインターフェイスとした直感的な情報取得が実現されることによるＵＸ（user experience）の向上は大きいと考えられる。
【０００５】
物体候補領域推定の最も簡単な方法として、サイズが予め定められた矩形状の枠を画像上で走査しながら領域を切り出す、スライディングウィンドウが考えられる。しかしながら、この手法では、推定される膨大な数の候補領域について物体認識を行なう必要があるため、計算コストが高くなってしまう。
【０００６】
また、推定された候補領域が物体の一部しか含まない場合、物体以外の領域（物体とは関係のない背景、他の物体等）を多く含む場合等には、物体認識の誤認識、及び認識漏れにつながる（非特許文献３を参照）。
【０００７】
さらに、物体検出によるシームレスな情報提示には、処理のリアルタイム化も重要であることを鑑みると、物体候補領域推定は高速に動作する必要がある。
【０００８】
以上のことから、物体候補領域推定には、少ない数の候補領域で、かつ画像内の個々の物体を過不足なく含む候補領域を高速に推定することが求められる。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】R. Girshick, et al., Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation, in CVPR, 2014.
【非特許文献２】K. He, et al., Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition, in ECCV, 2014.
【非特許文献３】J. Hosang, et al., What Makes for Effective Detection Proposals?, IEEE Trans. on Pattern Analysis and Machine Intelligence, vol.38, no.4, 2016.
【非特許文献４】J. R. R. Uijings, et al., Selective Search for Object Recognition, Int. Journal on Computer Vision, vol.104, no.2, pp.154-171, 2013.
【非特許文献５】P. Arbelaez, et al., Multiscale Combinatorial Grouping. In CVPR, 2014.
【非特許文献６】R. Achanta, et al., SLIC Superpixels Compared to State-of-the-art superpixel Methods, IEEE Trans. on Pattern Analysis and Machine Intelligence, vol.34, no.11, pp.2274-2282, 2012.
【非特許文献７】C. Lawrence Zitnick et al., Edge Boxes: Locating Object Proposals from Edges, in ECCV, 2014.
【非特許文献８】B. Alexe, et al., Measuring the Objectness of Image Windows, IEEE Trans. on Pattern Analysis and Machine Intelligence, vol.24, no.11, pp.2189-2202, 2012.
【非特許文献９】A. Kanezaki, et al., 3D Selective Search for Obtaining Object Candidates, in IROS, 2015.
【非特許文献１０】J. Liu, et al., Depth-aware Layered Edge for Object Proposal, in ICME, 2016.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
公知の物体候補領域推定は、小領域を統合する方法（非特許文献４及び非特許文献５を参照）と、領域の物体らしさを計算する方法（非特許文献６及び非特許文献７を参照）に大別される。
【００１１】
小領域を統合する方法では、一例として図６に示すように、まず、Superpixel（非特許文献８を参照）等で生成された小領域について、色、大きさ等の画像特徴を抽出する。そして、画像特徴が類似する小領域同士を順次統合していき、その過程で生成された領域を候補領域として推定する。このような方法で候補領域を高精度に推定するためには、膨大な数の統合手順について、小領域からの特徴抽出及び類似度計算を行なう必要があり、多くの計算時間を必要とする。
【００１２】
一方、領域の物体らしさを計算する方法では、一例として図７に示すように、スライディングウィンドウで切り出された各領域について、その領域がどの程度物体を過不足なく含んでいるか（物体らしさ）を計算し、各領域を物体らしさの高い順にランキングし、物体らしさが上位の幾つかの領域を候補領域として出力する。多くの物体らしさ計算手法では、物体の境界に外接する領域程、物体らしさが高くなることを狙っており、領域縁部から抽出されたエッジやコントラスト等の画像境界情報から物体らしさを計算している。
【００１３】
しかしながらこの方法は、複数の物体を含む領域も物体の境界に外接する領域となるため、複数の物体を含んだ領域の物体らしさも高くなる。そのため、単一の物体を過不足なく含む領域を推定するためには、多くの候補領域を出力しなければならないという問題がある。
【００１４】
すなわち、複数の物体を含む領域の中央部には物体の境界が含まれるが、画像の境界には、物体の境界だけでなく、物体の模様から抽出された境界も含まれる。これによって、単一の物体を過不足なく含んでいる場合にも、領域中央部には物体の模様から抽出された画像境界が含まれる。そのため、領域中央部に含まれる画像の境界から、その領域が複数の物体を含んでいるのか否かを推定することが困難となっている。
【００１５】
以上のように、公知の物体候補領域推定手法で単一の物体を過不足なく含む領域を推定する場合、小領域を統合する方法では多くの計算量が必要であり、領域の物体らしさを計算する方法では単一の物体を正確に捉えられていない領域が多く含まれる、という問題があった。
【００１６】
また、より高精度な物体候補領域推定を実現するため、推定対象とする画像に加え、深度画像を活用した方法も提案されている。深度画像とは、可視光画像のある画素に対するカメラからの距離（深度）が埋め込まれた画像であり、深度センサ、ステレオカメラ等で取得することができる。
【００１７】
非特許文献９に開示されている技術は、小領域を統合する方法で深度画像を活用している。この方法では、小領域から抽出する特徴として画像から得られる特徴だけでなく、小領域の体積も計算することで、高精度化を図っている。しかしながら、画像のみを用いる場合同様、高精度な推定には膨大な数の小領域同士の組み合わせについて類似度を計算する必要があり、依然として多くの計算時間を要すると考えられる。
【００１８】
非特許文献１０で開示されている技術は、深度によって画像を複数のレイヤに分割し、各レイヤで物体らしさの計算を行なった結果を統合することで、距離の大きく異なる複数の物体が含まれる領域の発生を抑制している。しかしながら、物体らしさの算出には、画像境界のみを用いているため、同じレイヤに複数の物体が含まれる状況では依然として複数の物体を含む領域が多く推定されるため、単一物体を過不足なく含む領域を推定するためには、多くの候補領域を出力しなければならない、という問題がある。
【００１９】
このように、深度画像を活用した物体候補領域推定においても、推定対象とする画像のみを用いた場合と同様の課題が残されている。
【００２０】
本発明は、以上のような事情に鑑みてなされたものであり、画像内の単一の物体を過不足なく含む領域の候補である候補領域を、高速かつ少ない候補数で推定することができる物体候補領域推定装置、物体候補領域推定方法、及び物体候補領域推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２１】
上記目的を達成するために、本発明の物体候補領域推定装置は、可視光画像及び当該可視光画像に対応する深度画像を入力とし、前記可視光画像から、物体が写る領域の候補である複数の候補領域からなる候補領域群を推定する初期候補領域推定部と、前記深度画像に基づいて、前記候補領域に写るものが前記物体でないと判定した前記候補領域を、前記候補領域群から削除する候補領域削減部と、前記深度画像における画素間の深度変化に基づいて、前記候補領域削減部により削除されなかった前記候補領域の各々について、前記候補領域が単一の物体を捉えている度合いを示す物体らしさを推定する物体らしさ推定部と、前記候補領域削減部により削除されなかった前記候補領域の各々について、前記物体らしさ推定部により推定された前記物体らしさが高くなるように、前記候補領域の形状を補正する候補領域補正部と、を含む。
【００２２】
なお、前記物体らしさ推定部は、前記候補領域削減部により削除されなかった前記候補領域の各々について、前記深度画像に対するエッジ検出により抽出された深度境界に基づいて、前記候補領域の縁部の前記深度境界の密度が大きく、かつ前記候補領域の内部の前記深度境界の密度が小さいほど高くなる指標を用いて、前記物体らしさを推定するようにしても良い。
【００２３】
また、前記物体らしさＳ（ｒ）は、前記候補領域の縁部の領域をｒ１とし、前記候補領域の内部の領域をｒ２とし、φ（ｒ）を領域ｒにおける深度境界の密度とし、
2018180646.tif 000003
を標準シグモイド関数とすると、下記の式で表されるようにしても良い。
2018180646.tif 000004
【００２４】
また、前記候補領域削減部は、前記深度画像を用いて求められる前記候補領域に写るものの実空間上の大きさに基づいて前記候補領域に写るものが前記物体であるか否かを判定し、前記候補領域に写るものが前記物体でないと判定した前記候補領域を、前記候補領域群から削除するようにしても良い。
【００２５】
また、前記候補領域補正部は、前記候補領域削減部により削除されなかった前記候補領域の各々について、前記候補領域の形状を複数の変形方法により変形させた各々の形状の前記候補領域の前記物体らしさを推定し、推定した前記物体らしさが最も高い形状となるように前記候補領域の形状を補正するようにしても良い。
【００２６】
上記目的を達成するために、本発明の物体候補領域推定方法は、初期候補領域推定部と、候補領域削減部と、物体らしさ推定部と、候補領域補正部と、部とを有する物体候補領域推定装置における物体候補領域推定方法であって、前記初期候補領域推定部が、可視光画像及び当該可視光画像に対応する深度画像を入力とし、前記可視光画像から、物体が写る領域の候補である複数の候補領域からなる候補領域群を推定するステップと、前記候補領域削減部が、前記深度画像に基づいて、前記候補領域に写るものが前記物体でないと判定した前記候補領域を、前記候補領域群から削除するステップと、前記物体らしさ推定部が、前記深度画像における画素間の深度変化に基づいて、前記候補領域削減部により削除されなかった前記候補領域の各々について、前記候補領域が単一の物体を捉えている度合いを示す物体らしさを推定するステップと、前記候補領域補正部が、前記候補領域削減部により削除されなかった前記候補領域の各々について、前記物体らしさ推定部により推定された前記物体らしさが高くなるように、前記候補領域の形状を補正するステップと、を含む。
【００２７】
上記目的を達成するために、本発明の物体候補領域推定プログラムは、コンピュータを、上記物体候補領域推定装置の各部として機能させるためのプログラムである。
【発明の効果】
【００２８】
本発明によれば、画像内の単一の物体を過不足なく含む領域の候補である候補領域を、高速かつ少ない候補数で推定することが可能となる。
【図面の簡単な説明】
【００２９】
【図１】実施形態に係る物体候補領域推定装置の機能的な構成を示すブロック図である。
【図２】実施形態に係る物体らしさの推定方法について説明するための模式図である。
【図３】実施形態に係る候補領域の縁部の領域及び内部の領域を示す模式図である。
【図４】実施形態に係る物体候補領域推定処理の流れを示すフローチャートである。
【図５】実施形態に係る補正処理のサブルーチンの流れを示すフローチャートである。
【図６】従来の小領域を統合する方法について説明するための模式図である。
【図７】従来の領域の物体らしさを計算する方法について説明するための模式図である。
【発明を実施するための形態】
【００３０】
以下、本発明の実施形態について図面を用いて説明する。
【００３１】
図１は、第１実施形態に係る物体候補領域推定装置１０の機能的な構成を示すブロック図である。図１に示すように、第１実施形態に係る物体候補領域推定装置１０は、初期候補領域設定部１２、候補領域削減部１４、物体らしさ推定部１６、候補領域補正部１８、及び、候補領域記憶部２０を有している。
【００３２】
初期候補領域設定部１２は、可視光画像及び当該可視光画像に対応する深度画像を入力とし、可視光画像から、物体が写る領域の候補である複数の候補領域からなる候補領域群を推定する。本実施形態では、可視光画像における予め定められた複数の位置における、予め定められた大きさの複数の領域を候補領域とする。例えば、複数の候補領域は、可視光画像上で、予め定められた大きさの矩形状の枠（例えば、一辺が３００×４００［ｐｉｘｅｌ］）を予め定められた間隔（例えば、矩形の幅の５０％の間隔）で走査させることにより設定される。
【００３３】
候補領域削減部１４は、深度画像に基づいて、候補領域に写るものが物体でないと判定した候補領域を、候補領域群から削除する。
【００３４】
本実施形態では、候補領域削減部１４は、深度画像を用いて求められる候補領域に写るものの実空間上の大きさに基づいて候補領域に写るものが物体であるか否かを判定し、候補領域に写るものが物体でないと判定した候補領域を、候補領域群から削除する。このように、候補領域群から物体を捉えられていない候補領域を削除することにより、推定結果として出力する候補領域における、物体を捉えた領域の割合をより高めることができる。
【００３５】
具体的には、候補領域削減部１４は、候補領域の各々について、深度画像から候補領域の実空間上での大きさを算出し、物体の大きさとして事前に設定された大きさの範囲を逸脱する候補領域を、候補領域群から削除する。例えば、実空間上での領域の高さで制限を設ける場合、領域ｒの実空間上での高さｒｈ’は、下記（１）式により算出可能である。
【００３６】
【数１】
2018180646.tif 000005
…（１）
【００３７】
ここで、ｒｄは領域ｒ内の深度の代表値であり、例えば、領域内の深度の中央値等を用いる。また、ｒｈは領域ｒの画像上での高さであり、ｆｙはカメラの内部パラメータにおける、鉛直方向の画素単位の焦点距離であり、カメラキャリブレーションにより取得する。
【００３８】
物体らしさ推定部１６は、深度画像における画素間の深度変化に基づいて、候補領域削減部１４により削除されなかった候補領域の各々について、候補領域が単一の物体を過不足なく捉えている度合いを示す物体らしさを推定する。
【００３９】
本実施形態では、一例として図２に示すように、入力した可視光画像３０に対応する深度画像３２に基づいて、深度画像３２に対してエッジ検出（例えば、下記参考文献１を参照）を行うことにより、可視光画像３０における深度の境界を表す深度境界画像３４を生成する。深度画像３２に対してエッジ検出では、画素間の深度の変化が大きな点（例えば、画素間の深度の変化が予め定めた閾値以上である点）が深度の境界として検出される。
【００４０】
そして、物体らしさ推定部１６は、深度境界画像３４に基づいて、候補領域の各々に対し、一例として図３に示すように、候補領域３５の縁部の領域ｒ１に深度境界が多く、かつ候補領域の内部の領域ｒ２に深度境界が少ない領域ほど、物体らしいという物体らしさの指標を算出するために、候補領域３５の縁部の領域ｒ１における深度境界の密度及び候補領域３５の内部の領域ｒ２における深度境界の密度を用いて、物体らしさを推定する。
【００４１】
ここで、物体らしさは、候補領域の縁部の深度境界の密度が大きく、かつ候補領域の内部の深度境界の密度が小さいほど高くなる指標を用いて表される。なお、本実施形態では、物体らしさ推定部１６は、下記（２）式で定義された物体らしさＳ（ｒ）を推定する。
【００４２】
【数２】
2018180646.tif 000006
…（２）
【００４３】
上記（２）式におけるφ（・）はある領域における深度境界の密度であり、密度φ（ｒ）は常に０以上となるため、標準シグモイド関数
2018180646.tif 000007
で［０．５，１］の範囲に正規化されている。
【００４４】
物体らしさの算出回数は候補領域の数に比例して増大する。しかしながら、事前に深度画像の積分画像（例えば、下記参考文献２を参照）を計算しておくことで、深度境界の密度の計算が任意の領域について高速に算出可能であるため、物体らしさの計算を高速に行なうことができる。
【００４５】
［参考文献１］J. Canny, A Computational Approach to Edge Detection, IEEE Trans. on Pattern Analysis and Meachine Inteligence, vol.8, no.6, pp.679-698, 1986.
【００４６】
［参考文献２］F. C. Crow, Summed-Area Tables for Texture Mapping, in SIGGRAPH, 1984.
【００４７】
候補領域補正部１８は、候補領域削減部１４により削除されなかった候補領域の各々について、物体らしさ推定部１６により推定された物体らしさが高くなるように、候補領域の形状を補正する。
【００４８】
本実施形態では、候補領域補正部１８は、候補領域削減部１４により削除されなかった候補領域の各々について、候補領域の形状を複数の変形方法により変形させた各々の形状の候補領域の物体らしさを推定し、推定した物体らしさが最も高い形状となるように候補領域の形状を補正する。また、候補領域補正部１８は、形状を補正した候補領域を示すデータを候補領域記憶部２０に記憶させる。このように、各候補領域が個々の物体をより正確に捉えるよう、候補領域群に含まれる各候補領域の位置、形状等をより物体らしさが高くなるように補正し、物体らしさで順位付けされた候補領域を最終的な推定結果として出力する。
【００４９】
このとき、候補領域の形状として考え得る全ての形状のうち、最も物体らしさが高くなる形状を選択して補正を行うことも可能であるが、その場合には、膨大な回数の物体らしさを算出する必要があり計算コストが高くなってしまう。
【００５０】
そのため、例えば、候補領域の形状を貪欲に探索することが考えられる。具体的には、候補領域の補正幅を予め定めた値（例えば、領域幅の５０％等）とし、候補領域の各辺を補正幅分、上下又は左右に増減させた中で最も物体らしさの高い形状となるように候補領域を補正する。その後、補正幅を予め定めた量（例えば、現在定められている補正幅の５０％）だけ減らし、さらに物体らしさの高い形状となるように候補領域に補正する、という動作を補正幅が予め定めた閾値以下となるまで繰り返すことで、物体らしさ計算回数を抑制しながら候補領域の補正を行なうことができる。
【００５１】
なお、出力される候補領域は、任意の形状（多角形、楕円等）の領域とすることができるが、本実施形態では、簡単のため、矩形上の領域として出力されるものとする。
【００５２】
本実施形態に係る物体候補領域推定装置１０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、各種プログラムを記憶するＲＯＭ（Read Only Memory）を備えたコンピュータ装置で構成される。また、物体候補領域推定装置１０を構成するコンピュータは、ハードディスクドライブ、不揮発性メモリ等の記憶部を備えていても良い。本実施形態では、ＣＰＵがＲＯＭ、ハードディスク等の記憶部に記憶されているプログラムを読み出して実行することにより、上記のハードウェア資源とプログラムとが協働し、上述した機能が実現される。
【００５３】
本実施形態に係る物体候補領域推定装置１０による物体候補領域推定処理の流れを、図４に示すフローチャートを用いて説明する。本実施形態では、物体候補領域推定装置１０に、物体候補領域推定処理の実行を開始するための予め定めた情報が入力されたタイミングで物体候補領域推定処理が開始されるが、物体候補領域推定処理が開始されるタイミングはこれに限らず、例えば、可視光画像及び深度画像が入力されたタイミングで物体候補領域推定処理が開始されても良い。
【００５４】
ステップＳ１０１では、初期候補領域設定部１２が、可視光画像及び当該可視光画像に対応する深度画像の入力を受け付け、可視光画像から、複数の候補領域からなる候補領域群を推定する。
【００５５】
ステップＳ１０３では、候補領域削減部１４が、深度画像に基づいて、候補領域に写るものが物体でないと判定した候補領域を、候補領域群から削除する。
【００５６】
ステップＳ１０５では、物体らしさ推定部１６が、深度画像における画素間の深度変化に基づいて、候補領域削減部１４により削除されなかった候補領域の各々について、物体らしさを推定する。
【００５７】
ステップＳ１０７では、候補領域補正部１８が、候補領域削減部１４により削除されなかった候補領域の各々について、物体らしさ推定部１６により推定された物体らしさが高くなるように、候補領域の形状を補正する補正処理を行う。
【００５８】
ステップＳ１０９では、候補領域補正部１８が、形状が補正された候補領域を示すデータを出力し、本物体候補領域推定処理のプログラムの実行を終了する。なお、本実施形態では、形状が補正された候補領域を示すデータをディスプレイ等の表示手段に表示させたり、形状が補正された候補領域を示すデータを外部装置に送信したり、形状が補正された候補領域を示すデータを記憶手段に記憶させたりすることにより、形状が補正された候補領域を示すデータを出力する。
【００５９】
次に、本実施形態に係る物体候補領域推定装置１０による上述した補正処理のサブルーチンの流れを、図５に示すフローチャートを用いて説明する。なお、図５に示すフローチャートは、候補領域の各々について実行される。
【００６０】
ステップＳ２０１では、候補領域補正部１８が、候補領域の形状を複数の変形方法により複数の形状に変形させる。本実施形態では、候補領域の各辺を、予め定めた補正幅で、増加又は減少させる場合について説明するが、これに限らない。候補領域の形状の変形方法としては、例えば、候補領域を予め定めた比率で、増加又は減少させる方法等が挙げられる。
【００６１】
ステップＳ２０３では、候補領域補正部１８が、変形させた各々の形状の候補領域の物体らしさを推定する。
【００６２】
ステップＳ２０５では、候補領域補正部１８が、推定した物体らしさが最も高い形状となるように候補領域の形状を補正し、形状を補正した候補領域を示すデータを候補領域記憶部２０に記憶させる。
【００６３】
ステップＳ２０７では、候補領域補正部１８が、候補領域の各辺の補正幅が予め定めた閾値以下であるか否かを判定する。ここでいう予め定めた閾値は、どの程度細かな補正を行なうかを示す値であり、例えば、ユーザにより予め入力された値である。
【００６４】
ステップＳ２０７で候補領域の各辺の補正幅が閾値以下でないと判定した場合（Ｓ２０７，Ｎ）はステップＳ２０９に移行する。また、ステップＳ２０７で候補領域の各辺の補正幅が閾値以下であると判定した場合は、本補正処理のプログラムの実行を終了する。
【００６５】
ステップＳ２０９では、候補領域補正部１８が、候補領域の各辺の補正幅を減少させて、ステップＳ２０１に移行する。
【００６６】
このように、本実施形態では、可視光画像及び当該可視光画像に対応する深度画像を入力とし、可視光画像から、複数の候補領域からなる候補領域群が推定される。また、深度画像に基づいて、候補領域に写るものが物体でないと判定した候補領域が、候補領域群から削除される。また、深度画像における画素間の深度変化に基づいて、削除されなかった候補領域の各々について、候補領域が単一の物体を捉えている度合いを示す物体らしさが推定される。そして、削除されなかった候補領域の各々について、物体らしさが高くなるように、候補領域の形状が補正される。
【００６７】
この際、候補領域に写っているものの物体らしさを算出する際に用いる、候補領域内の深度境界の数を、候補領域に対するエッジ検出を行うことにより算出すること、及び、候補領域内の画素の和を積分画像を用いて高速で計算することにより、物体らしさを高速で算出することができる。
【００６８】
以上のように、本実施形態によると、可視光画像に写った各々の物体の境界に外接し、かつ物体の境界を内部に含まない領域、つまり、単一の物体を過不足なく含む候補領域を、高速かつ少ない候補数で推定することが可能となる。
【００６９】
なお、本実施形態では、図１に示す機能の構成要素の動作をプログラムとして構築し、物体候補領域推定装置１０として利用されるコンピュータにインストールして実行させるが、これに限らず、ネットワークを介して流通させても良い。
【００７０】
また、構築されたプログラムをハードディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールしたり、配布したりしても良い。
【符号の説明】
【００７１】
１０  物体候補領域推定装置
１２  初期候補領域設定部
１４  候補領域削減部
１６  物体らしさ推定部
１８  候補領域補正部
２０  候補領域記憶部
【図１】
2018180646.tif 000010
【図２】
2018180646.tif 000011
【図３】
2018180646.tif 000012
【図４】
2018180646.tif 000013
【図５】
2018180646.tif 000014
【図６】
2018180646.tif 000015
【図７】
2018180646.tif 000016