(57)【要約】【課題】精度よく、単一の物体を捉えている度合いを示す物体らしさを推定することができるようにする。【解決手段】エッジ検出部３０が、深度画像に対してエッジ検出を行い、エッジ密度・均一性算出部４０が、候補領域の縁部のエッジ密度と、候補領域の内部のエッジ密度と、候補領域の縁部のエッジ均一性とを算出する。物体らしさ算出部４２が、候補領域の縁部のエッジ密度と、候補領域の内部のエッジ密度と、候補領域の縁部のエッジ均一性とに基づいて、候補領域の前記物体らしさを算出する。【選択図】図２
2019211914.tif 000002
【特許請求の範囲】
【請求項１】
入力された深度画像内の、物体が写る領域の候補である候補領域について、単一の物体を捉えている度合いを示す物体らしさを推定する物体らしさ推定装置であって、
前記深度画像のエッジを検出するエッジ検出を行うエッジ検出部と、
前記エッジ検出部によって検出されたエッジに基づいて、前記候補領域の縁部のエッジ密度、前記候補領域の内部のエッジ密度、及び前記候補領域の縁部のエッジ均一性を算出するエッジ密度・均一性算出部と、
前記エッジ密度・均一性算出部によって算出された、前記候補領域の縁部のエッジ密度、前記候補領域の内部のエッジ密度、及び前記候補領域の縁部のエッジ均一性に基づいて、前記候補領域の前記物体らしさを算出する物体らしさ算出部と、
を含む物体らしさ推定装置。
【請求項２】
前記エッジ検出部によって検出されたエッジに基づくエッジ画像の積分画像を生成する積分画像生成部を更に含み、
前記エッジ密度・均一性算出部は、前記積分画像に基づいて、前記候補領域の縁部のエッジ密度、前記候補領域の内部のエッジ密度、及び前記候補領域の縁部のエッジ均一性を算出する請求項１記載の物体らしさ推定装置。
【請求項３】
前記候補領域の深度情報から推定される大まかな形状に応じて、前記エッジ密度・均一性算出部による算出及び前記物体らしさ算出部による算出を行うか否かを判定する形状判定部を更に含む請求項１又は２記載の物体らしさ推定装置。
【請求項４】
前記形状判定部は、
前記候補領域の内部の深度の平均が前記候補領域の縁部の深度の平均を一定以上上回る場合、又は、前記深度画像の前記候補領域内から抽出されるエッジの数が一定以下となる場合に、前記エッジ密度・均一性算出部による算出及び前記物体らしさ算出部による算出を行わないと判定する請求項３記載の物体らしさ推定装置。
【請求項５】
前記エッジ密度・均一性算出部は、前記候補領域の縁部のエッジ密度、及び前記候補領域の内部のエッジ密度を算出し、
前記候補領域の縁部を任意の数の領域に分割した際の各領域のエッジ密度の分散により、前記エッジ均一性を算出する請求項１〜請求項４の何れか１項記載の物体らしさ推定装置。
【請求項６】
前記物体らしさ算出部は、前記候補領域の縁部のエッジ密度が高く、かつ、前記候補領域の内部のエッジ密度が低いほど、前記物体らしさが高く、
前記候補領域の縁部のエッジが均一であるほど、前記物体らしさが高くなるように算出する請求項１〜請求項５の何れか１項記載の物体らしさ推定装置。
【請求項７】
入力された深度画像内の、物体が写る領域の候補である候補領域について、単一の物体を捉えている度合いを示す物体らしさを推定する物体らしさ推定装置における物体らしさ推定方法であって、
エッジ検出部が、前記深度画像のエッジを検出するエッジ検出を行い、
エッジ密度・均一性算出部が、前記エッジ検出部によって検出されたエッジに基づいて、前記候補領域の縁部のエッジ密度、前記候補領域の内部のエッジ密度、及び前記候補領域の縁部のエッジ均一性を算出し、
物体らしさ算出部が、前記エッジ密度・均一性算出部によって算出された、前記候補領域の縁部のエッジ密度、前記候補領域の内部のエッジ密度、及び前記候補領域の縁部のエッジ均一性に基づいて、前記候補領域の前記物体らしさを算出する
物体らしさ推定方法。
【請求項８】
コンピュータを、請求項１〜請求項６の何れか１項記載の物体らしさ推定装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体らしさ推定装置、方法、およびプログラムに関し、特に、画像中の候補領域の物体らしさを推定する物体らしさ推定装置、方法、およびプログラムに関する。
【背景技術】
【０００２】
物体らしさ推定とは、入力された画像中の領域がどの程度過不足無く単一の物体を含んでいるかを推定する技術であり、画像中から単一の物体が含まれていそうな領域を推定する物体候補領域推定技術の中核を担う処理として広く用いられている（非特許文献１）。
【０００３】
物体候補領域推定技術は、画像中に写る物体の種類と位置を推定する物体検出の前処理として用いられる技術であり、例えば、非特許文献２では、物体候補領域推定により推定された各候補領域について物体認識（物体の種類推定）を行なうというフレームワークで物体検出を行なっている。上記の技術により、スマートフォンやロボットに搭載されたカメラから物体検出ができれば、ユーザに対する物体の種類や位置に応じた直感的な情報提示や、ロボットによる周囲環境の把握といったシステム実現に大きく貢献できると考えられる。
【０００４】
物体らしさ推定を用いた物体候補領域推定では、一般に、画像からスライディングウィンドウ等で切出された各領域（矩形）について物体らしさを算出し、物体らしさの高い順に幾つかの領域を候補領域として出力する（図８参照）。このとき、物体を正確に捉えていない領域の物体らしさが高く算出されると、画像中に含まれる物体を網羅するために、物体を正確に捉えていない余分な候補領域も多く出力しなければならなくなる。余分な候補領域が推定されることは、後段の物体認識回数の増加による物体検出処理の計算コスト増加や、物体以外を含む領域（物体と関係のない背景や他の物体等）が物体認識に入力されることによる、誤認識、認識漏れの発生につながる。また、物体らしさの算出は画像から網羅的に切出された各領域について発生することを鑑みると、物体検出によるシームレスな情報提示や周囲環境の把握を実現するためには、物体らしさは高速に算出可能である必要がある。以上のことから、物体らしさ推定には、正確かつ高速な単一の物体を過不足なく含んでいる度合の算出が求められる。さらに、ロボット等のシステムが未知物体（障害物等）を扱うことを考慮する場合、物体らしさ推定は学習データを必要としない（対象物体を教師データに含まれるものに限定しない）アルゴリズムであることが望ましい。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】J. Hosang, et al., "What Makes for Effective Detection Proposals?," IEEE Trans. on Pattern Analysis and Machine Intelligence, vol.38, no.4, 2016.
【非特許文献２】K. He, et al., "Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition," in ECCV, 2014.
【非特許文献３】C. L. Zitnick, et al., "Edge boxes: locating object proposals from edges," in ECCV, 2014.
【非特許文献４】B. Alexe, et al., "What is an object?," in CVPR, 2010.
【非特許文献５】J. Liu, et al., “Depth-aware layered edge for object proposal,” in ICME, 2016.
【非特許文献６】細野ら, “深度境界を用いた多数物体が写る画像からのObject Proposal,” 3次元画像コンファレンス，2017.
【非特許文献７】X. Xu, et al., “Adaptive integration of depth and color for objectness estimation,” in ICME, 2014.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
公知の物体らしさ推定手法のうち特に性能の高いものは、可視光画像にエッジ検出やスーパーピクセル分割を施すことで得られた画像境界の情報を手がかりとして物体らしさを推定している。例えば、非特許文献３では、物体の全貌を正確に捉えた領域は“検出されたエッジをグルーピングして得られる画像境界を極力跨がない”という仮定のもと、物体らしさを算出する方法が提案されている。また、非特許文献４では、物体らしさの指標の一つとして、領域がスーパーピクセルを跨いでいないほど物体らしいという指標を採用している。上記の手法は、得られた画像境界の多くが“物体と物体の間に生じる境界”（物体境界）に対応していることを暗に仮定している。しかし、上記の手法で得られた画像境界は、物体間の境界だけでなく、物体の模様から生じる境界も含んでいる。一般的に、可視光画像から物体間の境界と模様から生じる境界とを弁別することは容易ではない。公知の手法にもそのような機構は含まれていないため、模様から生じる境界を捉えた領域、すなわち、個々の物体を過不足無く捉えられていない領域の物体らしさも高くなる場合がある。
【０００７】
上記の課題を解決するアプローチの一つとして、物体間の境界の変化には反応し、一方で模様の変化には依存しない撮像手法で取得された画像の利用が考えられる。例えば深度センサを使用すれば、物体と物体の間には大きな深度差が生じることが多く、また個々の物体内部には深度差は生じない、あるいは小さな深度差しか生じないと考えられる。そのため、深度画像から検出されたエッジを公知の手法（例えば、非特許文献３、非特許文献４）に適用すれば、より正確に物体らしさを推定できると考えられる。しかしながら、この場合でも、依然単一の物体を正確に捉えていない領域の物体らしさが高く推定される場合がある。これは、公知の手法での、領域が画像境界を跨がない程、物体を正確に捉えている領域であるという指標が、複数の物体を含む領域においても成立してしまうからである。
【０００８】
また、深度画像を活用した物体らしさの推定手法も存在する。例えば、非特許文献５に記載の方法では、深度によって画像を複数のレイヤに分割し、各レイヤで物体らしさの計算を行なった結果を統合することで、距離の大きく異なる複数の物体が含まれる領域の発生を抑制している。しかしながら、物体らしさの算出には、可視光画像から検出されたエッジのみを用いているため、同じレイヤに複数の物体が含まれる状況では依然として複数の物体を含む領域の物体らしさが高くなってしまう。また、非特許文献６では、単一の物体を過不足なく含む領域は、領域の縁部に深度画像から検出されたエッジ（深度エッジ）を多く含み、かつ中央部に深度エッジを含まないような領域であると仮定し物体らしさを推定している。しかしながら、上記の仮定が満たされる場合でも、図９のように、領域の縁部に隣接する他の物体から抽出された深度エッジを捉えることが出来るため、他の物体も一部捉えた領域の物体らしさが高くなってしまう場合がある。非特許文献７では、可視光画像と深度画像それぞれから算出された勾配情報を用いて物体らしさを学習する方法が提案されているが、学習データに含まれていない物体やシーンを捉えた画像では物体らしさが正しく推定できない場合があると考えられる。以上のように、深度画像を活用した方式にも、依然、個々の物体を過不足無く捉えていない領域の物体らしさが高くなる、もしくは、学習データの存在を前提としているという課題がある。
【０００９】
本発明はこの課題に鑑みてなされたものであり、精度よく、候補領域の物体らしさを推定することができる物体らしさ推定装置、方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る物体らしさ推定装置は、入力された深度画像内の、物体が写る領域の候補である候補領域について、単一の物体を捉えている度合いを示す物体らしさを推定する物体らしさ推定装置であって、前記深度画像のエッジを検出するエッジ検出を行うエッジ検出部と、前記エッジ検出部によって検出されたエッジに基づいて、前記候補領域の縁部のエッジ密度、前記候補領域の内部のエッジ密度、及び前記候補領域の縁部のエッジ均一性を算出するエッジ密度・均一性算出部と、前記エッジ密度・均一性算出部によって算出された、前記候補領域の縁部のエッジ密度、前記候補領域の内部のエッジ密度、及び前記候補領域の縁部のエッジ均一性に基づいて、前記候補領域の前記物体らしさを算出する物体らしさ算出部と、を含んで構成される。
【００１１】
また、本発明に係る物体らしさ推定方法は、入力された深度画像内の、物体が写る領域の候補である候補領域について、単一の物体を捉えている度合いを示す物体らしさを推定する物体らしさ推定装置における物体らしさ推定方法であって、エッジ検出部が、前記深度画像のエッジを検出するエッジ検出を行い、エッジ密度・均一性算出部が、前記エッジ検出部によって検出されたエッジに基づいて、前記候補領域の縁部のエッジ密度、前記候補領域の内部のエッジ密度、及び前記候補領域の縁部のエッジ均一性を算出し、物体らしさ算出部が、前記エッジ密度・均一性算出部によって算出された、前記候補領域の縁部のエッジ密度、前記候補領域の内部のエッジ密度、及び前記候補領域の縁部のエッジ均一性に基づいて、前記候補領域の前記物体らしさを算出する。
【００１２】
本発明に係るプログラムは、コンピュータを、上記の物体らしさ推定装置の各部として機能させるためのプログラムである。
【発明の効果】
【００１３】
本発明の物体らしさ推定装置、方法、及びプログラムによれば、前記候補領域の縁部のエッジ密度と、前記候補領域の内部のエッジ密度と、前記候補領域の縁部のエッジ均一性とに基づいて、前記候補領域の前記物体らしさを算出することにより、精度よく、単一の物体を捉えている度合いを示す物体らしさを推定することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明に係る物体らしさ推定装置の処理の概要を示す図である。
【図２】本発明の第１の実施の形態に係る物体らしさ推定装置の構成を示すブロック図である。
【図３】エッジ密度の算出方法を説明するための図である。
【図４】エッジ均一性の算出方法を説明するための図である。
【図５】本発明の第１の実施の形態に係る物体らしさ推定装置の物体らしさ推定処理ルーチンを示すフローチャートである。
【図６】本発明の第２の実施の形態に係る物体らしさ推定装置の構成を示すブロック図である。
【図７】本発明の第１の実施の形態に係る物体らしさ推定装置の物体らしさ推定処理ルーチンを示すフローチャートである。
【図８】従来の物体らしさ推定の一例を示す図である。
【図９】従来の物体らしさ推定による失敗例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について図面を用いて説明する。
【００１６】
＜本発明の実施の形態の概要＞
本発明の実施の形態では、深度画像を活用し、かつ、単一の物体が過不足なく含まれるときのみ物体らしさが高くなるような物体らしさを高速かつ学習データを用いずに推定可能な、物体らしさ推定装置について説明する。単一の物体を過不足なく含む領域は物体境界に外接するような領域となると考えられる。上記非特許文献６ではそのような領域を、領域縁部の深度エッジ密度が高く、領域中央部の深度エッジ密度が低い領域であると定義し、エッジ密度に基づき物体らしさを推定していたが、この方法では、前述したように、他の物体も一部捉えた領域の物体らしさが高く推定される場合がある。本発明の実施の形態では、単一の物体から検出される物体境界は一般に閉ループを形成するため、物体境界に外接する領域であれば、領域縁部には、深度エッジが多く含まれるだけでなく、深度エッジが均一に分布するはずであることに着目し、物体らしさを定義する（図１参照）。これにより、領域が単一の物体を過不足なく含んだときのみ、物体らしさが高くなることを狙う。また、深度エッジの均一性は、領域縁部を複数に分割した各領域の深度エッジ密度の分散に基づき算出する。ある領域のエッジ密度は積分画像を用いることで高速に計算可能であるため、領域のエッジ密度およびその均一性に基づいて物体らしさを推定する、本実施の形態の方式は、高速に物体らしさを推定可能である。
【００１７】
さらに、深度画像から得られる領域の大まかな形状に基づき、明らかに物体の全貌を捉えていない領域（凹や平面となっている領域）について、物体らしさの計算を打ち切る手段も備えることで、より高速に物体らしさを推定可能となることが見込める。
【００１８】
［第１の実施の形態］
＜本発明の第１の実施の形態に係る物体らしさ推定装置の構成＞
本発明の第１の実施の形態に係る物体らしさ推定装置の構成について説明する。図２は、第１の実施の形態に係る物体らしさ推定装置の構成を示すブロック図である。
【００１９】
第１の実施の形態に係る物体らしさ推定装置１０は、入力部１２と、演算部１４と、出力部１６とを備えて構成される。
【００２０】
入力部１２は、物体らしさを算出したい領域が含まれる深度画像と、物体が写る領域の候補である候補領域（矩形）とを、入力として受け付ける。
【００２１】
演算部１４は、ＣＰＵと、ＲＡＭと、後述する物体らしさ推定処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。演算部１４は、事前処理部２０と、物体らしさ推定部２２とを備えて構成される。
【００２２】
事前処理部２０は、物体らしさを算出したい領域が含まれる深度画像を入力とする。事前処理部２０は、入力された深度画像ついてエッジ検出を行うエッジ検出部３０と、深度エッジ画像の積分画像を生成する積分画像生成部３２とを備えている。積分画像を生成することにより、事前処理部２０に入力された深度画像中の任意の領域について、物体らしさを高速に計算可能となることが見込める。
【００２３】
物体らしさ推定部２２は、事前処理部２０で生成された積分画像を用いてエッジ密度と均一性を算出するエッジ密度・均一性算出部４０と、エッジ密度と均一性のスコアを統合することで、入力された候補領域に対する物体らしさを出力する物体らしさ算出部４２とを備えている。
【００２４】
以降、各部で行なわれる処理について詳説する。
【００２５】
エッジ検出部３０は、入力された深度画像にエッジ検出（例えば、参考文献１を参照）を施すことで、深度エッジ画像を生成する。また、深度画像に欠損値がある場合は、欠損領域からも深度エッジが検出される場合があるため、事前に欠損値を最近傍の非欠損値により補間する等してもよい。
【００２６】
積分画像生成部３２は、参考文献２に示されている手段により深度エッジ画像の積分画像を生成する。具体的には、積分画像Sのある位置(u,v)に対する画素値S(u,v)は下記式で定義される。
【００２７】
【数１】
2019211914.tif 000003
【００２８】
ここで、E(i,j)は入力されたエッジ画像Eのある位置(i,j)の画素値（エッジ尤度）を表す。
【００２９】
エッジ密度・均一性算出部４０は、入力された候補領域に対して、領域縁部・内部の深度エッジの密度と領域縁部のエッジの均一性とを算出する。領域の縁部・内部は、領域の高さ、幅に基づき設定される。例えば、領域の高さ、幅をそれぞれα倍(0<α<1)した矩形を候補領域中央に配置した際の領域を内部、それ以外の領域を縁部として設定することが考えられる。また、ある矩形領域bに対するエッジ密度φは、例えば下記式で算出することが考えられる。
【００３０】
【数２】
2019211914.tif 000004
【００３１】
ここで、ｂw,ｂhは矩形領域の高さと幅を示し、（ｐ，ｑ）∈ｂは矩形領域中の画素の位置を表す。さらに、кは矩形の大きさによる正規化の度合いを調整するパラメータである。上記の例では矩形領域内のエッジ尤度の総和を矩形領域の周辺長で正規化しているが、矩形領域の面積で正規化してもよい。また、矩形領域内のエッジ画像の画素値の総和である
2019211914.tif 000005
は積分画像を用いることで、下記式のように、矩形領域内の全画素値を参照することなく高速に算出可能である。
【００３２】
【数３】
2019211914.tif 000006
【００３３】
ここで、ｂt，ｂu，ｂl，ｂrはそれぞれ、矩形領域の上辺のy座標、下辺のy座標、左辺のx座標、右辺のx座標を表す。上記の手段により領域縁部ｂoutと内部ｂinのエッジ密度φ（ｂout）、φ（ｂin）を算出する。このとき、領域の縁部と内部は、図３のように分割される。
【００３４】
また、領域縁部のエッジの均一性は、図４のように、K分割された領域縁部のエッジ密度の分散により定義する。例えば、下記式を用いてエッジの均一性ｕ（ｂout）を算出する。
【００３５】
【数４】
2019211914.tif 000007
【００３６】
ここで、ｂioutはｂoutが分割された各領域を表し、
2019211914.tif 000008
は分割された各領域のエッジ密度の平均を表す。
【００３７】
物体らしさ算出部４２は、エッジ密度・均一性算出部４０により算出された領域縁部、内部の深度エッジ密度φ（ｂout）、φ（ｂin）および領域縁部の深度エッジの均一性ｕ（ｂout）を用いて、領域縁部のエッジ密度が高く、かつ領域内部のエッジ密度が低いほど、物体らしさが高く、また、領域縁部のエッジが均一であるほど物体らしさが高くなるよう、物体らしさを算出する。例えば、下記式のように、エッジ密度とエッジの均一性から算出されるスコアを重みwにより統合することで、候補領域を、矩形領域bとして、物体らしさＳ（ｂ）を算出し、出力部１６により出力する。
【００３８】
【数５】
2019211914.tif 000009
【００３９】
ここで、
2019211914.tif 000010
は標準シグモイド関数であり、
2019211914.tif 000011
で定義される。
【００４０】
［参考文献１］P. Doll´ar and C. L. Zitnick, Structured forests for fast edge detection, in ICCV, 2013.
【００４１】
［参考文献２］F. C. Crow, Summed-area tables for texture mapping, in SIGGRAPH, 1984.
【００４２】
＜本発明の第１の実施の形態に係る物体らしさ推定装置の作用＞
次に、第１の実施の形態に係る物体らしさ推定装置１０の作用について説明する。
【００４３】
図５は、第１の実施の形態に係る物体らしさ推定装置１０の物体らしさ推定処理ルーチンを示すフローチャートである。
【００４４】
物体らしさを算出したい領域が含まれる深度画像と、物体らしさを算出したい候補領域（矩形）とが入力されると、演算部１４において、図５に示す物体らしさ推定処理ルーチンが実行される。
【００４５】
まず、ステップＳ１００において、エッジ検出部３０は、入力された深度画像にエッジ検出を施すことで、深度エッジ画像を生成する。
【００４６】
ステップＳ１０２において、積分画像生成部３２は、深度エッジ画像の積分画像を生成する。
【００４７】
ステップＳ１０４において、エッジ密度・均一性算出部４０は、入力された候補領域に対して、領域縁部・内部の深度エッジの密度を算出する。
【００４８】
ステップＳ１０６において、エッジ密度・均一性算出部４０は、入力された候補領域に対して、領域縁部のエッジの均一性を算出する。
【００４９】
ステップＳ１０８において、物体らしさ算出部４２は、エッジ密度・均一性算出部４０により算出された領域縁部、内部の深度エッジ密度φ（ｂout）、φ（ｂin）および領域縁部の深度エッジの均一性ｕ（ｂout）を用いて、候補領域の物体らしさを算出し、出力部１６により出力して、物体らしさ推定処理ルーチンを終了する。
【００５０】
以上説明したように、第１の実施の形態に係る物体らしさ推定装置によれば、候補領域の縁部のエッジ密度と、候補領域の内部のエッジ密度と、候補領域の縁部のエッジ均一性とに基づいて、候補領域の前記物体らしさを算出することにより、精度よく、かつ、学習データを用いずに、単一の物体を捉えている度合いを示す物体らしさを推定することができる。
【００５１】
また、深度エッジ画像の積分画像を生成することにより、単一の物体が過不足なく含まれる時のみ物体らしさが高くなるような物体らしさを高速に推定することができる。
【００５２】
［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００５３】
第２の実施の形態では、形状判定部が追加されている点が、第１の実施の形態と異なっている。
【００５４】
＜第２の実施の形態の概要＞
第２の実施の形態では、領域内の深度情報に基づき推定される大まかな形状（凹か凸か等）により、以降の物体らしさ推定を行うかどうかを判定する。これにより、一般に物体の全貌を捉えていないと考えられる形状（凹形状等）の領域について物体らしさの算出を省略でき、より高速な物体らしさ推定が可能となることが見込める。
【００５５】
＜本発明の第２の実施の形態に係る物体らしさ推定装置の構成＞
図６に示すように、第２の実施の形態に係る物体らしさ推定装置２１０の演算部２１４は、事前処理部２０と、物体らしさ推定部２２２とを備えて構成され、物体らしさ推定部２２２は、候補領域の深度情報から推定される大まかな形状に応じて、エッジ密度・均一性算出部４０によるエッジ密度・均一性の算出及び物体らしさ算出部４２による物体らしさの算出を行うか否かを判定する形状判定部２３８と、エッジ密度・均一性算出部４０と、物体らしさ算出部４２とを備えている。
【００５６】
形状判定部２３８は、候補領域（矩形）内の深度情報（深度画像や深度エッジ画像）から大まかな形状を推定し、物体の全貌を捉えていないと考えられる形状については、以降のエッジ密度・均一性算出部４０によるエッジ密度・均一性の算出及び物体らしさ算出部４２による物体らしさの算出を打ち切る。これにより、効率的に物体らしさの推定を行う。判定する形状には、例えば、領域の凹凸が考えられる。一般に物体は大まかに凸な形状であるため、候補領域縁部の深度の平均が候補領域内部の深度の平均を一定以上回る場合、その領域が凹であるとし、以降のエッジ密度・均一性算出部４０によるエッジ密度・均一性の算出及び物体らしさ算出部４２による物体らしさの算出を打ち切る。また、候補領域中の深度エッジの数がごく少数である場合も、壁や地面等平面的な物体の一部のみを捉えた領域であると考えられるため、候補領域内の深度エッジの総和が一定以下となった場合も、以降のエッジ密度・均一性算出部４０によるエッジ密度・均一性の算出及び物体らしさ算出部４２による物体らしさの算出を打ち切る。
【００５７】
＜本発明の第２の実施の形態に係る物体らしさ推定装置の作用＞
図７は、第２の実施の形態に係る物体らしさ推定装置２１０の物体らしさ推定処理ルーチンを示すフローチャートである。第２の実施の形態の物体らしさ推定処理について、第１の実施の形態の物体らしさ推定処理と同一の処理については、同一の符号を付して詳細な説明を省略する。
【００５８】
まず、ステップＳ１００において、エッジ検出部３０は、入力された深度画像にエッジ検出を施すことで、深度エッジ画像を生成する。
【００５９】
ステップＳ１０２において、積分画像生成部３２は、深度エッジ画像の積分画像を生成する。
【００６０】
ステップＳ２００において、形状判定部２３８は、深度エッジ画像及び深度エッジ画像の積分画像に基づいて、候補領域の内部の深度の平均が候補領域の縁部の深度の平均を一定以上上回るか、又は、深度画像の候補領域内から抽出されるエッジの数が一定以下となるかを判定する。
【００６１】
候補領域の内部の深度の平均が候補領域の縁部の深度の平均を一定以上上回ると判定された場合、又は、深度画像の候補領域内から抽出されるエッジの数が一定以下となると判定された場合には、物体の全貌を捉えていないと考えられる形状であり、以降の処理を打ち切ると判断し、物体らしさ推定処理ルーチンを終了する。
【００６２】
一方、候補領域の内部の深度の平均が前記候補領域の縁部の深度の平均を一定以上上回らないと判定され、かつ、深度画像の候補領域内から抽出されるエッジの数が一定以下とならないと判定された場合には、以降の処理を行うと判断し、ステップＳ１０４へ移行する。
【００６３】
ステップＳ１０４において、エッジ密度・均一性算出部４０は、入力された候補領域に対して、領域縁部・内部の深度エッジの密度を算出する。
【００６４】
ステップＳ１０６において、エッジ密度・均一性算出部４０は、入力された候補領域に対して、領域縁部のエッジの均一性を算出する。
【００６５】
ステップＳ１０８において、物体らしさ算出部４２は、エッジ密度・均一性算出部４０により算出された領域縁部、内部の深度エッジ密度φ（ｂout）、φ（ｂin）および領域縁部の深度エッジの均一性ｕ（ｂout）を用いて、候補領域の物体らしさを算出し、出力部１６により出力して、物体らしさ推定処理ルーチンを終了する。
【００６６】
以上説明したように、第２の実施の形態に係る物体らしさ推定装置によれば、候補領域の大まかな形状から、以降の処理を打ち切るか否かを判定することにより、単一の物体が過不足なく含まれる時のみ物体らしさが高くなるような物体らしさをより高速に推定することができる。
【００６７】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００６８】
例えば、候補領域を入力として受け付ける場合を例に説明したが、これに限定されるものではなく、スライディングウィンドウ等で切出された各領域を、候補領域として設定してもよい。
【００６９】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【００７０】
１０、２１０  物体らしさ推定装置
１２   入力部
１４、２１４  演算部
１６   出力部
２０   事前処理部
２２、２２２  物体らしさ推定部
３０   エッジ検出部
３２   積分画像生成部
４０   エッジ密度・均一性算出部
４２   物体らしさ算出部
２３８ 形状判定部
【図１】
2019211914.tif 000012
【図２】
2019211914.tif 000013
【図３】
2019211914.tif 000014
【図４】
2019211914.tif 000015
【図５】
2019211914.tif 000016
【図６】
2019211914.tif 000017
【図７】
2019211914.tif 000018
【図８】
2019211914.tif 000019
【図９】
2019211914.tif 000020