(57)【要約】【課題】所定の物体を検出する。【解決手段】被写体までの距離に関する距離情報を取得する取得部と、距離情報と、検出対象とされる物体の特徴量から、物体が撮像されている可能性がある領域を設定する設定部と、領域内の画像が、物体であるか否かを判定する判定部とを備える。被写体までの距離に関する距離情報を取得する取得部と、距離情報を用いて、所定の物体が撮像されている可能性がある領域を設定する設定部と、領域の大きさと、距離情報とから、物体が属するカテゴリを推定する推定部とを備える。本技術は、所定の物体を検出する検出装置に適用できる。【選択図】図１
2017199278.tif 000002
【特許請求の範囲】
【請求項１】
被写体までの距離に関する距離情報を取得する取得部と、
前記距離情報と、検出対象とされる物体の特徴量から、前記物体が撮像されている可能性がある領域を設定する設定部と、
前記領域内の画像が、前記物体であるか否かを判定する判定部と
を備える検出装置。
【請求項２】
前記設定部は、
前記物体の特徴量を、所定の距離における前記物体の大きさとし、
処理対象に設定した画素における距離に応じた前記物体の大きさに該当する枠を設定し、
前記判定部は、
前記枠内の画像が前記物体である否かを判定する
請求項１に記載の検出装置。
【請求項３】
前記物体が向いている方向を、前記距離情報から検出する方向検出部をさらに備える
請求項２に記載の検出装置。
【請求項４】
環境光による画像を撮像する撮像部と、
前記撮像部で撮像された前記画像と、前記設定部により設定された前記物体の大きさ、前記判定部により前記物体であると判定された領域内の画像、および前記方向検出部により検出された前記物体の方向の少なくとも１つを用いて、前記物体に対する詳細な認識を行う認識部と
をさらに備える請求項３に記載の検出装置。
【請求項５】
被写体までの距離に関する距離情報を取得する取得部と、
前記距離情報を用いて、所定の物体が撮像されている可能性がある領域を設定する設定部と、
前記領域の大きさと、前記距離情報とから、前記物体が属するカテゴリを推定する推定部と
を備える検出装置。
【請求項６】
前記設定部は、
前記距離情報が変化する部分までを前記物体が撮像されている可能性がある領域として設定し、
前記推定部は、
前記領域内の前記距離情報が表す距離において前記領域の大きさとなる物体が属するカテゴリを、前記物体が属するカテゴリであると推定する
請求項５に記載の検出装置。
【請求項７】
前記設定部により設定された前記領域内の物体の形状を、前記距離情報を用いて推定する形状推定部をさらに備える
請求項５に記載の検出装置。
【請求項８】
前記推定部は、前記距離情報、前記領域の大きさ、前記形状の少なくとも１つを用いて前記カテゴリを推定する
請求項７に記載の検出装置。
【請求項９】
環境光による画像を撮像する撮像部と、
前記撮像部で撮像された前記画像と、前記設定部により設定された前記領域の大きさ、前記推定部により推定された前記カテゴリ、および前記形状推定部により推定された前記形状の少なくとも１つを用いて、前記物体に対する詳細な認識を行う認識部と
をさらに備える請求項７に記載の検出装置。
【請求項１０】
前記取得部は、ＴＯＦ方式のセンサ、ステレオカメラ、超音波センサ、またはミリ波レーダを用いて、前記距離情報を取得する
請求項１に記載の検出装置。
【請求項１１】
被写体までの距離に関する距離情報を取得し、
前記距離情報と、検出対象とされる物体の特徴量から、前記物体が撮像されている可能性がある領域を設定し、
前記領域内の画像が、前記物体であるか否かを判定する
ステップを含む検出方法。
【請求項１２】
被写体までの距離に関する距離情報を取得し、
前記距離情報を用いて、所定の物体が撮像されている可能性がある領域を設定し、
前記領域の大きさと、前記距離情報とから、前記物体が属するカテゴリを推定する
ステップを含む検出方法。
【請求項１３】
コンピュータに、
被写体までの距離に関する距離情報を取得し、
前記距離情報と、検出対象とされる物体の特徴量から、前記物体が撮像されている可能性がある領域を設定し、
前記領域内の画像が、前記物体であるか否かを判定する
ステップを含む処理を実行させるためのプログラム。
【請求項１４】
コンピュータに、
被写体までの距離に関する距離情報を取得し、
前記距離情報を用いて、所定の物体が撮像されている可能性がある領域を設定し、
前記領域の大きさと、前記距離情報とから、前記物体が属するカテゴリを推定する
ステップを含む処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、検出装置、検出方法、およびプログラムに関し、特に、例えば、画像から所定の被写体を検出する検出装置、検出方法、およびプログラムに関する。
【背景技術】
【０００２】
撮影された画像から、パターンマッチング技術やエッジ検出技術を適用して商品と背景との境界を検出し、商品領域を切り出すことで、商品を認識することが提案されている（例えば、特許文献１参照）。
【０００３】
また、全ての大きさの被写体を認識するために、探索画像の解像度を変更して複数回のスキャンを実行することで、探索対象を認識することが提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−３１５９９号公報
【特許文献２】特開２０１１−１４１４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
所定の物体を認識（検出）するときの処理を軽減することが望まれている。
【０００６】
本技術は、このような状況に鑑みてなされたものであり、所定の物体を認識（検出）するときの処理を軽減することができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の一側面の第１の検出装置は、被写体までの距離に関する距離情報を取得する取得部と、前記距離情報と、検出対象とされる物体の特徴量から、前記物体が撮像されている可能性がある領域を設定する設定部と、前記領域内の画像が、前記物体であるか否かを判定する判定部とを備える。
【０００８】
本技術の一側面の第２の検出装置は、被写体までの距離に関する距離情報を取得する取得部と、前記距離情報を用いて、所定の物体が撮像されている可能性がある領域を設定する設定部と、前記領域の大きさと、前記距離情報とから、前記物体が属するカテゴリを推定する推定部とを備える。
【０００９】
本技術の一側面の第１の検出方法は、被写体までの距離に関する距離情報を取得し、前記距離情報と、検出対象とされる物体の特徴量から、前記物体が撮像されている可能性がある領域を設定し、前記領域内の画像が、前記物体であるか否かを判定するステップを含む。
【００１０】
本技術の一側面の第２の検出方法は、被写体までの距離に関する距離情報を取得し、前記距離情報を用いて、所定の物体が撮像されている可能性がある領域を設定し、前記領域の大きさと、前記距離情報とから、前記物体が属するカテゴリを推定するステップを含む。
【００１１】
本技術の一側面の第１のプログラムは、コンピュータに、被写体までの距離に関する距離情報を取得し、前記距離情報と、検出対象とされる物体の特徴量から、前記物体が撮像されている可能性がある領域を設定し、前記領域内の画像が、前記物体であるか否かを判定するステップを含む処理を実行させる。
【００１２】
本技術の一側面の第２のプログラムは、コンピュータに、被写体までの距離に関する距離情報を取得し、前記距離情報を用いて、所定の物体が撮像されている可能性がある領域を設定し、前記領域の大きさと、前記距離情報とから、前記物体が属するカテゴリを推定するステップを含む処理を実行させる。
【００１３】
本技術の一側面の第１の検出装置、検出方法、プログラムにおいては、被写体までの距離に関する距離情報が取得され、距離情報と、検出対象とされる物体の特徴量から、物体が撮像されている可能性がある領域が設定され、領域内の画像が、物体であるか否かが判定される。
【００１４】
本技術の一側面の第２の検出装置、検出方法、プログラムにおいては、被写体までの距離に関する距離情報が取得され、距離情報が用いられて、所定の物体が撮像されている可能性がある領域が設定され、領域の大きさと、距離情報とから、物体が属するカテゴリが推定される。
【００１５】
なお、検出装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００１６】
また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。
【発明の効果】
【００１７】
本技術の一側面によれば、所定の物体を認識（検出）するときの処理を軽減することができる。
【００１８】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１９】
【図１】本技術を適用した検出装置の一実施の形態の構成を示す図である。
【図２】第１の認識処理について説明するためのフローチャートである。
【図３】所定の物体の検出に係わる処理について説明するための図である。
【図４】テーブルの一例を示す図である。
【図５】所定の物体の検出に係わる処理について説明するための図である。
【図６】第２の実施の形態における検出装置の構成を示す図である。
【図７】第２の認識処理について説明するためのフローチャートである。
【図８】所定の物体の検出に係わる処理について説明するための図である。
【図９】第３の実施の形態における検出装置の構成を示す図である。
【図１０】第３の認識処理について説明するためのフローチャートである。
【図１１】被写体の方向検出について説明するための図である。
【図１２】第４の実施の形態における検出装置の構成を示す図である。
【図１３】第４の認識処理について説明するためのフローチャートである。
【図１４】被写体の方向検出について説明するための図である。
【図１５】第５の実施の形態における検出装置の構成を示す図である。
【図１６】第５の認識処理について説明するためのフローチャートである。
【図１７】物体の検出について説明するための図である。
【図１８】第６の実施の形態における検出装置の構成を示す図である。
【図１９】第６の認識処理について説明するためのフローチャートである。
【図２０】第７の実施の形態における検出装置の構成を示す図である。
【図２１】第７の認識処理について説明するためのフローチャートである。
【図２２】第８の実施の形態における検出装置の構成を示す図である。
【図２３】第８の認識処理について説明するためのフローチャートである。
【図２４】積層構造について説明するための図である。
【図２５】積層構造について説明するための図である。
【図２６】記録媒体について説明するための図である。
【発明を実施するための形態】
【００２０】
以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。本技術は、所定の物体、例えば、人（顔、上半身、全身）、自動車、自転車、食材などの物体を認識（検出）するのに適用できる。また、本技術は、そのような所定の物体の検出を、距離情報を用いて行う。以下の説明においては、距離情報を用いて、人の顔を検出する場合を例に挙げて説明する。
【００２１】
＜第１の実施の形態＞
図１は、本技術を適用した検出装置の一実施の形態の構成を示す図である。図１に示した検出装置１００は、距離情報取得部１１１、被写体特徴抽出部１１２、被写体候補領域検出部１１３、および実サイズデータベース１１４を備える。
【００２２】
距離情報取得部１１１は、被写体までの距離を測定し、その測定した結果（距離情報）を生成し、被写体特徴抽出部１１２に出力する。距離情報取得部１１１は、例えば、アクティブ光（赤外線など）を利用した測距センサにより距離情報を取得する。アクティブ光を利用した測距センサとしては、ＴＯＦ（Time-of-Flight）方式や、Structured Light方式などを適用することができる。
【００２３】
また、距離情報取得部１１１は、アクティブ光の反射光、例えば、ＴＯＦの光源やカメラのフラッシュ光などを用いた測距センサ（測距方式）により距離情報を取得する構成としても良い。また、距離情報取得部１１１は、ステレオカメラにより距離情報を取得する構成としても良い。また、距離情報取得部１１１は、超音波センサにより距離情報を取得する構成としても良い。また、距離情報取得部１１１は、ミリ波レーダーを用いた方式で距離情報を取得する構成としても良い。
【００２４】
被写体特徴抽出部１１２は、距離情報から、検出対象、例えば、人の顔がある可能性がある枠を設定する。その枠は、実サイズデータベース１１４に記憶されているテーブルが参照されて設定される。実サイズデータベース１１４には、距離と検出被写体の実サイズを考慮した画像上の大きさが関連付けられたテーブルが管理されている。例えば、所定の距離だけ離れた位置に、人の顔がある場合、その人の顔の大きさは画像上でどの程度であるかが記載されているテーブルである。
【００２５】
被写体候補領域検出部１１３は、設定された枠内に、検出対象があるか否かを判定し、ある場合には、その枠内を切り出し、図示していない後段の処理部に出力する。
【００２６】
図２に示したフローチャートを参照し、検出装置１００の動作について説明を加える。
【００２７】
ステップＳ１０１において、被写体特徴抽出部１１２は、処理対象とする画素（注目画素）を設定する。例えば、画像の左上の画素から、順次注目画素に設定される。例えば、図３上図に示すように、画像１３１（距離画像１３１）が取得されたとき、その距離画像１３１の左上の画素から右下の画素まで順次注目画素に設定される。図３上図では、矢印で、順次設定される注目画素の順を表したが、このような順以外の順で、注目画素が設定されても良い。
【００２８】
距離画像１３１とは、距離情報から生成される画像であるとする。例えば、同一の距離は同一色で表され、距離に応じた色付けがされた画像である。なお、本技術における距離画像１３１は、距離に応じた色付けがされた画像である必要はなく、単に、画像１３１内の所定の画素（被写体）が、検出装置１００からどの程度離れているかがわかる画像であればよい。
【００２９】
ここでは、図３に示すように距離画像１３１が生成されるとして説明を続ける。また図３の上図に示したように、距離画像１３１内の所定の位置にある画素が、注目画素１３２に設定された場合を例に挙げて説明を続ける。
【００３０】
ステップＳ１０２において、注目画素における距離情報が取得される。ステップＳ１０３において、距離と検出対象の被写体の実サイズから検出枠のサイズが決定される。被写体特徴抽出部１１２は、図３の中図に示すように、注目画素１３２の距離と、検出対象の被写体の実サイズから、検出枠１３３を設定する。
【００３１】
被写体特徴抽出部１１２は、実サイズデータベース１１４で管理されているテーブルを参照して、検出枠１３３を設定する。実サイズデータベース１１４には、例えば、図４に示したようなテーブル１５１が記憶されている。
【００３２】
図４に示したテーブル１５１は、距離と顔の実サイズに基づいた画像上の大きさが関連付けられているテーブルである。例えば、距離が０（ｃｍ）のときは、顔の画像上のサイズが３０画素×３０画素であり、距離が５０（ｃｍ）のときは、顔の画像上のサイズが２５画素×２５画素であり、距離が１００（ｃｍ）のときは、顔の画像上のサイズが２０画素×２０画素であるといった関係が記載されている。
【００３３】
距離は、検出装置１００と被写体（この場合、人の顔）との距離である。顔の実サイズとは、所定の距離、例えば、５０センチ離れていた位置での平均的な人の顔の大きさである。人の顔は、性別、年齢により異なるし、個人差もあるため、ここでは、顔の実サイズは、平均的な人の顔のサイズであるとして説明を続ける。
【００３４】
なお、１つの距離に対して複数の顔の実サイズに基づいた画像上の大きさが関連付けられているテーブル１５１を作成し、そのようなテーブル１５１で処理が行われるようにしても良い。例えば、１つの距離に対して、男性の顔の実サイズに基づいた画像上の大きさ、女性の顔の実サイズに基づいた画像上の大きさ、子供の実サイズに基づいた画像上の大きさを関連付けても良い。この場合、各実サイズに基づいた画像上の大きさに対応する検出枠１３３を設定し、それぞれの検出枠１３３毎に、後述するステップＳ１０４の処理を実行すれば良い。
【００３５】
また、図４では、距離として、０、５０、１００と、５０センチ単位で実サイズに基づいた画像上の大きさと関連付けた例を示したが、５０センチ単位に限定されるわけでなく、距離情報の精度や、検出に求められる精度などにより、変更可能な値である。
【００３６】
ステップＳ１０３において、被写体特徴抽出部１１２は、図３の中図に示すように、注目画素１３２の距離と、検出対象の被写体の実サイズに基づいた画像上の大きさから、検出枠１３３を設定する。例えば、図４に示したようなテーブル１５１が参照されて処理が行われ、注目画素１３２の距離が５０センチであると判定された場合、注目画素１３２を中心とし、２５画素×２５画素となる検出枠１３３が設定される。
【００３７】
なお、ここでは、検出枠１３３は、図３に示したように四角形である場合を例に挙げて説明するが、四角形などの矩形に限らず、円形などの他の形状であっても良い。またここでは、被写体の実サイズを、被写体の特徴（特徴量）とし、その実サイズに基づいた画像上の大きさを用いて検出枠１３３を設定する例を挙げて説明するが、他の被写体の特徴（特徴量）を用いて、検出枠１３３が設定されるようにすることも可能である。
【００３８】
このように被写体特徴抽出部１１２は、この場合、被写体の大きさを特徴量とし、その特徴量に設定される検出枠１３３を設定する設定部として機能する。
【００３９】
このように、撮像された画像１３１内で、距離に応じた顔の大きさに該当する検出枠１３３が設定される。検出枠１３３は、注目画素１３２の位置の距離に、検出対象の被写体、例えば、人の顔があるとしたら、距離画像１３１上でどのくらいのサイズになるかが計算されることで設定される枠である。なお、このような計算自体は省略し、テーブル１５１に記載されているようにするなど、他の形態を適用することも可能である。
【００４０】
ステップＳ１０４において、被写体候補領域検出部１１３により、検出枠１３３内の画像は、検出対象の被写体の候補であるか否かが判定される。例えば、距離画像１３１に、検出枠１３３と同等のサイズのフィルタをかけ、その応答値を被写体候補の確率値として用いる。フィルタとしては、ＤＯＧ（Difference-of-Gaussian）フィルタやラプラシアンフィルタなどを適用することができる。
【００４１】
検出枠１３３内の画像は、検出対象の被写体の候補であるか否かの判定は、検出枠１３３と検出枠１３３内の距離情報を用いて判定することができる。
【００４２】
例えば、検出枠１３３内に人の顔が撮像されていた場合、人の顔には、凹凸があるため、検出枠１３３内の距離情報も遠近がばらけた情報となる。また、例えば、検出枠１３３内に人の顔が撮像されていた場合であるが、写真（ポスター）に写った人の顔である場合には、検出枠１３３内の距離情報は一定値となり、遠近がばらけた情報とはならない。
【００４３】
このような遠近のばらけ具合を、フィルタをかけて検出することで、検出枠１３３に検出対象の被写体があるか否かが判定される。判定結果は、検出装置１００の後段の処理部（不図示）に出力される。なお、検出枠１３３に検出対象の被写体があると判定されたときだけ、検出装置１００内の画像が、画像１３１から切り出され、その切り出された画像が出力されるようにすることができる。
【００４４】
例えば、図３の下図に示すように、検出枠１３３−１内には顔があり、検出対象の被写体があると判定された場合、検出枠１３３−１内の画像が画像１３１から切り出され、出力される。また検出枠１３３−２内には顔がなく、検出対象の被写体はないと判定された場合、検出枠１３３−２内の画像は切り出されない。
【００４５】
切り出しが行われるタイミングは、ステップＳ１０５における処理が終了した後に行われるようにすることができる。またステップＳ１０４の判定処理における判定結果、すなわちこの場合、フィルタをかけたときの値を、被写体候補の確率値とし、ステップＳ１０５の処理後に、その確率値に基づき、切り出しが行われるようにしても良い。また、確率値のみを後段に出力する構成とすることも可能である。
【００４６】
このように被写体候補領域検出部１１２は、検出枠１３３内の画像が、検出対象の被写体であるか否かを判定する判定部として機能する。また、被写体候補領域検出部１１２により、検出対象の被写体であると判定された画像は、切り出されて後段の処理部などに出力されるようにすることができる。
【００４７】
ステップＳ１０５において、画像１３１内の全画素に対して、このような処理が終了したか否かが判定され、全画素に対しては終了していないと判定された場合、ステップＳ１０１に処理が戻され、新たな注目画素が設定され、その設定された注目画素に対してステップＳ１０２以降の処理が行われる。
【００４８】
一方で、ステップＳ１０５において、画像１３１内の全画素に対して、このような処理は終了したと判定された場合、認識処理は終了される。
【００４９】
ステップＳ１０１乃至Ｓ１０５の処理が繰り返されることで、距離画像１３１内の全画素において、被写体候補の確率値が求められる。そして、その確率値の極大値を検出被写体の中心位置として、その中心位置の画素を注目画素１３２として設定して検出枠１３３内の画像が切り出される。
【００５０】
なお、このように、注目画素１３２が設定され、検出枠１３３が設定されるため、注目画素１３２は、画像１３１内の全ての画素に対して設定されなくても良い。
【００５１】
例えば、画像１３１の左上に位置する画素を注目画素１３２とした場合、検出枠１３３は設定できないため、仮に設定したとしても、検出枠１３３の一部（この場合、３／４）が欠けた状態でしか設定できないため、そのような領域にある画素は、注目画素１３２として設定しないようにしても良い。画像１３１の辺付近の領域も、同様に、検出枠１３３が設定できない領域であるため、そのような領域にある画素は、注目画素１３２として設定しないようにしても良い。
【００５２】
また、注目画素１３２は、１画素ずつ順次設定されるようにしても良いが、所定の間隔、例えば、５画素おきに設定されるようにしても良い。
【００５３】
また、距離が、離れていると判定される領域、換言すれば、背景と判定できる領域内の画素は、注目画素１３２として設定しないようにしても良い。このようにすることで、処理対象とされる注目画素１３２を少なくすることができ、処理を軽減することが可能となる。
【００５４】
このような検出がされることで、例えば、図５に示すような検出結果が得られる。図５の上図は、画像１３１の一例を表し、検出対象（人の顔）がある可能性がある領域として、検出枠１３３−１乃至１３３−４が設定された場合を示している。
【００５５】
検出枠１３３−１においては、被写体特徴抽出部１１２（図１）により被写体の距離に応じて設定された検出枠１３３-１内に、被写体候補領域検出部１１３により、顔があると判定されたため、検出枠１３３−１内の画像は、切り出され、出力される。
【００５６】
検出枠１３３−２においては、被写体特徴抽出部１１２（図１）により被写体の距離に応じて設定された検出枠１３３-２内に、被写体候補領域検出部１１３により、顔はないと判定されたため、検出枠１３３-２内の画像は、切り出されない。
【００５７】
検出枠１３３−３においては、被写体特徴抽出部１１２（図１）により被写体の距離に応じて設定された検出枠１３３-３内に、被写体候補領域検出部１１３により、顔があると判定されたため、検出枠１３３−３内の画像は、切り出され、出力される。
【００５８】
検出枠１３３−４においては、被写体特徴抽出部１１２（図１）により被写体の距離に応じて設定された検出枠１３３-１内に、顔があったとしても、その顔が、写真などである場合、被写体候補領域検出部１１３により、顔はないと判定されるため、検出枠１３３−４内の画像は、切り出されない。
【００５９】
このように、本技術においては、距離と、その距離における検出物体の大きさを用いて、物体を検出する。このように検出を行うことで、所定の距離において、その距離における検出物体の大きさ以外の物体は、検出対象から外されるため、誤検出が行われる可能性を低下させることが可能となる。
【００６０】
また、例えば、検出対象が人の顔であるような場合、写真に写っている人の顔など、距離に遠近がないような物体を誤って検出することがなく、この点からも、誤検出が行われる可能性を低下させることが可能となる。
【００６１】
また、例えば、パターンマッチングなどによる検出を行う場合よりも、本技術による検出を行う方が、処理を軽減することができる。
【００６２】
＜第２の実施の形態＞
次に、第２の実施の形態について説明を加える。図６は、第２の実施の形態における検出装置２００の構成例を示す図である。図６に示した検出装置２００と、図１に示した検出装置１００において、同一の部分には、同一の符号を付し、その説明は省略する。
【００６３】
第２の実施の形態における検出装置２００は、第１の実施の形態における検出装置１００に、撮像部２１１と被写体詳細認識部２１２とを追加した構成とされている。
【００６４】
撮像部２１１は、CCDやCMOSイメージセンサなどの撮像素子を含む構成とされ、環境光による画像（通常画像と記述する）を撮像し、被写体詳細認識部２１２に供給する。被写体詳細認識部２１２には、被写体候補領域検出部１１３からの検出結果も供給される。
【００６５】
被写体候補領域検出部１１３は、第１の実施の形態として説明したように、距離画像１３１を用いて検出対象、例えば人の顔が存在すると判定した領域を切り出し、出力する。被写体詳細認識部２１２は、被写体候補領域検出部１１３から供給された領域内の被写体に対して、さらに詳細な認識を、通常画像を用いて行う。例えば、性別や年齢といった個人を特定するような認識処理が行われる。
【００６６】
図７に示したフローチャートを参照して、図６に示した検出装置２００の処理について説明を加える。
【００６７】
ステップＳ２０１乃至Ｓ２０５は、距離情報取得部１１１乃至被写体候補領域検出部１１３により行われる処理であり、図２に示したフローチャートのステップＳ１０１乃至Ｓ１０５と同様に行われるため、その説明は省略する。
【００６８】
ステップＳ２０６において、被写体詳細認識部２１２は、被写体候補の検出枠を利用して詳細認識を行う。例えば、被写体詳細認識部２１２は、被写体候補領域検出部１１３から供給された検出枠１３３を撮像部２１１からの通常画像の該当領域に設定し、その設定した検出枠１３３内の画像を切り出す。そして、切り出された通常画像を用いて、被写体の性別や年齢といった個人を特定するような認識処理など、予め設定されている認識処理を実行する。
【００６９】
このように処理が行われることで、さらに詳細に被写体を検出することができる。
【００７０】
なお被写体候補領域検出部１１３から被写体詳細認識部２１２に供給される情報としては、被写体の実サイズに基づいた画像上の大きさ（検出枠１３３）、代表点（例えば注目画素１３２）、分布マップ（例えば、ヒートマップ、フィルタ応答値）等の情報とすることができる。また、被写体詳細認識部２１２は、被写体候補領域検出部１１３から供給される情報を用いた詳細認識を行う。
【００７１】
このような検出（認識）処理が行われることで、例えば、図８に示すような検出結果が得られる。図８の上図、中図は、図５と同様である。すなわち、距離画像１３１を用いた検出処理により、検出枠１３３−１と検出枠１３３−３が、被写体が検出された領域の情報として、被写体詳細認識部２１２に供給される。
【００７２】
被写体詳細認識部２１２では、例えば、ＤＮＮ（Deep Learning）などの方式に用いて、検出枠１３３−１と検出枠１３３−３を通常画像に対して設定したときに、通常画像から切り出される画像を用いて、認識処理を実行する。
【００７３】
このように、第２の実施の形態においても、距離と、その距離における検出物体の大きさが用いられて、検出物体が検出されるため、検出精度を向上させ、検出に係る処理負荷を低減させることが可能となる。さらに、第２の実施の形態においては通常画像（距離画像以外の画像）を用いて、詳細な認識処理を実行するため、より詳細に被写体を検出し、その被写体を認識することができる。
【００７４】
＜第３の実施の形態＞
次に、第３の実施の形態について説明を加える。図９は、第３の実施の形態における検出装置３００の構成例を示す図である。図９に示した検出装置３００と、図１に示した検出装置１００において、同一の部分には、同一の符号を付し、その説明は省略する。
【００７５】
第３の実施の形態における検出装置３００は、第１の実施の形態における検出装置１００に、被写体方向検出部３１１を追加した構成とした点が、第１の実施の形態における検出装置１００と異なる。
【００７６】
被写体方向検出部３１１は、検出された被写体が向いている方向を検出する。第３の実施の形態における検出装置３００は、被写体の位置、サイズ、および方向を検出する。
【００７７】
図１０に示したフローチャートを参照して、図９に示した検出装置３００の処理について説明を加える。
【００７８】
ステップＳ３０１乃至Ｓ３０６（ステップＳ３０５を除く）は、距離情報取得部１１１乃至被写体候補領域検出部１１３により行われる処理であり、図２に示したフローチャートのステップＳ１０１乃至Ｓ１０５と同様に行われるため、その説明は省略する。
【００７９】
ステップＳ３０５において、被写体候補領域検出部１１３により、検出対象の被写体があると判定された領域（検出枠１３３で設定される領域）とその領域内から切り出された画像が、被写体方向検出部３１１に供給される。被写体方向検出部３１１は、検出された被写体の方向を検出する。
【００８０】
例えば、図１１に示したような画面が取得された場合を例に挙げ、方向の検出について説明を加える。図１１に示した例では、検出対象は、手であるとして説明する。被写体特徴抽出部１１２と被写体候補領域検出部１１３において、ステップＳ３０２乃至Ｓ３０４の処理が実行されることで、距離画像１３１内に、検出枠１３３が設定され、その検出枠１３３内に、検出対象である手が検出される。
【００８１】
被写体方向検出部３１１は、検出枠１３３内を、所定の大きさに分割し、分割された領域内を被写体の面とし、その面の法線方向を求める。図１１に示した画像では、手のひらは、図中、右方向に向いている。手のひらが右方向に向いている場合、手のひらの部分の距離情報としては、手前から奥に向かって、徐々に遠くなる距離情報が得られる。
【００８２】
そのような距離情報が得られる手のひらの部分（面）に対して法線を設定すると、図１１に示したように、図中右方向の法線が設定される。この設定された法線から、手のひらは、図中右方向を向いていると判定される。
【００８３】
このように、距離情報を用いることで、被写体が向いている方向も判定することができる。よって、第３の実施の形態によれば、第１、第２の実施の形態と同じく、距離と、その距離における検出物体の大きさを用いて、検出物体を検出するため、検出精度を向上させることが可能となる。また、検出した被写体の方向を判定することもできる。
【００８４】
＜第４の実施の形態＞
次に、第４の実施の形態について説明を加える。図１２は、第４の実施の形態における検出装置４００の構成例を示す図である。図１２に示した検出装置４００と、図９に示した検出装置３００において、同一の部分には、同一の符号を付し、その説明は省略する。
【００８５】
第４の実施の形態における検出装置４００は、第３の実施の形態における検出装置３００に、撮像部４１１と被写体詳細認識部４１２とを追加した構成とされている。追加された撮像部４１１と被写体詳細認識部４１２は、第２の実施の形態における検出装置２００の撮像部２１１と被写体詳細認識部２１２（いずれも図６）と基本的に同様の処理を行う。
【００８６】
撮像部４１１は、通常画像を撮像し、被写体詳細認識部４１２に供給する。被写体詳細認識部４１２には、被写体方向検出部３１１からの検出結果も供給される。被写体方向検出部３１１からは、検出対象、例えば人の顔の位置（検出枠１３３が設定されている位置）、その大きさ（検出枠１３３の大きさ）、およびその方向が出力される。
【００８７】
被写体詳細認識部４１２は、被写体方向検出部３１１から供給された領域内の被写体に対して、さらに詳細な認識を、通常画像を用いて行う。例えば、性別や年齢といった個人を特定するような認識処理が行われる。
【００８８】
図１３に示したフローチャートを参照して、図６に示した検出装置４００の処理について説明を加える。
【００８９】
ステップＳ４０１乃至Ｓ４０６は、距離情報取得部１１１、被写体特徴抽出部１１２、被写体候補領域検出部１１３、および被写体方向検出部３１１により行われる処理であり、図１０に示したフローチャートのステップＳ３０１乃至Ｓ３０６と同様に行われるため、その説明は省略する。
【００９０】
ステップＳ４０７において、被写体詳細認識部４１２は、被写体候補の検出枠と被写体の方向を利用して詳細認識を行う。例えば、被写体詳細認識部４１２は、被写体方向検出部３１１から供給された検出枠１３３を撮像部４１１からの通常画像の該当領域に設定し、その設定した検出枠１３３内の画像を切り出す。そして、切り出された通常画像を用いて、被写体の性別や年齢といった個人を特定するような認識処理など、予め設定されている認識処理を実行する。この認識処理には、被写体の方向も考慮して行われる。
【００９１】
図１４に、第４の実施の形態おける検出装置４００で行う認識方法と、他の認識方法とを比較した図を示す。図１４の左図は、他の認識方法の一例を示す図である。例えば、通常画像から、検出対象として顔が検出される場合、まず、検出された物体が顔であると仮定され、その顔が、前後または左右のどちらの方向を向いているかを判定するために、前後／左右判定辞書４３１が参照された判定が行われる。
【００９２】
顔が前後方向を向いている（左右方向ではない方向を向いている）と判定された場合、前／後判定辞書４３２が参照され、前向きであるか、後向きであるかが判定される。前向きであると判定された場合、前向き辞書４３４が参照され、人の顔であるか否か、また、人の顔である場合、前向きの顔であるか否かが判定される。この処理により、前向き辞書４３４に、個人を特定するデータが記載されている場合、そのデータとマッチングをとることで人物が特定される。
【００９３】
一方、前／後判定辞書４３２が参照され、後向きであると判定された場合、後向き辞書４３５が参照され、人の顔であるか否か、また、人の顔である場合、後向きの顔であるか否かが判定される。この処理により、後向き辞書４３５に、個人を特定するデータが記載されている場合、そのデータとマッチングをとることで人物が特定される。
【００９４】
一方、前後／左右判定辞書４３１が参照され、顔が左右方向を向いている（前後方向ではない方向を向いている）と判定された場合、左／右判定辞書４３３が参照され、左向きであるか、右向きであるかが判定される。左向きであると判定された場合、左向き辞書４３６が参照され、人の顔であるか否か、また、人の顔である場合、左向きの顔であるか否かが判定される。この処理により、左向き辞書４３６に、個人を特定するデータが記載されている場合、そのデータとマッチングをとることで人物が特定される。
【００９５】
一方、左／右判定辞書４３３が参照され、右向きであると判定された場合、右向き辞書４３７が参照され、人の顔であるか否か、また、人の顔である場合、右向きの顔であるか否かが判定される。この処理により、右向き辞書４３７に、個人を特定するデータが記載されている場合、そのデータとマッチングをとることで人物が特定される。
【００９６】
このようにして、従来の認識処理の場合、複数の辞書を参照し、判定を行うことで、認識処理が行われていた。
【００９７】
第４の実施の形態おける検出装置４００では、距離画像１３１から、被写体がある領域、大きさ、および方向が検出され、それらの情報を用いて、被写体詳細認識部４１２（図１２）は、認識処理を行う。よって、図１４の右図に示したように、Ｘ向き辞書４５１を用意し、そのＸ向き辞書４５１を参照することで、認識処理を行うことができる。
【００９８】
Ｘ向き辞書４５１は、前向き辞書４３４、後向き辞書４３５、左向き辞書４３６、および右向き辞書４３７を含む辞書とされている。被写体詳細認識部４１２（図１２）には、被写体の方向も供給されるため、その供給された方向に関する辞書のみが参照され、認識処理が行われる構成とすることができる。
【００９９】
第４の実施の形態おける検出装置４００によれば、辞書の数（データ量）を少なくすることができ、辞書を参照して複数回行われる判定処理を省略することができる。よって、第４の実施の形態における検出装置４００によれば、認識処理に係る処理を軽減することが可能となる。また、検出対象、例えば、顔である可能性が高い画像（切り出された画像）のみが、詳細認識の対象とされるため、画像内の処理対象とされる領域が絞られており、この点からも、認識処理に係る処理を軽減することが可能となる。
【０１００】
このように、第４の実施の形態においても、距離と、その距離における検出物体の大きさが用いられて、検出物体が検出されるため、検出精度を向上させることが可能となる。また、第４の実施の形態においては通常画像（距離画像以外の画像）を用いて、詳細な認識処理を実行するため、より詳細に被写体を検出し、その被写体を認識することができる。また、その認識処理は、被写体の方向を予め取得した処理とすることができ、処理を軽減することができる。
【０１０１】
＜第５の実施の形態＞
次に、第５の実施の形態について説明する。第５の実施の形態、および以下に説明する第６乃至第８の実施の形態においては、被写体のサイズを推定し、被写体が属するカテゴリを推定することで、検出対象を検出する。
【０１０２】
図１５は、第５の実施の形態における検出装置５００の構成例を示す図である。図１５に示した検出装置５００は、距離情報取得部１１１、被写体サイズ推定部５１１、および被写体カテゴリ推定部５１２から構成されている。
【０１０３】
距離情報取得部１１１は、例えば検出装置１００に含まれていた距離情報取得部１１１と同様の構成を有し、距離画像１３１を生成するための距離情報を取得する機能である。
【０１０４】
被写体サイズ推定部５１１は、被写体のサイズを推定し、推定したサイズの情報を、被写体カテゴリ推定部５１２に供給する。被写体カテゴリ推定部５１２は、推定された被写体のサイズと、その被写体が位置する距離とから、被写体が属するカテゴリを推定する。
【０１０５】
例えば、上記したように、人の顔であれば、所定の距離だけ離れた位置にある人の顔は、どの程度のサイズであるかがわかる。このことを換言すれば、所定の距離だけ離れた位置に、人の顔と判定できるサイズの物体があった場合、人の顔があると推定できる。
【０１０６】
このようなことを利用し、検出装置５００では、被写体のサイズを推定し、そのサイズと距離から、被写体が属するカテゴリ、例えば、人の顔のカテゴリ、車のカテゴリといったカテゴリが判定される。
【０１０７】
図１６に示したフローチャートを参照し、図１５に示した検出装置５００の処理について説明を加える。
【０１０８】
ステップＳ５０１において、被写体サイズ推定部５１１は、注目画素を設定する。この処理は、例えば、図２に示したフローチャートのステップＳ１０１と同様にして行うことができる。
【０１０９】
ステップＳ５０２において、被写体サイズ推定部５１１は、設定した注目画素位置の周辺の距離を取得する。そして、ステップＳ５０３において、被写体サイズ推定部５１１は、周辺の距離分布に基づいて、被写体サイズを推定する。例えば、物体と背景とでは、距離が大きく異なるため、距離が大きく変化する部分（すなわちエッジ）を、周辺の距離分布を参照して検出することで、物体が存在する領域（エッジ部分までの大きさ）を推定することができる。
【０１１０】
ステップＳ５０４において、被写体カテゴリ推定部５１２は、距離と被写体サイズに基づいて、被写体カテゴリを推定する。上記したように、距離とサイズから、その位置にある物体のカテゴリを推定することができるため、そのような推定が、ステップＳ５０４において実行される。
【０１１１】
例えば、図１７に示すような距離画像１３１が取得されたとする。図１７に示した距離画像１３１は、手が撮像されている画像である。例えば、手の所定の位置が注目画素１３２に設定された場合、この注目画素１３２の周辺の距離分布が、参照される。
【０１１２】
手の部分と、背景とでは、距離が大きく異なる。すなわちこの場合、手がある部分は、近い距離であるが、背景は遠い距離となる。注目画素１３２の周辺の距離分布を参照することで、注目画素１３２から徐々に遠ざかる方向で距離分布を参照したとき、その距離が、大きく変わる部分がある。
【０１１３】
この場合、注目画素１３２は、手のひらのほぼ中央の位置に設定されているときなので、手のひらから指先の方に探索していくと、指の先端部分から背景になる部分で急激に距離情報が変化する。注目画素１３２から、急激に距離情報が変化する位置までを、図１７では矢印を用いて表している。なお、急減に距離情報が変化する位置は、注目画素１３２の距離と、探索している画素の距離との差分が、所定の閾値以上に変化した場合、その探索している画素の位置を、急減に距離情報が変化した位置としても良い。
【０１１４】
このようにして、注目画素１３２から、物体が存在する可能性がある範囲が推定される。図１７に示した例では、例えば、注目画素１３２から一番長い矢印の先端までを半径とする円や四角形（不図示）が設定され、その円や四角形の大きさが、被写体サイズとされる。この被写体サイズは、第１乃至第４の実施の形態における検出枠１３３に該当する。換言すれば、このような処理により、検出枠１３３が設定される。
【０１１５】
そして、注目画素１３２の距離と被写体サイズ（検出枠１３３）から、検出された被写体のカテゴリが推定される。図１７に示した例では、注目画素１３２の距離において、検出された被写体のサイズでは、“手”というカテゴリに属すると推定される。
【０１１６】
このような処理が、距離画像１３１内の全ての画素において実行されたか否かが、ステップＳ５０５において判定される。なお、図２に示したフローチャートのステップＳ１０５と同じく、注目画素１３２に設定される画素は、距離画像１３１内の全ての画素ではなく、一部除外される画素があっても良い。
【０１１７】
このように、第５の実施の形態における検出装置５００によれば、距離画像から、被写体のサイズを推定し、カテゴリを推定することができる。また、検出装置５００によれば、複数の被写体（カテゴリ）を推定することができ、例えば、人と車といった異なる物体を検出することができる。
【０１１８】
＜第６の実施の形態＞
次に、第６の実施の形態について説明を加える。図１８は、第６の実施の形態における検出装置６００の構成例を示す図である。図１８に示した検出装置６００と、図１５に示した検出装置５００において、同一の部分には、同一の符号を付し、その説明は省略する。
【０１１９】
第６の実施の形態における検出装置６００は、第５の実施の形態における検出装置５００に、撮像部６１１と被写体詳細認識部６１２とを追加した構成とされている。追加された撮像部６１１は、第２の実施の形態における検出装置２００の撮像部２１１（図６）と基本的に同様の処理を行う。
【０１２０】
撮像部６１１は、通常画像を撮像し、被写体詳細認識部６１２に供給する。被写体詳細認識部６１２には、被写体カテゴリ推定部７１２から、距離、被写体サイズ、および被写体カテゴリも供給される。被写体詳細認識部６１２は、被写体カテゴリ推定部７１２から供給された距離、被写体サイズ、および被写体カテゴリを用いて、さらに詳細な認識を、通常画像を用いて行う。
【０１２１】
図１９に示したフローチャートを参照して、図１８に示した検出装置６００の処理について説明を加える。
【０１２２】
ステップＳ６０１乃至Ｓ６０５は、距離情報取得部１１１、被写体サイズ推定部５１１、被写体カテゴリ推定部５１２により行われる処理であり、図１６に示したフローチャートのステップＳ５０１乃至Ｓ５０５と同様に行われるため、その説明は省略する。
【０１２３】
ステップＳ６０６において、被写体詳細認識部４１２は、被写体候補領域と被写体カテゴリを利用して詳細認識を行う。例えば、被写体詳細認識部４１２は、被写体カテゴリ推定部５１２から供給された被写体サイズに該当する枠を撮像部４１１からの通常画像の該当領域に設定し、その設定した枠内の画像を切り出す。
【０１２４】
そして、切り出された通常画像と、被写体カテゴリ推定部５１２から供給された被写体カテゴリを用いて、カテゴリを絞り込んだ後、そのカテゴリに属する物体を特定するような認識処理など、予め設定されている認識処理を実行する。例えば、カテゴリが人と判定されている場合には、人に属する画像とのマッチングを行い、個人を特定したり、カテゴリが車と判定されている場合には、車に属する画像とのマッチングを行い、車種を特定したりする詳細認識が行われる。
【０１２５】
このように、第６の実施の形態における検出装置６００によれば、距離画像から、被写体のサイズを推定し、被写体が属するカテゴリを推定することができる。また、検出装置６００によれば、複数の被写体（カテゴリ）を推定することができ、例えば、人と車といった異なる物体を検出することができる。さらに、検出した物体を、詳細に認識することができる。
【０１２６】
＜第７の実施の形態＞
次に、第７の実施の形態について説明を加える。図２０は、第７の実施の形態における検出装置７００の構成例を示す図である。図２０に示した検出装置７００と、図１５に示した検出装置５００において、同一の部分には、同一の符号を付し、その説明は省略する。
【０１２７】
第７の実施の形態における検出装置７００は、第５の実施の形態における検出装置５００に、被写体形状推定部７１１を追加し、被写体カテゴリ推定部７１２は、被写体形状推定部７１１からの出力を入力する構成とした点が、第５の実施の形態における検出装置５００と異なる。
【０１２８】
被写体形状推定部７１１は、被写体の形状を推定する。図１７を再度参照する。図１７に示したように、手が撮像された距離画像１３１が取得されたとき、注目画素１３２から、距離情報が大きく変化する、すなわちエッジの部分までを探索することで、手の形状が得られる。
【０１２９】
被写体カテゴリ推定部７１２は、図１５に示した検出装置５００の被写体カテゴリ推定部５１２と基本的に同様の処理を行うが、図２０に示した被写体カテゴリ推定部７１２は、被写体形状推定部７１１からの推定された被写体の形状も用いてカテゴリの推定を行う。よって、より精度良くカテゴリの推定ができる。
【０１３０】
図２１に示したフローチャートを参照して、図２０に示した検出装置７００の処理について説明を加える。
【０１３１】
ステップＳ７０１乃至Ｓ７０３は、距離情報取得部１１１、被写体サイズ推定部５１１により行われる処理であり、図１６に示したフローチャートのステップＳ５０１乃至Ｓ５０３と同様に行われるため、その説明は省略する。
【０１３２】
ステップＳ７０４において、被写体形状推定部７１１は、注目画素１３２周辺の距離分布に基づいて被写体の形状を推定する。図１７を参照して説明したように、距離情報を用いて、距離が大きく変化する部分（エッジ）を探索することで、形状が推定される。換言すれば、距離がなだらかに変化している領域は、検出している物体の一部であるとし、そのような距離がなだらかに変化しているか否かを判定しながら、物体の形状が求められる。
【０１３３】
ステップＳ７０５において、被写体カテゴリ推定部７１２は、距離、被写体サイズ、形状に基づいて、被写体が属するカテゴリを推定する。この場合、距離と被写体サイズだけでなく、形状の情報も用いてカテゴリの推定が行われるため、より精度良くカテゴリの推定を行うことができる。
【０１３４】
第７の実施の形態における検出装置７００によれば、距離画像から、被写体のサイズを推定し、カテゴリを推定し、被写体の形状を推定することができる。また、検出装置７００によれば、複数の被写体（カテゴリ）を推定することができ、例えば、人と車といった異なる物体を検出することができる。
【０１３５】
なお、被写体カテゴリ推定部７１２によるカテゴリの推定を省略し、被写体形状推定部７１１での被写体形状の推定結果が、後段の処理部（不図示）に出力されるようにしても良い。
【０１３６】
＜第８の実施の形態＞
次に、第８の実施の形態について説明を加える。図２２は、第８の実施の形態における検出装置８００の構成例を示す図である。図２２に示した検出装置８００と、図２０に示した検出装置７００において、同一の部分には、同一の符号を付し、その説明は省略する。
【０１３７】
第８の実施の形態における検出装置８００は、第７の実施の形態における検出装置７００に、撮像部８１１と被写体詳細認識部８１２とを追加した構成とされている。追加された撮像部８１１は、第２の実施の形態における検出装置２００の撮像部２１１（図６）と基本的に同様の処理を行う。
【０１３８】
撮像部８１１は、通常画像を撮像し、被写体詳細認識部８１２に供給する。被写体詳細認識部８１２には、被写体カテゴリ推定部７１２から、距離、被写体サイズ、被写体カテゴリ、および被写体形状も供給される。被写体詳細認識部８１２は、被写体カテゴリ推定部７１２から供給された距離、被写体サイズ、被写体カテゴリ、および被写体形状を用いて、さらに詳細な認識を、通常画像を用いて行う。
【０１３９】
図２３に示したフローチャートを参照して、図２２に示した検出装置８００の処理について説明を加える。
【０１４０】
ステップＳ８０１乃至Ｓ８０６は、距離情報取得部１１１、被写体サイズ推定部５１１、被写体形状推定部７１１、被写体カテゴリ推定部７１２により行われる処理であり、図２１に示したフローチャートのステップＳ７０１乃至Ｓ７０６と同様に行われるため、その説明は省略する。
【０１４１】
ステップＳ８０７において、被写体詳細認識部８１２は、被写体候補領域、被写体カテゴリ、および被写体形状を利用して詳細認識を行う。例えば、被写体詳細認識部８１２は、被写体カテゴリ推定部７１２から供給された被写体サイズに該当する枠を撮像部４１１からの通常画像の該当領域に設定し、その設定した枠内の画像を切り出す。
【０１４２】
そして、切り出された通常画像と、被写体カテゴリ推定部７１２から供給された被写体カテゴリを用いて、カテゴリを絞り込んだ後、そのカテゴリに属する物体のうち、被写体形状に合う物体を特定するような認識処理など、予め設定されている認識処理を実行する。例えば、カテゴリが人と判定されている場合には、人に属する画像とのマッチングを行い、そのマッチングを行うとき、被写体形状を参照し、その形状に近い画像、例えば、形状が人の顔である場合、人の顔を対象とした認識に絞り込み、絞り込んだ後、個人を特定するといった処理が行われる。
【０１４３】
このように、第８の実施の形態における検出装置８００によれば、距離画像から、被写体のサイズを推定し、カテゴリを推定し、被写体の形状を推定することができる。また、検出装置８００によれば、複数の被写体（カテゴリ）を推定することができ、例えば、人と車といった異なる物体を検出することができる。
【０１４４】
さらに、検出した物体を、詳細に認識することができる。その詳細な認識のとき、推定されている被写体のサイズ、カテゴリ、形状などの情報も用いて行うことができるため、詳細認識に係る処理を軽減することができる。
【０１４５】
第１乃至第８の実施の形態における検出装置によれば、距離画像から物体を検出することができる。例えば、物体として人を検出するようにした場合、本技術を監視カメラ等に適用できる。また、例えば、本技術をゲーム機に適用し、ゲームを行う人を検出し、その人のジェスチャーを検出する（手や、その手の向きなどを検出する）装置にも適用できる。
【０１４６】
また、第１乃至第８の実施の形態における検出装置を、自動車に搭載し、人、自転車、自車以外の自動車などを検出し、検出した物体の情報を、ユーザに知らせたり、衝突しないように安全回避を行う制御を行ったりする装置の一部にも適用できる。
【０１４７】
＜検出装置の適用例＞
【０１４８】
第１乃至第８の実施の形態における検出装置を、複数の基板（ダイ）を積層した積層イメージセンサを採用することができる。ここでは、第２の実施の形態における検出装置２００（図６）を例に挙げて、検出装置２００を積層イメージセンサで構成した場合について説明する。
【０１４９】
図２４は、図６の検出装置２００の全体を内蔵させた積層イメージセンサの第１の構成例を示す図である。図２４の積層イメージセンサは、画素基板９０１と信号処理基板９０２とが積層された２層構造になっている。
【０１５０】
画素基板９０１には、距離情報取得部１１１（の一部）と撮像部２１１（の一部）が形成されている。距離情報取得部１１１を、ＴＯＦ方式で距離情報を得る場合、所定の光を被写体に照射する照射部と、その照射された光を受光する撮像素子とが含まれる構成とされる。この距離情報取得部１１１を構成する撮像素子の部分、または照射部などの部分も含めて、画素基板９０１に形成することができる。
【０１５１】
また撮像部２１１にも、通常画像を撮像するための撮像素子が含まれている。この距離情報取得部２１１を構成する撮像素子の部分を、画素基板９０１に形成することができる。
【０１５２】
信号処理基板８２には、被写体特徴抽出部１１２、被写体候補領域検出部１１３、実サイズデータベース１１４、および被写体詳細認識部２１２が形成されている。
【０１５３】
以上のように構成される図２４の積層イメージセンサでは、画素基板９０１の距離情報取得部１１１において、そこに入射する光を受光することにより撮像が行われ、その撮像により得られる画像（距離画像）から、検出対象とされた物体の検出が行われる。
【０１５４】
また図２４の積層イメージセンサでは、画素基板９０１の撮像部２１１において、そこに入射する光を受光することにより撮像が行われ、その撮像により得られる画像（通常画像）から、検出対象とされた被写体の画像などが切り出され、出力される。
【０１５５】
図２５は、図６の検出装置２００の全体を内蔵させた積層イメージセンサの第２の構成例を示す図である。
【０１５６】
なお、図中、図２４の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１５７】
図２５の積層イメージセンサは、画素基板９０１、信号処理基板９０２、および、メモリ基板９０３が積層された３層構造になっている。
【０１５８】
画素基板９０１には、距離情報取得部１１１と撮像部２１１が形成され、信号処理基板９０２には、被写体特徴抽出部１１２、被写体候補領域検出部１１３、および被写体詳細認識部２１２が形成されている。
【０１５９】
メモリ基板９０３には、実サイズデータベース１１４と画像記憶部９１１が形成されている。
【０１６０】
図２５では、被写体候補領域検出部１１３による検出結果、例えば、検出対象の被写体が撮像されている距離画像から切り出された画像などを記憶する記憶領域として、画像記憶部９１１が、メモリ基板９０３に形成されている。また、テーブル１５１（図４）を記憶している実サイズデータベース１１４も、メモリ基板９０３に形成されている。
【０１６１】
なお、図２５では、画素基板９０１、信号処理基板９０２、および、メモリ基板９０３は、上から、その順で積層されているが、その他、例えば、信号処理基板９０２とメモリ基板９０３との順番を入れ替えて、画素基板９０１、メモリ基板９０３、および、信号処理基板９０２の順で積層することができる。
【０１６２】
また、積層イメージセンサは、２層や３層の基板の他、４層以上の基板を積層して構成することができる。
【０１６３】
＜本技術を適用したコンピュータの説明＞
【０１６４】
次に、検出装置１００乃至８００のそれぞれが行う一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１６５】
図２６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
【０１６６】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１００５やROM１００３に予め記録しておくことができる。
【０１６７】
あるいはまた、プログラムは、リムーバブル記録媒体１０１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１０１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１０１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０１６８】
なお、プログラムは、上述したようなリムーバブル記録媒体１０１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１００５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０１６９】
コンピュータは、CPU(Central Processing Unit)１００２を内蔵しており、CPU１００２には、バス１００１を介して、入出力インタフェース１０１０が接続されている。
【０１７０】
CPU１００２は、入出力インタフェース１０１０を介して、ユーザによって、入力部１００７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１００３に格納されているプログラムを実行する。あるいは、CPU１００２は、ハードディスク１００５に格納されたプログラムを、RAM(Random Access Memory)１００４にロードして実行する。
【０１７１】
これにより、CPU１００２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１００２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１０１０を介して、出力部１００６から出力、あるいは、通信部１００８から送信、さらには、ハードディスク１００５に記録等させる。
【０１７２】
なお、入力部１００７は、キーボードや、マウス、マイク等で構成される。また、出力部１００６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０１７３】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０１７４】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１７５】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１７６】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１７７】
例えば、上述した検出装置１００乃至８００の各構成例は、可能な範囲で組み合わせることができる。
【０１７８】
ここで、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１７９】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１８０】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１８１】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０１８２】
なお、本技術は、以下のような構成をとることができる。
（１）
被写体までの距離に関する距離情報を取得する取得部と、
前記距離情報と、検出対象とされる物体の特徴量から、前記物体が撮像されている可能性がある領域を設定する設定部と、
前記領域内の画像が、前記物体であるか否かを判定する判定部と
を備える検出装置。
（２）
前記設定部は、
前記物体の特徴量を、所定の距離における前記物体の大きさとし、
処理対象に設定した画素における距離に応じた前記物体の大きさに該当する枠を設定し、
前記判定部は、
前記枠内の画像が前記物体である否かを判定する
前記（１）に記載の検出装置。
（３）
前記物体が向いている方向を、前記距離情報から検出する方向検出部をさらに備える
前記（１）または（２）に記載の検出装置。
（４）
環境光による画像を撮像する撮像部と、
前記撮像部で撮像された前記画像と、前記設定部により設定された前記物体の大きさ、前記判定部により前記物体であると判定された領域内の画像、および前記方向検出部により検出された前記物体の方向の少なくとも１つを用いて、前記物体に対する詳細な認識を行う認識部と
をさらに備える前記（３）に記載の検出装置。
（５）
被写体までの距離に関する距離情報を取得する取得部と、
前記距離情報を用いて、所定の物体が撮像されている可能性がある領域を設定する設定部と、
前記領域の大きさと、前記距離情報とから、前記物体が属するカテゴリを推定する推定部と
を備える検出装置。
（６）
前記設定部は、
前記距離情報が変化する部分までを前記物体が撮像されている可能性がある領域として設定し、
前記推定部は、
前記領域内の前記距離情報が表す距離において前記領域の大きさとなる物体が属するカテゴリを、前記物体が属するカテゴリであると推定する
前記（５）に記載の検出装置。
（７）
前記設定部により設定された前記領域内の物体の形状を、前記距離情報を用いて推定する形状推定部をさらに備える
前記（５）または（６）に記載の検出装置。
（８）
前記推定部は、前記距離情報、前記領域の大きさ、前記形状の少なくとも１つを用いて前記カテゴリを推定する
前記（７）に記載の検出装置。
（９）
環境光による画像を撮像する撮像部と、
前記撮像部で撮像された前記画像と、前記設定部により設定された前記領域の大きさ、前記推定部により推定された前記カテゴリ、および前記形状推定部により推定された前記形状の少なくとも１つを用いて、前記物体に対する詳細な認識を行う認識部と
をさらに備える前記（７）に記載の検出装置。
（１０）
前記取得部は、ＴＯＦ方式のセンサ、ステレオカメラ、超音波センサ、またはミリ波レーダを用いて、前記距離情報を取得する
前記（１）乃至（９）のいずれかに記載の検出装置。
（１１）
被写体までの距離に関する距離情報を取得し、
前記距離情報と、検出対象とされる物体の特徴量から、前記物体が撮像されている可能性がある領域を設定し、
前記領域内の画像が、前記物体であるか否かを判定する
ステップを含む検出方法。
（１２）
被写体までの距離に関する距離情報を取得し、
前記距離情報を用いて、所定の物体が撮像されている可能性がある領域を設定し、
前記領域の大きさと、前記距離情報とから、前記物体が属するカテゴリを推定する
ステップを含む検出方法。
（１３）
コンピュータに、
被写体までの距離に関する距離情報を取得し、
前記距離情報と、検出対象とされる物体の特徴量から、前記物体が撮像されている可能性がある領域を設定し、
前記領域内の画像が、前記物体であるか否かを判定する
ステップを含む処理を実行させるためのプログラム。
（１４）
コンピュータに、
被写体までの距離に関する距離情報を取得し、
前記距離情報を用いて、所定の物体が撮像されている可能性がある領域を設定し、
前記領域の大きさと、前記距離情報とから、前記物体が属するカテゴリを推定する
ステップを含む処理を実行させるためのプログラム。
【符号の説明】
【０１８３】
１００  検出装置，  １１１  距離情報取得部，  １１２  被写体特徴抽出部，  １１３  被写体候補領域検出部，  １１４  実サイズデータベース，  ２００  検出装置，  ２１１  撮像部，  ２１２  被写体詳細認識部，  ３００  検出装置，  ３１１  被写体方向検出部，  ４００  検出装置，  ４１１  撮像部，  ４１２  被写体詳細認識部，  ５００  検出装置，  ５１１  被写体サイズ推定部，  ５１２  被写体カテゴリ推定部，  ６００  検出装置，  ６１１  撮像部，  ６１２  被写体詳細認識部，  ７００  検出装置，  ７１１  被写体形状推定部，  ７１２  被写体カテゴリ推定部，  ８００  検出装置，  ８１１  撮像部，  ８１２  被写体詳細認識部
【図１】
2017199278.tif 000003
【図２】
2017199278.tif 000004
【図３】
2017199278.tif 000005
【図４】
2017199278.tif 000006
【図５】
2017199278.tif 000007
【図６】
2017199278.tif 000008
【図７】
2017199278.tif 000009
【図８】
2017199278.tif 000010
【図９】
2017199278.tif 000011
【図１０】
2017199278.tif 000012
【図１１】
2017199278.tif 000013
【図１２】
2017199278.tif 000014
【図１３】
2017199278.tif 000015
【図１４】
2017199278.tif 000016
【図１５】
2017199278.tif 000017
【図１６】
2017199278.tif 000018
【図１７】
2017199278.tif 000019
【図１８】
2017199278.tif 000020
【図１９】
2017199278.tif 000021
【図２０】
2017199278.tif 000022
【図２１】
2017199278.tif 000023
【図２２】
2017199278.tif 000024
【図２３】
2017199278.tif 000025
【図２４】
2017199278.tif 000026
【図２５】
2017199278.tif 000027
【図２６】
2017199278.tif 000028