(57)【要約】【課題】目標領域上における検出対象物体を円滑に検出可能な物体検出装置を提供する。【解決手段】物体検出装置１は、目標領域にドットパターンのレーザ光を投射する投射光学系１００と、目標領域をＣＭＯＳイメージセンサ２４０により撮像する受光光学系２００と、３次元距離情報を取得する距離取得部２１ｂと、ＣＭＯＳイメージセンサ２４０上の各画素の輝度値に基づき３次元距離情報を補正する画像処理部２１ｄと、補正された３次元距離情報に基づいて検出対象物体を検出する物体検出部２１ｃとを備える。画像処理部２１は、物体が物体検出装置１に対して接近した位置にあるために不正確であると判定される３次元距離情報を、輝度値に基づく値に補正する。【選択図】図２
2016040520.tif 000002
【特許請求の範囲】
【請求項１】
目標領域にドットパターンの光を投射する投射部と、
前記目標領域をイメージセンサにより撮像する撮像部と、
前記撮像部により撮像された撮像画像上のドットの位置に基づいて、前記目標領域上の各位置に対する距離情報を取得する距離取得部と、
物体が前記投射部と前記撮像部に対して接近した位置にあるために不正確であると判定される前記距離情報を所定の値に補正する距離補正部と、
前記距離補正部により補正された前記距離情報に基づいて検出対象物体を検出する物体検出部と、を備える、
ことを特徴とする物体検出装置。
【請求項２】
請求項１に記載の物体検出装置において、
前記距離補正部は、前記イメージセンサにおける各画素の輝度値を取得し、取得した輝度値に基づいて前記撮像画像上の高輝度領域を特定し、特定した前記高輝度領域に対応する前記距離情報を所定の値に補正する、
ことを特徴とする物体検出装置。
【請求項３】
請求項２に記載の物体検出装置において、
前記距離補正部は、前記イメージセンサにおける各画素の輝度値と所定の閾値とを比較することにより、前記高輝度領域を特定する、
ことを特徴とする物体検出装置。
【請求項４】
請求項２に記載の物体検出装置において、
前記距離補正部は、複数の画素を含む所定の画素領域について、各画素の輝度値を加算し、前記各画素の輝度値の加算値と所定の閾値とを比較することにより、前記高輝度領域を特定する、
ことを特徴とする物体検出装置。
【請求項５】
請求項２ないし４の何れか一項に記載の物体検出装置において、
前記距離補正部は、前記高輝度領域に対応する前記距離情報を、前記高輝度領域に対応する前記イメージセンサ上の画素の輝度値に基づく値に置き換える、
ことを特徴とする物体検出装置。
【請求項６】
請求項２に記載の物体検出装置において、
前記距離補正部は、前記距離取得部により取得された距離情報に基づいて、測距可能範囲よりも接近した位置に存在する物体に対応する物体領域を特定し、特定した前記物体領域に対する距離情報として、当該物体領域に対応するイメージセンサ上の画素の輝度値に基づく値を適用する、
ことを特徴とする物体検出装置。
【請求項７】
目標領域に光を投射する投射部と、
前記目標領域をイメージセンサにより撮像する撮像部と、
前記イメージセンサにおける各画素の輝度値を取得し、取得した輝度値に基づいて撮像画像上の高輝度領域を特定し、特定した前記高輝度領域から検出対象物体に対応する領域を抽出する物体抽出部と、を備える、
ことを特徴とする物体検出装置。
【請求項８】
請求項７に記載の物体検出装置において、
前記物体抽出部は、前記各画素の輝度値と所定の閾値とを比較することにより、前記高
輝度領域を特定する、
ことを特徴とする物体検出装置。
【請求項９】
請求項８に記載の物体検出装置において、
前記物体抽出部は、前記各画素の輝度値を前記閾値に対して相対的に変化させて、前記高輝度領域を特定する、
ことを特徴とする物体検出装置。
【請求項１０】
請求項９に記載の物体検出装置において、
前記撮像部は、撮像時の露光時間を変化させることが可能に構成され、
前記物体抽出部は、物体抽出に適する露光時間の撮像画像から、前記検出対象物体に対応する領域を抽出する、
ことを特徴とする物体検出装置。
【請求項１１】
請求項１０に記載の物体検出装置において、
前記撮像部は、露光時間を変化させながら撮像画像を取得し、
前記物体抽出部は、取得された各撮像画像について前記高輝度領域を特定し、特定した前記高輝度領域から前記検出対象物体に対応する領域を抽出する抽出処理を実行する、
ことを特徴とする物体検出装置。
【請求項１２】
請求項１１に記載の物体検出装置において、
前記物体抽出部は、前記検出対象物体に対応する領域が抽出されるまで、露光時間が異なる前記撮像画像に対し、所定の順序で、前記抽出処理を実行する、
ことを特徴とする物体検出装置。
【請求項１３】
請求項１２に記載の物体検出装置において、
前記物体抽出部は、露光時間が短い撮像画像から順に、前記抽出処理を実行する、
ことを特徴とする物体検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、目標領域内の物体を検出する物体検出装置に関する。
【背景技術】
【０００２】
従来、光を用いた物体検出装置が種々の分野で開発されている。いわゆる距離画像センサを用いた物体検出装置では、２次元平面上の平面的な画像のみならず、検出対象物体の奥行き方向の形状や動きを検出することができる。この場合、距離画像センサでは、レーザ光源やＬＥＤ（Light Emitting Diode）から、予め決められた波長帯域の光が目標領域に投射され、ＣＭＯＳイメージセンサ等の撮像素子により目標領域が撮像される。
【０００３】
かかる距離画像センサとして、所定のドットパターンを持つレーザ光を目標領域に照射するタイプのものが知られている（たとえば、非特許文献１）。かかる距離画像センサでは、基準面にレーザ光を照射したときのドットパターンが撮像素子により撮像され、撮像されたドットパターンが基準ドットパターンとして保持される。そして、基準ドットパターンと、実測時に撮像された実測ドットパターンとが比較され、距離情報が取得される。具体的には、基準ドットパターン上に設定された参照領域の実測ドットパターン上における位置に基づいて、三角測量法により、当該参照領域に対する距離情報が取得される。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】第１９回日本ロボット学会学術講演会（２００１年９月１８−２０日）予稿集、Ｐ１２７９−１２８０
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記距離画像センサでは、一般、前後方向の所定の範囲において、距離の検出が可能である。検出対象物体がこの範囲から外れた位置にあると、検出対象物体に対する距離情報を取得することができない。また、検出対象物体が距離画像センサに近づいた位置にあるような場合、検出対象物体上において、ドットパターンのドットがかなり大きくなり、ドットの境界が不明確となる。こうなると、上記手法では、距離情報の取得が不可能である。
【０００６】
上記課題に鑑み、本発明は、目標領域上における検出対象物体を円滑に検出可能な物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様は、物体検出装置に関する。本態様に係る物体検出装置は、目標領域にドットパターンの光を投射する投射部と、前記目標領域をイメージセンサにより撮像する撮像部と、前記撮像部により撮像された撮像画像上のドットの位置に基づいて、前記目標領域上の各位置に対する距離情報を取得する距離取得部と、物体が前記投射部と前記撮像部に対して接近した位置にあるために不正確であると判定される前記距離情報を所定の値に補正する距離補正部と、前記距離補正部により補正された前記距離情報に基づいて検出対象物体を検出する物体検出部と、を備える。
【０００８】
本発明の第２の態様は、物体検出装置に関する。本態様に係る物体検出装置は、目標領域に光を投射する投射部と、前記目標領域をイメージセンサにより撮像する撮像部と、前記イメージセンサにおける各画素の輝度値を取得し、取得した輝度値に基づいて撮像画像
上の高輝度領域を特定し、特定した前記高輝度領域から検出対象物体に対応する領域を抽出する物体抽出部と、を備える。
【発明の効果】
【０００９】
本発明によれば、目標領域上における検出対象物体を円滑に検出可能な物体検出装置を提供することができる。
【００１０】
本発明の効果ないし意義は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下に示す実施の形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施の形態により何ら制限されるものではない。
【図面の簡単な説明】
【００１１】
【図１】実施例１に係る物体検出装置の構成を示す図である。
【図２】実施例１に係る物体検出装置の構成を示す図である。
【図３】実施例１に係る目標領域に対するレーザ光の照射状態とイメージセンサ上のレーザ光の受光状態を示す図である。
【図４】実施例１に係る参照パターンの生成方法を説明する図である。
【図５】実施例１に係る距離検出手法を説明する図である。
【図６】実施例１に距離画像生成処理および輝度画像生成処理を示す図である。
【図７】実施例１に係る距離画像の生成例を示す図である。
【図８】実施例１に係る物体検出処理および物体検出方法を示す図である。
【図９】実施例１の変更例に係る輝度画像生成処理および白とび領域の判定方法を示す図である。
【図１０】実施例１の他の変更例に係る距離画像の補正処理および補正方法を示す図である。
【図１１】実施例２に係る物体検出装置の構成を示す図である。
【図１２】実施例２に係る物体検出処理および物体検出方法を示す図である。
【図１３】実施例２における課題を示す図である。
【図１４】実施例２の変更例に係る物体検出処理を示す図である。
【図１５】実施例２の変更例に係る物体検出例を示す図である。
【図１６】実施例２の他の変更例に係る物体検出処理を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態につき図面を参照して説明する。
【００１３】
以下に示す実施の形態において、レーザ駆動回路２２および投射光学系１００は、請求項に記載の「投射部」に相当する。撮像信号処理回路２３および受光光学系２００は、請求項に記載の「撮像部」に相当する。距離取得部２１ｂは、請求項に記載の「距離取得部」に相当する。物体検出部２１ｃは、請求項に記載の「物体検出部」に相当する。距離情報補正部２１ｄは、請求項に記載の「距離補正部」に相当する。画像処理部２１ｅは、請求項に記載の「物体抽出部」に相当する。ＣＭＯＳイメージセンサ２４０は、請求項に記載の「イメージセンサ」に相当する。ただし、上記請求項と本実施の形態との対応の記載はあくまで一例であって、請求項に係る発明を本実施の形態に限定するものではない。
【００１４】
（１）実施例１
本実施例は、請求項１に記載の構成の一例を示すものである。
【００１５】
図１に本実施例に係る物体検出装置１の概略構成を示す。図１に示すように、物体検出装置１は、テレビ２に内蔵されている。テレビ２は、内部に情報処理部３を備えており、情報処理部３からの信号によって制御される。
【００１６】
物体検出装置１は、目標領域全体に、可視光の波長帯よりも長い波長の光を投射し、その反射光をＣＭＯＳイメージセンサにて受光することにより、目標領域に存在する物体各部までの距離（以下、「３次元距離情報」という）を取得する。物体検出装置１は、取得した３次元距離情報に基づき目標領域における物体を検出するとともに、３次元距離情報の変化から、目標領域における物体の動きを検出する。そして、物体検出装置１は、物体の動きに応じた信号を、テレビ２内の配線を介してテレビ２の情報処理部３に送信する。情報処理部３は、物体検出装置１から受信した物体の動きに応じた信号に基づき、テレビ２を制御する。
【００１７】
たとえば、ユーザがテレビ２を見ながら所定の動き（ジェスチャ）をすると、物体検出装置１からユーザのジェスチャに応じた信号がテレビ２の情報処理部３に送信される。そして、情報処理部３により、あらかじめジェスチャに応じた信号に対応付けられたチャンネル切り替えやボリュームのＵＰ／Ｄｏｗｎ等のテレビ２の機能が実行される。
【００１８】
なお、テレビ２のほか、ゲーム機、パーソナルコンピュータ等に物体検出装置１が内蔵されていても良い。たとえば、ゲーム機に物体検出装置１が内蔵される場合、ゲーム機の情報処理部により、あらかじめジェスチャに応じた信号に対応付けられたゲーム機の機能が実行される。たとえば、ユーザのジェスチャに応じて、テレビ画面上のキャラクタが操作され、ゲームの対戦状況が変化する。
【００１９】
図２は、物体検出装置１とテレビ２の情報処理部３の構成を示す図である。
【００２０】
物体検出装置１は、光学部の構成として、投射光学系１００と受光光学系２００とを備えている。投射光学系１００と受光光学系２００は、Ｘ軸方向に並ぶように、物体検出装置１に配置される。
【００２１】
投射光学系１００は、レーザ光源１１０と、コリメータレンズ１２０と、ミラー１３０と、回折光学素子（ＤＯＥ：Diffractive Optical Element）１４０を備えている。また
、受光光学系２００は、アパーチャ２１０と、撮像レンズ２２０と、フィルタ２３０と、ＣＭＯＳイメージセンサ２４０とを備えている。この他、物体検出装置１は、回路部の構成として、ＣＰＵ（Central Processing Unit）２１と、レーザ駆動回路２２と、撮像信
号処理回路２３と、入出力回路２４と、メモリ２５を備えている。
【００２２】
レーザ光源１１０は、受光光学系２００から離れる方向（Ｘ軸負方向）に、可視光の波長帯域よりも長い波長（たとえば、８３０ｎｍ程度）のレーザ光を出力する。コリメータレンズ１２０は、レーザ光源１１０から出射されたレーザ光を略平行光に変換する。
【００２３】
ミラー１３０は、コリメータレンズ１２０側から入射されたレーザ光をＤＯＥ１４０に向かう方向（Ｚ軸正方向）に反射する。
【００２４】
ＤＯＥ１４０は、入射面に回折パターンを有する。この回折パターンによる回折作用により、ＤＯＥ１４０に入射したレーザ光は、所定のドットパターンのレーザ光に変換されて、目標領域に照射される。
【００２５】
ＤＯＥ１４０の回折パターンは、たとえば、ステップ型の回折格子が所定のパターンで形成された構造とされる。回折格子は、コリメータレンズ１２０により略平行光とされたレーザ光をドットパターンのレーザ光に変換するよう、パターンとピッチが調整されている。ＤＯＥ１４０は、ミラー１３０から入射されたレーザ光を、放射状に広がるドットパターンのレーザ光として、目標領域に照射する。
【００２６】
目標領域から反射されたレーザ光は、アパーチャ２１０を介して撮像レンズ２２０に入射する。
【００２７】
アパーチャ２１０は、撮像レンズ２２０のＦナンバーに合うように、外部からの光を制限する。撮像レンズ２２０は、アパーチャ２１０を介して入射された光をＣＭＯＳイメージセンサ２４０上に集光する。フィルタ２３０は、レーザ光源１１０の出射波長（たとえば８３０ｎｍ程度）を含む波長帯域の光を透過し、可視光の波長帯域の光をカットするバンドパスフィルタである。
【００２８】
ＣＭＯＳイメージセンサ２４０は、レーザ光源１１０から出射されるレーザ光の波長帯域の光に対し、撮像画像を出力可能に構成されている。ＣＭＯＳイメージセンサ２４０は、撮像レンズ２２０にて集光された光を受光して、画素毎に、受光量に応じた信号（電荷）を撮像信号処理回路２３に出力する。ここで、ＣＭＯＳイメージセンサ２４０は、各画素における受光から高レスポンスでその画素の信号（電荷）を撮像信号処理回路２３に出力できるよう、信号の出力速度が高速化されている。
【００２９】
本実施例において、ＣＭＯＳイメージセンサ２４０の撮像有効領域（センサとして信号を出力する領域）は、たとえば、ＶＧＡ（横６４０画素×縦４８０画素）のサイズである。ＣＭＯＳイメージセンサ２４０の撮像有効領域は、ＸＧＡ（横１０２４画素×縦７６８画素）のサイズや、ＳＸＧＡ（横１２８０画素×縦１０２４画素）のサイズ等、他のサイズであっても良い。
【００３０】
ＣＰＵ２１は、メモリ２５に格納された制御プログラムに従って各部を制御する。かかる制御プログラムによって、ＣＰＵ２１には、レーザ制御部２１ａと、距離取得部２１ｂと、物体検出部２１ｃと、距離情報補正部２１ｄの機能が付与される。
【００３１】
レーザ制御部２１ａは、レーザ駆動回路２２を制御する。距離取得部２１ｂは、ＣＭＯＳイメージセンサ２４０によって撮像された撮像画像に基づいて、後述のように３次元距離情報を生成する。
【００３２】
物体検出部２１ｃは、距離取得部２１ｂによって取得される３次元距離情報から画像中の物体の形状を抽出し、さらに、抽出した物体形状の動きを検出する。そして、物体検出部２１ｃは、検出した物体の動きが所定の動きパターンに合致しているかを判定し、所定の動きパターンに応じた信号をテレビ２の情報処理部３に送信する。
【００３３】
距離情報補正部２１ｄは、ＣＭＯＳイメージセンサ２４０の各画素の輝度値に基づき３次元距離情報を補正する。距離情報補正部２１ｄは、ＣＭＯＳイメージセンサ２４０の各画素の輝度値に基づき、撮像画像上の高輝度領域を特定する。そして、距離情報補正部２１ｄは、高輝度領域に対応する画素の輝度値を当該高輝度領域に当て嵌めた輝度画像を生成し、生成した輝度画像を、距離取得部２１ｂによって生成された距離画像に重畳して、距離画像を補正する。かかる距離情報補正部２１ｄの機能については、追って、図６および図７を参照して説明する。
【００３４】
レーザ駆動回路２２は、ＣＰＵ２１からの制御信号に応じてレーザ光源１１０を駆動する。
【００３５】
撮像信号処理回路２３は、ＣＰＵ２１からの制御を受けてＣＭＯＳイメージセンサ２４０を駆動し、所定の撮像間隔で、ＣＭＯＳイメージセンサ２４０により生成された各画素の信号（電荷）をライン毎に順次取り込む。そして、取り込んだ信号を順次ＣＰＵ２１に
出力する。ＣＰＵ２１は、撮像信号処理回路２３から供給される信号（撮像信号）をもとに、物体検出装置１から検出対象物体の各部までの距離を、距離取得部２１ｂによる処理によって算出する。
【００３６】
入出力回路２４は、テレビ２の情報処理部３とのデータ通信を制御する。
【００３７】
メモリ２５は、ＣＰＵ２１により実行される制御プログラムの他、３次元距離情報を取得する際に参照される参照テンプレートと、物体検出の際に参照される物体形状テンプレートを保持している。この他、メモリ２５は、ＣＰＵ２１における処理の際のワーク領域としても用いられる。
【００３８】
情報処理部３は、ＣＰＵ３１と、入出力回路３２と、メモリ３３を備えている。なお、情報処理装置３には、図２に示す構成の他、テレビ２を制御するための構成が配されるが、便宜上、これら周辺回路の構成は図示省略されている。
【００３９】
ＣＰＵ３１は、メモリ３３に格納された制御プログラムに従って各部を制御する。かかる制御プログラムによって、ＣＰＵ３１には、物体検出部２１ｃからの信号に応じて、テレビ２の機能を制御するための機能制御部３１ａの機能が付与される。機能制御部３１ａは、物体検出部２１ｃによる検出結果に基づき、上記のように、テレビ２の機能を制御する。
【００４０】
入出力回路３２は、物体検出装置１とのデータ通信を制御する。
【００４１】
投射光学系１００と受光光学系２００は、投射光学系１００の投射中心と受光光学系２００の撮像中心がＸ軸に平行な直線上に並ぶように、Ｘ軸方向に所定の距離をもって並んで設置される。投射光学系１００と受光光学系２００の設置間隔は、物体検出装置１と目標領域の基準面との距離に応じて、設定される。
【００４２】
次に、物体検出装置１による３次元距離情報の取得方法について説明する。
【００４３】
図３（ａ）は、目標領域に対するレーザ光の照射状態を模式的に示す図、図３（ｂ）は、ＣＭＯＳイメージセンサ２４０におけるレーザ光の受光状態を模式的に示す図である。なお、図３（ｂ）には、便宜上、目標領域に平坦な面（スクリーン）とスクリーンの前に人物が存在するときの受光状態が示されている。
【００４４】
図３（ａ）に示すように、投射光学系１００からは、ドットパターンを持ったレーザ光（以下、このパターンを持つレーザ光の全体を「ＤＰ光」という）が、目標領域に照射される。図３（ａ）には、ＤＰ光の光束領域が実線の枠によって示されている。ＤＰ光の光束中には、ＤＯＥ１４０による回折作用により生成されるドット領域（以下、単に「ドット」という）が、ＤＯＥ１４０による回折作用によるドットパターンに従って点在している。ドットは、レーザ光源１１０からのレーザ光がＤＯＥ１４０によって分岐されることにより生成される。
【００４５】
目標領域に平坦な面（スクリーン）と人物が存在すると、ＤＰ光は、図３（ｂ）のように、ＣＭＯＳイメージセンサ２４０上に分布する。図３（ａ）に示す目標領域上におけるＤｔ０の光は、ＣＭＯＳイメージセンサ２４０上では、図３（ｂ）に示すＤｔ０’の位置に入射する。スクリーンの前の人物の像は、ＣＭＯＳイメージセンサ２４０上では、上下左右が反転して撮像される。
【００４６】
図４（ａ）〜（ｃ）は、上記距離検出手法に用いられる参照パターンの設定方法を説明
する図である。
【００４７】
図４（ａ）に示すように、投射光学系１００から所定の距離Ｌｓの位置に、Ｚ軸方向に垂直な平坦な反射平面ＲＳが配置される。出射されたＤＰ光は、反射平面ＲＳによって反射され、受光光学系２００のＣＭＯＳイメージセンサ２４０に入射する。これにより、ＣＭＯＳイメージセンサ２４０から、撮像有効領域内の画素毎に、電気信号が出力される。出力された画素毎の電気信号の値（画素値）は、図２のメモリ２５上に展開される。
【００４８】
以下、反射平面ＲＳからの反射によって得られた全画素値からなる画像を「基準画像」と称し、反射平面ＲＳを「基準面」と称する。
【００４９】
図４（ｂ）に示すように、基準画像上に、「参照パターン領域」が設定される。なお、図４（ｂ）には、ＣＭＯＳイメージセンサ２４０の背面側から受光面をＺ軸正方向に透視した状態が図示されている。図５（ａ）、（ｂ）においても、これと同様である。
【００５０】
こうして設定された参照パターン領域に対して、所定の大きさを有する複数のセグメント領域が設定される。セグメント領域は、たとえば、図４（ｃ）に示すように、隣り合うセグメント領域が参照パターン領域に対してＸ軸方向およびＹ軸方向に１画素間隔で並ぶように設定される。すなわち、あるセグメント領域は、このセグメント領域のＸ軸方向およびＹ軸方向に隣り合うセグメント領域に対して、それぞれ、Ｘ軸方向およびＹ軸方向に１画素ずれた位置に設定される。このとき、各セグメント領域には、固有のパターンでドットが点在する。セグメント領域内のドットのパターンは、後述する探索範囲Ｌ０において、セグメント領域毎に異なっている。
【００５１】
こうして、ＣＭＯＳイメージセンサ２４０上における参照パターン領域の位置に関する情報と、参照パターン領域に含まれる全画素の画素値（参照パターン）と、参照パターン領域に対して設定されるセグメント領域の情報が、参照テンプレートとして図２のメモリ２５に記憶される。
【００５２】
図２のＣＰＵ２１は、投射光学系１００から検出対象物体の各部までの距離を算出する際に、参照テンプレートを参照する。ＣＰＵ２１は、距離を算出する際に、参照テンプレートから得られる各セグメント領域内のドットパターンのずれ量に基づいて、物体の各部までの距離を算出する。
【００５３】
たとえば、図４（ａ）に示すように距離Ｌｓよりも近い位置に物体がある場合、参照パターン上の所定のセグメント領域Ｓｎに対応するＤＰ光（ＤＰｎ）は、物体によって反射され、セグメント領域Ｓｎとは異なる領域Ｓｎ’に入射する。投射光学系１００と受光光学系２００はＸ軸方向に隣り合っているため、セグメント領域Ｓｎに対する領域Ｓｎ’の変位方向はＸ軸に平行となる。図４（ａ）の場合、物体が距離Ｌｓよりも近い位置にあるため、領域Ｓｎ’は、セグメント領域Ｓｎに対してＸ軸正方向に変位する。物体が距離Ｌｓよりも遠い位置にあれば、領域Ｓｎ’は、セグメント領域Ｓｎに対してＸ軸負方向に変位する。
【００５４】
セグメント領域Ｓｎに対する領域Ｓｎ’の変位方向と変位量（図４（ａ）に示す画素ずれ量Ｄ）をもとに、投射光学系１００からＤＰ光（ＤＰｎ）が照射された物体の部分までの距離Ｌｒが、距離Ｌｓを用いて、三角測量法に基づき算出される。同様にして、他のセグメント領域に対応する物体の部分について、投射光学系１００からの距離が算出される。かかる算出手法の詳細は、たとえば、上記非特許文献１（第１９回日本ロボット学会学術講演会（２００１年９月１８−２０日）予稿集、Ｐ１２７９−１２８０）に示されている。
【００５５】
かかる距離算出では、参照テンプレートのセグメント領域Ｓｎが、実測時においてどの位置に変位したかが検出される。この検出は、実測時にＣＭＯＳイメージセンサ２４０上に照射されたＤＰ光から得られたドットパターンと、セグメント領域Ｓｎに含まれるドットパターンとを照合することによって行われる。実測時のＣＭＯＳイメージセンサ２４０の撮像有効領域は、基準画像取得時と同様に、たとえば、ＶＧＡ（横６４０画素×縦４８０画素）のサイズである。
【００５６】
図５（ａ）〜（ｃ）は、かかる距離検出の手法を説明する図である。図５（ａ）は、ＣＭＯＳイメージセンサ２４０上における基準画像に設定された参照パターン領域を示す図であり、図５（ｂ）は、実測時のＣＭＯＳイメージセンサ２４０上の撮像画像（実測画像）を示す図であり、図５（ｃ）は、撮像画像に含まれるＤＰ光のドットパターンと、参照テンプレートのセグメント領域に含まれるドットパターンとの照合方法を説明する図である。なお、便宜上、図５（ａ）、（ｂ）には、一部のセグメント領域のみが示されており、図５（ｃ）には、各セグメント領域の大きさが、横９画素×縦９画素で示されている。
【００５７】
図５（ａ）のセグメント領域Ｓｉの実測時における変位位置を探索する場合、図５（ｂ）に示すように、実測時の撮像画像上において、セグメント領域Ｓｉと同じ位置にある領域Ｓｉ０を中心にＸ軸方向に＋α画素および−α画素の範囲が探索範囲Ｌ０に設定される。探索時には、セグメント領域Ｓｉが探索範囲Ｌ０において１画素ずつＸ軸方向に送られ、各送り位置において、セグメント領域Ｓｉのドットパターンと撮像画像上のドットパターンとが比較される。以下、撮像画像上の各送り位置に対応する領域を、「比較領域」と称する。探索範囲Ｌ０には、セグメント領域Ｓｉと同じサイズの比較領域が１画素おきに設定される。探索範囲Ｌ０は、取得しようとする距離の範囲に応じて設定される。取得しようとする距離の範囲が広い程、探索範囲Ｌ０は広くなる。
【００５８】
こうして設定された探索範囲Ｌ０において、セグメント領域ＳｉをＸ軸方向に１画素ずつ送りながら、各送り位置において、セグメント領域Ｓｉのドットパターンと、各送り位置の比較領域のドットパターンとのマッチング度合いが求められる。このようにセグメント領域Ｓｉを探索範囲Ｌ０内においてＸ軸方向にのみ送るのは、図４（ａ）を参照して説明したように、通常、セグメント領域内のドットは、実測時において、Ｘ軸方向に変位するためである。
【００５９】
上記マッチング度合いの検出時には、セグメント領域Ｓｉの各画素の画素値と、比較領域の対応する画素の画素値との差分が求められる。そして、求めた差分を比較領域内の全ての画素について加算した値Ｒｓａｄが、類似度を示す値として取得される。
【００６０】
たとえば、図５（ｃ）のように、一つのセグメント領域中に、ｎ列×ｍ行の画素が含まれている場合、セグメント領域のｉ列、ｊ行の画素の画素値Ｔ（ｉ，ｊ）と、比較領域のｉ列、ｊ行の画素の画素値Ｉ（ｉ，ｊ）との差分が求められる。そして、セグメント領域の全ての画素について差分が求められ、その差分の総和により、図５（ｃ）に示す式の値Ｒｓａｄが求められる。値Ｒｓａｄが小さい程、セグメント領域と比較領域との間の類似度が高い。
【００６１】
こうして、セグメント領域Ｓｉについて、探索範囲Ｌ０内の全ての比較領域に対して値Ｒｓａｄが求められる。そして、求めた値Ｒｓａｄが最小の比較領域が、セグメント領域Ｓｉの移動後の領域として検出される。このとき、たとえば、値Ｒｓａｄの最小値と、値Ｒｓａｄの２番目に小さい値との差分が所定の閾値よりも小さい場合、値Ｒｓａｄが最小の比較領域はセグメント領域Ｓｉの移動後の領域とされず、セグメント領域Ｓｉに対する探索がエラーとされる。この場合、セグメント領域Ｓｉに対する距離値は取得されない。
【００６２】
図５（ｂ）の例では、セグメント領域Ｓｉに含まれるドットは、撮像画像（実測画像）上において、比較領域Ｃｊの位置に移動している。したがって、この場合、比較領域Ｃｊに対する値Ｒｓａｄが最小となり、比較領域Ｃｊがセグメント領域Ｓｉの移動後の領域として検出される。そして、比較領域Ｃｊと、セグメント領域Ｓｉと同じ位置にある領域Ｓｉ０との間の、Ｘ軸方向における画素ずれ量が取得される。この画素ずれ量は、図４（ａ）に示す画素ずれ量Ｄに相当する。その後、この画素ずれ量Ｄをもとに、上記のように三角測量法に基づいて、セグメント領域Ｓｉに対する距離情報が取得される。
【００６３】
物体検出装置１は、上記のようにして取得された各セグメント領域に対応する検出対象物体までの距離を白から黒の階調で表現された画素値に割り当てた画像を、メモリ２５に記憶する。以下、各セグメント領域に対応する距離を画素値で表現した画像を「距離画像」と称する。上記のように、本実施例において、セグメント領域は、基準画像の参照パターン領域に対して、１画素刻みで設定されるため、距離画像は、基準画像と略同様のＶＧＡサイズの解像度（略６４０×略４８０）を有する。
【００６４】
本実施例において、距離画像の各画素位置の距離は、２５６階調で表現され、近距離ほど白（画素値２５６）に近く、遠距離ほど黒（画素値０）に近い階調が割り当てられる。また、セグメント領域の探索がエラーとなった場合は、黒（画素値０）の階調が割り当てられる。物体検出装置１は、所定の時間おきに、当該距離画像を取得する。本実施例では、物体検出装置１は、１秒間に３０枚の距離画像を生成する。
【００６５】
このように距離画像が生成される場合、図５（ｂ）の探索範囲Ｌ０に対応する距離範囲から外れた位置に物体が存在しても、この物体に対する距離値は得られない。したがって、距離画像において、探索範囲Ｌ０に対応する距離範囲から外れた位置に物体が存在する領域には、エラー値（画素値０）が設定される。しかしながら、この物体が、手等の検出対象物体である場合、テレビ２に対するコマンドであるユーザからのジェスチャが検出されないことになってしまう。したがって、探索範囲Ｌ０に対応する距離範囲から外れた位置に物体が存在する場合にも、極力、この物体に対する距離値が距離画像に反映されるようにするのが望ましい。
【００６６】
そこで、本実施例では、物体が、探索範囲Ｌ０に対応する距離範囲よりも物体検出装置１に接近した位置にある場合、距離情報補正部２１ｄによって、この物体に対する所定の値が距離画像に重畳され、距離画像が補正される。
【００６７】
以下、この補正処理を含め、距離取得部２１ｂによる距離情報の取得処理から、物体検出部２１ｃによる物体検出処理までの流れについて、図６（ａ）〜図８（ｂ）を参照して説明する。
【００６８】
図６（ａ）は、距離画像の生成処理を示すフローチャートである。図６（ａ）の処理は、図２に示すＣＰＵ２１の機能のうち、主として距離取得部２１ｂの機能により実行される。
【００６９】
ＣＰＵ２１は、ＣＭＯＳイメージセンサ２４０から画像を取得するタイミングが到来すると（Ｓ１０１：ＹＥＳ）、ＣＭＯＳイメージセンサ２４０から撮像画像を取得し（Ｓ１０２）、上述のように、取得した撮像画像に基づき距離情報を取得する（Ｓ１０３）。さらに、ＣＰＵ２１は、取得した距離情報に対応する距離値を各画素位置に設定して距離画像を生成する（Ｓ１０４）。そして、ＣＰＵ２１は、作成した距離画像に、輝度値に基づく輝度画像を合成する（Ｓ１０５）。
【００７０】
図６（ｂ）は、輝度画像の生成処理を示すフローチャートである。図６（ｂ）の処理は、図２に示すＣＰＵ２１の機能のうち、主として距離情報補正部２１ｄの機能により実行される。
【００７１】
ＣＰＵ２１は、図６（ａ）のＳ１０２において取得した撮像画像に対して平滑化処理を行う（Ｓ２０１）。この平滑化処理として、画像フィルタ処理として用いられる平滑化フィルタ処理（移動平均フィルタ、ガウシアンフィルタ、等）が用いられる。かかる平滑化処理により、撮像画像上の各画素の輝度値が、平らに滑らかにされる。
【００７２】
次に、ＣＰＵ２１は、輝度値が平滑化された撮像画像上において、輝度値が予め決められた閾値以上の画素領域（以下、「高輝度領域」という）を特定する（Ｓ２０２）。そして、ＣＰＵ２１は、高輝度領域中の各画素の輝度値の階調を、Ｓ１０４で作成した距離画像の階調に対応するよう調整し、調整した輝度値を高輝度領域の各画素に設定して、輝度画像を生成する（Ｓ２０３）。すなわち、ＣＰＵ２１は、Ｓ２０２において平滑化された各画素の輝度値の階調を、輝度値を距離値として扱えるように補正し、補正後の階調の輝度値を用いて、輝度画像を生成する。この場合、たとえば、輝度値の階調を補正するための補正テーブルが予めメモリ２５に保持される。ＣＰＵ２１は、この補正テーブルを参照して、高輝度領域中の各画素の輝度値の階調を距離画像の階調に対応するよう調整し、調整した輝度値を高輝度領域の各画素に設定して、輝度画像を生成する。
【００７３】
なお、このように、撮像画像から輝度値が閾値以上の画素領域（高輝度領域）を特定する構成（Ｓ２０３）は、請求項３に記載の構成の一例である。また、高輝度領域の各画素に、輝度値に基づく値を設定して輝度画像を生成する処理（Ｓ２０２、Ｓ２０３）は、請求項２に記載の構成の一例である。
【００７４】
物体が、図５（ｂ）の探索範囲Ｌ０に対応する距離範囲よりも物体検出装置１に接近した位置にある場合、この物体には高い光量で光が照射される。このため、撮像画像上の当該物体に対応する領域の輝度は、他の領域よりも高くなる。ＣＰＵ２１は、この現象に基づき、撮像画像上において、輝度が閾値以上となる画素領域（高輝度領域）を、物体が存在する領域として特定する。
【００７５】
図６（ａ）のＳ１０５に戻り、ＣＰＵ２１は、Ｓ２０３において生成した高輝度領域の輝度画像を、Ｓ１０４で生成した距離画像に合成する。具体的には、距離画像上の高輝度領域に対応する領域の各画素の距離値を、Ｓ２０３で生成した各画素の輝度値に置き換える。こうして、輝度画像が合成された距離画像（以下、「合成画像」と称する）が生成される。
【００７６】
このように、距離画像上の高輝度領域に対応する領域の各画素の距離値を、輝度画像の輝度値に対応する値に置き換える処理（Ｓ１０５）は、請求項２、５に記載の構成の一例である。
【００７７】
上記のように、本実施例では、物体が物体検出装置１に近づく程、距離値が大きくなる。他方、撮像画像上における輝度値も、物体が物体検出装置１に近づく程、大きくなる。また、合成画像の生成の際に、輝度値の階調は、輝度値を距離値として扱えるように補正される。このように、距離値と輝度値には、互いに相関関係があり、また、輝度画像において輝度値が距離値に対応するよう調整されるため、距離画像上の物体が存在する領域に輝度画像の輝度値を設定したとしても、設定された輝度値は、当該領域に物体が存在することを検出するための距離値として用い得るものとなる。このような観点から、本実施例では、距離画像上の高輝度領域に対応する領域に、輝度値に基づく値が設定される。ここで、高輝度領域を特定するための閾値（図６（ｂ）のＳ２０２）は、図５（ｂ）の探索範
囲Ｌ０に対応する測距可能範囲よりも物体検出装置１側に物体が存在する場合に、撮像画像上において、当該物体に対応する領域を高輝度領域として特定可能となるように設定される。
【００７８】
なお、Ｓ１０５では、距離画像上の高輝度領域に対応する領域の各画素の距離値がエラーを示す値（ゼロ）でない場合も、当該領域の各画素の距離値が、Ｓ２０３で生成された各画素の輝度値に置き換えられる。上述のように、距離値はマッチング処理によって取得されるため、距離値の取得がエラーとなるべき画素に誤って距離値が設定されることが起こり得る。したがって、このように、距離画像上の高輝度領域に対応する領域に既に距離値が設定されている場合にも、当該距離値を輝度値に置き換える処理を実行することにより、誤った距離値が、より適正な値に更新されるとの効果が奏され得る。なお、この処理に代えて、既に距離値が設定されている画素には輝度値が設定されないようにされても良い。
【００７９】
ＣＰＵ２１は、以上の処理を、距離取得動作が終了するまで実行する（Ｓ１０６）。距離取得動作が終了していない場合（Ｓ１０６：ＮＯ）、ＣＰＵ２１は、Ｓ１０１に戻って、次の画像取得タイミングの到来を待つ。そして、次の画像取得タイミングが到来すると（Ｓ１０１：ＹＥＳ）、Ｓ１０２以降の処理を実行して、距離画像に輝度画像が合成された合成画像を生成する（Ｓ１０２〜Ｓ１０５）。
【００８０】
図７（ａ）〜（ｄ）は、図６（ａ）、（ｂ）の処理による合成画像の生成例を示す図である。なお、図７（ａ）〜（ｄ）では、便宜上、右手ＨＲと左手ＨＬのみが図示され、人の胴体や顔等の図示は省略されている。
【００８１】
たとえば、図７（ａ）に示すように、図５（ｂ）の探索範囲Ｌ０に対応する測距可能範囲Ｗ２内に左手ＨＬが存在し、測距可能範囲Ｗ２よりも物体検出装置１に近い測距不能範囲Ｗ１に右手ＨＲが存在する場合、ＣＭＯＳイメージセンサ２４０によって撮像された撮像画像は、図７（ｂ）に示すように、右手ＨＲの画像と左手ＨＬの画像を含むこととなる。ここで、右手ＨＲは左手ＨＬよりも物体検出装置１に近づいているため、図７（ｂ）に示すように、撮像画像において、右手ＨＲの画像は左手ＨＬの画像よりも大きく、また、右手ＨＲの輝度は左手ＨＬの輝度よりも高い。
【００８２】
しかし、この場合、左手ＨＬのみが測距可能範囲Ｗ２に含まれるため、図７（ｃ）に示すように、図６（ａ）のＳ１０４にて生成される距離画像には、左手ＨＬの領域に距離値が設定され、その他の領域は、通常、エラーとなる。この場合、エラーの領域には、図７（ａ）の測距不能範囲Ｗ３に対応する領域の他、測距不能範囲Ｗ１に位置付けられた右手ＨＲの領域も含まれる。
【００８３】
この場合、測距不能範囲Ｗ１に位置付けられた右手ＨＲの領域は、各画素の輝度値が高いため、図６（ｂ）の処理により、高輝度領域として特定され、輝度画像が生成される。このため、図６（ａ）のＳ１０５において距離画像に輝度画像が合成された合成画像には、図７（ｄ）に示すように、右手ＨＲの領域が含まれるようになり、この右手ＨＲの領域の各画素には、上記のように、階調が補正された輝度値が設定される。こうして、左手ＨＬよりも前に存在する右手ＨＲが、合成画像に取り込まれるようになる。
【００８４】
なお、図６（ａ）のＳ１０４にて生成される距離画像において、右手ＨＲの領域に誤った距離値が設定されることも起こり得る。この場合も、距離画像上の右手ＨＲの領域の距離値が輝度値に置き換えられるため、誤った距離値が、より適正な値（輝度値）に更新される。
【００８５】
図２に示す物体検出部２１ｃは、こうして生成された合成画像に基づいて、検出対象物体を抽出する。
【００８６】
図８（ａ）は、検出対象物体の検出処理を示す図である。図８（ａ）の処理は、図２に示すＣＰＵ２１の機能のうち、主として物体検出部２１ｃの機能により実行される。図８（ｂ）は、検出対象物体の検出例を示す図である。この例では、右手ＨＲを前方（Ｚ軸負方向）に突き出した状態で、人Ｈが物体検出装置１に向き合った状態が示されている。ここで、右手ＨＲは、測距可能範囲Ｗ２よりも物体検出装置１に接近した位置にあり、人Ｈの左手ＨＬと胴体等が測距可能範囲Ｗ２にある。
【００８７】
図６（ａ）のＳ１０５において合成画像が取得されると（Ｓ３０１：ＹＥＳ）、ＣＰＵ２１は、輝度画像が合成される前の距離画像（図６（ａ）のＳ１０４にて生成された距離画像）における最高階調の距離値（最も物体検出装置１に接近することを表す距離値）から所定の値ΔＤを減じた値を距離閾値Ｄｓｈに設定する（Ｓ３０２）。この処理により、図８（ｂ）の例では、左手ＨＬの距離値の階調から所定の値ΔＤを減じた値が距離閾値Ｄｓｈに設定される。
【００８８】
次に、ＣＰＵ２１は、合成画像から、距離閾値Ｄｓｈよりも距離値（階調値）が高い領域を、対象領域として区分する（Ｓ３０３）。そして、ＣＰＵ２１は、輪郭抽出エンジンを実行し、区分した対象領域の輪郭と、メモリ２５に保持された物体形状抽出テンプレートとを比較して、物体形状抽出テンプレートに保持された輪郭に対応する輪郭の対象領域を、検出対象物体に対応する領域として抽出する（Ｓ３０４）。図８（ｂ）の例では、Ｓ３０３の処理により、合成画像から、右手ＨＲと左手ＨＬに対応する領域が、それぞれ、対象領域として区分される。また、物体形状抽出テンプレートに保持された検出対象物体が右手である場合、Ｓ３０４の処理により、区分された２つの対象領域のうち右手ＨＲに対する対象領域が、検出対象物体に対応する領域として抽出される。
【００８９】
なお、Ｓ３０４において検出対象物体が抽出されない場合、当該合成画像に対する検出対象物体の抽出は、エラーとされる。
【００９０】
こうして、検出対象物体の抽出処理が終了すると、ＣＰＵ２１は、物体検出動作が終了したか否かを判定する（Ｓ３０５）。物体検出動作が終了していない場合（Ｓ３０５：ＮＯ）、ＣＰＵ２１は、Ｓ３０１に戻り、次の合成画像が取得されるのを待つ。そして、次の合成画像が取得されると（Ｓ３０１：ＹＥＳ）、ＣＰＵ２１は、Ｓ３０２以降の処理を実行し、当該合成画像から検出対象物体を抽出する（Ｓ３０２〜Ｓ３０４）。
【００９１】
なお、Ｓ３０４において抽出された検出対象物体の領域は、さらに、物体検出部２１ｃにおいて、検出対象物体の動き検出のために用いられる。そして、検出された動きから、所定のジェスチャが取得されると、テレビ２側において、ジェスチャに応じた制御が実行される。
【００９２】
＜実施例１の効果＞
以上、本実施例によれば、測距可能範囲Ｗ２よりも物体検出装置１に接近した位置に検出対象物体が存在する場合、検出対象物体に対応する領域の輝度画像が距離画像に合成されて合成画像が生成される。すなわち、距離画像において適正に距離値が取得されなかった領域のうち、検出対象物体に対応する領域に、輝度値に基づく値が設定されて合成画像が生成される。そして、生成された合成画像に基づいて、検出対象物体の抽出処理が行われる。したがって、本実施例によれば、測距可能範囲Ｗ２よりも物体検出装置１に接近した位置に検出対象物体が存在する場合にも、輝度画像が合成された合成画像により、検出対象物体を円滑に抽出することができる。よって、検出対象物体の動きに基づくテレビ２
の制御を適正に行うことができる。
【００９３】
＜実施例１の変更例１＞
図６（ｂ）の輝度画像の生成処理では、平滑化された撮像画像上において、輝度値が閾値以上となる画素の領域が、高輝度領域として特定された（Ｓ２０２）。これに代えて、本変更例に係る図９（ａ）の輝度画像の生成処理では、撮像画像上において、注目画素を中心として所定の判定領域が設定され、設定された判定領域内に含まれる各画素の輝度値を合計した値が所定の閾値以上である場合に、当該注目画素が高輝度領域（白とび領域）に含まれる画素とされる（Ｓ２１１）。
【００９４】
図９（ｂ）は、Ｓ２１１の処理を説明する図である。図９（ｂ）には、物体検出装置１に接近した位置にある物体にＤＰ光が照射された場合のＣＭＯＳイメージセンサ２４０の受光状態が模式的に示されている。すなわち、物体が物体検出装置１に接近した位置にあるため、ドットが重なり合った状態でＤＰ光が物体に照射され、このため、ＣＭＯＳイメージセンサ２４０上においても、ドットが互いに重なり合った状態となっている。
【００９５】
Ｓ２１１の処理では、撮像画像上の一つの画素が注目画素とされ、この注目画素を中心に、所定の広さの領域（ここでは、縦５画素、横５画素の領域）が判定領域に設定される。そして、判定領域に含まれる全ての画素の輝度値が加算され、この加算値が、所定の閾値以上である場合に、当該注目画素が高輝度領域（白とび領域）に含まれると判定される。この処理が、撮像画像上の全画素を注目画素として行われる。そして、高輝度領域（白とび領域）に含まれると判定された画素に対して、上記実施例１と同様、当該画素の輝度値を距離値に対応する階調に補正した値が設定される（Ｓ２０３）。
【００９６】
こうして、高輝度領域（白とび領域）が特定され、高輝度領域に輝度値が設定された輝度画像が生成される。輝度画像を距離画像に合成する処理は、図６（ａ）の処理と同様である。
【００９７】
なお、このように、注目画素を中心に所定の広さを有する判定領域について、各画素の輝度値を加算し、この加算値と所定の閾値とを比較することにより、高輝度領域を特定する構成は、請求項４に記載の構成の一例である。
【００９８】
本変更例によれば、物体が物体検出装置１に接近した位置にあるために輝度が高くなっている画素領域を、より正確に検出することができる。すなわち、上記実施例１によれば、各画素の輝度値と閾値とを比較して、当該画素が高輝度領域に含まれるかが判定された。しかし、この処理では、物体が測距可能範囲Ｗ２にある場合に、一つのドットが一つの画素に落ちると、当該画素の輝度が閾値を超えて、当該画素が高輝度領域に含まれると判定されることが起こり得る。これに対し、本変更例によれば、注目画素とともにその周囲の画素の輝度値も含めて、注目画素が高輝度領域に含まれるかが判定されるため、物体が測距可能範囲Ｗ２にある場合に、一つのドットが一つの画素に落ちても、誤って当該画素が、物体が接近した位置にあるために高輝度となった画素領域（高輝度領域）に含まれると判定されることを防止することができる。よって、本変更例によれば、物体が物体検出装置１に接近した位置にあるために輝度が高くなっている画素領域を、より正確に検出することができる。
【００９９】
＜実施例１の変更例２＞
上記実施例１では、輝度に基づいて、近距離にある物体に対応する画素領域（高輝度領域）が特定されたが、本変更例では、距離画像の距離値に基づいて、近距離にある物体に対応する画素領域が特定される。
【０１００】
図１０（ａ）は、本変更例に係る距離画像の補正処理を示すフローチャートである。この処理は、図６（ａ）のＳ１０５において実行される。また、図１０（ｂ）は、図６（ａ）のＳ１０５において生成された距離画像の一例を模式的に示す図である。図１０（ｂ）において、各画素に記載された数字は、その画素の距離値である。
【０１０１】
図６（ａ）のＳ１０４において距離画像が生成されると、ＣＰＵ２１は、距離画像に注目画素を設定し（Ｓ４０１）、さらに、この注目画素を中心に所定の広さの単位領域（ここでは、縦９画素、横９画素の領域）を設定する（Ｓ４０２）。次に、ＣＰＵ２１は、単位領域内において、同じ距離値を持つ画素をグルーピングし、同じ距離値のグループの数をカウントする（Ｓ４０３）。図１０（ｂ）の例では、単位領域内に、距離値が０、１、２、３、５の画素が含まれているため、カウントされるグループの数は５である。そして、ＣＰＵ２１は、カウントしたグループ数が所定の閾値Ｃｓｈ以上であるかを判定する（Ｓ４０４）。
【０１０２】
グループ数が閾値Ｃｓｈ以上であれば（Ｓ４０４：ＹＥＳ）、注目画素は、近距離にある物体に対応する領域に含まれると判定され、注目画素の距離値が、上記実施例１と同様、当該画素の輝度値を距離値に対応する階調に補正した値に置き換えられる（Ｓ４０５）。一方、グループ数が閾値Ｃｓｈ未満であれば（Ｓ４０４：ＮＯ）、注目画素は、近距離にある物体に対応する領域に含まれないと判定され、注目画素の距離値がそのまま維持される。
【０１０３】
以上の処理が、距離画像上の全画素を注目画素として行われる（Ｓ４０５）。距離画像上の全画素に対してＳ４０１〜Ｓ４０５の処理が行われると（Ｓ４０６：ＹＥＳ）、距離画像上の、近距離に存在する物体に対応する領域に輝度値が設定された合成画像が生成される。しかる後、ＣＰＵ２１は、図６のＳ１０６に処理を進める。
【０１０４】
なお、このように、距離画像上の各画素の距離値に基づいて、距離値を輝度値に置き換える構成は、請求項６に記載の構成の一例である。
【０１０５】
本変更例によれば、測距可能範囲Ｗ２よりも物体検出装置１に接近した位置にある物体に対応する領域を、適正に特定することができる。すなわち、物体が存在しない領域に対しては、上記マッチング処理では距離値が取得されず、この領域に対する距離値は一様にエラー（距離値＝０）となり易い。これに対して、物体が測距可能範囲Ｗ２よりも物体検出装置１に接近した位置にある場合、この物体に対応する領域に対しては、一様な距離値が得られず、エラーを示す距離値や、種々の誤った距離値が得られる傾向にある。したがって、上記のように、単位領域に含まれる画素について距離値の種類の数を求め、この数が所定の閾値Ｃｓｈ以上である否かを判定することにより、測距可能範囲Ｗ２よりも物体検出装置１に接近した位置にある物体に対応する画素領域を、適正に特定することができる。なお、閾値Ｃｓｈは、物体が存在する領域を特定可能なように設定される。
【０１０６】
（２）実施例２
上記実施例１では、図５（ａ）〜（ｃ）に示すマッチング処理により各画素の距離値が取得され、取得された距離値に対して、輝度値に基づく補正処理が行われた。しかしながら、距離値を取得することなく、輝度値のみにより、物体検出を行うことも可能である。本実施例は、輝度値のみにより物体検出を行う場合の構成例を示すものである。
【０１０７】
なお、本実施例は、請求項７に記載の構成の一例を示すものである。
【０１０８】
図１１は、本実施例に係る物体検出装置１の構成を示す図である。本実施例では、上記実施例１の構成から、ＣＰＵ２１の機能が変更されている。すなわち、ＣＰＵ２１から距
離取得部２１ｂ、物体検出部２１ｃおよび距離情報補正部２１ｄの機能が削除され、代わりに、画像処理部２１ｅの機能が、ＣＰＵ２１に追加されている。また、本実施例では、距離値の取得処理が行われないため、メモリ２５には、参照テンプレートが保持されない。図１１に示すその他の構成は、図２と同様である。
【０１０９】
画像処理部２１ｅは、撮像画像の各画素の輝度に基づき、物体に対応する領域を特定し、さらに、特定した領域から、検出対象物体に対応する領域を抽出する。さらに、画像処理部２１ｅは、抽出した検出対象物体の領域に基づいて、検出対象物体の動きを検出し、検出した動きが所定の動きパターンに合致しているかを判定し、所定の動きパターンに応じた信号をテレビ２側のＣＰＵ３１（機能制御部３１ａ）に送信する。
【０１１０】
図１２（ａ）は、本実施例における物体抽出処理を示すフローチャートである。図１２（ａ）の処理は、主としてＣＰＵ２１の画像処理部２１ｅの機能によって行われる。
【０１１１】
画像を取得するタイミングが到来すると（Ｓ５０１：ＹＥＳ）、ＣＰＵ２１は、ＣＭＯＳイメージセンサ２４０から撮像画像を取得し（Ｓ５０２）、さらに、取得した撮像画像に対して平滑化処理を行う（Ｓ５０３）。この平滑化処理は、上記実施例１と同様、画像フィルタ処理として用いられる平滑化フィルタ処理（移動平均フィルタ、ガウシアンフィルタ、等）である。かかる平滑化処理により、撮像画像上の各画素の輝度値が、平らに滑らかにされる。
【０１１２】
次に、ＣＰＵ２１は、輝度値が平滑化された撮像画像上において、輝度値が予め決められた閾値Ｂｓｈ以上の画素領域を、物体抽出の対象となり得る領域（以下、「対象領域」という）として区分する（Ｓ５０４）。そして、ＣＰＵ２１は、輪郭抽出エンジンを実行し、区分した対象領域の輪郭と、メモリ２５に保持された物体形状抽出テンプレートとを比較して、物体形状抽出テンプレートに保持された輪郭に対応する輪郭の対象領域を、検出対象物体に対応する領域として抽出する（Ｓ５０５）。
【０１１３】
なお、このように、画素値が閾値以上の画素領域を対象領域として区分する構成は、請求項８に記載の構成の一例である。ここで、本実施例における対象領域は、請求項７に記載の「高輝度領域」に対応する。
【０１１４】
図１２（ｂ）は、検出対象物体の検出例を示す図である。この例では、右手ＨＲを前方（Ｚ軸負方向）に突き出した状態で、人Ｈが物体検出装置１に向き合った状態が示されている。図１２（ｂ）には、便宜上、ＣＭＯＳイメージセンサ２４０により物体に対して取得され得る輝度のスケールが付記されている。図１２（ｂ）に示す例では、右手ＨＲと左手ＨＬに対して取得される輝度Ｂｒ、Ｂｌは、それぞれ、閾値Ｂｓｈよりも高く、人Ｈの胴体に対して取得される輝度は、閾値Ｂｓｈよりも低くなっている。
【０１１５】
この例では、図１２（ｃ）に示すように、Ｓ５０４の処理により、撮像画像から、右手ＨＲと左手ＨＬに対応する領域が、それぞれ、対象領域として区分される。また、物体形状抽出テンプレートに保持された検出対象物体が右手である場合、Ｓ５０５の処理により、区分された２つの対象領域のうち右手ＨＲに対する対象領域が、検出対象物体に対応する領域として抽出される。
【０１１６】
なお、Ｓ５０５において検出対象物体に対応する領域が抽出されない場合、当該撮像画像に対する検出対象物体の抽出は、エラーとされる。
【０１１７】
こうして、検出対象物体の抽出処理が完了すると、ＣＰＵ２１は、物体検出動作が終了したか否かを判定する（Ｓ５０６）。物体検出動作が終了していない場合（Ｓ５０６：Ｎ
Ｏ）、ＣＰＵ２１は、Ｓ５０１に戻り、次の撮像画像が取得されるのを待つ。そして、次の撮像画像が取得されると（Ｓ５０１：ＹＥＳ）、ＣＰＵ２１は、Ｓ５０２以降の処理を実行し、当該撮像画像から検出対象物体を抽出する（Ｓ５０２〜Ｓ５０５）。
【０１１８】
なお、Ｓ５０５において抽出された検出対象物体の領域は、さらに、画像処理部２１ｅの機能において、検出対象物体の動き検出のために用いられる。そして、検出された動きから所定のジェスチャが取得されると、テレビ２側において、ジェスチャに応じた制御が行われる。
【０１１９】
＜実施例２の効果＞
本実施例によれば、測距を行うことなく、輝度に対する処理のみにより、検出対象物体を検出することができる。したがって、上記実施例１に比べ、物体抽出のための処理負荷を軽減でき、比較的簡素な処理により迅速に、検出対象物体を検出することができる。
【０１２０】
＜実施例２の変更例＞
上記図１２（ａ）の処理では、閾値Ｂｓｈが１種類であるため、検出対象物体の位置が閾値Ｂｓｈに対応する距離よりも物体検出装置１から離れている場合には、検出対象物体を適正に検出できないことが起こり得る。たとえば、図１３（ａ）に示す位置に人Ｈが位置付けられた場合、右手ＨＲと左手ＨＬに対して取得される輝度Ｂｒ、Ｂｌは、それぞれ、閾値Ｂｓｈよりも低くなる。このため、この場合には、図１２（ａ）のＳ５０４において、右手ＨＲと左手ＨＬに対応する領域が、撮像画像上において区分されないこととなる。
【０１２１】
本変更例は、このような問題を解消することを目的とするものである。本変更例では、図１３（ｂ）に示すように、露光時間テーブルにより、撮像の際に複数の露光時間（Ｔ１〜Ｔｋ）が設定され、それぞれの露光時間に応じた撮像画像が取得される。図１１のＣＭＯＳイメージセンサ２４０と撮像信号処理回路２３は、複数の露光時間が設定可能に構成される。
【０１２２】
このように、ＣＭＯＳイメージセンサ２４０と撮像信号処理回路２３において露光時間が調整可能な構成は、請求項１０の構成の一例である。
【０１２３】
撮像信号処理回路２３は、ＣＰＵ２１から指定された露光時間において、ＣＭＯＳイメージセンサ２４０が各画素の電荷をチャージするよう、ＣＭＯＳイメージセンサ２４０を駆動する。露光時間が長いほど、各画素に長く光が照射されるため、各画素の輝度は高くなり、露光時間が短いほど、各画素の輝度は低くなる。こうして取得されたそれぞれの撮像画像に対して、図１２（ａ）のＳ５０３〜Ｓ５０５の処理が行われる。これにより、何れかの撮像画像から検出対象物体が抽出され、抽出された検出対象物体を用いて、テレビ２の制御が行われる。
【０１２４】
図１４（ａ）は、本実施例における物体抽出処理を示すフローチャートである。図１４（ａ）の処理は、主としてＣＰＵ２１の画像処理部２１ｅの機能によって行われる。
【０１２５】
画像を取得するタイミングが到来すると（Ｓ６０１：ＹＥＳ）、ＣＰＵ２１は、露光時間Ｔ１〜Ｔｋでそれぞれ撮像された撮像画像Ｉ１〜ＩｋをＣＭＯＳイメージセンサ２４０から取得し、メモリ２５に保持させる（Ｓ６０２）。図１３（ｂ）に示すように、露光時間Ｔ１は最も時間が短く、露光時間Ｔｋは最も時間が長い。したがって、撮像画像Ｉ１は、最も短い露光時間Ｔ１で撮像された撮像画像であり、撮像画像Ｉｋが、最も長い露光時間Ｔｋで撮像された撮像画像である。
【０１２６】
次に、ＣＰＵ２１は、変数ｉに１を設定し（Ｓ６０３）、撮像画像Ｉｉについて、検出対象物体の抽出処理を実行する（Ｓ６０４）。ここでは、変数ｉが１であるため、露光時間が最も短い撮像画像Ｉ１について、検出対象物体の抽出処理が行われる。Ｓ６０４では、撮像画像Ｉｉに対し、図１２（ａ）のＳ５０３〜Ｓ５０５と同様の処理が行われる。すなわち、ＣＰＵ２１は、撮像画像Ｉｉから、輝度が閾値Ｂｓｈ以上の対象領域を区分し、区分した対象領域から検出対象物体に対応する領域の抽出を行う。こうして、検出対象物体の抽出処理を実行した後、ＣＰＵ２１は、撮像画像Ｉｉから検出対象物体に対応する領域が抽出されたか否かを判定する（Ｓ６０５）。
【０１２７】
このように、露光時間を変化させることにより、撮像画像の各画素の輝度値を閾値Ｂｓｈに対して相対的に変化させて、対象領域を区分する構成は、請求項９に記載の構成の一例である。
【０１２８】
撮像画像Ｉｉから検出対象物体に対応する領域が抽出されない場合（Ｓ６０５：ＮＯ）、ＣＰＵ２１は、変数ＩがＫに到達したかを判定する（Ｓ６０６）。変数ＩがＫに到達していない場合（Ｓ６０６：ＮＯ）、ＣＰＵ２１は、変数ｉに１を加算し（Ｓ６０７）、Ｓ６０４に戻って、次の撮像画像Ｉｉについて、検出対象物体の抽出処理を実行する。ここでは、変数ｉが２であるため、露光時間が２番目に短い撮像画像Ｉ２について、検出対象物体の抽出処理が行われる。
【０１２９】
こうして、ＣＰＵ２１は、Ｓ６０４〜６０７の処理を繰り返し、露光時間が短い撮像画像から順に、検出対象物体に対応する領域の抽出を試行する。そして、何れかの露光時間の撮像画像について、検出対象物体に対応する領域が抽出されると（Ｓ６０５：ＹＥＳ）、ＣＰＵ２１は、当該露光時間よりも長い露光時間の撮像画像に対する処理を中止し、物体検出動作が終了したか否かを判定する（Ｓ６０８）。物体検出動作が終了していない場合（Ｓ６０８：ＮＯ）、ＣＰＵ２１は、Ｓ６０１に戻って、次の画像取得タイミングを待つ。
【０１３０】
このように、露光時間が短い撮像画像から順に検出対象物体の抽出を試行し、検出対象物体を抽出可能な撮像画像（物体抽出に適する露光時間の撮像画像）から検出対象物体を抽出する構成は、請求項１０、１１に記載の構成の一例である。また、所定の露光時間の撮像画像から検出対象物体に対応する領域が抽出されると、当該露光時間よりも長い露光時間の撮像画像に対する処理を中止する構成は、請求項１２に記載の構成の一例である。さらに、露光時間が短い撮像画像から順に、検出対象物体に対応する領域の抽出を行う構成は、請求項１３に記載の構成の一例である。
【０１３１】
撮像画像Ｉ１〜Ｉｋの何れについても検出対象物体が抽出できなかった場合（Ｓ６０６：ＹＥＳ）、ＣＰＵ２１は、当該画像取得タイミングにおける検出対象物体の抽出を、エラーとし、次の画像取得タイミングを待つ（Ｓ６０８→Ｓ６０１）。また、Ｓ６０８において、物体検出動作が終了したと判定すると（Ｓ６０８：ＹＥＳ）、ＣＰＵ２１は、処理を終了する。
【０１３２】
図１５（ａ）は、図１４の処理フローチャートによる物体検出動作を模式的に示す図である。ここでは、人Ｈが、図１３（ａ）と同じ状態で同じ位置に居ることが想定されている。
【０１３３】
図１４の処理フローチャートでは、露光時間が短い撮像画像から順に物体抽出が行われるため、最初に物体抽出が行われる撮像画像Ｉ１は、他の撮像画像Ｉ２〜Ｉｋよりも、輝度が低い。したがって、撮像画像Ｉ１では、たとえば、人Ｈが、図１５（ａ）の上側の破線の位置に居るのと等価の状態となる。この場合、右手ＨＲと左手ＨＬに対して取得され
る輝度は、何れも、閾値Ｂｓｈ以上とならない。このため、撮像画像Ｉ１については、検出対象物体である右手ＨＲは抽出されない。
【０１３４】
その後、処理が進み、撮像画像の露光時間が次第に長くなると、人Ｈに対して取得される輝度が次第に高くなるため、恰も、人Ｈが次第に物体検出装置１に近づくのと等価の状態となる。これにより、図１５（ａ）の下側の破線に示すように、所定の露光時間Ｔｍの撮像画像Ｉｍにおいて、右手ＨＲの輝度が閾値Ｂｓｈ以上となり、当該撮像画像Ｉｍから検出対象物体である右手ＨＲが抽出される。
【０１３５】
また、図１５（ｂ）のように、人Ｈが物体検出装置１に接近した位置に居る場合、上記実施例１の処理では、右手ＨＲと左手ＨＬの輝度Ｂｒ、Ｂｌのみならず、人Ｈの胴体等の輝度もまた、閾値Ｂｓｈ以上となるため、検出対象物体である右手ＨＲを適正に検出するのが困難である。これに対し、本変更例では、図１５（ｂ）の下側の破線に示すように、比較的短い露光時間Ｔｎの撮像画像Ｉｎにおいて、右手ＨＲの輝度が閾値Ｂｓｈ以上となり、当該撮像画像Ｉｎから検出対象物体である右手ＨＲが抽出される。なお、図１５（ｂ）の上側の破線は、最初に物体抽出が行われる撮像画像Ｉ１において、人Ｈの各部に対し取得される輝度値を輝度値のスケールに対応づけて模式的に示したものである。また、図１５（ｂ）の下側の破線は、露光時間Ｔｎにより取得された撮像画像Ｉｎにおいて、人Ｈの各部に対し取得される輝度値を輝度値のスケールに対応づけて模式的に示したものである。
【０１３６】
このように、本変更例によれば、前後方向に広い範囲において検出対象物体を検出することができる。よって、検出対象物体の検出精度を高めることができる。
【０１３７】
また、本変更例によれば、所定の露光時間の撮像画像から検出対象物体に対応する領域が取得されると、当該露光時間よりも長い露光時間の撮像画像に対する処理が中止されるため、ＣＰＵ２１における処理負荷を軽減することができる。
【０１３８】
なお、本変更例では、露光時間を変化させることにより、撮像画像の各画素の輝度値を閾値Ｂｓｈに対して相対的に変化させた。これに代えて、露光時間は一定とし、閾値Ｂｓｈを変化させることにより、撮像画像の各画素の輝度値を閾値Ｂｓｈに対して相対的に変化させても良い。たとえば、図１３（ａ）の例では、閾値Ｂｓｈを高輝度側から低輝度側へと段階的に変化させる。そうすると、右手ＨＲの輝度Ｂｒよりやや低い状態に閾値Ｂｓｈを変化させたタイミングで、右手ＨＲに対応する領域が対象領域として取得される。これにより、撮像画像から、検出対象物体である右手ＨＲの領域を抽出することができる。
【０１３９】
なお、このように、露光時間は一定とし、閾値Ｂｓｈを変化させることにより、撮像画像の各画素の輝度値を閾値Ｂｓｈに対して相対的に変化させる構成もまた、請求項９に記載の構成の一例である。
【０１４０】
ただし、このように閾値Ｂｓｈを変化させる構成では、以下のように、検出対象物体が物体検出装置１に接近した位置に存在する場合に、検出対象物体を適正に検出できないことが起こり得る。すなわち、露光時間が１種類である場合、通常、露光時間は、図１５（ｂ）に示す右手ＨＲの位置よりも物体検出装置１から離れた位置に検出対象物体が存在する場合に適するように設定される。このため、図１５（ｂ）のように右手ＨＲが物体検出装置１に接近した位置に存在する場合には、このように設定された露光時間では、右手ＨＲに対する輝度が高まり過ぎて、いわゆるハレーションの現象が起こり、撮像画像において、右手ＨＲの輪郭が不明瞭な状態となってしまう。この場合、右手ＨＲの輝度Ｂｒよりもやや低い状態に閾値Ｂｓｈを変化させると、右手ＨＲに対応する領域が対象領域として撮像画像から区分されるものの、区分された対象領域の輪郭は、正規の右手ＨＲの輪郭か
ら大きく崩れたものとなる。このため、右手ＨＲを適正に検出するのが困難となる。
【０１４１】
これに対し、上記変更例のように、露光時間を変化させる場合には、物体の近さに適する露光時間にて対象領域が区分されるため、区分された対象領域の輪郭が、ハレーション等によって大きく崩れることが抑制される。たとえば、図１５（ｂ）の例では、短い露光時間の撮像画像から対象領域が区分されるため、区分された対象領域の輪郭がハレーション等により大きく崩れることがない。
【０１４２】
このように、物体検出装置１に接近した位置においても検出対象物体を適正に検出するためには、露光時間を固定して閾値Ｂｓｈを変化させるよりも、上記変更例のように、露光時間の方を変化させて、撮像画像の各画素の輝度値を閾値Ｂｓｈに対して相対的に変化させるのが好ましい。
【０１４３】
また、上記変更例では、露光時間が短い撮像画像から順に検出対象物体の抽出処理が行われた。これに限らず、他の順序で検出対象物体の抽出処理が行われても良く、たとえば、露光時間が長い撮像画像から順に検出対象物体の抽出処理が行われても良い。ただし、露光時間が短いほど、物体検出装置１に接近した検出対象物体を撮像画像から抽出し易くなるため、上記のように検出対象物体が右手ＨＲである場合等、検出対象物体が、通常、物体検出装置１側に付き出されて物体検出装置１に接近するような場合には、露光時間が短い撮像画像から順に検出対象物体の抽出処理を行った方が、迅速に検出対象物体を抽出することができる。
【０１４４】
なお、図１３（ｂ）には、露光時間の種類がｋ個とされたが、露光時間の種類の数、露光時間の間隔、および、露光時間の最小値から最大値までの幅は、ＣＰＵ２１の処理負荷と、検出対象物体を検出可能な距離範囲とを勘案して、適宜設定され得るものである。
【０１４５】
また、上記変更例では、露光時間が短いものから順に、撮像画像に対する検出対象物体の抽出処理が行われたが、撮像画像Ｉ１〜Ｉｋのうち複数または全てについて、物体の抽出処理が並行して行われても良い。
【０１４６】
また、上記変更例では、まず、全ての露光時間Ｔ１〜Ｔｋについて撮像画像Ｉ１〜Ｉｋを取得し、次に、露光時間が短い撮像画像から順に、物体の抽出処理が行われた。これに代えて、たとえば、露光時間Ｔ１について、撮像画像Ｉ１の取得から物体の抽出処理を行い、これにより、検出対象物体が抽出できなければ、露光時間Ｔ２について、撮像画像Ｉ２の取得から物体の抽出処理を行うといったように、撮像画像の取得から物体の抽出までの処理を、露光時間毎に、一連の処理により行っても良い。
【０１４７】
また、上記変更例では、画像取得タイミングが到来する毎に、露光時間を変化させてｋ個の撮像画像Ｉ１〜Ｉｋが取得され、物体の抽出処理が行われた。これに代えて、たとえば、最初の画像取得タイミングでは、露光時間を変化させて撮像画像Ｉ１〜Ｉｋを取得して物体の抽出処理を行い、この処理において検出対象物体が抽出されれば、検出対象物体が検出された撮像画像に対応する露光時間を、その後の処理において用いるようにしても良い。たとえば、検出対象物体が抽出された撮像画像の露光時間がＴ３であれば、その後の画像取得タイミングにおいては、露光時間Ｔ３のみで撮像画像を取得して物体の抽出処理を行うようにしても良い。
【０１４８】
図１６は、この場合の処理例を示すフローチャートである。
【０１４９】
画像取得タイミングが到来すると（Ｓ７０１：ＹＥＳ）、ＣＰＵ２１は、既に露光時間Ｔ０が設定されているかを判定する（Ｓ７０２）。露光時間Ｔ０が設定されていない場合
（Ｓ７０２：ＮＯ）、ＣＰＵ２１は、上記変更例と同様、露光時間を変化させて、検出対象物体を抽出する（Ｓ７０７）。Ｓ７０７では、たとえば、図１４のＳ６０２〜Ｓ６０７と同様の処理が行われる。Ｓ７０７の処理により検出対象物体に対応する領域が抽出されると（Ｓ７０８：ＹＥＳ）、ＣＰＵ２１は、露光時間Ｔ０に、検出対象物体が抽出された撮像画像に対応する露光時間を設定する（Ｓ７０９）。その後、ＣＰＵ２１は、物体検出動作が終了したかを判定し（Ｓ７０６）、終了していなければ（Ｓ７０６：ＮＯ）、Ｓ７０１に戻って、次の撮像タイミングを待つ。
【０１５０】
Ｓ７０２において露光時間Ｔ０が設定されていると判定されると（Ｓ７０２：ＹＥＳ）、ＣＰＵ２１は、当該露光時間Ｔ０で撮像画像を取得し（Ｓ７０３）、取得した撮像画像について、検出対象物体の抽出処理を行う（Ｓ７０４）。これにより、当該撮像画像から検出対象物体の領域が抽出されると（Ｓ７０５：ＹＥＳ）、ＣＰＵ２１は、物体検出動作が終了したかを判定し（Ｓ７０６）、終了していなければ（Ｓ７０６：ＮＯ）、Ｓ７０１に戻って、次の撮像タイミングを待つ。他方、当該撮像画像から検出対象物体の領域が抽出されなければ（Ｓ７０５：ＮＯ）、ＣＰＵ２１は、Ｓ７０７に処理を進め、露光時間を変化させて、検出対象物体を抽出する。
【０１５１】
その後、Ｓ７０７の処理により検出対象物体に対応する領域が抽出されると（Ｓ７０８：ＹＥＳ）、ＣＰＵ２１は、露光時間Ｔ０を、検出対象物体が抽出された撮像画像に対応する露光時間に更新する（Ｓ７０９）。これにより、その後の撮像画像取得処理は、更新された露光時間Ｔ０によって行われる。
【０１５２】
この構成例によれば、画像取得タイミングが到来する毎に、露光時間を変化させてｋ個の撮像画像Ｉ１〜Ｉｋが取得されないため、ＣＰＵ２１の処理負担を軽減でき、且つ、処理の迅速化を図ることができる。また、検出対象物体が前後に移動した場合等、露光時間Ｔ０によって検出対象物体に対応する領域が抽出できない場合には、再度、露光時間を変えながら、物体の抽出処理が行われるため、円滑に検出対象物体に対応する領域を抽出することができる。さらに、この処理により検出対象物体に対応する領域が所定の露光時間の撮像画像から抽出された場合には、当該露光時間が露光時間Ｔ０に再設定されるため、更新された露光時間Ｔ０により、その後の処理を円滑に進めることができる。
【０１５３】
なお、図１６のＳ７０２〜Ｓ７０４のように、検出対象物体が検出された露光時間Ｔ０を、その後の撮像画像の取得において、物体抽出に適する露光時間として用いる構成もまた、請求項１０に記載の構成の一例である。
【０１５４】
また、上記実施例２およびその変更例では、図１２のＳ５０３、Ｓ５０４における処理により、撮像領域から対象領域が区分された。これに代えて、図９（ｂ）で説明した実施例１の変更例１に係る処理により、撮像画像から対象領域が区分されても良い。
【０１５５】
また、上記実施例２およびその変更例では、投射光学系１００からドットパターンのレーザ光が目標領域に投射された。しかしながら、上記実施例２およびその変更例では、必ずしも、ドットパターンのレーザ光が目標領域に投射されなくとも良く、たとえば、光がドットパターンに変換されることなく、目標領域に均一に広がるように、光が目標領域に投射されても良い。上記実施例２およびその変更例では、ドットパターンによる距離検出は行われないため、輝度による物体検出が可能なように目標領域に光が投射されれば良い。
【０１５６】
＜その他の変更例＞
以上、本発明の実施例および変更例について説明したが、本発明は、上記実施例および変更例に何ら制限されるものではなく、本発明の構成例も他に種々の変更が可能である。
【０１５７】
たとえば、上記実施例１では、距離画像に輝度画像を合成する場合に、輝度値の階調を距離値に対応する階調に補正した上で、高輝度領域の各画素の輝度値を、距離画像に適用した。これに代えて、高輝度領域の各画素の輝度値を、そのまま、距離画像に適用しても良い。
【０１５８】
また、上記実施例１では、物体までの距離が長いほど階調が低くなるように距離画像が生成されたが、物体までの距離が長いほど階調が高くなるように距離画像が生成されても良い。この場合、輝度値は、輝度が高いほど階調が低くなるよう階調が変換されて、距離画像に合成される。
【０１５９】
また、図６（ｂ）、図１２（ａ）の処理フローチャートでは、撮像画像を平滑化した後、高輝度領域または対象領域を特定する処理が行われたが、平滑化処理を行わずに、撮像画像をそのまま用いて、高輝度領域または対象領域を特定する処理が行われても良い。
【０１６０】
また、上記実施例１では、三角測量法を用いて距離情報が求められたが、距離情報の取得方法はこれに限られるものではなく、たとえば、図４（ａ）を参照して説明した画素ずれ量Ｄをそのまま距離情報として取得しても良い。
【０１６１】
また、上記実施例１では、基準画像に設定されたセグメント領域を、実測画像上において探索するようにしたが、実測画像上に設定された領域のドットパターンに対応するセグメント領域を、基準画像上で探索するようにしても良い。
【０１６２】
また、上記実施例１では、図５（ｂ）に示すように、実測時の撮像画像上において、セグメント領域Ｓｉと同じ位置にある領域Ｓｉ０を中心にＸ軸方向に＋α画素および−α画素の範囲が探索範囲Ｌ０に設定されたが、探索範囲Ｌ０は、必ずしも、領域Ｓｉ０を中心にＸ軸正負の方向に対称に設定されなくともよく、領域Ｓｉ０を中心にＸ軸正負の方向に非対称に探索範囲Ｌ０が設定されても良い。
【０１６３】
また、上記実施の形態では、受光素子として、ＣＭＯＳイメージセンサ２４０を用いたが、これに替えて、ＣＣＤイメージセンサを用いることもできる。また、上記実施の形態では、光源として、レーザ光源１１０を用いたが、これに替えて、ＬＥＤ等の他の光源を用いることもできる。さらに、投射光学系１００および受光光学系２００の構成も、適宜変更可能である。
【０１６４】
この他、本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
【符号の説明】
【０１６５】
１  …  物体検出装置
２１ｂ  …  距離取得部
２１ｃ  …  物体検出部
２１ｄ  …  距離情報補正部（距離補正部）
２１ｅ  …  画像処理部（物体抽出部）
２２  …  レーザ駆動回路（投射部）
２３  …  撮像信号処理回路（撮像部）
１００  …  投射光学系（投射部）
２００  …  受光光学系（撮像部）
２４０  …  ＣＭＯＳイメージセンサ（イメージセンサ）
【図１】
2016040520.tif 000003
【図２】
2016040520.tif 000004
【図３】
2016040520.tif 000005
【図４】
2016040520.tif 000006
【図５】
2016040520.tif 000007
【図６】
2016040520.tif 000008
【図７】
2016040520.tif 000009
【図８】
2016040520.tif 000010
【図１０】
2016040520.tif 000011
【図１１】
2016040520.tif 000012
【図１２】
2016040520.tif 000013
【図１３】
2016040520.tif 000014
【図１４】
2016040520.tif 000015
【図１５】
2016040520.tif 000016
【図１６】
2016040520.tif 000017
【図９】
2016040520.tif 000018