(57)【要約】【課題】距離画像において距離値が不連続になる部位の輪郭に対応した画素の距離値を精度よく求めることを可能にとする。【解決手段】距離画像センサは、距離画像を生成する第１の画像生成装置１０と、距離画像よりも高精細である高精細画像を生成する第２の画像生成装置２０と、処理装置３０とを備える。処理装置３０は、境界抽出部３３、画素抽出部３４、補正部３５を備える。境界抽出部３３は、対象空間において着目する物体の境界を挟む２個の境界画素の位置を高精細画像から抽出する。画素抽出部３４は、距離画像において物体の境界を含む対象画素および対象画素に隣接し背景側である基準画素を境界画素の位置に基づいて抽出する。補正部３５は、対象画素の範囲での境界の位置と対象画素と基準画素との位置の濃度差とに対して設定されている補正値を用いて、対象画素の距離値を補正する。【選択図】図１
2014130086.tif 000002
【特許請求の範囲】
【請求項１】
対象空間について画素値が距離値である距離画像を生成する第１の画像生成装置と、
前記対象空間について前記距離画像より高精細である高精細画像を生成する第２の画像生成装置と、
前記高精細画像において着目する物体の境界を挟む２個の境界画素の位置を抽出する境界抽出部と、
前記距離画像において前記物体の境界を含む画素を対象画素とし、前記対象画素に隣接し背景側に位置する画素を基準画素として、前記対象画素および前記基準画素を前記境界画素の位置に基づいて抽出する画素抽出部と、
前記高精細画像から求められる対象画素の範囲での境界の位置と、前記高精細画像から求められる前記対象画素と前記基準画素との位置における濃度差との関係に対してあらかじめ設定されている補正値を用いて、前記画素抽出部が抽出した前記対象画素の画素値を補正する補正部とを備える
ことを特徴とする距離画像センサ。
【請求項２】
対象空間について画素値が距離値である距離画像および濃度値である濃淡画像を生成する第１の画像生成装置と、
前記対象空間について前記距離画像より高精細である高精細画像を生成する第２の画像生成装置と、
前記高精細画像において着目する物体の境界を挟む２個の境界画素の位置を抽出する境界抽出部と、
前記距離画像において前記物体の境界を含む画素を対象画素とし、前記対象画素に隣接し背景側に位置する画素を基準画素として、前記対象画素および前記基準画素を前記境界画素の位置に基づいて抽出する画素抽出部と、
前記高精細画像から求められる対象画素の範囲での境界の位置と、前記濃淡画像から求められる前記対象画素と前記基準画素との位置における濃度差との関係に対してあらかじめ設定されている補正値を用いて、前記画素抽出部が抽出した前記対象画素の画素値を補正する補正部とを備える
ことを特徴とする距離画像センサ。
【請求項３】
前記距離画像から抽出される前記物体に対応する第１の領域と、前記高精細画像から抽出される前記物体に対応する第２の領域とを抽出する領域抽出部をさらに備え、
前記画素抽出部は、前記領域抽出部が抽出した前記第１の領域と前記第２の領域とのパターンマッチングを行うことにより前記境界画素の位置を前記対象画素の位置に対応付ける
ことを特徴とする請求項１又は２記載の距離画像センサ。
【請求項４】
前記画素抽出部は、前記第１の画像生成装置と前記第２の画像生成装置との前記物体に対する視差を用いることにより前記境界画素の位置を前記対象画素の位置に対応付ける
ことを特徴とする請求項１又は２記載の距離画像センサ。
【請求項５】
前記対象空間からの入射光束を複数の経路に分岐することにより、前記対象空間に対する光軸を前記第１の画像生成装置と前記第２の画像生成装置とに共用させる光学要素をさらに備える
ことを特徴とする請求項１又は２記載の距離画像センサ。
【請求項６】
前記第１の画像生成装置と前記第２の画像生成装置とをそれぞれ撮像する撮像素子は、ワンチップとなるように１枚の基板に形成されている
ことを特徴とする請求項１〜５のいずれか１項に記載の距離画像センサ。
【請求項７】
第１の画像生成装置で生成された距離画像と、前記補正部が補正した距離画像とを比較し、前記補正値の妥当性を評価する評価部をさらに備え、
前記評価部は、前記距離画像において背景を除く領域であって、前記補正値を適用した領域と実質的に連結領域を形成し、かつ前記補正値が適用されていない画素から得られる距離値と、前記補正値が適用された画素の距離値との差が所定値以下である場合に、前記補正値を妥当と判断する
ことを特徴とする請求項１〜６のいずれか１項に記載の距離画像センサ。
【請求項８】
前記境界抽出部は、前記距離画像において画素値が規定の抽出条件を満たす画素を含む領域において、前記高精細画像から前記対象空間における前記物体に対応する画素を抽出する
ことを特徴とする請求項１〜７のいずれか１項に記載の距離画像センサ。
【請求項９】
前記対象空間に前記物体が存在しない状態で得られた前記距離画像を背景距離画像として記憶する背景記憶部をさらに備え、
前記境界抽出部は、前記第１の画像生成装置が生成した前記距離画像と前記背景記憶部に記憶された前記背景距離画像との差分画像において画素値が基準値以上であることを前記抽出条件とし、前記高精細画像から前記対象空間における前記物体に対応する画素を抽出する
ことを特徴とする請求項８記載の距離画像センサ。
【請求項１０】
対象空間について画素値が距離値である距離画像を生成する第１の画像生成装置、および前記対象空間について前記距離画像より高精細である高精細画像を生成する第２の画像生成装置と併せて用いられ、前記対象空間において着目する物体までの距離を求める処理装置であって、前記高精細画像において着目する物体の境界を挟む２個の境界画素の位置を抽出する境界抽出部と、
前記距離画像において前記物体の境界を含む画素を対象画素とし、前記対象画素に隣接し背景側に位置する画素を基準画素として、前記対象画素および前記基準画素を前記境界画素の位置に基づいて抽出する画素抽出部と、
前記高精細画像から求められる対象画素の範囲での境界の位置と、前記高精細画像から求められる前記対象画素と前記基準画素との位置における濃度差との関係に対してあらかじめ設定されている補正値を用いて、前記画素抽出部が抽出した前記対象画素の画素値を補正する補正部とを備える
ことを特徴とする処理装置。
【請求項１１】
対象空間について画素値が距離値である距離画像および濃度値である濃淡画像を生成する第１の画像生成装置、および前記対象空間について前記距離画像より高精細である高精細画像を生成する第２の画像生成装置と併せて用いられ、前記対象空間において着目する物体までの距離を求める処理装置であって、前記高精細画像において着目する物体の境界を挟む２個の境界画素の位置を抽出する境界抽出部と、
前記距離画像において前記物体の境界を含む画素を対象画素とし、前記対象画素に隣接し背景側に位置する画素を基準画素として、前記対象画素および前記基準画素を前記境界画素の位置に基づいて抽出する画素抽出部と、
前記高精細画像から求められる対象画素の範囲での境界の位置と、対象画素の範囲での境界の位置と、前記濃淡画像から求められる前記対象画素と前記基準画素との位置における濃度差との関係に対してあらかじめ設定されている補正値を用いて、前記画素抽出部が抽出した前記対象画素の画素値を補正する補正部とを備える
ことを特徴とする処理装置。
【請求項１２】
コンピュータを、請求項１０又は１１記載の処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画素値が距離値である距離画像を生成する距離画像センサ、およびこの距離画像センサに用いる処理装置、コンピュータをこの処理装置として機能させるプログラムに関する。
【背景技術】
【０００２】
従来から、画素値が距離値である距離画像を生成する距離画像センサが知られている。距離画像を生成する技術としては、三角測量法の原理を用いる技術と、光の飛行時間を計測する技術とが主として用いられている。三角測量法の原理を用いる技術としては、光切断法や位相シフト法のように投受光を行うアクティブ型と、ステレオ画像法のように視差を利用したパッシブ型とが知られている。また、飛行時間を計測する技術としては、所定条件で強度が変化する強度変調光を投光し、投光時と受光時との強度変調光の位相の関係を用いて計測した飛行時間を距離に換算する技術が知られている。
【０００３】
この種の距離画像センサは、濃淡画像やカラー画像と比較すると、一般に画素数が少なく低解像度になることが知られている。そのため、距離画像の画素内に物体の境界が位置していると、当該画素の画素値（距離値）は適正な値にならず、実空間に存在する物体の位置を正確に計測できないという問題が生じる。
【０００４】
この種の問題を解決するために、特許文献１には、距離画像に加えて距離画像よりも高解像度であるカラー画像を用いることにより、低解像度である距離画像において誤差が生じる輪郭部分の距離値を推定する技術が記載されている。特許文献１では、輪郭部分の距離値（距離情報）を推定するために、着目画素の周囲の距離値を推算し、カラー画像から抽出した輪郭情報の画素位置と距離画像の着目画素との位置関係を用いて、着目画素の周囲の距離値を補間した値を、着目画素の距離値に用いている。要するに、着目画素の四隅の距離値を線形補間した値を着目画素の距離値に用いている。
【０００５】
また、特許文献１には、対象物からの反射光の強度に応じて距離画像の画素ごとに距離値の信頼度を算出し、信頼度をもとに距離値を補正する技術も記載されている。この技術は、反射光の振幅が小さいほど環境光の影響を受けるから、距離値の信頼度が低下するという理由によって、反射波の振幅に基づいて信頼度が設定されている。また、着目する画素を中心とする複数画素の画素領域を定め、この画素領域について信頼度を重みとする重み付け平均を求め、この結果を、着目する画素の距離値と推定している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−７１９７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述したように、特許文献１には、着目する画素の周囲の画素の距離値を用いることによって、着目する画素の距離値を補間する技術が記載されており、輪郭上の距離値が周囲の距離値と線形関係であることを想定していると考えられる。
【０００８】
しかしながら、物体と背景との距離差によって輪郭が生じている場合には、輪郭を挟んで距離値が不連続になっているから、特許文献１に記載された技術のような周囲の画素の距離値を用いて補間する技術では、着目する画素の距離値を精度よく求めることはできない。
【０００９】
本発明は、距離画像において距離値が不連続になる部位の輪郭に対応した画素の距離値を精度よく求めることを可能にした距離画像センサを提供することを目的とし、さらに、この距離画像センサに用いる処理装置、コンピュータをこの処理装置として機能させるプログラムを提供することを目的とする。
する。
【課題を解決するための手段】
【００１０】
本発明に係る距離画像センサは、対象空間について画素値が距離値である距離画像を生成する第１の画像生成装置と、前記対象空間について前記距離画像より高精細である高精細画像を生成する第２の画像生成装置と、前記高精細画像において着目する物体の境界を挟む２個の境界画素の位置を抽出する境界抽出部と、前記距離画像において前記物体の境界を含む画素を対象画素とし、前記対象画素に隣接し背景側に位置する画素を基準画素として、前記対象画素および前記基準画素を前記境界画素の位置に基づいて抽出する画素抽出部と、前記高精細画像から求められる対象画素の範囲での境界の位置と、前記高精細画像から求められる前記対象画素と前記基準画素との位置における濃度差との関係に対してあらかじめ設定されている補正値を用いて、前記画素抽出部が抽出した前記対象画素の画素値を補正する補正部とを備えることを特徴とする。
【００１１】
本発明に係る他の距離画像センサは、対象空間について画素値が距離値である距離画像および濃度値である濃淡画像を生成する第１の画像生成装置と、前記対象空間について前記距離画像より高精細である高精細画像を生成する第２の画像生成装置と、前記高精細画像において着目する物体の境界を挟む２個の境界画素の位置を抽出する境界抽出部と、前記距離画像において前記物体の境界を含む画素を対象画素とし、前記対象画素に隣接し背景側に位置する画素を基準画素として、前記対象画素および前記基準画素を前記境界画素の位置に基づいて抽出する画素抽出部と、前記高精細画像から求められる対象画素の範囲での境界の位置と、前記濃淡画像から求められる前記対象画素と前記基準画素との位置における濃度差との関係に対してあらかじめ設定されている補正値を用いて、前記画素抽出部が抽出した前記対象画素の画素値を補正する補正部とを備えることを特徴とする。
【００１２】
この距離画像センサにおいて、前記距離画像から抽出される前記物体に対応する第１の領域と、前記高精細画像から抽出される前記物体に対応する第２の領域とを抽出する領域抽出部をさらに備え、前記画素抽出部は、前記領域抽出部が抽出した前記第１の領域と前記第２の領域とのパターンマッチングを行うことにより前記境界画素の位置を前記対象画素の位置に対応付けることが好ましい。
【００１３】
この距離画像センサにおいて、前記画素抽出部は、前記第１の画像生成装置と前記第２の画像生成装置との前記物体に対する視差を用いることにより前記境界画素の位置を前記対象画素の位置に対応付けることが好ましい。
【００１４】
この距離画像センサにおいて、前記対象空間からの入射光束を複数の経路に分岐することにより、前記対象空間に対する光軸を前記第１の画像生成装置と前記第２の画像生成装置とに共用させる光学要素をさらに備えることが好ましい。
【００１５】
この距離画像センサにおいて、前記第１の画像生成装置と前記第２の画像生成装置とをそれぞれ撮像する撮像素子は、ワンチップとなるように１枚の基板に形成されていることが好ましい。
【００１６】
この距離画像センサにおいて、第１の画像生成装置で生成された距離画像と、前記補正部が補正した距離画像とを比較し、前記補正値の妥当性を評価する評価部をさらに備え、前記評価部は、前記距離画像において背景を除く領域であって、前記補正値を適用した領域と実質的に連結領域を形成し、かつ前記補正値が適用されていない画素から得られる距離値と、前記補正値が適用された画素の距離値との差が所定値以下である場合に、前記補正値を妥当と判断することが好ましい。
【００１７】
この距離画像センサにおいて、前記境界抽出部は、前記距離画像において画素値が規定の抽出条件を満たす画素を含む領域において、前記高精細画像から前記対象空間における前記物体に対応する画素を抽出することが好ましい。
【００１８】
この距離画像センサにおいて、前記対象空間に前記物体が存在しない状態で得られた前記距離画像を背景距離画像として記憶する背景記憶部をさらに備え、前記境界抽出部は、前記第１の画像生成装置が生成した前記距離画像と前記背景記憶部に記憶された前記背景距離画像との差分画像において画素値が基準値以上であることを前記抽出条件とし、前記高精細画像から前記対象空間における前記物体に対応する画素を抽出することが好ましい。
【００１９】
本発明に係る処理装置は、対象空間について画素値が距離値である距離画像を生成する第１の画像生成装置、および前記対象空間について前記距離画像より高精細である高精細画像を生成する第２の画像生成装置と併せて用いられ、前記対象空間において着目する物体までの距離を求める処理装置であって、前記高精細画像において着目する物体の境界を挟む２個の境界画素の位置を抽出する境界抽出部と、前記距離画像において前記物体の境界を含む画素を対象画素とし、前記対象画素に隣接し背景側に位置する画素を基準画素として、前記対象画素および前記基準画素を前記境界画素の位置に基づいて抽出する画素抽出部と、前記高精細画像から求められる対象画素の範囲での境界の位置と、前記高精細画像から求められる前記対象画素と前記基準画素との位置における濃度差との関係に対してあらかじめ設定されている補正値を用いて、前記画素抽出部が抽出した前記対象画素の画素値を補正する補正部とを備えることを特徴とする。
【００２０】
本発明に係る他の処理装置は、対象空間について画素値が距離値である距離画像および濃度値である濃淡画像を生成する第１の画像生成装置、および前記対象空間について前記距離画像より高精細である高精細画像を生成する第２の画像生成装置と併せて用いられ、前記対象空間において着目する物体までの距離を求める処理装置であって、前記高精細画像において着目する物体の境界を挟む２個の境界画素の位置を抽出する境界抽出部と、前記距離画像において前記物体の境界を含む画素を対象画素とし、前記対象画素に隣接し背景側に位置する画素を基準画素として、前記対象画素および前記基準画素を前記境界画素の位置に基づいて抽出する画素抽出部と、前記高精細画像から求められる対象画素の範囲での境界の位置と、前記濃淡画像から求められる前記対象画素と前記基準画素との位置における濃度差との関係に対してあらかじめ設定されている補正値を用いて、前記画素抽出部が抽出した前記対象画素の画素値を補正する補正部とを備えることを特徴とする。
【００２１】
本発明に係るプログラムは、コンピュータを、上述した処理装置として機能させる。
【発明の効果】
【００２２】
本発明の構成によれば、物体と背景との距離差などによって境界が生じている場合に、距離画像より高精細である高精細画像を用いて境界を抽出し、第１の画像生成装置が距離画像とともに生成した濃淡画像において境界を含む対象画素と対象画素に隣接する背景側の画素である基準画素との濃度差の関係に対して設定されている補正値を用いることにより、距離画像において距離値が不連続になる境界に対応した画素の距離値を補正するので、距離値が不連続である部位の距離値を精度よく求めることが可能になるという利点を有する。
【図面の簡単な説明】
【００２３】
【図１】実施形態を示すブロック図である。
【図２】同上に用いる第１の画像生成装置の動作例を示す図である。
【図３】同上に用いる第１の画像生成装置の動作例を示す図である。
【図４】同上において第２の画像生成装置の動作例を示す図図である。
【図５】同上に用いる補正値の例を示す図である。
【図６】同上における光学系の他例を示す概略構成図である。
【図７】同上の他の構成例を示すブロック図である。
【図８】同上において補正値を修正する場合の動作例を示す図である。
【図９】同上においてさらに他の構成例を示すブロック図である。
【発明を実施するための形態】
【００２４】
以下に説明する距離画像センサは、画素値が距離値である距離画像および濃度値である濃淡画像を生成する第１の画像生成装置と、距離画像より高精細である高精細画像を生成する第２の画像生成装置とを備える。
【００２５】
第１の画像生成装置は、各画素ごとに距離値および濃度値が得られる構成であって、画素ピッチが等しい距離画像と濃淡画像とを生成する。第２の画像生成装置が生成する高精細画像は、濃淡画像またはカラー画像であり、第１の画像生成装置が生成する距離画像が１００×１００画素程度であるのに対して、６４０×４８０画素〜１２８０×１０２４画素程度の範囲から解像度が選択される。
【００２６】
したがって、第１の画像生成装置と第２の画像生成装置との視野がほぼ等しく設定されていれば、高精細画像は、画像の水平方向および垂直方向について、距離画像に対して数倍〜十数倍程度の分解能を持つ。第１の画像生成装置および第２の画像生成装置は、それぞれ独立した撮像素子を備える。
【００２７】
撮像素子は、対象空間を写像する二次元格子の格子点上に画素が配置され、レンズを備えた受光光学系を通して対象空間から受光する。したがって、撮像素子の画素には、受光光学系を通して対象空間を見込む方向が対応付けられる。すなわち、第１の画像生成装置および第２の画像生成装置が生成する画像において、位置（ｘ，ｙ）の画素値は、位置（ｘ，ｙ）の画素から受光光学系を通して対象空間を見込む方向（θ，φ）に関する情報を持つ。
【００２８】
ここに、ｘは画像の水平方向の画素の位置を表し、ｙは画像の垂直方向の画素の位置を表す。また、θは位置（ｘ，ｙ）の画素から受光光学系を通して見込む方向が受光光学系の光軸に対してなす角度を表し、φはｘｙ平面においてｘ軸に対してなす角度を表す。いま、距離画像において、位置（ｘ，ｙ）の画素の画素値（距離値）をｄとすると、ｘ＝ｄ・ｓｉｎθ・ｃｏｓφ、ｙ＝ｄ・ｓｉｎθ・ｓｉｎφになる。
【００２９】
第１の画像生成装置は、撮像素子が対象空間から受光した光を用いて距離画像および濃淡画像を生成する。撮像素子を用いて距離情報を抽出するために広く採用されている技術には、三角測量法の原理を用いる技術と、光の飛行時間を計測する技術とがある。
【００３０】
光の飛行時間を計測して距離画像を生成する場合、対象空間に投光する発光源が必須であってアクティブ型の構成になる。一方、三角測量の原理を採用して距離画像を生成する技術は、発光源を用いるアクティブ型の構成と、ステレオビジョンの技術によるパッシブ型の構成とが知られている。本実施形態で説明する第１の画像生成装置は、どの構成であってもよいが、以下では、光の飛行時間を計測することにより距離画像を生成する構成を想定する。
【００３１】
光の飛行時間を利用して距離を計測する技術を採用する場合、第１の画像生成装置を構成する撮像素子には、発光源から対象空間に投光した信号光のほかに、自然光や照明光のような環境光が入射する。したがって、第１の画像生成装置に用いる撮像素子は、信号光と環境光とを明確に区別するために、第２の画像生成装置に用いる撮像素子よりも大きいダイナミックレンジが必要である。つまり、第１の画像生成装置に用いる撮像素子の画素の面積は、第２の画像生成装置に用いる撮像素子の画素の面積よりも大きくする必要がある。
【００３２】
上述したように、第１の画像生成装置の画素の面積は第２の画像生成装置の画素の面積よりも大きくなる。したがって、第１の画像生成装置と第２の画像生成装置とに用いる撮像素子のサイズが同程度であると、第１の画像生成装置に用いる撮像素子の解像度は、第２の画像生成装置に用いる撮像素子の解像度よりも低解像度になる。言い換えると、第１の画像生成装置で生成される距離画像および濃淡画像は、第２の画像生成装置で生成される高精細画像よりも低解像度になる。たとえば、第１の画像生成装置が生成する距離画像および濃淡画像が１万画素程度である場合、第２の画像生成装置に同程度のサイズの撮像素子を用いたとしても、第２の画像生成装置が生成する高精細画像は数十万画素以上になる。
【００３３】
以下、本実施形態の構成を図面に基づいて具体的に説明する。図１に示すように、第１の画像生成装置１０は、対象空間に投光する発光源１１と、対象空間からの光を受光する撮像素子１２とを備える。発光源１１は投光光学系とともに用いられ、撮像素子１２は受光光学系とともに用いられる。投光光学系と受光光学系とは兼用されていてもよい。
【００３４】
発光源１１は、発光制御部１３から出力される変調信号により時間経過に伴って発光量が変化するように駆動される。変調信号は、正弦波、三角波、鋸歯状波、矩形波のような周期性を有する信号を用いるほか、オン期間とオフ期間とが単位期間の整数倍でランダムに変化する矩形波信号を用いることも可能である。以下では、説明を簡単にするために、変調信号は一定周期（１０−７秒程度）の正弦波ないし矩形波とする。発光源１１は、発光ダイオードあるいはレーザダイオードを備え、変調信号で駆動されることにより、正弦波状に強度が変化する強度変調光を対象空間に信号光として投光する。発光源１１から投光される光は、可視光領域でもよいが、通常は赤外領域が採用される。
【００３５】
いま、変調信号を正弦波とし、９０度ずつの位相で正弦波の１周期を４つの区間に分割し、撮像素子１２のいずれかの画素で区間ごとに受光した受光量をＡ０，Ａ１，Ａ２，Ａ３とする。つまり、撮像素子１２のいずれかの画素で受光した受光量について、変調信号の位相が０〜９０度の区間の受光量をＡ０、９０〜１８０度の区間の受光量をＡ１、１８０〜２７０度の区間の受光量をＡ２、２７０〜３６０度の区間の受光量をＡ３とする。なお、変調信号の位相を９０度ずつの区間に区切ることは必須ではなく、たとえば、９０度周期で一定時間ずつの区間を設けるなど、受光量Ａ０，Ａ１，Ａ２，Ａ３を求める区間は適宜に設定することが可能である。
【００３６】
発光源１１が変調信号で駆動されてから撮像素子１２で信号光の反射光を受光するまでの位相差ψは、三角関数の計算から、ψ＝ｔａｎ−１｛（Ａ２−Ａ０）／（Ａ３−Ａ１）｝として求められる。位相差ψがわかれば、変調信号の周波数と位相差ψとから、信号光の投光から受光までの飛行時間が求められ、飛行時間と光速とから光が飛行した距離が求められる。なお、発光源１１が変調信号で駆動された後、発光源１１が強度変調光を対象空間に投光するまでの遅延時間は無視している。
【００３７】
上述したように撮像素子１２は、変調信号に同期して設定された区間ごとの受光量Ａ０，Ａ１，Ａ２，Ａ３を求める必要がある。そのため、撮像素子１２は、変調信号に同期する復調信号を発光制御部１３から受けて受光期間を制御する。ＴＶカメラとして用いられている一般的な構成のＣＣＤイメージセンサやＣＭＯＳイメージセンサを撮像素子１２に用いる場合、復調信号を受けて電子シャッタと同様の動作により受光期間を調節することが可能である。
【００３８】
また、撮像素子１２は、受光期間を調節するために専用に配置された電極を備えていてもよい。たとえば、撮像素子１２は、１つの区間において対象空間から受光している期間に、他の少なくとも１つの区間に受光した受光量に相当する電荷を保持する動作を可能にする構成であってもよい。いま、撮像素子１２が受光量Ａ０と受光量Ａ２とに相当する電荷を交互に保持する期間と、受光量Ａ１と受光量Ａ３とに相当する電荷を交互に保持する期間とを持つように駆動される場合を想定する。
【００３９】
この構成は、撮像素子１２から電荷を読み出す動作を１回行うだけで、２区間分の電荷を読み出すことを可能にする。また、この構成の撮像素子１２は、２区間の受光量に相当する電荷を交互に保持するから、変調信号の複数周期にわたって各区間の電荷を蓄積することが可能であり、比較的大きい受光出力を取り出すことが可能になる。なお、この構成は一例であって、１区間分の電荷を読み出す動作や４区間分の電荷を蓄積して読み出す動作など、撮像素子１２を駆動する態様は適宜に選択される。
【００４０】
第１の画像生成装置１０は、撮像素子１２から読み出された受光出力を用いて上述した計算を行う演算部１４を備える。演算部１４は、受光量Ａ０，Ａ１，Ａ２，Ａ３に相当する電荷を用いて上述した計算を行い、位相差ψ、投光から受光までの飛行時間、対象空間における物体までの距離などの所望の値を求める。このように、第１の画像生成装置１０は、演算部１４が撮像素子１２の画素ごとに対象空間における物体までの距離を算出し、画素値を距離値とした距離画像を生成する。第１の画像生成装置１０の具体構成は周知であるから詳述しない。
【００４１】
第１の画像生成装置１０は、画素ごとに強度変調光の受光量Ａ０，Ａ１，Ａ２，Ａ３の平均値を求める機能も備える。つまり、演算部１４は、撮像素子１２から読み出された受光出力の平均することにより、投光した光の強度の影響を除去した濃度値を画素ごとに算出し、この濃淡値を画素値とする濃淡画像を生成する。
【００４２】
なお、発光制御部１３は、変調信号により発光源１１を駆動する動作と、発光源１１を駆動しない動作とを行うようにしてもよい。この場合、演算部１４は、発光源１１が駆動されていない期間に求められる環境光のみの成分に対応した濃度値を用い、発光源１１が駆動されている期間の濃度値に含まれる環境光の成分を除去する演算を行う。この動作により、環境光の影響が軽減され、演算部１４から出力される画素値は、信号光の反射成分に対応することになる。
【００４３】
上述したように、第１の画像生成装置１０は距離画像と濃淡画像とを生成し、第１の画像生成装置１０の画素は、それぞれ距離値および濃度値を持つことになる。すなわち、対象空間において、第１の画像生成装置１０の画素に対応する領域ごとに、距離値および濃度値が求められる。
【００４４】
第２の画像生成装置２０は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサを用いた撮像素子２１を備え、受光光学系（図示せず）を通して対象空間を撮像する。また、第２の画像生成装置２０は、後述する処理装置３０に与える高精細画像（濃淡画像）を生成するために、撮像素子２１の出力をデジタル信号に変換するＡ／Ｄ変換部（図示せず）を備える。第１の画像生成装置１０の撮像素子１２と、第２の画像生成装置２０の撮像素子２１とは、個別のデバイスでもよいが、１枚の基板に形成してワンチップのデバイスとして構成されていることが望ましい。撮像素子１２と撮像素子２１とがワンチップのデバイスである場合、撮像素子１２と撮像素子２１との位置関係が製造時に決定され、両者の位置精度が保証されるからである。
【００４５】
第１の画像生成装置１０の演算部１４で生成された距離画像および濃淡画像と、第２の画像生成装置２０から出力される高精細画像とは、処理装置３０に入力される。処理装置３０は、プログラムに従って動作するデバイスとインターフェイス部を構成するデバイスとを主なハードウェア要素として備える。プログラムに従って動作するデバイスの一例には、個別のデバイスであるマイクロプロセッサおよびメモリを組み合わせる構成、プロセッサとメモリとをワンチップに備えるマイコンなどがある。また、この種のデバイスは、ＤＳＰ（Digital Signal Processor）、あるいはＦＰＧＡ（Field- Programmable Gate Array）が用いられる場合もある。
【００４６】
ところで、第１の画像生成装置１０が生成する距離画像および濃淡画像は対象空間を画素を単位として区切っているから、対象空間に存在する物体の境界が１画素内に含まれる場合、当該画素内に物体からの光と背景からの光とが同時に入射する。濃淡画像では、１画素に物体からの光と背景からの光とが同時に入射すると、当該画素の画素値は両者の受光量の平均に対応する濃度になる。
【００４７】
第１の画像生成装置１０がアクティブ型の構成である場合、１画素に静止した物体からの光と背景からの光とが同時に入射すると、当該画素の画素値は、物体と背景との中間の距離値になる。また、第１の画像生成装置１０がステレオビジョンの技術を用いたパッシブ型の構成である場合、当該画素の画素値は不定になるか、あるいは演算部１４の処理に依存して決定される。
【００４８】
なお、１フレームの画像が得られる間に物体が移動すると、距離画像において物体の境界が通過した画素の画素値は異常値になる可能性があるが、ここでは、実質的に静止している物体の距離画像が生成される場合を想定する。
【００４９】
本実施形態は、第１の画像生成装置１０が飛行時間の計測によって物体までの距離値を求める技術を採用しているから、静止した物体の境界と背景とを含む画素の画素値は、物体と背景との中間の距離値になる。また、受光量の関係を用いて距離値を算出しているから、第１の画像生成装置１０は、撮像素子１２が受光する強度変調光（信号光）の光量が環境光の光量に対して相対的に多いほうが、画素値は物体の実際の距離値に近付くと考えられる。
【００５０】
そこで、距離画像の生成時に生じる可能性がある事象を想定し、背景からの光量を変化させるために背景の反射率を３段階に変化させ、距離を計測する物体の幅を４段階に変化させて距離画像と濃淡画像とを生成する実験を行った。距離を計測した４個の物体は、受光光学系から等距離の位置に配置し、距離画像において２〜５画素の範囲を占めるように選定した。具体的には、それぞれの物体の幅は、７．５ｍｍ、１０．５ｍｍ、１４．０ｍｍ、１７．５ｍｍの４種類とし、物体までの距離は２ｍとした。幅が７．５ｍｍ、１０．５ｍｍ、１４．０ｍｍの３種類の物体については、距離画像の水平方向において、隣接する画素の中心と各物体の中心とが一致するように位置を調整した。また、幅が１７．５ｍｍの物体は、距離画像の水平方向において、１つの画素の中心と物体の中心とが一致するように位置を調整した。背景の反射率は、６０％、２０％、５％から選択した。
【００５１】
図２、図３には値が比較的大きく変化している領域が４個ずつ存在している。これらの領域は、右から順に上述した幅の物体に対する計測結果を示している。図２は第１の画像生成装置１０から出力された距離値を示し、図３は第１の画像生成装置１０から出力された濃度値を示している。さらに、図４は第２の画像生成装置２０から出力された高精細画像の画素値を示している。各図において、特性（１）は背景の反射率が６０％の場合、特性（２）は背景の反射率が２０％の場合、特性（３）は背景の反射率が５％の場合を示している。上述した説明から明らかなように、図２に示す距離画像と図３に示す濃淡画像とは同じ解像度であり、図４に示す高精細画像は図２、図３に示す画像よりも高解像度である。なお、図示例において、高精細画像は、画像の水平方向において、距離画像および濃淡画像に対して約４倍の個数の画素を備えている。
【００５２】
図３からわかるように、背景の反射率が高くなると、濃淡画像内において物体と背景との濃度差が現れにくくなるが、背景の反射率が比較的低いと、物体と背景との濃度差が明確に現れる。一方、図２からわかるように、物体の境界付近の距離値は、背景の反射率の影響を受け、反射率が高くなると、距離値が実際よりも大きくなる傾向が見られる。そのため、距離画像において物体が占める画素数が少なく、かつ背景の反射率が高いと、物体が実際の距離よりも遠方に位置するように誤認されることになる。
【００５３】
以上のことから、距離画像において１つの画素に物体からの光と背景からの光とが混入すると距離値に誤差が生じ、背景からの光量が物体からの光量に対して相対的に多くなるほど距離画像の画素値の誤差が大きくなると言える。ここで、１画素に物体からの光と背景からの光とが混入するのは、主として物体の境界付近に対応する画素である。したがって、距離画像において物体の境界に対応する画素を抽出し、当該画素の画素値に適宜の補正を行えば、距離画像の画素値を真値に近付けられると考えられる。
【００５４】
処理装置３０は、対象空間において着目する物体の境界に相当する画素を距離画像から抽出し、当該画素の画素値に適切な補正を施すことにより、真値に近い画素値を求める機能を有する。そのため、処理装置３０は、第１の画像生成装置１０が生成した距離画像に加えて、第２の画像生成装置２０が生成した高精細画像から得られる情報を用いる。
【００５５】
処理装置３０は、図１に示すように、第１の画像生成装置１０が接続されるインターフェイス部（以下、「Ｉ／Ｆ部」という）３１と、第２の画像生成装置２０が接続されるＩ／Ｆ部３２とを備える。
【００５６】
処理装置３０は、第２の画像生成装置２０から出力される高精細画像から得られる情報を用いて距離画像において物体の境界を含む画素を抽出するために、物体の境界を挟む２個の境界画素を濃淡画像から抽出する境界抽出部３３を備える。境界抽出部３３は、物体の境界に交差する方向において、境界を挟む２個の画素を境界画素として高精細画像から抽出する。高精細画像の画素値が濃度値である場合、境界抽出部３３は、濃淡画像の２値化あるいは微分により境界画素を抽出する。高精細画像がカラー画像である場合、色によって境界画素を抽出することも可能である。
【００５７】
物体の境界は、物体の外形を表す輪郭線を想定している。物体の境界に交差する方向としては、直交する方向が望ましい。２個の境界画素は境界を挟んでいるから、一方の境界画素の画素値は物体からの光量に相当し、他方の境界画素の画素値は背景からの光量に相当する。境界抽出部３３が抽出した境界画素の位置に関する情報は画素抽出部３４に引き渡される。画素抽出部３４は、境界画素の位置に基づいて、距離画像において物体の境界を含む画素を対象画素として抽出し、対象画素に隣接し背景側に位置する画素を基準画素として抽出する。境界画素は、物体の境界線に沿って複数個が抽出される。したがって、対象画素および基準画素は、境界画素と同様に複数個ずつ抽出される。
【００５８】
処理装置３０は、対象画素の画素値を補正する補正部３５を備える。補正部３５は、第１の画像生成装置１０が生成した濃淡画像における画素値（濃度値）の関係に応じて設定されている補正値を、基準画素の画素値（距離値）と対象画素の画素値（距離値）との関係に適用することにより、対象画素の画素値を補正する。補正部３５による補正演算は、図５に示す関係で設定された補正値を用いて行われる。
【００５９】
図示例は、第１の画像生成装置１０から出力される距離画像の画素値（距離値）をＤ１（＝Ｄｂ−ｄ１）とし、距離値の真値をＤ０（＝Ｄｂ−ｄ０）とするとき、補正値をαとして、ｄ０＝α・ｄ１という関係が得られると仮定している。ここに、Ｄｂは背景（壁など）までの距離である。また、ｄ０は距離Ｄ０に物体が存在するときの壁から物体までの距離であり、ｄ１は距離画像の画素値Ｄ１に物体が存在すると仮定したときの壁から物体までの距離である。上述した基準画素は画素値がＤｂである画素に相当し、対象画素は画素値がＤ１である画素に相当する。
【００６０】
図５の横軸は基準画素と対象画素との位置の濃度差であり、縦軸は補正値αを表している。言い換えると、図５は、第１の画像生成装置１０が生成した濃淡画像において、物体の境界を含む対象画素と物体の境界を含まずに背景となる基準画素とに相当する位置の画素の濃度差に対する補正値αの関係を表している。対象画素と基準画素との画素ピッチは一定であるから、図５の横軸は、対象画素と基準画素との位置における濃度勾配と言い換えてもよい。
【００６１】
図５の特性（Ａ）〜（Ｄ）は、濃淡画像において物体が占める領域の水平方向の幅の違いに対応している。特性（Ａ）は最小の幅（７．５ｍｍ）に対応し、特性（Ｄ）は最大の幅（１７．５ｍｍ）に対応する。
【００６２】
上述したように、各物体は、距離画像の水平方向において画素に対して対称になるように配置されている。そのため、図３に示す例は、すべての幅の物体について、物体に対応する部位が左右対称になっている。ここで、物体を距離画像の水平方向において移動させるとすれば、移動の過程において、物体の境界を含む対象画素の範囲で物体の境界の位置が変化し、対象画素の中で背景と物体とが占める割合が変化する。そのため、図３に示す特性は左右非対称になり、対象画素に占める背景と物体との割合の変化に伴って対象画素の位置の濃度値が変化する。このことから、特性（Ａ）〜（Ｄ）に対応する物体の幅は、距離画像において物体の境界を含む対象画素に入射する光に関して、背景からの光と物体からの光との比率を反映していると言える。
【００６３】
図５によれば、対象画素において物体が占める割合が少ないほど（背景からの光量が多いほど）補正値αが大きくなることがわかる。また、図５によれば、対象画素と基準画素との位置の濃度差が小さいほど（濃度勾配が小さいほど）補正値αが大きくなることがわかる。この知見により、補正値αは、対象画素の範囲内での境界の位置Ｐと、対象画素と基準画素との位置の濃度差ａとを用いて、α＝ｆ（Ｐ，ａ）と表されると言える。濃度差ａが大きいことは、背景の反射率が相対的に低いことを意味するから、図２に示した距離画像において、背景の反射率が低い場合に画素値が真値に近付いていることと合致する。
【００６４】
図５の関係に基づいて補正値αを決定するには、対象画素と基準画素との位置の濃度差ａに加えて、対象画素の範囲内での境界の位置Ｐを求める必要がある。上述したように、画素抽出部３４は距離画像において対象画素と基準画素とを抽出しており、距離画像の画素と高精細画像の画素との位置関係は既知である。このことを利用し、画素抽出部３４は、対象画素と視野が重なる高精細画像の複数個の画素と、境界画素との位置関係に基づいて、対象画素において物体の境界の位置Ｐを求める。また、画素抽出部３４は、対象画素と基準画素との濃度差ａを、第１の画像生成装置１０が出力した濃淡画像から求める。
【００６５】
画素抽出部３４は、求めた位置Ｐと濃度差ａとを補正部３５に与え、補正部３５は、図５に示した補正値αと位置Ｐと濃度差ａとの関係に基づいて、補正値αを決定する。さらに、補正部３５は、求めた補正値αを用いて距離値を補正し、対象画素における距離値の真値を求める。
【００６６】
なお、本実施形態において、画素値の補正演算は、ｄ０＝α・ｄ１という関係を用いて行っているが、他の関係を用いて行うことが可能であり、たとえば、ｄ０＝α１・ｄ１＋α２（α１，α２は補正値）という形式であってもよい。あるいはまた、Ｄ１＝α３・Ｄ１（α３は補正値）という形式を採用することも可能である。
【００６７】
以上説明したように、画素抽出部３４は、第１の画像生成装置１０が出力した距離画像および濃淡画像と第２の画像生成装置２０が出力した高精細画像とを用いて、対象画素と基準画素との位置の濃度差ａと、対象画素における物体の境界の位置Ｐとを求める。さらに、補正部３５は、図５のような関係から補正値αを決定し、この補正値αを適用することにより、対象画素の画素値（距離値）を補正し、着目する物体について真値に近い距離値を出力することが可能になる。
【００６８】
ところで、境界画素は高精細画像から抽出され、対象画素および基準画素は境界画素の位置に基づいて距離画像から抽出される。したがって、高精細画像と距離画像との画素の位置を対応付けることが必要である。この対応付けは画素抽出部３４が行う。画素抽出部３４は、以下に説明する技術を単独または組み合わせて用いることにより、高精細画像と距離画像との画素の位置の対応付けを行う。
【００６９】
第１の技術は、対象空間において着目する物体の境界の情報は、高精細画像と距離画像とにおいて共通しているという仮定に基づいている。処理装置３０は、高精細画像と距離画像とから物体の位置を抽出するために領域抽出部３６を備える。
【００７０】
領域抽出部３６は、距離画像から抽出される物体に対応する第１の領域と、高精細画像から抽出される物体に対応する第２の領域とを抽出する。第１の領域および第２の領域の抽出には、二値化処理、微分処理のいずれかを用いる。二値化処理は、画素値を適宜の閾値で二値化することを意味し、微分処理は、着目する画素に隣接する画素（たとえば、８近傍の画素）を用いて画素値の勾配の大きさ求める演算処理を意味する。なお、微分処理は、Ｓｏｂｅｌフィルタなどを適用するエッジ強調処理であってもよい。
【００７１】
画素抽出部３４は、領域抽出部３６が抽出した物体の境界（輪郭線、区画線など）を用いて、第１の領域と第２の領域との境界の形状についてパターンマッチングを行う。つまり、第１の領域と第２の領域との一致度を評価し、一致度が最大になるように、第１の領域と第２の領域と座標値の対応付けを行う。第１の領域と第２の領域との一致度の評価には、第１の領域の境界上の画素と第２の領域の境界上の画素との距離を用いる。画素抽出部３４は、第１の領域と第２の領域とのそれぞれの境界上の画素について水平方向の差分と垂直方向の差分との二乗和の平方根を、第１の領域と第２の領域との距離として算出する。さらに、画素抽出部３４は、求めた距離が最小になるように、第１の領域と第２の領域との座標値を対応付ける。
【００７２】
高精細画像と距離画像との画素の位置を対応付けるために、第１の技術はパターンマッチングを用いているが、第２の技術は、第１の画像生成装置１０と第２の画像生成装置２０との視差を用いて画素の対応付けを行う。この技術は、着目する物体の近傍に、当該物体と同程度の距離であることが保証されている他の物体が存在する場合に適用される。このような関係の物体としては、後述するように、着目する物体が人の指であって、他の物体が手の平である場合などが該当する。
【００７３】
たとえば、タッチパネルに接触させる指の動きに操作内容を対応付けたジェスチャ操作と同様の操作を、タッチパネルに対する指の接触位置の時間変化ではなく、対象空間における指の位置の時間変化に対応付ける場合を想定する。この場合、距離画像により指の位置を検出する必要がある。しかしながら、指は幅方向において距離画像に占める画素数が比較的少ないから、第１の画像生成装置１０から指までの距離が比較的大きい場合には、距離画像において指に対応する領域の画素値は大きな誤差を生じる可能性がある。すなわち、距離画像において指に対応する領域は、画素値の補正が必要になると考えられる。一方、対象空間において指は単独で存在しているわけではなく、手の平のように距離画像に占める画素数が比較的大きい領域と一体に移動する。
【００７４】
上述した第２の技術を採用する場合は、このことを利用し、距離画像から手の平と認識される領域について、濃淡画像と距離画像との視差を求め、この視差を距離画像において指と認識される領域に適用する。すなわち、画素抽出部３４は、濃淡画像と距離画像とにおいて、手の平に相当する部位の視差と、指に相当する部位の視差とが等しいとみなし、手の平に対して得られた視差を指に適用する。
【００７５】
ここに、画素抽出部３４は、手の平を認識するにあたり、たとえば、距離画像において背景を除いて３×３画素以上を含むブロックを設定し、ブロック内の画素値のばらつきが１％以内である場合に、当該ブロックを手の平に対応するとみなす。このようなブロックが得られると、当該ブロックと実質的に連結領域を形成している画素は、視差が等しいとみなし、画素抽出部３４は、距離画像において連結領域に含まれる画素の画素値を補正する。実質的な連結領域は、距離画像においてブロック内の画素から始めて隣接する画素との画素値の差が所定値以下である範囲の画素群、距離画像において背景である画素を除去する二値化を行った後、背景以外として残された連結領域の画素群のいずれかのことである。
【００７６】
上述のようにして視差がわかれば、距離画像と高精細画像との画素の位置合わせを正確に行うことが可能になり、パターンマッチングを行うことなく、距離画像と高精細画像とにおける物体の位置の座標を対応付けることが可能になる。つまり、パターンマッチングを行う場合よりも計算量を低減できる可能性がある。
【００７７】
第２の技術は、視差の演算が必要になっているが、距離画像と高精細画像との視野が一致していれば、視差の計算が不要である。したがって、図６に示すように、対象空間からの入射光束を複数の経路に分岐する光学要素４０を付加することが望ましい。この種の光学要素４０は、ハーフミラーを用いたビームスプリッタが代表例であるが、ダイクロイックミラーを用いて波長により経路を分岐させるなどを採用してもよい。
【００７８】
光学要素４０は、第１の画像生成装置１０と第２の画像生成装置２０とが対象空間に対する光軸を共用するように配置される。つまり、第１の画像生成装置１０と第２の画像生成装置２０とは、光学要素４０を介して、対象空間の同じ視野を見込むから、距離画像と濃淡画像との画素の対応付けが不要になる。
【００７９】
ところで、上述した動作例において、補正部３５は、対象画素の範囲での物体の境界の位置Ｐと、対象画素と基準画素との位置の濃度差ａとを用いて補正値αを決定しているから、決定した補正値αの妥当性は検証されていない。もちろん、補正部３５は、図５に示した関係に基づいて補正値αを決定しているから、距離画像の画素値の誤差が改善されるが、さらに画素値の精度を高めるには、補正値αの検証が必要になる。
【００８０】
そこで、図７に示すように、第１の画像生成装置１０の演算部１４から出力された距離画像と、処理装置３０の補正部３５が補正した後の距離画像とを比較し、補正値αの妥当性を評価する評価部３７を備えることが望ましい。評価部３７は、距離画像において背景を除く領域であって、補正値αを適用した領域と実質的に連結領域を形成しかつ補正値αが適用されていない画素の有無を判断し、そのような画素があれば、当該画素の距離値と補正値αが適用された距離値とを比較する。
【００８１】
評価部３７は、比較結果が、予定された誤差範囲内であれば補正値αを妥当と判定し、誤差範囲を超える場合は誤差範囲内となるように補正値αを修正する。ここに、実質的な連結領域は、距離画像において補正値αが適用された画素から始めて隣接する画素との画素値の差が所定値以下である範囲の画素群、距離画像において背景である画素を除去する二値化を行った後、背景以外として残された連結領域の画素群のいずれかのことである。
【００８２】
なお、補正値αを適用しない画素は、たとえば、背景を除いた３×３画素以上のブロックに含まれる画素の画素値のばらつきが１％以内となる領域に含まれる画素などである。上述のように、ジェスチャ操作を行う場合に、着目する物体を指とすれば、指に連続する物体としての手の平には補正値αを適用せず、指に対しては補正値αを適用することになる。したがって、評価部３７において指の領域に適用した補正値αを評価し、適正な補正値αを用いて指までの距離を精度よく求めることが可能になる。
【００８３】
以上説明したように、本実施形態では、水平方向と垂直方向とのいずれかの方向において、着目する物体が距離画像に占める画素数が少ない場合に、補正部３５は着目する物体における対象画素の画素値を補正する。ここで、着目する物体が指である場合について、距離画像から抽出した対象画素の補正を行った場合と行わなかった場合とについて画素値を比較したところ、図８に示す結果が得られた。図８の横軸は距離であり、縦軸は垂直方向の画素数を表す。ここで、垂直方向の４０〜４５、６０〜６５の画素領域は背景（壁など）を表す。また、垂直方向の４５〜５０の画素領域は腕、５０〜５５の画素領域は手の平、５５〜６０の画素領域は指を表している。腕と手の平との画素領域は、補正が行われなかった領域であり、指に対応する画素領域についてのみ補正が行われた。つまり、補正がなければ、垂直方向５５〜６０の画素領域のうち指先に相当する画素領域は、手の平の画素領域に対して１５ｃｍ程度遠ざかっているが（特性（Ａ）参照）、補正後にはほぼ手の平の距離に一致する結果が得られている（特性（Ｂ）参照）。
【００８４】
以上から、手の平については、実質的に距離の誤差が発生せず、指については、距離の誤差が生じるが、補正値αを適用することによって、距離の誤差が解消されるという結果が得られた。すなわち、本実施形態の有効性が検証された。
【００８５】
上述した動作例では、距離値を用いて着目する物体を背景と分離しているが、あらかじめ着目する物体を背景と分離しておけば、以後の計算量が低減されると考えられる。着目する物体を背景と分離するには、着目する物体の特性を利用した抽出条件を用いる技術と、背景の特性を利用した抽出条件を用いる技術とが単独または組み合わせて用いられる。距離画像において着目する物体を背景から分離する処理は、処理装置３０において最前段に設けられた境界抽出部３３が行う。
【００８６】
いま、着目する物体が手であり、手は胴体の前方に突き出されている場合を想定する。このような状態では、境界抽出部３３は、着目する物体の特性を利用する場合、第１の画像生成装置１０からの距離範囲と、胴体から手までの距離とを抽出条件に用いればよい。たとえば、着目する物体の距離範囲は１．５ｍ以内、胴体から手までの距離は３０ｃｍ以上という抽出条件を用い、距離画像において規定した面積以上を示す連結領域を胴体と判断するというルールを適用すると、距離画像において手の領域を抽出できる。着目する物体が異なれば、抽出条件を変えることにより、着目する物体が抽出される。
【００８７】
一方、背景の特性を利用して着目する物体を抽出する場合、処理装置３０には、図９に示すように、対象空間に物体が存在しない状態で得られた距離画像を背景距離画像として記憶する背景記憶部３８が設けられる。境界抽出部３３は、第１の画像生成装置１０から出力される距離画像と、背景記憶部３８に記憶された背景距離画像との差分画像を生成する機能を有し、差分画像において画素値が基準値以上であることを抽出条件として、着目する物体を背景から分離できる。
【００８８】
上述したように、境界抽出部３３は、距離画像において着目する物体に相当する画素が含まれる領域を背景から分離する。その結果、以後の処理において対象となる画素数が低減されることになり、計算量の低減が可能になる。
【００８９】
なお、高精細画像が濃淡画像である場合に濃度値に対する閾値を用いる技術は、カラー画像に対して色あるいは輝度を用いる技術で置換可能である。高精細画像としてカラー画像を採用すると、物体に対する境界画素を色で分離可能になるから、距離画像における対象画素と基準画像とを容易に決定できる場合がある。
【００９０】
また、上述したように、補正値αを求めるには、対象画素と基準画素との位置の濃度差ａが必要であるが、濃度差ａは、第１の画像生成装置１０から濃淡画像を出力せずに求めることが可能である。すなわち、第２の画像生成装置２０が出力する高精細画像から、対象画素と基準画素との位置に相当する画素の画素値を求め、対象画素と基準画素とにそれぞれ対応する画素値の平均値の差を、濃度差として用いることが可能である。
【符号の説明】
【００９１】
１０  第１の画像生成装置
１２  撮像素子
２０  第２の画像生成装置
２１  撮像素子
３０  処理装置
３３  境界抽出部
３４  画素抽出部
３５  補正部
３６  領域抽出部
３７  評価部
３８  背景記憶部
４０  光学要素
【図１】
2014130086.tif 000003
【図２】
2014130086.tif 000004
【図３】
2014130086.tif 000005
【図４】
2014130086.tif 000006
【図５】
2014130086.tif 000007
【図６】
2014130086.tif 000008
【図７】
2014130086.tif 000009
【図８】
2014130086.tif 000010
【図９】
2014130086.tif 000011