(57)【要約】【課題】背景光を除去しつつ、適正に物体検出することが可能な情報取得装置および物体検出装置を提供する。【解決手段】情報取得ユニット２は、目標領域に光を投射する投射部１００と、反射光を受光して目標領域を撮像する撮像部２００と、投射部１００の光源１１０を制御する光源制御部２１ａと、撮像部２００のＣＭＯＳイメージセンサ２４０を制御し、発光画像および消灯画像に基づいて物体検出に参照される背景光除去画像を取得する撮像情報取得部２１ｂと、を備える。撮像情報取得部２１ｂは、ＣＭＯＳイメージセンサ２４０のライン毎に順番に露光制御を行い、光源制御部２１ａは、ＣＭＯＳイメージセンサ２４０の物体検出に用いるライン群の露光期間の方が、物体検出に用いないライン群の露光期間よりも、光が出射される期間がより多く掛かるように、光源１１０を制御する。【選択図】図２
2015148565.tif 000002
【特許請求の範囲】
【請求項１】
目標領域に所定の波長の光を投射する投射部と、
前記目標領域からの反射光を受光して前記目標領域を撮像する撮像部と、
前記投射部の光源を制御する光源制御部と、
前記撮像部のイメージセンサを制御する撮像制御部と、
前記撮像部により取得された撮像信号に基づいて前記目標領域内の物体検出に参照される情報を取得する情報取得部と、を備え、
前記撮像制御部は、前記イメージセンサのライン毎に順番に露光制御を行い、
前記光源制御部は、前記イメージセンサ上の物体検出に用いるライン群の露光期間の方が、物体検出に用いないライン群の露光期間よりも、前記光が出射される期間がより多く掛かるように、前記光源を制御する、
ことを特徴とする情報取得装置。
【請求項２】
請求項１に記載の情報取得装置において、
前記光源制御部は、隣り合う２つの撮像期間に、それぞれ、前記光の発光期間と前記光の消灯期間が割り当てられるように、前記光源を制御し、
前記情報取得部は、前記発光期間に対応する露光制御により取得された第１撮像情報と、前記消灯期間に対応する露光制御によって取得された第２撮像情報とを減算した第３撮像情報を、前記目標領域内の物体検出に参照される情報として取得する、
ことを特徴とする情報取得装置。
【請求項３】
請求項２に記載の情報取得装置において、
前記光源制御部は、物体検出に用いる前記ライン群の所定のラインに対して露光制御が開始されるタイミングと、前記発光期間の開始タイミングとが、同期するように、前記光源を制御する、
ことを特徴とする情報取得装置。
【請求項４】
請求項３に記載の情報取得装置において、
前記光源制御部は、物体検出に用いる前記ライン群の前記所定のラインに対して露光制御が開始されるタイミングと、前記消灯期間の開始タイミングとが、同期するように、前記光源を制御する、
ことを特徴とする情報取得装置。
【請求項５】
請求項１ないし４の何れか一項に記載の情報取得装置において、
前記撮像制御部は、前記撮像期間よりも、前記各ラインに対する前記露光期間を短く設定する、
ことを特徴とする情報取得装置。
【請求項６】
請求項１ないし５の何れか一項に記載の情報取得装置と、
前記情報取得装置の情報取得部によって取得された情報に基づいて、前記目標領域に存在する物体を検出する物体検出部と、を備える、
ことを特徴とする物体検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、目標領域内の情報を取得する情報取得装置および当該情報取得装置を備えた物体検出装置に関する。
【背景技術】
【０００２】
従来、光を用いた物体検出装置が種々の分野で開発されている。この種の物体検出装置では、投射部により光が目標領域に投射され、イメージセンサを備える撮像部により目標領域が撮像される（たとえば、特許文献１）。
【０００３】
また、この種の物体検出において、目標領域にある蛍光灯等の背景光が写り込んだ撮像画像から背景光を除去させる物体検出装置が知られている（たとえば、特許文献２）。この物体検出装置では、２次元平面上に並ぶ受光素子を１ラインごとに露光制御するローリングシャッター方式のＣＭＯＳイメージセンサが用いられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２２５９８５号公報
【特許文献２】特開２０１１−１６９７０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記のようなＣＭＯＳイメージセンサが用いられると、露光開始タイミングがラインごとに遅延していくとの問題が生じる。露光開始タイミングがラインごとに遅延すると、撮像画像中に、光源の発光時に取得された画素と、消灯時に取得された画素が混在することとなる。この場合、適正に背景光を除去できず、物体検出に悪影響を与える惧れがある。
【０００６】
上記課題に鑑み、本発明は、背景光を除去しつつ、適正に物体検出することが可能な情報取得装置、および物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様は、情報取得装置に関する。本態様に係る情報取得装置は、目標領域に所定の波長の光を投射する投射部と、前記目標領域からの反射光を受光して前記目標領域を撮像する撮像部と、前記投射部の光源を制御する光源制御部と、前記撮像部のイメージセンサを制御する撮像制御部と、前記撮像部により取得された撮像信号に基づいて前記目標領域内の物体検出に参照される情報を取得する情報取得部と、を備える。前記撮像制御部は、前記イメージセンサのライン毎に順番に露光制御を行い、前記光源制御部は、前記イメージセンサ上の物体検出に用いるライン群の露光期間の方が、物体検出に用いないライン群の露光期間よりも、前記光が出射される期間がより多く掛かるように、前記光源を制御する。
【０００８】
本発明の第２の態様は、物体検出装置に関する。本態様に係る物体検出装置は、上記第１の態様に係る情報取得装置と、前記情報取得装置の情報取得部によって取得された情報に基づいて、前記目標領域に存在する物体を検出する物体検出部と、を備える。
【発明の効果】
【０００９】
本発明によれば、背景光を除去しつつ、適正に物体検出することが可能な情報取得装置、および物体検出装置を提供することができる。
【００１０】
本発明の効果ないし意義は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下に示す実施の形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施の形態により何ら制限されるものではない。
【図面の簡単な説明】
【００１１】
【図１】実施の形態に係る物体検出装置を内蔵したパーソナルコンピュータの外観構成を示す図である。
【図２】実施の形態に係る情報取得装置および物体検出装置の構成を示す図である。
【図３】実施の形態に係る情報取得装置の構成を示す図である。
【図４】実施の形態に係る情報取得装置の構成を示す図である。
【図５】実施の形態に係る背景光を除去する方法を説明する図である。
【図６】実施の形態に係るＣＭＯＳイメージセンサの信号値の読み出し方法を説明する図である。
【図７】実施の形態に係る撮像タイミングと光源の発光タイミング、およびＣＭＯＳイメージセンサの露光タイミングを示す図である。
【図８】実施の形態に係る背景光除去の例を示す図である。
【図９】比較例に係る撮像タイミングと光源の発光タイミング、およびＣＭＯＳイメージセンサの露光タイミングを示す図である。
【図１０】変更例に係る背景光除去の例を示す図である。
【図１１】変更例に係る撮像タイミングと光源の発光タイミング、およびＣＭＯＳイメージセンサの露光タイミングを示す図である。
【図１２】本実施の形態に係る露光制御、発光制御、および撮像制御の処理を示すフローチャートである。
【図１３】変更例に係る撮像タイミングと光源の発光タイミング、およびＣＭＯＳイメージセンサの露光タイミングを示す図である。
【図１４】変更例に係る背景光除去の例を示す図である。
【図１５】変更例に係る情報取得装置の構成を示す図である。
【図１６】変更例に係るイメージセンサの感度、および、輝度値と距離の関係を規定する距離変換関数の波形を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態につき図面を参照して説明する。
【００１３】
本実施の形態は、ノート型のパーソナルコンピュータに本発明に係る物体検出装置を適用したものである。この他、本発明に係る物体検出装置は、デスクトップ型のパーソナルコンピュータやテレビ等の他の機器にも適宜適用可能なものである。なお、本発明に係る情報取得装置および物体検出装置は、必ずしも、他の機器に一体的に搭載されなくとも良く、単独で一つの装置を構成するものであっても良い。
【００１４】
以下に示す実施の形態において、パーソナルコンピュータ１の本体部１１に備えられた開口１１ａ、窓部１１ｂと情報取得ユニット２からなる構成が、特許請求の範囲に記載の「情報取得装置」に相当する。
【００１５】
図１（ａ）は、本実施の形態に係るパーソナルコンピュータ１の概略構成を示す図である。図１（ｂ）は、情報取得ユニット２周辺の一部拡大図である。なお、図１（ｂ）では、本体部１１の内部が透視されるように示されている。
【００１６】
図１（ａ）に示すように、パーソナルコンピュータ１は、本体部１１と、モニタ部１２を備えている。本体部１１は、情報取得ユニット２と、情報処理部３を備えている。この他、本体部１１は、キーボード４と、操作パッド５を備えている。モニタ部１２は、モニタ６を備えている。
【００１７】
情報取得ユニット２は、目標領域全体に、可視光の波長帯よりも長い赤外の波長帯域の光（赤外光）を投射し、その反射光をＣＭＯＳイメージセンサにて受光することにより、目標領域に存在する物体の撮像情報を取得する。情報取得ユニット２は、図１（ｂ）に示すように、前後方向がＺ軸方向からＹＺ平面の面内方向に傾いた状態で本体部１１の内部に取り付けられている。情報処理部３は、情報取得ユニット２により取得された撮像情報に基づいて、目標領域に存在する所定の物体を検出し、さらに、当該物体の動きを検出する。そして、情報処理部３は、当該物体の動きに応じて、パーソナルコンピュータ１の機能を制御する。
【００１８】
たとえば、ユーザが手を用いて所定のジェスチャを行うと、情報取得ユニット２からジェスチャに応じた撮像情報が情報処理部３に送信される。この情報に基づき、情報処理部３は、ユーザの手を検出対象物体として検出し、手の動きに対応付けられた機能（画面の拡大・縮小や、画面の明るさ調整、ページ送り、等）を実行する。
【００１９】
図２は、情報取得ユニット２と情報処理部３の構成を示す図である。
【００２０】
情報取得ユニット２は、光学部の構成として、投射部１００と撮像部２００とを備えている。投射部１００と撮像部２００は、Ｘ軸方向に並ぶように、配置されている。
【００２１】
投射部１００は、赤外の波長帯域の光を出射する４つの光源１１０を備えている。
【００２２】
撮像部２００は、アパーチャ２１０と、撮像レンズ２２０と、フィルタ２３０と、ＣＭＯＳイメージセンサ２４０とを備えている。この他、情報取得ユニット２は、回路部の構成として、ＣＰＵ（Central Processing Unit）２１と、赤外光源駆動回路２２と、撮像信号処理回路２３と、入出力回路２４と、メモリ２５を備えている。
【００２３】
４つの光源１１０から目標領域に投射された光は、目標領域に存在する物体によって反射され、アパーチャ２１０を介して撮像レンズ２２０に入射する。
【００２４】
アパーチャ２１０は、撮像レンズ２２０のＦナンバーに合うように、外部からの光を制限する。撮像レンズ２２０は、アパーチャ２１０を介して入射された光をＣＭＯＳイメージセンサ２４０上に集光する。フィルタ２３０は、光源１１０の出射波長を含む波長帯域の光を透過し、可視光の波長帯域の光をカットするバンドパスフィルタである。
【００２５】
ＣＭＯＳイメージセンサ２４０は、可視光の波長帯域と、光源１１０から出射される赤外光の波長帯域に対して感度を有するカラーのイメージセンサである。ＣＭＯＳイメージセンサ２４０は、２次元平面上に並ぶ受光素子を有する。ＣＭＯＳイメージセンサ２４０は、撮像レンズ２２０にて集光された光を受光して、画素毎に、受光量に応じた信号を撮像信号処理回路２３に出力する。ＣＭＯＳイメージセンサ２４０では、２次元平面上に並ぶ受光素子のうち、１ライン上に並ぶ受光素子毎に露光制御される、いわゆるローリングシャッター方式により受光素子が露光制御される。ここで、ＣＭＯＳイメージセンサ２４０は、各画素における受光から高レスポンスでその画素の信号を撮像信号処理回路２３に出力できるよう、信号の出力速度が高速化されている。撮像部２００のイメージセンサとして、ローリングシャッター方式のＣＭＯＳイメージセンサ２４０が用いられることにより、消費電力を抑えつつ、高速に目標領域を撮像することができる。
【００２６】
ＣＰＵ２１は、メモリ２５に格納された制御プログラムに従って各部を制御する。かかる制御プログラムによって、ＣＰＵ２１には、光源制御部２１ａと、撮像情報取得部２１ｂの機能が付与される。
【００２７】
光源制御部２１ａは、所定の時間間隔で発光期間と消灯期間が繰り返されるよう赤外光源駆動回路２２を制御する。
【００２８】
撮像情報取得部２１ｂは、ＣＭＯＳイメージセンサ２４０から出力される信号に基づいて、輝度情報等の検出対象物体に関する撮像情報を取得する。撮像情報取得部２１ｂは、ＣＭＯＳイメージセンサ２４０の露光時間とゲインを撮像信号処理回路２３に設定する。
【００２９】
赤外光源駆動回路２２は、ＣＰＵ２１からの制御信号に応じて４つの光源１１０を駆動する。
【００３０】
撮像信号処理回路２３は、ＣＰＵ２１からの制御を受けてＣＭＯＳイメージセンサ２４０を駆動し、ＣＭＯＳイメージセンサ２４０から出力される信号をライン毎に順次取得する。撮像信号処理回路２３は、各画素の輝度信号を取得し、取得した信号をＣＰＵ２１に出力する。撮像信号処理回路２３は、ＣＰＵ２１により設定された露光時間をＣＭＯＳイメージセンサ２４０の各画素に適用し、さらに、ＣＭＯＳイメージセンサ２４０から出力される信号に対してＣＰＵ２１により設定されたゲインを適用して、画素毎に、輝度信号を取得する。
【００３１】
入出力回路２４は、情報処理部３とのデータ通信を制御する。
【００３２】
メモリ２５は、ＣＰＵ２１により実行される制御プログラムの他、ＣＰＵ２１における処理の際のワーク領域としても用いられる。
【００３３】
情報処理部３は、ＣＰＵ３１と、入出力回路３２と、メモリ３３を備えている。なお、情報処理部３には、図２に示す構成の他、パーソナルコンピュータ１の各部を駆動および制御するための構成が配されるが、便宜上、これら周辺回路の構成は図示省略されている。
【００３４】
ＣＰＵ３１は、メモリ３３に格納された制御プログラムに従って各部を制御する。かかる制御プログラムによって、ＣＰＵ３１には、物体検出部３１ａの機能と、当該物体検出部３１ａからの信号に応じて、パーソナルコンピュータ１の機能を制御するための機能制御部３１ｂの機能が付与される。
【００３５】
物体検出部３１ａは、光源１１０の発光時に撮像情報取得部２１ｂによって取得される撮像情報の輝度信号と、光源１１０の消灯時に撮像情報取得部２１ｂによって取得される撮像情報の輝度信号の差分を取得し、光源１１０の発光の有無に影響しない背景光を除去する。物体検出部３１ａは、背景光を除去した撮像情報から物体の形状を抽出し、さらに、抽出した物体形状の動きを検出する。機能制御部３１ｂは、物体検出部３１ａにより検出された物体の動きが所定の動きパターンに合致しているかを判定し、物体の動きが所定の動きパターンに合致している場合に、当該動きパターンに対応する制御を実行する。
【００３６】
図３は、情報取得ユニット２の構成を示す模式図である。
【００３７】
図３を参照して、情報取得ユニット２は、投射部１００と、撮像部２００と、回路基板３００と、回路部４００とを備える。
【００３８】
投射部１００は、上述のように、４つの光源１１０を備える。４つの光源１１０は、発光ダイオード（LＥＤ：Light Emitting Diode）からなっている。赤外光を発する発光素子（図示せず）は、ハウジング内に収容される。発光素子から発せられた赤外光は、上面の出射部から所定の放射角にて外部に出射される。図３に示すように、４つの光源１１０は、回路基板３００上に実装されている。
【００３９】
撮像部２００は、アパーチャ２１０と、撮像レンズ２２０を収容するレンズバレル２５０と、フィルタ２３０と、ＣＭＯＳイメージセンサ２４０を収容する撮像レンズホルダ２６０を備える。ＣＭＯＳイメージセンサ２４０は、回路基板３００上に実装されている。撮像レンズ２２０は、レンズバレル２５０に装着され、レンズバレル２５０は、撮像レンズ２２０を保持した状態で撮像レンズホルダ２６０に装着される。撮像レンズホルダ２６０は、下面に凹部を有し、この凹部に、フィルタ２３０が装着される。こうして、撮像レンズ２２０とフィルタ２３０とを保持した状態で、撮像レンズホルダ２６０が、ＣＭＯＳイメージセンサ２４０を覆うように、回路基板３００上に設置される。
【００４０】
回路基板３００には、投射部１００と撮像部２００の他、情報取得ユニット２を構成する回路部４００が実装される。図２に示すＣＰＵ２１、赤外光源駆動回路２２、撮像信号処理回路２３、入出力回路２４およびメモリ２５は、かかる回路部４００に含まれる。
【００４１】
図４は、情報取得ユニット２が本体部１１に組付けられた状態を示す斜視図である。  図４に示すように、情報取得ユニット２は、前後方向がＺ軸方向からＹＺ平面の面内方向にやや傾くように本体部１１に取り付けられる。４つの光源１１０により情報取得ユニット２の上部に光が投射されると、光は、窓部１１ｂを透過し、キーボード４（図１（ａ）参照）の上部周辺に向けて投射される。
【００４２】
図５（ａ）〜（ｃ）は、背景光を除去する方法を説明する図である。
【００４３】
図５（ａ）に示すように、撮像領域内に蛍光灯ＬＤが含まれている場合、光源１１０から赤外光を照射しつつ、撮像部２００により撮像領域を撮像すると、図５（ｂ）に示すような撮像画像が取得される。このように、光源１１０を発光させた状態で撮像した撮像画像を「発光画像」と称する。
【００４４】
また、光源１１０から赤外光を照射させずに、撮像部２００により撮像領域を撮像すると、図５（ｃ）に示すような撮像画像が取得される。このように、光源１１０を消灯させた状態で撮像した撮像画像を「消灯画像」と称する。
【００４５】
図５（ｂ）の発光画像の輝度値から図５（ｃ）の消灯画像の輝度値を減算すると、図５（ｄ）に示すような撮像画像が取得される。このように、光源１１０の発光時に取得された発光画像の輝度値から光源１１０の消灯時に取得された消灯画像の輝度値を減算することにより、光源１１０から照射された赤外光以外の光によるノイズ成分（たとえば、蛍光灯ＬＤ）を除去することができる。このような、赤外光の照射以外の光によるノイズ成分が除去された撮像画像を「背景光除去画像」と称する。
【００４６】
図６は、ＣＭＯＳイメージセンサ２４０の信号値の読み出し方法を説明する図である。
【００４７】
ＣＭＯＳイメージセンサ２４０は、図６に示すように、画素に対応するフォトダイオード２４０ａを有している。フォトダイオード２４０ａは、光を受光すると、光量に応じた電荷を蓄積する。蓄積された電荷は、増幅器２４０ｂによって電圧に変換され、増幅される。増幅された電圧は、スイッチ２４０ｃがＯＮにされると、ラインＬ毎に垂直信号線２４０ｄに伝送される。伝送された電圧は、垂直信号線２４０ｄ毎に配置されている列回路２４０ｅにより一時的に保管される。保管された電圧は、列選択スイッチ２４０ｆがＯＮにされると、水平信号線２４０ｇに送られる。そして、水平信号線２４０ｇに送られた電圧は、撮像信号処理回路２３に送られる。
【００４８】
このように、ＣＭＯＳイメージセンサ２４０では、ラインＬ毎に電圧信号が送信される。
【００４９】
図７は、光源制御部２１ａによる光源１１０の発光タイミングと、撮像情報取得部２１ｂによるＣＭＯＳイメージセンサ２４０のラインＬ０〜Ｌｎ毎の露光タイミングを示す図である。
【００５０】
垂直同期信号は、所定の撮像間隔ΔＦ１でＯＮ／ＯＦＦを繰り返し、ＣＭＯＳイメージセンサ２４０のラインＬ０の露光開始タイミングと同期している。発光タイミングは、光源１１０を発光させるタイミングと光源１１０を消灯させるタイミングを示している。発光期間ΔＬ１と消灯期間ΔＬ２は、撮像間隔ΔＦ１と同じ時間間隔に設定されている。露光タイミングは、所定の撮像タイミングに対応するＣＭＯＳイメージセンサ２４０のラインＬ０〜Ｌｎのフォトダイオード２４０ａを露光させるタイミングを示している。所定の撮像タイミングに対応するラインＬ０〜Ｌｎの露光タイミングは、同じハッチングで示されており、その次の撮像タイミングに対応するラインＬ０〜Ｌｎの露光タイミングは、異なるハッチングで示されている。
【００５１】
ＣＭＯＳイメージセンサ２４０は、垂直同期信号により、所定の撮像間隔ΔＦ１でラインＬ０の露光が開始される。これにより、ＣＭＯＳイメージセンサ２４０は、ラインＬ０に配された各フォトダイオード２４０ａに入射した光量に応じた電荷の蓄積を開始する。ＣＭＯＳイメージセンサ２４０は、所定の露光期間ΔＰ１の間、電荷の蓄積を継続する。ラインＬ０では、発光期間ΔＬ１の間、露光が継続される。
【００５２】
ＣＭＯＳイメージセンサ２４０では、ライン毎に露光制御が行われるため、ラインが進むごとに、露光開始タイミングが僅かに遅延する。たとえば、ラインＬ１は、ラインＬ０に比べて、１回目の露光開始タイミングが僅かに遅延している。これにより、ラインＬ１の１回目の露光終了タイミングは、発光終了タイミングよりも僅かに遅れている。すなわち、ラインＬ１の１回目の露光終了タイミング間際では、光源１１０の消灯期間ΔＬ２で露光されている。したがって、ラインＬ１の１回目の露光タイミングでは、ラインＬ０に比べて、フォトダイオード２４０ａに蓄積される電荷量が僅かに小さいものとなる。なお、ラインＬ１では、消灯期間ΔＬ２に重なる露光期間は、ごく僅かであるため、フォトダイオード２４０ａに受光される光量の減衰量もごく僅かである。
【００５３】
同様にして、ラインＬ２、Ｌ３とラインが進むごとに、露光終了タイミングが遅延していき、最後のラインＬｎでは、１回目の露光期間の大部分が消灯期間ΔＬ２に重なっている。したがって、最後のラインＬｎおよびラインＬｎに近いラインでは、略光源１１０の発光期間ΔＬ１中に露光することができず、適切に光源１１０の発光時の光量を得ることができない。
【００５４】
このように、１回目の撮像タイミングにおけるラインＬ０の露光開始タイミングから最後のラインＬｎの露光終了タイミングまでの間隔ΔＰｅ１は、撮像間隔ΔＦ１および発光期間ΔＬ１よりも大幅に長いものとなる。
【００５５】
最後のラインＬｎの１回目の撮像タイミングにおける露光が開始された後、２回目の撮像タイミングが到来すると、最後のラインＬｎの露光が継続中であっても、最初のラインＬ０の露光が開始される。
【００５６】
２回目の撮像タイミングでは、ラインＬ０では、適切に消灯期間ΔＬ２で露光することができるものの、最後のラインＬｎでは、大部分の露光期間が発光期間ΔＬ１に重なることとなる。したがって、最後のラインＬｎおよびラインＬｎに近いラインでは、略光源１１０の消灯期間ΔＬ２中に露光することができず、適切に光源１１０の消灯時の輝度値を得ることができない。
【００５７】
図８（ａ）は、発光画像の例を示す模式図である。図８（ｂ）は、消灯画像の例を示す模式図である。図８（ｃ）は、背景光除去画像の例を示す模式図である。図８（ｄ）は、ノイズ光が入射した発光画像の例を示す模式図である。なお、図８（ａ）〜（ｄ）では、輝度値が高いほど、明るいハッチングで示されており、輝度値が低いほど、暗いハッチングで示されている。図８（ａ）〜（ｄ）では、画像の最上部がＣＭＯＳイメージセンサ２４０の１番目のラインＬ０に相当し、画像の最下部がＣＭＯＳイメージセンサ２４０の最後のラインＬｎに相当する。
【００５８】
図８（ａ）に示すように、光源１１０の発光時に撮像した発光画像は、下部の領域Ｄ１が暗くなっている。これは、下部の領域Ｄ１に対応するＣＭＯＳイメージセンサ２４０のラインでは、露光開始タイミングが遅延し、光源１１０から出射された赤外光を十分に受光できないためである。
【００５９】
また、図８（ｂ）に示すように、光源１１０の消灯時に撮像した消灯画像は、下部の領域Ｄ２が明るくなっている。これは、下部の領域Ｄ２に対応するＣＭＯＳイメージセンサ２４０のラインでは、露光開始タイミングが遅延し、次の発光タイミングで光源１１０から出射された赤外光が受光されるためである。
【００６０】
たとえば、図８（ａ）に示す発光画像の輝度値から図８（ｂ）に示す消灯画像の輝度値が減算されると、図８（ｃ）に示すような背景光除去画像が取得される。図８（ｃ）に示す下部の領域Ｄ３では、低い輝度値が高い輝度値で減算されることにより、画素の輝度値が負の階調となっている。なお、輝度値が負の階調となる場合、輝度値が０の場合と同様に黒で示される。
【００６１】
このように、同一撮像画像中に発光期間ΔＬ１と消灯期間ΔＬ２で露光されるラインが混在すると、その部分については、適切に背景光を除去することができない。このような背景光が適切に除去できない領域を「露光遅延領域」と称する。露光遅延領域Ｄ３が検出対象物体に重なると、適正に物体検出ができない惧れがある。
【００６２】
同一撮像画像中に光源１１０の発光期間ΔＬ１と消灯期間ΔＬ２で露光されるラインが混在されることを防ぐために、たとえば、図９に示す比較例のように、撮像間隔ΔＦ２と発光期間ΔＬ３および消灯期間ΔＬ４を長くする方法が採られ得る。
【００６３】
図９は、比較例に係る光源制御部２１ａによる光源１１０の発光タイミングと、撮像情報取得部２１ｂによるＣＭＯＳイメージセンサ２４０のラインＬ０〜Ｌｎ毎の露光タイミングを示す図である。
【００６４】
図９に示すように、比較例に係る撮像間隔ΔＦ２は、図７に示す場合の撮像間隔ΔＦ１の２倍に設定されている。また、比較例に係る発光期間ΔＬ３、消灯期間ΔＬ４は、それぞれ、図７に示す場合の発光期間ΔＬ１、消灯期間ΔＬ２の２倍に設定されている。比較例に係る露光期間ΔＰ１は、図７に示す場合と同じ値に設定されている。
【００６５】
こうすると、１回目の撮像タイミングにおけるラインＬ０の露光開始タイミングから最後のラインＬｎの露光終了タイミングの間隔ΔＰｅ１は、撮像間隔ΔＦ２および発光期間ΔＬ３よりも小さくなる。したがって、比較例の場合、同一撮像画像中に、光源１１０の発光期間ΔＬ３と消灯期間ΔＬ４で露光されるラインが混在しないため、適切に背景光を除去することができる。
【００６６】
しかしながら、比較例の場合、図７の場合に比べ、時間単位に取得可能な撮像画像の数（フレームレート）が低下するとの問題が生じる。たとえば、図９に示す比較例の場合、光源１１０の発光時に必要な撮像間隔ΔＦ２は、図７の場合の撮像間隔ΔＦ１の２倍であり、比較例に係るフレームレートは、図７に示す場合のフレームレートの１／２倍となる。
【００６７】
ここで、物体検出の処理では、撮像画像から検出対象物体の基準点（マーカー）を設定し、マーカーの経時的な位置の変化を検出することにより、物体の動き（ジェスチャ）が検出される。マーカーは、たとえば、指の先端、指の重心位置等に設定される。物体検出の処理では、少なくとも、撮像画像中において、このようなマーカーが設定可能であれば、適正に物体の動きを検出することができる。すなわち、マーカーの設定に必要な領域以外の領域は、物体検出の処理においては、さほど重要ではない。
【００６８】
そこで、本実施の形態では、物体検出において着目する必要のない領域に、露光遅延領域Ｄ３が位置付けられるように、光源１１０が発光制御される。
【００６９】
たとえば、図８（ａ）〜（ｃ）に示すように、検出対象物体が手である場合、指の先端や指の付け根に露光遅延領域Ｄ３が重ならないようにすれば、適正に指の動きを検出することができる。図８（ａ）〜（ｃ）のように、物体検出の処理に重要な指の先端がＣＭＯＳイメージセンサ２４０の１番目のラインＬ０側に位置付けられるような場合、ＣＭＯＳイメージセンサ２４０の最後のラインＬｎ側に露光遅延領域Ｄ３が位置付けられるように、光源１１０の発光制御がなされれば良い。すなわち、図７に示すように光源１１０が発光制御されれば良い。
【００７０】
これにより、フレームレートの低下を抑えつつ、背景光の影響を除去することができ、適正に物体検出を行うことができる。
【００７１】
また、上記比較例の場合、図８（ｄ）に示すように、発光画像にのみ下部の領域にノイズ光が写り込み、消灯画像にはノイズ光が写り込んでいなかったような場合、ノイズ光の部分が検出対象物体であると誤認識される惧れがある。
【００７２】
本実施の形態では、物体検出において着目する必要のない下部の領域には、露光遅延領域Ｄ３が位置付けられているため、消灯画像の下部の明るい領域Ｄ２に含まれる画素の輝度値から発光画像の下部の暗い領域Ｄ１に含まれる画素の輝度値が減算される。したがって、図８（ｄ）に示すように、発光画像の下部の領域にノイズ光が写り込んだとしても、発光画像のノイズ光によって増幅された輝度値が、消灯画像の下部の明るい領域Ｄ２に含まれる画素の輝度値により減算される。これにより、ノイズ光の輝度値が大きく減じられ、ノイズ光が写り込んだ領域が、検出対象物体であると誤認識されることを防ぐことができる。
【００７３】
図１０（ａ）は、変更例に係る発光画像の例を示す模式図である。図１０（ｂ）は、変更例に係る消灯画像の例を示す模式図である。図１０（ｃ）は、変更例に係る背景光除去画像の例を示す模式図である。図１０（ａ）〜（ｃ）では、画像の最上部がＣＭＯＳイメージセンサ２４０の１番目のラインＬ０に相当し、画像の最下部がＣＭＯＳイメージセンサ２４０の最後のラインＬｎに相当する。
【００７４】
図８（ａ）〜（ｄ）に示す例では、物体検出の処理に重要な指の先端がＣＭＯＳイメージセンサ２４０の１番目のラインＬ０側に位置付けられたが、図１０（ａ）〜（ｃ）では、情報取得ユニット２の配置や向き等が変更されたことにより、物体検出の処理に重要な指の先端がＣＭＯＳイメージセンサ２４０の最後のラインＬｎ側に位置付けられている。この場合、ＣＭＯＳイメージセンサ２４０の一番上のラインＬ０側に露光遅延領域Ｄ３が位置付けられるよう、光源１１０が発光制御されれば良い。
【００７５】
図１１は、変更例に係る光源制御部２１ａによる光源１１０の発光タイミングと、撮像情報取得部２１ｂによるＣＭＯＳイメージセンサ２４０のラインＬ０〜Ｌｎ毎の露光タイミングを示す図である。
【００７６】
図１１に示すように、撮像間隔ΔＦ１、露光期間ΔＰ１は、図７の場合と同様に設定されている。本変更例では、発光期間ΔＬ１が、ＣＭＯＳイメージセンサ２４０の最後のラインＬｎの露光期間ΔＰ１の完了タイミングを含んでいる。また、本変更例では、消灯期間ΔＬ２が、ＣＭＯＳイメージセンサ２４０の最後のラインＬｎの露光期間ΔＰ１の完了タイミングを含んでいる。
【００７７】
このように、光源１１０が制御されることにより、図１０（ａ）に示すような発光画像と図１０（ｂ）に示すような消灯画像が取得される。そして、発光画像から消灯画像の輝度値が減算され、図１０（ｃ）に示すような背景光除去画像が取得される。
【００７８】
本変更例においても、物体検出の処理において着目する必要のない上部の領域には、露光遅延領域Ｄ３が位置付けられているため、フレームレートの低下を抑えつつ、背景光の影響を除去することができ、適正に物体検出を行うことができる。また、上記同様、このような物体検出の処理において着目する必要のない上部の領域に写り込むノイズ光の影響を抑えることができる。
【００７９】
図１２（ａ）は、ＣＭＯＳイメージセンサ２４０の露光制御の処理を示すフローチャートである。図１２（ｂ）は、光源１１０の発光制御の処理を示すフローチャートである。図１２（ｃ）は、撮像制御の処理を示すフローチャートである。図１２（ａ）、（ｃ）の処理は、図２に示すＣＰＵ２１の機能のうち、撮像情報取得部２１ｂの機能によって実行される。図１２（ｂ）の処理は、図２に示すＣＰＵ２１の機能のうち、光源制御部２１ａの機能によって実行される。
【００８０】
図１２（ａ）を参照して、ＣＰＵ２１は、目標領域を撮像するために、撮像間隔ΔＦ１で露光期間ΔＰ１の間、各ラインに順次、露光が継続されるように、ＣＭＯＳイメージセンサ２４０の露光動作を開始させる（Ｓ１０１）。そして、ＣＰＵ２１は、ＣＭＯＳイメージセンサ２４０の露光動作が停止されるか否かを判定する（Ｓ１０２）。露光動作が停止されない場合（Ｓ１０２：ＮＯ）、ＣＰＵ２１は、ＣＭＯＳイメージセンサ２４０の各ラインに対する露光動作を継続させる。露光動作が停止される場合（Ｓ１０２：ＹＥＳ）、ＣＰＵ２１は、ＣＭＯＳイメージセンサ２４０の露光動作を停止させる（Ｓ１０３）。
【００８１】
図１２（ｂ）を参照して、ＣＰＵ２１は、ＣＭＯＳイメージセンサ２４０のラインＬ０〜Ｌｎの露光期間ΔＰ１のうち、物体検出の処理において重要な領域が適正な発光／消灯タイミングに位置付けられるよう光源１１０の発光／消灯動作を開始させる（Ｓ２０１）。ＣＰＵ２１は、光源１１０の発光／消灯動作が停止されるか否かを判定する（Ｓ２０２）。発光／消灯動作が停止されない場合（Ｓ２０２：ＮＯ）、ＣＰＵ２１は、光源１１０の発光／消灯動作を継続させる。発光／消灯動作が停止される場合（Ｓ２０２：ＹＥＳ）、ＣＰＵ２１は、光源１１０の発光／消灯動作を停止させる（Ｓ２０３）。
【００８２】
これにより、図７または図１１に示すように、ＣＭＯＳイメージセンサ２４０が露光制御され、且つ、光源１１０が発光制御される。
【００８３】
図１２（ｃ）を参照して、ＣＰＵ２１は、所定の発光タイミングに対応する露光制御によりライン毎に取得された各画素の輝度信号に基づき、発光画像を取得する（Ｓ３０１）。図１２（ａ）に示すようにして、ＣＭＯＳイメージセンサ２４０が露光制御されているため、たとえば、図８（ａ）に示すように、物体検出において着目する必要のない下部の領域Ｄ１が暗くなった発光画像が取得される。
【００８４】
ＣＰＵ２１は、所定の消灯タイミングに対応する露光制御によりライン毎に取得された各画素の輝度信号に基づき、消灯画像を取得する（Ｓ３０２）。これにより、たとえば、図８（ｂ）に示すように、物体検出において着目する必要のない下部の領域Ｄ２が明るくなった消灯画像が取得される。
【００８５】
ＣＰＵ２１は、発光画像の輝度値から消灯画像の輝度値を画素ごとに減算する（Ｓ３０３）。ＣＰＵ２１は、減算結果に基づいて、背景光除去画像を取得する（Ｓ３０４）。これにより、たとえば、図８（ｃ）に示すように、物体検出において着目する必要のない下部の領域に露光遅延領域Ｄ３が位置付けられた背景光除去画像が取得される。
【００８６】
そして、ＣＰＵ２１は、撮像処理を終了するか否かを判定する（Ｓ３０５）。撮像処理が終了でない場合（Ｓ３０５：ＮＯ）、ＣＰＵ２１は、処理をＳ３０１に戻し、撮像処理を繰り返す（Ｓ３０１〜Ｓ３０４）。撮像処理が終了すると（Ｓ３０５：ＹＥＳ）、ＣＰＵ２１は、処理を完了させる。
【００８７】
このように制御されることにより、図８（ａ）〜（ｃ）、または、図１０（ａ）〜（ｃ）に示すように、物体検出の処理において着目する必要のない領域に、露光遅延領域Ｄ３を位置付けることができる。
【００８８】
＜実施形態の効果＞
以上、本実施の形態によれば、物体検出の処理において着目する必要のない領域に、露光遅延領域Ｄ３を位置付けることができる。したがって、フレームレートの低下を抑えつつ、背景光の影響を除去することができる。よって、適正に物体検出を行うことができる。
【００８９】
また、本実施の形態によれば、物体検出の処理において着目する必要のない領域に写り込むノイズの影響を抑えることができる。
【００９０】
また、本実施の形態によれば、図９に示す比較例のように撮像間隔が引き伸ばされないため、撮像画像のフレームレートの低下を抑制することができる。
【００９１】
＜変更例＞
以上、本発明の実施の形態について説明したが、本発明は、上記実施の形態に何ら制限されるものではなく、本発明の構成例も他に種々の変更が可能である。
【００９２】
たとえば、上記実施の形態では、ＣＭＯＳイメージセンサ２４０の露光期間ΔＰ１は、図７に示すように撮像間隔ΔＦ１と略同じ時間に設定されたが、ＣＭＯＳイメージセンサ２４０の露光期間ΔＰ１は、図１３に示すように、撮像間隔ΔＦ１よりも短く設定されても良い。
【００９３】
図１３は、変更例に係る光源制御部２１ａによる光源１１０の発光タイミングと、撮像情報取得部２１ｂによるＣＭＯＳイメージセンサ２４０のラインＬ０〜Ｌｎ毎の露光タイミングを示す図である。
【００９４】
図１３に示すように、撮像間隔ΔＦ１、発光期間ΔＬ１、および消灯期間ΔＬ２は、図７に示す場合と同様に設定されている。本変更例では、露光期間ΔＰ２は、図７に示す場合の露光期間ΔＰ１よりも短く設定されている。露光期間ΔＰ２は、撮像間隔ΔＦ１よりも短い。
【００９５】
このように、露光期間ΔＰ２を短く設定することにより、１回目の撮像タイミングにおけるラインＬ０の露光開始タイミングから最後のラインＬｎの露光終了タイミングの間隔ΔＰｅ２は、図７に示す間隔ΔＰｅ１よりも短くなる。
【００９６】
図１４（ａ）は、変更例に係る発光画像の例を示す模式図である。図１４（ｂ）は、変更例に係る消灯画像の例を示す模式図である。図１４（ｃ）は、変更例に係る背景光除去画像の例を示す模式図である。図１４（ａ）〜（ｃ）では、画像の最上部がＣＭＯＳイメージセンサ２４０の１番目のラインＬ０に相当し、画像の最下部がＣＭＯＳイメージセンサ２４０の最後のラインＬｎに相当する。
【００９７】
図１４（ａ）〜（ｃ）に示すように、露光期間ΔＰ２を撮像間隔ΔＦ１よりも短く設定することにより、露光遅延領域Ｄ３の幅を小さく抑えることができる。これにより、ＣＭＯＳイメージセンサ２４０の露光開始タイミングの遅延の影響を抑えることができる。また、このように露光遅延領域Ｄ３の幅を小さくすることができるため、より適正に物体検出を行うことができる。
【００９８】
なお、露光期間ΔＰ２を短くした場合、ＣＭＯＳイメージセンサ２４０のフォトダイオード２４０ａで電荷を蓄積する時間が短くなるため、出力される撮像画像の輝度値も小さいものとなり易い。したがって、露光期間ΔＰ２を短くする場合は、輝度値の増幅率（ゲイン）が、上記実施の形態よりも大きく設定されることが望ましい。
【００９９】
こうすると、撮像画像の輝度値を低下させることなく、露光遅延領域Ｄ３の幅を小さく抑えることができる。
【０１００】
なお、本変更例のように、ＣＭＯＳイメージセンサ２４０の露光期間ΔＰ２を撮像間隔ΔＦ１よりも短く設定し、且つ、輝度値のゲインが大きくなるように設定する構成では、露光遅延領域Ｄ３の幅が小さいため、物体検出の処理に重要な領域（指の先端等）に露光遅延領域Ｄ３が重なりにくくなる。このため、露光遅延領域Ｄ３は、必ずしも、物体検出の処理に重要な領域（指の先端等）から大きく離れた端縁の位置に位置付けられていなくても良く、この端縁からやや物体検出の処理に重要な領域に近づいていても良い。
【０１０１】
なお、本変更例においても、上記実施の形態と同じく、物体検出の処理において着目する必要のない端縁領域に露光遅延領域Ｄ３が位置付けられるように光源１１０が発光制御された方が望ましい。これにより、物体検出の処理に重要な領域（指の先端等）に露光遅延領域Ｄ３が重なりにくくなり、物体の検出精度を高めることができる。
【０１０２】
また、上記実施の形態では、情報取得ユニット２により撮像情報が取得されて、情報処理部３により検出対象物体の形状、動きが検出されたが、情報取得ユニット２によりさらに検出対象物体までの距離情報が取得されても良い。
【０１０３】
図１５は、変更例に係る情報取得ユニット２と情報処理部３の構成を示す図である。
【０１０４】
本変更例では、ＣＰＵ２１に撮像情報取得部２１ｂの機能とともに、距離取得部２１ｃの機能が付与される。
【０１０５】
距離取得部２１ｃは、ＣＭＯＳイメージセンサ２４０から出力される信号に基づいて、距離情報を取得する。また、メモリ２５は、距離情報の取得に用いられる距離変換関数を保持している。
【０１０６】
図１５（ａ）は、ＣＭＯＳイメージセンサ２４０上の各画素の感度を模式的に示す図である。
【０１０７】
本実施の形態では、ＣＭＯＳイメージセンサ２４０として、カラーセンサが用いられる。したがって、ＣＭＯＳイメージセンサ２４０には、赤、緑、青をそれぞれ検知する３種の画素が含まれる。
【０１０８】
図１５（ａ）において、Ｒ、Ｇ、Ｂは、それぞれ、ＣＭＯＳイメージセンサ２４０に含まれる赤、緑、青の画素の感度を示している。図１５（ａ）に示すとおり、赤、緑、青の画素の感度は、赤外の波長帯域である８００ｎｍ以上の帯域において、略同じ感度となっている（図１５（ａ）の斜線部分を参照）。したがって、図１５（ｂ）に示すフィルタ２３０によって、可視光の波長帯域が除去されると、ＣＭＯＳイメージセンサ２４０の赤、緑、青の画素の感度は、互いに略等しくなる。このため、赤、緑、青の画素に、それぞれ、同じ光量の赤外光が入射すると、各色の画素から出力される信号の値は略等しくなる。よって、各画素からの信号を画素間で調整する必要はなく、各画素からの信号をそのまま距離情報の取得に用いることができる。
【０１０９】
図１５（ｂ）は、メモリ２５に保持された距離変換関数の波形を模式的に示す図である。
【０１１０】
図１５（ｂ）に示すように、距離変換関数は、ＣＭＯＳイメージセンサ２４０を介して取得される輝度値と、当該輝度値に対応する距離の関係を規定する。一般に、直進する光の光量は、距離の２乗に反比例して減衰する。したがって、投射部１００から出射された赤外光は、投射部１００から目標領域までの距離と目標領域から撮像部２００までの距離を加算した距離の２乗分の１に光量が減衰した状態で、撮像部２００によって受光される。このため、図１５（ｂ）に示すように、ＣＭＯＳイメージセンサ２４０を介して取得される輝度値は、物体までの距離が長いほど小さくなり、物体までの距離が短いほど大きくなる。したがって、距離と輝度との関係を規定する距離変換関数は、図１５（ｂ）に示すような曲線波形になる。
【０１１１】
距離取得部２１ｃは、距離変換関数を用いて、ＣＭＯＳイメージセンサ２４０を介して画素毎に取得される輝度値を距離情報に変換する。このようにして、情報取得ユニット２から検出対象物体の各部までの距離情報が取得される。
【０１１２】
本変更例の場合、さらに、輝度値に応じて距離情報が取得されるため、物体の上下左右方向の動きとともに、奥行き方向の動きをも精度良く検出することができる。このように、本変更例では、３次元方向の物体の動きを検出できるため、多種多様なジェスチャに応じて、パーソナルコンピュータ１の機能を制御することができる。
【０１１３】
また、上記実施の形態では、ＣＰＵ２１が撮像情報を取得する機能を有したが、撮像情報の取得が回路によるハードウエア処理により実現されても良い。
【０１１４】
さらに、上記実施の形態では、赤外光の波長帯域の光が用いられたが、赤外以外の波長帯域の光を距離取得に用いることもできる。
【０１１５】
また、上記実施の形態および変更例では、パーソナルコンピュータ１の本体部１１に情報取得ユニット２が組み付けられて情報処理装置が構成されたが、情報処理装置が単体として構成されても良い。この場合、情報取得ユニット２は情報処理装置の筐体に収容され、この筐体に赤外光の透光部（開口１１ａ、窓部１１ｂ）が設けられる。
【０１１６】
この他、本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
【符号の説明】
【０１１７】
１  …  パーソナルコンピュータ（物体検出装置）
２  …  情報取得ユニット（情報取得装置）
２１ａ  …  光源制御部
２１ｂ  …  撮像情報取得部（撮像制御部、情報取得部）
２２  …  赤外光源駆動回路（光源制御部）
２３  …  撮像信号処理回路（撮像制御部）
１００  …  投射部
１１０  …  光源
２００  …  撮像部
２４０  …  ＣＭＯＳイメージセンサ（イメージセンサ）
Ｌ  …  ライン
Ｌ０〜Ｌｎ  …  ライン
【図１】
2015148565.tif 000003
【図２】
2015148565.tif 000004
【図３】
2015148565.tif 000005
【図４】
2015148565.tif 000006
【図５】
2015148565.tif 000007
【図６】
2015148565.tif 000008
【図７】
2015148565.tif 000009
【図８】
2015148565.tif 000010
【図９】
2015148565.tif 000011
【図１０】
2015148565.tif 000012
【図１１】
2015148565.tif 000013
【図１２】
2015148565.tif 000014
【図１３】
2015148565.tif 000015
【図１４】
2015148565.tif 000016
【図１５】
2015148565.tif 000017
【図１６】
2015148565.tif 000018