(57)【特許請求の範囲】
【請求項１】
対象物体に照明光を照射する発光手段と、前記対象物体の画像を得るための受光手段とを有し、前記発光手段と受光手段が同期的に動作することにより、照明光の対象物体による反射光のみを画像として取得する画像入力装置において、
前記発光手段の照射を抑止すると共に、予め備えた発光手段と受光手段との複数の動作パターンに応じて反射光画像を取得する反射光画像取得手段と、
前記複数の動作パターンのうち、１動作パターン当たりの反射光画像の輝度値が最も小さい動作パターンを最適な動作パターンとして選択する選択・決定手段と、
を具備することを特徴とする画像入力装置。
【請求項２】
対象物体に照明光を照射する発光手段と、前記対象物体の画像を得るための受光手段とを有し、前記発光手段と受光手段が同期的に動作することにより、照明光の対象物体による反射光のみを画像として取得する画像入力装置において、
前記発光手段の照射を抑止すると共に、予め備えた発光手段と受光手段との複数の動作パターンに応じて反射光画像を取得する反射光画像取得手段と、
前記複数の動作パターンのうち、１動作パターン当たりの反射光画像の輝度値が最も小さい動作パターンを最適な動作パターンとして選択する選択・決定手段と、
前記選択された最適な動作パターンに従い、前記発光手段と前記受光手段の動作を制御する受発光制御手段と、
を具備することを特徴とする画像入力装置。
【請求項３】
前記選択・決定手段は、１動作パターン当たりの反射光画像を得る動作を複数回繰り返した平均値を用いて最適な動作パターンを選択することを特徴とする請求項１または請求項２記載の画像入力装置。
【請求項４】
前記複数の動作パターンは、反射光画像を取得する期間をそれぞれ異ならせた動作パターンであることを特徴とする請求項１または請求項２記載の画像入力装置。
【請求項５】
対象物体に照明光を照射し、前記対象物体の画像を得るために受光し、前記照射と受光が同期的に動作することにより、照明光の対象物体による反射光のみを画像として取得する画像入力方法において、
前記照射を抑止すると共に、予め備えた照射と受光との複数の動作パターンに応じて反射光画像を取得し、
前記複数の動作パターンのうち、１動作パターン当たりの反射光画像の輝度値が最も小さい動作パターンを最適な動作パターンとして選択することを特徴とする画像入力方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は注目すべき対象物体を発光手段により照明して得た像と、照明しない像とを撮影し、両画像の差の画像を求めてこれより当該対象物体を抽出する画像入力装置および画像入力方法に関するものである。
【０００２】
【従来の技術】
コンピュータへの入力デバイスとしては種々のものがあるが、その中でもマウスはキーボードと並んで最もポピュラーな入力デバイスの一つとして広く使用されている。しかしながら、マウスで操作できることは、カーソルの移動と、メニューの選択などであり、あくまでも２次元のポインティングデバイスとしての役目を担うに過ぎない。つまり、マウスで扱えるのは、せいぜい２次元の情報であり、３次元空間のなかの物体など奥行きがあるものを選択することは難しい。そして、例えば、コンピュータでアニメーションを作成する場合を考えてみると、キャラクタの動きをつけるのに、マウスのような入力デバイスによる操作情報の入力操作では、自然な動きをつけることが難しい。
【０００３】
また、マルチモーダルの分野で、ゼスチャー、すなわち、手の仕草や体の動き、そして、姿勢などを操作情報として入力することで、音声やキーボード、そして、マウスやトラックボールなどの入力情報と相補い合って人間の自然なコミュニケーションに近い形で装置を扱えるようにしたいという要望もある。
【０００４】
そこで、近年、３次元空間でのポインティングの難点を補い、また、マルチモーダル分野などにおいて多様な入力操作を可能にする技術の一つとして、人間の自然なゼスチャーを認識できるようにする３次元ポインティングデバイスが開発されている。
【０００５】
例えば、図１１のような提案である。このデバイスは、本体中央にボール状操作部があり、また、周辺部にテンキーを備えて構成したものであって、ボール状操作部部分の“前方を押す”、“中央を押す”、“後方を押す”、ボール状操作部部分の“全体を持ち上げる”、“全体を右に回す”、“左に回す”というように、６通りの操作が可能であり、６自由度ある。
【０００６】
そして、この６自由度を割り振ることで、３次元空間内のカーソルの位置（ｘ．ｙ，ｚ）と向き（ｘ軸，ｙ軸，ｚ軸）制御したり、あるいは、３次元空間に対する視点位置（ｘ，ｙ，ｚ）と向き（ｘ軸，ｙ軸，ｚ軸）を制御できる。
【０００７】
しかし、この３次元ポイティングデバイスはかなりの熟練が必要であって、実際に操作してみると、カーソルや視点の制御が思うようにはできないという問題がある。例えば、左右に回そうとすると、前方あるいは後方を押してしまい、思わぬ方向にカーソルが動いたり、視点が動いたりしてしまうといった具合である。
【０００８】
このような３次元ポインティングデバイスに対して、手振りや身ぶりを使って入力するデバイスも開発されている。データグローブやデータスーツ、サイバーグローブと呼ばれるものである。これらのうち、例えば、データグローブは手袋状のデバイスであって、表面に光ファイバが走つている。この光ファイバは、指の関節まで通っており、指を曲げることにより、光の導通が変わることを利用している。そして、この光の導通量を計測することで、各指の関節がどの程度曲がっているかを知るようにするものである。
【０００９】
手自体の３次元空間内の位置は、手の甲に設けた磁気センサによつて計測するようになっている。
そのため、人差し指をたてれば、「前進する」といった具合に、身ぶりとそれに対応する指示を決めておけば、データグローブを使って、３次元空間内を種々に視点を変えて、ちょうど、歩き回るかのように（ウオークスルーという）操作することができる。
【００１０】
しかし、このような３次元ポインティングデバイスにも問題点がいくつかある。第１には、価格が高価であり、家庭用などに使用することは難しいという点である。
【００１１】
また、第２には、指の関節の角度を計測しているので、誤認識が避けられないという点である。例えば、人差し指だけ伸ばし、他の指は曲げた状態を前進指示と定義したとする。実際に指を伸ばすといっても、人差し指の第２関節の角度が１８０度に完全になっていることは少ないので、遊び分を設定しておかないと、指を伸ばしきったとき以外は、「伸ばしている」と認識することができない。
【００１２】
また、操作者にはデータグローブを装着することになるので、自然な操作が阻害され、装着するたびに、手の開いた状態と閉じた状態において、光の導通状態を校正せねばならないので、手軽に使用することができない。また、光ファイバを使っているため、継続的に使用していると、ファイバが断絶するなど消耗品に近いという問題がある。
【００１３】
また、このように、高価で、手間がかかるデバイスである割には、手袋の大きさが、ぴったり合っていないと、使っているうちにずれたりして校正した値からずれるために、細かな手振りを認識することは難しいという問題もある。
【００１４】
このように、種々の問題を抱えているために、データグローブは、ＶＲ（バーチャルリアリティ）技術のトリガーとなったデバイスであったにもかかわらず、当初の期待ほど、普及しておらず、また、低価格化もなされておらず、使い勝手の点で問題が多い。
【００１５】
そこで、このデータグローブのような特殊な装置を装着することなく、手振りや身ぶりを入力しようとする試みが、いくつかなされている。例えば、ビデオ映像などの動画像を解析して、手の形を認識するといった技術である。しかし、これは背景画像から目的とする画像を切り出す技術が必要であり、従って、手振りの認識の場合には、手のみを切り出すことが必要であって、これが技術的にかなり難しいという問題がある。
【００１６】
例えば、画像中の手の部分を、色情報を条件に切り出す場合を考えてみる。手の色は肌色であるので、肌色の画像情報を持つ画素部分のみを切り出すような方式が考えられるが、背景にベージュ色の洋服や、壁があったりすると、手の部分に相当する肌色の画素のみを識別することはできない。また、調整を行って、ベージュと肌色を区別できるようにしても、照明が変われば、色調が変化してしまうために、定常的に切り出すことは困難である。
【００１７】
このような問題を回避するために、背景にブルーマットをおくというように、背景画像に制限を置き、切り出しを容易にする方策も採られている。あるいは、指先に背景からの切り出しが容易になるような色をつける、あるいは色のついた指輪をはめるというような方策も採られている。しかし、このような制限は現実的でなく、実験的には利用されているものの、実用化には至っていない。
【００１８】
ところで、手の仕草を認識するに利用可能な別の技術として、レンジファインダと呼ばれる、距離画像を入力する装置の応用が考えられる。このレジンジファインダの代表的な原理は、スポット光あるいはスリット光を対象物体に照射し、その反射光の受光位置から三角測量の原理で求めるといったものである。
【００１９】
そして、２次元的な距離情報を求めるために、スポット光あるいはスリット光を機械的に走査している。この装置は非常に高精度な距離画像を生成することができるが、その反面、装置の構成が大掛かりになり、高コストになる。また入力に時間がかかり、実時間で処埋を行わせるのは困難である。また、手や身体の一部に色マーカーや発光部を取り付け、画像によりそれらを検出し、手・身体の形、動きなどを捉える装置もあり、一部実用化されている。しかし使用者の利便性を考えると、操作の度に装置を装着しなくてはならないというのは大きなデメリットであり、応用範囲を非常に制約する。また、データグローブの例に見られるように、装置を手などの可動部に装着して使用する装置は耐久性が問題になりやすい。
【００２０】
次に、以上のような入力デバイスとは別に、カメラ技術の従来技術についての問題点を述べる。従来のカメラ技術では、背景に対して、キャラクタの合成（クロマキー）を行うには、予め、ブルーバックでキャラクタを撮影して、キャラクタの切り出しを容易にする必要があった。
【００２１】
このため、ブルーバックで撮影ができるスタジオなど、撮影場所に制限があった。または、ブルーバックでない状態で撮影した映像から、キャラクタを切り出すには、コマ毎にキャラクタの切り出し範囲を人手で編集せねばならないので、非常な手間がかかっていた。同様に、キャラクタを３次元空間の中に生成するには、予め３次元のモデルをつくっておき、そこにキャラクタの写真を貼り付ける（テクスチャマッピング）を行うような方式をとっている。しかし、３次元モデルの生成、および、テクスチャマッピングには手間がかかり、映画制作など経費がかかってもよい用途以外では、事実上ほとんど使えなかった。
【００２２】
【発明が解決しようとする課題】
このように従来では、特殊な装置を装着することなく、簡易にジェスチャや動きを入力できる直接指示型の入カデバイスが存在しなかった。特に、３次元空間でのポインティングや視点の変更を容易に行える簡易なデバイスは存在しなかった。また、ユーザのジェスチャや動きをそのまま使って、アニメーションのキャラクタなどに自然な動きをつけたりすることができなかった。さらに、従来のカメラでは、特定のキャラクタだけを切り出したり、キャラクタの奥行き情報を容易に入力できなかった。
【００２３】
このような背景から、本発明者等は所定時間だけ照明光を対象物体に照射して得た画像と、外光のみの光があたる環境下で得た対象物体の画像との差の成分の画像を得、この差の成分の画像から対象物体のみの画像を抽出する技術を開発し、更に、この抽出した対象物体のみの画像を元に、その形状、動き、距離情報などを算出し、これらを情報として利用することで仕草や、３次元操作情報などを簡易に与えることができるようにした技術を開発し、特許出願した（特願平８−２７５９４９号参照）。
【００２４】
この技術の考え方は、照明光を対象物体に照射して得た画像と、外光のみの光があたる環境下で得た対象物体の画像との差の成分の画像を得ると、背景などが遠い場合、それは対象物体のみの画像成分となることに着目して、対象物体部分の画像切り出しを簡易に行えるようにしたこと、つまり、物体が存在している場所からの反射光はある程度の値を持ち、遠い背景からの反射光はほとんど無いため、反射光の画像をしきい値で分けることにより、物体の形状を抽出することが出来ること、また、その形状から様々な特徴量を抽出することが出来ること、そして、このような形状の時間的連なりを解析することで、物体の動きや変形などを捉えることが出来ること、さらには物体の凹凸を反射光量の違いとして捉えられるため、対象物体の立体構造を得ることも出来るなどのことから、対象物体の切り出しが容易にできれば、その対象物体の様々な情報を演算で求めることができる。
【００２５】
そのため、仕草を操作指令情報として与えたり、３次元操作情報を身振り手振りで入力するなどのことが容易に実現できるようになる。
しかしながら、ここで解決しておかなければならない問題が一つある。それは、外光の変動による対象物体の切り出し精度への影響である。外光は自然光であったり、室内照明光であったり、環境により様々である。しかも、これらは、安定したものであれば問題がないが、緩やかな変化を伴う場合、あるいは細かく短い周期で変化する場合などが普通であり、このような変化を伴う外光を利用しなければならない場合に、外光による画像と、照明光照射をした画像とを、漠然と一定の時間ずつ撮像するのでは、抽出された画像は誤差の多い画像となってしまう。
【００２６】
従って、外光の変動があっても、抽出対象（切り出し対象）の物体の画像を容易に高精度で抽出可能な技術の確立が強く嘱望される。
そこで、この発明の目的とするところは、外光の変動のある環境において、特定の対象物体を容易に高精度に抽出することができるようにした画像入力装置および画像入力方法を提供することにある。
【００２７】
【課題を解決するための手段】
上記目的を達成するため、本発明は次のようにする。すなわち、対象物体に照明光を照射する発光手段と、前記対象物体の画像を得るための受光手段とを有し、前記発光手段と受光手段が同期的に動作することにより、照明光の対象物体による反射光のみを画像として取得する画像入力装置において、前記発光手段の照射を抑止すると共に、予め備えた発光手段と受光手段との複数の動作パターンに応じて反射光画像を取得する反射光画像取得手段と、前記複数の動作パターンのうち、１動作パターン当たりの反射光画像の輝度値が最も小さい動作パターンを最適な動作パターンとして選択する選択・決定手段と、を具備することを特徴とする。
【００２８】
また、対象物体に照明光を照射する発光手段と、前記対象物体の画像を得るための受光手段とを有し、前記発光手段と受光手段が同期的に動作することにより、照明光の対象物体による反射光のみを画像として取得する画像入力装置において、前記発光手段の照射を抑止すると共に、予め備えた発光手段と受光手段との複数の動作パターンに応じて反射光画像を取得する反射光画像取得手段と、前記複数の動作パターンのうち、１動作パターン当たりの反射光画像の輝度値が最も小さい動作パターンを最適な動作パターンとして選択する選択・決定手段と、前記選択された最適な動作パターンに従い、前記発光手段と前記受光手段の動作を制御する受発光制御手段と、を具備することを特徴とする。
【００２９】
さらに、本発明の画像入力方法は、対象物体に照明光を照射し、前記対象物体の画像を得るために受光し、前記照射と受光が同期的に動作することにより、照明光の対象物体による反射光のみを画像として取得する画像入力方法において、前記照射を抑止すると共に、予め備えた照射と受光との複数の動作パターンに応じて反射光画像を取得し、前記複数の動作パターンのうち、１動作パターン当たりの反射光画像の輝度値が最も小さい動作パターンを最適な動作パターンとして選択することを特徴とする。
【００３０】
より具体的には、対象物体に照明光を照射する発光手段と、前記対象物体の画像を得る受光手段とを有し、発光手段による照明光の非照射時での前記対象物体の画像と、発光手段による照明光の照射時での前記対象物体の画像を前記受光手段によりそれぞれ所定の同一検出時間を以て得ると共に、得られた両画像の差成分を求めることにより、前記対象物体の画像を抽出する装置において、
前記受光手段による前記両画像の検出期間を種々変えた複数種の動作パターンを備え、最適動作パターン選択モード時には上記発光手段の発光を抑止すると共に、前記受光手段による前記両画像の検出動作を前記動作パターンそれぞれで順次、実施すべく制御し、与えられる評価情報から前記複数種の動作パターンのうち、最適な動作パターンを選択する選択・決定手段と、最適動作パターン選択モード時には、前記選択・決定手段により順次与えられる動作パターンで前記受光手段による前記両画像の検出動作を実施すべく前記受光手段を制御すると共に、最適動作パターン選択モード終了後は選択された前記最適な動作パターンで動作すべく、前記受光手段による前記両画像の検出動作と前記発光手段の発光動作を制御する手段と、最適動作パターン選択モード時に、前記受光手段より得られる前記各動作パターンそれぞれでの前記両画像の差成分よりそれぞれの評価値を得、前記選択・決定手段に与える評価手段とを具備する。
【００３１】
本発明は、対象物体に照明光を照射する発光手段と、前記対象物体の画像を得る受光手段とを有し、発光手段による照明光の非照射時での前記対象物体の画像と、発光手段による照明光の照射時での前記対象物体の画像を前記受光手段によりそれぞれ所定の同一検出時間を以て得ると共に、得られた両画像の差成分を求めることにより、前記対象物体の画像を抽出する場合に、
前記受光手段による前記両画像の検出期間を種々変えた複数種の動作パターンを用意し、最適動作パターン選択モード時には上記発光手段の発光を抑止すると共に、前記受光手段による前記両画像の検出動作を前記動作パターンそれぞれで順次、実施し、前記受光手段より得られる前記各動作パターンそれぞれでの前記両画像の差成分よりそれぞれの評価値を得、これら評価値の情報から前記複数種の動作パターンのうち、最適な動作パターンを選択し、
最適動作パターン選択モード終了後は選択された前記最適な動作パターンで前記受光手段による前記両画像の検出動作と前記発光手段の発光動作を実施させるようにする。
【００３２】
差成分（差分画像）を取得するにあたり、外光のみの環境下での対象物体の画像と、照明光を照射させて得た対象物体の画像とを得るが、これらの画像はそれぞれ同じ所定の期間、撮像装置である受光手段の検出出力（画像信号を電荷として蓄積したもの）を得るが、外光の状況に変動があると外光のみの環境下での取得画像と、照明光を当てて得た段階での取得画像中それぞれでの外光成分が異なったものとなってしまう。これは雑音成分となり、対象物体のみの画像の抽出精度に影響を与える。
【００３３】
そこで、本発明は発光手段と受光手段の動作パターンを、外光の状態に応じて、適応的に変化させるようにしたものであって、電荷蓄積期間をそれぞれ異ならせた複数種の動作パターンを用意し、また、最適動作パターン選択モードを設けて発光手段による照明のない状態で、受光手段による第１回目と第２回目の受光を行い、両受光出力（両画像出力）の差出力を得るという動作を、各動作パターンそれぞれで行って、差分画像（反射光画像）が最も暗い画像となっている動作パターンを外光の影響のない最適な動作パターンとして選択し、そのパターンで通常動作モードを実施させるようにした。
そのため、外光に変化のある環境下においても、その変化に影響を受けることなく、高精度に対象物体の画像のみを抽出できるようになる。
【００３４】
【発明の実施の形態】
本発明は、光源より発光して対象物体に光をあて、この対象物体による反射光を画像として捉えることにより、その形状、動き、距離などの情報を得ることができるようにした装置において、この発明では発光と電荷蓄積の動作パターンを複数種、用意しておき、外光の状況に応じて使い分けることにより、どのような外光状態にあっても精度良く反射光画像が得られるようにしたもので、以下、詳細を説明する。
【００３５】
はじめに本発明を適用する装置の基本構成を説明する。
＜情報入力生成装置の構成例＞
図１は、本発明を適用する対象の一つとしての情報入力生成装置の構成例である。図１に示すように本装置は、発光手段１０１、反射光抽出手段１０２、特徴情報生成手段１０３、タイミング信号生成手段１０４、とからなる。
【００３６】
これらのうち、発光手段１０１はタイミング信号生成手段１０４によって生成されるタイミング信号に従って時間的に強度変動する光を発光する。この光は発光手段１０１の前方にある対象物体に照射される。また、反射光抽出手段１０２は、この発光手段１０１が発した光の対象物体による反射光を抽出する。これはさらに好適には、反射光の空間的な強度分布を抽出する。この反射光の空間的な強度分布は画像として捉えることが出来るので、以下では反射光画像と呼ぶ。
【００３７】
反射光抽出手段１０２は、対象物体からの反射光を抽出するものであり、光の量を検出する受光部を持つが、当該受光部は一般的に、発光手段１０１の光の前記対象物体による反射光だけでなく、照明光や太陽光などの外光も同時に受光する。そこで反射光抽出手段１０２は、発光手段１０１が発光しているときに受光した光の量と、発光手段１０１が発光していないときに受光した光の量の差をとることによって、発光手段１０１からの光の前記対象物体による反射光の成分だけを取り出す。このことは言い換えれば、発光手段１０１を制御する信号を生成するタイミング信号生成手段１０４によって、反射光抽出手段１０２もまた制御されることを示す。
【００３８】
特徴情報生成手段１０３は、反射光画像より様々な特徴情報を抽出するものである。この特徴情報あるいは特徴情報の抽出方法は様々考えられる。これにより例えば、対象物体が手であったとして、当該手の反射光画像の特徴情報から、ジェスチャーやポインティングなどの情報を得ることができることになって、この得られた情報によりコンピュータなどの操作を行うことができる。また対象物体の立体情報を抽出し、利用することもできる。なお、当該特徴情報生成手段１０３は、必ずしも必要ではなく、例えば反射光抽出手段１０２で得られた反射光画像そのものを入力したり利用したりすることもできる。
【００３９】
本発明の目的を明確にするために、本発明が改善しようとした技術対象としての情報入力生成装置について詳しく述べる。図２は、情報入力生成装置のより具体的な構成例である。
【００４０】
図２を参照して説明すると、発光手段１０１より発光された光は、対象物体１０６に反射して、受光光学系１０７により、反射光抽出手段１０２の受光面上に結像する。反射光抽出手段１０２は、この反射光の強度分布、すなわち反射光画像を検出する。反射光抽出手段１０２は、第１の受光手段１０９、第２の受光手段１１０および差分演算部１１１からなる。第１の受光手段１０９と第２の受光手段１１０は、それぞれ上記受光面に結像された光学像を検出して受光量対応の画像信号に変換するものであり、それぞれ異なるタイミングで受光動作を行う。そして第１の受光手段１０９が受光状態にあるときに発光手段１０１を発光させ、第２の受光手段１１０が受光しているときには発光手段１０１を発光させないように、タイミング制御手段１１２がこれらの動作タイミングを制御する。
【００４１】
これにより第１の受光手段１０９は発光手段１０１からの光の物体による反射光と、それ以外の太陽光、照明光などの外光とを受光してその受光量を検出する。
【００４２】
一方、第２の受光手段１１０は外光のみを受光する。両者が受光するタイミングは異なっているが近いので、この間における外光の変動は無視できる。従って、第１の受光手段１０９で受光した像と第２の受光手段１１０で受光した像の差分をとれば、これは発光手段１０１の光の物体による反射光の成分に対応するものであり、これによって発光手段１０１の出力光の、物体による反射光成分対応画像が抽出されることになる。
【００４３】
そして、この差分を得るのが差分演算部１１１であり、この差分演算部１１１が第１の受光手段１０９と第２の受光手段１１０で受光した像の差分を計算して出力する。反射光抽出手段１０２については、さらに詳細な構成について後述する。
【００４４】
反射光抽出手段１０２は反射光画像の各画素の反射光量をシーケンシャルに出力する。反射光抽出手段１０２からの出力はアンプ１１３によって増幅され、アナログ信号をディジタルデータに変換するＡ／Ｄ変換器ｌｌ４によってデジタルデータに変換された後、メモリ１１５に蓄えられる。そして、しかるべきタイミングでこのメモリ１１５より当該蓄えられたデータが読み出され、特徴情報生成手段１０３において処理される。
【００４５】
これら全体の制御はタイミング制御手段１０４が行う。検出の対象物体が人間の手である場合、発光手段１０１としては人間の目に見えない、近赤外光を分光する発光装置を用いるようにすると良い。この場合、人間には発光手段１０１からの光が見えないため、眩しさを感じずに済む。また、発光手段１０１を近赤外光発光の装置とした場合、受光光学系１０７には図示しない近赤外光通過フィルタを設ける。このフィルタは、発光波長である近赤外光を通過し、可視光、遠赤外光を遮断する。従って、外光の多くをカットしている。
【００４６】
ところで物体からの反射光は、物体の距離が大きくなるにつれ大幅に減少する。物体の表面が一様に光を散乱する場合、受光側でみた場合、反射光画像１画素あたりの光量は、物体までの距離の２乗に反比例して小さくなる。従って、本発明の多次元情報入力生成装置の前に対象物体１０６を置いたとき、背景からの反射光はほぼ無視できるくらいに小さくなり、物体のみからの反射光画像を得ることが出来る。例えば、多次元情報入力装置の前に対象物体１０６である手を持ってきた場合、その手からの反射光画像のみが得られることになる。
【００４７】
この時、反射光画像の各画素値は、その画素に対応する単位受光セルで受光した反射光の量を表す。反射光量は、物体の性質（光を鏡面反射する、散乱する、吸収する、など）、物体面の向き、物体の距離、などに影響されるが、物体全体が一様に光を散乱する物体である場合、その反射光量は物体までの距離と密接な関係を持つ。
【００４８】
手などはこのような性質を持つため、手を差し出した場合の反射光画像は、手の距離、手の傾き（部分的に距離が異なる）、などを反映する。従ってこれらの特徴情報を抽出することによって、様々な情報の入力・生成が可能になる。
【００４９】
立体形状を抽出したい場合には、距離情報が高い分解能で求められる方が良い。このような場合、アンプ１１３としては対数アンプを用いると良い。受光部の受光量は物体までの距離の２乗に反比例するが、対数アンプを用いると、その出力は、距離に反比例するようになる。このようにすることで、ダイナミックレンジを有効に使うことができる。
【００５０】
＜反射光抽出手段１０２の詳細な説明＞
図３は、反射光抽出手段１０２の構成の一例をさらに詳細に表したものである。図３に示す反射光抽出手段１０２はＣＭＯＳセンサで構成した受光部を示しており、この反射光抽出手段１０２は反射光の強度分布を捉えることができるようにするために、複数の単位受光セルを備えていて、ひとつの単位受光セルと反射光画像の一画素が対応している。この図では簡単のため２×２画素の構成で示す。点線で囲まれた部分１  １７が一画素分の単位受光セルであり、一画素分の単位受光セルＰＤの概略構成を図４に示す。
【００５１】
先の例との対応を取ると、第１の受光手段１０９の一画素分と第２の受光手段１１０の一画素分で、１つの単位受光セルを構成している。１つの単位受光セルは１つの光電変換部１１８と、２つの電荷蓄積部１１９、１２０を持っている。光電変換部１１８と電荷蓄積部１１９、１２０の間にはいくつかのゲート（この例では１２２，１２３）があり、これらのゲートの制御によつて光電変換部１１８で発生した電荷を、二つの電荷蓄積部１１９，１２０のうちのいずれの電荷蓄積部に導くかを選択できるようになっている。このゲートの制御信号と発光部の発光制御信号を同期させる。
【００５２】
発光制御パルス１２８は発光手段を制御する信号である。ここではパルス発光を行う。発光制御パルスのレベルが“ＨＩＧＨ”のとき発光手段１０１が発光し、“ＬＯＷ”のときは発光しない。
【００５３】
この発光制御信号に対し、実際の光は発光手段１０１の発光源として用いられている発光素子の時間応答によってなまり、図５に符号１２９を付して示す波形のように変化する。受光部には、ＳＡＭＰＬＥ１（符号１３１を付して示す波形）、ＳＡＭＰＬＥ２（符号１３２を付して示す波形）、ＴＲＡＮＳＦＥＲ，  ＲＥＳＥＴ（符号１３０を付して示す波形）の制御信号が与えられる。
【００５４】
ＴＲＡＮＳＦＥＲは、光電変換部１１８で発生した電荷を次段に転送するためのゲートを制御する信号であり、この信号が“ＨＩＧＨ”のとき、光電変換部１１８に蓄積された電荷が転送される。電荷蓄積後、出力部へ電荷転送するときは、このゲートが閉じ、光電変換部１１８で発生した電荷が出力ゲートへ流れないようにする。ＲＥＳＥＴ  １３０はリセット制御信号である。
【００５５】
ＴＲＡＮＳＦＥＲが“ＨＩＧＨ”の時、ＲＥＳＥＴが“ＨＩＧＨ”になると、リセットゲート１２４が開き、光電変換部１１８にたまっていた電荷は、トランスファー・ゲート１２１、リセット・ゲート１２４を経て、排出される。ＳＡＭＰＬＥ１、ＳＡＭＰＬＥ２の２つの制御信号は、２つの電荷蓄積部１１９、１２０に、光電変換部１１８からの電荷を導くためのゲート１２２，  １２３を制御する信号である。
【００５６】
これらの制御信号の変化と、単位受光セルの動作を次に説明する。
単位受光セルでは、電荷蓄積期間においては、トランスファー・ゲート１２１は開き続けている。まず、リセット・ゲート１２４を開くことにより、光電変換部１１８とサンプル・ゲート１２２、１２３の間にたまった不要電荷を排出する。リセット・ゲート１２４を閉じることで、光電変換部１１８とサンプル・ゲートの間に、光電変換されてできた電荷が蓄積されはじめる。
【００５７】
一定時間の後、第１のサンプル・ゲート１２２が開くと、蓄積されていた電荷が、第１の電荷蓄積部１１９に転送される。従って、ＲＥＳＥＴ  １３０が“ＬＯＷ”になってから、ＳＡＭＰＬＥ１  １３１が“ＬＯＷ”になるまでの蓄積期間である図５上の“蓄積期間１”の間に光電変換された電荷が、第１の電荷蓄積部１１９に蓄積される。第１のサンプル・ゲート１２２が閉じた後、再びリセット・ゲート１２４を開いて不要電荷を排出した後、リセット・ゲートを閉じ、一定時間の後に今度は第２のサンプル・ゲート１２３を開き、第２の電荷蓄積部１２０に、光電変換で生成された電荷を転送する。この時も同様に、ＲＥＳＥＴが“ＬＯＷ”になってからＳＡＭＰＬＥ２が“ＬＯＷ”になるまでの蓄積期間である図５上の“蓄積期間２”の間に光電変換された電荷が第２の電荷蓄積部１２０に蓄積される。このとき“蓄積期間１”と“蓄積期間２”は同じ長さの時間である。
【００５８】
ここで、“蓄積期間１”なる電荷蓄積期間においては、発光手段１０５が発光しており、“蓄積期間２”なる電荷蓄積期間においては、発光手段１０５は発光しない。
【００５９】
このことにより、第１の電荷蓄積部１１９には、発光手段１０１からの光が物体に反射した光と、照明光、太陽光などの外光の両方によって生成された電荷が蓄積され、一方、第２の電荷蓄積部１２０には、外光のみによって生成された電荷が蓄積される。
【００６０】
“蓄積期間１”なる電荷蓄積期間と“蓄積期間２”なる電荷蓄積期間は時間的に近いので、この間での外光の大きさの変動は十分に小さいと考えてよい。従って、第１の電荷蓄積部１１９と第２の電荷蓄積部１２０の、電荷量の差が、発光手段１０１からの光が対象物体１０６に反射した光で発生した電荷量であるとみなしてよい。
【００６１】
上記、ＳＡＭＰＬＥ１、ＳＡＭＰＬＥ２、ＲＥＳＥＴ、ＴＲＡＮＳＦＥＲは、すべての単位受光セルに同じ信号が与えられるため、すべての単位受光セルにおいて、同期的に電荷の蓄積が行われる。このことは、１フレーム分の反射光画像を得るために１度の発光だけで済むことを示している。従って、発光のための電力を小さくすることができる。また、発光手段として用いることのできるＬＥＤは、発光パルスのＤＵＴＹ比が小さいほど（１つのパルス幅に比べて、パルスとパルスの間隔が長いほど）、瞬間的には強く発光できる性質を持つため発光パワーを効率的に利用することができる。
【００６２】
電荷蓄積後、電荷の取り出しを行う。まずＶ系選択回路１３５で１行を選択する。各行の単位受光セルＰＤから、第１の電荷蓄積部１１９と第２の電荷蓄積部１２０に蓄積された電荷が順に取り出され、差分回路１３３の中でその差分が収り出される。Ｈ系シフトレジスタで列を選択することで、取り出す。
【００６３】
なお、この例においては、電荷取り出し時には、シフトレジスタで取り出しセルのアドレスを指定するため、出力の順番が決まっている（シーケンシャルな出力）が、任意のアドレスを生成できるようにすればランダムアクセスが可能になる。このようにすると、受光部全体のうち、一部分だけを取り出すことができ、センサの動作周波数を低下させる、あるいは、反射光画像のフレームレートを上げることができるなど゛の効果がある。例えば画像の一部しか占めないような小さな物体を検出して、その動きを追跡させるような場合は、あるフレームでの位置の周辺だけで探索すればよいため、画像の一部だけを取り出すだけで良い。
【００６４】
また、発光源として、近赤外光を用いた例を示したが、必ずしもこれに限定しない。人の目に眩しくない条件でなら（例えば、発光量がそれほど大きくない、人の目に直接入らない向きを向いている、など）、可視光であっても良い。あるいは、光に限らず、電磁波、超音波などを用いることも可能である。近赤外光通過フィルタも、外光の影響を考えなくてよいなどの条件下であれば省くこともできる。
【００６５】
ところで、受光手段としてＣＭＯＳセンサではなく、通常の撮像用のＣＣＤイメージセンサを用いても、これに類することを実現することもできるが、その性能、あるいはコストパフォーマンスにおいて本構成の方が優れている。
【００６６】
例えば、ＣＣＤイメージセンサと光源を用いることもできる。しかし、ＣＣＤはｌ／６０秒毎に１回の撮像しかできない（フィールド単位）。従って、はじめの１／６０秒で、発光部を発光させ、次のｌ／６０秒で発光部を消灯させ、その差分をとっても、１／６０秒の時間差かあると、外光の大きさが変動してしまい、差分＝反射光量とならなくなってしまう。蛍光灯などはｌ／１００秒の周期でその強さが変動しているので、このようなことが起こってしまう。ＣＣＤイメージセンサを使った通常の撮像においても、撮像周期と、外光の変動周期のすれに起因して、画面の明るさがちらつく現象がおきることがあり、これはフリッカと呼ばれている。
【００６７】
ＣＭＯＳセンサを受光手段として採用した本装置においては、ＣＭＯＳセンサの構成上の特徴として、画素単位で任意に受光（電荷蓄積）と読み出しの制御ができ、それは１／１００００秒程度、あるいはそれ以下まで時間を小さくしたり、あるいは十分長い時間に設定して使用することができるので、外光の変動に応じて最適値を選べば、外光変動の影響を受けなくて済む。ＣＣＤイメージセンサによる撮像の場合、フリッカを防ぐために、電荷蓄積時間をｌ／１００秒と蛍光灯の周期と一致させる方法が取られることがあるが、発光部と同期させる場合においても、電荷蓄積時間をｌ／１００秒にする、あるいはＣＣＤの駆動信号を変えてしまい、１フィールドをｌ／１００秒にしてしまう、というような方法により、外光の影響を抑えることもできる。この場合は別の問題が発生する。対象物体である手が動いている場合、発光時の撮像と消灯時の撮像において手の位置が微妙にずれてしまう。
【００６８】
この状態で差分を取ってしまうと、特に物体（手）のエッジ部分において、反射光画像が大きく乱れてしまう。また、構成のコンパクトさでも大きく異なる。ＣＣＤを用いる場合、少なくとも、Ａ／Ｄ変換器と、１フレーム分のデータを蓄えるメモリ、差分画像を求める演算回路が必要である。またＣＣＤを用いる場合には、ドライバ−ＩＣを別に用意する必要がある。
【００６９】
一方、単位受光セルを複数個二次元配列した構成の本装置（すなわち、受光素子としてＣＭＯＳセンサを用いた本装置）においては、ＣＭＯＳセンサのべース（ＣＭＯＳセンサの形成基板上）に各種回路を作り込むことができるので、ドライバーを同一チップ内に収めてしまうことができる。また、センサ内で発光時、非発光時の差をとれるので、差分演算回路は不要である。また、Ａ／Ｄ変換部やメモリ、制御部まで１チップ内に収めてしまうこともできるので、非常に低コスト化できる。
【００７０】
ここまでの説明では、対象物体のみの像（反射光画像）を抽出するところまでの構成を述べた。ここまでの構成でも十分製品として利用価値がある。しかし、実際の利用形態としては、得られた反射光画像に何らかの加工を施して、使用者の目的に合った使い方をすることが多い。例えば、手の反射光画像を入力することにより、ポインティングやジェスチャー入力を行うことが出来る。このために反射光画像から有用な情報を抽出するのが、特徴情報生成手段である。ここで、特徴量を抽出したり、加工したり、そこから別の情報を生成したりしている。
【００７１】
反射光画像の加工の仕方の代表例は、距離情報の抽出と、領域抽出である。先にも述べたように、物体が一様で均質な散乱面を持つ物体であれば、反射光画像は距離画像と見なすことができる。従って、物体の立体形状を抽出することができる。物体が手であれば、手のひらの傾きなどが検出できる。手のひらの傾きは部分的な距離の違いとして現れる。また、手を移動させたときに画素値が変われば、距離が移動したと見ることができる。また、背景のように遠い物体からの反射光はほとんどないため、反射光画像からあるしきい値以上の領域を切り出すという処埋で、物体の形状を簡単に切り出すことができる。例えば、物体が手であれば、そのシルエット像を切り出すのは極めて容易である。距離情報を用いる場合でも、一度しきい値によって領域抽出をしておいてから、その領域内の距離情報を用いる、という場合が多い。
【００７２】
このようにして、対象物体の像を簡易に抽出できるようになったことにより、その対象物体の像を用いて様々な情報入力操作、指示操作などを行う途が拓けることになる。
【００７３】
ところで、本発明はＣＭＯＳセンサを受光手段として採用しており、上述したように、ＣＭＯＳセンサの構成上の特徴として、画素単位で任意に受光（電荷蓄積）と読み出しの制御ができ、それは１／１００００秒程度、あるいはそれ以下まで時間を小さくしたり、あるいは十分長い時間に設定して使用することができるので、外光の変動に応じて最適値を選べば、外光変動の影響を受けなくて済む。しかし、これを外光の変動状況に応じてどのようにして最適に設定するかが課題である。そこで、次にこのことについてその具体例を説明する。
【００７４】
＜最適動作パターンを自動選択する具体例＞
概略を述べるとここでは、電荷蓄積期間をそれぞれ異ならせた複数種の動作パターンを用意し、また、最適動作パターン選択モードを設けて発光手段による照明のない状態で、第１の受光手段と第２の受光手段による受光を行い、両受光手段による受光出力（画像出力）の差出力を、各動作パターンそれぞれで得て、その差分像（反射光画像）が最も暗い画像となっている動作パターンを外光の影響のない最適な動作パターンとして選択し、そのパターンで通常動作モードを実施させるようにする。
【００７５】
所望の対象物体の画像抽出を行う本発明の対象装置は発光手段と受光撮像系（反射光画像獲得手段）を有し、外光のみの環境下での受光による画像と、この環境下で発光手段により発光させて得た前記対象物体の画像の差を求めて、これを発光手段により発光した光の前記対象物体による反射光を画像化したものとして得ることにより、対象物体のみの画像を得てこれよりジェスチャ認識などを可能にする。
【００７６】
反射光画像獲得は発光時と非発光時に受光電荷を蓄積し、その差をとることで、反射光画像を獲得するが、外光には蛍光灯のように変動するものがあり、通常の蛍光灯やインバータ蛍光灯など、その変動周期にも幅がある。しかし、発光時、非発光時の時間差が、外光の変動周期に近いと、２つの蓄積電荷の差には、外光の変動分も入ってしまい、反射光だけを精度良く取り出せない。
【００７７】
そこで、発光と電荷蓄積の動作パターンを複数用意しておき、各動作パターンそれぞれでの非発光状態での２枚の画像を取得して差成分を調べ、差成分の最も少ない動作パターンをその環境下での動作パターンとして採用する。このようにして、複数種の動作パターンを用意して外光の状況によって使い分けることにより、どのような外光状態であっても精度良く反射光画像（対象物体の抽出像）が得られるようにした。
【００７８】
＜最適な動作パターン選択の原理＞
原理は極単純で、発光手段１０１を発光させずに、受光動作を行い、差を出力したとき、その２  回の間に外光の変動がほとんど無ければ、出力はほぼ０となる筈であるという点にある。従って、２つの画像間に外光変動量の差がない時は両者の差分画像である反射光画像は真っ暗になる（発光していないのだから反射光が真っ暗になる）。しかし、このとき外光の変動が大きければ出力画像は真っ暗とはならない。従って、発光部を発光させずに反射光画像をとり、最も暗い画像が得られる動作パターンを選択する。
【００７９】
＜外光に変動ある場合に、その外光の影響を抑制して必要な反射光画像を抽出する具体例＞
上述の情報入力生成装置は発光部と受光撮像系（反射光画像獲得手段）を有し、発光した光の物体による反射光を画像化して出力することにより、ジェスチャ認識などを可能にし、反射光画像獲得手段は発光時と非発光時に受光電荷を蓄積し、その差をとることで、外光成分による像を相殺し、反射光画像を獲得する構成であることは詳しく述べた。
【００８０】
そして、外光には太陽光のようなものの他、蛍光灯のように変動するものがあり、しかも、蛍光灯には通常の蛍光灯やインバータ蛍光灯など、種々のものがあって、その変動周期にも幅がある。
【００８１】
そして、発光手段１０１の発光時と、非発光時での時間差が、外光の変動周期に近いと、２つの蓄積電荷の差には、外光の変動分も入ってしまい、この外光の状況如何によっては発光手段１０１による光照射のもとでの対象物体１０６の反射光だけを精度良く取り出すという目的を達成できない心配が残る。
【００８２】
そこで、これに対処する具体例を説明する。
この例では、発光と電荷蓄積の動作パターンを複数用意しておき、外光の状況によって使い分けるようにする。そして、これにより、どのような外光状態であっても精度良く反射光画像が得られるようになる。
【００８３】
具体的に説明する。
ここで説明する例は、次の原理に基づく。すなわち、発光手段１０１を発光させずに、２  回受光電荷蓄積し、差を出力したとする。このとき、その２  回の受光電荷蓄積の間に、外光の変動がほとんど無ければ、出力はほぼ０となる。従って、反射光画像は真っ暗になる。つまり、光源が発光していないわけであるから、当然、反射光像成分はない訳であるから、反射光像、すなわち、出力画像は真っ暗になる。しかし、上記２回の受光電荷蓄積の間に、外光の変動があり、その変動が大きければ当該２回の受光電荷蓄積期間の蓄積電荷の差をとったときに生じる差は零とはならず、従って、出力画像は真っ暗とはならない。
【００８４】
従って、発光手段１０１を発光させない状態で、複数用意した電荷蓄積の動作パターンそれぞれで反射光画像をとり、最も暗い画像が得られる動作パターンを選択する。そして、その選択した動作パターンに対応する期間の発光期間を持つ発光動作パターンを選択して、この動作パターンで発光手段１０１を発光制御するようにする。
【００８５】
このような機能を実現するためには、装置として図６に示す如きの構成を採用すれば良い。すなわち、図６において、１０１は発光手段、１０３は特徴情報生成手段であり、１０２は反射光画像獲得手段で前述した図１の反射光抽出手段に該当する。また、１０４は受発光制御信号生成手段であり、前述した図１のタイミング信号生成手段に該当する。また、２０１は外光の影響を評価する評価手段であり、２０２は受発光パターン選択・決定部である。
【００８６】
前述したように発光手段１０１は対象物体に照明をあてるための光源であり、反射光画像の光源である。この具体例においては、外光の変動状況に合わせて最適な受光動作パターンを得ることができるようにするために、最適動作パターン選択モードと通常動作モードの２種の動作モードが用意されており、外光の最適な受光動作パターンを探すとき、すなわち、最適動作パターン選択モード時には、発光が停止されるように設定制御され、通常動作モード時にはこれが解除制御されて受発光制御信号生成手段１０４から与えられる所定のタイミングで発光されて対象物体に照明をあてるように制御される。
【００８７】
タイミング制御を行うために用意されているのが受発光制御信号生成手段（タイミング信号生成手段）１０４である。受発光制御信号生成手段１０４は、受発光パターン選択・決定部２０２による設定情報に基づいて反射光画像獲得手段１０２と発光部手段１０１を制御する信号を生成するものである。
【００８８】
受発光パターン選択・決定部２０２は、最適動作パターン選択モードと通常動作モードの２モードを有しており、また、予め複数の前記受光電荷蓄積動作パターンを用意してあって、最適動作パターン選択モード時にはこれらの各種動作パターンを順次使用して受発光制御信号生成手段１０４を設定制御することにより、上記複数の動作パターンで受光をさせる。そして、受発光パターン選択・決定部２０２は、各動作パターンで得られた反射光画像を評価した結果を評価手段２０１から受け取り、これらの評価結果のうちの最良の評価が得られた動作パターンを、最適な動作パターンとして決定する。
【００８９】
反射光画像獲得手段１０２の出力画像をもとに、評価手段２０１は各動作パターンで得られた反射光画像を評価し、受発光パターン選択・決定部２０２に与えてその評価値より最適な動作パターンを決定するが、受発光パターン選択・決定部２０２は、最適な動作パターンを決定する間は、発光手段１０１が発光しないように制御する。最適な動作パターンが決定された後は通常動作モードとなり、その決定された動作パターンによる受光電荷蓄積期間となるように、反射光画像獲得手段１０２と受発光制御信号生成手段１０４を制御する。
【００９０】
外光の影響評価手段２０１は、反射光画像に外光の変動がどの程度含まれているかを評価する。この反射光画像は反射光画像獲得手段１０２から取得する。反射光獲得手段１０２は、上述したように第１の受光手段１０９の受光した像と、第２の受光手段１１０の受光した像との差分を出力する。第１の受光手段１０９は発光手段１０１の発光のない状態での受光による画像を、そして、第２の受光手段１１０は本来は発光手段１０１の光のある状態での受光による像の出力を出すものであるが、最適動作パターン選択モードの時は発光手段１０１を発光させないように、受発光パターン選択・決定部２０２は発光手段１０１を設定する（なお、発光動作させる信号を発生させないように受発光制御信号生成手段１０４を制御する構成としてももちろんかまわない）。
【００９１】
そして、最適動作パターン選択モード時において、このように発光手段１０１が発光しないようにしておけば、反射光画像獲得手段１０２から得られる反射光画像、すなわち、第１の受光手段１０９の受光した画像の蓄積電荷と、第２の受光手段１１０の受光した画像の蓄積電荷の差分出力（差分の反射光画像）は、外光の変動のみをあらわすので、当該反射光画像が明るいほど外光の影響を受けていることになる。評価値は信頼性を確保するために、例えば、最適動作パターン選択モード時に１動作パターン当たり、数回動作を繰り返してその平均値を用いるようにする。つまり、１動作パターン当たり、反射光画像の数フレームの平均輝度を求めて評価値として出力する。
【００９２】
次にこのような構成の装置の作用を図７のフローチャートに従って説明する。本装置は初期時には最適動作パターン選択モードになる。このモードではまず発光手段１０１を発光しないようにする（ステップＳ１）。すなわち反射光を取った場合、真っ暗になるようにするために、第２の電荷蓄積期間においても発光手段１０１が発光動作をしないように、受発光パターン選択・決定部２０２は発光手段１０１を設定する。
【００９３】
そして、受発光パターン選択・決定部２０２は複数種予め用意してある動作パターンうち、１つの受光動作パターンを選び（ステップＳ２）、そのパターンで電荷蓄積を行って差成分を得るべく、受発光制御信号生成手段１０４を制御し、これに従って受発光制御信号生成手段１０４は反射光画像獲得手段１０２を制御して対象物体１０６の画像の第１の電荷蓄積及び第２の電荷蓄積を、当該受光動作パターン対応の動作期間単位で行い、その差成分を得る。
【００９４】
そして、これを元に評価手段２０１はこの動作パターンでの外光の評価をする（ステップｓ３）。外光の影響の評価値として、例えば反射光画像の数フレームの平均輝度を用いる（もちろん暗いほど小さい）。つまり、一つの動作パターンで上記の差成分を得る動作を複数回、繰り返し、それぞれ得られた差成分の値の平均値を求めて当該動作パターンでの評価値を得る。
【００９５】
この評価結果は受発光パターン選択・決定部２０２に与える。
受発光パターン選択・決定部２０２はすべてのパターンを試したかを調べ、未試行のパターンがあればその未試行の中から一つを次の受光動作パターンとして選択する（ステップＳ４，Ｓ５  ）。そして、その選んだ受光動作パターンで電荷蓄積を行って差成分を得るべく、受発光制御信号生成手段１０４を制御し、これに従って受発光制御信号生成手段１０４は反射光画像獲得手段１０２を制御して対象物体１０６の画像の第１の電荷蓄積及び第２の電荷蓄積を、当該受光動作パターン対応の動作期間単位で行い、その差成分を得る。そして、これを元に評価手段２０１はこの動作パターンでの外光の評価をする（ステップｓ３）。この評価結果は受発光パターン選択・決定部２０２に与える。
【００９６】
受発光パターン選択・決定部２０２はすべてのパターンを試したかを調べ、未試行のパターンがあればその未試行の中から一つを次の受光動作パターンとして選択し（ステップＳ４，Ｓ５  ）、そして、その選択した受光動作パターンでの上述の動作を繰り返して評価をするが、ステップＳ４での判断の結果、全てのパターンを試し終えたならば、次に受発光パターン選択・決定部２０２はすべてのパターンそれぞれでの評価値を比較して、評価値の最良のものを最適パターンとして一つ選択する（ステップＳ５）。
【００９７】
次に受発光パターン選択・決定部２０２は、その選択した受光動作パターンの電荷蓄積期間となるパターンとタイミングで受光動作と発光動作をするように受発光制御信号生成手段１０４と発光手段１０１に指示を与える。これにより、受発光制御信号生成手段１０４は上述の選択された動作パターンで発光指令と受光動作をするように設定され、また、発光手段１０１はその発光停止状態を解除される（ステップＳ６，Ｓ７  ）。
【００９８】
この解除に伴い、最適動作パターン選択モードから通常の動作モードになる。通常の動作モードでは発光手段１０１による照明のない状態で第１の受光手段１０９による受光を、上記選択された動作パターンによる電荷蓄積期間分、行い（第１の電荷蓄積期間）、つぎにこの電荷蓄積期間分、発光手段１０１から照明をあてて第２の受光手段１１０による受光を行い、両者の差をとってこれを外光の影響のない反射光画像として得る。
【００９９】
本発明はこのように、電荷蓄積期間をそれぞれ異ならせた複数種の動作パターンを用意し、また、最適動作パターン選択モードを設けて発光手段による照明のない状態で、第１の受光手段と第２の受光手段による受光を行い、両受光手段による受光出力（画像出力）の差出力を、各動作パターンそれぞれで得て、その差分像（反射光画像）が最も暗い画像となっている動作パターンを外光の影響のない最適な動作パターンとして選択し、そのパターンで通常動作モードを実施させるようにした点に特徴がある。
【０１００】
このように、予め用意した複数種の動作パターンそれぞれについて発光手段を用いずに差分画像を得て、外光の影響を評価し、最良の評価値を示すパターンを選択、その後は当該選択したパターンで外光による画像と、発光手段による照明を与えた画像とを得て両者の差分を反射光画像として反射光画像獲得手段で得るようにするものであり、外光の影響の評価値としては、例えば反射光画像の数フレームの平均輝度を用いるようにし、この評価を用意してあるすべての動作パターンで試すと共に、平均輝度が一番小さかった（つまり一番外光の影響を受けなかった）動作パターンを選択することにより、外光の変化状況に応じてその変化状況下で最も影響の少ない第１の受光手段と第２の受光手段の受光期間を選択するようにしたものである。
【０１０１】
そのため、本システムを設置した環境下での外光の変動状況対応にその影響の最も低くなるような動作パターンでの反射光画像を得ることができようになる。
その具体的効果について、以下説明する。
【０１０２】
図８は外光（図の実線）の変動周期が緩やかな場合、図９は外光の変動周期が細かい場合の例を示している。図の横軸は時間、縦軸は受光面での光の強さであり、発光しているときは、その発光量に応じて出力曲線が上昇する（レベルが上昇する）。光の強さをある時間だけ積分したもの（図中に符号Ｌ１，Ｌ２を付して示す部分）は電荷の蓄積量に相当する。ここで、Ｌ１は発光手段１０１の発光時における反射光画像獲得手段（反射光抽出手段）１０２の第２の受光手段１１０による電荷蓄積量であり、Ｌ２は発光手段１０１の非発光時における第１の受光手段１０９の受光出力の電荷蓄積量で、ともに電荷蓄積期間ｔ１とした場合の例である。
【０１０３】
また、Ｌ  １１  は発光手段１０１の発光時における反射光画像獲得手段（反射光抽出手段）１０２の第２の受光手段１１０による電荷蓄積量であり、Ｌ  １２  は発光手段１０１の非発光時における第１の受光手段１０９の受光出力の電荷蓄積量で、ともに電荷蓄積期間ｔ２とした場合の例である。ただし、ｔ１はｔ２より十分小さいものとする。
【０１０４】
Ｌ１とＬ２の差、そして、Ｌ１１  とＬ１２  の差がそれぞれ反射光部分であると見なされる。発光手段１０１の光源としては白熱球やＬＥＤ  （発光ダイオード）が使用されるが、近年ではＬＥＤ  が一般的である。そして、一般に発光手段１０１として用いられるＬＥＤ  （発光ダイオード）は発光時間が短いほど瞬間的には強いパワーを出すことができるので、図８のグラフでも蓄積時間が短い方が、光の強さは大きく上昇している。
【０１０５】
ここで図８のように外光の変動が緩やかで大きい場合は、発光手段１０１の発光時間を短くすることにより、発光時、非発光時の外光変動の影響を小さくすることができ、これにより、反射光量を良好に検出できる（図８（ａ））。一方、発光手段１０１の発光時間を長くすると、その間に外光が大きく変動してしまい、発光時、非発光時の蓄積電荷の差の中に外光の変動が大きく含まれてしまい、精度良く反射光量が検出できない（図８（ｂ））。
【０１０６】
次に、図９に示すように外光の変動周期が短い場合（例えば、室内にあってその照明にインバータ蛍光灯などが使用されている時などでは、外光としてのこの蛍光灯は数１０ｋＨｚ  程度の周期で光量が変動する）、図９（ａ）のように発光手段１０１の発光時間を外光の変動周期と同程度に短くし、この発光期間内の分（ｔ１）を電荷蓄積したとすると、もしも外光の変動周期と発光手段１０１からの発光パルスの位相にずれが生じることにより、外光の影響が大きく変わり、誤差分が著しいものとなって、反射光画像成分が良好に検出できない。
【０１０７】
そこで、この場合、逆に発光手段１０１の発光時間を長くする。つまり図９（ｂ）ように発光時間の中に外光の変動周期がいくつも入るような長い時間ｔ２とし、この発光期間内の分（ｔ２）を電荷蓄積するようにする。このようにすると、外光の変動の影響が小さくなる。
【０１０８】
外光の変動周期が短い場合、それよりももっと短い時間で発光手段１０１を発光させるようにするという方法もある。しかし、一般的に、あまり短い時間で発光させようとすると回路の駆動周波数が上がり、高コストになり消費電力も上がる。
【０１０９】
以上、本発明は外光のみにより対象物体の画像を得（第１の受光）、また、発光手段により光を発光して対象物にあて、その対象物体による反射光を画像として捉える（第２の受光）と共にその差成分を得て（反射光画像）、これより前記対象物体の画像を抽出する装置において、画像信号を取得する期間（電荷蓄積期間）をそれぞれ異ならせた複数種の動作パターンを用意し、また、最適動作パターン選択モードを設けて発光手段による照明のない状態で、第１の受光と第２の受光を行い、両受光出力（画像出力）の差出力を、各動作パターンそれぞれで得て、その差分像（反射光画像）が最も暗い画像となっている動作パターンを外光の影響のない最適な動作パターンとして選択し、そのパターンで通常動作モードによる動作（上記外光のみによる第１の受光と、発光手段による発光を行って得た第２の受光動作）を実施させるようにしたものである。
【０１１０】
本具体例では、最適動作パターン選択モードを設け、このモード中に自動的に複数のパターンを試し、最適なものを自動的に決定する。しかし、これにとどまらず、単に切り替えボタンがついており、操作者がこれを押すことで動作パターンを選べる用にしても良い。このようにすると、複雑な処理がないため、低コスト化できる。この場合は、反射光画像を画面上に表示し、操作者が画面の反射光画像を見ながらノイズが少ないモードを選べるようにすると良い。本発明はこのように、自動的に動作パターンを選択しない場合も包含する。
【０１１１】
これにより、外光に変化のある場合にも、精度の良い反射光画像を得ることができ、従って、対象物体の画像のみを精度良く抽出することができるようになる。
【０１１２】
対象物体の画像を画像信号から抽出することができるようになると、この抽出画像からその形状、動き、距離情報などを取得することができる。例えば、物体が存在している場所からの反射光はある程度の値を持ち、遠い背景からの反射光はほとんど無いため、反射光の画像をしきい値で分けることにより、物体の形状を抽出することが出来る。またその形状から様々な特徴量を抽出することが出来る。形状の時間的連なりを解析することで、物体の動きや変形などを捉えることが出来る。また物体の凹凸を反射光量の違いとして捉えられるため、対象物体の立体構造を得ることも出来る。
【０１１３】
従って、このような情報から３次元の操作入力や、３次元の指示操作などを容易に行うことができるようになるが、このような技術を、本発明は強力にバックアップすることができるようになる。
【０１１４】
なお、本発明は上述した具体例に限定されることなく、種々変形して実施し得る。なお、本発明ではその具体例中で、たびたび２枚の画像の差分という言葉が使われた。これは概念的な意味合いが強く、必ずしも２枚の画像が存在することを意味するものではない。一般的な構成として、単位受光セルに第１と第２の電荷蓄積部があり、全てのセルの第１の電荷蓄積部の電荷量を用いて１枚の画像がつくれ、全てのセルの第２の電荷蓄積部の電荷量を用いて第２の画像が得られる。このような意味で“２枚の画像”であるが、実際には受光手段の出力時に各セル毎に２つの電荷蓄積部の差を出力するため、外部には２枚の画像は取り出されない。従って、本具体例中で“２枚の画像”というとき、必ずしも目にみえる２枚の画像が出力されることを意味しない。
【０１１５】
また、１フレーム当たりの発光回数は１回とは限らない。例えば、発光しながら第１の電荷蓄積部１１９へ電荷蓄積し、発光しないで第２の電荷蓄積部１２０へ電荷蓄積する、という動作を１０回繰り返す、というようなこともできる。更に図１０（ａ）に示すように、差分回路ｄｅｆと第３の電荷蓄積部Ｃｃｇを更に持ち、発光手段を発光させて、このとき、光電変換部１１８のとらえた画像の電気信号に基づく電荷を第１の電荷蓄積部１１９に蓄積し、次に発光手段の発光なしの状態として、このとき、光電変換部１１８のとらえた画像の電気信号に基づく電荷を第２の電荷蓄積部１２０に蓄積し、これら両電荷蓄積部１１９，１２０の蓄積電荷の差分を、差分回路ｄｅｆで得てこの得た差分の電荷を第３の電荷蓄積部Ｃｃｇに転送する、そして、第１及び第２の電荷蓄積部１１９，１２０をリセットするという動作を繰り返す構成とすることもできる（図１０（ｂ）参照）。
こうなると、各セル内にも差分しかなく、もはや２枚の画像はないといえる。以上のような場合も含め、２枚の画像の差分をとるのと同様の効果を持つ、反射画像の獲得装置・方法全てについて、本発明は有効である。
【０１１６】
【発明の効果】
以上、詳述したように、本発明によれば、外光の影響を抑制できて、特定の対象物体を容易に高精度に抽出することができるようになり、特定対象物体の形状、動き、距離情報などを得るにあたり、その元となる特定の対象物体を画像中から抽出することができるようなる画像入力装置および画像入力方法を提供できる。
【図面の簡単な説明】
【図１】本発明を適用する対象の一具体例の全体構成を示すブロック図。
【図２】図１の装置のより具体的な構成例を示す図。
【図３】図１の装置における反射光抽出手段１０２の構成例の詳細図。
【図４】図３に示す反射光抽出手段の一画素分の単位受光セルＰＤの概略構成を示す図。
【図５】図３，図４の回路中の受光部におけるゲートなどの制御信号と発光制御信号、および光の強さの時間的変化を示す図。
【図６】本発明の具体例を示すブロック図。
【図７】本発明の動作例を示すフローチャート。
【図８】本発明の動作例を説明するための図であって、外光（図の実線）の変動周期が緩やかな場合の例を示した図。
【図９】本発明の動作例を説明するための図であって、外光（図の実線）の変動周期が細かい場合の例を示した図。
【図１０】本発明の別の例を説明するための図。
【図１１】従来例を説明するための図であって、従来の３次元ポインティングデバイスの一例を示す図。
【符号の説明】
１０１…発光手段
１０２…は反射光画像獲得手段（反射光抽出手段）
１０３…特徴情報生成手段
１０４…受発光制御信号生成手段（タイミング信号生成手段）
２０１…外光の影響を評価する評価手段
２０２…受発光パターン選択・決定部。
【図１】
0003625349.tif 000002
【図２】
0003625349.tif 000003
【図３】
0003625349.tif 000004
【図４】
0003625349.tif 000005
【図５】
0003625349.tif 000006
【図６】
0003625349.tif 000007
【図７】
0003625349.tif 000008
【図８】
0003625349.tif 000009
【図９】
0003625349.tif 000010
【図１０】
0003625349.tif 000011
【図１１】
0003625349.tif 000012