(57)【特許請求の範囲】
【請求項１】
光の照射時と非照射時の被写体画像の差分像を得るための装置において、
被写体に光を照射する発光手段と、
光電変換する複数の受光素子を２次元配列してなる撮像部とこれら撮像部で得られた電荷を転送して取り出すＣＣＤ型電荷転送手段とを有するエリアイメージセンサと、
前記エリアイメージセンサのＣＣＤ型電荷転送手段の駆動および受光素子からＣＣＤ型電荷転送手段への電荷の転送のタイミングを制御し、前記ＣＣＤ型電荷転送手段中に、発光手段の発光時に受光した電荷量と、非発光時に受光した電荷量とが交互に並ぶように制御するタイミング信号生成手段と、
を備えることを特徴とする情報入力装置。
【請求項２】
タイミング信号生成手段は、エリアイメージセンサの受光素子の一部のみからＣＣＤ型電荷転送手段に電荷を転送するように制御する機能を備えることを特徴とする請求項１記載の情報入力装置。
【請求項３】
タイミング信号生成手段は、発光手段と同期してエリアイメージセンサの２次元配列された受光素子のうち、偶数ライン位置の受光素子あるいは奇数ライン位置の受光素子のいずれかのみから転送するための信号を発生する機能を備えることを特徴とする請求項１記載の情報入力装置。
【請求項４】
タイミング信号生成手段は、発光時に受光した電荷を、あるタイミングで一方のライン位置の受光素子からＣＣＤ電荷転送手段へ転送し、非発光時に受光した電荷を、別のタイミングで他方のライン位置の受光素子からＣＣＤ電荷転送手段へ転送するようなタイミング信号を生成することを特徴とする請求項３記載の情報入力装置。
【請求項５】
エリアイメージセンサは、２次元配列された受光素子のうち、発光手段と同期して撮像に供する受光素子にのみ、前記発光手段から発光される光を通過させ、不要な光を通さないフィルタを付加したことを特徴とする請求項１記載の情報入力装置。
【請求項６】
ＣＣＤ型電荷転送手段は、２次元配列された前記複数の受光素子の垂直方向に配置される垂直方向用電荷転送手段と、２次元配列された前記複数の受光素子の水平方向に配置される水平方向用電荷転送手段とを具備したことを特徴とする請求項１記載の情報入力装置。
【請求項７】
水平方向用電荷転送手段は、前記垂直用電荷転送手段からシフトされて転送された電荷を取り出すことを特徴とする請求項６記載の情報入力装置。
【請求項８】
タイミング信号生成手段は、エリアイメージセンサの２次元配列された受光素子のうちから、偶数ライン位置と奇数ライン位置から交互に転送すべく、発光手段と同期して転送することを特徴とする請求項１記載の情報入力装置。
【請求項９】
エリアイメージセンサから出力される発光時の受光電荷量、非発光時の受光電荷量からその差分を取り出す差分回路を有することを特徴とする請求項１記載の情報入力装置。
【請求項１０】
光の照射時と非照射時の被写体画像の差分画像を得るための装置において、
被写体に光を照射する発光手段と、
光電変換する複数の受光素子を２次元配列してなる撮像部とこれら撮像部で得られた電荷を転送して取り出すＣＣＤ型電荷転送手段とを有するエリアイメージセンサと、
前記エリアイメージセンサのＣＣＤ型電荷転送手段の駆動および受光素子からＣＣＤ型電荷転送手段への電荷の転送のタイミングを制御し、前記ＣＣＤ型電荷転送手段中に、発光手段の発光時に受光した電荷量と、非発光時に受光した電荷量とが交互に並ぶように制御するタイミング信号生成手段と、
このタイミング信号生成手段のタイミング信号をもとに、前記エリアイメージセンサから出力される発光時または非発光時に受光した電荷量を１水平走査時間分だけ遅延させるディレイラインと、
このディレイラインに入力された発光時の電荷量とエリアイメージセンサから直接出力された非発光時の電荷量の差分，またはディレイラインに入力された非発光時の電荷量とエリアイメージセンサから直接出力された発光時の電荷量の差分を出力する差分回路とを有することを特徴とする情報入力装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像を用いて３次元空間でのポインティングを行うようにした情報入力装置に関する。
【０００２】
【従来の技術】
コンピュータへの入力デバイス、特にポインティング入力デバイスとしては、ほぼ標準装備となっているマウスが圧倒的に使われている。しかし、マウスでできることは、カーソルの移動と、メニューの選択などであり、あくまでも２次元のポインティングデバイスとしての役割を担うに過ぎない。
【０００３】
マウスで扱えるのは、２次元情報であるから、３次元空間中における物体など奥行きがあるものを選択することは難しい。また、アニメーションを作成するときに、キャラクタに動きをつけるのに使用したい場合においても、マウスでは、自然な動きをつけることが難しかった。
【０００４】
そこで、このような３次元空間でのポインティングの難点を補うために、各種の３次元ポインティングデバイスが開発されている。
＜３次元ポインティングデバイス［その１］＞
代表的な３次元ポインティングデバイスとして、例えば、図１５に示す如きのものがある。この３次元ポインティングデバイスでは、中央の丸い操作つまみ手段部分１５０を“前方に押す”、“中央を押す”、“後方を押す”、丸い操作つまみ手段部分１５０全体を“持ち上げる”、“全体を右に回す”、“左に回す”というように、６通りの操作ができ、６自由度ある。
【０００５】
この６自由度を各種操作指示に割り振ることで、３次元空間内のカーソルの位置（ｘ，ｙ，ｚ）と向き（ｘ軸，ｙ軸，ｚ軸）制御したり、あるいは、３次元空間に対する視点位置（ｘ，ｙ，ｚ）と向き（ｘ軸，ｙ軸，ｚ軸）を制御できる。
【０００６】
しかしながら、これを実際に操作してみると、思うようにカーソルや視点の制御ができないという問題がある。
例えば、左右に回そうとすると、前方あるいは後方を押してしまい、思わぬ方向にカーソルが動いたり、視点が動いたりしてしまうと云った具合である。
【０００７】
このような３次元ポインティングデバイスに対して、手振りや身ぶりを使って入力することができるようにしたデバイスも開発されている。これを次に紹介する。
【０００８】
＜３次元ポインティングデバイス［その２］＞
それは、例えば、データグローブやデータスーツ、サイバーグローブと呼ばれるものである。これらは、例えば、データグローブは手袋状のデバイスで、表面に光ファイバが走っている。光ファイバは、指の関節まで通っており、指を曲げることにより、光の導通が変わる。この光の導通を計測することで、かく指の関節がどの程度曲がっているかがわかる。手自体の３次元空間内の位置は、手の甲についている磁気センサによって計測するようになっている。人差し指をたてれば、前進するというように、身ぶりとそれに対応する指示を決めておけば、データグローブを使って、３次元空間内を種々に視点を変えて、ちょうど、歩き回るようにする（ウオークスルーという）ことができる。
【０００９】
しかし、これにも問題がいくつかある。
まず、第１には価格が高価であり、家庭用などに使用することは難しいという点である。
【００１０】
第２には、操作に対する誤認識があるという点である。それは指の関節の角度を計測しているので、例えば、人差し指だけのばし、他の指は、曲げた状態を前進指示と定義したとしても他の指示と誤認識することがあるということである。すなわち、一口に指を伸ばすといっても、人差し指の第２関節の角度が１８０度に完全になっていることは少ないので、遊びの手段分を作らないと、きっちりと人差し指を伸ばしたとき以外は、伸ばしていると認識するのが難しい。
【００１１】
また、第３にはデーターグローブを装着するので、自然な操作が阻害されると云う点である。
第４には、装着するたびに、手の開いた状態と閉じた状態で、光の導通状態を校正せねばならないので、手軽に使えないという点である。
【００１２】
また、第５には故障の問題である。それは光ファイバを使っているため、継続的に使っていると、ファイバが断絶するなど消耗品に近いデバイスとなっているという問題である。
【００１３】
また、第６にはこのように、高価で、手間がかかるデバイスである割には、手袋の大きさが、ぴったり合っていないと、使っているうちにずれたりして校正した値からずれるために、細かな手振りを認識することは難しいと云う点である。
【００１４】
このように、いろいろな問題があるために、データグローブは、ＶＲ（バーチャルリアリティ、仮想現実感）技術のトリガとなったデバイスであったにもかかわらず、当初の期待ほど、普及しておらず、また、低価格化もなされておらず、使い勝手の点で問題が多い。
【００１５】
これに対し、データグローブのような特殊な装置を装着することなく、手振りや身ぶりを入力しようとする試みが、いくつかなされている。その例を次に紹介する。
【００１６】
＜３次元ポインティングデバイス［その３］＞
手振りや身ぶりを入力しようとする試みとして代表的なものは例えば、ビデオ映像などの動画像を解析して、手の形を認識する方法である。
【００１７】
しかし、この方法においては、背景画像から目的とする画像、手振りの認識の場合には、手のみを切り出すといったことが必要であるが、この目的の画像部分を切り出すことが非常に難しいという問題がある。
【００１８】
例えば、色を使って目的画像としての“手”を切り出す場合を考えてみる。手の色は肌色であるので、肌色の画像領域のみを切り出すような方式が考えられる。しかし、背景にベージュ色の洋服や、壁があったりすると、肌色を識別することが難しいから、これは現実味に乏しい。また、調整を行って、ベージュと肌色を区別できるようにしたとしても、照明が変われば、色調が変化してしまうために、定常的に切り出すことは困難である。
【００１９】
このような問題から逃れるために、背景にブルーマットをおくというように、背景画像に制限を置き、切り出しを容易にする方策も採られている。あるいは、指先に背景からの切り出しが容易になるような色をつける、あるいは色のついた指輪をはめるというような方策も採られている。しかし、このような制限は現実的でなく、実験的には使われているが、実用化されるに至っていない。
【００２０】
また、以上のような切り出しなどのビデオの画像認識処理は、非常に演算量が多い。このため、現状のパーソナルコンピュータでは、毎秒３０枚も発生するビデオ映像を処理しきれないのが実状である。従って、ビデオ映像の処理によるモーションキャプチャなどをリアルタイムで実施するのは、困難である。
【００２１】
＜３次元ポインティングデバイス［その４］＞
ビデオ映像などの動画像を解析して手振りや身ぶりを入力する別の方法として、レンジファインダと呼ばれる、距離画像を入力する装置を用いる方法がある。
【００２２】
レンジファインダの代表的な原理は、スポット光あるいはスリット光を対象物体に照射し、その反射光の受光位置から三角測量の原理で求めるものである。レンジファインダにおいては、２次元的な距離情報を求めるために、スポット光あるいはスリット光を機械的に走査している。この装置は非常に高精度な距離画像を生成することができるが、その反面、装置の構成が大掛かりになり、高コストになる。また入力に時間がかかり、実時間で処理を行わせるのは困難である。
【００２３】
＜３次元ポインティングデバイス［その５］＞
ビデオ映像などの動画像を解析して手振りや身ぶりを入力する別の方法として、手や身体の一部に色マーカや発光部を取り付け、画像によりそれらを検出し、手・身体の形、動きなどを捉える装置の利用もある。この装置は一部実用化されている。しかし使用者の利便性を考えると、操作の度に装置を装着しなくてはならないというのは大きなデメリットであり、応用範囲を非常に制約する。また、データグローブの例に見られるように、装置を手などの可動部に装着して使用する装置は耐久性が問題になりやすい。
【００２４】
このように、３次元ポインティングデバイスには種々の方式のものがあるが、将来的に活用できる方式は装置を操作者が装着しないで済む、あるいは装置を操作者がじかに操作しないで済むビデオ映像などの動画像を解析して利用する方式であると考えられる。そこで、従来のカメラ技術について考察してみる。
【００２５】
＜従来のカメラ技術の考察＞
従来のカメラ技術では、背景に対して、キャラクタの合成（クロマキー）を行うには、あらかじめ、ブルーバックでキャラクタを撮影して、キャラクタの切り出しを容易にする必要があった。このため、ブルーバックで撮影ができるスタジオなど、撮影場所に制限があった。あるいは、ブルーバックでない状態で撮影した映像から、キャラクタを切り出すには、コマごとに、キャラクタの切り出し範囲を人手で編集せねばならないので、非常な手間がかかっていた。
【００２６】
同様に、キャラクタを３次元空間の中に生成するには、あらかじめ３次元のモデルをつくっておき、そこにキャラクタの写真を貼り付ける（テクスチャマッピング）をおこなうような方式をとっている。しかし、３次元モデルの生成、および、テクスチャマッピングには手間がかかり、映画制作など経費がかかってもよい用途以外では、ほとんど利用価値がなかった。
【００２７】
このような問題を解決するために、例えば、特開平１０‐１７７４９号公報に示されているような技術がある。これは、反射光画像を抽出し、距離画像を取得する方式である。しかし、この方式では、市販のセンサアレイが使用できないと言う問題があった。
【００２８】
【発明が解決しようとする課題】
上述したように、３次元ポインティングデバイスには種々の方式のものがあるが、将来的に活用できる方式は装置を操作者が装着しないで済む、あるいは装置を操作者がじかに操作しないで済むビデオ映像などの動画像を解析して利用する方式であると考えられる。
【００２９】
しかし、従来のカメラ技術では、背景に対して、キャラクタの合成（クロマキー）を行うには、あらかじめ、ブルーバックでキャラクタを撮影して、キャラクタの切り出しを容易にする必要があったため、ブルーバックで撮影ができるスタジオなど、利用可能な撮影場所に制限があった。
【００３０】
また、ブルーバックでない状態で撮影した映像から、キャラクタを切り出すには、コマごとに、キャラクタの切り出し範囲を人手で編集せねばならないので、非常な手間がかかり、実用的でなかった。
【００３１】
同様に、キャラクタを３次元空間の中に生成するには、あらかじめ３次元のモデルをつくっておき、そこにキャラクタの写真を貼り付ける（テクスチャマッピング）を行うような方式をとっている。しかし、３次元モデルの生成、および、テクスチャマッピングには手間がかかり、映画制作など経費がかかってもよい用途以外では、ほとんど利用価値がなかった。
【００３２】
また、反射光画像を抽出し、距離画像を取得する方式もあるが、この方式では、市販のセンサアレイが使用できないと言う問題があった。
このように、近年においては３次元入力を行う必要や要求が増大しているが、特殊な装置を装着することなく、簡易にジェスチャや動きを入力できる直接指示型の入力デバイスが存在しなかった。
【００３３】
従って、３次元空間でのポインティングや視点の変更を容易に行える実用的で簡易な３次元入力装置の開発が嘱望されている。
そこで、この発明の目的とするところは、３次元空間でのポインティングや視点の変更を容易に行えると共に、ユーザのジェスチャや動きをそのまま使って、アニメーションのキャラクタなどに自然な動きをつけたりすることができる実用的な３次元情報入力装置を提供することにある。
【００３４】
【課題を解決するための手段】
上記目的を達成するため、本発明は次のように構成する。すなわち、光の照射時と非照射時の被写体画像の差分像を得るための装置において、
被写体に光を照射する発光手段と、光電変換する複数の受光素子を２次元配列してなる撮像部とこれら撮像部で得られた電荷を転送して取り出すＣＣＤ型電荷転送手段とを有するエリアイメージセンサと、前記エリアイメージセンサのＣＣＤ型電荷転送手段の駆動および受光素子からＣＣＤ型電荷転送手段への電荷の転送のタイミングを制御し、前記ＣＣＤ型電荷転送手段中に、発光手段の発光時に受光した電荷量と、非発光時に受光した電荷量とが交互に並ぶように制御するタイミング信号生成手段とを備える。
【００３５】
このような構成によれば、ＣＣＤ型エリアイメージセンサの２次元配列された受光素子からタイミング制御により、発光時と非発光時の被写体画像の画素が画素単位で交互に並んだ状態の画像を直接、当該ＣＣＤ型エリアイメージセンサから取得することができるようになり、画素間の差を抽出することでリアルタイムで差分像が得られるようになって、手などの反射画像を容易にかつ実時間で獲得できる。これは、従来の画像処理で最も難しく、画像処理の応用の障壁になっていた対象物の画像の切り出しの処理を不要とするものである。従って、本発明により、従来実用化が困難であった種々の画像処理を市販部品を用いて、容易でかつ安定、かつ安価なコストでの提供を可能とするものであり、産業／家庭／娯楽など広範囲の市場に大きな変革をもたらす。
【００３６】
【発明の実施の形態】
以下、本発明の実施形態について、図面を参照して説明する。
（第１の実施例）
図１は本発明の第１の実施例の概略的なシステム構成を示すブロック図である。
【００３７】
図１において、１は撮像装置であり、ここでは図２に示す如きのＣＣＤ型エリアイメージセンサを用いている。２は発光制御手段、３は光源としてのＬＥＤ（発光素子）、４は光学系、５はタイミングジェネレータ、６は差分回路、７はアナログアンプ、８はアナログ／ディジタル変換器、９はシステム制御部、１０はフレームバッファ、１１はパソコンへのインタフェース回路である。
【００３８】
本システムでは、映像を取得する撮像装置１として図２に示す如きのＣＣＤ型エリアイメージセンサ２１を用いている。このＣＣＤ型エリアイメージセンサ２１は、行方向及び列方向に整然と配列された複数の受光素子２２（２２‐ａ１，〜，２２‐ｎｉ）と、これら受光素子２２（２２‐ａ１，〜，２２‐ｎｉ）のうち、垂直方向に並ぶ受光素子群からそれぞれ電荷を転送する垂直方向用電荷転送手段２３（２３‐ａ，〜，２３‐ｎ）と、垂直方向用電荷転送手段２３（２３‐ａ，〜，２３‐ｎ）の転送してきた電荷をライン単位で読み出して画像信号として出力すべく水平方向転送する水平方向用電荷転送手段（画像信号出力用電荷転送手段）２４とを持ち、画素を構成する各受光素子で得られた電荷を垂直方向用電荷転送手段２３（２３‐ａ〜，２３‐ｎ）で転送し、さらにこれを画像信号出力用の電荷転送手段である水平方向用電荷転送手段２４で転送してライン単位の画像信号として得るようにしている。
【００３９】
特に第１の実施形態での本システムで用いるＣＣＤエリアイメージセンサ２１は、垂直方向用電荷転送手段２３の段数、すなわち、垂直方向用電荷転送手段２３の保持可能な画素数の倍の段数（倍の画素数）を持つ水平方向用電荷転送手段２４を備えた素子構造のものを使用する。そして、奇数偶数のライン毎に電荷転送の制御をできることを利用して、奇数ラインは例えば、照明光をあてた被写体の画像取得に用い、偶数ラインは例えば、照明光をあてない被写体の画像取得に用い、垂直方向用電荷転送手段２３には交互に照明済み照明なしの画像の電荷が並ぶようにすると共に、垂直方向用電荷転送手段２３のライン数の２倍の電荷を保持する容量を有する水平方向用電荷転送手段２４に、ひとつの垂直方向用電荷転送手段２３当たり、２画素分（２電荷分）ずつを、水平方向用電荷転送手段２４内に転送して保持させることができるようにする。
【００４０】
そのため、本システムでは、各受光素子から対応する垂直方向用電荷転送手段２３への電荷転送を行うためのゲートが、受光素子毎に個別に制御できるようになっている例えば、図２のような形式で構成されている一般にプログレッシブＣＣＤ型エリアセンサと呼ばれるＣＣＤ型エリアイメージセンサを用いている。
【００４１】
タイミングジェネレータ５は、パルス信号あるいは変調信号などのタイミング制御信号を発生するためのものであり、発光手段３は被写体を照明する光源であって、例えばＬＥＤなどから構成されるものである。また、発光制御手段２は、この発光手段３の発光制御を行うためのものであって、前記タイミングジェネレータ５の発生するタイミング信号に同期して、発光手段３の発光を制御するものである。
【００４２】
また、光学系４は、発光手段３からの光が物体に当たって跳ね返ってくる反射光を集光して撮像装置１を構成しているＣＣＤ型エリアイメージセンサ２１の受光面に結像させるためのレンズである。
【００４３】
差分回路６は、発光手段３が発光したときに取得した画像と、発光しない時に取得した画像の差分を得るための回路であって、発光時と非発光時でのＣＣＤ型エリアイメージセンサ１の各画素の受光素子による電荷の差分をとるための回路である。
【００４４】
また、アナログアンプ７はこの差分回路６で得られた電荷信号を増幅するための回路であり、Ａ／Ｄ変換器８は、このアナログアンプ７で増幅された電荷信号をディジタルデータ化するための回路であり、フレームバッファ１０は、このディジタルデータ化された画像信号をフレーム単位で一時的に記憶するためのメモリである。
【００４５】
また、インタフェース回路１１は、フレームバッファ１０に記憶された信号をＰＣ（パソコン）などによる処理装置本体に伝送するためのものであり、システム制御手段９は、受光制御手段２、タイミングジェネレータ５、Ａ／Ｄ変換器８、フレームバッファ１０およびインタフェース回路１１などの各種制御を司るためのものである。
【００４６】
なお、ＣＣＤエリアイメージセンサ１の詳細な駆動方法などについては、「東芝  ＣＣＤエリアイメージセンサ  データブック」などに詳しく記載されているので、ここでは、わかり易くするために、本発明の動作を説明するのに必要な部分のみについて触れる。
【００４７】
＜ＣＣＤエリアイメージセンサ１の構成例＞
図２はエリアイメージセンサ２１の概略的な構成例を示す平面図である。ＣＣＤエリアイメージセンサ２１は図２に示すように、複数の受光素子２２（２２‐ａ１，２２‐ａ２，２２‐ａ３，〜，２２‐ａｉ，〜，２２‐ｎ１，２２‐ｎ２，２２‐ａ３，〜，２２‐ｎｉ）、垂直方向用電荷転送手段２３（２３‐ａ，２３‐ｂ，〜，２３‐ｎ）、水平方向用電荷転送手段２４とを備えている。
【００４８】
これらのうち、受光素子２２（２２‐ａ１，２２‐ａ２，２２‐ａ３，〜，２２‐ａｉ，〜，２２‐ｎ１，２２‐ｎ２，２２‐ａ３，〜，２２‐ｎｉ）は、フォトダイオード（Photodiode：PD）を２次元的に、すなわち、マトリックス的に整然と配置したものであり、ここではマトリックス位置毎にａ１，ａ２，ａ３，〜，ａｉ，〜，ｎ１，ｎ２，ａ３，〜，ｎｉなる添え字を付してどの位置の受光素子であるかを示してある。また、電荷転送手段は垂直方向用の電荷転送手段２３（２３‐ａ、２３‐ｂ、２３‐ｃ，〜，２３‐ｎ）と水平方向用の電荷転送手段２４の２種に分かれており、この部分がＣＣＤ（Charge Couple Device）により構成されるアナログシフトレジスタになっている。
【００４９】
垂直方向用の電荷転送手段２３（２３‐ａ、２３‐ｂ、２３‐ｃ，〜，２３‐ｎ）は垂直方向（Ｙ軸方向）に並ぶ各受光素子群単位に一つずつ配置されている。この例では、垂直方向用の電荷転送手段２３‐ａは受光素子２２‐ａ１，２２‐ａ２，２２‐ａ３，〜，２２‐ａｉの電荷転送用であり、垂直方向用の電荷転送手段２３‐ｂは受光素子２２‐ｂ１，２２‐ｂ２，２２‐ｂ３，〜，２２‐ｂｉの電荷転送用であり、…  …、垂直方向用の電荷転送手段２３‐ｎは受光素子２２‐ｎ１，２２‐ｎ２，２２‐ｎ３，〜，２２‐ｎｉの電荷転送用であると云った具合である。
【００５０】
水平方向用の電荷転送手段２４は、これら垂直方向用の電荷転送手段２３‐ａ、２３‐ｂ、２３‐ｃ，〜，２３‐ｎにてシフトされて転送されてきた電荷を１段分（１ライン分、すなわち、Ｘ軸方向の一並びで見た場合でのｎ個分の受光素子からの蓄積電荷）を受け取ってＣＣＤイメージセンサ２１の出力として外部に出力するためのものである。
【００５１】
このような構成のＣＣＤイメージセンサ２１を駆動するために各種の制御信号が必要であり、これらの制御信号は前述のタイミングジェネレータ５で発生する。
【００５２】
タイミングジェネレータ５で発生してＣＣＤイメージセンサ２１に与える信号は、図２に示すように、φ１，φ２，φ３，φ４，φ５，φ６，Ｇ１，Ｇ２の８種類のものがある。
【００５３】
これらのうち、φ１，φ２，φ３は垂直方向の電荷転送を行い、φ４，φ５，φ６は水平方向の電荷転送を行い、Ｇ１，Ｇ２は受光素子から電荷転送手段への電荷転送を制御するゲートの開閉を制御するものである。Ｇ１は奇数ライン、Ｇ２は偶数ラインに対する制御を行うものとする。
【００５４】
＜動作説明＞
次にこのような構成の第１の実施形態における本システムの動作を、図３〜図７を用いて説明する。本システムでは、被写体における目的部分の画像を抽出するために、無照明の場合での被写体画像と、照明をあてた場合での被写体の画像を得てこれをフレームメモリなどを使用せずに両者の差を抽出し、目的部分の反射光抽出を行うが、その動作について説明する。なお、図８は処理の流れ図である。
【００５５】
処理に先立ち、２次元配列の受光素子２２で構成されるＣＣＤイメージセンサ２１の受光部は、２２‐ａ１，２２‐ｂ１，２２‐ｃ１，〜，２２‐ｎ１の計ｎ個の受光素子よりなる第１ライン、２２‐ａ２，２２‐ｂ２，２２‐ｃ２，〜，２２‐ｎ２の計ｎ個の受光素子よりなる第２ライン、２２‐ａ３，２２‐ｂ３，２２‐ｃ３，〜，２２‐ｎ３の計ｎ個の受光素子よりなる第３ライン、〜，２２‐ａｉ，２２‐ｂｉ，２２‐ｃｉ，〜，２２‐ｎｉの計ｎ個の受光素子よりなる第ｉライン、と云った具合に、テレビジョンの走査線対応にｉ本分のラインを形成しており、第１ラインから第ｎラインまでの各受光素子により得た電荷を、それら各受光素子対応の垂直方向用電荷転送手段２３‐ａ，２３‐ｂ，２３‐ｃ，〜，２３‐ｎに移動し、１段ずつ転送すると水平方向用電荷転送手段２４には第ｉライン、第ｉ−１ライン、〜，第３ライン、第２ライン、第１ラインと云う順に、１ライン分ずつの電荷が移され、このとき、水平方向用電荷転送手段２４をシフト動作させることにより１ライン単位で画像信号が出力できることになる。
【００５６】
今、ｉを奇数の整数とすると、第ｉライン、第ｉ−２ライン、〜，第３ライン、第１ラインがテレビジョン走査の奇数ライン、そして、第ｉ−１ライン、第ｉ−３ライン、〜，第４ライン、第２ラインがテレビジョン走査の偶数ラインに相当することになる。
【００５７】
そして、水平方向用電荷転送手段２４の出力する画像信号が、偶数ラインを読み出したものであるのか、奇数ラインを読み出したものであるのかを識別することができようにするために、ＣＣＤエリアイメージセンサ２１にはフラグＣの出力があり、また、各受光素子２２や垂直方向用電荷転送手段２３‐ａ，２３‐ｂ，２３‐ｃ，〜，２３‐ｎおよび水平方向用電荷転送手段２４の内容（保持電荷）をクリアできるようにするためのクリア端子がある。
【００５８】
従って、初めに、フラグＣのクリアと、各受光素子２２や垂直方向用電荷転送手段２３‐ａ，２３‐ｂ，２３‐ｃ，〜，２３‐ｎおよび水平方向用電荷転送手段２４のクリアのために、クリア信号を与える初期化処理を行う（ステップＳ１００）。
【００５９】
次に、被写体を照明して撮像すべく、発光制御手段２は被写体照明用の発光素子（ＬＥＤ）３を発光させる（ステップＳ１０１）。これにより発光した光は、被写体である物体に反射され、レンズ（発光系）４により集光され、撮像部１を構成しているＣＣＤエリアイメージセンサ２１に入射され、その２次元配列の受光素子２２上に光学像を結像させる。結像した光学像は画素を構成する各受光素子２２‐ａ１，２２‐ａ２，〜，２２‐ｎ１，〜，２２‐ｎｉにて反射光の強さに比例した電荷に変換され、蓄積される。これで、撮像部１を構成しているＣＣＤエリアイメージセンサ２１の各受光素子２２‐ａ１，２２‐ａ２，〜，２２‐ｎ１，〜，２２‐ｎｉによりその画素位置での画素単位の電荷が得られることになる。
【００６０】
Ｇ１に電圧を印加することで受光素子２２‐ａ１，２２‐ａ２，〜，２２‐ｎ１，〜，２２‐ｎｉのうち、奇数ラインの受光素子２２‐ａ１，２２‐ａ３，〜，２２‐ａｎ，〜，２２‐ｎ１，２２‐ｎ３，〜，２２‐ｎｉから垂直方向用電荷転送手段２３‐ａ，２３‐ｂ，２３‐ｃ，〜，２３‐ｎへのゲートをアクティブにする。
【００６１】
すると、奇数ラインの受光素子２２‐ａ１，２２‐ａ３，〜，２２‐ａｎ，〜，２２‐ｎ１，２２‐ｎ３，〜，２２‐ｎｉに蓄積された電荷のみが、各受光素子対応の垂直方向用電荷転送手段２３‐ａ，２３‐ｂ，２３‐ｃ，〜，２３‐ｎに転送される結果、図３のようになる（ステップＳ１０２）。このとき、偶数ラインの受光素子２２‐ａ２，２２‐ａ４，〜，２２‐ａｎ−１，〜，２２‐ｎ２，２２‐ｎ４，〜，２２‐ｎｉ−１に蓄積された電荷は垂直方向用電荷転送手段２３‐ａ，２３‐ｂ，２３‐ｃ，〜，２３‐ｎに全く転送されない。そのため、状態は図３の如きとなる。尚、ｅは画素毎の電荷を示している。
【００６２】
この後、ＣＣＤエリアイメージセンサ２１の各受光素子２２‐ａ１，２２‐ａ２，〜，２２‐ｎ１，〜，２２‐ｎｉを一旦、リセットして各受光素子２２‐ａ１，２２‐ａ２，〜，２２‐ｎ１，〜，２２‐ｎｉ内に蓄積された電荷をクリアする（ステップＳ１０３）。
【００６３】
こうして、奇数ラインの受光素子２２‐ａ１，２２‐ａ３，〜，２２‐ａｎ，〜，２２‐ｎ１，２２‐ｎ３，〜，２２‐ｎｉに蓄積された電荷は、奇数ラインのもののみが垂直方向用電荷転送手段２３‐ａ，〜，２３‐ｎに保持される。このとき、垂直方向用電荷転送手段２３‐ａ，〜，２３‐ｎには偶数ラインの位置が空となっている。
【００６４】
次に、被写体を非照明で撮像すべく、発光制御手段２は発光素子（ＬＥＤ）３の発光を停止させる（ステップＳ１０４）。そして、今度は、偶数ラインの受光素子２２‐ａ２，２２‐ａ４，〜，２２‐ａｎ−１，〜，２２‐ｎ２，２２‐ｎ４，〜，２２‐ｎｉ−１に蓄積された電荷のみを、垂直方向用電荷転送手段２３‐ａ，２３‐ｂ，２３‐ｃ，〜，２３‐ｎに転送するために、Ｇ２に電圧を印加する。これにより、当該垂直方向用電荷転送手段２３‐ａ，２３‐ｂ，２３‐ｃ，〜，２３‐ｎへのゲートがアクティブになる。
【００６５】
すると、図４のように、非発光時の蓄積電荷が偶数ラインの受光素子２２‐ａ２，２２‐ａ４，〜，２２‐ａｎ−１，〜，２２‐ｎ２，２２‐ｎ４，〜，２２‐ｎｉ−１から対応の垂直方向用電荷転送手段２３‐ａ，２３‐ｂ，２３‐ｃ，〜，２３‐ｎに転送される（ステップＳ１０５）。
【００６６】
これで、空きとなっていた垂直方向用電荷転送手段２３‐ａ，〜，２３‐ｎの偶数ライン対応位置に偶数ラインの受光素子からの電荷が移され、図４からわかるように、この状態で、垂直方向用電荷転送手段２３‐ａ，２３‐ｂ，２３‐ｃ，〜，２３‐ｎには、発光時と非発光時の反射光の強度に比例した電荷が交互に蓄積されることになる。
【００６７】
次に、垂直方向用電荷転送手段２３‐ａ，２３‐ｂ，２３‐ｃ，〜，２３‐ｎに蓄積されている電荷を、一段転送（１画素分シフト）する（ステップＳ１０７）。この転送操作は、φ１，φ２，φ３に、図９に示すように電圧を印加することで行える。今の例では、図４で一番下段に蓄積されていた非発光時の電荷が、水平方向用電荷転送手段２４に転送され、図５に示すように蓄積される。
【００６８】
次に偶数ラインが既に読み出されているかどうかを調べる（ステップＳ１０８）。つまり、フラグＣが“０”であるならば、まだ偶数ラインは読み出されたとセットされていないので、まず、読み出しの前に、水平方向用電荷転送手段２４に蓄積されている電荷を、φ４，φ５，φ６に電圧を印加して、転送する（ステップＳ１０９）。
【００６９】
この時点で、図６に示すように、非発光時の電荷は一段左にシフトした場所に蓄積されている。次に、現在の偶数ラインが読み出されたので、そのことをフラグＣにセットする（ステップＳ１１０）。
【００７０】
フラグセット後、続いて垂直方向用電荷転送手段２３‐ａ，２３‐ｂ，２３‐ｃ，〜，２３‐ｎの電荷を一段転送する（ステップＳ１０７）。すると、水平方向用電荷転送手段２４には図７に示すように発光時と非発光時の電荷が交互に蓄積される。
【００７１】
この時点で、水平方向用電荷転送手段２４には偶数ラインの電荷は既に読み出されているので、今度は、水平方向用電荷転送手段２４に蓄積されているすべての電荷をシフトして、取り出す（ステップＳ１１１）。取り出した後で、フラグＣを“０”に戻す（ステップＳ１１２）。
【００７２】
このようにして、垂直方向用電荷転送手段２３‐ａ，２３‐ｂ，２３‐ｃ，〜，２３‐ｎでは各ラインの電荷を１段ずつ水平方向用電荷転送手段２４にシフトさせ、且つ、水平方向用電荷転送手段２４はこの垂直方向用電荷転送手段２３‐ａ，２３‐ｂ，２３‐ｃ，〜，２３‐ｎから受け取ったライン単位の電荷群をシフトして画像信号として出力する。
【００７３】
こうして水平方向用電荷転送手段２４から得られたライン単位の画像信号は、画素毎に発光時の画像、非発光時の画像の交互の並びとなっている。そして、各画素は画像からみて隣接位置に対応するものであり、距離差は微差であるから、隣接画素間での差を取ると、事実上、発光時と非発光時の差分の画像に相当することになる。
【００７４】
本システムで用いたＣＣＤエリアイメージセンサ２１は、垂直方向用電荷転送手段２３‐ａ，２３‐ｂ，２３‐ｃ，〜，２３‐ｎの段数、すなわち、各垂直方向用電荷転送手段２３‐ａ，２３‐ｂ，２３‐ｃ，〜，２３‐ｎの保持可能な画素数の倍の段数（倍の画素数）を持つ水平方向用電荷転送手段２４を備えた素子構造のものを使用しているので、上述のように、奇数ライン１ラインと偶数ライン１ラインの２列分の電荷を画素単位で交互に、ひとつの水平方向用電荷転送手段２４内に転送して保持させることができる。
【００７５】
この電荷は差分回路６で発光時と非発光時の差分をとる（ステップＳ１１３）電荷の蓄積は垂直方向用電荷転送手段に蓄積された電荷がなくなるまで行う（ステップＳ１１４）。
【００７６】
すなわち、垂直方向用電荷転送手段２３‐ａ，２３‐ｂ，２３‐ｃ，〜，２３‐ｎでは照明をあてた画像である奇数ラインの画像の電荷と、照明をあてない画像である偶数ラインの画像の電荷をそれぞれ交互に並べた状態で保持しているので、これらの各ラインの電荷を１段（１画素分）ずつ画像信号出力用の電荷転送手段である水平方向用電荷転送手段２４にシフトさせ、且つ、当該水平方向用電荷転送手段２４はこの垂直方向用電荷転送手段２３‐ａ，２３‐ｂ，２３‐ｃ，〜，２３‐ｎから２段分、受け取る毎に電荷群をシフトして画像信号として出力する。
【００７７】
以上のようにすることで、目標物以外からの反射は、非発光時の電荷として偶数ラインの画像に蓄積できる。その電荷を、発光時の電荷である奇数ラインの画像から引き算すると、純粋に、目標物からの反射光のみを抽出できる。例えば、図１０のような反射光が抽出できる。そして、入力装置に近い部分からの反射光は強く、反射光の強さと距離の２乗とは反比例の関係にある。
【００７８】
従って、この関係は次のように表すことができる。
Rij=K/d ＾２        …（式１）
ここで、K は例えば、d=0.5mのときに、Rij の値が“255 ”になるように調整された係数である。
【００７９】
従って、式１をd について解くことで、距離値は求められる。つまり、反射光を抽出することで、距離画像が抽出できるのである。
あとは、ステップＳ１０１の処理に戻り、反射光の取得を繰り返す。この繰り返しを例えば、毎秒３０回行えば、秒３０枚の反射画像（距離画像）が抽出できる。
【００８０】
このような本システムは、従来の、画像処理による反射画像（距離画像）抽出が、毎秒１／６枚以下であったことを考えると、本発明システムでは“３０／（１／６）＝１８０”と、実に１８０倍もの性能アップであり、単純にシステムコストの比較をしてみても、“１／６”対“３０”で１／１８０以下にすることが可能であることがわかる。また、ＣＣＤ型エリアイメージセンサを用いて、その読み出し制御の工夫で対処することから、現実的なシステムの実現可能性も大きく、実用性大である。
【００８１】
＜第１の実施例の効果＞
以上の第１の実施形態によれば、手などの反射画像を容易にかつ実時間で獲得できる。これは、従来の画像処理で最も難しく、画像処理の応用の障壁になっていた対象物の画像の切り出しの処理を不要とするものである。従って、本実施例により、従来実用化が困難であった種々の画像処理を市販部品を用いて、容易でかつ安定、かつ安価なコストでの提供を可能とするものであり、産業／家庭／娯楽など広範囲の市場に大きな変革をもたらすものである。
【００８２】
（第１の実施例の変形例）
上述の第１の実施例では、水平方向用電荷転送手段２４では、一段毎にシフトし、発光時と非発光時の電荷を一列に並べて蓄積し、差分回路に送る方式になっている。しかし、必ずしもこれに限定されるものではない。
【００８３】
例えば、水平方向用電荷転送手段２４を２段（２組分）持つＣＣＤ型エリアイメージセンサを用いることも可能である。この２段構成のＣＣＤ型エリアイメージセンサの場合、例えば、まず、上段の水平方向用電荷転送手段２４に非発光時の電荷が並ぶ。
【００８４】
そこで、次の転送で、下段の水平方向用電荷転送手段２４に非発光時の電荷を転送し、次に、垂直方向用電荷転送手段２３‐ａ，２３‐ｂ，〜，２３‐ｎから発光時の電荷を転送することで、図１１に示すように、上段と下段の水平方向用電荷転送手段２４ａ，２４ｂ別々に発光時と非発光時の電荷が並ぶ。これを差分回路６にて差分すればよい。
【００８５】
あるいは、水平方向用電荷転送手段２４は１段で、ライン単位で転送し、まず、差分回路６に１ライン分の非発光時の電荷を転送し、次に、発光時の電荷を転送するという方式をとることも可能である。
【００８６】
あるいは、ＣＣＤエリアイメージングセンサの出力に１ライン分の遅延素子を配し、非発光時の１列の出力をこの遅延素子に入力し、次の発光時の１列を遅延素子を通さずに取り出すようにすれば、非発光時と発光時の出力が同時に得られる。これを差分回路６に入力し、差分出力を得るようにすることもできる。
【００８７】
図１６において、水平ＣＣＤに入った非発光時電荷は、取り出された後、１Ｈディレイラインに入力される。１Ｈディレイラインとは、信号の入力と出力の間に１Ｈ（水平走査１本）分の時間遅延を与えるものである。図１７において、水平ＣＣＤに入った発光時電荷は取り出された後、直接差分回路に入力する。
【００８８】
したがって、図１８にあるように、１Ｈディレイラインを通った非発光時信号と、直接差分回路に入力される発光時信号は、同時に差分回路に入力することとなり、差分回路内にイメージバッファなどを持つ必要が無くなる。典型的なＣＣＤ型イメージセンサは水平ＣＣＤをひとつだけ持つので、この構成を採ることにより、より容易に実現しやすくなる。ＣＣＤから出力される信号を、ディレイラインに送るか、直接差分回路に送るかは、図示しないスイッチ手段がこれを行い、このスイッチ手段は、タイミングジェネレータにより制御される。なお、発光時の信号をディレイラインに入れ、非発光時の信号を直接差分回路に入れても構わない。
【００８９】
また、第１の実施形態では、偶数ラインと奇数ラインを発光時と非発光時の画像抽出用に割り当てているが、必ずしもこれに限定されるものではない。また、精度をあげるべく、発光時の電荷を蓄積するために、非発光時の電荷を蓄積するラインの２倍のラインを用いるようにすることも可能である。
【００９０】
（第２の実施例）
第２の実施例は、概略構成は実施例と同様である。しかし、この例では受光素子と垂直方向用電荷転送手段２３‐ａ，２３‐ｂ，２３‐ｎ間の電荷転送方式が異なる別のＣＣＤ型エリアイメージセンサを用いた場合の実現例である。
【００９１】
第１の実施形態では、タイミングジェネレータ５が発生する制御信号のうち、Ｇ１は奇数ライン、Ｇ２は偶数ラインの受光素子２２から垂直方向用電荷転送手段２３への電荷転送のゲートの開閉を行っていた。そして、それぞれの受光素子２２が変換／蓄積した電荷は、その受光素子２２の対応する垂直方向用電荷転送手段２３の対応位置に転送されていた。
【００９２】
これに対し、第２の実施形態では、受光素子２２は偶数ライン、奇数ライン関係なく、隣り合う２つの対になる受光素子２２が変換／蓄積した電荷が同一の垂直方向用電荷転送手段２３に転送されるようなゲート構成になっているエリアイメージセンサを用いている。
【００９３】
図１２にこのようなエリアイメージセンサにおける電荷蓄積の動作例を、また、図１３に処理の流れ図を示す。図１３の流れ図では、図８の流れ図にステップＳ２０４の処理が付加された点が異なる。すなわち、ステップＳ２０２において、Ｇ１に電圧を印加してゲートを開き、奇数ラインの受光素子２２‐ａ１，２２‐ａ３，〜，２２‐ａｎ，〜，２２‐ｎ１，２２‐ｎ３，〜，２２‐ｎｉから垂直方向用電荷転送手段２３ａ，２３ｂ，〜，２３ｎに転送する。
【００９４】
この時点では、図３と同様に垂直方向用電荷転送手段２３ａ，２３ｂ，〜，２３ｎに電荷が蓄積される。
画素を構成する各受光素子（ＰＤ）２２‐ａ１，２２‐ａ２，〜，２２‐ｎ１，〜，２２‐ｎｉをリセット後（ステップＳ２０３）、ステップＳ２０４で、垂直方向用電荷転送手段２３‐ａ，２３‐ｂ，〜，２３‐ｎに蓄積されている電荷を一段下方にシフトする。すると、垂直方向用電荷転送手段２３‐ａ，２３‐ｂ，〜，２３‐ｎに蓄積保持される電荷は図１２のような状態になる。すなわち、奇数ライン位置が空となり、電荷は各偶数ライン位置に位置する状態になる。
【００９５】
次に発光素子３を非発光状態にし（ステップＳ２０５）、Ｇ１に電圧を印加して、ゲートをあけ、受光した電荷を奇数ラインから垂直方向用電荷転送手段２３‐ａ，２３‐ｂ，２３‐ｃ，〜，２３‐ｎに転送する（ステップＳ２０６）。このとき、ゲートは奇数ラインの受光素子の電荷が転送されるのと同一の垂直方向用電荷転送手段２３‐ａ，２３‐ｂ，２３‐ｃ，〜，２３‐ｎの場所へ転送される。
【００９６】
その結果として、垂直方向用電荷転送手段２３‐ａ，２３‐ｂ，２３‐ｃ，〜，２３‐ｎに図１４のように電荷が蓄積される。以降は、第１の実施形態の例と同様に水平方向用電荷転送手段２４に転送し、差分をとることで、反射画像（距離画像）を取得できる。
【００９７】
＜第２の実施形態の効果＞
以上の第２の実施形態によると、発光時と非発光時とで同じ発光素子（ＰＤ）で受光しているので、発光素子の特性のムラなどに影響されずに、精度の高い反射画像（距離画像）を得ることができるので、その効果は大きい。
【００９８】
（第２の実施形態の変形例）
水平方向用電荷転送手段２４の構成に関して、第１の実施形態と同様に複数の構成をとることができる。
【００９９】
また、第２の実施形態では奇数ラインの受光素子２２‐ａ１，２２‐ａ３，〜，２２‐ａｎ，〜，２２‐ｎ１，２２‐ｎ３，〜，２２‐ｎｉのみ用いている。そこで、この奇数ラインの受光素子２２‐ａ１，２２‐ａ３，〜，２２‐ａｎ，〜，２２‐ｎ１，２２‐ｎ３，〜，２２‐ｎｉの受光面側に近赤外線波長領域通過のバンドパスフィルタを設け、発光体が発光する光を、奇数ラインの受光素子２２‐ａ１，２２‐ａ３，〜，２２‐ａｎ，〜，２２‐ｎ１，２２‐ｎ３，〜，２２‐ｎｉのみが受光できるようにする。
【０１００】
そして、残りの偶数ラインの受光素子２２‐ａ２，２２‐ａ４，〜，２２‐ａｎ−１，〜，２２‐ｎ２，２２‐ｎ４，〜，２２‐ｎｉ−１は受光面側にカラーフィルタを設ける構成とすることで、偶数ラインの受光素子２２‐ａ２，２２‐ａ４，〜，２２‐ａｎ−１，〜，２２‐ｎ２，２２‐ｎ４，〜，２２‐ｎｉ−１を用いれば、通常のカラー撮像ができることから、奇数ラインと偶数ラインの選択的な利用により、カラー画像と距離画像双方の撮像を１つの入力装置で実施できる装置となる。
【０１０１】
これにより、クロマキーカメラなどを実現できるので、その効果は大きい。
以上、種々の実施例を説明したが、要するに本発明は、距離画像を得るため、被写体の光反射像を光の照射時と非照射時の被写体画像の差分像から得るべく、被写体に光を照射する発光手段と、光電変換する複数の受光素子を２次元配列してなる撮像部とこれら撮像部で得られた電荷を転送して取り出すＣＣＤ型電荷転送手段とを有するエリアイメージセンサと、前記エリアイメージセンサのＣＣＤ型電荷転送手段の駆動および受光素子からＣＣＤ型電荷転送手段への電荷の転送のタイミングを制御し、エリアイメージセンサの全て、あるいは各々のＣＣＤ型電荷転送手段の中に発光手段が発光しているときに受光した電荷量と、発光しないときに受光した電荷量が予め決められた配列で並ぶように制御するタイミング信号生成手段とを備える構成としたものである。
【０１０２】
このような構成によれば、ＣＣＤ型エリアイメージセンサの２次元配列された受光素子からタイミング制御により、発光時と非発光時の被写体画像の画素が画素単位で交互に並んだ状態の画像を直接、当該ＣＣＤ型エリアイメージセンサから取得することができるようになり、画素間の差を抽出することでリアルタイムで差分像が得られるようになって、手などの反射画像を容易にかつ実時間で獲得できる。これは、従来の画像処理で最も難しく、画像処理の応用の障壁になっていた対象物の画像の切り出しの処理を不要とするものである。
【０１０３】
従って、本発明により、従来実用化が困難であった種々の画像処理を市販部品を用いて、容易でかつ安定、かつ安価なコストでの提供を可能とするものであり、産業／家庭／娯楽など広範囲の市場に大きな変革をもたらす。そして、これにより、３次元空間でのポインティングや視点の変更を容易に行えると共に、ユーザのジェスチャや動きをそのまま使って、アニメーションのキャラクタなどに自然な動きをつけたりすることができるようになる。
【０１０４】
ＣＣＤ型エリアイメージセンサの中の、ＣＣＤ型電荷転送手段に、発光時の電荷、非発光時の電荷が予め決められた配列で並ぶが、この差分を取得し、発光手段の光の反射分のみを取り出すのは、差分回路である。典型的なＣＣＤ型エリアイメージセンサは差分回路を持っていないので、ＣＣＤ型イメージセンサの出力以降に差分回路を設けるのが典型的である。
【０１０５】
しかし、もちろん差分回路を内蔵したＣＣＤ型イメージセンサを用いることもできる。ＣＣＤ型エリアイメージセンサの持つＣＣＤ型電荷転送手段の構成により、出力される信号のパターンが異なる。図７のように、対応する（つまり差分演算をする）、２つの出力が交互に出てくる場合は、差分回路は単純である。はじめの信号をサンプルホールド回路などでクランプしておき、次の信号が入力された時点で差分演算をすればよい。差分演算は例えば、差動増幅器などで容易に実現できる。図１１のように、対応する２つの信号が同時に出力される場合も容易に差分出力が得られる。
【０１０６】
図１８のように、対応する２つの信号がライン単位で交互に出力される場合は、少し複雑になる。図１８のように、ディレイラインを用いて、先に出力される信号を遅延させれば、差分回路には対応する２つの信号が同時に入力される。また、差分回路内に、１ライン分のバッファを用意しておくという方法もある。
【０１０７】
本実施例では主に、ＡＤコンバータでデジタル信号に変換する前に差分を行う構成を扱っているが、実際にはこれに限らない。例えば、ＡＤコンバータでデジタル信号に変換した後、差分を演算することもできる。ただし、この場合は、差分演算によってダイナミックレンジが犠牲になるというデメリットも持っており、例えば、今、非発光時の出力が発光時の４分の３程度の大きさがある場合を考えてみると、これを共に１０ｂｉｔのＡＤコンバータでデジタル化した後、その差分を演算すると、２ｂｉｔ分ダイナミックレンジが減少してしまう。
【０１０８】
このような現象は特に、非発光時の出力が比較的大きいときに起こりがちである。このような場合において、ＡＤ変換する前に差分を演算できることのメリットは大きい。逆に、ＡＤ変換した後、差分を行うのであれば、例えば、１枚分のイメージバッファを確保すれば、本実施例で述べたように、エリアイメージセンサのＣＣＤ型電荷転送手段内に特別な配列で電荷を配列しなくても実現できる。しかし、前述のダイナミックレンジ低下に加え、１枚分もの大きなイメージバッファを用意しなくてはならない、デジタル化した後の演算コストがかかるなどのデメリットがある。
【０１０９】
また、フレームあるいはフィールド毎に、発光時の画像、非発光時の画像と順に出力されるが、その２回の撮像間には１／６０秒ほどの時間間隔があり、早い動きを撮像しているときには、像のぶれが起こる。本実施例による手法では、発光時の画像、非発光時の画像の双方を非常に短い時間で撮像できるため、このような問題が無い。
なお、本発明は成就した実施例に限定されるものではなく、適宜変形して実施し得る。
【０１１０】
【発明の効果】
以上詳述したように、本発明によれば、３次元空間でのポインティングや視点の変更を容易に行えると共に、ユーザのジェスチャや動きをそのまま使って、アニメーションのキャラクタなどに自然な動きをつけたりすることができる実用的な３次元情報入力装置を提供することができる。
【図面の簡単な説明】
【図１】本発明を説明するための図であって、本発明の第１の実施形態の構成例を説明するための図。
【図２】本発明を説明するための図であって、本発明の第１の実施形態のより具体的な構成例を説明するための図。
【図３】本発明を説明するための図であって、本発明の第１の実施形態のより具体的な構成例を説明するための図。
【図４】本発明の第１の実施形態を説明するための図。
【図５】本発明の第１の実施形態を説明するための図。
【図６】本発明の第１の実施形態を説明するための図。
【図７】本発明を説明するための図であって、第１の実施形態における電荷転送の動作例を説明するための図。
【図８】本発明を説明するための図であって、第１の実施形態における処理の流れの例を示す図。
【図９】本発明を説明するための図であって、第１の実施形態における電荷転送を制御する信号の例と動作遷移を示す図。
【図１０】本発明を説明するための図であって、第１の実施形態で取得される反射画像例を示す図。
【図１１】本発明を説明するための図であって、第１の実施形態の変形例における電荷転送の動作例を示す図。
【図１２】本発明の第１の実施形態を説明するための図。
【図１３】本発明を説明するための図であって、第２の実施形態における処理の流れの例を示す図。
【図１４】本発明を説明するための図であって、第２の実施形態における電荷転送の動作例を示す図。
【図１５】従来例を説明するための図。
【図１６】本発明を説明するための図であって、第１の実施形態の変形例における電荷転送の動作例を示す図。
【図１７】本発明を説明するための図であって、第１の実施形態の変形例における電荷転送の動作例を示す図。
【図１８】本発明を説明するための図であって、第１の実施形態の変形例における電荷転送の動作例を示す図。
【符号の説明】
１…撮像装置
２…発光制御手段
３…光源としてのＬＥＤ（発光素子）
４…光学系
５…タイミングジェネレータ
６…差分回路
７…アナログアンプ
８…アナログ／ディジタル変換器（Ａ／Ｄ変換器）
９…システム制御部
１０…フレームバッファ
１１…パソコンへのインタフェース回路
２１…ＣＣＤ型エリアイメージセンサ
２２（２２‐ａ１，〜，２２‐ｎｉ）…受光素子
２３（２３‐ａ，〜，２３‐ｎ）…垂直方向用電荷転送手段
２４…水平方向用電荷転送手段（画像信号出力用電荷転送手段）。
【図１】
0003736829.tif 000002
【図２】
0003736829.tif 000003
【図３】
0003736829.tif 000004
【図４】
0003736829.tif 000005
【図５】
0003736829.tif 000006
【図６】
0003736829.tif 000007
【図７】
0003736829.tif 000008
【図８】
0003736829.tif 000009
【図９】
0003736829.tif 000010
【図１０】
0003736829.tif 000011
【図１１】
0003736829.tif 000012
【図１２】
0003736829.tif 000013
【図１３】
0003736829.tif 000014
【図１４】
0003736829.tif 000015
【図１５】
0003736829.tif 000016
【図１６】
0003736829.tif 000017
【図１７】
0003736829.tif 000018
【図１８】
0003736829.tif 000019