(57)【特許請求の範囲】
【請求項１】
パルス信号もしくは変調信号を発生させるタイミング信号生成手段と、
前記タイミング信号生成手段からの信号に基づいて発光する発光手段と、
前記タイミング信号生成手段からの信号と同期することにより、前記発光手段で発光した光の物体による反射光を受光する第１の受光手段と、
前記発光手段の発光による物体の反射光を遮断し、可視光を受光する第２の受光手段と、
前記第１の受光手段と、前記第２の受光手段とから、物体の反射光画像と可視光画像とを同時に検出する検出手段と具備したことを特徴とする画像取得装置。
【請求項２】
前記第１の受光手段が受光する物体反射光を結像するための第１の結像手段と、
前記第２の受光手段が受光する可視光を結像するための第２の結像手段とを具備することを特徴とする請求項１に記載の画像取得装置。
【請求項３】
前記発光手段で発光した光による物体の反射光と可視光を分光するための分光手段とを具備し、前記第１の受光手段で前記反射光を受光し、前記第２の受光手段で前記可視光を受光することを特徴とする請求項１に記載の画像取得装置。
【請求項４】
アレイ状に行列配列された受光セルが行毎個別に受光するエリアイメージセンサと、
パルス信号もしくは変調信号を発生させるタイミング信号生成手段と、
前記エリアイメージセンサの受光セルの受光を行毎個別に制御するための制御信号を、前記タイミング信号生成手段からの信号に基づいて生成する制御信号生成手段と、
前記タイミング信号生成手段からの信号に基づいて発光する発光手段と、
前記制御信号に基づいて、前記発光手段の発光時に受光した行の受光量と非発光時に受光した行の受光量の差分を出力する差分手段と、
前記差分手段で出力した差分から物体の反射光画像を検出する検出手段と、
前記エリアイメージセンサに受光される光のうち、前記発光手段の発光する光による物体の反射光のみを通過する反射光通過フィルタと、
前記エリアイメージセンサに受光される光のうち、前記発光手段の発光する光による物体の反射光を遮断して可視光を通過する可視光通過フィルタと、
前記エリアイメージセンサで受光する際に光を通過させる前記反射光通過フィルタと前記可視光通過フィルタのうちの一方を選択する選択手段とを具備し、
前記制御信号生成手段は、前記エリアイメージセンサが前記発光手段で発光した光による物体の反射光を受光するための制御信号と、可視光を受光するための制御信号を選択して出力することを特徴とする画像取得装置。
【請求項５】
アレイ状に行列配列された受光セルが行毎個別に受光するエリアイメージセンサと、
パルス信号もしくは変調信号を発生させるタイミング信号生成手段と、
前記エリアイメージセンサの受光セルの受光を行毎個別に制御するための制御信号を、前記タイミング信号生成手段からの信号に基づいて生成する制御信号生成手段と、
前記タイミング信号生成手段からの信号に基づいて発光する発光手段と、
前記制御信号に基づいて、前記発光手段の発光時に受光した行の受光量と非発光時に受光した行の受光量の差分を出力する差分手段と、
前記差分手段で出力した差分から物体の反射光画像を検出する検出手段と、
前記エリアイメージセンサに受光される光のうち、前記発光手段の発光する光による物体の反射光のみを通過する反射光通過フィルタと、
前記エリアイメージセンサに受光される光のうち、前記発光手段の発光する光による物体の反射光を遮断して可視光を通過する可視光通過フィルタと、
前記タイミング信号生成手段からの信号と同期して、前記反射光通過フィルタと、可視光通過フィルタの切替えを行う切替手段を具備し、
前記制御信号生成手段は、前記エリアイメージセンサが前記発光手段で発光した光による物体の反射光を受光するための制御信号と、可視光を受光するための制御信号を選択して出力することを特徴とする画像取得装置。
【請求項６】
アレイ状に行列配列された受光セルが行毎個別に受光するエリアイメージセンサと、
パルス信号もしくは変調信号を発生させるタイミング信号生成手段と、
前記エリアイメージセンサの受光セルの受光を行毎個別に制御するための制御信号を、前記タイミング信号生成手段からの信号に基づいて生成する制御信号生成手段と、
前記タイミング信号生成手段からの信号に基づいて発光する発光手段と、
前記制御信号に基づいて、前記発光手段の発光時に受光した行の受光量と非発光時に受光した行の受光量の差分を出力する差分手段と、
前記差分手段で出力した差分から物体の反射光画像を検出する検出手段と、
前記発光手段で発光した光による物体の反射光と可視光を分光するための分光手段と、
分光された前記光の光路上で、この光の通過／遮断を選択する選択手段と、
前記分光手段で分光された２つの光を合成する合成手段を具備し、
前記制御信号生成手段は、前記エリアイメージセンサが前記発光手段で発光した光による物体の反射光を受光するための制御信号と、可視光を受光するための制御信号を選択して出力することを特徴とする画像取得装置。
【請求項７】
アレイ状に行列配列された受光セルが行毎個別に受光するエリアイメージセンサと、
パルス信号もしくは変調信号を発生させるタイミング信号生成手段と、
前記エリアイメージセンサの受光セルの受光を行毎個別に制御するための制御信号を、前記タイミング信号生成手段からの信号に基づいて生成する制御信号生成手段と、
前記タイミング信号生成手段からの信号に基づいて発光する発光手段と、
前記制御信号に基づいて、前記発光手段の発光時に受光した行の受光量と非発光時に受光した行の受光量の差分を出力する差分手段と、
前記差分手段で出力した差分から物体の反射光画像を検出する検出手段を具備し、
前記エリアイメージセンサの受光セルは前記発光手段の発光する光による物体の反射光を受光するためのセルと、前記発光手段の発光による物体の反射光を遮断し、可視光を受光するためのセルによって構成されることを特徴とする画像取得装置。
【請求項８】
前記エリアイメージセンサの受光セルは前記発光手段の発光する光による物体の反射光を受光するためのセルと、前記発光手段の発光による物体の反射光を遮断し、可視光を受光するためのセルによって構成されることを特徴とする請求項１に記載の画像取得装置。
【請求項９】
パルス信号もしくは変調信号を発生させ、
パルス信号もしくは変調信号を発生させるタイミングに基づいて発光手段を発光させ、
パルス信号もしくは変調信号と同期することにより、前記発光手段で発光した光の物体による反射光を受光し、
前記発光手段の発光による物体の反射光を遮断して可視光を受光し、
受光した前記反射光と前記可視光とから、物体の反射光画像と可視光画像とを同時に検出することを特徴とする画像取得方法。
【請求項１０】
画像取得するコンピュータで実行可能なプログラムを記録した記録媒体であって、
パルス信号もしくは変調信号を発生させ、
パルス信号もしくは変調信号を発生させるタイミングに基づいて発光手段を発光させ、
パルス信号もしくは変調信号と同期することにより、前記発光手段で発光した光の物体による反射光を受光し、
前記発光手段の発光による物体の反射光を遮断して可視光を受光し、
受光した前記反射光と前記可視光とから、物体の反射光画像と可視光画像とを同時に検出するプログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本願発明は３次元空間内での情報入力を行うための情報入力装置および情報入力方法および記録媒体に関する。
【０００２】
【従来の技術】
コンピュータへの入力デバイスとしては、マウスが圧倒的に使われている。しかし、マウスでできることは、カーソルの移動と、メニューの選択などである。あくまでも２次元のポインティングデバイスとしての役目である。マウスで扱えるのは、２次元情報なので、３次元空間のなかの物体など奥行きがあるものを選択することは難しい。また、アニメーションを作成するときに、キャラクタに動きをつけるのに、マウスでは、自然な動きをつけることが難しかった。
【０００３】
３次元空間でのポインティングの難点を補うために、３次元ポインティングデバイスが開発されている。例えば、図１４のような３次元ポインティングデバイスでは、中央の丸い手段分の前方を押す、中央を押す、後方を押す、丸い手段分の全体を持ち上げる、全体を右に回す、左に回すというように、６通りの操作ができ、６自由度ある。この６自由度を割り振ることで、３次元空間内のカーソルの位置（ｘ，ｙ，ｚ）と向き（ｘ軸，ｙ軸，ｚ軸）制御したり、あるいは、３次元空間に対する視点位置（ｘ，ｙ，ｚ）と向き（ｘ軸，ｙ軸，ｚ軸）を制御できる。
【０００４】
しかし、実際に操作すると、思うようにカーソルや視点の制御ができないという問題がある。例えば、左右に回そうとすると、前方あるいは後方を押してしまい、思わぬ方向にカーソルが動いたり、視点が動いたりしてしまう。
【０００５】
このような３次元ポインティングデバイスに対して、手振りや身ぶりを使って入力するデバイスも開発されている。データグローブやデータスーツ、サイバーグローブと呼ばれるものである。これらは、例えば、データグローブは手袋状のデバイスで、表面に光ファイバが走っている。光ファイバは、指の関節まで通っており、指を曲げることにより、光の導通が変わる。この光の導通を計測することで、かく指の関節がどの程度曲がっているかがわかる。手自体の３次元空間内の位置は、手の甲についている磁気センサによって計測するようになっている。人差し指をたてれば、前進するというように、身ぶりとそれに対応する指示を決めておけば、データグローブを使って、３次元空間内を種々に視点を変えて、ちょうど、歩き回るようにする（ウオークスルーという）ことができる。
【０００６】
しかし、問題もいくつかある。まず、価格が高価であり、家庭用などに使用することは難しい。指の関節の角度を計測しているので、例えば、人差し指だけのばし、他の指は、曲げた状態を前進指示と定義したとする。実際に一口に指を伸ばすといっても、人差し指の第２関節の角度が１８０度に完全になっていることは少ないので、遊びの手段分を作らないと、きっちりのばしたとき以外は、のばしていると認識するのが難しい。また、データーグローブを装着するので、自然な操作が阻害される。また、装着するたびに、手の開いた状態と閉じた状態で、光の導通状態を校正せねばならないので、手軽に使えない。また、光ファイバを使っているため、継続的に使っていると、ファイバが断絶するなど消耗品に近いという問題がある。また、このように、高価で、手間がかかるデバイスである割には、手袋の大きさが、ぴったり合っていないと、使っているうちにずれたりして校正した値からずれるために、細かな手振りを認識することは難しい。このように、いろいろな問題があるために、データグローブは、ＶＲ（バーチャルリアリティ、仮想現実感）技術のトリガーとなったデバイスであったにもかかわらず、当初の期待ほど、普及しておらず、また、低価格化もなされていず、使い勝手の点で問題が多い。
【０００７】
これに対し、データグローブのような特殊な装置を装着することなく、手振りや身ぶりを入力しようとする試みが、いくつかなされている。例えば、ビデオ映像などの動画像を解析して、手の形を認識するような研究がなされている。
【０００８】
しかし、これらでは、背景画像から目的とする画像、手振りの認識の場合には、手のみを切り出すことが難しいという問題がある。例えば、色を使って切り出す場合を考えてみる。手の色は肌色であるので、肌色の手段分のみを切り出すような方式が考えられる。が、背景にベージュ色の洋服や、壁があったりすると、肌色を識別することが難しい。また、調整を行って、ベージュと肌色を区別できるようにしても、照明が変われば、色調が変化してしまうために、定常的に切り出すことは困難である。
【０００９】
このような問題から逃れるために、背景にブルーマットをおくというように、背景画像に制限を置き、切り出しを容易にする方策も採られている。あるいは、指先に背景からの切り出しが容易になるような色をつける、あるいは色のついた指輪をはめるというような方策も採られている。が、このような制限は現実的でなく、実験的には使われているが、実用化されるにいたっていない。
【００１０】
また、以上のような切り出しなどのビデオの画像認識処理は、非常に演算量が多い。このため、現状のパーソナルコンピュータでは、秒３０枚発生する画像を処理しきれないのが実状である。従って、ビデオ映像の処理によるモーションキャプチャなどをやるのは、リアルタイムは無理である。
【００１１】
レンジファインダと呼ばれる、距離画像を入力する装置がある。その代表的な原理として、スポット光あるいはスリット光を対象物体に照射し、その反射光の受光位置から三角測量の原理で求めるものである。２次元的な距離情報を求めるために、スポット光あるいはスリット光を機械的に走査している。この装置は非常に高精度な距離画像を生成することができるが、その反面、装置の構成が大掛かりになり、高コストになる。また入力に時間がかかり、実時間で処理を行わせるのは困難である。
【００１２】
また、手や身体の一部に色マーカーや発光部を取り付け、画像によりそれらを検出し、手・身体の形、動きなどを捉える装置もあり、一部実用化されている。しかし使用者の利便性を考えると、操作の度に装置を装着しなくてはならないというのは大きなデメリットであり、応用範囲を非常に制約する。また、データグローブの例に見られるように、装置を手などの可動部に装着して使用する装置は耐久性が問題になりやすい。
【００１３】
次に、以上のような入力デバイスとは別に、カメラ技術について従来技術についての問題点を述べる。従来のカメラ技術では、背景に対して、キャラクタの合成（クロマキー）を行うには、あらかじめ、ブルーバックでキャラクタを撮影して、キャラクタの切り出しを容易にする必要があった。このため、ブルーバックで撮影ができるスタジオなど、撮影場所に制限があった。あるいは、ブルーバックでない状態で撮影した映像から、キャラクタを切り出すには、コマごとに、キャラクタの切り出し範囲を人手で編集せねばならないので、非常な手間がかかっていた。
【００１４】
同様に、キャラクタを３次元空間の中に生成するには、あらかじめ３次元のモデルをつくっておき、そこにキャラクタの写真を貼り付ける（テクスチャマッピング）をおこなうような方式をとっている。が、３次元モデルの生成、および、テクスチャマッピングには手間がかかり、映画制作など経費がかかってもよい用途以外では、ほとんど使えなかった。
【００１５】
このような問題を解決するために、例えば、特願平９−２９９６４８号に示されているような、反射光画像を抽出し、距離画像を取得する方式が開発されている。しかし、この方式では、反射光画像を抽出するために、物体の色相情報をえることができないという問題がある。このため、従来の撮像カメラと、反射光画像を切り出すカメラと２つのカメラが必要になるという問題が生じていた。
【００１６】
【発明が解決しようとする課題】
特殊な装置を装着することなく、簡易にジェスチャや動きを入力できる直接指示型の入力デバイスが存在しなかった。特に、３次元空間でのポインティングや視点の変更を容易に行える簡易なデバイスは存在しなかった。また、ユーザのジェスチャや動きをそのまま使って、アニメーションのキャラクタなどに自然な動きをつけたりすることができなかった。
【００１７】
さらに、従来のカメラでは、特定のキャラクタだけを切り出したり、キャラクタの奥行き情報を容易に入力できなかった。
これを改善する方法では、特殊なセンサアレイを用いており、価格が高価になるという問題があった。
【００１８】
また、このような問題を解決する撮像方法では、反射光画像のみの取得になるため、色相情報が得られず、従来のカメラと２台必要になるという問題があった。
【００１９】
【課題を解決するための手段】
以上の問題を解決するために、パルス信号もしくは変調信号を発生させるタイミング信号生成手段と、前記タイミング信号生成手段からの信号に基づいて発光する発光手段と、前記タイミング信号生成手段からの信号と同期することにより、前記発光手段で発光した光の物体による反射光を受光する第１の受光手段と、前記発光手段の発光による物体の反射光を遮断し、可視光を受光する第２の受光手段と、前記第１の受光手段と、前記第２の受光手段とから、物体の反射光画像と可視光画像とを同時に検出する検出手段と具備したことを特徴とすることを特徴とする。
【００２８】
また、パルス信号もしくは変調信号を発生させ、パルス信号もしくは変調信号を発生させるタイミングに基づいて発光手段を発光させ、パルス信号もしくは変調信号と同期することにより、前記発光手段で発光した光の物体による反射光を受光し、前記発光手段の発光による物体の反射光を遮断して可視光を受光し、受光した前記反射光と前記可視光とから、物体の反射光画像と可視光画像とを同時に検出することを特徴とする。
【００２９】
また、画像取得するコンピュータで実行可能なプログラムを記録した記録媒体であって、パルス信号もしくは変調信号を発生させ、パルス信号もしくは変調信号を発生させるタイミングに基づいて発光手段を発光させ、パルス信号もしくは変調信号と同期することにより、前記発光手段で発光した光の物体による反射光を受光し、前記発光手段の発光による物体の反射光を遮断して可視光を受光し、
受光した前記反射光と前記可視光とから、物体の反射光画像と可視光画像とを同時に検出するプログラムを記録した記録媒体
【００３０】
【発明の実施の形態】
（実施例１）
以後、図面を用いて本願発明の実施例を詳細に説明する。
＜図１の説明＞
図１は、イメージセンサを用いて反射光画像を得るための装置の構成例を示したものである。発光制御部８はあらかじめ決められた発光パタンで光源が発光するように制御する。具体的には例えば、１フレームごとに１回のパルス発光をする。光の波長は特に制限はないが、近赤外光のような比較的外光（照明光、太陽光）に含まれるパワーが少なく、眩しさを感じない光源が好適である。
【００３１】
光源７はＬＥＤのように長期に安定して動作し、しかも高速に応答するものが好適である。受光センサ１はこの発光に同期して少なくとも２回の撮像動作を行う。１回の撮像は発光と同時に行い、光源の光１４の物体反射光５を含む光を受光する。もう１回の撮像は光源が発光していないときに行い、光源の光の物体反射光を含まない光を受光する。このセンサはこの２回の撮像の差分を出力することができる。すなわちこの差分を得ることにより、光源の光の物体反射光のみを出力する。
【００３２】
レンズ３とセンサ１の間には不要な光を遮断するフィルタ２が入っている。例えば光源波長のみを通過させる光学バンドパスフィルタである。このためセンサには照明光などの不要な光４の多くは入射しないようになっている。しかし照明光などの外光にも光源波長と同じ波長の成分を持っていることが多いため、差分動作を行っている。
【００３３】
センサの出力はアナログ信号処理部９を経て、Ａ／Ｄ変換部１２でデジタルデータに変換される。反射光画像処理部１３では、この画像を用いてさまざまな処理を行う。人の手の動きを解釈するならば、ここで手の形状を２次元あるいは３次元的に切り出し、それを用いて手の動きを推定する。この反射光画像処理部１３での処理については本実施例では詳細は省略する。
【００３４】
＜図２の説明＞
図２は、図１の受光センサ部分のイメージセンサをより詳細に記述した図面である。図２に示しているイメージセンサは垂直選択部１５、水平選択部１７によって画素位置を与え、そのセルに蓄積された出力を取り出すことができる。
【００３５】
また、差分回路１８は一旦電荷量を蓄積し、次に入力された電荷量との差分を出力できるような回路である。このイメージセンサは偶数行と奇数行の撮像動作を独立に制御できるようになっている。そして偶数行は光源発光時に受光するセル、奇数行は光源が発光していないときに受光するセルとして用いる。つまり光源が発光しているときに偶数行のセルで撮像を行い、発光していないときに奇数行のセルで撮像を行う。以下、前者を発光時蓄積用セル２０，後者を非発光時蓄積用セル１９と呼ぶことにする。
【００３６】
差分回路１８は例えば次のように動作する。まず１行目の非発光時蓄積のセルを読み出し、差分回路に１行分記憶する。次に２行目の発光時蓄積のセルを読み出し、差分回路に記憶していた１行目の受光量との差分を出力する。これ以降の処理は図１での説明と同じである。
【００３７】
図３は、図２の構成における処理の流れ図である。ＬＥＤが発光したとき（ステップＳ１０１）、偶数ラインで受光し（ステップＳ１０２）、ＬＥＤが発光していないとき（ステップＳ１０３）、奇数ラインで受光する（ステップＳ１０４）。このようにすると、ちょうど、図２のように、偶数ラインに発光時の受光した電荷が蓄積され、奇数ラインに非発光時に受光した電荷が蓄積される。それを、差分回路１８を介して読み出す。
【００３８】
まず、奇数ライン、つまり、非発光時の受光レベルが差分回路に蓄積される（ステップＳ１０６）。つぎに、偶数ライン、つまり、発光時の受光レベルが差分回路１８に読み出され（ステップＳ１０７）、発光時と非発光時の差分のみが出力される（ステップＳ１０８) 。これがアナログ信号処理回路に入力される（ステップＳ１０９）。
【００３９】
このような動作を、垂直方向にすべてのラインを転送し終わるまで続ける。
転送が終了したら、もう一度、発光し、受光するという動作を続行する。
以上のような動作により、例えば、図４のような、反射光画像（反射光の強さは距離の２乗に反比例するので、実質的には３次元画像）が取得できる。
【００４０】
（実施例２）
図２では、イメージセンサを用いて光源の物体反射光画像を得る装置について述べた。しかし、この物体の形状を容易に得られる反射光画像と、通常のカメラで撮るような画像（可視光画像と呼ぶ）を同時に得たいという要求が存在する。このようなことが実現すれば、例えば、可視光画像の中から人間の体や顔だけを切り出すことが容易に行える。
【００４１】
＜図５の説明＞
図５は反射光画像と可視光画像を同時に得る事のできる装置の構成例を示している。ここでは光学系とイメージセンサを、反射光画像用、可視光画像用に２種類用意している。
【００４２】
反射光画像用の受光センサ１は図２で述べたような構成をしている。またイメージセンサ１の前に光源の波長光のみを通過させる光学バンドパスフィルタ２がある。これは光源からの物体反射光５のみを通過させ、それ以外の例えば照明光やその物体反射光４を反射する。
【００４３】
一方、可視光画像用のセンサ２２は通常の撮像カメラに用いられるようなＣＣＤイメージセンサあるいはＣＭＯＳイメージセンサなどを用いることができる。可視光画像用のセンサの前には、光源からの物体反射光を反射させる光学フィルタ２３を配置するのが適当である。ただし、この光源の物体反射光が大きな影響を与えない場合、例えば通常、撮像カメラで用いられる赤外光カットフィルタで十分である場合やセンサの分光感度特性によりその光源に対する感度が低いような場合には、この光学フィルタを省いても構わない。
【００４４】
これら２つのセンサでの撮像を同時に行うことによって、切り出されたオブジェクトなどの、より高度な情報を得ることができるが、単純に反射光画像だけ、可視光画像だけを撮像する目的でも使うことができる。
【００４５】
この構成の場合、反射光画像用のセンサと可視光画像用のセンサは近いところに配置されるので、ほぼ位置ずれの無い画像が得られる。しかし厳密にはわずかな位置ずれは存在し、また物体が近いときにはそれは顕著となる。
【００４６】
（実施例２の変形例）
＜図６の説明＞
図６はこのような位置ずれが起こらないように構成した例である。ここでは光学系を、反射光画像用と可視光画像用で共有する。光学系を通過した光は、例えばダイクロイックミラー２８で、光源の物体反射光２９とそれ以外の光３０とに分けられる。ダイクロイックミラーとは特定波長の光を通過させそれ以外を反射させ、光を波長によって分割するものである。図６では、物体反射光の波長光を通過させ、それ以外を反射させるミラーを用いている。この構成により、厳密に光軸の一致した２枚の画像、すなわち反射光画像と可視光画像を得る事ができる。
【００４７】
ここではダイクロイックミラーを用いた例を挙げたが、これに限らず光を光源の物体反射光とそれ以外の光とに分け、重なり合わない位置に配置された２つのイメージセンサに入射させることができるものであれば良い。
【００４８】
（実施例３）
＜図７の説明＞
図５、６では、反射光画像用、可視光画像用の２つのセンサを用いていたが、これをひとつのセンサで行うことができれば、より低コスト化を実現できる。図７はそのひとつの構成例を示している。スライドして動かすことが可能な光学フィルタ３１がレンズ３２とセンサ３３の間に配置されている。
【００４９】
このフィルタは半分に光源の波長光のみを通過させるバンドパスフィルタが、もう半分にはこの波長光を遮断し可視光を通過させる光学フィルタが入っている。このフィルタをスライドすることにより、センサに到達する光を光源の物体反射光のみにしたり、可視光のみにしたりすることができる。この場合、ひとつのイメージセンサで反射光画像と可視光画像の両方を撮像できる必要がある。これを次に述べる。
【００５０】
図８はＣＭＯＳイメージセンサでよく用いられるカラーフィルタの配列である。このように赤成分を通過させる「Ｒ」、緑成分を通過させる「Ｇ」、青成分を通過させる「Ｂ」が配列している。可視光画像を撮像する場合には、そのまま各セルの出力を取り出す。差分回路は動作させないかあるいは各セルの固定パタンノイズを除去するためにのみ用いる。固定パタンとは各セルごとに一定した値を持つ固定ノイズのことである。
【００５１】
反射光画像を得る時にはセンサの動作を変える。例えば「Ｇ」のセルのみを用い、例えばＧ１のセルに非発光時蓄積を行い、Ｇ２のセルに発光時蓄積を行い、その差を差分回路で取り出せば良い。したがって、Ｇのセルはその撮像制御を２系統に分け、独立に撮像できるようにする必要がある。
【００５２】
例えば、Ｇ１、Ｇ３、Ｇ５、Ｇ７のセル群とＧ２、Ｇ４、Ｇ６、Ｇ８のセル群は独立に撮像できる。この場合、可視光画像と反射光画像の画像解像度は異なる。可視光画像は４画素（Ｇが２つ、ＲとＢがひとつづつ）でカラーの１画素を構成するので図８では４ｘ４画素である。Ｇ１とＧ２の差分を取り、Ｇ３とＧ４の差分を取り、これらを足しあわせると、すなわち、ＧＧ１〜Ｇ４で反射光画像の１画素を作る場合、解像度は縦方向に半分、横方向は同じになる。Ｇ１〜Ｇ８で反射光画像の１画素を作る場合は、縦横方向共に解像度は半分になる（図の場合２ｘ２）。
【００５３】
反射光画像を得る場合に、「Ｇ」のみのセルを用いる例を示したが、Ｒ、Ｇ、Ｂの３種類のセルで光源波長の分光感度がほぼ同じである場合は、この４画素を使って反射光画像の１画素を作ることができる。例えば、Ｇ１、Ｒ１に非発光時蓄積を行い、Ｂ１、Ｇ３に発光時蓄積を行い、Ｂ１とＧ１の差分とＧ３とＲ１の差分を足しあわせると、可視光画像と同じ解像度の反射光画像を得ることができる。さらにＢ１とＧ１の差分とＧ３とＲ１の差分をそれぞれひとつずつの反射光画像の画素と見れば、可視光画像に対して横方向の解像度を倍にすることもできる。
【００５４】
（実施例３の変形例）
＜図９の説明＞
反射光画像を作るために「Ｇ」のセルのみしか使えないとしても、可視光画像と同じ解像度の反射光画像を得ることはできる。図９のようなフィルタ配列にすれば、Ｇ１に非発光時蓄積、Ｇ２に発光時蓄積を行うことで、その差分を取り出すことができる。差分回路は通常同じ列の画素についてのみ差分を行えるよう構成するので、図８のようなフィルタ配列にするとＧ１とＧ３の差分を取り出すのは難しいが、図９のＧ１、Ｇ２の差分であれば容易に取り出せる。
【００５５】
＜制御の切り替えについて＞
以上述べたような反射光画像を得るための制御は、可視光画像を得るための制御とは異なるため、センサの制御を切り替える必要がある。これはスイッチ、あるいはソフトウエア（この装置をＰＣにつないで使う場合）で、明示的に制御を切り替えても良いが、フィルタをスライドすることによりスイッチがオン、オフするような機構を備えておいて、フィルタがどちらの位置にあるかを自動的に認識し、それによって制御を切り替えても良い。
【００５６】
図７の構成の場合、反射光画像と可視光画像を別々に得ることは容易であるが、同時に得ることは難しい。光学フィルタを高速で移動させるような機構を付け加えれば可能である。半円ずつにそれぞれの光学フィルタを載せた円形のフィルタを回転させる方法もある。
【００５７】
（実施例４）
＜図１０の説明＞
図１０は、ひとつのセンサで反射光画像と可視光画像の両方の撮像を同時に得ることができる別の構成例である。図６で用いたのと同様のダイクロイックミラーなどの光線分離手段３４を用いて、まず光源の物体反射光とそれ以外の光とに分ける。このそれぞれに光を通過させるか遮断させるかを選択できるシャッタ手段３４，３５を設け、シャッタを通過した後の光をまたひとつに合成し、光学センサ３８に導く。
【００５８】
シャッタ手段としては液晶パネルなどを用いることができる。液晶パネルなどの駆動は非機械的に行えるので、機械式機構を用いるよりは信頼性が高い。
この図では、光源の物体反射光３９は遮断され、それ以外の光４０は通過できる状態になっている。逆の状態では、物体反射光はセンサまで到達し、可視光は途中のシャッタで遮断される。
【００５９】
（実施例４の変形例１）
＜図１１の説明＞
図１０では、２つに分けた光をそれぞれシャッタ手段を経て再合成したが、フィルタ特性をダイナミックに変えることのできる素子を用いれば、光路を分ける必要はない。図１１では、レンズとセンサの間に、
（１）光源波長のみを通過させる
（２）可視光のみを通過させる
という２つの状態を切り替えられる素子４１が入っている。この素子の状態を切り替えるだけで２種類の画像を撮像することができる。図では、光源の物体反射光３９は遮断され、それ以外の光４０は通過できる状態になっている。逆の状態では、物体反射光はセンサまで到達し、可視光は途中のシャッタで遮断される。
【００６０】
また、
（１）光源波長のみを通過させる
（２）すべての光を通過させる
という２つの状態を切り替えられる素子と、
（１）可視光のみを通過させる
（２）すべての光を通過させる
という２つの状態を切り替えられる素子があれば、これらを重ねることによっても同様の構成を実現できる。
【００６１】
（実施例４の変形例２）
＜図１２の説明＞
センサのカラーフィルタを特殊な構成にすることによって、ひとつのセンサで反射光画像と可視光画像を得ることができる。図９は一般的なカラーフィルタの配列の一例であるが、図１２のような配列にすることによって、セルを反射光画像用のセルと可視光画像用のセルに分けることができる。この図のセルで「Ｈ」とあるのは、光源の波長のみを通過させるフィルタを付けたセルである。Ｒ、Ｇ、Ｂのセルは可視光撮像用に使い、Ｈを反射光画像撮像用に使う。
【００６２】
例えば、Ｈ１、Ｈ３で非発光時蓄積を行い、Ｈ２、Ｈ４で発光時蓄積を行う。Ｈ１〜Ｈ４までのセルで反射光画像の１画素を作れば、可視光画像と同じ解像度の反射光画像が得られる。通常の撮像カメラには赤外光成分をカットするためのフィルタを用いている。光源として近赤外光などを用いる場合は、フィルタの影響を考えて強く発光するか、あるいは赤外カットフィルタを可視光画像用セルの上にのみ取り付ける。
【００６３】
（実施例４の変形例３）
＜図１３の説明＞
図１３は別のフィルタの配列例である。図１２に比べ、縦方向の解像度は倍になっており、横方向は３分の２になっている。より解像度の高い画像を求めるならばこちらの配列にするのもよい。
【００６４】
以上のような本願発明は、専用のハードウェアを用いずとも、汎用のプロセッサを用いたソフトウェアによる処理で実現することができる。例えば、図３の処理はコンピュータプログラムを用いて実現でき、これをフロッピーディスクやＣＤ−ＲＯＭなどの記録媒体を通じてコンピュータに導入して実行させることにより、本願発明を実施することができる。
【００６５】
【発明の効果】
以上のように、本願発明によれば、汎用的なイメージセンサを使って反射光画像を取得でき、汎用なセンサを使えるので装置の低コスト化が実現できる。
また本願発明によれば、通常画像中から物体のみを背景から切り出すなどの高度な画像処理を容易に実現できる。
さらに本願発明によれば、より低コストで、反射光画像とそれ以外の光による画像を同時に得ることができる。
【図面の簡単な説明】
【図１】イメージセンサで反射光画像を取得するための構成例の図である。
【図２】イメージセンサで反射光画像を取得するためのより詳細な構成例の図である。
【図３】イメージセンサで反射光画像を取得するための動作フローの図である。
【図４】取得された反射光画像の例
【図５】物体反射光による画像と、それ以外の光による画像を同時に取得できる装置の構成例の図である。
【図６】物体反射光による画像と、それ以外の光による画像を同時に取得できる装置の構成例の図である。
【図７】物体反射光による画像と、それ以外の光による画像を取得できる装置の構成例の図である。
【図８】物体反射光による画像と、それ以外の光による画像を取得できる装置のイメージセンサ上のフィルタ構成の例の図である。
【図９】物体反射光による画像と、それ以外の光による画像を取得できる装置のイメージセンサ上のフィルタ構成の例の図である。
【図１０】物体反射光による画像と、それ以外の光による画像を同時に取得できる装置の構成例の図である。
【図１１】物体反射光による画像と、それ以外の光による画像を同時に取得できる装置の構成例の図である。
【図１２】物体反射光による画像と、それ以外の光による画像を同時に取得できる装置のイメージセンサ上のフィルタ構成の例の図である。
【図１３】物体反射光による画像と、それ以外の光による画像を同時に取得できる装置のイメージセンサ上のフィルタ構成の例の図である。
【図１４】
従来の３次元データ入力装置の例を示す図である。
【符号の説明】
１…イメージセンサ、２…光学フィルタ、３…レンズ、
４…可視光などの光源の物体反射光以外の光、
５…光源の物体反射光、６…撮像対象物体、７…光源、
８…発光制御部、９…アナログ信号処理回路、
１０…制御信号生成装置、１１…システム制御部、
１２…Ａ／Ｄ変換回路、１３…反射光画像処理部、
１４…光源の光、１５…垂直選択回路、１７…水平選択回路、
１８…差分回路、１９…非発光時蓄積用セル、２０…発光時蓄積用セル、
２２…イメージセンサ、２８…光の分割手段、３１…フィルタ切り替え手段、
３５…光線遮断手段，３６…光線遮断手段、４１…特性可変な光学フィルタ
【図１】
0003868621.tif 000002
【図２】
0003868621.tif 000003
【図３】
0003868621.tif 000004
【図４】
0003868621.tif 000005
【図５】
0003868621.tif 000006
【図６】
0003868621.tif 000007
【図７】
0003868621.tif 000008
【図８】
0003868621.tif 000009
【図９】
0003868621.tif 000010
【図１０】
0003868621.tif 000011
【図１１】
0003868621.tif 000012
【図１２】
0003868621.tif 000013
【図１３】
0003868621.tif 000014
【図１４】
0003868621.tif 000015