(57)【特許請求の範囲】
【請求項１】
不可視光画像あるいは可視光画像の画像取得を切り替えるための切り替え手段と、この切り替え手段によって切り替えられた不可視光画像あるいは可視光画像を取得する画像取得手段と、この画像取得手段が取得した可視光画像を用いて予め記憶された補正対応表をもとに、不可視光画像の反射光の強さの補正を行うための補正手段とを具備したことを特徴とする画像取得装置。
【請求項２】
不可視光による距離画像を取得するための距離画像取得手段と、可視光画像を取得する可視光画像取得手段と、この可視光画像取得手段が取得した可視光画像を用いて予め記憶された補正対応表をもとに、前記距離画像取得手段が取得した距離画像の距離値の補正を行うための補正手段とを具備したことを特徴とする画像取得装置。
【請求項３】
前記補正手段は、可視光画像の輝度値を用いて補正を行うことを特徴とする請求項１または請求項２記載の画像取得装置。
【請求項４】
前記可視光画像取得手段は、モノクロ画像を取得することを特徴とする請求項１または請求項２記載の画像取得装置。
【請求項５】
前記可視光画像取得手段は、Ｒ，Ｇ，Ｂの色別に可視光画像を取得し、前記補正手段は、色別の可視光画像を用いて補正を行なうことを特徴とする請求項１または請求項２記載の画像取得装置。
【請求項６】
不可視光画像あるいは可視光画像の画像取得を切り替えるための切り替え手段によって切り替えられた不可視光画像あるいは可視光画像を取得し、取得された可視光画像を用いて予め記憶された補正対応表をもとに、不可視光画像の反射光の強さの補正を行うことを特徴とする画像取得方法。
【請求項７】
不可視光による距離画像および可視光画像を取得し、取得された可視光画像を用いて予め記憶された補正対応表をもとに、取得した距離画像の距離値の補正を行うことを特徴とする画像取得方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は可視光画像により不可視光画像の補正を行う画像取得装置および方法に関する。
【０００２】
【従来の技術】
＜従来のコンピュータへの入力手段＞
コンピュータへの入力デバイスとしては、マウスが圧倒的に使われている。が、マウスでできることは、カーソルの移動と、メニューの選択など、あくまでも２次元のポインティングデバイスとしての役目である。
【０００３】
マウスで扱えるのは、２次元情報なので、３次元空間のなかの物体など奥行きがあるものを選択することは難しい。また、アニメーションを作成するときに、キャラクタに動きをつけるのに、マウスでは、自然な動きをつけることが難しかった。
【０００４】
＜既存の３次元ポインティングデバイス＞
３次元空間でのポインティングの難点を補うために、３次元ポインティングデバイスが開発されている。
【０００５】
しかし、実際に操作すると、思うようにカーソルや視点の制御ができないという問題がある。例えば、左右に回そうとすると、前方あるいは後方を押してしまい、思わぬ方向にカーソルが動いたり、視点が動いたりしてしまう。
【０００６】
＜装着型の３次元入力デバイス＞
このような３次元ポインティングデバイスに対して、手振りや身ぶりを使って入力するデバイスも開発されている。データグローブやデータスーツ、サイバーグローブと呼ばれるものである。これらは、例えば、データグローブは手袋状のデバイスで、表面に光ファイバが走っている。
【０００７】
光ファイバは、指の関節まで通っており、指を曲げることにより、光の導通が変わる。この光の導通を計測することで、各指の関節がどの程度曲がっているかがわかる。手自体の３次元空間内の位置は、手の甲についている磁気センサによって計測するようになっている。人差し指を立てれば、前進するというように、身ぶりとそれに対応する指示を決めておけば、データグローブを使って、３次元空間内を種々に視点を変えて、ちょうど歩き回るようにする（ウオークスルーという）ことができる。
【０００８】
＜データグローブの問題点＞
しかし、問題がいくつかある。まず、価格が高価であり、家庭用などで手軽に使用することは難しい。指の関節の角度を計測しているので、例えば、人差し指だけのばし、他の指は、曲げた状態を前進指示と定義したとする。一口に指を伸ばすといっても、人差し指の第２関節の角度が１８０度に完全になっていることは少ないので、遊びの部分を作らないと、きっちりのばしたとき以外は、のばしていると認識するのが難しい。
【０００９】
また、データーグローブを装着するので、自然な操作が阻害される。また、装着するたびに、手の開いた状態と閉じた状態で、光の導通状態を校正せねばならないので、手軽に使えない。また、光ファイバを使っているため、継続的に使っていると、ファイバが断絶するなど消耗品に近いという問題がある。
【００１０】
また、このように、高価で、手間がかかるデバイスである割には、手袋の大きさが、ぴったり合っていないと、使っているうちにずれたりして校正した値からずれるために、細かな手振りを認識することは難しい。このように、いろいろな問題があるために、データグローブは、ＶＲ（バーチャルリアリティ、仮想現実感）技術のトリガーとなったデバイスであったにもかかわらず、当初の期待ほど、普及しておらず、また、低価格化もなされていず、使い勝手の点で問題が多い。
【００１１】
＜画像を用いた身振り手振りの認識技術の問題点＞
これに対し、データグローブのような特殊な装置を装着することなく、手振りや身ぶりを入力しようとする試みが、いくつかなされている。例えば、ビデオ映像などの動画像を解析して、手の形を認識するような研究がなされている。が、これらでは、背景画像から目的とする画像、手振りの認識の場合には、手のみを切り出すことが難しいという問題がある。
【００１２】
例えば、色を使って切り出す場合を考えてみる。手の色は肌色であるので、肌色の部分のみを切り出すような方式が考えられる。が、背景にベージュ色の洋服や、壁があったりすると、肌色を識別することが難しい。また、調整を行って、ベージュと肌色を区別できるようにしても、照明が変われば、色調が変化してしまうために、定常的に切り出すことは困難である。
【００１３】
このような問題から逃れるために、背景にブルーマットをおくというように、背景画像に制限を置き、切り出しを容易にする方策も採られている。
また、以上のような切り出しなどのビデオの画像認識処理は、非常に演算量が多い。このため、現状のパーソナルコンピュータでは、秒３０枚発生する画像を処理しきれないのが実状である。従って、ビデオ映像の処理によってモーションキャプチャなどを行うのは、リアルタイムは無理である。
【００１４】
＜マーカーによる身振りの認識＞
また、手や身体の一部に色マーカーや発光部を取り付け、画像によりそれらを検出し、手・身体の形、動きなどを捉える装置もあり、一部実用化されている。ＣＧアニメーションやＴＶゲームなどの制作現場で用い、入力した人間の動きにしたがってＣＧキャラクタを動かす。
【００１５】
しかし個人レベルのユーザーがこのような装置を使うことを考えると、操作の度に装置を装着しなくてはならないというのは大きなデメリットであり、応用範囲を非常に制約する。また、データグローブの例に見られるように、装置を手などの可動部に装着して使用する装置は耐久性が問題になりやすい。
【００１６】
＜レンジファインダ＞
レンジファインダと呼ばれる、距離画像を入力する装置がある。その代表的な原理として、スポット光あるいはスリット光を対象物体に照射し、その反射光の受光位置から三角測量の原理で求めるものである。２次元的な距離情報を求めるために、スポット光あるいはスリット光を機械的に走査している。
【００１７】
この装置は非常に高精度な距離画像を生成することができるが、その反面、装置の構成が大掛かりになり、高コストになる。また入力に時間がかかり、実時間で処理を行わせるのは困難である。
【００１８】
またカメラを２台使い、２つの方向からの画像を撮像し、両方の画像中の対応点から、三角法を用いて３次元情報を生成するという手法もある。しかし、２つの画像中から対応点を見つけることは難しく、とくに複雑な背景下でこれを行うのは非常に困難である。またその難しさから、実時間処理には非常に多く計算機パワーを要する。
【００１９】
＜画像中からのキャラクタの切り出し＞
次に、以上のような入力デバイスとは別に、カメラ技術について従来技術についての問題点を述べる。従来のカメラ技術では、背景に対して、キャラクタの合成（クロマキー）を行うには、あらかじめ、ブルーバックでキャラクタを撮影して、キャラクタの切り出しを容易にする必要があった。
【００２０】
このため、ブルーバックで撮影ができるスタジオなど、撮影場所に制限があった。あるいは、ブルーバックでない状態で撮影した映像から、キャラクタを切り出すには、コマごとに、キャラクタの切り出し範囲を人手で編集せねばならないので、非常な手間がかかっていた。
【００２１】
同様に、キャラクタを３次元空間の中に生成するには、あらかじめ３次元のモデルをつくっておき、そこにキャラクタの写真を貼り付ける（テクスチャマッピング）をおこなうような方式をとっている。が、３次元モデルの生成、および、テクスチャマッピングには手間がかかり、映画制作など経費がかかってもよい用途以外では、ほとんど使えなかった。
【００２２】
＜問題提起＞
以上述べたように従来は、特殊な装置を装着することなく、簡易にジェスチャや動きを入力できる直接指示型の入力デバイスが存在しなかった。特に、３次元空間でのポインティングや視点の変更を容易に行える簡易なデバイスは存在しなかった。また、ユーザのジェスチャや動きをそのまま使って、アニメーションのキャラクタなどに自然な動きをつけたりすることができなかった。
【００２３】
さらに、従来のカメラでは、特定のキャラクタだけを切り出したり、キャラクタの奥行き情報を容易に入力できなかった。
＜その解決法としての発光手段を持つ撮像装置の発明＞
上記の問題点を解決するために、物体の形状、動き、距離情報などを非接触で入力することの可能な装置を発明した。この入力装置は、光を発光し、その対象物体による反射光を画像として捉える。
【００２４】
物体表面がほぼ均一な拡散反射面である場合、反射光の強さは物体までの距離と密接な関係を持つ。物体が存在している場所からの反射光はある程度の値を持ち、遠い背景からの反射光はほとんど無いため、反射光の画像をしきい値で分けることにより、物体の形状を抽出することが出来る。
【００２５】
また、その形状を画像処理することにより、重心位置や大きさ、水平方向、垂直方向への形状の広がり、また形状の時系列からその動きや変形などの様々な特徴量を抽出することができる。また物体の凹凸を反射光量の違いとして捉えられるため、対象物体の立体構造を得ることも出来る。
【００２６】
＜外光の影響の低減＞
光を発して、その反射光を単に受光しても、その中には、照明や太陽光などの外光が入り込んでしまい、正しい受光量が得られない。反射光の画像を入力するために、あるタイミングを発生するタイミング発生部の制御信号によって、発光部、および受光部を動作させる。発光部が発光しているときの受光画像から発光部が発光していないときの受光画像の差分を取ることによって、反射光画像を得ることができる。
【００２７】
具体的には例えば、一つの画素に相当するセルに２つのキャパシタを持った撮像センサを発光部と同期させて動作させることによって反射光画像を得ることができる。セルの光電変換部で受光し発生した電荷は２つのキャパシタのうちどちらかを選択して蓄積できるようにしておく。
【００２８】
そして、発光部が発光しているときに受光し発生した電荷を第１のキャパシタに蓄積し、次に発光していないときに受光し発生した電荷を第２のキャパシタに蓄積する。セルから電荷を読み出す際に２つの電荷量の差を出力するしくみを用意しておけば、２つのキャパシタの差、すなわち反射光のみの画像データが得られる。
【００２９】
【発明が解決しようとする課題】
ところで反射光により得られた反射光画像は、反射光の強さが距離の２乗に反比例することを用いれば、対象物の距離を測定することが可能である。
Ｉ＝ｋ／Ｄ２（Ｉ：反射光の強さ，ｋ：物体の反射係数，Ｄ：物体との距離）が、上記の式からわかるように、反射係数が同一の場合には、反射光の強さをそのまま距離に置き換えることが可能である。が、反射係数が異なる場合には、反射光の強さをそのまま距離に置き換えることは難しい。
【００３０】
手や顔のような反射係数が一定の物体が対象のばあいには問題ない。が、例えば、眼鏡をかけたり、手や顔だけでなく、身体も撮像するのであれば、衣服も撮像対象となるので、反射係数の違いによる影響が出てくる。
【００３１】
本発明は、不可視光だけなく、可視光の画像も取得し、これを用いて、反射係数などの補正をおこない、距離的に正しい不可視光画像を生成することを目的としている。
【００３２】
【課題を解決するための手段】
以上の課題を解決するために、本願発明は、不可視光画像あるいは可視光画像の画像取得を切り替えるための切り替え手段と、この切り替え手段によって切り替えられた不可視光画像あるいは可視光画像を取得する画像取得手段と、この画像取得手段が取得した可視光画像を用いて予め記憶された補正対応表をもとに、不可視光画像の反射光の強さの補正を行うための補正手段とを具備したことを特徴とする。
【００３３】
また、不可視光による距離画像を取得するための距離画像取得手段と、可視光画像を取得する可視光画像取得手段と、この可視光画像取得手段が取得した可視光画像を用いて予め記憶された補正対応表をもとに、前記距離画像取得手段が取得した距離画像の距離値の補正を行うための補正手段とを具備したことを特徴とする。
【００３４】
【発明の実施の形態】
＜第１の実施例＞
＜基本原理の説明＞
まず始めに本発明を適用するところの撮像装置の基本原理および基本構成を説明する。この撮像装置は不可視光を発光する手段を持ち、その物体による反射光を撮像する。発光部と撮像部を同期的に動作させることによって室内照明や太陽光などの外部光から分離して、発光部による光の反射光だけを捉える。
【００３５】
また、この反射光画像を入力情報としてコンピュータなどの機器に取り込んだり、またこの画像を様々な形に加工してあるいはこの画像から情報を抽出して、機器を操作するための情報として利用する。
【００３６】
本撮像装置の基本構成を図１に示す。発光部１より発光された光は、対象物体２に反射して、受光光学系３により、反射光画像検出部４の受光面上に結像する。反射光画像検出部４は、この反射光の強度分布、すなわち反射光画像を検出する。反射光画像検出部において外光から分離して反射光のみを取り出すしくみについては後述する。
【００３７】
反射光画像検出部４は反射光画像の各画素の反射光量を連続的に出力する。反射光画像検出部４からの出力はアンプ５によって増幅され、Ａ／Ｄ変換器６によってデジタルデータに変換された後、メモリ７に蓄えられる。しかるべきタイミングでこのメモリ７より蓄積されたデータが読み出される。読み出されたデータは例えば、図示しない特徴情報生成部において処理される。これら全体の制御をしかるべきタイミングで制御部９が行う。
【００３８】
反射光画像検出部は、画像の１画素分に相当する単位受光部であるセルが２次元的に並べられている。この点ではＣＣＤイメージセンサなど他の撮像素子と似ている。異なるのは、セル構造の中に外光から分離して反射光のみを取り出すためのしくみがあることである。
【００３９】
セルは光電変換部と蓄積方向制御部と第１および第２の電荷蓄積部と、選択出力部からなる。光電変換部は入射した光を電荷に変換する。第１および第２の電荷蓄積部は光電変換部において発生した電荷を蓄積する手段である。蓄積方向制御部は光電変換部において発生した電荷を第１の電荷蓄積部，第２の電荷蓄積部のいずれに蓄積するかを制御する手段である。選択出力部は第１の電荷蓄積部、第２の電荷蓄積部のいずれか選択しその電荷をセル外部へ読み出すための手段である。
【００４０】
１枚の反射光画像を得るために以下のような動作を行う。まず発光部１がパルス発光する。発光している間、光電変換部で発生した電荷を第１の電荷蓄積部に蓄積する。次に発光していない間に、光電変換部で発生した電荷を第２の電荷蓄積部に蓄積する。
【００４１】
以上のように、第１の電荷蓄積部には反射光と室内照明、太陽光などの外光を受光した電荷量が、第２の電荷蓄積部には外光のみを受光した電荷量が蓄積される。セルから電荷を読み出すときは、２つの電荷蓄積量を順番に読み出し外部の差分回路でその差分を取り出す。第１の電荷蓄積部の蓄積量から第２の電荷蓄積部の蓄積量を引くと、反射光成分のみが取り出される。
【００４２】
上の説明では、第１の電荷蓄積部、第２の電荷蓄積部への電荷蓄積は１回ずつであったが、回数はこれに限らない。例えば２つの電荷蓄積部への蓄積を１０回繰り返してもよい。
【００４３】
また、第１の電荷蓄積部、第２の電荷蓄積部への電荷蓄積回数が異なってもよい。例えば、始めに第１の電荷蓄積部へ１ｍｓ蓄積し、ついで第２の電荷蓄積部へ２ｍｓ蓄積し、最後にもう一度第１の電荷蓄積部へ１ｍｓ蓄積してもよい。このようにすると、外光の変動の影響を受けにくい。
【００４４】
発光部は人間の目に見えない、不可視光を発光する。より具体的には近赤外光を発光するＬＥＤはそのコスト、装置への組み込みやすさから言っても好適である。不可視光であるため、使用者は眩しさを感じずに済む。また、より好適には受光光学系（レンズ）には、図示しない波長選択型光学フィルタが設けてある。近赤外光を用いる場合は、このフィルタは発光波長である近赤外光を通過し、可視光、遠赤外光を遮断する。従って、ノイズとなる外光の多くをカットしている。
【００４５】
上記で述べた撮像装置の構成はほんの一例である。実際にはさまざまな形で反射光画像を得る装置を構成できる。本特許では発光部と受光光学系（レンズ）の位置関係を主にした発明を述べているので、撮像素子自体の細かい構成は問わない。
【００４６】
上の説明では、単位セル内に２つの電荷蓄積部を持つ撮像素子を例に挙げたが、例えば、セル内には電荷蓄積部は１つしかなく、差分を得るしくみをセル外に用意してもよい。同じ考え方で、既存のＣＣＤイメージセンサなどを用いてもこの撮像装置を構成することはできる。
＜反射光画像の利用＞
物体からの反射光は、物体の距離が大きくなるにつれ大幅に減少する。物体の表面が一様に光を散乱する場合、反射光画像１  画素あたりの受光量は物体までの距離の２乗に反比例して小さくなる。従って、本入力装置の前に物体を置いたとき、背景からの反射光はほぼ無視できるくらいに小さくなり、物体のみからの反射光画像を得ることが出来る。
【００４７】
例えば、入力装置の前に手を持ってきた場合、その手からの反射光画像が得られる。この時、反射光画像の各画素値は、その画素に対応する単位受光セルで受光した反射光の量を表す。
【００４８】
反射光量は、物体の性質（光を鏡面反射する、散乱する、吸収するなど）、物体面の向き、物体の距離、などに影響されるが、物体全体が一様に光を散乱する物体である場合、その反射光量は物体までの距離と密接な関係を持つ。
【００４９】
手などはこのような性質を持つため、手を差し出した場合の反射光画像は、手の距離、手の傾き（部分的に距離が異なる）、などを反映する。従ってこれらの特徴情報を抽出することによって、様々な情報の入力・生成が可能になる。
【００５０】
反射光画像の加工の仕方の代表例は、距離情報の抽出と、領域抽出である。先にも述べたように、物体が一様で均質な散乱面を持つ物体であれば、反射光画像は距離画像と見なすことができる。従って、物体の立体形状を抽出することができる。物体が手であれば、手のひらの傾きなどが検出できる。手のひらの傾きは部分的な距離の違いとして現れる。
【００５１】
また、手を移動させたときに画素値が変われば、距離が移動したと見ることができる。また、背景のように遠い物体からの反射光はほとんどないため、反射光画像からあるしきい値以上の領域を切り出すという処理で、物体の形状を簡単に切り出すことができる。例えば、物体が手であれば、そのシルエット像を切り出すのは極めて容易である。また画素値が距離と密接な関係を持つため物体の凹凸の情報を得ることができる。これは３次元形状の獲得が可能であることを示す。
【００５２】
また、反射光画像よりさまざまな特徴情報を抽出することができる。この特徴情報あるいは特徴情報の抽出方法は様々考えられる。例えば形状の面積や重心の位置、水平方向、垂直方向の広がり、およびそれらの時間的変化などを抽出することができます。また手の形から指先の位置などを検出することもできる。また距離情報も併用した特徴量を求めることもできる。
【００５３】
これらの特徴情報からジェスチャーやポインティングなどの情報を生成し、これによりコンピュータなどの操作を行うことができる。また対象物体の立体情報を抽出し、利用することもできる。また、コンピュータに限らず、ＡＶ機器や家電製品などの機器や非接触で操作したい医療機器や汚れたてで操作したい工場などの装置などさまざまな製品に応用できる。
【００５４】
＜明るさを距離に変換することを説明＞
これまでにも述べたように、本装置では、発光部により光を発し、その光の対象物体による反射光を画像として獲得する。したがって、物体が近くに存在すれば反射光は大きくなり、物体が遠くになれば反射光は小さくなる。物体面が光軸と垂直であり、その表面が完全拡散面だと仮定すると、物体面上からの反射光を受光する、受光セル（反射光画像の１画素に相当する）が受ける光の量は、物体面までの距離の２乗に反比例する。
【００５５】
実際には、物体面が完全拡散面でないこともあるし、物体面は光軸に垂直でなければ反射光量は減衰する。
また、発光部が均一に対象空間を照らしていなければ対象物体の位置によっても反射光量が変わる。したがって、精度良く求めようとすればさまざまな補正を行う必要はある。しかし基本的には反射光量、つまり画素値は距離と関係を持つ。
【００５６】
このように反射光を用いることで、物体を背景から切り出すことができる。一方、反射光でなく、通常の画像（可視光による受動的な）撮像も可能である。本発明は、通常の撮像と反射光による距離画像の撮像と双方を可能にするものである。
【００５７】
図２は本発明の正面からみた概観と横からみた概観を示すものである。筐体は周囲からの光がもれこまないように、密閉型になっている。電源など熱を発生する部分には、熱を発散するための放射板などが設置されたりする。レンズ３の周囲に発光部であるＬＥＤ１が複数並んでいる。レンズ３の後ろに反射光画像検出部４が配置されている。
【００５８】
ＬＥＤ１の下には、電源がはいっているかどうかを示す電源ＯＮ／ＯＦＦ表示器３１が設置され、例えば、ＯＮの時には、緑色に点灯し、ＯＦＦの時には、点灯が消えることにより、ユーザが簡単に電源ＯＮ／ＯＦＦを確認できるようになっている。電源ＯＮ／ＯＦＦのスイッチは、この筐体の後部につけることも可能である。あるいは、接続されているパソコンなどのコンピュータ側からソフトウェア的にＯＮ／ＯＦＦすることも可能である。
【００５９】
また、蛍光灯などの外光によるノイズを除くために、外光の周波数の検知などを行う必要がある。このための外光検出部３２が、レンズと同じ側で、この例では、電源ＯＮ／ＯＦＦ表示器３１とは反対側の上部に設置されている。
【００６０】
図３では、不可視光と可視光の撮像を切り替えるための切り替え部１０のうち、スイッチ部を示している。この切り替え部１０を手動あるいは自動で切り替えることにより、不可視光撮像用フィルタと可視光撮像用フィルタが切り替わり、撮像ができるようになっている。
【００６１】
以上のように撮像して得られた画像を図４に示す。図４（ａ）が、可視光撮像の画像、図４（ｂ）が不可視光撮像の画像である。可視光撮像では通常の画像が得られ、これに対し、図４（ｂ）は、手の部分のみが背景から切り出された画像が撮像できていることがわかる。
【００６２】
図５は別の物体を撮像し、その値を０から２５５までの２５６階調（８ビット）で表現したものである。図５（ａ）は可視光画像である。この場合は、図４（ａ）に示すようにモノクロ画像なので、得られた値は、物体の輝度値に相当する。一方。図５（ｂ）は不可視光画像である。この値は、物体表面で反射された反射光の強さに相当する。
【００６３】
図５（ａ）の可視光の輝度値を用いて、図５（ｂ）の反射光の強さを補正する方法を次に示す。可視光画像での物体で、白いものは、近赤外光に対する反射率が高く、黒いものは近赤外光に対する反射率が低い。
【００６４】
つまり、可視光の輝度値が高い（色が白い）と、反射率が高いので、得られた反射光の強さを弱める（補正係数を小さくする）、逆に、輝度値が低い（黒い）と、反射率が低いので、得られた反射光の強さを強める（補正係数を大きくする）ことにより、補正を行うことができる。図６に可視光の輝度値と補正係数との対応表の一例を示す。
【００６５】
図７は補正処理の流れ図の一例を示す図であり、図８はこの処理を実現するための第１の実施例の概略構成図である。図４あるいは図５に示したような画像を取得する距離画像取得部１１と可視光画像取得部１２と、これを切り替える切り替え部１０，取得した画像および補正された画像を記憶する画像記憶部１４と、図６のような補正係数を用いて距離画像の補正を行う距離画像補正部１５と、図４あるいは図５のように取得した画像の呈示を行う呈示部１６と、これらの管理をおこなう情報管理部１３とから構成されている。
【００６６】
ステップＳ７０１で読み出す反射光画像の行列Ｉｉｊ、可視光画像の行列Ｖｉｊ、補正係数Ｗｉｊのクリアと、行列のサフィックス（ｓｕｆｆｉｘ）ｉｊの初期化を行う。ここでは、行列の大きさはＭ×Ｎと仮定する。
【００６７】
次にステップＳ７０２において、距離画像取得部１１で取得した反射光画像Ｉｉｊと可視光画像取得部１２で取得した可視光画像Ｖｉｊを読み出す。ここで、ＩｉｊやＶｉｊ行列の各要素に０から２５５の値がセットされるので、読み出された結果を表示すると、例えば、図５（ｂ）や図５（ａ）のようになる。
【００６８】
次に、距離画像補正部１５においてＶｉｊの輝度値をもとに、図６の対応表を参照して、補正係数Ｗｉｊの値をセットし（ステップＳ７０３）、この値を使ってＩｉｊの補正を行う（ステップＳ７０４）。この処理をｉｊを順次、増減して、Ｍ×Ｎのすべての要素に対して補正を行い、最終的に得られたＩｉｊを出力し（ステップＳ７０９）、処理を終了する。
【００６９】
図５は実はパソコンなどの入力デバイスであるマウスを撮像したものである。図５（ａ）と図５（ｂ）において、それぞれ白丸を付した部分は、マウスのボタンにあたる。図５（ａ）において、マウス全体が白いので、輝度が高いのに対し、このボタンの部分はネズミ色で、輝度が５６と低くなっている。これに対応する部分は図５（ｂ）では反射光の強さが１１６と低くなっている。輝度値５６に対応する補正係数は図６より、1.56である。この補正係数を用いて補正を行うと、116*1.56＝181 となり、輝度値を補正した反射光の強さ、つまり距離値に相当する値を得ることができる。
【００７０】
＜第２の実施例＞
第１の実施例では、モノクロ画像の輝度値のみを使っている。同じ色であっても、照明があたっている場合とあたっていない場合では、輝度値が異なる。つまり、照明があたっている方が、あたっていない方より、輝度値が高くなる。
【００７１】
さらに照明に対する面の向きによっても輝度値は異なる。面が照明光線に対して、垂直になっている場合が最も輝度が高く、これから角度がずれるに従い、輝度値が低くなる。顔のように、曲面があるような物体の場合には、同じ肌色であっても、輝度値が異なってしまう。
【００７２】
以上のように、第１の実施例では、モノクロ画像の輝度値のみを用いているので、照明の影響が輝度値に直接及んでしまう。このような問題を回避するために、Ｒ，Ｇ，Ｂの色別に可視光画像を撮像し、色別の輝度値を用いて、補正を行うものである。
【００７３】
図９は第２の実施例の概略構成図である。第１の実施例では、一つの可視光画像取得部１２のみを備えていたのに対し、第２の実施例では、Ｒ，Ｇ，Ｂ毎に撮像する可視光Ｒ画像取得部１７、可視光Ｇ画像取得部１８、可視光Ｂ画像取得部１９を具備する点が異なっている。
【００７４】
図１０は取得された画像の一例である。説明を容易にするために簡単化して示したものである。対象は図１０（ｅ）に示したように、左上が白、左下が青、右上が緑、右下が赤、右側に照明があたり、左側に照明があたっていない。
【００７５】
図１０（ａ）は可視光Ｒ画像取得部１７が取得した画像、図１０（ｂ）は可視光Ｇ画像取得部１８が取得した画像、図１０（ｃ）は可視光Ｂ画像取得部１９が取得した画像、図１０（ｄ）は距離画像取得部１１が取得した画像である。
【００７６】
距離画像としては、上半分が凸で下半分が凹である。
図１１は第２の実施例の処理の流れ図である。初期化では、可視光Ｒ画像取得部１７が取得した画像Ｒｉｊ、可視光Ｇ画像取得部１８が取得した画像Ｇｉｊ、可視光Ｂ画像取得部１９が取得した画像Ｂｉｊ、距離画像取得部１１が取得した画像Ｉｉｊを読み出すために、それぞれの行列と、および可視光画像Ｖｉｊと、補正係数Ｗｉｊを格納するための行列の初期化を行う（ステップＳ８０１）。
【００７７】
次にＩｉｊ，Ｒｉｊ，Ｇｉｊ，Ｂｉｊの読み出し（ステップＳ８０２）、読み出したＲｉｊ，Ｇｉｊ，Ｂｉｊの最大値をＶｉｊにセットする（ステップＳ８０３）。以降、Ｖｉｊの値を用いて、補正を行う流れは、第１の実施例と同様である。
【００７８】
補正を行った結果を図１２に示す。図１２（ａ）は可視光画像Ｖｉｊ。図１２（ｂ）はＶｉｊより算出された補正係数Ｗｉｊ、図１２（ｄ）は補正係数Ｗｉｊにより補正を行った補正結果である。図１２（ｃ）は比較のために、輝度値のみにより補正したものである。この場合、照明の影響のため、右半分の距離値が実際より近い補正になってしまっているが、図１２（ｄ）ではこのようなことはない。
【００７９】
また、物体の色は変わらないので、一度、物体の３次元形状と色の分布がわかれば、以降、距離画像のみを取得することで、補正を行うことも可能である。
また、本願発明の実施例における図７，図１１の処理をコンピュータで実行可能なプログラムで実現し、このプログラムをコンピュータで読み取り可能な記憶媒体として実現することも可能である。
【００８０】
なお、本願発明における記憶媒体としては、磁気ディスク、フロッピーディスク、ハードディスク、光ディスク（ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリ等、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。
【００８１】
また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼動しているＯＳ（オペレーションシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
【００８２】
さらに、本願発明における記憶媒体は、コンピュータと独立した媒体に限らず、ＬＡＮやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。
【００８３】
また、記憶媒体は１つに限らず、複数の媒体から本実施形態における処理が実行される場合も、本発明における記憶媒体に含まれ、媒体の構成は何れの構成であってもよい。
【００８４】
なお、本願発明におけるコンピュータは、記憶媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するものであって、パソコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
【００８５】
また、本願発明におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本願発明の機能を実現することが可能な機器、装置を総称している。
【００８６】
【発明の効果】
以上、本発明によれば、可視光画像により容易に距離値の補正を行えるので、リアルタイムに３次元情報を取得できるので、その効果は大きい。
【図面の簡単な説明】
【図１】本発明が適用する、発光部と撮像部を持った入力装置の構成
【図２】本発明の概観を示す正面図と側面図
【図３】本発明の概観を示す真上からみた図
【図４】第１の実施例の可視光と不可視光での撮像結果を示す図
【図５】第１の実施例の可視光と不可視光での撮像結果をデジタル値で示す図
【図６】第１の実施例の距離画像の補正に用いる補正係数の一例
【図７】第１の実施例の処理の流れ図
【図８】第１の実施例の概略構成図
【図９】第２の実施例の概略構成図
【図１０】第２の実施例の可視光と不可視光での撮像結果をデジタル値で示す図
【図１１】第２の実施例の処理の流れ図
【図１２】第２の実施例の補正の例
【符号の説明】
１…発光部
２…対象物体
３…受光光学系（レンズ）
４…反射光画像検出部
５…アンプ
６…Ａ／Ｄ変換器
７…メモリ
８…Ｉ／Ｆ回路
９…制御部
１０…切り替え部
１１…距離画像取得部
１２…可視光画像取得部
１３…情報管理部
１４…画像記憶部
１５…距離画像補正部
１６…呈示部
１７…可視光Ｒ画像取得部
１８…可視光Ｇ画像取得部
１９…可視光Ｂ画像取得部
【図１】
0003625390.tif 000002
【図２】
0003625390.tif 000003
【図３】
0003625390.tif 000004
【図４】
0003625390.tif 000005
【図５】
0003625390.tif 000006
【図６】
0003625390.tif 000007
【図７】
0003625390.tif 000008
【図８】
0003625390.tif 000009
【図９】
0003625390.tif 000010
【図１０】
0003625390.tif 000011
【図１１】
0003625390.tif 000012
【図１２】
0003625390.tif 000013