(57)【特許請求の範囲】
【請求項１】
物体の画像を撮像する撮像手段を有する画像入力装置であって、
入力された外光の強度の変動周期を検出する手段と、
この手段で検出された外光の強度の変動周期と前記撮像手段の撮像するタイミングとを任意の位相差をもって同期させる位相差制御手段と、
この位相差制御手段で同期された複数の撮像のタイミングにおいて入力された外光の蓄積量を比較する評価手段と、
この評価手段で外光の蓄積量を比較した結果、前記位相差制御手段で同期させた位相差のうち最も外光の蓄積量の差分が小さくなる位相差を選択する選択手段とを有することを特徴とする画像入力装置。
【請求項２】
光を発光する発光手段と、
２回の撮像を行いその差分をもとに、前記発光手段による光の物体による反射光を外光から分離して撮像する撮像手段を有する画像入力装置であって、
入力された外光の強度の変動周期を検出する手段と、
この手段で検出された外光の強度の変動周期と前記撮像手段の撮像するタイミングとを任意の位相差をもって同期させる位相差制御手段と、
この位相差制御手段で同期された複数の撮像のタイミングにおいて入力された外光の蓄積量を比較する評価手段と、
この評価手段で外光の蓄積量を比較した結果、前記位相差制御手段で同期させた位相差のうち最も外光の蓄積量の差分が小さくなる位相差を選択する選択手段とを有することを特徴とする画像入力装置。
【請求項３】
外光の影響を評価する際には、前記発光部を発光させずに、２回の撮像の差分を出力することを特徴とする請求項２に記載の画像入力装置。
【請求項４】
外光の影響を評価する際には、前記発光部を発光させずに、差分を行わないもう１回の撮像結果だけを出力することを特徴とする請求項２に記載の画像入力装置。
【請求項５】
物体の画像を撮像する画像入力方法であって、
入力された外光の強度の変動周期を検出し、
検出された外光の強度の変動周期と撮像するタイミングとを任意の位相差をもって同期させ、
この同期された複数の撮像のタイミングにおいて入力された外光の蓄積量を比較し、
比較した結果、同期させた位相差のうち最も外光の蓄積量の差分が小さくなる位相差を選択することを特徴とする画像入力方法。
【請求項６】
物体の画像を撮像するプログラムをコンピュータで実行可能なように記録した記録媒体であって、
入力された外光の強度の変動周期を検出し、
検出された外光の強度の変動周期と撮像するタイミングとを任意の位相差をもって同期させ、
この同期された複数の撮像のタイミングにおいて入力された外光の蓄積量を比較し、
比較した結果、同期させた位相差のうち最も外光の蓄積量の差分が小さくなる位相差を選択するプログラムをコンピュータで実行可能なように記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は蛍光灯等の外光の強度変化を考慮した画像入力装置および方法および記録媒体に関する。
【０００２】
【従来の技術】
コンピュータへの入力デバイスとしては、マウスが圧倒的に使われている。が、マウスでできることは、カーソルの移動と、メニューの選択などである。あくまでも２次元のポインティングデバイスとしての役目である。マウスで扱えるのは、２次元情報なので、３次元空間のなかの物体など奥行きがあるものを選択することは難しい。また、アニメーションを作成するときに、キャラクタに動きをつけるのに、マウスでは、自然な動きをつけることが難しかった。
【０００３】
３次元空間でのポインティングの難点を補うために、３次元ポインティングデバイスが開発されている。例えば、図１１のような３次元ポインティングデバイスでは、中央の丸い手段分の前方を押す、中央を押す、後方を押す、丸い手段分の全体を持ち上げる、全体を右に回す、左に回すというように、６通りの操作ができ、６自由度ある。この６自由度を割り振ることで、３次元空間内のカーソルの位置（ｘ，ｙ，ｚ）と向き（ｘ軸，ｙ軸，ｚ軸）制御したり、あるいは、３次元空間に対する視点位置（ｘ，ｙ，ｚ）と向き（ｘ軸，ｙ軸，ｚ軸）を制御できる。
【０００４】
しかし、実際に操作すると、思うようにカーソルや視点の制御ができないという問題がある。例えば、左右に回そうとすると、前方あるいは後方を押してしまい、思わぬ方向にカーソルが動いたり、視点が動いたりしてしまう。
【０００５】
このような３次元ポインティングデバイスに対して、手振りや身ぶりを使って入力するデバイスも開発されている。データグローブやデータスーツ、サイバーグローブと呼ばれるものである。
【０００６】
これらは、例えば、データグローブは手袋状のデバイスで、表面に光ファイバが走っている。光ファイバは、指の関節まで通っており、指を曲げることにより、光の導通が変わる。この光の導通を計測することで、各指の関節がどの程度曲がっているかがわかる。手自体の３次元空間内の位置は、手の甲についている磁気センサによって計測するようになっている。人差し指をたてれば、前進するというように、身ぶりとそれに対応する指示を決めておけば、データグローブを使って、３次元空間内を種々に視点を変えて、ちょうど、歩き回るようにする（ウオークスルーという）ことができる。
【０００７】
しかし、問題がいくつかある。まず、価格が高価であり、家庭用などに使用することは難しい。指の関節の角度を計測しているので、例えば、人差し指だけのばし、他の指は、曲げた状態を前進指示と定義したとする。実際に一口に指を伸ばすといっても、人差し指の第２関節の角度が１８０度に完全になっていることは少ないので、遊びの手段分を作らないと、きっちりのばしたとき以外は、のばしていると認識するのが難しい。また、データーグローブを装着するので、自然な操作が阻害される。
【０００８】
また、装着するたびに、手の開いた状態と閉じた状態で、光の導通状態を校正せねばならないので、手軽に使えない。また、光ファイバを使っているため、継続的に使っていると、ファイバが断絶するなど消耗品に近いという問題がある。
【０００９】
また、このように、高価で、手間がかかるデバイスである割には、手袋の大きさが、ぴったり合っていないと、使っているうちにずれたりして校正した値からずれるために、細かな手振りを認識することは難しい。このように、いろいろな問題があるために、データグローブは、ＶＲ（バーチャルリアリティ、仮想現実感）技術のトリガーとなったデバイスであったにもかかわらず、当初の期待ほど、普及しておらず、また、低価格化もなされていず、使い勝手の点で問題が多い。
【００１０】
これに対し、データグローブのような特殊な装置を装着することなく、手振りや身ぶりを入力しようとする試みが、いくつかなされている。例えば、ビデオ映像などの動画像を解析して、手の形を認識するような研究がなされている。が、これらでは、背景画像から目的とする画像、手振りの認識の場合には、手のみを切り出すことが難しいという問題がある。例えば、色を使って切り出す場合を考えてみる。手の色は肌色であるので、肌色の手段分のみを切り出すような方式が考えられる。
【００１１】
しかし、背景にベージュ色の洋服や、壁があったりすると、肌色を識別することが難しい。また、調整を行って、ベージュと肌色を区別できるようにしても、照明が変われば、色調が変化してしまうために、定常的に切り出すことは困難である。
【００１２】
このような問題から逃れるために、背景にブルーマットをおくというように、背景画像に制限を置き、切り出しを容易にする方策も採られている。あるいは、指先に背景からの切り出しが容易になるような色をつける、あるいは色のついた指輪をはめるというような方策も採られている。しかし、このような制限は現実的でなく、実験的には使われているが、実用化されるにいたっていない。
【００１３】
また、以上のような切り出しなどのビデオの画像認識処理は、非常に演算量が多い。このため、現状のパーソナルコンピュータでは、秒３０枚発生する画像を処理しきれないのが実状である。従って、ビデオ映像の処理によるモーションキャプチャなどをやるのは、リアルタイムは無理である。
【００１４】
レンジファインダと呼ばれる、距離画像を入力する装置がある。その代表的な原理として、スポット光あるいはスリット光を対象物体に照射し、その反射光の受光位置から三角測量の原理で求めるものである。２次元的な距離情報を求めるために、スポット光あるいはスリット光を機械的に走査している。この装置は非常に高精度な距離画像を生成することができるが、その反面、装置の構成が大掛かりになり、高コストになる。また入力に時間がかかり、実時間で処理を行わせるのは困難である。
【００１５】
また、手や身体の一部に色マーカーや発光部を取り付け、画像によりそれらを検出し、手・身体の形、動きなどを捉える装置もあり、一部実用化されている。しかし使用者の利便性を考えると、操作の度に装置を装着しなくてはならないというのは大きなデメリットであり、応用範囲を非常に制約する。また、データグローブの例に見られるように、装置を手などの可動部に装着して使用する装置は耐久性が問題になりやすい。
【００１６】
次に、以上のような入力デバイスとは別に、カメラ技術について従来技術についての問題点を述べる。従来のカメラ技術では、背景に対して、キャラクタの合成（クロマキー）を行うには、あらかじめ、ブルーバックでキャラクタを撮影して、キャラクタの切り出しを容易にする必要があった。このため、ブルーバックで撮影ができるスタジオなど、撮影場所に制限があった。あるいは、ブルーバックでない状態で撮影した映像から、キャラクタを切り出すには、コマごとに、キャラクタの切り出し範囲を人手で編集せねばならないので、非常な手間がかかっていた。
【００１７】
同様に、キャラクタを３次元空間の中に生成するには、あらかじめ３次元のモデルをつくっておき、そこにキャラクタの写真を貼り付ける（テクスチャマッピング）をおこなうような方式をとっている。しかし、３次元モデルの生成、および、テクスチャマッピングには手間がかかり、映画制作など経費がかかってもよい用途以外では、ほとんど使えなかった。
【００１８】
このような問題を解決するために、例えば、特願平９−２９９６４８号に示されているような、反射光画像を抽出し、距離画像を取得する方式が開発されている。この方法によれば、光を物体に向けて発光し、その物体の反射光のみを画像として取り出すことにより、物体の形状を容易に取得することが可能になった。
【００１９】
遠くの背景から反射して戻ってくる光はきわめて少ないため、物体の背景からの切り出しが容易になる。また、この物体反射光は、物体が一様な反射特性を持つ場合、その３次元的な形状に大きく関係するため、３次元画像として得ることができる。また物体の３次元的な動きを捉えるのは容易であった。図１２にこの装置が取得した反射光画像の例を挙げる。
【００２０】
【発明が解決しようとする課題】
この反射光画像を取得するためには、照明光や太陽光といった外光から、光源の物体による反射光のみを取り出さなくてはならない。このために２回の撮像を行い、その差分として物体反射光を取り出している。この２回の撮像は極めて近い時間で行われるため、その両者における外光量の変動は少ない。しかし、厳密には蛍光灯のように強度変動している照明環境のもとでは、その２回の撮像の間のわずかな外光変動が取得された反射光画像の品質を劣化させてしまう。
【００２１】
また蛍光灯などの照明は基本的には電源の周期に比例した周期で強度変動しているが、その変動波形はきれいな正弦波を描いているわけではなく、部分的に急峻な変化が起こる部分もあるなど、高調波を含んだ変動をしている。
【００２２】
しかし、この方式では、蛍光灯のように時間的に変動する外光が存在する場合に、その変動が得られる反射光画像の品質を劣化させてしまうという問題があった。
【００２３】
また、ＣＣＤカメラのフリッカレス動作のように、単純に１０ｍｓの時間で撮像すると、２回の撮像の間の時間差が大きくなってしまい、物体の動きが速い場合に画像が劣化してしまう。さらに発光部として好適なＬＥＤなどは、発光時間が短いほど、瞬間的に大きなパワーで発光できるという特性を持っている。したがって、蓄積時間が長いと、反射光に対する外光の割合が大きくなってしまい、ダイナミックレンジが狭くなってしまうという問題がある。
【００２４】
【課題を解決するための手段】
この様な問題点を解決するために本願発明は、物体の画像を撮像する撮像手段を有する画像入力装置であって、入力された外光の強度の変動周期を検出する手段と、この手段で検出された外光の強度の変動周期と前記撮像手段の撮像するタイミングとを任意の位相差をもって同期させる位相差制御手段と、この位相差制御手段で同期された複数の撮像のタイミングにおいて入力された外光の蓄積量を比較する評価手段と、この評価手段で外光の蓄積量を比較した結果、前記位相差制御手段で同期させた位相差のうち最も外光の蓄積量の差分が小さくなる位相差を選択する選択手段とを有することを特徴とする。
【００２５】
また、光を発光する発光手段と、２回の撮像を行いその差分をもとに、前記発光手段による光の物体による反射光を外光から分離して撮像する撮像手段を有する画像入力装置であって、入力された外光の強度の変動周期を検出する手段と、この手段で検出された外光の強度の変動周期と前記撮像手段の撮像するタイミングとを任意の位相差をもって同期させる位相差制御手段と、この位相差制御手段で同期された複数の撮像のタイミングにおいて入力された外光の蓄積量を比較する評価手段と、この評価手段で外光の蓄積量を比較した結果、前記位相差制御手段で同期させた位相差のうち最も外光の蓄積量の差分が小さくなる位相差を選択する選択手段とを有することを特徴とする。
【００２６】
また、外光の影響を評価する際には、前記発光部を発光させずに、２回の撮像の差分を出力することを特徴とする。
また、外光の影響を評価する際には、前記発光部を発光させずに、差分を行わないもう１回の撮像結果だけを出力することを特徴とする。
【００２７】
また、物体の画像を撮像する画像入力方法であって、入力された外光の強度の変動周期を検出し、検出された外光の強度の変動周期と撮像するタイミングとを任意の位相差をもって同期させ、この同期された複数の撮像のタイミングにおいて入力された外光の蓄積量を比較し、比較した結果、同期させた位相差のうち最も外光の蓄積量の差分が小さくなる位相差を選択することを特徴とする。
【００２８】
また、物体の画像を撮像するプログラムをコンピュータで実行可能なように記録した記録媒体であって、入力された外光の強度の変動周期を検出し、検出された外光の強度の変動周期と撮像するタイミングとを任意の位相差をもって同期させ、この同期された複数の撮像のタイミングにおいて入力された外光の蓄積量を比較し、比較した結果、同期させた位相差のうち最も外光の蓄積量の差分が小さくなる位相差を選択するプログラムをコンピュータで実行可能なように記録した記録媒体である。
【００２９】
【発明の実施の形態】
図１は、本発明を表わす構成の具体的な例である。発光部７はあらかじめ与えられたタイミング制御部４で与えられたタイミングで発光する。発光された光１６は物体１４（図では手）に反射し、その反射光１７は結像光学系１３を経て、イメージセンサ１２で受光される。イメージセンサと光学系の間には図示しない光学フィルタが配置されており、発光部の光以外の波長光の多くはカットされる。
【００３０】
さらにイメージセンサは発光に同期し、２回の受光を行い、その差分を出力することができるので、発光部からの光の物体反射光のみを画像として出力する。例えば、図２に示すように、イメージセンサの各受光セル３０が電荷の蓄積部３８，  ４０を２つ持ち、各々に発光時、非発光時の受光電荷を蓄積しておき、出力するときに差分回路２５を使ってその差分のみを出力する。
【００３１】
発光制御部６および制御信号生成部８はこれらの発光部７、イメージセンサ１２の制御を行うための信号を生成する。さらにこれらをタイミング制御部４が制御する。イメージセンサの出力はアナログ信号処理回路１１を経て、Ａ／Ｄ変換回路１０によりデジタル画像データに変換され、これが発光部からの光の反射光画像として、図示しない後段の処理部にて利用される。
【００３２】
図では、各受光セルに電荷蓄積部を２つ持つ、カスタム化されたイメージセンサを用いた例を挙げたが、本発明の対象はこれに限らない。現実には、現在もっともよく利用されるＣＣＤイメージセンサを用いて同様の動作を行わせることも可能であるし、近年デジタルスチルカメラなどに搭載されるようになってきた、ＣＭＯＳイメージセンサと呼ばれるイメージセンサでも行うことができる。
【００３３】
本実施例で挙げたイメージセンサはＣＭＯＳイメージセンサをカスタマイズしたものと考えることができる。反射光を取得する原理については、特願平９−２９９６４８号、特願平１０−３１６５９号などに詳細に記されている。
【００３４】
要するに本発明は、タイミングをずらした２回の撮像を行い、それらを演算した結果（ここでは差分）を出力するような構成（必ずしもセンサ単体で実現されなくとも良い）を持つシステムにおいて、その２回の撮像の間の外光の変動が性能に影響を及ぼすような場合に、これを回避するための技術である。
【００３５】
本発明の特徴としてこれらに加え、外光検出部３、外光周期検出部１、位相制御部２、外光の影響評価手段９がある。外光検出部３は照明光１５や太陽光などの、発光部７以外の外光の量を検出する。さらに、発光部７からの光１６の物体反射光１８を遮断するような光学フィルタをその前面に設けても良い。
【００３６】
外光周期検出部１は外光検出部３の出力を受け、その強度の変動周期信号を生成する。例えば、日本の関東以東では、蛍光灯照明光は１００Ｈｚの周期で強度変化するため、１００Ｈｚの信号が出力される。後段の処理を考えるとパルス信号で出力されるのが好適である。
【００３７】
位相制御部２はこの外光の変動周期に対し、発光部７とイメージセンサ１２の動作を同期させる働きを持ち、さらに２つの周期の位相を制御することができる。位相制御部２がタイミング制御部４に対し適切なトリガ信号を与えることで、外光の周期に対し、同期させた撮像動作を行わせることができる。
【００３８】
本発明における反射光画像取得方法は、発光部７を発光するときと発光しないときの２回の撮像の差分として、反射光画像を得る。この２回の発光の間で、外光の強度が変化しなければ、この差分は正確な反射光量となる。しかし実際には外光には蛍光灯のように時間的に強度変化するものがあることがあり、このような場合、２回の撮像の間の、外光変動がノイズとなる。これを避けるためには外光の変動周期と撮像の周期を一致させることである。２回の撮像の各々のタイミングにおいて常に外光の強度が同じになるようにすれば良い。
【００３９】
また、例えば蛍光灯照明を例に挙げて考えると、たとえ１００Ｈｚの周期で強度変化しているとしても、必ずしも強度がきれいな正弦波を描いているわけではない。実際には１周期の中でも、単位時間に対する強度変動が大きいところと小さいところが存在する。したがって、外光の変動と撮像の周期を同期させるとしても、最適な位相差で同期させる必要がある。
【００４０】
位相制御部２は外光の変動周期と撮像動作の位相差を任意にあるいは決められた刻みで変化させる。最適な位相差を見つけるために、外光の影響評価手段９が用いられる。外光の影響評価手段は、その時の位相差において、２回の撮像の間での外光変動がどの程度大きいかを評価する。外光の影響評価手段の評価結果を用いて、最適な位相差を決定する。最も単純には評価が一番良い（外光の影響が少ない）位相差を最適と判断する。
【００４１】
図３は、最適な位相差を求めるための動作フローを表わしている。まず電源投入されると（５０）、初期化処理のひとつとしてこれが行われる。まず外光の影響を測定するためのモードで動作させる（５１）。位相差決定処理中（５３〜５５）は、外光の変動のみを評価するのであるから発光部は点灯しないようにしておく。
【００４２】
次に、外光周期検出部から得られる周期信号に対し、撮像の周期を徐々にずらしていく。まず位相差を初期位置に合わせる（５２）。この状態で外光の影響を評価し、評価結果を蓄積しておく（５４）。
【００４３】
次に位相差をずらし（５５）、同様に外光の影響を評価し、その結果を蓄積する。これを繰り返し、位相差が一周して元に戻るまで行う。選択できるすべての位相差で評価し終わるとその中で最適な位相差を決定する（５６）。
【００４４】
決定の仕方にもいろいろあるが、単純には、外光の変動が一番小さかった位相差を選択する。あるいは例え一番変動が小さい位相差があったとしても、その隣の位相差でかなり大きな変動があったような場合、その変動が小さい位相差を選択するのが好ましいとは限らない。ある程度の（位相差の）幅で変動が小さかったときにその中央辺りを選択する方法もある。これらの動作が終了した後、通常動作モードにし（５７）、反射光画像の取得を開始する。
【００４５】
このフローチャートでは、電源投入時直後に行っているが、必ずしもこれに限らない。使用者が求めたときに随時この処理を行っても良い。また、一定時間置きに自動的にこの処理を行えば外光の状態に変動が起こっても対処できる。例えば、新たな照明が付けられた，時間が経って照明の応答特性が変わった、などの場合に適応できる。
【００４６】
図４は、外光の変動とそれから得られる変動周期信号、および撮像のタイミングとの関係などを示した図である。図４（ａ）は外光検出部の出力の例である。蛍光灯などは基本的に電源周波数の倍の周波数で変動しているが、その波形は必ずしも正弦波のようなきれいな波形ではなく、例えば図４（ａ）のような鋭いピークや高調波を持つものもある。あるいは発光部からの光の物体反射光を、光学フィルタなどで減衰させない場合には、それもこのような高調波を作る原因になる。
【００４７】
最適位相差を決定する処理の間においては、発光部は消灯しているので、その反射光は外光検出部には入射しない。しかし、最適位相差が決定された後は、発光部は発光を始めるので、このような鋭い波形が入ることがある。この信号から外光周期検出部は周期信号を生成するが、これを直接所定の閾値でパルス波形にしてしまうと、正しい周期が得られない。図４（ｂ）のように高調波を取り除いた波形にまず変えるのが望ましい。変動のある外光はほぼ蛍光灯のみに限定して良いので、１００Ｈｚあるいは１２０Ｈｚのみの信号を取り出すと考えて良い。したがってこれより高い周波数をカットするローパスフィルタを構成し、これに図４（ａ）の波形を通過させて図４（ｂ）のような波形を得る。
【００４８】
これをパルス波形にすると図４（ｃ）のような周期信号が得られる。この周期信号に対し、撮像のタイミングを同期させる。図４（ｄ）〜図４（ｆ）は撮像タイミングを示す信号である。Ｈレベルになっているところで撮像動作を行う。図４（ｄ）〜図４（ｆ）のように少しずつ位相差をずらして撮像し、外光の影響評価手段の結果から最適な位相差を選べば良い。
【００４９】
ここで図４、図４（ｄ）〜図４（ｆ）の撮像タイミングについて、さらに詳細に述べる。図５がそれを表わしている。また図２のセルの詳細図も参照する。図５（ａ）に示すような、第１の蓄積７３と第２の蓄積７４が、図４（ｄ）〜図４（ｆ）のＨレベルになっている部分で行われるとする。図５（ｂ）をもとに、イメージセンサのセルの動作レベルで述べるとフォトダイオード（以下、ＰＤ）４２のリセット７５、第１の蓄積部３８のリセット７６、第２の蓄積部４０のリセット７８、第１の蓄積部３８への電荷転送７７、第２の蓄積部４０への電荷転送７９によって構成される。
【００５０】
ＰＤ４２のリセットが行われた直後からＰＤに光電変換された電荷の蓄積が始まり、第１（第２）の電荷蓄積部への転送によって１回分の撮像が行われる。電荷蓄積部への転送の直前には、電荷蓄積部のリセットを行う。
【００５１】
ＰＤのリセットを行うためには、リセットゲート３５（図５（ｃ）のタイミングで駆動する）とトランスファーゲート４１（図５（ｆ）のタイミングで駆動する）をオープン（Ｈにする）にする。第１（第２）の電荷蓄積部（３８、４０）のリセットを行うためにはリセットゲートと第１のサンプルゲート３７（図５（ｄ）のタイミングで駆動する）と第２のサンプルゲート３９（図５（ｅ）のタイミングで駆動する）をオープンにする。
【００５２】
第１（第２）の電荷蓄積部への電荷転送を行うためにはトランスファーゲート４１と第１（第２）のサンプルゲートをオープンにする。そしてＰＤのリセット動作が終了した直後から、電荷蓄積部への転送が終了するまでの間に入射した光が光電変換された電荷が電荷蓄積部へ蓄積される。これに合わせて、図５（ｇ）の８０のような発光制御信号で発光部を発光させると（Ｈで発光）、第１の蓄積で非発光時、第２の蓄積で発光時の撮像ができる。
【００５３】
最適位相差を決定する処理の間は発光部は発光しないようにする。これによって、第１の蓄積と第２の蓄積ではいずれも外光のみの蓄積が行われる。理想的にはこの場合、２つの蓄積量は同じである。それゆえに発光部を発光したときに２つの蓄積量の差分として反射光のみが正確に得られるのである。
【００５４】
この２つの蓄積量を、外光変動のグラフと合わせてわかりやすく説明する。図６において、外光の変動を８５、第１、第２の蓄積のタイミングをそれぞれ８６、８７とすると、それぞれの蓄積量は斜線部８６、８７の面積に対応する。したがって、この２つの面積が等しいときが、その差０、すなわち最適な位相差であることがわかる。つまり、図６（ｂ）のような位相関係になっているときが最適であることがわかる。つまり、差分出力がもっとも小さくなる時が最適な位相差であるといえる。逆に図６（ａ）は好ましい位相差ではない。
【００５５】
ところで、センサの出力は第２の蓄積量−第１の蓄積量としてその差分が出力される。したがって、２つの面積が異なるとき、第２の蓄積量の方が多いときは、その差分で変動が分かるが、逆に第１の蓄積量の方が多いとき、差分としてマイナスの出力が得られる。
【００５６】
しかし、マイナスの出力が得られた場合でも、Ａ／Ｄ変換回路の出力は０である。通常動作ではマイナスの信号が出力されることはないので、ダイナミックレンジを有効に利用するためには、マイナスの信号は全て０に変換されるのが普通である。したがって、ある位相差について、第１の蓄積と第２の蓄積の順序関係を逆にした２モードを用意し、その双方で差分出力を評価するのがより望ましい。もっとも、マイナスの信号に対して、マイナスのデジタル出力を出し、その絶対値で評価するようにしても良い。
【００５７】
また、図６（ｃ）のような場合でも、２回の蓄積量が等しくなる。しかし、図６（ｂ）と図６（ｃ）を比べると図６（ｂ）の方がより望ましい。なぜならば、蛍光灯などの照明を直接撮像している場合、その直接光はかなりのパワーを持っており、電荷蓄積部を飽和させてしまうことがある。第１、第２の蓄積部がともに飽和してしまった場合、基本的に差分出力は０となるが、実際には蓄積部の飽和むらが出力されてしまう。したがって、外光の強度がなるべく小さいところで撮像を行うのが望ましい。
【００５８】
したがって、より好適には、差分出力がもっとも小さくなるところだけでなく、外光強度が小さいところも考慮に入れて最適位相差を求める。外光強度を評価するためには差分出力を行わないモード、すなわち非差分モードで出力すれば良い。この時の図５に対応するのが図７である。ここでは図７（ａ）のように第１の蓄積は行わない。第１の電荷蓄積部のリセット１００のみを行う。第２の蓄積９９のみを行い、差分出力を行えば、結局第２の蓄積量のみを取り出すことになる。ここで、図７における第２の蓄積期間は、図５に比べて半分程度と短くなっている。
【００５９】
これについて図８を用いて説明する。通常動作では、第２の蓄積量−第１の蓄積量を出力し、これをＡ／Ｄ変換回路によってデジタル情報に変換するが、このＡ／Ｄ変換回路で飽和する信号レベルに対して、第１、第２各々の蓄積飽和量は大きく設定することがある。それは外光の強さに対する耐性を持たせるためである。例えば、Ａ／Ｄ変換回路で飽和しない最大の差分出力に対し、４倍程度の飽和量を各蓄積部に持たせておくと、最大反射光の３倍の外光が入射してもイメージセンサは正しく動作する。
【００６０】
図８では、第１の蓄積で外光１０８のみを受光し、第２の蓄積で外光１０９と反射光１０７を受光している。出力はその差分が１１１のように出力され、これが０から２５５までの値（８ｂｉｔのＡ／Ｄの場合）に変換される。このとき各々の蓄積部の飽和量１０５、１０６は、Ａ／Ｄ出力がフルスケールになる量より多い。
【００６１】
これによって、１０８のような反射光より大きな外光があっても、反射光のみを有効に取り出せる。したがって、通常動作と同じだけの時間幅で非差分出力をすると、多くの場所で飽和してしまう可能性がある。蓄積部の飽和量が４倍ならば、蓄積期間を４分の１にしておくことで、非差分出力を良好に測定できる。よって、図７の動作モードで外光の強度を評価できる。これを非発光非差分モードと呼ぶ。
【００６２】
上述した、蓄積順序を逆にした２つの差分モードと非差分モードを実行する方法についての、処理フローを図９に示す。ここでは各位相差の状態で、２つの差分モード，非差分モードで撮像し、外光変動と外光強度を評価する。このフローにおける、最適位相差の決定の仕方について述べる。
【００６３】
今、図１０（ａ）のような外光に対して、２つの差分モードの大きい方、非差分モードの出力はそれぞれ、図１０（ｂ）、図１０（ｃ）のようになる、図１０（ｂ）は図１０（ａ）を微分して絶対値を取ったようなグラフ、図１０（ｃ）は図１０（ａ）と似た形のグラフになる。まず図１０（ｂ）において、０に近いところ１３１、１３３を最適位相差の候補として上げる。
【００６４】
このとき１３２のような部分は少しずれると差が大きくなってしまうため安定的に動かすためには不向きと判定し、除いておく。次に図１０（ｃ）を用いて、その中で外光強度が小さい部分を選択する。すると図においては１３３のあたりの位相差が選択されることになる。
【００６５】
上記実施例では、蛍光灯を主な外光要因として述べた。主に（いわゆるインバーター蛍光灯でない）通常の蛍光灯を想定して述べたが、強度変動がさらに短周期で起こる、インバーター蛍光灯が存在する場合にも本発明は適応することができる。例えば通常のインバーター蛍光灯は４０ＫＨｚ程度の周波数で強度変動しているので１周期は約２５マイクロ秒である。本画像入力装置の典型的な動作としては１回当たりの蓄積時間は約２ｍｓである。
【００６６】
すなわち、１回の蓄積時間に８０個の外光変動周期が入る。したがって変動する外光が主にインバーター蛍光灯である場合、外光の変動による影響は小さい。しかし実際のインバーター蛍光灯は４０ＫＨｚで変動しながら、さらに電源周期でゆるやかな変動をしている。これはインバーターによって作られる高周波信号に電源の変動が残るためである。この緩やかな変動が影響を及ぼすような場合は、本発明で述べた構成が有効である。外光周期検出部ではロー・パス・フィルターにより高周波成分を落としてしまえば、緩やかな周期のみが残るので、これをもとに上記述べたような処理を行えば、この影響を排除することができる。
【００６７】
また、４０ＫＨｚの変動周期との位相差が誤差となって現れるような場合は、４０ＫＨｚの成分の周期信号も同時に検出し、蓄積を始めるときには常にこの信号の立ち上がりエッジなどをトリガにして開始するように構成すれば良い。４０ＫＨｚの周期信号と緩やかな変動の周期信号の両方を検出し、緩やかな周期変動にある位相差で撮像動作することで変動を抑え、さらに４０ＫＨｚの周期信号をトリガにして撮像を開始するようにすれば、インバーター蛍光灯が存在する場合の外光の影響も非常に小さく抑えることが可能である。
【００６８】
以上のように本発明によれば、外光の変動を検出し、それに同期させた反射光画像の取得を行えるので、そのために行う２回の撮像の間における外光の変動を常に一定にできる。
【００６９】
さらに本発明によれば、外光の変動と反射光画像の取得の動作の位相差を変化させることができ、また外光の影響を評価する手段を持っているので、さまざまに変えた位相差の中から最適な位相差を見つけ、これをもって反射光画像の取得を行うことができる。
【００７０】
さらに本発明によれば、最適な位相差を見つける際に、外光の変動の影響だけでなく外光の強度も評価することができるため、外光が比較的暗いときに撮像することができる。これにより、直接照明を撮像しているようなときでも飽和させずに撮像することができる。また、照明光以外に太陽光などの定常光が存在する場合にそれに対する耐性を最大限にすることができる。
【００７１】
さらに本発明によれば、発光部で発光を行い、物体反射光の画像を取る場合に限らず、２回の撮像を行い、その２つの画像あるいは各々の受光素子の受光量を演算して出力するようなあらゆる画像入力装置において有効である。例えば、通常の画像の時間差分を取って、動物体と静止物体を切り分けるような場合に用いることができる。時間差分が０の部分は静止物体および背景であり、時間差分が大きいところに物体があるという考え方であるが、この場合にも照明の変動が時間差分として影響してしまうと、背景であるにもかかわらず動物体であると認識されてしまう場合がある。このようなことを回避するためにも本技術は用いることができる。
【００７２】
さらに２回の撮像を行って、その演算を出力するというものでない、ごく普通の撮像装置においても本発明は有効である。コンピュータビジョンのような画像の時系列を処理して、そこから何らかの情報を抽出しようという場合、外光照明の変動がノイズになることがある。本発明によれば、外光の変動の影響を受けない、時系列画像を容易に得ることができる。
【００７３】
以上のような本願発明は、専用のハードウェアを用いずとも、汎用のプロセッサを用いたソフトウェアによる処理で実現することができる。例えば、図３の処理はコンピュータプログラムを用いて実現でき、これをフロッピーディスクやＣＤ−ＲＯＭなどの記録媒体を通じてコンピュータに導入して実行させることにより、本願発明を実施することができる。
【００７４】
【発明の効果】
本発明によれば、外光の変動を検出し、それに同期させた反射光画像の取得を行えるので、そのために行う２回の撮像の間における外光の変動を常に一定にできる。
【００７５】
さらに本発明によれば、最適な位相差を見つける際に、外光の変動の影響だけでなく外光の強度も評価することができるため、外光が比較的暗いときに撮像することができる。
また本発明によれば、外光の変動の影響を受けない、時系列画像を容易に得ることができる。
【図面の簡単な説明】
【図１】本発明を実現する構成例の図である。
【図２】イメージセンサの構造の図である。
【図３】外光の影響を取り除くための処理のフローの図である。
【図４】外光の変動、および検出した周期信号と動作の位相関係を説明する図である。
【図５】２回の蓄積を行う動作を説明した図である。
【図６】外光の変動の影響の大小を説明する図である。
【図７】外光の強度を評価するための動作モードを説明する図である。
【図８】蓄積部の飽和量を大きく設定することを説明する図である。
【図９】外光の変動と強度を両方評価して、最適な動作位置を設定するための処理フローの図である。
【図１０】外光の変動と強度を両方評価して、最適な動作位置を設定するための評価方法を説明する図である。
【図１１】従来の３次元入力装置の例の図である。
【図１２】反射光画像の例の図である。
【符号の説明】
１…外光周期検出部、２…位相制御部、３…外光検出部、
４…タイミング制御部、５…システム制御部、６…発光制御部、
７…発光部、８…制御信号生成回路、９…外光の影響評価手段、
１０…Ａ／Ｄ変換回路、１１…アナログ信号処理回路、
１２…イメージセンサ、１３…結像光学系、１４…対象物体、
１５…外光光源、２４…イメージエリア、２５…差分回路、
３０…セル、３８…第１の蓄積部、４０…第２の蓄積部、
４２…フォトダイオード、８６…第１の蓄積量、
８７…第２の蓄積量、１０７…反射光の蓄積量、
１０８，  １０９…外光の蓄積量、１１１…差分出力、
１３３…選択された撮像位置
【図１】
0003591808.tif 000002
【図２】
0003591808.tif 000003
【図３】
0003591808.tif 000004
【図４】
0003591808.tif 000005
【図５】
0003591808.tif 000006
【図６】
0003591808.tif 000007
【図７】
0003591808.tif 000008
【図８】
0003591808.tif 000009
【図９】
0003591808.tif 000010
【図１０】
0003591808.tif 000011
【図１１】
0003591808.tif 000012
【図１２】
0003591808.tif 000013