(57)【要約】【課題】複数のカメラから得られる画像に基づいて対象物を計測するに際して、画像の対応付けを正確に行うことを可能とし、対象物の計測を精度よく行えるようにすること。【解決手段】複数のカメラで複数の画像を取得し（＃１１）、画像のうちそれらに共通の撮像範囲における画像、例えば特定領域として設定された（＃１２）領域から得られる画像情報をより多く用いてカメラパラメータを設定し（＃１３）、設定したカメラパラメータを用いて、カメラパラメータを設定したときと同じ撮像範囲に対して複数のカメラによる撮像を行って画像をそれぞれ取得し（＃１４）、取得した複数の画像に基づき画像の対応点を求め（＃１５）、撮像範囲に入った対象物の３次元情報を取得する（＃１６）。【選択図】      図５
2004286465.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラから得られる画像に基づいて対象物を計測する計測方法であって、
複数の前記カメラで得られる画像のうちそれらに共通の撮像範囲における画像から得られる画像情報をより多く用いてカメラパラメータを設定し、
設定したカメラパラメータを用いて、カメラパラメータを設定したときと同じ撮像範囲に対して複数の前記カメラによる撮像を行って画像をそれぞれ取得し、
取得した複数の画像に基づき画像の対応点を求めて撮像範囲に入った対象物の３次元情報を取得する、
ことを特徴とする画像による対象物の計測方法。
【請求項２】
対象物に対して互いに視差を有する視点位置から対象物を撮像することが可能であってカメラパラメータに基づく撮像制御を互いに独立して行うことの可能な複数のカメラと、
前記各カメラの撮像範囲内において特定領域をそれぞれ設定するための設定手段と、
前記特定領域における画像情報のみを用いてそれぞれのカメラパラメータを算出する算出手段と、
算出されたそれぞれのカメラパラメータに基づいてそれぞれのカメラの撮像制御を行う撮像制御手段と、
を有することを特徴とする撮像装置。
【請求項３】
前記設定手段は、
前記各カメラで撮像されている複数の画像について少なくとも３つの対応点を取得する手段と、
前記複数の画像のうちの１つを基準画像とし他を参照画像として、前記基準画像の対応点に前記参照画像の対応点が重なるように前記参照画像を変換したときの両画像の重なる領域を前記特定領域として設定する手段と、
を有する請求項２記載の撮像装置。
【請求項４】
対象物に対して互いに視差を有する視点位置から対象物を撮像することが可能であってカメラパラメータに基づく撮像制御を互いに独立して行うことの可能な複数のカメラと、
前記各カメラの撮像範囲内において視野の重なる可能性の高い領域に対して重みが大きくなるように重み付けを行う重み付け手段と、
領域に応じて重み付けされた画像情報を用いてそれぞれのカメラパラメータを算出する算出手段と、
算出されたそれぞれのカメラパラメータに基づいてそれぞれのカメラの撮像制御を行う撮像制御手段と、
を有することを特徴とする撮像装置。
【請求項５】
前記重み付け手段は、
カメラからの所定の距離範囲について、最も近い距離における共通撮像範囲に対応する領域の重みを最大とし、最も遠い距離における共通撮像範囲以外の範囲に対応する領域の重みを最小とし、それらの中間の領域の重みを最大から最小に至る適当な値に設定する、
請求項４記載の撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数のカメラから得られる画像に基づいて対象物を計測する方法およびそれに用いられる撮像装置に関する。
【０００２】
【従来の技術】
従来より、複数のカメラから得られる画像に基づいて対象物を計測し、対象物の距離画像などの３次元情報を取得する方法が知られている。また、そのような画像を撮像するための撮像装置が種々知られている。
【０００３】
さて、２つの画像に基づいて３次元情報を得るためには、それら２つの画像における対応点を抽出する必要がある。しかし、従来の撮像装置から得られる画像では、対応点における輝度、色バランス、またはピントの状態が互いに異なるため、対応点を正確に抽出することが困難である。
【０００４】
例えば、特開２００２−２１８５０６および特開２００２−２１８５０７には、１つの光学系にステレオアダプタを取り付けてステレオ画像を得る撮像装置が開示されている。この撮像装置によると、１つの光学系で２つの仮想視点からの画像を得ることが可能である。しかし、ＡＥ（自動露光）やＡＷＢ（自動ホワイトバランス）をそれぞれの画像に対して独立して制御することができない。そのため、２つの画像の対応点の輝度や色バランスが互いに異なり、正確な対応付けが困難である。
【０００５】
【特許文献１】
特開２００２−２１８５０６
【０００６】
【特許文献２】
特開２００２−２１８５０７
【０００７】
【特許文献３】
特開２００２−２１６１２５
【０００８】
【発明が解決しようとする課題】
この問題の解決のために、２つの画像に共通して写っている平面部分の輝度を比較して画像全体の輝度値を修正することが提案されている（特開２００２−２１６１２５）。
【０００９】
すなわち、これによると、２つの画像に共通している領域の輝度を比較して画像に修正を加える。しかし、撮像した後の画像に修正を加えて画像の輝度を揃えようとするものであるから、画像の状態によっては画像の輝度を十分に揃えることができない。また、画像の色バランスやピントの状態が異なっていた場合には修正によって揃えることはほとんど不可能である。そのため、正確な対応付けが困難であり、対象物についての精度のよい３次元情報を得ることができない。
【００１０】
本発明は、上述の問題に鑑みてなされたもので、複数のカメラから得られる画像に基づいて対象物を計測するに際して、画像の対応付けを正確に行うことを可能とし、対象物の計測を精度よく行えるようにすることを目的とする。
【００１１】
【課題を解決するための手段】
本発明に係る方法は、複数のカメラから得られる画像に基づいて対象物を計測する計測方法であって、複数の前記カメラで得られる画像のうちそれらに共通の撮像範囲における画像から得られる画像情報をより多く用いてカメラパラメータを設定し、設定したカメラパラメータを用いて、カメラパラメータを設定したときと同じ撮像範囲に対して複数の前記カメラによる撮像を行って画像をそれぞれ取得し、取得した複数の画像に基づき画像の対応点を求めて撮像範囲に入った対象物の３次元情報を取得する。
【００１２】
本発明に係る装置は、対象物に対して互いに視差を有する視点位置から対象物を撮像することが可能であってカメラパラメータに基づく撮像制御を互いに独立して行うことの可能な複数のカメラと、前記各カメラの撮像範囲内において特定領域をそれぞれ設定するための設定手段と、前記特定領域における画像情報のみを用いてそれぞれのカメラパラメータを算出する算出手段と、算出されたそれぞれのカメラパラメータに基づいてそれぞれのカメラの撮像制御を行う撮像制御手段とを有する。
【００１３】
好ましくは、前記設定手段は、前記各カメラで撮像されている複数の画像について少なくとも３つの対応点を取得する手段と、前記複数の画像のうちの１つを基準画像とし他を参照画像として、前記基準画像の対応点に前記参照画像の対応点が重なるように前記参照画像を変換したときの両画像の重なる領域を前記特定領域として設定する手段とを有する。
【００１４】
また、前記各カメラの撮像範囲内において視野の重なる可能性の高い領域に対して重みが大きくなるように重み付けを行う重み付け手段と、領域に応じて重み付けされた画像情報を用いてそれぞれのカメラパラメータを算出する算出手段とを有する。
【００１５】
そして、前記重み付け手段は、カメラからの所定の距離範囲について、最も近い距離における共通撮像範囲に対応する領域の重みを最大とし、最も遠い距離における共通撮像範囲以外の範囲に対応する領域の重みを最小とし、それらの中間の領域の重みを最大から最小に至る適当な値に設定する。
【００１６】
【発明の実施の形態】
〔第１の実施形態〕
図１は本発明に係る第１の実施形態の撮像装置１の構成を示す図、図２は２つの画像Ｄ１，Ｄ２に設定された特定領域ＴＲの例を示す図、図３は２つの画像Ｄ１，Ｄ２に設定された特定領域ＴＲの他の例を示す図、図４は特定領域ＴＲを自動的に設定する方法の例を示す図である。
【００１７】
図１において、撮像装置１は、２つのカメラ１１，１２、領域設定部１３、およびパラメータ算出部１４などからなる。
カメラ１１，１２は、ＣＣＤなどの撮像素子をそれぞれ備えており、計測の対象物（被写体）Ｑに対して互いに視差を有する視点位置から対象物Ｑを撮像することが可能である。なお、ここでは説明を簡単にするために、２つのカメラ１１，１２の光軸は互いに平行であるとする。カメラ１１，１２には、それぞれ撮像制御部１１１，１２１が設けられ、カメラパラメータＣＰに基づく撮像制御を互いに独立して行うことが可能である。
【００１８】
すなわち、撮像制御部１１１，１２１は、各カメラ１１，１２のＡＥ、ＡＷＢ、ＡＦ（自動焦点）などを電気的および機構的に制御する。撮像制御部１１１，１２１による制御に必要なカメラパラメータＣＰは、独自で設定することもあるが、後述するようにパラメータ算出部１４から取得することが可能である。
【００１９】
カメラ１１，１２は、それぞれ異なる撮像範囲ＳＨ１，ＳＨ２を有し、その一部が互いに重なる。重なった部分が共通撮像範囲ＳＨＫである。カメラ１１，１２は、それぞれの撮像範囲ＳＨ１，２の画像Ｄ１，Ｄ２を出力する。画像Ｄ１，Ｄ２は、適当な大きさの表示面を有したモニタに表示される。画像Ｄ１，Ｄ２には、カメラ１１，１２の電源がオンのときに常に撮像されて出力されるモニタ画像、およびシャッタを押したときに撮像されて出力される画像が含まれる。対象物Ｑが共通撮像範囲ＳＨＫに入るようにして撮像を行うことにより、対象物Ｑについての視差のある２つの画像が得られる。
【００２０】
なお、２つのカメラ１１，１２は、機構的に一体化されていてもよく、また、別体で構成された２つのカメラ１１，１２を連結機構で連結した構造のものでもよい。
【００２１】
領域設定部１３は、各カメラ１１，１２の撮像範囲ＳＨ１，２内において、特定領域ＴＲをそれぞれ設定するためのものである。特定領域ＴＲは、それぞれのカメラ１１，１２に対して設定することが可能である。ユーザが手動により設定することが可能であり、また、自動的に設定することも可能である。
【００２２】
特定領域ＴＲを設定するに当たり、基本的には、カメラ１１，１２の視野が互いに重なる領域を特定領域ＴＲとする。特定領域ＴＲの設定の方法として、モニタの表示面上にリアルタイムで画像を表示し、その画像を見ながら設定する方法と、カメラ１１、１２と対象物Ｑとの位置関係および大体の距離が分かっている場合に予め計算によって視野の重なる領域を計算で求めて設定する方法とがある。
【００２３】
つまり、後者においては、視野が重なる領域はカメラ１１，１２からの距離Ｌによって異なるが、計測したい対象物Ｑの大きさや位置に制限を加えることにより、所定の距離範囲を特定して視野の重なる領域を予め求めることが可能ということである。なお、視野の重なる領域を予め求める際に、光学系の焦点距離、撮像素子のサイズ、画角など、必要なカメラパラメータを用いる。これらのカメラパラメータＣＰは撮像制御部１１１，１２１が認識し、適当なメモリ領域に記憶されている。
【００２４】
次に、特定領域ＴＲの設定の例を示す。
図２（Ａ）はカメラ１１の画像Ｄ１を、図２（Ｂ）はカメラ１２の画像Ｄ２を、それぞれ示す。画像Ｄ１はカメラ１１の撮像範囲ＳＨ１に対応し、画像Ｄ２はカメラ１２の撮像範囲ＳＨ２に対応する。画像Ｄ１，Ｄ２において、共通撮像範囲ＳＨＫに対応する部分には斜線を施して示してある。
【００２５】
そこで、例えば、ユーザは、共通撮像範囲ＳＨＫをそれぞれの特定領域ＴＲ１，ＴＲ２として設定する。但し、画像Ｄ１，Ｄ２における特定領域ＴＲの境界は、図１におけるカメラ１１，１２から背景面ＨＭ１までの距離（背景距離）Ｌによって異なる。図２においては、背景距離がＬ１の場合を示している。背景距離Ｌ１は、想定される対象物Ｑが共通撮像範囲ＳＨＫに十分に入る距離である。そのような共通撮像範囲ＳＨＫを特定領域ＴＲとして設定することにより、対象物Ｑは特定領域ＴＲの中に写ることとなる。
【００２６】
なお、共通撮像範囲ＳＨＫに対応してユーザが設定する特定領域ＴＲは、共通撮像範囲ＳＨＫに正確に対応する必要はない。計測の目的に応じて柔軟に設定することが可能である。
【００２７】
図３（Ａ）（Ｂ）に示す画像Ｄ１，Ｄ２では、図２（Ａ）（Ｂ）における特定領域内であってそれらよりも狭い範囲であり、且つ対象物Ｑを十分に含む範囲が、特定領域ＴＲ１，２として設定されている。図３における特定領域ＴＲ１と特定領域ＴＲ２とは、共通撮像範囲ＳＨＫに正確に対応しないのみならず、共通撮像範囲ＳＨＫにも対応していない。対象物Ｑまたは対象物Ｑについての計測を行いたい部分を共通に含んでいれば十分であるからである。このように、特定領域ＴＲとして、３次元情報を得たい任意の領域を設定することができる。
【００２８】
なお、特定領域ＴＲを手動で設定するために、例えば、モニタの表示面に設定された特定領域ＴＲを枠線などで表示し、カーソルまたはマウスなどを操作して枠線を移動可能なように構成すればよい。その際に、２つの画像Ｄ１，Ｄ２のうちの一方について特定領域ＴＲを設定したときに、他方についてはそれに対応して共通撮像範囲ＳＨＫが特定領域ＴＲとして自動的に設定されるようにしてもよい。その場合に、一方のカメラ１１を基準カメラとし、他方のカメラ１２を参照カメラとし、特定領域ＴＲを基準カメラの画像（基準画像）に対してのみ設定すれば済むようにすればよい。
【００２９】
パラメータ算出部１４は、設定された特定領域ＴＲにおける画像情報のみを用いてカメラパラメータＣＰを算出する。つまり、各画像Ｄ１，Ｄ２の輝度情報、色情報、およびピントの状態についての情報などについて、特定領域ＴＲ１，２に写っている画像のみから得られる情報を用いてカメラパラメータＣＰを演算により求め、求めたカメラパラメータＣＰをカメラ１１，１２に出力して撮像制御部１１１，１２１に設定する。
【００３０】
パラメータ算出部１４は、カメラパラメータＣＰを求める際に、設定された特定領域ＴＲ１，２における輝度の平均値および各色成分の平均値を求め、求めた値から、これら２つの特定領域ＴＲ１，２における互いの画像の輝度および色バランスを等しくするようなカメラパラメータＣＰを求める。輝度および色バランスの両方を等しくするようなカメラパラメータＣＰの算出が不可能であったり多大な時間を要する場合には、いずれか一方のみを等しくするようなカメラパラメータＣＰを算出すればよい。
【００３１】
なお、輝度の平均値および各色成分の平均値として、単純平均または２乗平均を行った値を用いたり、特定領域ＴＲの中央部分のウエイトを大きくした加重平均値などを用いることができる。
【００３２】
次に、輝度の平均値、各色成分の平均値からカメラパラメータＣＰを求める例を説明する。しかし、カメラパラメータＣＰの求め方としてこれ以外の種々の方法を採用することができる。また、カメラの特性によってもカメラパラメータＣＰの求め方が異なる。
【００３３】
ＡＥのためのカメラパラメータＣＰは次のようにして求めることができる。
カメラの現在の露光量をＥとし、露光量の増加分をΔＥとすると、それらは次の（１）（２）式で表される。
【００３４】
【数１】
2004286465.tif 000003
【００３５】
ここで、ｔは現在のシャッタースピード、ｘは現在のゲインの数値、ｋ１，ｋ２は定数、ｖは輝度の平均値、Ａは輝度の目標値である。ゲインｘは、カメラの絞りおよび撮像素子の感度などに依存する。
【００３６】
そして、変更後の新しい露光量Ｅ’を、
Ｅ’＝Ｅ＋ΔＥ
と定め、次の（３）式、
【００３７】
【数２】
2004286465.tif 000004
【００３８】
となるように、新しいシャッタースピードｔ’および新しいゲインｘ’を定める。なお、シャッタースピードｔ’およびゲインｘ’は一意に定まるとは限らない。
【００３９】
ＡＷＢのためのカメラパラメータＣＰは次のようにして求めることができる。
例えば、ＲＧＢのカラー画像において、Ｇを基準とする場合には、Ｒ成分の平均値をｒ、Ｇ成分の平均値をｇ、Ｂ成分の平均値をｂとおき、Ｇｒ，Ｇｇ，ＧｂをそれぞれＲ，Ｇ，Ｂの各成分に対応するホワイトバランスの値とするとき、
Ｇｒ＝ｇ／ｒ
Ｇｇ＝１
Ｇｂ＝ｇ／ｂ
と定める。
【００４０】
上のようにして求めたカメラパラメータＣＰが撮像制御部１１１，１２１に設定される。設定されたカメラパラメータＣＰにより、撮像制御部１１１，１２１による撮像制御が行われ、カメラパラメータＣＰを設定したときと同じ撮像範囲に対して撮像が行われる。これによってあらためて２つの画像Ｄ１，Ｄ２が得られる。得られた画像Ｄ１，Ｄ２に対して、自動または手動で対応点を求め、画像Ｄ１，Ｄ２の中に写った対象物Ｑについての距離画像などの３次元情報を生成する。
【００４１】
次に、特定領域ＴＲを自動的に設定する方法の例について説明する。
図４（Ａ）（Ｂ）はそれぞれカメラ１１，１２の画像Ｄ１，Ｄ２である。一方の画像Ｄ１が基準画像であり、他方の画像Ｄ２が参照画像である。これら画像Ｄ１，Ｄ２のいずれにも対象物Ｑの画像が含まれているが、視差があるため対象物Ｑの画像は同一ではない。
【００４２】
まず、これらの画像Ｄ１，Ｄ２において、３つ以上の対応点を抽出する。対応点を抽出するために、画像の中の特徴点を用いて自動計算によって抽出してもよいし、ユーザが画像を見ながら手動により対応点を指定してもよい。図４において、対応点は黒丸で示されている。
【００４３】
そして、画像Ｄ２上の対応点の座標を画像Ｄ１上の対応点の座標に移す射影変換を求める。なお、射影変換は、次の（４）式で示される座標変換である。
【００４４】
【数３】
2004286465.tif 000005
【００４５】
なお、射影変換を求める際に何らかの拘束条件をつけてもよい。例えば、アフィン変換に制限する、既知のカメラパラメータを用いる、などである。
次に、求めた射影変換によって画像Ｄ２の全体を変換する。変換した画像が図４（Ｃ）に画像Ｄ３として示されている。そして、図４（Ｄ）に示すように、画像Ｄ３を画像Ｄ１に重ねる。図４（Ｄ）において画像Ｄ３と画像Ｄ１とが重なっている部分を視野が重なる領域とみなし、この領域を特定領域ＴＲとして設定する。
【００４６】
特定領域ＴＲを自動的に設定する方法の他の例として、対象物Ｑの写った領域を自動的に抽出し、抽出した領域を特定領域ＴＲとして設定してもよい。
次に、撮像装置１における動作の流れをフローチャートによって説明する。
【００４７】
図５は撮像装置１における動作の全体の流れを示すフローチャート、図６は特定領域ＴＲの自動設定の流れを示すフローチャートである。
図５において、複数のカメラによって複数の画像を取得する（＃１１）。画像に対して特定領域ＴＲを設定し（＃１２）、特定領域ＴＲの画像情報のみを用いてカメラパラメータＣＰを求める（＃１３）。求めたカメラパラメータＣＰによってそれぞれのカメラの撮像制御を行い、複数の画像を取得する（＃１４）。取得した複数の画像について対応点を抽出し（＃１５）、対応点に基づいて３次元情報を生成する（＃１６）。
【００４８】
図６において、特定領域ＴＲを設定するために、複数の画像について少なくとも３つの対応点を抽出する（＃２１）。対応点を用いて、参照画像を射影変換して基準画像に重ね合わせる（＃２２）。それらが重なった部分を抽出して特定領域ＴＲとする（＃２３）。
【００４９】
ステップ＃２１の処理が本発明における対応点を取得する手段に相当し、ステップ＃２２および２３の処理が本発明における特定領域として設定する手段に相当する。
【００５０】
上の実施形態において、撮像装置１は、全体が１つのハウジング内に組み込まれて一体化された構造であってもよく、また、カメラ１１，１２と領域設定部１３およびパラメータ算出部１４とが、またはカメラ１１，１２および領域設定部１３とパラメータ算出部１４とが、それぞれ分離した構造であってもよい。また、領域設定部１３またはパラメータ算出部１４をパーソナルコンピュータによって実現してもよい。
〔第２の実施形態〕
次に、第２の実施形態の撮像装置１Ｂについて説明する。ここでは第１の実施形態の撮像装置１との差異のみを説明する。したがって、第２の実施形態において説明のない部分は第１の実施形態と同様であると考えてよい。
【００５１】
図７は本発明に係る第２の実施形態の撮像装置１Ｂの構成を示す図、図８は画像情報に対する重み付けを説明する図である。
なお、図８（Ａ）（Ｂ）は、図７の背景面ＨＭ２に対応した共通領域ＫＲ１２，２２を示し、図８（Ｃ）（Ｄ）は、図７の背景面ＨＭ３に対応した共通領域ＫＲ１３，２３を示す。図８（Ｅ）（Ｆ）は各画像Ｄ１，Ｄ２について領域に応じた重み（重み付け係数）の例を示す。
【００５２】
撮像装置１Ｂでは、カメラパラメータＣＰを算出するに当たり、第１の実施形態のように特定領域ＴＲ内の画像情報のみを用いるのではなく、画像Ｄ１，Ｄ２の全体の画像情報に対して各カメラ１１，１２の視野が重なる可能性に応じた重み付けを行った値を用いる。
【００５３】
すなわち、重み付け部１３Ｂにおいて、２つの画像Ｄ１，Ｄ２について、視野の重なる可能性の高い領域に対して重みが大きくなるように重み付けを行う。視野の重なる可能性のない領域は重みを「０」とする。視野の重なる可能性を算出する際には、計測を行いたい対象物Ｑに対して想定される位置つまり距離Ｌ、および光学系の焦点距離などの必要なカメラパラメータを用いる。
【００５４】
そして、パラメータ算出部１４Ｂにおいて、重み付けに基づいて、画像の輝度または各色成分の加重平均値を求め、この値をもとにカメラパラメータＣＰを算出する。
【００５５】
重み付け部１３Ｂにおける重み付けの処理についてさらに詳しく説明する。
重み付け部１３Ｂにおいて、２つの画像Ｄ１，Ｄ２について、視野の重なる可能性を画像中の領域ごとに定める。
【００５６】
すなわち、図７に示すように、２つのカメラ１１，１２の共通撮像範囲ＳＨＫは、上でも簡単に触れたように、背景面ＨＭの位置、つまりカメラ１１，１２から背景面ＨＭ２，３までの背景距離Ｌ２，３によって異なる。ここで、対象物Ｑが距離Ｌ２とＬ３との間に存在することが分かっていると仮定する。
【００５７】
図８（Ａ）（Ｂ）に示すように、背景面ＨＭ２に対応する共通領域ＫＲ１２，２２については、距離Ｌ２とＬ３との間では必ず視野の重なる領域に含まれる。これに対して、図８（Ｃ）（Ｄ）に示すように、背景面ＨＭ３に対応する共通領域ＫＲ１３，２３以外の領域ＨＲ１３，２３については、距離Ｌ２とＬ３との間では視野の重なる領域には絶対に含まれない。
【００５８】
そして、共通領域ＫＲ１２，２２と領域ＨＲ１３，２３との中間の領域ＪＲ１３，２３、つまり共通領域ＫＲ１３，２３には含まれるが共通領域ＫＲ１２，２２には含まれない領域については、視野の重なる領域に含まれる可能性はそれらの中間である。距離Ｌ２とＬ３の間に存在する距離Ｌ４において、視野の重なる領域に含まれる可能性を確率αで示すと、
α＝（Ｌ３−Ｌ４）／（Ｌ３−Ｌ２）  …（５）
と定めることができる。なお、この確率αの定め方は単純な一例であり、これ以外の方法で確率αを定めてもよい。
【００５９】
そして、この確率αに基づいて重みを定める。重みは、最も単純な例としては、視野が重なる領域に含まれる確率α、例えば上の（５）式の右辺の値、
（Ｌ３−Ｌ４）／（Ｌ３−Ｌ２）
をそのまま採用することができる。
【００６０】
なお、確率αが高いほど重みが大きくなるようにさえすれば、他の種々の方法で重みを決定してもよい。例えば、確率αに直線的に比例するのではなく、二次曲線的に変化するようにし、または傾きの異なる複数の直線による折れ線グラフのように変化するようにしてもよい。
【００６１】
上で説明した重み付けの方法に関して、次のように考えることもできる。
つまり、重みとして、画像Ｄ１，Ｄ２中に対象物Ｑの存在する可能性に応じた値を用いるものと考えることができる。
【００６２】
図８（Ａ）（Ｂ）に示すように、背景面ＨＭ２に対応する共通領域ＫＲ１２，２２については、対象物Ｑがある確率が高い。例えば、対象物Ｑのサイズが、背景面ＨＭ２に対応した共通撮像範囲ＳＨＫ（図７に太線で示す）と同じサイズである場合には、対象物Ｑが共通領域ＫＲ１２，２２に写る確率は「１」である。したがって、この共通領域ＫＲ１２，２２についての重みを「１」とする。
【００６３】
これとは逆に、図８（Ｃ）（Ｄ）に示すように、背景面ＨＭ３に対応する共通領域ＫＲ１３，２３以外の領域ＨＲ１３，２３については、対象物Ｑが写る確率は０％である。つまり、この領域ＨＲ１２，２３についての重みは「０」である。
【００６４】
そして、共通領域ＫＲ１２，２２と領域ＨＲ１３，２３との中間の領域ＪＲ１３，２３では、対象物Ｑが写る確率は０％と１００％との間である。したがって、この領域ＪＲ１３，２３についての重みを「０」〜「１」の間の適当な値に設定する。このように考えて重みを決定することができる。
【００６５】
次に、撮像装置１Ｂにおける動作の流れをフローチャートによって説明する。
図９は撮像装置１における動作の全体の流れを示すフローチャートである。
図９において、複数のカメラによって複数の画像を取得する（＃３１）。画像の全体の領域に対して、領域ごとに、視野が重なる可能性に応じた重み付けを行う（＃３２）。全体の画像情報に重み付けをした値を用いてカメラパラメータＣＰを求める（＃３３）。求めたカメラパラメータＣＰによってそれぞれのカメラの撮像制御を行い、複数の画像を取得する（＃３４）。取得した複数の画像について対応点を抽出し（＃３５）、対応点に基づいて３次元情報を生成する（＃３６）。
【００６６】
上に述べたように、第１の実施形態では、複数の画像間で複数の対応点または視野の重なる領域がわかっている場合に、視野の重なる領域である特定領域ＴＲの画像情報のみに基づいてＡＥやＡＷＢを行う。これによって、視野の重なる領域での輝度・色バランスを揃えることが可能となり、画像の対応付けを容易に且つ正確に行うことができる。例えば、対象物Ｑを照明するための照明光が２つの画像の一方に写る場合であっても、照明光が特定領域ＴＲに入らないようにすることによって、照明光の影響による輝度のアンバランスが起こらない。その結果、対象物の計測を精度よく行うことができる。
【００６７】
また、第２の実施形態では、視野の重なる領域がはっきりわからない場合でも、想定している対象物Ｑまでの距離に応じて、その位置が視野の重なる領域に含まれる確率を用いて重み付けを行う。そして、重み付けを行った画像情報に基づいてＡＥやＡＷＢを行う。これによって、視野の重なる領域での輝度・色バランスを互いに近づけることが可能となる。
【００６８】
なお、ＡＥの制御のやり方の例として、画像のコントラストを調整し、カメラごとにコントラストが最大となるようにする。コントラストを求めるには、例えば、隣合う画素の濃度の差を合計し、合計値が最大となるようにする。第２の実施形態の場合には、隣合う画素の濃度の差に確立αを掛けて、その合計値が最大となるようにする。
【００６９】
上に挙げた２つの実施形態では、ＡＥおよびＡＷＢを行うこととして説明したが、それらに代えてまたはそれらとともに、ピントが最適となるように各カメラのフォーカスを自動制御すること（ＡＦ）も可能である。また、ＡＥ、ＡＷＢ、およびＡＦ以外のカメラパラメータＣＰを制御するようにしてもよい。
【００７０】
上に述べた実施形態において、２つのカメラ１１，１２を、それらの光軸が平行ではなく互いに交わるように配置してもよい。２つのカメラ１１，１２が用いられているが、３つ以上のカメラを用いることも可能である。撮像装置１の領域設定部１３やパラメータ算出部１４、撮像装置１Ｂの重み付け部１３Ｂなどは、ＣＰＵとメモリなどを用いてソフト的に、またはハードウエア回路によって、またはそれらの組み合わせによって実現することが可能である。
【００７１】
その他、撮像装置１、１Ｂの全体または各部の構成、回路、形状、寸法、個数、処理内容などは、本発明の趣旨に沿って適宜変更することができる。
本発明には以下の付記に記載するような発明が含まれる。
【００７２】
［付記１］
前記特定領域は、前記各カメラの撮像範囲内において互いに共通する領域である、
請求項２記載の撮像装置。
【００７３】
［付記２］
前記撮像制御は、自動露光のための制御である、
請求項２または４記載の撮像装置。
【００７４】
［付記３］
前記撮像制御は、自動ホワイトバランスのための制御である、
請求項２または４記載の撮像装置。
【００７５】
［付記４］
前記撮像制御は、自動焦点のための制御である、
請求項２または４記載の撮像装置。
【００７６】
【発明の効果】
本発明によると、複数のカメラから得られる画像に基づいて対象物を計測するに際して、画像の対応付けを正確に行うことが可能となり、対象物の計測を精度よく行うことができる。
【図面の簡単な説明】
【図１】本発明に係る第１の実施形態の撮像装置の構成を示す図である。
【図２】２つの画像に設定された特定領域の例を示す図である。
【図３】２つの画像に設定された特定領域の他の例を示す図である。
【図４】特定領域を自動的に設定する方法の例を示す図である。
【図５】撮像装置における動作の全体の流れを示すフローチャートである。
【図６】特定領域の自動設定の流れを示すフローチャートである。
【図７】本発明に係る第２の実施形態の撮像装置の構成を示す図である。
【図８】画像情報に対する重み付けを説明する図である。
【図９】撮像装置における動作の全体の流れを示すフローチャートである。
【符号の説明】
１、１Ｂ  撮像装置
１１、１２  カメラ
１３  領域設定部（設定手段）
１４  パラメータ算出部（算出手段）
１３Ｂ  重み付け部（重み付け手段）
１４Ｂ  パラメータ算出部（算出手段）
１１１、１２１  撮像制御部（撮像制御手段）
ＴＲ  特定領域
Ｑ  対象物
【図１】
2004286465.tif 000006
【図２】
2004286465.tif 000007
【図３】
2004286465.tif 000008
【図４】
2004286465.tif 000009
【図５】
2004286465.tif 000010
【図６】
2004286465.tif 000011
【図７】
2004286465.tif 000012
【図８】
2004286465.tif 000013
【図９】
2004286465.tif 000014