(57)【特許請求の範囲】
【請求項１】
結像面および該結像面に垂直な中心軸を有するただ１つの画像検出器と、
少なくとも１つの実際的に平面の鏡とを具える、少なくとも１つの視覚的対を有する立体視画像を得る装置において、
前記視覚的対は、複数の調整された非ステレオ視野により与えられる視覚情報を結合したステレオ画像であり、
前記実際的に平面の鏡は、前記画像検出器の前記中心軸に対して有限の距離をおいて平行に配置され、前記複数の調整された非ステレオ視野は、前記画像検出器の前記結像面上に同時に投影され、前記視覚的対からの合成したステレオ画像を形成し、
前記実際的に平面の鏡が、前記実際的に平面の鏡の配置のみによって、前記視覚的対を調整することを特徴とする装置。
【請求項２】
請求項１に記載の装置において、前記画像検出器が、結像面を有するカメラを具え、前記非ステレオ視野を、前記カメラ結像面の走査軸に関して調整することを特徴とする装置。
【発明の詳細な説明】
【０００１】
本発明の背景
本願は、１９９９年１２月１３日に出願された米国仮特許出願第６０／１７０，３９１号の利益を請求し、その全体における参照によってこれを取り入れる。本願において示す発明は、立体視画像を形成する改善されたシステムに関し、特に、１つ以上の鏡を使用し、例えばコンピュータ画像システムにおいて格納及び処理することができる調整立体画像を、前記立体画像の異なった要素を調整するコンピュータ処理を必要とすることなく供給する反射屈折システムに関する。
【０００２】
当該技術分野において既知であるような立体画像は、２つ以上の視点又は角度からの同じ場面又は物体の（非立体）ビューを結合することによって形成された画像である。同じ場面又は物体の複数の異なった視点ビューの結合は、強調された深さ及び次元の外観を有する前記場面又は物体の合成画像を形成し、すなわち、前記場面又は物体に関するより多くの視覚的情報及び遠近感を、種々の視点からの前記場面又は物体の複数の非立体画像（視覚的ペアともみなすことができる）によって与えられる視覚的情報を結合する立体画像によって与えることができる。立体画像を与えるある便利な装置において、立体画像を、物体の２つ以上のビューを同時に、大部分の場合において平面結像表面であろう共通結像点に与えることによって形成することができる。単純な例をとると、人の顔の立体画像を、この人の顔のいずれかの側からのものが１つである２つの（非立体、又は直接）画像を、１つの写真フィルム（又は、ビデオカメラレンズ）の平面表面において同時に収束させることによって形成することができる。したがって、前記顔のいずれかの側からのデータを含む合成立体画像が、前記結像点又は面において形成され、記録される。
【０００３】
この立体画像の記録に続いて、種々の技術を使用することによって処理及び記録してもよい。特に興味深いのは、画像記録及び操作に関するコンピュータ技術である。例えば、フィルムによって形成された立体写真プリントを、前記プリントの（例えば、規定された水平走査軸に沿ったラインごとにおける）光学的走査によって、コンピュータメモリにディジタル式に格納してもよい。実質上、前記ディジタル立体画像を、前記コンピュータシステムによって、変更、プリントアウト、伝送、又は他の操作を行うことができる。
【０００４】
結像点において収束され、合成立体画像を形成する多視点ビュー又は非立体サブ画像を供給する種々の方法及びシステムが存在する。反射屈折システムは、鏡及びレンズの組み合わせから成る光学システムである。反射屈折を、１台のカメラのみを使用する立体船さを設計するのに使用することができる。このようなシステムは種々の異なった鏡形状及び構成を使用するが、根本的な動機付けは同じである。多数の鏡を使用することによって、場面点を、２つ以上の視点から、１台のカメラのみを使用して撮像することができる。２つ以上の視点から供給される要素ビューを、個々の視点における“仮想カメラ”に対応することによって供給されるように概念付けることができる。
【０００５】
単一カメラステレオは、従来の２カメラステレオを上回るいくつかの利点を有する。単一カメラ及びディジタイザのみを使用するため、スペクトル応答、ゲイン、及びオフセットのようなシステムパラメータが、立体ペアに関して同じである。加えて、内部校正パラメータの１つの組のみを決定する必要がある。あるいは、最も重要なのは、単一カメラステレオは、データ取得を、単一カメラ及びディジタイザのみを使用し、同期用のハードウェア又はソフトウェアを必要としないことによって単純化することである。
【０００６】
反射屈折でも２カメラでも、リアルタイムステレオシステムは、ステレオマッチングの前に画像を調整する必要がある。ステレオ画像の対を、エピポラーラインが前記画像の走査ラインと整列している場合、調整する。適切に整列した場合、一致の探索は簡単になり、したがって、リアルタイム性能を得ることができる。ステレオシステムのエピポラージオメトリが一度決まれば、調整変換を前記画像に適用することができる。適切に整列した場合、一致の探索は簡単になり、したがって、リアルタイム性能を得ることができる。ステレオシステムのエピポラージオメトリが一度決まれば、（代表的に、コンピュータソフトウェアルーチンによって与えられる）調整変換を前記画像に適用することができる。しかしながら、このような調整は、リアルタイムステレオに関する２つの欠点を有する。変換を前記画像にリアルタイムで適用することは、計算上高価であり、前記画像の再標本化のためステレオデータを劣化させる。
【０００７】
前記画像をランタイムにおいて調整することの代案は、前記ステレオ画像形成システムのジオメトリが、最初から調整された画像を発生することを保証し、したがって、どのようなコンピュータが与えるソフトウェア調整も必要としないことである。２カメラステレオに関して、このゴールは、前記２台のカメラ間のどのような回転も除去し、並進の方向を前記カメラの走査ラインと整列させ、前記２台のカメラに同じ内部パラメータを使用する（困難な仕事）ことによって成し遂げられる。調整反射屈折ステレオシステムの幾何学的必要条件は、些細なものではなく、現在までに研究されたとは考えられない。
【０００８】
数人の研究者は、湾曲鏡及び平面鏡を使用して、単一のカメラによってステレオデータを得ることを実証した。最初に、湾曲鏡を使用し、広い視野を取得する。前記湾曲鏡の最初の使用のうち１つは、２つの反射する球面に向いた慣例的なカメラから成る広視野ステレオシステムを示唆した（図１（ａ）参照）。一方が他方の上部に置かれた２つの凸面鏡を使用する同様のシステムも提案されている（図１（ｂ）参照）。最終的に、単一カメラと、放物鏡、楕円鏡、又は双曲面鏡とを使用するいくつかの異なった反射屈折ステレオ構成が与えられている。
【０００９】
何人かの他の研究者は、単一カメラステレオセンサを設計するのに平面レンズを使用することも調査した。ある提案されたセンサは、カメラの視野の中心に置かれたヒンジによって接続された２つの平面鏡を使用する。任意の配置における２つの鏡をどのようにして自己再調整し、単一カメラステレオに使用できるか（図１（ｃ）参照）も証明された。４つの平面鏡を使用するステレオシステムがさらに提案された（図１（ｄ）参照）。物体及びその鏡反射を撮像することによって、ステレオ画像を単一鏡のみを使用して得ることもできることが知られている。
【００１０】
これら先行技術のシステムのすてべにおいて、前記ステレオ画像は調整されず、したがって、前記画像をステレオマッチングの前にリアルタイムで変換しなければならない。１つの例外は、鏡ではなくプリズムを使用し、調整ステレオ画像を単一カメラから得る提案されたシステムである。プリズムは鏡の興味深い代案であるが、十分な透視線を有する小型のセンサを設計できるかは明らかでない。
【００１１】
反射屈折でも、２カメラでも、リアルタイムステレオシステムは、ステレオマッチングの前に画像を調整する必要がある。１対のステレオ画像を、エピポラーラインが前記画像の走査ラインと整列した場合、調整する。適切に整列した場合、一致の探索は簡単になり、したがって、リアルタイム性能を得ることができる。ステレオシステムのエピポラージオメトリが一度決まれば、調整変換を前記画像に適用することができる。しかしながら、このような調整は、リアルタイムステレオに関する２つの欠点を有する。変換を前記画像にリアルタイムで適用することは、計算上高価であり、前記画像の再標本化のためステレオデータを劣化させる。
【００１２】
このように、要素非ステレオ画像ビューがどのようなコンピュータが与える調整プロセスも必要としない、ステレオ画像を形成する単一カメラ用システムを提供することが望まれている。さらに、これによって形成されたステレオ画像の処理、格納、操作及び伝送において用いられるコンピュータシステムに関する計算上の要求を低下させる、リアルタイムステレオ撮像用システムを提供することが望まれている。また、センササイズの最小化を可能にするセンサジオメトリを有することが望まれている。同様に、画像の再標本化の必要性と、結果として生じるデータ劣化とを減少又は除去することによって、ステレオ画像品質の劣化を回避することが望まれている。また、撮像された物体と向かい合った結像点又は面と、要素サブ画像ビューを前記結像点に供給するのに用いる１つ以上の鏡とを位置決めする幾何学的制約を有し、これらの幾何学的制約の下で、前記結像点に与えられるステレオ画像が、前記システムジオメトリの効力によって固有的に調整され、追加の調整を必要としない、システム及び方法を提供することが望まれている。依然としてさらに、これらの目的を満たし、合理的な程度の許容誤差を有し、その結果、前記ステレオセンサシステムを構成し、用いることにおける小さな欠陥が、有用なステレオ画像を得る目的を無効にしない、ステレオ撮像システムを提供することが望まれている。
【００１３】
本発明の要約
本発明は、２つの主なゴールを有する。第１は、調整画像を保証するために満足しなければならない制約を明らかにすることであり、第２は、前記鏡を、センササイズが所定の透視線に関して最小になるように配置する自動化ツールを記述することである。これらの結果を使用し、新規の小型ステレオセンサを設計し、組み立てることができる。
【００１４】
本発明は、画像をランタイムにおいて調整することの代案として、前記ステレオシステムのジオメトリが調整画像を与えることを保証する。２カメラステレオに関して、これは、前記２台のカメラ間のどのような回転も除去し、並進の方向を前記カメラの走査ラインと整列させ、前記２台のカメラに同じ内部パラメータを使用する（困難な仕事）ことによって成し遂げられる。調整反射屈折ステレオシステムの幾何学的必要条件は、些細なものではなく、現在までに研究されたとは考えられない。本発明の展開は、２つの部分から成る。第１は、調整画像を保証するために満足しなければならない制約を明らかにすることであり、第２は、前記鏡を、センササイズが所定の透視線に関して最小になるように配置する自動化ツールを記述することである。これらの結果を使用し、新規の小型ステレオセンサを設計し、組み立てることができる。さらに、本発明のセンサシステムを、開示した方法によって実行可能に組み立て、最小の、又は追加の処理及びコンピュータ調整なしで、小さい誤差偏差の存在が、有用なステレオ画像を得るゴールを実際的に達成することを妨害しないようにすることができる。
【００１５】
このように、本発明は、少なくとも１つの視覚的ペアから形成された立体視画像を取得するシステム及び方法を提供し、本装置及びシステムは、１つの画像検出器と、少なくとも１つの実際的に平面の鏡とを使用し、前記鏡が（更なる調整又はコンピュータ処理を必要とせずに）前記視覚的ペアを調整し、立体画像を発生する。
【００１６】
本発明は、第１面に位置する第１平面画像検出器と、前記結像面と撮像システム内の他の要素（例えば他の鏡）とに関する特定の幾何学的制約に従って配置された１つ以上（例えば３つ）の鏡とを用い、調整画像が前記結像面において供給され、立体画像を他の（例えば、コンピュータ支援）調整なしで形成するようにした、場面の立体視画像を取得する装置及び方法も提供する。
【００１７】
好適実施形態の詳細な説明
調整反射屈折ステレオに関する必要条件を記載する前に、平面鏡による画像形成の基本的システム及び方法を再検討することが役に立つであろう。図２（ａ）が示すように、鏡が場面点を反射したときに形成された画像は、前記鏡の反対側において位置する仮想カメラによって撮られた同じ透視画像である。現実カメラの座標系に関する前記仮想カメラの座標系の場所は、反射変換を用いることによって見つけられる。前記鏡をその法線
【数１】
0004790185.tif 000002
及び前記現実カメラから測定された距離ｄによって表す場合、反射変換
【数２】
0004790185.tif 000003
は、
【数３】
0004790185.tif 000004
とわかる。
【００１８】
前記現実カメラ座標系及び仮想カメラ座標系間の変換
【数２】
0004790185.tif 000005
は、剛体変換と、左座標系から右座標系（又はその逆）への切り替えとの組み合わせである。また、反射変換は、それ自身の逆である、すなわち、
【数４】
0004790185.tif 000006
であることにも注意されたい。
【００１９】
２つの鏡（図２（ｂ）を参照）が場面点を反射した場合、前記仮想カメラを、２つの連続的な反射変換を用いることによって見つける。結果として生じる変換は、平面剛体運動を表し、これは、並進の方向が回転軸に対して直角であることを意味する。回転の方向を、
【数５】
0004790185.tif 000007
とすることを示すこともでき、ここで、
【数６】
0004790185.tif 000008
及び
【数７】
0004790185.tif 000009
は、前記２つの鏡の法線である。この２つの鏡の場合において、前記２つの鏡像は互いに打ち消しあうため、左座標系から右座標系への切り替えは存在しない。
【００２０】
各追加の鏡に関して、前記仮想カメラを、他の反射変換を用いることによって見つける。一般的に、鏡の数が奇数の場合、結果として生じる変換は、左座標系と右座標系との間で切り替わり、したがって、前記場面の鏡像を生じる。
【００２１】
図２（ｃ）に示すように、視野が、異なった鏡が前記場面を前記結像面の異なった部分において反射するように分割される場合、前記場面は、多数の仮想カメラから撮像され、したがって、ステレオ画像が得られる。ここで、どのように鏡を使用して調整ステレオ画像を得ることができるかを説明することは有用であろう。
【００２２】
１  どのくらい多くの鏡が必要か。
調整画像を生じるために、ステレオシステムは、いくつかの必要条件を満たさなければならない。前記２台のカメラ間に相対的回転が存在してはならず、前記並進が前記結像面の走査ラインに対して平行でなければならず、前記２台のカメラの内部パラメータが同じでなければならない。反射屈折ステレオに関して、最後の必要条件は、単一カメラのみを使用するため、満たされる。最初の２つの必要条件を保証するために、前記鏡は、式、
【数８】
0004790185.tif 000010
を満たさなければならず、ここで、ｂは透視線であり、ｍは使用する鏡の数であり、
【数９】
0004790185.tif 000011
はｉ番目の鏡によって生じる反射変換である。前記鏡を図３に示すように配列し、各鏡を、ｘ軸が前記走査ラインに沿っており、ｚ座標が光軸の方向である左の仮想カメラに取り付けられた座標系において規定する。
【００２３】
式（３）を満たすことが、調整を保証しても、１つ問題がある。我々は、前記現実カメラの視野を前記２台の仮想カメラ間に分割するため、我々は、前記視野が正確に重なることを保証しなければならない。図４は、２台の仮想カメラを調整するが、これらは共通の視野を共有しない４鏡システムを示す。前記視野を２つの異なった鏡のシステム間で分割する場合、各仮想カメラは、前記現実カメラの視野の半分だけを受ける。明らかに、実際には、この２つの半分視野は、重ならなければならない。
【００２４】
図５に示すように、各仮想カメラは、左又は右半分視野のいずれかを受ける。調整した場合、反射の数に応じて、４つの可能な配置が存在する。しかしながら、下の２つの配置のみが、実際上のステレオシステムを導く。左上の配置は、重なる視野を持たず、右上は、前記透視線の幅の狭いビームしか見ていない。下の配置のうち１つを得るために、一方の半分視野を他方の半分視野に関して反射しなければならず、したがって、奇数の反射が必要である。我々は、これを、ｘ軸の方向を変化させることによって行う。
【数１０】
0004790185.tif 000012
どのような数の奇数反射に関しても、解が存在することを示すことは簡単である。ｍ＝１に関して、鏡法線
【数１１】
0004790185.tif 000013
は解を導く。すべての奇数ｍ（ｍ＞１）に関して、反射変換はそれ自身の逆であり、各対は打ち消しあうため、自明な解を、（ｍ−１）／２対の同じ反射変換を加えることによって得ることができる。
【００２５】
式（４）に対して多くの解が存在しても、大部分は、閉塞及び交差する鏡のため、物理的に実現できない。次に、我々は、一方においてシステムサイズ及び単純さに関して、他方において画像品質理想的な解を与えることができる１つ及び３つの鏡を使用する可能な解を考察する。５つ以上の鏡を使用することもできるが、これらのシステムを、厳密に必要なよりも複雑だとみなすことができ、これらの前記１又は３鏡システムに対して増加する利点は、比較的小さいであろう。（それにもかかわらず、本開示の教えは、このような５つ以上の鏡システムに当てはまり、当業者は、これらの教えを容易に用い、このようなシステムを実現することができる。）
【００２６】
２  単一鏡調整ステレオ
単一鏡によって調整画像を得るために、前記鏡を含む面は、式
【数１２】
0004790185.tif 000014
を満たさなければならない。ここで、〔数６〕及びｄ１は、前記カメラ座標からの前記鏡への法線及び距離である。これについては、〔数１１〕を満たす。このように、単一鏡を使用する解は、図６に示すように前記鏡の法線が前記カメラの走査ライン（ｘ軸）と平行な場合にのみ生じる。前記ステレオシステムは、任意の距離ｄ１に関して調整し続けるであろうが、透視線ｂは、ｂ＝２ｄ１のように変化するであろう。
【００２７】
この解の利点は、その単純さである。しかしながら、有限の鏡を使用しなければならないため、前記仮想カメラの視野は、前記仮想カメラに対する前記鏡の角度によって制限される（図６参照）。視野αは、透視線ｂ及び鏡の長さｈと、
α＝ａｒｃｔａｎ（２ｈ／ｂ）−π／２＋β／２                  （６）
のように関係する。したがって、大きい透視線が望まれる場合、大きい鏡を用いる必要があり、でなければ、視野が厳しく制限される。
【００２８】
前記鏡が有限であるため、視野は、前記現実カメラと仮想カメラとの間に非対称に存在する。前記画像検出器のより大きい部分が前記現実カメラによって使用される。図７に示すように、この非対称を、前記画像検出器を前記カメラの投影の中心に関してシフトすることによって除去することができる。興味がある場面が前記カメラの近くにある用途に関して、これは、前記ステレオシステムに近い可視堆積が増加するという利益を有する。
【００２９】
３  ３鏡調整ステレオ
前記単一鏡調整ステレオの制限を、追加の鏡を組み込むことによって克服することができる。３鏡に関して、視野が前記２つの仮想カメラ間で実際的に等しく共有されることを保証することができる（図８参照）。さらに、大きい透視線を、比較的小さい鏡を使用して得ることができる。しかしながら、任意に３つの鏡を置くことはできない。示すように、最適に調整されたステレオを得るために、前記鏡とカメラとの間の４つの特定の幾何学的制約を実際的に満たさなければならない。式（４）から、我々は、前記鏡を、
【数１３】
0004790185.tif 000015
のように置かなければならないことを知る。式（７）を使用して、我々は、最初に、３つの制約を、どのように前記鏡を配置して、前記仮想カメラ間に回転がないようにするかを決定することによって導き出す。次に、我々は、前記並進の方向を前記走査ライン（ｘ軸）と平行にする必要性から生じる残りの制約を示す。
【００３０】
３．１  回転制約
式（７）における行列の左上３×３ブロックは、前記２台の仮想カメラ間の相互回転に関する。調整のため、われわれは、
【数１４】
0004790185.tif 000016
を有し、ここで、
【数１５】
0004790185.tif 000017
である。各々の
【数１６】
0004790185.tif 000018
は、対称であってそれ自身の逆であり、式（８）を、
【数１７】
0004790185.tif 000019
として書くことができる。
【００３１】
【数１８】
0004790185.tif 000020
は、
【数１９】
0004790185.tif 000021
である双方の鏡法線に対して直角の回転軸に関する回転行列であることを思い出されたい。これは、
【数２０】
0004790185.tif 000022
を意味する。式
【数２１】
0004790185.tif 000023
も保たなければならないことを示すのは簡単である。したがって、式（８）を満たすために、双方の式（１１）及び（１２）を満たす必要があり、これは、
【数２２】
0004790185.tif 000024
を意味する。
【００３２】
スケール係数λを、我々に２つの独立の制約、
【数２５】
0004790185.tif 000025
及び
【数２６】
0004790185.tif 000026
を我々に与える
【数２３】
0004790185.tif 000027
又は
【数２４】
0004790185.tif 000028
との内積をとることによって除去することができる。
【００３３】
これは、３つの鏡の法線〔数２３〕、
【数２７】
0004790185.tif 000029
及び〔数２４〕とｘ軸とがすべて共面であることを意味する。前記法線が共面である場合、前記鏡は、前記仮想カメラを共通軸について回転する。もちろん、依然として、回転角が打ち消されるように前記鏡を向けることが必要である。しかし、ここで、この解析を、前記法線及びｘ軸を含む面の２次元において解くことによって簡単にすることができる。二次元において、前記鏡を、θｉがｉ番目の鏡法線が前記現実カメラのｘ軸と作る角度であるラインによって表す。単純化のために、ｘ軸を現実カメラ決象面に移動した。
【００３４】
前記カメラ中心を角度αにおいて離れる光線と、前記カメラを角度π−αにおいて離れる対応する光線とを考えると、前記鏡を、前記２つの反射光が平行になり、したがって、前記仮想カメラ間に回転がないことを保証するように向きを調節しなければならない（図９参照）。角度θ１において向けた鏡によって反射された後、左の光線の角度は、
α１＝２θ１−α                                            （１７）
である。
【００３５】
前記２つの鏡による反射後の右の光線の角度α２は、
α２＝２θ３−２θ２−α                                    （１８）
である。
【００３６】
前記２つの光線は、α１＝α２の場合、平行である。したがって、
θ３−θ２＝θ１                                          （１９）
の場合、回転は打ち消される。
【００３７】
式（１６）を、前記鏡の法線の項において、
【数２８】
0004790185.tif 000030
のように表すことができる。
【００３８】
要約のため、前記鏡の法線が式（１４）、（１５）及び（１９）の３つの制約を満たす場合、前記２台の仮想カメラ間の回転は存在しなくなる。
【００３９】
３．２  並進制約
ここまで、前記仮想カメラを調整するのに満たさなければならない３つの制約を記載した。しかしながら、前記仮想カメラ間の並進の方向がｘ軸に沿うことを保証する必要もある。これに関して、我々は、式（７）の並進部分、すなわち、
【数２９】
0004790185.tif 000031
を考察する必要がある。
【００４０】
【数３０】
0004790185.tif 000032
との乗算と式（８）を代入した後、我々は、
【数３１】
0004790185.tif 000033
を得る。
【００４１】
次に、式（９）を
【数３２】
0004790185.tif 000034
に代入することによって、我々は、
【数３３】
0004790185.tif 000035
を有する。
【００４２】
この式を満足することが調整を保証しても、式（２２）において１つの独立した制約のみが存在する。ｂは任意であるため、我々は、
【数３４】
0004790185.tif 000036
及び
【数３５】
0004790185.tif 000037
である少なくとも２つの式のみを展開し、ここで、
【数３６】
0004790185.tif 000038
である。ベクトル式（２２）が、前記鏡の法線及びｘ軸から成ることに注意されたい。前記回転制約が、これらのベクトルが共面であることを保証するため、我々は、座標系を、これらのベクトルがｘ−ｚ面にあるように規定する。前記法線がｘ−ｚ面においてある場合、すべてのｉに関してｎｉｙ＝０であり、式（２３）は満たされ、１つの制約、式（２４）のみが残る。
【００４３】
ここで、３鏡調整ステレオに関して４つの制約が得られた。要約のため、前記３つの鏡の法線がｘ軸と共面である場合、前記鏡間の角度は、式（１９）を満たし、前記鏡に対する距離を、式（２４）が満たされるように選択し、前記２台の仮想カメラは調整される。
【００４４】
４  小型センサ設計
多くの立体撮像用途に関して、前記センタの小型さは重要である。このセクションにおいて、我々は、反射屈折ステレオセンサ設計用自動化ツールを記述する。前記現実カメラの透視線、視野、及びサイズのような設計パラメータを与えると、我々は、前記仮想カメラが調整され、前記センササイズが最小になるような前記鏡の最適配置を計算する。
【００４５】
前記最適化を簡単にするために、我々は、前記鏡の法線を含む面がｘ−ｚ面であることを仮定し、これは、前記カメラと鏡との間に傾きがないことを意味する。ここで、前記３つの鏡の各々をラインによって表し、６つのパラメータθ１、θ２、θ３、ｄ２及びｄ３のみが存在する。我々はｘ−ｚ面に限定されるため、式（１４）及び（１５）のみを満たす。このように、２つの調整制約、前記鏡の角度における１つ、式（１８）と、前記距離における１つ、式（２４）のみが存在する。所定の透視線ｂを与えると、我々は、式（２２）からもう一つの制約、
【数３７】
0004790185.tif 000039
を有する。
【００４６】
６つのパラメータにおける３つの制約は、３つの自由パラメータを残す。これらのパラメータを最適化するために、センササイズに関するある基準を選択しなければならない。１つの簡単な標準は、前記カメラの投影の中心と、前記鏡の境界ボックスの周囲とである（図１０参照）。
【００４７】
最適な構成を見つけるため、我々は、我々は、第１鏡のすべての可能な位置（θ１，ｄ１）と、第２鏡に関する可能な角度θ２とを探索する。残りの３つのパラメータ、前記第２鏡までの距離ｄ２と、第３鏡までの距離ｄ３と、前記第３鏡の角度θ３とを、式（１８）、（２４）及び（２５）を解くことによって見つけ、ここで、ｎｉｘ＝ｃｏｓθｉ及びｎｉｚ＝ｓｉｎθｉである。計算されたパラメータの各組に関して、我々は、前記鏡の終点を、前記光軸を追跡し、前記視野の光線を制限し、これらを前記鏡と交差させることによって決定する。前記終点が見つかったら、前記境界ボックスの周囲を計算する。前記パラメータを最小にする設計を選択する。
【００４８】
我々は、前記鏡が互いにかみ合わない解を承認する。このようにして、我々は、図１１における光線
【数３８】
0004790185.tif 000040
が鏡
【数３９】
0004790185.tif 000041
及び
【数４０】
0004790185.tif 000042
と交差せず、光線
【数４１】
0004790185.tif 000043
が〔数３９〕と交差しないことを保証する。加えて、我々は、前記現実カメラがそれ自身を見ない解のみを考慮し、このようにして、我々は、光線
【数４２】
0004790185.tif 000044
が前記投影のカメラ中心からの最小距離ｃであることを保証する（ｃは透視線に比例し、前記カメラのサイズから決定されることに注意されたい）。
【００４９】
図１２は、６０°視野を有するカメラに関する２つの最適な構成を示す。図１２（ａ）に示すように、ｃ＝０の時、前記第２鏡は、極微小であり、前記カメラの投影中心において位置する。図１２（ｂ）は、ｃ＝０．１の場合の最適解を示す。
【００５０】
ｃ及び視野の双方が増大すると、最適センササイズも増大する。図１３は、種々の異なった視野とｃの値に関する最適化センサの標本化を示す。我々は、同じアプローチを使用し、前記境界ボックスの面積のようなある他のサイズ基準に関する最適センサを見つけてもよいことに注意されたい。
【００５１】
５  許容誤差
鏡構成を選択したら、前記カメラの位置及び方向を、前記鏡法線に対して直角の並進まで決定する。前記ミラーを高精度で配置することができても、前記カメラ及びレンズを前記ミラーに関して位置決めするとき、必然的にエラーが導かれる。このセクションにおいて、我々は、前記調整ジオメトリにおけるこれらの配置エラーの影響を説明する。
【００５２】
単純化のために、我々は、所望の構成を、前記カメラの光軸が、鏡法線面と呼ばれる前記鏡法線と前記カメラの投影の中心とによって規定される面においてある構成とする。我々は、３つのエラー源、前記撮像システムの投影の中心の誤配置と、前記鏡法線面内の前記光軸の方向の誤整列と、前記鏡法線面に関する前記光軸の傾きとを見つける。
【００５３】
５．１  投影の中心の誤配列
前記カメラの投影中心の誤配列は、前記鏡の法線を変えず、したがって、我々は、前記仮想カメラの位置における影響のみを考慮し、方向における影響を考慮する必要はない。前記カメラの投影中心の、所望の位置ｃから点
【数４３】
0004790185.tif 000045
への移動は、仮想カメラｖ及びｖ´を新たな位置
【数４４】
0004790185.tif 000046
及び
【数４５】
0004790185.tif 000047
にシフトさせる（図１４参照）。
【数４６】
0004790185.tif 000048
、
【数４７】
0004790185.tif 000049
及び
【数４８】
0004790185.tif 000050
が前記３つの鏡についての反射変換である場合、
【数４９】
0004790185.tif 000051
及び
【数５０】
0004790185.tif 000052
となる。反射変換はそれ自身の逆であるため、我々は、
【数５１】
0004790185.tif 000053
も有し、これは
【数５２】
0004790185.tif 000054
を導く。式（７）の調整制約から、〔数４５〕が〔数４４〕と、ｃ軸についてのシフトによって関係することを示すのは容易である。このように、前記仮想カメラの調整は、前記現実カメラの投影中心の位置に対して不変であり、影響は前記透視線における変化だけである。これは、前記撮像システムの投影中心を正確に配置することが困難であるため、重要な特性である。
【００５４】
５．２  光軸の誤整列
次に、我々は、前記鏡法線面内の前記カメラの方向の誤整列を考察する。前記カメラの光軸の誤整列は、前記仮想カメラの位置を変えず、これらの方向のみを変える。図１４に示すように、εの角度エラーは、前記仮想カメラを傾かせ、結果として、前記仮想カメラ間の回転が生じる。傾きの量は、前記鏡の特定の構成に依存しないことに注意されたい。傾いたシステムに関して、ピクセル単位における調整エラーは、傾きの量と、前記カメラの視野と、前記画像における位置とに依存する。前記調整エラーは、
【数５３】
0004790185.tif 000055
の場合、前記画像のどこでもサブピクセルであり、ここで、Ｐは前記画像の高さであり、αは前記カメラの視野である。前記視野が９０°未満の場合、約０．２°の傾き角に、約５００ピクセルの代表的な撮像解像度において耐えることができる。
【００５５】
５．３  光軸の傾き
他のエラー源は、前記鏡法線面に関する前記カメラの傾きである。前記カメラを傾かせることは、前記鏡法線をｘ軸について回転させる。回転
【数５４】
0004790185.tif 000056
を与えると、新たな鏡法線は、
【数５５】
0004790185.tif 000057
【数５６】
0004790185.tif 000058
及び
【数５７】
0004790185.tif 000059
となる。式（１９）において与えた角度制約
【数５８】
0004790185.tif 000060
が古い法線に保持する場合、
【数５９】
0004790185.tif 000061
も新しい法線に保持することを示すことは容易である。このように、前記仮想カメラは、前記カメラが傾いた場合、平行のままである。
【００５６】
前記仮想カメラが平行のままでも、これらの双方は、回転し、前記並進の方向を前記走査ラインからそらさせる。前記並進の方向における変化は、傾きの量φに依存するが、前の場合とは異なって、このエラーは、前記鏡の角度に依存する。図１６は、前記カメラの傾きの単一鏡における影響を示す。前記カメラの傾きは、前記鏡の前記光軸との交差を変化させ、したがって、前記カメラの座標系に関する角度を変化させる。前記カメラがφ傾き、前記鏡の角度をθによって与えると、前記鏡の角度における変化εは、
【数６０】
0004790185.tif 000062
となる。
【００５７】
所定の傾きに関して、εは、前記鏡の角度が０°又は９０°のいずれかに近づくにつれて最小化され、θ＝４５°の場合、最大になる。前記調整エラーは、２εである前記並進の方向におけるエラーに依存する。θ＝４５°の場合であっても、このエラーは、φ＝０における
【数６１】
0004790185.tif 000063
のようにゆっくりと成長する。例えば、φ＝１°の傾きエラーは、結果として、０．００９°未満の並進方向エラーを生じる。したがって、前記調整エラーは、誤整列エラーより傾きエラーにあまり敏感ではない。この解析において、我々は、前記所望の構成が、前記光軸が前記鏡法線面にある構成であると仮定した。前記所望の構成が、前記カメラが前記鏡に関しての斜角を上へ指すか下へ指す構成である場合、前記調整は、小さい傾きエラーに対してより敏感になる。要約において、前記カメラ中心の誤配列は、前記調整ジオメトリに影響せず、前記光軸の誤整列は、前記仮想カメラ間に回転を導き、前記光軸の傾きは、前記カメラを回転させ、前記並進方向における変化を招く。
【００５８】
６  実験結果
上記セクションにおいて導入した前記制約を使用し、１及び３鏡ステレオセンサの双方を組み立てた。図１７（ａ）におけるように、調整ステレオ画像を、単一鏡を使用して、前記鏡を前記カメラの光学系と平行に置くことによって取得することができる。前記鏡の手動による整列は、前記場面の深さマップを得るのに適切であることがわかった。前記ステレオ画像を調整することを実証するために、一致探索を前記走査ラインに沿ってのみ行う。前記深さマップを、６４０×４８０画像において、１５×１５サイズウィンドウによるＳＳＤ及び正規化相互相関の双方を使用して計算する。単一鏡の場合において、我々は、前記鏡と鋭角における場面光線の反射によって導入される強度差のため（鏡の反射率が入射角の関数としてわずかに落ちることを思い出されたい）、正規化相互相関が有益であることを見つけた。
【００５９】
３鏡システムを構成するために、最初に、前のセクションにおいて記載したような最適構成を、７０°視野及びｃ＝０．２の値を使用して見つけることが必要である。前記システムを、透視線ｂ＝１０ｃｍ及びｃ＝２ｃｍとなるように拡大縮小する。前記鏡を正確に配置するために、図面ツールを使用し、前記３つの鏡の位置とカメラ投影中心とを、一片の紙に印刷する。図１７（ｂ）は、実験の注釈を示す。
【００６０】
図１９（ａ）は、前記３鏡システムによって得られたいくつかの画像を示す。図１９（ｂ）及び１９（ｃ）は、ＳＳＤ及び正規化相互相関の双方を使用して前記走査ラインに沿って探索することによって計算した深さマップを示す。前記３鏡の場合に関して、我々は、前記データの正規化が結果を改善しないことを見つけた。前記３鏡システムは、単一鏡を使用する場合に出合う正確な入射角に苦しまない。したがって、正規化相互相関の異常な計算コストを回避することができる。
【００６１】
本発明のステレオ画像を、写真撮像用の、ディジタル化写真画像を処理、格納、操作及び伝送する所望の業界標準設備と共に得て、処理することができる。このように、種々の平面撮像装置（例えば、スチールカメラ及び写真フィルム、ディジタルカメラ）と、種々のコンピュータ化写真処理システム（例えば、格納や、処理及び伝送ソフトウェアと、所望のプラットフォームのハードウェア）を、ここに開示した方法及びシステムと共に使用することができる。当業者は、上述した前記画像検出器、鏡、及び撮像される物体間の幾何学的制約が実際的に満たされる間は、本発明の利点を、画像検出器、鏡、画像プロセッサ等のどのような任意の適切な組み合わせによっても得ることができることを認識するであろう。
【００６２】
７  結論
このように、本発明は、新規のステレオセンサのクラスに関する設計を与える。前記データの同期、調整及び正規化の必要性を回避することによって、これらのセンサは、リアルタイム用途には都合がよい。反射屈折システムから調整ステレオ画像を得るために満たさなければならない幾何学的制約の特定の組を与えた。加えて、本発明は、どのように残りの自由度を使用して小型のステレオセンサを設計するかを開示する。エラー解析を通じて、これらのセンサを組み立てる実際的な実行可能性を示した。特に、当業者は、本発明が、特別であるが合理的に柔軟な幾何学的センサシステム制約の組を与えることを認識するであろう。すなわち、個々の面、法線等が、特に、個々の共面又は直角関係に対して、列挙した制約及び式の組を満たすことは重要だが、例えば数度（すなわち、５度未満）の正確な共面又は直角からの逸脱は、本来の調整ステレオ画像の実際的な準備を妨げない。
【００６３】
本発明を、説明の目的のため、その上述の特別な実施形態によって説明したが、これらの実施形態は、本発明の範囲を限定も減少もしない。むしろ、当業者には、種々の代案及び変更を、前記説明した実施形態に、添付した請求項によってのみ規定される本発明の精神及び範囲を逸脱することなく行えることは明らかであろう。
【図面の簡単な説明】
【図１】  種々の鏡を使用するいくつかの先行技術の単一カメラステレオ撮像システムを示す。場面点の２つの反射を撮像することによって、３次元位置を単一カメラから決定することができ、（ａ）は２つの球面鏡の使用を示し、（ｂ）は２つの重ねられた凸面鏡の使用を示し、（ｃ）は２つの平面鏡の使用を示し、（ｄ）は４つの平面鏡の使用を示す。
【図２】  先行技術において既知の立体視システムにおける画像形成への平面鏡の使用を一般的に示す。
【図３】  どのように、立体視システムにおける左及び右仮想カメラ間の相対的方向を、図に示す配列における連続的な反射変換を用いることによって見つけるかを示す。
【図４】  どのように、平行の鏡の２つの組を使用し、調整ステレオ撮像システムを構成するかを示す。しかしながら、この解は、２つの仮想カメラが共通の視野を共有しないため、一般的に実際的ではない。
【図５】  調整したら、合成ステレオ画像に寄与する仮想カメラの４つの可能な構成があることを示す。しかしながら、下の２つのみが実際的な解を導く。左上の構成は、視野が重ならず、右上の構成の視野は、狭いビームのみである。下の構成のうち１つを得るために、奇数の反射を使用しなければならない。
【図６】  単一鏡で調整画像を得るために、前記鏡の法線をカメラの走査ラインと平行にしなければならないことを示す。右仮想カメラの視野は、前記鏡の有限のサイズによって制限されることに注意されたい。
【図７】  画像検出器をシフトし、ステレオ視野における非対称性を減少することを示す。（ａ）は、単一鏡を使用した場合、左カメラビューは右カメラビューより前記画像検出器の大きい部分を使用することを示し、（ｂ）は、非対称性を、前記画像検出器を撮像レンズ（投影の中心）に関してシフトすることによって除去することができることを示す。
【図８】  ３鏡調整ステレオに関する方法を示す。３つの鏡を使用することによって、各仮想カメラの視野が現実カメラの視野の半分である調整ステレオシステムを設計することができる。
【図９】  本発明の３鏡ステレオ撮像構成における鏡ジオメトリを示す。鏡を、角度α及びπ−αにおける２つの光線が、前記鏡によって反射された後、平行になるように傾けなければならず、ここで、α１＝α２である。こうすることは、２つの仮想カメラ間に回転がないことを保証する。
【図１０】  調整制約を満たし、所定の透視線及び視野に対して境界ボックスの周囲を最小にするように鏡位置をおくことの重要性を示す。前記境界ボックスを、カメラの視野を鏡位置と交差させ、前記鏡終点とカメラ投影中心との間の頂点を決定することによって見つける。
【図１１】  反射された場面光線が鏡によって閉じ込められないことを保証することの重要性を示す。したがって、光線〔数６４〕が鏡〔数６５〕と交差せず、光線〔数６６〕が〔数６７〕と交差しないことが特に好適である。カメラのサイズのある概念を与えると、光線〔数６８〕がカメラ投影中心から最小距離ｃにおいてあることを保証することができる。
【図１２】  透視線ｂに関して最適化したステレオセンサを示す。（ａ）は、（カメラのサイズを無視して）ｃ＝０に関して、最適な解は投影中心における１つのミラーを有することを示す。（ｂ）は、ｃ＝０．１の場合に最適である構成を示す。スケールに関して、仮想カメラ間の透視線を示す。
【図１３】  最適化センサのサイズは視野（ＦＯＶ）及びｃの値に依存することを示す。左上隅において、すべてのセンサに関して同じである透視線ｂを、スケールに関して示す。
【図１４】  〔数６９〕から〔数７０〕へのカメラの投影中心の移動の影響を示し、これは、仮想カメラ〔数７１〕及び〔数７２〕を点〔数７３〕及び〔数７４〕にシフトさせる。〔数７３〕の位置を、〔数７０〕を第１鏡について変換〔数７５〕を使用して反射させることによって見つけ、〔数７４〕を、第２及び第３鏡について変換〔数７６〕を使用して反射させることによって見つける。透視線がもはやｂでなくても、新たな仮想カメラは、並進方向が依然としてｘ軸に沿っているため、依然として調整される。
【図１５】  点線が、カメラの所望の方向〔数６９〕と、調整仮想カメラ〔数７１〕及び〔数７２〕とを示す。実線は、現実カメラがεの角度エラーを有する場合の仮想カメラの方向を示す。この場合において、前記仮想カメラは傾き、前記カメラはもはや調整されない。傾きの量と、したがって調整エラーとは、鏡の構成に依存する。
【図１６】  （ａ）は、ｚ軸に沿って傾き、指し示す光軸を有する、〔数６９〕において位置するカメラの側面図を示す。角度φによるｚ軸の傾きは、前記光軸に沿った前記鏡までの距離を、ｈからｈ／ｃｏｓφに増加させる。（ｂ）は、上面図を示す。前記カメラが傾いた場合、前記鏡の角度は、前記カメラの座標系に関して変化する。仮想カメラが平行のままでも、これらは、εが前記鏡の角度における変化量である場合、角度２εだけ回転する。
【図１７】  コンピュータ４ｍｍピンホールレンズを有するソニーＸＣ−７５カメラを使用する１及び３鏡調整ステレオシステムを例として示す。（ａ）において、単一鏡を、鏡法線が撮像システムの光軸に対して直角になるように配置する。（ｂ）において、３つの鏡を、調整構成において配置する。
【図１８】  単一鏡調整ステレオの設備を一般的に示す。（ａ）は、単一鏡ステレオシステムによって得られた（表示のために得られた）画像を示す。この画像の右側が反射されることに注意されたい。前記画像が調整されることを実証するために、走査ラインに沿ったステレオマッチングを、前記反射を除去した後に行う。（ｂ）及び（ｃ）は、１５×１５ウィンドウによるＳＳＤ及び正規化相互相関を使用して計算された深さマップである。正規化相互相関は、鏡と鋭角における場面光線の反射によって導入される強度さにより、わずかによい。深さを、背景ピクセルに関して計算しない。
【図１９】  ３鏡調整ステレオを使用する画像及び深さマップを示す。（ａ）において、（表示用に得られた）３つの６４０×４８０画像を、３つの鏡を使用して取得した。走査ラインに沿ったステレオマッチングを行う前に、各画像の右半分をフリップし、反射を除去する。（ｂ）及び（ｃ）は、１５×１５ウィンドウによるＳＳＤ及び正規化相互相関を使用して得られた深さマップである。これらの２つのマップ間の違いは無視でき、したがって、単一カメラのみを使用した場合のＳＳＤがステレオマッチングに十分であるという事実を強調するということに注意されたい。深さを、背景ピクセルに関して計算しない。
【図１】
0004790185.tif 000064
【図２】
0004790185.tif 000065
【図３】
0004790185.tif 000066
【図４】
0004790185.tif 000067
【図５】
0004790185.tif 000068
【図６】
0004790185.tif 000069
【図７】
0004790185.tif 000070
【図８】
0004790185.tif 000071
【図９】
0004790185.tif 000072
【図１０】
0004790185.tif 000073
【図１１】
0004790185.tif 000074
【図１２】
0004790185.tif 000075
【図１３】
0004790185.tif 000076
【図１４】
0004790185.tif 000077
【図１５】
0004790185.tif 000078
【図１６】
0004790185.tif 000079
【図１７】
0004790185.tif 000080
【図１８】
0004790185.tif 000081
【図１９ａ】
0004790185.tif 000082
【図１９ｂ】
0004790185.tif 000083
【図１９ｃ】
0004790185.tif 000084