(57)【特許請求の範囲】
【請求項１】
１枚以上のレンズから成る１組のレンズ群と、
前記レンズ群の前部あるいは後部の該レンズ群の焦点距離以内に配した複数の開口部を有する遮蔽板と、
前記レンズ群および前記遮蔽板の後部に配置され、該レンズ群と該遮蔽板の前記複数の開口部を通過した複数の光線のうち少なくとも１つを該開口部毎に独立に反射させるための少なくとも１組のミラー群とを有し、
前記レンズ群と前記遮蔽板の前記複数の開口部を通過した複数の光線をそれぞれ前記開口部毎に分離して直接または前記ミラー群を介して、前記レンズ群および前記遮蔽板の後部に配した複数の受光素子またはフィルムに受光させるように構成されていることを特徴とする３次元動画入力装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、３次元空間撮像技術の分野に属するものであり、特に、複数の視差画像から三角測量の原理に基づき対応点マッチングにより距離情報を得る３次元動画入力装置に関する。
【０００２】
【従来の技術】
図７は距離情報を得るために従来から用いられている多眼ステレオ法の原理図である。図７において、１０１は左カメラ、１０２は右カメラであり、両カメラは平行に配置される。各カメラで被写体１０５を撮影して得られた画像が各々１０３，１０４である。ここで、被写体１０５中の一点をＰとし、これが左右画像１０３，１０４中に撮影された位置は左画像１０３ではＰＬ、右画像１０４ではＰＲとする。各々の画像上の座標を（ｘ１，ｙ１）、（ｘｒ，ｙｒ）とし、さらにカメラ間の距離をｂ、左右カメラレンズの焦点距離をｆとすると、カメラからＰまでの距離ｚは、
【０００３】
【数１】
ｚ＝ｂｆ／λｄ
となる。ここで、ｄは左右画像上の視差（ｘｒ−ｘ１）、λは撮像素子の画素サイズである。
【０００４】
この方法は、２台以上のカメラを平行に並べるだけで撮像可能であるため簡便であり、さらに、動画を撮像できる特徴を有する。
【０００５】
しかし、カメラやレンズを複数必要とするのでカメラ間のキャリブレーションを精密に行うことが困難であり、これが距離画像の誤差要因となる。さらに、被写体相互の遮蔽（以下、オクルージョン）により１台のカメラに撮影されている領域が他のカメラでは撮影されない領域が生じ、これを減少させるためにはさらに多くのカメラとレンズが必要となり、装置がより高価となる。この方法は、例えば下記文献１に開示されている。
【０００６】
文献１「M.0kutomi and T.Kanade:A Multiple-Baseline Stereo,IEEE Trans.Pattern Analysis and Machine Intelligence,Vol.15,No.4,PP.353-363(1993)」
図８は距離情報が得られる単一レンズステレオ撮像法の原理図である。単一レンズステレオ撮像法は、例えば下記文献２，３，４に開示され、「撮影レンズの開口部をレンズの光軸に垂直な面内で移動させると視差の効果が得られる」という光学特性を利用するものである。
【０００７】
図８（ａ）に示すように、レンズ１１６のピントが焦点面１１５に一致しており、その面上に物体Ａとする１１１が配置され、より遠方に物体Ｂとする１１２が、より近方に物体Ｃとする１１３が配置される場合、開口部の位置を紙面に向かつてより上方１１４に移動させると、Ａ’、Ｂ’、Ｃ’の位置に結像され、結果として、受光素子１１７面上ではＡ”、Ｂ”、Ｃ”の位置に写る。
【０００８】
次に、開口部の位置を図８（ｂ）のように、より下方１１８に移動させると、受光素子面上の位置がＡ”は図８（ａ）の場合と同じであるのに対して、Ｂ”、Ｃ”は図８（ｂ）中の矢印１１９の方向に移動して写る。
【０００９】
これは、撮像対象の距離によって変化するため、結果として視差と同一の効果となる。この原理を利用したものが、単一レンズステレオ撮像法である。この方法は単眼のレンズのみ用いて視差画像が得られるため、多眼ステレオ法のようなカメラ間のキャリブレーションの必要がなく、レンズのロストの削減にも繋がる。しかし、開口部を機械的に移動させる必要があるため、動画像は撮影できない。
【００１０】
文献２「小野修司：単一レンズによる三次元イメージ撮像システム、三次元画像コンファレンス２０００」
文献３「島田聡：立体テレビジョン装置、特開昭４９−８７２２３号公報」
文献４「E.Adelson and J.Wang:Single Lens Stereo with a Plenoptic Camera,IEEE Tras. Pattern Analyisis and Machine Intelligence,Vol.14,No.2,PP.99-106(1992)」
【００１１】
【発明が解決しようとする課題】
前記のように、多眼ステレオ法では、各カメラ間を平行に精密に配置する必要があるが、実際には完全に平行に配置することは困難であり、距離画像の誤差要因となる。また、オクルージョンによる距離情報欠如の減少等のためにレンズ系を複数使用する必要が生じ、装置が高価になるという問題があった。
【００１２】
これを回避する方法として、前記の単一レンズステレオ撮像法があるが、これも従来の方法では開口部を機械的に移動させる必要があるため、動画像を撮影できないという問題がある。
【００１３】
それゆえに、本発明の主たる目的は、前記の多眼ステレオ法の問題を回避する単一レンズステレオ撮像の原理に基づく方法で、３次元情報の動画を撮像する手法を提供することである。
【００１４】
【課題を解決するための手段】
本発明は、単一レンズステレオ撮像法を基本原理とした３次元動画入力装置を構成するために、レンズに複数の開口部を有する遮蔽板を装着し、各開口部を通過した光線をミラーにより開口部毎に独立に反射させ、各開口部に対応する複数の受光素子で各々独立に受光できるように構成されるものである。つまり、本発明は、従来の単一レンズステレオ撮像装置と異なる点は、複数の開口部を通過した光線をそれぞれ独立に取り出すため、１枚以上のミラーと複数の受光素子を配置し、動画の視差画像が得られるようにしたものである。
【００１５】
【００１６】
以上のように、本発明に係わる３次元動画入力装置は、レンズに複数の開口部を有する遮蔽板を付加し、各開口部を通過する光線をミラーを用いて反射させることにより、対応する複数の受光素子で独立に受光することにより、各開口部を通過する画像を各々独立に撮像することが可能となり、得られた複数の画像が視差を有することから三角測量の原理を用いれば、本発明の目的である単一レンズステレオ撮像法を基本原理とした３次元の動画撮像を、開口部を機械的に動かすことなく行うことができるようにするもので、以下の構成を特徴とする。
【００１７】
１枚以上のレンズから成る１組のレンズ群と、
前記レンズ群の前部あるいは後部の該レンズ群の焦点距離以内に配した複数の開口部を有する遮蔽板と、
前記レンズ群および前記遮蔽板の後部に配置され、該レンズ群と該遮蔽板の前記複数の開口部を通過した複数の光線のうち少なくとも１つを該開口部毎に独立に反射させるための少なくとも１組のミラー群とを有し、
前記レンズ群と前記遮蔽板の前記複数の開口部を通過した複数の光線をそれぞれ前記開口部毎に分離して直接または前記ミラー群を介して、前記レンズ群および前記遮蔽板の後部に配した複数の受光素子またはフィルムに受光させるように構成されていることを特徴とする。
【００１８】
【００１９】
【発明の実施の形態】
（第１の実施形態）
図１は第１の実施形態を説明する斜視図であり、図２は図１の平面図であり符号の末尾を対応付けて示す。図１の１１はレンズであり、１２は２つの開口部をもつ遮蔽板、１３はミラー、１４は撮像素子（ＣＣＤ，ＣＭＯＳセンサ、フィルム等を含む）である。
【００２０】
図１，２に示すように、レンズ後部に複数（図１，２では２つ）の開口部２２をもつ遮蔽板を設けることにより、これらを通過する画像は、前記単一レンズステレオ撮像法の原理に基づき、カメラからの距離に応じて変化する視差画像となる。そのため、各開口部を通過する光線を各々独立に各開口部に対応する受光素子２４により受光すれば、三角測量の原理で距離情報が得られる。
【００２１】
これを実現するために、請求項１に関する発明では図１，２に示すように、各開口部を通過した光線をミラー２３で反射させ、その後各開口部に対応する受光素子２４で受光することにより、動画の視差画像が撮影できる。撮像中、または撮像後に三角測量の原理で左右画像間の対応点マッチングを取ることにより距離画像が生成される。
【００２２】
この方法によれば、従来の技術に比べ、レンズ系が単眼で済むことから多眼ステレオ法で問題となっているキャリブレーションを必要としない簡便で安価な３次元動画像の撮像が可能となる。
【００２３】
なお、図１，２ではレンズが１枚のみの例を示しているが、図３に示すようにレンズが複数枚から構成される場合でも同様の効果を奏する。また、図１，２，３では遮蔽板をレンズの光軸に対し垂直に配した例を示したが、図４に示すように、遮蔽板をレンズの光軸に対し垂直からある角度をもって配した場合も同様の効果を奏する。
【００２４】
なお、開口部の設置位置は、レンズの焦点距離以内であれば、視差画像を撮影することができる。また、実際には、画像の明るさや撮影範囲に違いが画像に影響するが、レンズにできるだけ近いほうが好ましい。
【００２５】
また、開口部の大きさ（上下限）は、上限では遮蔽板に複数の開口部を独立に作成できればよいが、実際には開口部が大きすぎると被写界深度の関係で画像がぼけるため、ピントが合っている距離から前後に離れるほどステレオマッチングが難しくなるため、これら条件との兼ね合いで制限する。また、基本的には制限がなく、下限は被写界深度が不覚なることから小さい方がよいが、各開口部を通過した光線が視差が検出できる程度に明るく受光できる大きさが好ましい。
【００２６】
また、隣接する開口部との距離は、開口部が広いほど視差が大きくなり、同じ受光素子またはフィルムを用いた場合には検出距離の分解能を高くすることができる。
【００２７】
また、遮蔽板をレンズの光軸に対し垂直からある角度をもって配する場合、その傾けを大きくするほど画像の明るさやぼけ方が変化するため、ステレオマッチングが困難となるが、視差を含んだ画像を得ることだけについては開口部の位置がレンズの光軸と垂直方向でずれてさえいればよいため、レンズに直角に遮蔽板が配置されていない限りは撮影可能である。
【００２８】
上記までの開口部の設置位置や大きさ、距離、遮蔽板の角度等については、以後の実施形態でも同様になる。
【００２９】
（第２の実施形態）
図５は、第２の実施形態を説明する図であり、第１の実施形態の開口部を有する遮蔽板の位置をレンズの前面に移動させたものである。開口部を通過した光線をミラー６３を用いて確実に分離できれば、第１の実施形態と同様に単一レンズステレオ法の原理に基づき、ステレオ画像が撮像できる。レンズ構成や用途に応じて、遮蔽板の位置を変更させることが可能となる。
【００３０】
【００３１】
（第３の実施形態）
図６は第３の実施形態を説明する図であり、８１はレンズ、８２はミラー（８枚）、８３は受光素子（５つ）、８４は開口部（５つ）である。図６は第１の実施形態において、開口部またはシャッターの数を５つにした場合の実施形態を示す。開口部の数を３つ以上として視差画像の対を複数得ることにより、距離画像の信頼度を向上できると共に、前記オクルージョンの問題を減少させることが可能となる。例えば、図１，２のように２つの開口部を有する場合は被写体間のオクルージョンにより片方の受光素子にのみ撮像される領域が生じるが、その領域については、図６において付加した開口部を通過した光線を受光する受光素子からの画像対において距離情報を得ることが可能となる。
【００３２】
【００３３】
【発明の効果】
以上のように、この発明によれば、単眼のレンズで視差画像が動画で得られるため、装置を小型化でき、キャリブレーションを必要とせず、安価に画像の３次元情報を得ることができる。
【００３４】
また、この３次元動画像入力装置を応用することにより、既存の３次元ディスプレイの入力装置として利用でき、さらには工業用等の３次元情報計測装置としても利用できる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態を示す図（鳥瞰図）。
【図２】本発明の第１の実施形態を示す図（平面）。
【図３】本発明の第１の実施形態のレンズの数を増やした例を示す図（平面）。
【図４】本発明の第１の実施形態の遮蔽板の傾きを変えた例を示す図（平面）。
【図５】本発明の第２の実施形態を示す図。
【図６】本発明の第３の実施形態を示す図。
【図７】多眼ステレオ法の原理図。
【図８】単一レンズステレオ撮像法の原理図。
【符号の説明】
１１、２１、４１、６１、８１、１１６…レンズ
１２、２２、３２、４２、６２、８４…開口部
１３、２３、３３、４３、６３、８２…ミラー
１４、２４、３４、４４、６４、８３、…受光素子
１５、２５、３５、４５、６５、８５、１０５…被写体
１０１…左カメラ
１０２…右カメラ
１０３…左画像
１０４…右画像
１１１…物体Ａ（焦点）
１１２…物体Ｂ（遠）
１１３…物体Ｃ（近）
１１４…開口部（上）
１１５…焦点面
１１７…受光素子面
１１８…開口部（下）
１１９…視差
【図１】
0003564383.tif 000002
【図２】
0003564383.tif 000003
【図３】
0003564383.tif 000004
【図４】
0003564383.tif 000005
【図５】
0003564383.tif 000006
【図６】
0003564383.tif 000007
【図７】
0003564383.tif 000008
【図８】
0003564383.tif 000009