(57)【特許請求の範囲】
【請求項１】
被写体の２次元画像を互いに異なる複数の視点位置から入力する複数の画像入力部を有してなる多眼式データ入力装置であって、
前記複数の画像入力部のうちの１つの画像入力部には、カラーの２次元画像を取得することのできる撮像素子が設けられ、他の画像入力部には、モノクロの２次元画像を取得する撮像素子が設けられ、
前記カラーの撮像素子と前記モノクロの撮像素子とは解像度が同じであり、
前記カラーの撮像素子について、その画素のうちの画像データが出力されない色の画素についてはその近傍の画素から出力される画像データを用いて補間を行うことにより、全ての画素について各色の画像データを得て、同じ画素についての各色の画像データのデータ値を所定の割合で加算することにより、各画素の輝度を示す画像データを得るようにし、
前記モノクロの撮像素子については全ての画素について各画素から出力される画像データから輝度を示す画像データを得るようにした、
ことを特徴とする多眼式データ入力装置。
【請求項２】
前記カラーの撮像素子は、カラーフィルタを有した単板式の撮像素子である、
請求項１記載の多眼式データ入力装置。
【請求項３】
前記カラーの撮像素子は、カラーフィルタを有した多板式の撮像素子である、
請求項１記載の多眼式データ入力装置。
【請求項４】
前記２次元画像に基づいて前記被写体の３次元データを算出する算出部を有してなる、
請求項１乃至請求項３記載の多眼式データ入力装置。
【請求項５】
被写体の２次元画像を互いに異なる複数の視点位置から入力する複数の画像入力部を有してなる多眼式データ入力装置であって、
前記複数の画像入力部のうちの１つの画像入力部には、カラーの２次元画像を取得することのできる撮像素子が設けられ、他の画像入力部には、モノクロの２次元画像を取得する撮像素子が設けられ、
前記カラーの撮像素子は、前記モノクロの撮像素子よりも高解像度である、
ことを特徴とする多眼式データ入力装置。
【請求項６】
前記カラーの撮像素子は、カラーフィルタを有した単板式の撮像素子である、
請求項５記載の多眼式データ入力装置。
【請求項７】
前記カラーの撮像素子は、カラーフィルタを有した多板式の撮像素子である、
請求項５記載の多眼式データ入力装置。
【請求項８】
前記２次元画像に基づいて前記被写体の３次元データを算出する算出部を有してなる、
請求項５乃至請求項７記載の多眼式データ入力装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、３次元データの取得のための多眼式データ入力装置に関する。
【０００２】
【従来の技術】
従来より、多眼式データ入力装置は、パッシブタイプの３次元データ入力装置の１つとして知られている。多眼式データ入力装置は、２次元画像を得るための複数の入力部、得られた複数の２次元画像に基づいて３次元データを算出する算出部などを有している。
【０００３】
このような装置を用いて３次元データを生成するには、得られた複数の２次元画像のうち、その１つを基準画像とする。基準画像における被写体を示す領域内の全ての座標点について、他の２次元画像においてそれらに対応する座標点を求める。これらの対応点は、２次元画像を構成する画素の濃淡を用い、勾配法又は相関法などにより求めることができる。対応点に基づいて、ステレオ視の原理により、３次元空間上での点の位置を求める。求められた点の位置データの集合が被写体についての３次元データである。
【０００４】
従来の装置では、左右の入力部にモノクロの２次元画像を取得する撮像素子が用いられている。
【０００５】
【発明が解決しようとする課題】
ところが、モノクロの撮像素子を用いた場合には、対応点の探索には都合がよいが、カラーの画像が得られないので、３次元データを生成した後において、３次元データに対するカラーマッピングを実現することができない。
【０００６】
そのため、カラーの２次元画像を撮影可能なカメラを別途用い、３次元データのための撮影とは別個に撮影を行う必要があった。そのため、撮影のために手間が掛かるとともに、３次元データのための撮影とカラーの２次元画像のための撮影との位置関係が一定しないため、カラーマッピングを行う際の位置合わせが容易ではないという問題もあった。
【０００７】
本発明は、上述の問題に鑑みてなされたもので、３次元データのための２次元画像及びカラーマッピングのための２次元画像を１回の撮影によって同時に取得することができ、しかも構成の簡単な多眼式データ入力装置を提供することを目的とする。
【０００８】
請求項１の発明に係る装置は、被写体の２次元画像を互いに異なる複数の視点位置から入力する複数の画像入力部を有してなる多眼式データ入力装置であって、前記複数の画像入力部のうちの１つの画像入力部には、カラーの２次元画像を取得することのできる撮像素子が設けられ、他の画像入力部には、モノクロの２次元画像を取得する撮像素子が設けられ、前記カラーの撮像素子と前記モノクロの撮像素子とは解像度が同じであり、前記カラーの撮像素子について、その画素のうちの画像データが出力されない色の画素についてはその近傍の画素から出力される画像データを用いて補間を行うことにより、全ての画素について各色の画像データを得て、同じ画素についての各色の画像データのデータ値を所定の割合で加算することにより、各画素の輝度を示す画像データを得るようにし、前記モノクロの撮像素子については全ての画素について各画素から出力される画像データから輝度を示す画像データを得るように構成されている。
【０００９】
請求項２および６の発明に係る装置では、カラーの撮像素子は、カラーフィルタを有した単板式の撮像素子である。
【００１０】
請求項３および７の発明に係る装置では、前記カラーの撮像素子は、カラーフィルタを有した多板式の撮像素子である。
【００１１】
請求項４および８の発明に係る装置は、前記２次元画像に基づいて前記被写体の３次元データを算出する算出部を有してなる。
【００１２】
請求項５の発明に係る装置は、被写体の２次元画像を互いに異なる複数の視点位置から入力する複数の画像入力部を有してなる多眼式データ入力装置であって、前記複数の画像入力部のうちの１つの画像入力部には、カラーの２次元画像を取得することのできる撮像素子が設けられ、他の画像入力部には、モノクロの２次元画像を取得する撮像素子が設けられ、前記カラーの撮像素子は、前記モノクロの撮像素子よりも高解像度である。
【００１８】
【発明の実施の形態】
〔第１の実施形態〕
図１は本発明の第１の実施形態を示す多眼入力カメラ５の斜視図、図２は多眼入力カメラ５を含んだ３次元データ生成装置１の構成の例を示す図、図３は多眼入力カメラ５を用いて被写体Ｑを撮影する際の様子を概念的に示す図である。
【００１９】
図１に示すように、多眼入力カメラ５には、カメラ本体１１、撮影レンズ１２ａ，１３ａをそれぞれ有する画像入力部１２，１３、テクスチャ投影部１６、及びシャッター１５５などが設けられている。なお、図１には示されていないが、多眼入力カメラ５の内部には処理回路１５が内蔵されている。
【００２０】
図２に示すように、３次元データ生成装置１は、情報処理装置４及び多眼入力カメラ５からなる。情報処理装置４は、処理装置２１、表示面ＨＧを有した表示装置２２、キーボード及びマウスを始めとする入力装置２３などからなる。処理装置２１には、ＣＰＵ、ＲＡＭ、ＲＯＭ、その他の周辺素子、インタフェース装置、ハードディスク装置、フロッピィディスク装置、ＣＤ−ＲＯＭ装置、モデム、及びその他の機器が内蔵されている。このような情報処理装置４として、適当なプログラムをインストールしたパーソナルコンピュータなどを用いることができる。
【００２１】
多眼入力カメラ５には、図２に示すように、撮影した２次元画像ＱＬ，ＱＲを表示するための、液晶パネルなどからなる表示装置１２ｃ，１３ｃがそれぞれ設けられている。
【００２２】
多眼入力カメラ５と情報処理装置４との間では、データ転送を行うことができる。また、多眼入力カメラ５から入力された２次元画像を情報処理装置４において表示することも可能である。情報処理装置４は、多眼入力カメラ５から入力された２次元画像に基づいて、３次元データを生成し、生成した３次元データを表示面ＨＧに表示することができる。
【００２３】
図３に示すように、被写体Ｑは、その背景ＱＫとともに２つの撮影レンズ１２ａ，１３ａによって視差を有して取り込まれ、それぞれの表示装置１２ｃ，１３ｃに、２次元画像ＱＬ，ＱＲとして表示されている。これらの２次元画像ＱＬ，ＱＲに基づいて、３次元データの生成の前処理として、対応点の探索を行う。つまり、２つの２次元画像ＱＬ，ＱＲのうちの１つを基準画像とし、基準画像における被写体Ｑを示す領域内の全ての座標点について、他の２次元画像においてそれらに対応する対応点を求める。対応点に基づいて、ステレオ視の原理によって３次元データを演算により求める。なお、本明細書において、対応点を探索すること、又はそのための処理を、「対応点探索」ということがある。
【００２４】
図４は対応点探索の概念を説明するための図である。
図４において、被写体Ｑの画像は、画像入力部１２，１３に設けられた撮像素子１２ｂ，１３ｂの撮像面上に結像している。左方の撮像素子１２ｂに結像する２次元画像ＱＬを基準画像とする。なお、撮像素子１２ｂ，１３ｂで得られる２次元画像ＱＬ，ＱＲは、表示装置１２ｃ，１３ｃに表示される２次元画像ＱＬ，ＱＲと同じである。対応点探索は、次のようにして行われる。
【００２５】
すなわち、対応点探索は、被写体Ｑ上の任意の点を注視点Ａとした場合に、基準画像を撮像する撮像素子１２ｂの撮像面上における注視点Ａを示す点Ｌ１が、他の撮像素子１３ｃの撮像面上において如何なる座標の点に対応しているかを求める作業である。対応点探索において、２次元画像ＱＬ，ＱＲの輝度を用い、また勾配法又は相関法などの従来公知の方法を用いることができる。これらの方法を用いることにより、図４においては、撮像素子１２ｂの撮像面上の点Ｌ１は、撮像素子１３ｃの撮像面上のＲ１に対応していることが分かる。被写体Ｑ上の全ての点について、このような対応点探索を行うことにより、全ての点について３次元座標上での位置が分かり、被写体Ｑの３次元形状を求めることができる。
【００２６】
対応点探索を行いやすい被写体としては、隣り合う画素同士で輝度差があるものが良い。また、単色のものよりはテクスチャ（模様柄）のあるものが良い。テクスチャがない場合には、平らなものよりも湾曲やエッジの効いているものが良い。但し、湾曲やエッジがある場合に、その程度によってはオクルージョン（死角）が生じるという問題がある。
【００２７】
つまり、被写体Ｑが奥行き方向に深い場合には、多眼入力カメラ５の２つの画像入力部１２，１３の光軸間の距離である基線長、レンズの焦点距離、及び撮像素子１２ｂ，１３ｂの画素のサイズなどに応じて、各画像間で見える部分と見えない部分が出てくる可能性がある。特に、対応点探索に勾配法を用いる場合は、段差が問題となる。したがって、程度の問題はあるが、表面に輝度差があり、なだらかな傾斜を示す被写体が対応点の求めやすい被写体であるということとなる。
【００２８】
さて、３次元データを生成した後において、３次元データに対するカラーマッピングが行われる。つまり、３次元データにカラーの２次元画像を貼り付けてカラー表示を行う。そのために、カラーの２次元画像を取得することのできる撮像素子が備えられる。
【００２９】
図５は多眼入力カメラ５の構成を示すブロック図、図６は撮像素子１２ｂ，１３ｂの画素構成の例を示す図、図７は単板式カラーＣＣＤの各色の画素を抜き出して示す図である。
【００３０】
図５において、多眼入力カメラ５は、上にも述べたように、画像入力部１２，１３及び処理回路１５などからなる。画像入力部１２，１３には、撮影レンズ１２ａ，１３ａ及び撮像素子１２ｂ，１３ｂが設けられる。
【００３１】
撮像素子１２ｂとして、単板式カラーＣＣＤが用いられる。撮像素子１２ｂにより得られる２次元画像は、対応点探索用及びカラーマッピング用の両方に用いられる。撮像素子１３ｂとして、モノクロＣＣＤが用いられる。撮像素子１３ｂにより得られる２次元画像は、対応点探索用としてのみ用いられる。
【００３２】
処理回路１５は、ＣＰＵ１５１、及びメモリ１５２，１５３などからなる。なお、図示は省略したが、上に述べたシャッター１５５、多眼入力カメラ５の通常の操作のための種々のボタン、その他の機器も備えられている。
【００３３】
撮像素子１２ｂ，１３ｂから出力される画像データは、メモリ１５２，１５３に一旦格納される。メモリ１５２，１５３に格納された画像データは、ＣＰＵ１５１によって読み出され、必要な処理が施される。ＣＰＵ１５１の処理として、３次元データを生成する処理を行うことも可能である。また、メモリ１５２，１５３に格納された画像データ、又はＣＰＵ１５１によって処理された画像データは、外部に出力することが可能である。
【００３４】
図６（ａ）に示すように、単板式カラーＣＣＤからなる撮像素子１２ｂは、１枚のＣＣＤ面上に、Ｒ（レッド），Ｇ（グリーン），Ｂ（ブルー）の各色の画素が割り当てられている。したがって、全ての画素についてＲ，Ｇ，Ｂの各色の画像データが得られるのではなく、１つの画素からは１色のみの画像データが得られる。
【００３５】
他方、図６（ｂ）に示すように、モノクロＣＣＤからなる撮像素子１３ｂは、撮像素子１２ｂと解像度が同じであり、全ての画素から輝度を示す画像データが得られる。
【００３６】
なお、これまでの記述で理解できるように、本明細書における撮像素子の「画素」は、撮像素子の１つのセルを指す。また、撮像素子についての「解像度」は、撮像素子のセルの個数によって決まる値である。
【００３７】
図７（ａ）（ｂ）（ｃ）には、撮像素子１２ｂのＲについての配置がＲ画素面１２ｂＲとして、Ｇについての配置がＧ画素面１２ｂＧとして、Ｂについての配置がＢ画素面１２ｂＢとして、それぞれ示されている。
【００３８】
これらの図から分かるように、各色について見ると、画像データのない画素がそれぞれ存在する。したがって、各色について、画像データのない画素については、補完により作成する必要がある。
【００３９】
例えば、Ｇ画素面１２ｂＧについて見ると、Ｇ（０，０）はそのままのデータ値を用いることができる。しかし、Ｇ（１，０）は画像データがないので、その近傍であるＧ（０，０）、Ｇ（２，０）、及びＧ（１，１）の各画像データを用いて補間する必要がある。すなわち、
Ｇ（１，０）＝〔Ｇ（０，０）＋Ｇ（２，０）＋Ｇ（１，１）〕／３
として求める。また、Ｇ（２，１）については、
Ｇ（２，１）＝〔Ｇ（２，０）＋Ｇ（１，１）＋Ｇ（１，３）＋Ｇ（２，２）〕／４
として求める。このように、画像データのない画素については、近傍の画素の画像データを用いて補間によりデータ値を求める。
【００４０】
Ｒ画素面１２ｂＲ及びＢ画素面１２ｂＢについても、画像データのない画素については同様の処理を行ってデータ値を求める。これにより、全ての画素のついて、Ｒ，Ｇ，Ｂの各色の画像データが得られる。
【００４１】
そして、得られた画像データに基づいて、各画素の輝度及び色情報が求められる。各画素の輝度を得るには、同じ画素についての、Ｒ、Ｇ、Ｂの各色のデータ値を所定の割合で加算する。つまり、画素の座標をｉ，ｊとすると、その画素の輝度値Ｙi,j は、次の（１）式、
Ｙi,j ＝Ａ１・Ｒi,j ＋Ｂ１・Ｇi,j ＋Ｃ１・Ｂi,j   ……（１）
で示される。Ａ１、Ｂ１、Ｃ１はそれぞれ係数であり、例えば、Ａ１＝０．２９９０、Ｂ１＝０．５８７０、Ｃ１＝０．１１４０である。
【００４２】
このようにして撮像素子１２ｂから得られた各画素の輝度値と、撮像素子１３ｂから得られた各画素の輝度値とに基づいて、対応点探索が行われる。カラーマッピング用には、撮像素子１２ｂから得られる画像データがそのまま用いられる。このように、１つの撮像素子１２ｂによって、対応点探索のための２次元画像とカラーマッピングのための２次元画像とが同時に得られる。
【００４３】
但し、このような補間による方法では、全ての画素についての正確な輝度を求めることはできない。その結果、モノクロ画像により、対応点探索を行った場合に比べると、本来対応すべき画素との対応がとれないことがあり、精度面で落ちる場合がある。
【００４４】
しかし、３次元形状を再構成する際のアルゴリズムによる最適化処理によって視覚的な補正を行い、ほぼ正確な３次元形状の形成を実現することが可能である。
【００４５】
上の実施形態によると、簡単な構成によって３次元データの生成が可能である。対応点探索用とカラーマッピング用の撮像素子を１つの撮像素子１２ｂで兼ねるので、構成が簡易であるとともに、２次元画像と３次元データとの対応関係が既知となり、カラーマッピングの際の位置合わせが容易である。また、３次元データの再構成の際に必要な画像入力部１２，１３間の位置関係を求めるキャリブレーションについても、撮像素子の個数が少ない分だけその手間を軽減することができる。
〔第２の実施形態〕
図８は本発明の第２の実施形態による撮像素子１２Ｂｂ，１３Ｂｂの画素構成の例を示す図である。
【００４６】
第２の実施形態において、多眼入力カメラ５Ｂ及び３次元データ生成装置１の構成は、基本的には第１の実施形態と同一である。多眼入力カメラ５Ｂの相違点は次のとおりである。
【００４７】
すなわち、第１の実施形態では、撮像素子１２ｂ，１３ｂは、一方がカラーＣＣＤであり他方がモノクロＣＣＤであるという違いはあるものの、解像度は同じである。これに対して、第２の実施形態においては、カラーＣＣＤである一方の撮像素子１２Ｂｂの解像度が、モノクロＣＣＤである他方の撮像素子１３Ｂｂの解像度よりも高い。具体的には、撮像素子１２Ｂｂの解像度は撮像素子１３Ｂｂの解像度の４倍である。しかし、他の適当な倍数の解像度のものを用いることが可能である。
【００４８】
図８に示すように、モノクロＣＣＤの撮像素子１３Ｂｂの１つの画素は、カラーＣＣＤの撮像素子１２Ｂｂの４つの画素に対応する。したがって、カラーＣＣＤの４つの画素、つまり、Ｒ，Ｇ，Ｇ，Ｂの各色の画像データから、補間を行うことなく、モノクロＣＣＤの１つの画素の輝度値に対応する輝度値を正確に求めることができる。これにより、第１の実施形態の場合と比較して、対応点探索をより一層正確に行うことができ、信頼性の高い３次元形状を再構成することができる。
【００４９】
なお、モノクロＣＣＤの１つの画素の輝度値に対応するカラーＣＣＤの輝度値を求める方法として、第１の実施形態で示したように、カラーＣＣＤの各画素毎の輝度値を求め、４つの画素の輝度値を所定の割合で加算してもよい。この場合でも、補間を行う必要がないので、輝度値を正確に求めることができ、対応点探索をより一層正確に行うことができる。
【００５０】
ここで、カラーマッピングの方法について説明する。
図９は３次元データ生成装置１によって再構成された３次元形状ＱＦ１の例を示す図、図１０及び図１１は３次元形状ＱＦを形成するポリゴンＰＧと各点に対応するカラーマッピング用の２次元画像（以下、「マッピング画像ＱＭ」ということがある）との関係を示す図である。なお、図１０はマッピング画像ＱＭ２が低解像度である場合を、図１１はマッピング画像ＱＭ３が高解像度である本実施形態の場合を、それぞれ示す。
【００５１】
図９において、黒丸で示す各点１，２，３…は、３次元形状ＱＦ１を構成する点、つまり各点の３次元データである。いずれか３つの点によって、ポリゴンＰＧがそれぞれ形成される。
【００５２】
さて、３次元形状ＱＦの各点は、撮像素子１２Ｂｂ，１３Ｂｂに入力される２つの２次元画像の対応に基づいて求められるが、その際に用いた点の色情報を用いることにより、３次元形状ＱＦの各ポリゴンＰＧに対するカラーマッピングを行うことができる。
【００５３】
図１０において、３次元形状ＱＦ２のポリゴンＰＧ２に対するカラーマッピングについて説明する。ポリゴンＰＧ２を形成する各点「１」「２」「３」は、マッピング画像ＱＭ２の画像「４」「５」「６」にそれぞれ対応する。したがって、ポリゴンＰＧ２には、図に示すようにそれら３つの画像が貼り付けられる。
【００５４】
図１１において、３次元形状ＱＦ３のポリゴンＰＧ３に対するカラーマッピングについて説明する。ポリゴンＰＧ３を形成する各点「１」「２」「３」は、マッピング画像ＱＭ３の画像「４」「５」「６」にそれぞれ対応する。これらの画像は、それぞれ４つの画素からなり、したがって画像の解像度が高い。ポリゴンＰＧ３には、図に示すようにそれら３つの画像が貼り付けられるが、各画像の解像度が高いので、ポリゴンＰＧ３にカラーマッピングされた画像の解像度は、図１０の場合よりも高くなっていることが分かる。
【００５５】
つまり、本実施形態のように、カラーＣＣＤの解像度をモノクロＣＣＤの解像度よりも高くすることによって、解像度の高いマッピング画像ＱＭを得ることができ、これによって、３次元形状ＱＦに高解像度の画像をマッピングすることができる。したがって、カラーマッピングされた３次元形状ＱＦの視覚効果が高い。例えば、３次元形状ＱＦの精度が悪い場合、又は３次元形状ＱＦに欠陥がある場合であっても、高解像度のマッピング画像ＱＭによって視覚的には良好なものとすることが可能である。
〔第３の実施形態〕
図１２は本発明の第３の実施形態による画像入力部１２Ｃの構成を示す図、図１３は画像入力部１３Ｃの構成を示す図である。
【００５６】
第３の実施形態において、多眼入力カメラ５Ｃ及び３次元データ生成装置１の構成は、基本的には第１の実施形態と同一である。多眼入力カメラ５Ｃの相違点は次のとおりである。
【００５７】
すなわち、第１の実施形態では、撮像素子１２ｂとして単板式カラーＣＣＤが用いられているが、第３の実施形態においては、撮像素子１２Ｃｂとして、図１２に示すような多板式カラーＣＣＤが用いられる。
【００５８】
図１２において、画像入力部１２Ｃは、撮影レンズ１２Ｃａ、プリズム１２１、Ｒ成分を反射するフィルタ１２２、Ｇ成分のみを反射するフィルタ１２３、及び、Ｒ，Ｇ，Ｂの各色用の撮像素子１２ＣｂＲ，１２ＣｂＧ，１２ＣｂＢを備える。
【００５９】
撮影レンズ１２Ｃａを通過してプリズム１２１に入射した光ＬＬは、まず、フィルタ１２２により光路が分けられる。光ＬＬのＲ成分は、プリズム１２１で反射し、撮像素子１２ＣｂＲにより受光される。Ｇ成分は、フィルタ１２２を透過し且つフィルタ１２３で反射し、撮像素子１２ＣｂＧにより受光される。Ｂ成分は、フィルタ１２２及び１２３を透過し、撮像素子１２ＣｂＢにより受光される。
【００６０】
図１３において、画像入力部１３Ｃは、撮影レンズ１３Ｃａ、モノクロＣＣＤである撮像素子１３Ｃｂを備える。なお、画像入力部１３Ｃの構成は、第１及び第２の実施形態の画像入力部１３、１３Ｂの構成と同一である。
【００６１】
各撮像素子１２ＣｂＲ，１２ＣｂＧ，１２ＣｂＢの解像度と、撮像素子１３Ｃｂの解像度とは同じである。つまり、各カラーＣＣＤにおけるＲ，Ｇ，Ｂの各色成分の１つの画素は、モノクロＣＣＤの１つの画素と同じ大きさである。
【００６２】
したがって、画像入力部１２Ｃにおいて、各画素の輝度は、撮像素子１２ＣｂＲ，１２ＣｂＧ，１２ＣｂＢの各画素のＲ，Ｇ，Ｂの画像データから上の（１）式により求めることができる。つまり、補間を行うことなく、モノクロＣＣＤの１つの画素の輝度値に対応する輝度値を正確に求めることができる。これにより、対応点探索をより一層正確に行うことができ、信頼性の高い３次元形状を再構成することができる。また、画像入力部１２Ｃにより得られるマッピング画像ＱＭについても、その色情報が補間によることなく完全な色情報を求めることができ、視覚的効果が良好である。
〔第４の実施形態〕
図１４は本発明の第４の実施形態による撮像素子１２Ｄｂ，１３Ｄｂの画素構成の例を示す図である。
【００６３】
第４の実施形態において、多眼入力カメラ５Ｄ及び３次元データ生成装置１の構成は、基本的には第１及び第３の実施形態と同一である。多眼入力カメラ５Ｄの第３の実施形態との相違点は次のとおりである。
【００６４】
すなわち、第３の実施形態では、カラーＣＣＤとモノクロＣＣＤとは解像度が同じである。これに対して、第４の実施形態においては、カラーＣＣＤである撮像素子１２ＤｂＲ，１２ＤｂＧ，１２ＤｂＢの解像度は、モノクロＣＣＤである撮像素子１３Ｄｂの解像度よりも高い。
【００６５】
図１４に示すように、モノクロＣＣＤである撮像素子１３Ｄｂの１画素が、カラーＣＣＤである撮像素子１２ＤｂＲ，１２ＤｂＧ，１２ＤｂＢの複数の画素領域（本実施形態においては４画素の領域）にまたがっている。したがって、モノクロＣＣＤの１画素に対応するカラーＣＣＤによる輝度値は、複数個の画素の平均値などにより正確に求めることができる。
【００６６】
そして、撮像素子１２ＤｂＲ，１２ＤｂＧ，１２ＤｂＢによって、解像度の高いマッピング画像ＱＭを得ることができ、これによって高解像度の画像をマッピングすることができる。
〔第５の実施形態〕
図１５は本発明の第５の実施形態による多眼入力カメラ５Ｅの構成を示すブロック図である。
【００６７】
図１５において、多眼入力カメラ５Ｅは、画像入力部１２Ｅ，１３Ｅ及び処理回路１５Ｅなどからなる。画像入力部１２Ｅには、撮影レンズ１２Ｅａ、フィルタ１２５、及び、２つの撮像素子１２ＥｂＣ，１２ＥｂＫが設けられる。画像入力部１３Ｅには、撮影レンズ１３Ｅａ、モノクロＣＣＤである撮像素子１３Ｅｂが設けられる。画像入力部１３Ｅの構成は、第１乃至第４の実施形態の画像入力部１３〜１３Ｄの構成と同一である。
【００６８】
撮像素子１２ＥｂＣとして、図６（ａ）に示す撮像素子１２ｂと同じ単板式カラーＣＣＤが用いられる。したがって、撮像素子１２ＥｂＣは、モノクロＣＣＤである撮像素子１２ＥｂＫ，１３Ｅｂと解像度が同じであって、１枚のＣＣＤ面上に、Ｒ，Ｇ，Ｂの各色の画素が割り当てられており、１つの画素からは１色のみの画像データが得られる。撮像素子１２ＥｂＫ，１３Ｅｂとして、図６（ｂ）に示す撮像素子１３ｂと同じモノクロＣＣＤが用いられる。
【００６９】
フィルタ１２５は、撮影レンズ１２Ｅａに入射した光を２つの光路に分け、カラーＣＣＤである撮像素子１２ＥｂＣ及びモノクロＣＣＤである撮像素子１２ＥｂＫに導く。撮像素子１２ＥｂＣにより得られる２次元画像はカラーマッピング用に用いられ、撮像素子１２ＥｂＫにより得られる２次元画像は対応点探索用として用いられる。また、撮像素子１３Ｅｂにより得られる２次元画像は対応点探索用として用いられる。
【００７０】
つまり、対応点探索用として、モノクロＣＣＤである撮像素子１２ＥｂＫ，１３Ｅｂが用いられ、これとは別に、カラーマッピング用として単板式カラーＣＣＤである撮像素子１２ＥｂＣが用いられる。
【００７１】
処理回路１５Ｅには、各撮像素子１２ＥｂＣ，１２ＥｂＫ，１３Ｅｂから出力される画像データをそれぞれ格納するためのメモリ１５２Ｃ，１５２Ｋ，１５３が設けられる。ＣＰＵ１５１は、これらメモリ１５２Ｃ，１５２Ｋ，１５３に格納された画像データなどを処理し、対応点探索、３次元形状ＱＦの生成、カラーマッピングなどのための処理を行う。
【００７２】
本実施形態においては、モノクロＣＣＤからなって解像度が同じである２つの撮像素子１２ＥｂＫ，１３Ｅｂにより得られた２次元画像によって対応点探索が行われるので、信頼性の高い理想的な対応点探索が行われ、３次元形状ＱＦを正確に再構成することができる。
〔第６の実施形態〕
第６の実施形態において、多眼入力カメラ５Ｆ及び３次元データ生成装置１の構成は、基本的には第５の実施形態と同一である。多眼入力カメラ５Ｆの相違点は次のとおりである。
【００７３】
すなわち、第５の実施形態では、カラーＣＣＤの解像度とモノクロＣＣＤの解像度とは同じであるが、第６の実施形態においては、カラーＣＣＤの解像度が、モノクロＣＣＤの解像度よりも高い。具体的には、例えば、図８に示すカラーＣＣＤである撮像素子１２ＢｂとモノクロＣＣＤである撮像素子１３Ｂｂとの関係である。
【００７４】
つまり、第６の実施形態の多眼入力カメラ５Ｆは、第５の実施形態の多眼入力カメラ５Ｅの特徴と第２の実施形態の多眼入力カメラ５Ｂの特徴とを組み合わせたものということができる。
【００７５】
したがって、第６の実施形態によると、解像度の高いマッピング画像ＱＭを得ることができ、３次元形状ＱＦに高解像度の画像をマッピングすることができる。したがって、カラーマッピングされた３次元形状ＱＦの視覚効果が高くなるという効果を奏する。
〔第７の実施形態〕
第７の実施形態において、多眼入力カメラ５Ｇ及び３次元データ生成装置１の構成は、基本的には第５の実施形態と同一である。多眼入力カメラ５Ｇの相違点は次のとおりである。
【００７６】
すなわち、第５の実施形態では、単板式カラーＣＣＤが用いられているが、第６の実施形態においては、図１２に示すような多板式カラーＣＣＤが用いられる。
【００７７】
つまり、第７の実施形態の多眼入力カメラ５Ｇは、第５の実施形態の多眼入力カメラ５Ｅの特徴と第３の実施形態の多眼入力カメラ５Ｃの特徴とを組み合わせたものということができる。
【００７８】
したがって、第７の実施形態によると、補間を行うことなく、モノクロＣＣＤの１つの画素の輝度値に対応する輝度値を正確に求めることができ、これによって、対応点探索をより一層正確に行うことができ、信頼性の高い３次元形状を再構成することができる。
〔第８の実施形態〕
第８の実施形態において、多眼入力カメラ５Ｈ及び３次元データ生成装置１の構成は、基本的には第７の実施形態と同一である。多眼入力カメラ５Ｈの相違点は次のとおりである。
【００７９】
すなわち、第７の実施形態では、多板式カラーＣＣＤとモノクロＣＣＤとは解像度が同じである。これに対して、第８の実施形態においては、多板式カラーＣＣＤの解像度は、モノクロＣＣＤの解像度よりも高い。
【００８０】
つまり、第８の実施形態の多眼入力カメラ５Ｈは、第７の実施形態の多眼入力カメラ５Ｇの特徴と第４の実施形態の多眼入力カメラ５Ｄの特徴とを組み合わせたものということができる。
【００８１】
したがって、第８の実施形態によると、モノクロＣＣＤの１画素に対応する多板式カラーＣＣＤによる輝度値は、複数個の画素の平均値などにより正確に求めることができる。そして、多板式カラーＣＣＤによって、解像度の高いマッピング画像ＱＭを得ることができ、これによって高解像度の画像をマッピングすることができる。
【００８２】
上に述べた各実施形態によると、複数の画像入力部のうち、１つの画像入力部のみについて、画像品質に関する仕様が他の画像入力部とは異なるように構成することにより、簡単な構成によって、撮影をワンショットで行った後、対応点探索とカラーマッピングとの両方に用いることのできる２次元画像を同時に得ることができる。
【００８３】
以上、８つの実施形態について説明した。それぞれの実施形態による効果について、説明の一部を省略したが、関連する他の実施形態の効果を考えれば明らかである。また、これらの実施形態を種々組み合わせることも可能である。
【００８４】
上に述べた実施形態においては、２次元画像として静止画を入力した場合について説明したが、２次元画像として動画を入力する場合にも同様に適用することが可能である。その他、情報処理装置４、多眼入力カメラ５〜５Ｈ、３次元データ生成装置１の全体又は各部の構成、形状、材質、処理内容及び順序などは、本発明の趣旨に沿って適宜変更することができる。
【００８５】
【発明の効果】
本発明によると、３次元データのための２次元画像及びカラーマッピングのための２次元画像を１回の撮影によって同時に取得することができ、しかも構成の簡単な多眼式データ入力装置を提供することができる。
【００８６】
請求項２および６の発明によると、構成が一層簡単である。
請求項５ないし８の発明によると、解像度の高いマッピング画像を得ることができ、カラーマッピングされた３次元形状の視覚効果を高めることが可能である。
【００８７】
また、対応点探索に必要な輝度値を補間を行うことなく正確に求めることができる。そして、信頼性の高い理想的な対応点探索が行われ、３次元形状を正確に再構成することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態を示す多眼入力カメラの斜視図である。
【図２】多眼入力カメラを含んだ３次元データ生成装置の構成の例を示す図である。
【図３】多眼入力カメラを用いて被写体を撮影する際の様子を概念的に示す図である。
【図４】対応点探索の概念を説明するための図である。
【図５】多眼入力カメラの構成を示すブロック図である。
【図６】撮像素子の画素構成の例を示す図である。
【図７】単板式カラーＣＣＤの各色の画素を抜き出して示す図である。
【図８】本発明の第２の実施形態による撮像素子の画素構成の例を示す図である。
【図９】３次元データ生成装置によって再構成された３次元形状の例を示す図である。
【図１０】ポリゴンと低解像度のマッピング画像との関係を示す図である。
【図１１】ポリゴンと高解像度のマッピング画像との関係を示す図である。
【図１２】本発明の第３の実施形態による画像入力部の構成を示す図である。
【図１３】画像入力部の構成を示す図である。
【図１４】本発明の第４の実施形態による撮像素子の画素構成の例を示す図である。
【図１５】本発明の第５の実施形態による多眼入力カメラの構成を示すブロック図である。
【符号の説明】
１  ３次元データ生成装置
５〜５Ｈ  多眼入力カメラ（多眼式データ入力装置）
１２  画像入力部（１つの画像入力部）
１３  画像入力部（他の画像入力部）
１２ｂ  撮像素子（単板式の撮像素子）
１２Ｂｂ  撮像素子（高解像度の単板式の撮像素子）
１２Ｃｂ  撮像素子（多板式の撮像素子）
１２Ｄｂ  撮像素子（高解像度の多板式の撮像素子）
１２ＥｂＣ  撮像素子（単板式の撮像素子）
１２ＥｂＫ  撮像素子（モノクロの２次元画像を取得する撮像素子）
１３ｂ，１３Ｂｂ，１３Ｃｂ，１３Ｄｂ，１３Ｅｂ，１３Ｆｂ，１３Ｇｂ，１３Ｈｂ  撮像素子（モノクロの２次元画像を取得する撮像素子）
１５１  ＣＰＵ（算出部）
Ｑ  被写体
ＱＬ，ＱＲ  ２次元画像
【図１】
0004193292.tif 000002
【図２】
0004193292.tif 000003
【図３】
0004193292.tif 000004
【図４】
0004193292.tif 000005
【図５】
0004193292.tif 000006
【図６】
0004193292.tif 000007
【図７】
0004193292.tif 000008
【図８】
0004193292.tif 000009
【図９】
0004193292.tif 000010
【図１０】
0004193292.tif 000011
【図１１】
0004193292.tif 000012
【図１２】
0004193292.tif 000013
【図１３】
0004193292.tif 000014
【図１４】
0004193292.tif 000015
【図１５】
0004193292.tif 000016