(57)【要約】  本発明は、立体写真デバイスの分野に関し、より具体的には、その較正に関する。本発明は、さらに、一連の画像補正パラメータを計算する、立体写真デバイスを較正するための方法に関する。前記パラメータは、重要度順に分類される。一次補正パラメータが最初に推定され、それに続いて二次補正パラメータが推定される。有利には、一次パラメータは、二次パラメータの推定値を考慮に入れて洗練される。有利には、実際の較正前に、シーンの関連性の測定が行われる。
2014507907.tif 000002
【特許請求の範囲】
【請求項１】
右側の画像と左側の画像とを取り込むための２つのカメラを有する立体写真デバイスを較正するための較正方法であって、前記デバイスは複数の欠陥を有し、これらの欠陥の各々は取り込まれた前記２つの画像のうちの少なくとも１つに変換を適用することによって補正することができ、前記欠陥は少なくとも２つの序列に階層化され、
所定の一次欠陥の補正パラメータを推定する工程と、
前記一次欠陥より高位の二次欠陥の前記補正パラメータを推定する工程と、
前記一次欠陥の前記補正パラメータを推定する新たな工程であって、前記一次欠陥の前記補正パラメータの新たな推定には、前記二次パラメータの前記推定値が使用される、新たな工程と
を含み、
前記画像の全体的な平行移動オフセット、
水平および垂直台形変形、
回転、
ズーム比
を含む４つの序列が使用されることを特徴とする、較正方法。
【請求項２】
補正するよう選択される前記欠陥は、
前記画像の全体的な平行移動オフセット、
水平および垂直台形変形、
回転、
ズーム比、
バレルまたはピンクッション歪み
から選択されることを特徴とする、請求項１に記載の較正方法。
【請求項３】
シーンの関連性指数を計算する工程をさらに含むことを特徴とする、請求項１に記載の較正方法。
【請求項４】
前記シーンの関連性指数を計算する工程は、
前記右および左の画像のヒストグラムを計算する工程と、
前記左および右の画像の複数のエリア上の視差を計算する工程と、
前記ヒストグラムの拡張および前記右の画像と左の画像の前記エリア間の相関指数に従って前記シーンの詳細指数を計算する工程と、
視差指数が一様に低い程より大きくなる距離指数を計算する工程と、
前記詳細指数および前記距離指数に従って前記関連性指数を形成する工程と
を含むことを特徴とする、請求項３に記載の較正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体写真デバイスの分野に関し、より具体的には、その較正に関する。
【背景技術】
【０００２】
立体写真デバイスは、広く普及していく傾向にあり、現在、手頃な価格で販売することができる。こうした理由から、これらのデバイスは、カムコーダおよびカメラなどの多くの一般大衆向けの装置で見られ、移動電話または携帯ゲーム機などの装置への同デバイスの組み込みが予想され得る。以前は、専門機器専用であったが、現在は、低価のコンポーネントを用いて生産されている。
【０００３】
これらのデバイスの全体構造は、図１によって示される。これらのデバイスは、製品に組み込まれた支持体１．１からなり、支持体１．１は、２つのカメラ１．２および１．３を支える。これらのカメラは、通常、数センチメートル離間され、理想的には、厳密に同一のものでなければならない。また、これらのカメラは、理想的には、その光学軸１．５および１．６が平行でなければならない。これらの条件が満たされると、システムによってシーン１．４の画像を撮影することが可能である。左側の画像はカメラ１．２による撮影から、および、右側の画像はカメラ１．３による撮影から得られる。無限遠と見なされるほど遠くに位置するシーン１．４の対象物は、２つの画像において完全に重ね合わせることが可能である。近方の対象物は視差を受け、その結果、２つの画像間の平行移動における水平オフセットが生じる。この平行移動は、対象物がカメラ間の距離未満でカメラとの距離を維持する間は、対象物がカメラに近づく程、より大きなものとなる。
【０００４】
低コストで大規模に生産された一般大衆向けの製品のこの分野では、品質要件は専門分野よりも少ない。こうした理由で、使用されるカメラは厳密には同一ではなく、２つのカメラの配置にもまた、かなりの許容範囲が設けられる。
【０００５】
それに加えて、関連製品の一般大衆向けの態様は、時間の経過とともに、装置の環境に大きな変化をもたらし、それにより、衝撃や大きな温度変動にさらされることもある。これらの事象は、センサの物理的パラメータおよびセンサの配置に影響を与える。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
これらのすべての現象により、カメラによって撮影される左および右の画像に関する信頼できる立体的な情報が得難いという結果がもたらされる。
【課題を解決するための手段】
【０００７】
本発明は、一連の画像補正パラメータを計算する、立体写真デバイスを較正するための方法を提案することによって上記の問題を解決することを目標とする。これらのパラメータは、重要度順に分類される。一次補正パラメータが最初に推定され、二次補正パラメータが次に推定される。有利には、一次パラメータは、二次パラメータの推定値を考慮に入れて洗練される。有利には、実際の較正前に、シーンの関連性の測定が行われる。
【０００８】
本発明は、右側の画像と左側の画像を取り込むための２つのカメラを有する立体写真デバイスを較正するための方法であって、前記デバイスは複数の欠陥を有し、これらの欠陥の各々は２つの取り込み画像のうちの少なくとも１つに変換を適用することによって補正することができ、前記欠陥は少なくとも２つの序列に階層化され、所定の一次欠陥の補正パラメータを推定する工程と、一次欠陥より高位の二次欠陥の補正パラメータを推定する
工程と、一次欠陥の補正パラメータを推定する新たな工程であって、一次欠陥の補正パラメータの新たな推定には、二次パラメータの推定値が使用される、新たな工程とを含む、方法に関する。
【０００９】
本発明の特定の実施形態によれば、補正するよう選択される欠陥は、画像の全体的な平行移動オフセット、水平および垂直台形変形、回転、ズーム比、および、バレルまたはピンクッション歪みから選択される。
【００１０】
本発明の特定の実施形態によれば、一次欠陥は画像の全体的な平行移動オフセットからなり、二次欠陥は水平および垂直台形変形からなり、三次欠陥は回転からなり、四次欠陥はズーム比からなる。
【００１１】
本発明の特定の実施形態によれば、本方法は、シーンの関連性指数を計算する工程をさらに含む。
【００１２】
本発明の特定の実施形態によれば、シーンの関連性指数の計算は、右および左の画像のヒストグラムを計算する工程と、左および右の画像の複数のエリア上の視差を計算する工程と、ヒストグラムの拡張および右の画像と左の画像のエリア間の相関指数に従ってシーンの詳細指数を計算する工程と、視差指数が一様に低い程より大きくなる距離指数を計算する工程と、詳細指数および距離指数に従って関連性指数を形成する工程とを含む。
【００１３】
上述の本発明の特徴および他の特徴は、添付の図面に関連して与えられている以下の例示的な実施形態の説明から、より明らかになるであろう。
【図面の簡単な説明】
【００１４】
【図１】立体写真デバイスの全体構造を示す。
【図２】本発明の一実施形態による、較正方法のフローチャートを示す。
【図３】本発明の一実施形態による、シーンの関連性を測定する工程のフローチャートを示す。
【図４】関連性測定の一実施形態で使用された画像の分割を示す。
【図５】関連性測定の一実施形態で使用された迅速な相関計算方法を示す。
【発明を実施するための形態】
【００１５】
実際の立体写真システムは、取り込み画像に対して程度の差はあるが非常に重要な結果をもたらす一定数の物理的不完全性が発生し易い。支持体上へのカメラの物理的配置は、決して完全に位置合わせされることはなく、これは、光学軸が完全に平行ではないことを意味する。したがって、立体視法の使用を可能にするには、これらの物理的不完全性による影響を補正することが重要である。
【００１６】
本発明は、補正すべきさまざまな影響すべてが立体視法に対して同じ影響力を有するわけではないという事実に基づく。影響によっては、他の影響より重要なものもある。したがって、理想的なシステムで得られるであろう画像と比較して、取り込み画像で見出されたさまざまな歪みにおいて、いくつかの序列が区別される。一次、二次、三次および四次歪みがその例である。
【００１７】
カメラ製造過程に応じて、各歪みの振幅ひいては桁数ひいては補正順が異なり得ることに留意されたい。したがって、有利には、その時々の補正要件に従って、この補正順を変更することが可能である。歪みによっては、一部のカメラでは見られないものもあり、それらの補正を回避することは有利には可能である。他の歪みは当然ながら「可換」であり、回転およびズームの推定および補正は、独立して、すなわち、いかなる順番でも行うこ
とができる。
【００１８】
したがって、較正方法は、欠陥のない写真システムで得られるであろう画像で達成できるものにできる限り近い画像を得るために取り込み画像に適用しなければならない補正パラメータを推定する工程からなる。
【００１９】
そうするためには、取り込まれるシーンは、良質の特性を有するものでなければならない。まずは、シーンは、右の画像と左の画像を重ね合わせられるほど十分に遠方になければならない。遠方の対象物のポイントは２つの画像において重ね合わされることが分かっている。写真システムのいかなる欠陥もこの重ね合わせに歪みを与え、これは、回復することが求められることになる。また、シーンは、詳細レベルを提案し、画像のエリア探索を可能にしなければならない。一様な色および輝度のエリアは、補正が求められる歪みの測定を可能にすることはない。また、シーンは、その視差が測定を妨げる近方の対象物がないものでなければならない。
【００２０】
一次欠陥は、画像の全体的な平行移動オフセットからなる。それは、光学軸が完全に平行ではないため、左側のカメラ１．２によって取り込まれたシーン部分は、右側のカメラ１．３によって取り込まれたシーン部分と正確には一致しないという事実による。したがって、２つの画像をリセットするための水平平行移動パラメータΔＸおよび垂直平行移動パラメータΔＹを決定することが求められる。この決定は、工程２．１の間に、画像が相関するオフセットを計算する工程からなる。そうするためには、例示的な実施形態は、一連の平行移動値に対して、右側の画像と左側の画像との間の相関係数を計算する。例えば、画像の各ポイントにおける輝度の差の絶対値の和が計算される。この和が最小の平行移動値から、一次パラメータの第１の推定値が得られる。
【００２１】
二次欠陥は、２つのカメラの光学軸の非平行性によって引き起こされる透視変形に起因する水平および垂直台形変形からなる。この変形は、水平台形に対する画像の左縁と右縁との比率や、垂直台形に対する上縁と下縁との比率と異なる比率をもたらす。これらのパラメータは、工程２．２の間に、テストされたさまざまな台形値の相関係数を計算することによって推定される。有利には、台形はカメラの光学軸の平行性の欠如が原因で生じる透視効果に起因し、この欠陥は関連平行移動オフセットを引き起こすため、平行移動オフセットの一次補正と台形に関連する二次補正は、これらのパラメータを推定するために関連付けられる。次いで、画像間で相関が最大のこれらのパラメータの値を推定することを目標とするテストの間、平行移動および関連台形効果が画像に適用される。
【００２２】
三次は、他方のカメラに対する一方のカメラの光学軸まわりの回転の可能性を考慮したものである。この回転は、２つの画像のうちの他方の画像に対する一方の画像の、カメラの光学軸上に位置する画像の中心まわりの回転を引き起こす。工程２．３の間、この回転度は、この回転度のさまざまな値に対する回転係数を計算することによって推定され、最高の相関が得られる値が取り入れられる。
【００２３】
四次は、２つのカメラの間の視野角の差に関する。この差は、２つの画像間のズーム比をもたらす。工程２．４の間、このズーム比の値は、相関によって推定される。
【００２４】
有利には、五次について考えることができる。五次は、カメラレンズの光学歪みによる影響に関連する。場合により、各カメラは、バレルまたはピンクッション歪みを引き起こし得る。これらの歪みは、凹面または凸面に投影されているかのように画像を示す。工程２．５の間、これらの歪みは、相関によって推定される。
【００２５】
歪みは、例えば、ｆ（Ｒ）＝Ｒ＋ａＲ３の形式の一次近似によって、推定し、補正する
ことができ、式中、Ｒは、各ピクセルと先験的に画像の中心に位置する光学中心との間の距離または半径であり、ｆ（Ｒ）は、歪みの補正後のこの同じピクセルの新しい位置である。完璧なレンズの場合は０に等しい補正係数ａの符号は、変形がピンクッションであるかバレルであるかを決定する。
【００２６】
比較すると、できる限りうまく他方に対応するように一方を「変形する」ことによって、２つのカメラ間の歪みの差を推定することが可能である。
【００２７】
重要なことは、立体視法における実際の視覚的不快感を招く左のカメラと右のカメラとの差の最小化より、カメラの絶対変形の補正の方が少ないことである。
【００２８】
高次の影響が事前に補正されていない場合は、所定の序列の影響の補正を求めることは非現実的である。所定の序列の影響の補正は、高次の影響の推定に影響を及ぼすことも見出されている。これらのパラメータの推定を改良するため、以下のアルゴリズムが取り入れられる。工程２．１において、一次パラメータの推定が行われ、次いで、工程２．２において、推定された一次パラメータを使用して補正された画像に二次パラメータの推定値が伝えられる。次いで、二次パラメータの第１の推定値が得られる。次いで、二次パラメータを用いて画像に補正を適用することによって、一次パラメータの推定値が洗練される。次に、一次パラメータに対して得られた新しい値を用いて、二次パラメータの推定値が洗練される。有利には、このループは、パラメータの推定値の収束が得られるまで継続される。次に、これらのパラメータは、三次パラメータを推定するためなどに使用される。この実施形態によれば、所定の序列のパラメータの推定値を使用して、高次パラメータの新たな推定を行う。
【００２９】
補正するように選択された実際の欠陥およびこれらの欠陥が補正される順番は、システムに応じて異なり得ることが理解されよう。引用された欠陥および引用された順番は、本発明の実施形態の単なる一例を表す。
【００３０】
このように、写真デバイスが理想的な場合に得られるであろう画像に近づけることによって、得られた画像の補正を可能にする一連のパラメータが得られる。次いで、これらの補正パラメータは、写真の即座の補正に直接使用することも、後続の補正用に画像に取り付けることもできる。これらの補正パラメータは、写真タイプのシングルショットでも、映像タイプの応用における一連のショットでも使用可能である。
【００３１】
この較正方法の有効性は、これらのパラメータを推定するために使用された写真に対して選択されたシーンに部分的に依存することが分かっている。このシーンは、十分に遠方にあり、信頼できる相関を可能にする詳細レベルを含み、その視差が相関演算を妨げる近方の対象物を含まないものでなければならない。この較正方法は、装置の寿命を通じて要求に応じて実装することができるため、これらの制約に不慣れなユーザによる使用が可能である。このユーザによる較正方法の実装のための関連シーンの選択を支援するため、この方法に、シーンの関連性指数を測定する工程が追加される。有利には、この測定工程の結果は、関連性指数の形で装置のスクリーン上に表示される。この指数は、関連性マークとしてまたはグラフ形式で表示することができる。例えば、その長さが関連性指数に比例する関連性バーを装置のスクリーン上に表示することができる。有利には、このバーの色は、この関連性指数に対するゾーンを決定する際に役立ち得、例えば、指数が高品質の較正に十分な場合は緑色のバーであり、指数が最良の較正の保証には不十分であるが使用可能な場合はオレンジ色であり、指数が使用不可能な場合は赤色である。
【００３２】
図３のフローチャートは、本発明の例示的な実施形態による、関連性指数を計算するための方法を示す。第１の工程３．１は、右および左の画像のヒストグラムの計算からなる
。このヒストグラムの拡張からは、シーンの詳細レベルに関連して第１の指数が得られる。過度に一様なシーンからは、密接したヒストグラムが得られ、十分に拡張されたヒストグラムは、シーンがさまざまな色や輝度を有し、先験的に良好な相関が得られることを示す。
【００３３】
第２の工程は、取り込み画像からシーン上の視差のグリッドを測定する工程からなる。そうするためには、画像は、複数のエリアに分割される。この分割は、いかなるタイプのものでもあり得る。本発明の例示的な実施形態によれば、分割は、図４に示されるもののようなグリッドに従って行われる。ここでは、画像４．１は、同じサイズの９つのエリア４．２に分割される。
【００３４】
必要なコンピューティング時間を最小限に抑えるため、図５によって示される方法に従って、各エリアに対して視差指数が計算される。この実施形態によれば、エリア５．２は、列５．３の和などの演算によって、単線５．４に縮小される。したがって、得られた線は、他の画像の同等な線の相関によって比較される。相関は、例えば、差の絶対値を加えることによって行われる。この和からは、相関指数が得られる。これらの相関指数の最小値を与える平行移動は、視差指数と見なされる。
【００３５】
有利には、これらの相関指数の計算を使用して、相関指数の中央値、そして、それに次いで、取り入れた最小値とこの中央値との差の計算も行う。この差は、画像の詳細レベルの別の指数および相関の信頼性とのその適切性である。これは、隣接する平行移動値に対して得られた相関指数の中央値とはかなり異なる最小相関指数が得られた場合、相関が信頼できること、したがって、詳細レベルが関連することが言えるためである。他方では、最小値が相関指数の他の値とわずかに異なる場合は、詳細レベルは信頼できる相関を認めない。
【００３６】
したがって、２つの値、すなわち、最小相関指数に対応する平行移動値である視差指数および最小相関指数と相関指数の中央値との差に対応する相関信頼度指数は、工程３．２の終了時に得られる。工程３．３の間、画像の全体的な詳細指数を計算するため、相関信頼度指数は、ヒストグラム拡張指数と一緒に使用される。例えば、各エリアの相関信頼度指数とヒストグラム拡張指数との加重平均が計算される。
【００３７】
さまざまなエリアの視差指数は、工程３．４の間に、距離指数を計算するために使用される。これらの視差指数は、シーンの距離のよい概算である。較正は未だ行われていないため、深度に関する信頼できる情報は未だ導出することはできないが、有効な見解は同じように得られる。有利には、較正過程を連続して適用することができ、それにより、各較正工程において、既に「事前較正された」入力画像の利用が可能になり、したがって、精度が増す。また、視差指数の値は、分布情報からも導出される。これらの値に大きな違いがあれば、これは、画像にさまざまな深度の平面が存在し、したがって、前景に対象物が存在することを意味する。この態様は、較正に悪影響を与える。較正用の関連シーンは、すべてのエリアに対して一様に低い視差指数の値を生成するシーンである。したがって、視差指数が一様に小さい場合により大きくなる距離指数が計算される。
【００３８】
工程３．３によって得られた詳細指数および工程３．４で得られた距離指数に従って、最終的に関連性指数が計算される。有利には、この指数は、２つの指数の加重平均である。
【００３９】
説明された方法により、ユーザがいつでも立体写真デバイスの較正を行うことが可能であり、この較正により、システムの欠陥を補正することによって立体視法の使用が可能となることが分かる。有利には、較正用のシーンの選択の間、ユーザは誘導される。この方
法は、いかなるタイプの装置でも使用することができ、具体的には、写真装置、ビデオカメラ、電話またはゲーム機などの一般大衆向けの装置が挙げられる。
【図１】
2014507907.tif 000003
【図２】
2014507907.tif 000004
【図３】
2014507907.tif 000005
【図４】
2014507907.tif 000006
【図５】
2014507907.tif 000007
【国際調査報告】
2014507907.tif 000008
2014507907.tif 000009