(57)【要約】【課題】複数カメラシステムのレンズ歪みを補正するための方法とそれを実施するための装置を提供する。【解決手段】本発明に係る画像合成装置は、画像捕捉用の複数のカメラから成るカメラ配列と、レンズ歪み補正部と、捕捉済み画像を変換し変換済み画像を継ぎ目のない広角画像に合成するための画像合成部とを備える。また、本発明に係る画像合成方法は、カメラ配列により画像を捕捉する捕捉段階と、レンズ歪みを補正する補正段階と、捕捉済み画像を変換し変換済み画像を継ぎ目のない広角画像に合成する合成段階とを備える。【選択図】図４
2007282245.tif 000002
【特許請求の範囲】
【請求項１】
画像捕捉用の複数のカメラから成るカメラ配列と、
前記複数のカメラのレンズ歪み補正部と、
前記レンズ歪み補正部で補正された捕捉済み画像を変換し、変換済み画像を継ぎ目のない広角画像に合成するための画像合成部とを
備えたことを特徴とする画像合成装置。
【請求項２】
請求項１に記載の画像合成装置において、
更に、複数の口径制御部を備え、
前記口径制御部は、それぞれの前記複数のカメラに接続され、前記画像合成部は、前記カメラの口径を制御するために捕捉済み画像の輝度に基づいて前記口径制御部に露光制御信号を送る
ことを特徴とする画像合成装置。
【請求項３】
請求項２に記載の画像合成装置において、
前記レンズ歪み補正部は座標写像と補間とを行い、前記座標写像はレンズ変数に基づき捕捉済み画像用の補正済み座標を生成し、前記レンズ変数は前記カメラの口径とともに変化する
ことを特徴とする画像合成装置。
【請求項４】
請求項３に記載の画像合成精度改善装置において、
前記レンズ歪み補正部は多項式アルゴリズムを利用し、前記レンズ変数は多項式係数あるいは前記補正済み座標の写像表である
ことを特徴とする画像合成装置。
【請求項５】
請求項１に記載の画像合成装置において、
前記画像合成部は、捕捉済み画像変換部と変換済み画像混合及び合成部とから成り、
前記捕捉済み画像変換部は、座標写像と補間とトリミングとを行い、変換変数に基づき変換済み座標を生成する
ことを特徴とする画像合成装置。
【請求項６】
請求項５に記載の画像合成装置において、
前記レンズ歪み補正部は前記捕捉済み画像変換部と組み合わされる
ことを特徴とする画像合成装置。
【請求項７】
請求項３に記載の画像合成装置において、
前記補間は１度のみ実行される
ことを特徴とする画像合成装置。
【請求項８】
カメラ配列により画像を捕捉する捕捉段階と、
前記捕捉段階で捕捉された画像を得たレンズのレンズ歪みを補正する補正段階と、
前記補正段階で補正された捕捉済み画像を変換し、変換済み画像を継ぎ目のない広角画像に合成する合成段階とを備える
ことを特徴とする画像合成方法。
【請求項９】
請求項８に記載の画像合成方法において、
前記カメラ配列は複数の口径制御部がそれぞれ接続された複数のカメラから成り、
更に、前記カメラの口径を制御するために捕捉済み画像の輝度に基づいて前記口径制御部に露光制御信号を送る口径制御段階を
備えることを特徴とする画像合成方法。
【請求項１０】
請求項９に記載の画像合成方法において、
前記レンズ歪みの補正段階は座標写像と補間とを行い、
前記座標写像はレンズ変数に基づき捕捉済み画像用の補正済み座標を生成し、前記レンズ変数は前記カメラの口径とともに変化する
ことを特徴とする画像合成方法。
【請求項１１】
請求項１０に記載の画像合成方法において、
前記レンズ歪みの補正段階は多項式アルゴリズムを利用し、前記レンズ変数は多項式係数あるいは前記補正済み座標の写像表である
ことを特徴とする画像合成方法。
【請求項１２】
請求項８に記載の画像合成方法において、
前記合成段階での捕捉済み画像の変換は、座標写像と補間とトリミングとを行い、変換変数に基づき変換済み座標を生成する
ことを特徴とする画像合成方法。
【請求項１３】
請求項１２に記載の画像合成方法において、
前記レンズ歪みの補正段階は、前記合成段階での捕捉済み画像変換処理と組み合わされる
ことを特徴とする画像合成方法。
【請求項１４】
請求項１０に記載の画像合成方法において、
前記補間は１度のみ実行される
ことを特徴とする画像合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レンズ歪み補正を有する画像合成精度の改善方法及びそれを実施するための装置に関し、特に複数カメラシステムにより生成される広角画像の合成（繋ぎ合わせ）精度の改善に関する。
【背景技術】
【０００２】
米国特許番号ＵＳ２００３／０２３５３４４  Ａ１及びＵＳ２００５／００２５３１３  Ａ１で請求されているような複数カメラシステムによる広角画像の生成の先願において示されるように、画像合成技術を用いる継ぎ目のない広角画像を生成するためのシステムが公開されている。しかしながら、レンズ歪みにより生じる合成問題は扱われていなかった。広角画像を生成するためのシステムは、合成ポイント検索及び画像変換変数の計算のために画像重複領域での特徴を利用する。レンズ歪みのために、重複領域での特徴は歪み、隣接画像と完全に整合しない。合成済み広角画像内の不整合は目に見え、簡単には補正できない。
【０００３】
図１に示すように、従来の複数カメラシステム１００は、カメラ配列１０１と画像合成エンジン１０２を備える。画像合成エンジン１０２は、カメラ配列１０１から複数の画像を獲得する。そして、画像は共通平面上に変換され混合される。それにより継ぎ目のない広角画像が生成される。カメラ配列１０１の各カメラは、制御バスにより口径制御装置１０３に接続される。露光制御信号は、帰還制御用の獲得画像の明るさに基づいて、画像合成エンジン１０２によって口径制御装置１０３に送られる。
【０００４】
カメラ配列から獲得した画像は通常重なっている。重複領域は混合、合成ポイント検索及び画像変換変数の計算に用いられる。一般的に、従来の複数カメラシステムは重複領域内で合成ポイント検索のためにブロック・マッチングを利用する。
【０００５】
樽型あるいはピンクッション型歪みのどちらもカメラのレンズに起きる。歪は、２つの主な問題を画像合成にもたらす、すなわち合成ポイント検索の不正確さ及び画像変換の不正確さである。図２はレンズ歪の例を示し、ここで合成ポイント検索用のブロック・マッチングを適用するとき重複領域内の歪んだ特徴が検索済み合成ポイント上にずれをもたらす。
【０００６】
図１に示すカメラ配列１０１のカメラを回転させるときカメラ配列１０１のカメラにより捕捉された画像は合成のために基準平面に変換される必要がある。変換マトリックスは基準平面状で４つの座標及び変換されるべき回転済み平面状の４つの座標を与えることにより計算される。
【０００７】
レンズ歪みにより理想座標からずれた４ポイントを示す図３を参照して、このずれは歪んだポイントから得られた計算済み変換の不正確さをひき起す。結果として、回転済み平面は正確に基準面に変換されない、そして変換済み画像の重複領域内の特徴は基準面のそれらと整合しない。混合による不整合を補償することは非常に困難である。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述に鑑み、本発明は複数カメラシステムのレンズ歪みを補正するための方法とそれを実施するための装置を提供する。
【課題を解決するための手段】
【０００９】
本発明に係る画像合成装置は、画像捕捉用の複数のカメラから成るカメラ配列と、レンズ歪みの補正部と、捕捉済み画像を変換し、変換済み画像を継ぎ目のない広角画像に合成するための画像合成部を備えることを特徴とする。
【００１０】
更に、本発明に係る画像合成装置は、複数の随意の口径制御部を備え、前記口径制御部は、それぞれの前記カメラに接続され、前記画像合成部は前記カメラの口径を制御するために捕捉済み画像の輝度に基づいて前記口径制御部に露光制御信号を送る。
【００１１】
本発明に係る画像合成装置において、前記レンズ歪み補正部は、座標写像と補間とを行い、前記座標写像は、レンズ変数に基づき捕捉済み画像用の補正済み座標を生成し、前記レンズ変数は前記カメラの口径とともに変化する。
【００１２】
本発明に係る画像合成装置において、前記レンズ歪み補正部は多項式アルゴリズムを利用し、前記レンズ変数は多項式係数あるいは前記補正済み座標の写像表である。
【００１３】
本発明に係る画像合成装置において、前記画像合成部は、捕捉済み画像変換部と変換済み画像混合及び合成部から成り、前記捕捉済み画像変換部は、座標写像と補間とトリミングとを行い、前記捕捉済み画像変換部は変換変数に基づき変換済み座標を生成する。
【００１４】
本発明に係る画像合成装置において、前記レンズ歪み補正部は前記捕捉済み画像変換部と組み合わされる。
【００１５】
本発明に係る画像合成装置において、前記補間は１度のみ実行される。
【００１６】
本発明に係る画像合成方法は、カメラ配列により画像を捕捉する段階とレンズ歪み補正する補正段階と、捕捉済み画像を変換しそして変換済み画像を継ぎ目のない広角画像に合成する合成段階を備えることを特徴とする。
【００１７】
本発明に係る画像合成方法において、前記カメラ配列は複数の口径制御部がそれぞれ接続された複数のカメラから成り、
更に、前記カメラの口径を制御するために捕捉済み画像の輝度に基づいて、前記口径制御部に露光制御信号を送る口径制御段階を備える。
【００１８】
本発明に係る画像合成方法において、前記レンズ歪みの補正段階は、座標写像と補間とを行い、前記座標写像はレンズ変数に基づき捕捉済み画像用の補正済み座標を生成し、前記レンズ変数は前記カメラの口径とともに変化する。
【００１９】
本発明に係る画像合成方法において、前記レンズ歪みの補正段階は多項式アルゴリズムを利用し、前記レンズ変数は多項式係数あるいは前記補正済み座標の写像表である。
【００２０】
本発明に係る画像合成方法において、捕捉済み画像の変換は、座標写像と補間とトリミングとから成り、捕捉済み画像の変換は、変換変数に基づき変換済み座標を生成する。
【００２１】
本発明に係る画像合成方法において、前記レンズ歪みの補正段階は、前記捕捉済み画像の変換処理と組み合わされる。
【００２２】
本発明に係る画像合成精度の改善方法において、前記補間は１度のみ実行される。
【発明の効果】
【００２３】
本発明によれば、複数画像の重複領域内の特徴の不整合を克服し、広角画像合成の精度を改善し、それにより継ぎ目のない広角画像を生成することが出来る。
【発明を実施するための最良の形態】
【００２４】
本発明は、以下の一実施の形態の詳細な説明及び添付の図面から更に理解されよう。しかしながら本発明の要旨を明確にするために公知の詳細は省略してある。
【００２５】
図４を参照して、本発明の一実施の形態による複数カメラシステム４００を示す。複数カメラシステム４００は、カメラ配列４０１と、画像合成エンジン（画像合成部）４０２と、随意の口径制御装置４０３と、レンズ歪み補正部４０４とから成る。レンズ歪み補正部４０４は、レンズ歪み補正用のあらゆる適切なアルゴリズムが利用しえる。例えば、多項式アルゴリズムをとれば、多項式の係数をレンズデータの曲がりに合致するように計算する。係数はレンズ変数として記憶され、レンズ歪み補正は各画素に多項式を適用することにより各画素を無歪の位置に写像する。写像表は各画像の補正済み位置が表に記憶される全てのレンズ歪み補正アルゴリズムに適用できる。写像表は応用数学方程式に基づいて計算される。写像表を適用する場合、レンズ変数は表のデータであり、補正後の写像済み座標は分数（整数でない）でありえる。差分補間をコストとシステムに要求される品質に依存して各画像上の画像データを計算するために適用してもよい。
【００２６】
もし複数カメラシステム４００が口径制御部４０３を備えていなければ、すなわちカメラ配列４０１においてカメラの口径が固定されていれば、レンズ変数は画像の輝度から独立であり、定数に留まる。反対に、もし複数カメラシステム４００が口径制御部４０３を備えていれば、すなわちカメラ配列４０１においてカメラの口径が制御可能であれば、カメラ配列４０１の口径に帰還制御を実施するために画像の輝度に基づいて画像合成エンジン４０２により口径制御部４０３に露光制御信号が送られる。レンズ歪み補正に用いられるレンズ変数は口径の直径とともに変化する。従って、レンズ変数は口径制御に基づいて計算される。
【００２７】
図２に示す樽型歪みの例と比較して、図５は本発明の一実施の形態の複数カメラシステムによるピンクッション歪み補正の例を示す。図５に示すように、画像の重複領域の特徴は補正され隣接画像の重複領域内の特徴と整合する。
【００２８】
図６は、レンズ歪み補正による画像変換精度の改善の概略図である。ここで、ポイントがもはや歪んでいないので、回転されたカメラにより捕捉された画像が正確に基準平面に変換されるので、変換マトリックスは無歪みポイントに基づいて正確に計算される。
【００２９】
図７は、レンズ歪み補正部４０４及び図４に示す画像合成エンジン４０２の詳細を例示する。画像合成エンジン４０２は、主に「画像変換部」及び「画像混合及び合成部」を備える。画像変換部は、変換変数に基づき変換済み座標を生成する。生成された座標は分数でありえる。そして画像データが補間により計算される。いくつかの変換（例えば、平面変換）は画像を伸ばし、一方いくつかの変換は画像を絞って、画像のマージン上に黒い部分を残す。変換によって生成された余分の黒い部分は、トリミングにより変換済み画像から取り除かれる。画像混合及び合成部は、画像変換部から獲得された画像データに基づき広角画像を生成する。
【００３０】
更に、レンズ歪み補正部４０４はレンズ変数に基づいて補正済み座標を生成する。上述のように、補間がレンズ歪みの補正のために必要とされる。従って、追加の画像バッファを、レンズ歪み補正後の補正済み画像を記憶するために複数カメラシステム４００に備えるべきである。追加の画像バッファは、合成用のソフトウエアを用いる場合には問題はないがハードウエアの点でより多くのメモリを伴う。高解像度及び高フレームレート映像の複数カメラシステムに対して、メモリアクセス帯域幅及びメモリ密度の双方が高い。従って、追加の画像バッファはメモリアクセス帯域幅の限界を超えるかもしれない。結果として、さらに本発明は追加の画像バッファを省くために画像変換手段と組み合わせるレンズ歪み補正手段を備える別の最適化された複数カメラシステムを提供する。
【００３１】
図８は、本発明の他の実施の形態によるレンズ歪み補正部を備える最適化された複数カメラシステム８００を例示する。上述のように、レンズ歪み補正部は、複数カメラシステム８００で画像変換部と組み合わされる。図８に示すように、レンズ歪み補正後の補正済み座標は、変換変数に基づいて更に座標写像を実施するために画像変換部に入力される。そして、最終の画像データを計算するために補間が１度のみ実施される。従って、複数カメラシステム８００に対しては余分の画像バッファの必要がなく、レンズ歪み補正による余分の補間による画像品質の劣化もない。
【００３２】
本発明は、特に、いくつかの実施の形態に関して明示し説明をしたが、本発明は上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々変更可能であることはいうまでもない。従って、開示の発明は説明としてのものであり、その有効範囲は、添付の特許請求範囲のみで制限されるものである。
【図面の簡単な説明】
【００３３】
【図１】従来の複数カメラシステムの概略図である。
【図２】レンズ歪みの例を示す説明図である。
【図３】レンズ歪みにより引き起こされた画像変換不正確さの例を示す説明図である。
【図４】本発明の一実施の形態による複数カメラシステムの概略図を示す。
【図５】本発明の複数カメラシステムによるレンズ歪み補正の例を示す説明図である。
【図６】レンズ歪み補正による画像変換精度の改善の例を示す説明図である。
【図７】レンズ歪み補正部と図4に示す画像合成エンジンの詳細を示す構成図である。
【図８】本発明の他の実施の形態による最適化された複数カメラシステムの概略図である。
【符号の説明】
【００３４】
４００…複数カメラシステム、４０１…カメラ配列、４０２…画像合成エンジン、４０３…随意の口径制御部、４０４…レンズ歪み補正部、８００…最適化された複数カメラシステム
【図１】
2007282245.tif 000003
【図２】
2007282245.tif 000004
【図３】
2007282245.tif 000005
【図４】
2007282245.tif 000006
【図５】
2007282245.tif 000007
【図６】
2007282245.tif 000008
【図７】
2007282245.tif 000009
【図８】
2007282245.tif 000010
【外国語明細書】
2007282245.tif 000011
2007282245.tif 000012
2007282245.tif 000013
2007282245.tif 000014
2007282245.tif 000015
2007282245.tif 000016
2007282245.tif 000017
2007282245.tif 000018
2007282245.tif 000019
2007282245.tif 000020
2007282245.tif 000021
2007282245.tif 000022
2007282245.tif 000023
2007282245.tif 000024
2007282245.tif 000025
2007282245.tif 000026
2007282245.tif 000027
2007282245.tif 000028
2007282245.tif 000029