(57)【要約】マルチレンズカメラで撮られた個別の画像を一緒にしてパノラマにするように該画像に対して為される調整を決定するためのシステム及び方法（図３Ｃ）。カメラ（図２Ａ）は構造体の中央に置かれ、該構造体のエッジは標についての少なくとも１つの列を持つ。各カメラは、パノラマを形成するために他の画像のエッジとつなぎ合わされるべき各エッジに沿う標を含む画像を記録する（図２Ｂ）。他の画像のエッジとつなぎ合わされるべきつなぎ目に沿う構造体の各エッジは、カメラの２つのレンズで記録される。それから、一緒にする２つの画像における標を作るために要求される調整量が決定される（図４）。これらの調整値は、画像を記録したカメラの同定情報と共に記録される。同じカメラによって記録された引き続く画像セットが、同じ調整値を使用してつなぎ合わされることができる（図５）。
2004512778.tif 000002
【特許請求の範囲】
【請求項１】
マルチレンズカメラを較正するシステムであって、
少なくともいくつかのエッジに沿って標が設けられた構造体を具備し、該構造体は、（ａ）つなぎ合わされるべき該構造体の各エッジが２つのレンズで撮られ、（ｂ）各カメラレンズで撮られた画像がつなぎ合わされるべき各エッジに沿う少なくとも１列の標を含む、ように形成されてなり、
これにより、前記構造体の中央に配置された前記マルチレンズカメラで画像を記録するとき、該構造体の特定のエッジが２つのカメラで記録され、該特定のエッジ上の前記標を一致させるのに必要なパラメータを決定することにより該カメラが較正され得ることを特徴とするカメラ較正システム。
【請求項２】
マルチレンズカメラを較正するシステムであって、
立方体のエッジに沿って可視的な標を備えた立方体形状の構造体を具備し、
これにより、前記立方体の中央に配置された前記マルチレンズカメラで画像を記録するとき、該立方体の特定のエッジが２つのカメラレンズで記録され、該特定のエッジ上のドットを一致させるのに必要なパラメータを決定することにより該カメラが較正され得ることを特徴とするカメラ較正システム。
【請求項３】
前記立方体のエッジは、前記カメラのレンズ間の距離に等しい量だけ離隔して配置された２列のドットを持つ請求項２に記載のシステム。
【請求項４】
前記ドットの形状は、魚眼レンズで見たときに丸く見えるようなものである請求項２に記載のシステム。
【請求項５】
マルチレンズカメラを較正する方法であって、
テストパターンの画像を重複させて記録するステップであって、該テストパターンはそのエッジに沿って識別可能な標を含むものと、
前記標が一致するように前記画像をパノラマにつなぎ合わせるために必要なパラメータを決定するステップと
を具備し、前記パラメータが前記カメラの較正パラメータを形成することを特徴とする方法。
【請求項６】
前記テストパターンは立方体のエッジで構成され。該立方体はそのエッジに沿って標を持つことを特徴とする請求項５に記載の方法。
【請求項７】
前記構造体のエッジは、前記カメラのレンズ間の距離に等しい量だけ離隔して配置された２列のドットを持つ特徴とする請求項１に記載のシステム。
【請求項８】
前記標の形状は、魚眼レンズで見たときに丸く見えるようなものである請求項１に記載のシステム。
【請求項９】
前記ドットの形状は、魚眼レンズで見たときに丸く見えるようなものである請求項７に記載のシステム。
【請求項１０】
前記構造体は各エッジに沿って２列のドットを持ち、該ドットは前記カメラのレンズ間の距離に等しい量だけ離隔されており、これにより前記画像の視差を修正する必要がない請求項１に記載のシステム。
【請求項１１】
較正用構造体内にカメラを置き、一連の画像を記録するステップと、
前記カメラからの画像をパノラマにつなぎ合わせるためにつなぎ合わせプログラムによって要求されるパラメータを決定するステップと、
該較正パラメータを該画像を生成したカメラの同定情報と共に記録するステップと
を具備することを特徴とするカメラを較正する方法。
【請求項１２】
特定のマルチレンズカメラで特定の画像セットを記録し、該特定の画像セットからパノラマを生成する方法であって、
較正用構造体の較正用画像セットを前記カメラで記録し、該較正用画像と共に該カメラの同定情報を記録するステップと、
前記較正用画像セットをパノラマにつなぎ合わせるために要求されるパラメータを決定するステップと、
前記パラメータを前記カメラの同定情報と共に記録するステップと、
前記特定のカメラで前記特定の画像セットを撮り、該撮った画像を該カメラの同定情報と共に記録するステップと、
前記パラメータを使用して前記特定の画像セットをパノラマにつなぎ合わせるステップと
を具備する方法。
【請求項１３】
前記較正用構造体は、少なくともいくつかのエッジに沿って標を持ち、かつ、（ａ）つなぎ合わされるべき該構造体の各エッジが２つのレンズで撮られ、（ｂ）各カメラレンズで撮られた画像が、つなぎ合わされるべき各エッジに沿う少なくとも１列の標を含む、ように形成されてなるものである請求項１２に記載の方法。
【請求項１４】
前記構造体のエッジは、前記カメラのレンズ間の距離に等しい量だけ離隔して配置された２列のドットを持つ請求項１２に記載の方法。
【請求項１５】
前記構造体は立方体形状である請求項１２に記載の方法。
【発明の詳細な説明】
【０００１】
発明の分野
本発明はカメラに関し、特に、カメラの特性を決定するシステム及び方法に関する。
【０００２】
発明の背景
パノラマ像は、複数の単一視野画像を一緒にしてつなぎ合わせることにより作成されうる。マルチレンズカメラは、複数の単一視野画像を同時に撮ることができる。そのようなカメラで撮った像は、次いで、パノラマ像につなぎ合わされる。２０００年６月２３日に出願された米国特許出願番号第０９／６０２，２９０号には、パノラマ像を作成するための相互作用的つなぎ合わせ技術について述べている。この米国特許出願での開示事項は参照引用によってこの明細書中に組み込まれる。
【０００３】
完璧に１つのパノラマに組み上げるのに適した単一視野画像のセットを得ることは実際には不可能である。各画像毎のヘディング、ピッチ、バンク、オフセット、輝度、コントラストなどのパラメータが、１つのパノラマに組み上げるのに適した画像をそれぞれ作り上げるように調整されねばならない。個別の画像のパラメータが調整されねばならない理由の１つは、画像を記録したカメラにおける個別のカメラ要素がそれら自身に特有の癖と特異性を持っているからである。一般に、各個別カメラと個別カメラレンズは、そのレンズのみに特有のパラメータと特異性を持っている。
【０００４】
（特定の１カメラで撮られた）１セットの画像を一緒にしてパノラマ像を形成するようにする調整値を決定した場合、これらの調整値は、一般に、同一のカメラからの異なるセットの画像のために受入れ可能な変更を提供し、第２のセットの画像を一緒にしてパノラマ像を形成できるようになる。
【０００５】
発明の概要
本発明は、マルチレンズカメラで撮られた個別の画像を一緒にしてパノラマにするように該画像に対して為される調整を決定するためのシステム及び方法を提供しようとするものである。本発明では、カメラは構造体の中央に置かれ、該構造体のエッジは標（ｉｎｄｉｃｉａ）についての少なくとも１つの列を持つ。各カメラは、パノラマを形成するために他の画像のエッジとつなぎ合わされるべき各エッジに沿う標を含む画像を記録する。他の画像のエッジとつなぎ合わされるべきつなぎ目に沿う構造体の各エッジは、カメラの２つのレンズで記録される。それから、一緒にする２つの画像における標を作るために要求される調整量が決定される。これらの調整値は、画像を記録したカメラの同定情報と共に記録される。同じカメラによって記録された引き続く画像セットが、同じ調整値を使用してつなぎ合わされることができる。
【０００６】
本発明の別の特徴は、立方体（六面体）のエッジに沿う２列の標（ｉｎｄｉｃｉａ）を提供することを含む。２列の標は、カメラ上のレンズ間の距離に等しい量だけ離れて配置される。これは視差を修正する必要性をなくし、また、カメラの位置を立方体の正確な中央に配置する必要性をなくす。本発明の別の特徴は、標の形状がゆがんでおり、該標が魚眼レンズで記録されたときに、ドットがゆがまないように見えるようにすることにより画像の正確な配列を容易にすることである。
【０００７】
詳細な説明
本発明の好ましい実施例によって実行される処理の全体的なフロー図が図１に示されている。そこで使用される較正用構造体は図２Ａ及び図２Ｂに示されている。較正用構造体２００は立方体形状からなる。まず、ブロック１０１で示されるように、特定のカメラ２１３が、較正用立方体２００のエッジの画像（イメージ）を撮るために使用される。こうして撮られた画像は、較正用画像と呼ぶことができる。
【０００８】
カメラはマルチレンズカメラであり、個々のレンズが立方体の個々の面を指向している。カメラ２１３についての詳細な説明は、１９９９０年６月２３日に出願された「パノラマ動画をデジタル的に撮影し記録するためのシステム」と題する米国特許出願番号第０９／３３８，７９０号で為されており、その明細書での説明が参照引用によってこの明細書中に組み込まれる。カメラ２１３は６個のレンズを持ち、立方体の各面に相当する６個の画像（イメージ）が同時に記録される。立方体２００の個々のエッジの画像が、それぞれカメラ２１３の２つのレンズで撮られる。
【０００９】
図３Ａはカメラ２１３の１つのレンズで撮られた画像３３１の一例を示す。画像３３１のエッジ（そしてカメラ２１３で撮られた各画像のエッジ）には、立方体２００の１エッジに沿うドットに対応する２列のドットが存在している。２つのレンズが立方体２００の各エッジを撮るので、立方体２００の各エッジ毎に、同じドット列を見せる２つの画像が存在する。
【００１０】
画像が記録された後、操作者は、（ブロック１０２で示されるように）種々の画像におけるどのドットが互いに対応しているかを、プログラムに対して手動的に指示する。このステップの間、立方体の同じエッジを見せる２つの画像が、図３Ｂに示すように互いに隣接して表示される。操作者は、２つの画像においてどのドットが対応しているかを、プログラムに対して手動で同定する。操作者は、最初に「スタート」ボタン上で（マウスで）クリックし、それから２つの対応するドットを順にクリックすることによって、これを行う。プログラムは、この順次のクリック操作を、ドットを対応付ける指示として認識する。
【００１１】
次にブロック１０４に示すように、操作者は、人工的作為無しにパノラマにつなぎ合わせることができるように画像を整列させるのに必要な種々のパラメータの設定を見つけだす。見つけられた修正ファクタは、該画像を作成記録したカメラの同定情報と共に記録される。第１の好ましい実施例において、６個のカメラレンズ毎に決定されるカメラのパラメータは次の通りである。
ａ）ヘディング、ピッチ、バンクを含むカメラ照準
ｂ）視野
ｃ）ＣＣＤに対するカメラレンズのオフセット
ｄ）カメラレンズにおけるピン・クッションゆがみの量
ｅ）ピッチ、ロール、ヘディング、オフセットの量
以下の説明では、カメラパラメータに対して参照がなされるとき、上述のパラメータが議論されているものとする。しかし、本発明は、特定の応用例に際して必要ならば、他のカメラパラメータに対しても拡張可能である（又はいくつかのパラメータは省略してもよい）。
【００１２】
上述の処理を実行したカメラは、それから、いくつかの他の画像セットを記録するために使用されることができ、上述のようにして決定されたパラメータがこの新たな画像セットをつなぎ合わせるために使用されることができる。すなわち、図１の最後のステップ１０５が、既に較正されたカメラで記録された新しい画像セットについて実行される。この時点では、既に決定された修正ファクタが新しい画像セットのために供給される。
【００１３】
図２Ａは、参照番号２０１〜２１２で指定される１２個のエッジパネルを見せている較正用立方体２００の全体図である。カメラ２１３は、立方体の中央のあたりに大体置かれる。全ての１２個のパネル２０１〜２１２は同一であり、よって、パネル２０２についてのみ詳細を説明する。図２Ｂは、パネル２０２とそれに接続されたパネルをより詳しく図示する。パネル２０２は、該パネル上に位置した参照番号２０２Ａ，２０２Ｂで指定される２つのドット列を持つ。このパネルは立方体の側面に対して４５度の角度をなしている。もし、各パネルの中央から（例えば点２０２Ｃ）パネル面に垂直な線を引いたならば、その線はカメラ２１３の中央に向かうであろう。
【００１４】
動作時は、カメラ２１３は立方体２００の各側面の画像を記録する。各画像は、立方体２００の一側面を囲む４つのパネルを含むように記録される。そのような画像の一例が図３Ａに示されている。各エッジパネルはカメラ２１３の２つのレンズで記録されるということが重要である。従って、立方体の各エッジは２つの画像に現われる。
【００１５】
各パネル上の２つのドット列の間隔はカメラ２１３の２つのレンズの間隔に合致している。これは、視差に起因するいかなる調整をも不要にするためである。この理由はカメラ２１３の２つのレンズ２１３Ａ，２１３Ｂとパネル２０２上の２つのドット２０２Ａ，２０２Ｂを図示する図２Ｃに図解されている。ドットはレンズ間の距離と同じ距離だけて離れているので、パネル２０２からカメラ２１３までの距離を考慮に入れて視差調整する必要性がなくなる。普通は、２つのレンズで撮られた画像を適合させるプログラムは、２つのドット列が或る距離だけ離されていることを考慮に入れる必要がある。
【００１６】
図３Ｂは、隣接する画像においてどのドットが対応しているかを、操作者がいかにしてプログラムに対して同定するかを示す図である。図３Ｂに示された画像は、図２のブロック１０２で示された操作において使用される画像の一例である。図３Ｂに示すように、２つの画像３３１，３３２を並べて表示し、操作者が少なくとも両画像の両ドット列の部分を見ることができるようにする。例えば、図３Ｂでは、レンズ２１３Ｂによって撮られた画像の隣にレンズ２１３Ａによって撮られた画像を見せる。パネル２０２のドット列は、両方の画像において現われる。プログラムは、各ドットの位置をテーブル上に配置し記録する形状認識ロジックを含む。
【００１７】
そのようなテーブルの主要な要素の一例を下記の表１に示す。
【表１】
2004512778.tif 000003
【００１８】
上記表において、各行（横列）はそれぞれ特定のドットに関係している。上記表において、各列（コラム）はそれぞれ下記の情報を与える。
画像ＩＤ＃：特定の画像を同定する特有の番号
ドットＩＤ＃：特定のドットを同定する特有の番号
ｘ位置：当該特定のドットのｘ位置
ｙ位置：当該特定のドットのｙ位置
対応ドットＩＤ：異なる画像上における対応するドットのドットＩＤ番号。このコラムにおける情報は、操作者が２つの画像におけるどのドットが対応しているかをプログラムに対して同定した後に、入力される。
【００１９】
図３Ｂに示すように、画像が互いに隣合って表示されるとき、操作者は容易に対応するドットを同定することができる。例えばドット３０１はドット３０２に対応する。操作を開始するために「スタート」ボタンをクリックした後、操作者は、まず、ドット３０１をクリックし、それからドット３０２をクリックする。これはこれらの２つのドットが対応するものであることをプログラムに告げることであり、プログラムはこれら２つのドットが対応するものであるという事実を上記テーブルの最後のコラムに記録する。操作者はエッジ２０２Ｐに沿って各ドット毎に順次にこれを行う。この処理が立方体２００の１２個のエッジのそれぞれについて繰り返される。
【００２０】
各画像は両ドット列の完全なイメージを内容としている必要がないことに注意されたい。例えば、図３Ａ、３Ｂに示された画像３３１の底部は、両ドット列の完全なイメージを形成していない。２つの隣接ドット（例えば図２Ｂにおけるドット２７１，２７２）は、１つのドットで始まり他のドットで終わる仮想線または領域の一構成要素であるように見做されることができる。操作者がドット３０１とドット３０２を順次にクリックするとき（図３Ｂを見よ）、操作者は２つの画像における対応するドットを含む「仮想線」または領域をプログラムに対して同定している。各画像は各パネル上の少なくとも内側のドット列を見せ、また、ドット列間の距離はプログラムに知られているので、プログラムは、画像において明示的に示されていなかったとしても、すべてのドットの位置を決定することができる。
【００２１】
次に、プログラムは１セットのデフォルトパラメータを使用して画像をパノラマにつなぎ合わせる。プログラムが開始されるとき、図３Ｃに示すようなウィンドウを立ち上げる。このウィンドウは、画像が取り込まれていないパノラマを表示する。スクリーン画面の右側には、パノラマにつなぎ合わされるべき画像に対して為される様々な調整が配される。これらのパラメータは、下記に示すような１セットのデフォルトパラメータに初期設定される。６個のカメラは、トップ（頂部）、フロント（前部）、ボトム（底部）、バック（背部）、レフト（左部）、ライト（右部）のカメラとして同定される。カメラの視野（ＦＯＶ）、ヘディング、ピッチ、バンク、ｘオフセット、ｙオフセットは、下記の表に示された値に初期設定される。もちろん、下記に示された初期値は一例にすぎず、様々なタイプのカメラに応じて適切な値が、最良の結果を得るべく経験的に見出されることで、決定されるようにしてよい。
【００２２】
【表２】
2004512778.tif 000004
望みに応じて使用したいその他のパラメータについても設定してよい。例えば、ピン・クッション調整についての魚眼調整量を設定してもよい。
【００２３】
デフォルトパラメータを使用してつなぎ合わされた画像が図３Ｃに示すように操作者に提示される。図４に示すように、画像がつなぎ合わされるが、種々の画像でドットが対応していない。例えば、画像３０４のドット３０４Ｄは画像３０５のドット３０５Ｄに一致すべきである。しかし、図４に示すパノラマを生成したデフォルトパラメータは、なすべきようには画像をつながなかったので、ドット３０４Ｄとドット３０５Ｄは一致していない。そのとき、ドットを一致させるために、操作者はつなぎ操作に使用した種々のパラメータを変更する。これは、２０００年６月２３日に出願された米国特許出願番号第０９／６０２，２９０号に述べられた手動操作と同じである（この出願の明細書と図面が参照引用によってここに組み込まれる）。
【００２４】
図６は、図１にてブロック１０２，１０４，１０５で示した操作をプログラムが如何に実行するかを詳細に示すフロー図である。すなわち、図６は、１セットの画像についての対応するドットがいかにして同定され、ドットを一致させるべく適切な修正ファクタが決定されるか（すなわち、画像を適切につなぎ合わせるために適切な修正ファクタを決定する）、そして、最終的にこれらのパラメータが同じカメラで記録された他の画像セットをつなぎ合わせるためにいかに使用されるか、を示すフロー図である。
【００２５】
まず、ブロック６０１で示されるように、特定のカメラ２１３で記録された６個のビットマップ（すなわち６個の画像）がプログラム内にロードされる。これらの画像は較正用立方体２００のエッジを見せる。次に、ブロック６０２で示されるように、従来の形状認識ルーチンが、各画像の周囲のドットの中央の場所を同定するために使用される。
【００２６】
操作者は次にブロック６０３で示されるようにプログラムに対して対応するドットを同定する。操作者は例えば図３Ｂに示すようにドット３０１と３０２がフレームエッジ上の同じドットであることそしてこれらのドットが一致すべきものであることを可視的に決定できる。操作者はマウスを使用して対応するドットを順にクリックする。プログラムは、操作者がクリックした２つのドットが対応するものであることを示しているものとして、このクリックを認識する。対応するドットの同定は、それから、前述の表１のようなテーブルに記録される。対応するドットは整列点と名付けられる。
【００２７】
次に、ブロック６０５に示されるように、整列点が単位半径の球体上にマップされる。このマッピングは、カメラ方向、視野、レンズゆがみ、その他についてのパラメータのデフォルト値セットを使用してなされる。球体上の各整列点のヘディングとピッチが決定される。ゼロピッチとゼロヘディングは、各イメージの中央に対して垂直にとられる。
【００２８】
次のステップ６０６Ａ〜６０６Ｄの流れは、較正処理の要部である。最小二乗適応処理を使用して、画像中の対応ドットが互いに一致するように、種々のパラメータを変化する。まず、ブロック６０６Ａに示されるように、対応する点の各対の間を結ぶようにベクトルが設定される。例えば、図３Ｂの３０１と３０２の間を結ぶベクトルが計算される。同様のベクトルが各対応点の対間で計算される。このベクトルの長さは、点整列における誤差量を表している。
【００２９】
次に、ブロック６０６Ｂに示されるように、各レンズパラメータのわずかな変化によってもたらされる各ベクトルの変化量が決定される。すなわち、ヘディングや視野のような各レンズパラメータが少量だけ変化され、その結果生じるベクトルの長さの変化が決定される。レンズパラメータは１度に１つ変化され、その結果生じる各ベクトルの変化が決定される。
【００３０】
誤差ベクトル用の従来の最小二乗適応は、誤差ベクトルが最も小さな値に減少するようなカメラパラメータの変化値を決定すべく、計算される。これはブロック６０６Ｃに示されている。次に、ブロック６０６Ｄに示すように、この変化値をパラメータに適用する。誤差ベクトルについてのカメラパラメータの変化の効果が線形であれば、ステップ６０６Ａ〜６０６Ｄを通る処理は１回だけやればよい。しかし、カメラパラメータ変化の誤差ベクトルについての効果は非線形であり、従って、ステップ６０６Ａ〜６０６Ｄの処理は、ステップ６０７で示すように、３回繰り返される。ステップ６０６Ａ〜６０６Ｄの処理を行う毎に、その結果は最適値へと収束する。この３回という数の選択は任意であり、また経験的なものであり、十分な精度をもたらすように任意の数に選択してよいことは、当然にも当業者が理解しうることである。
【００３１】
ステップ６０６Ａ〜６０６Ｄの処理が３回繰り返された後、その結果のパノラマが表示され、処理が成功裡になされたことを操作者が確認できるようにする。もし、表示されたパノラマが満足でなければ、上記操作／処理を繰返す。もし、その結果のパノラマが受諾可能であれば、操作者は、満足するパノラマを生成したパラメータ値を保存する。
【００３２】
このプログラムに全てのカメラパラメータを変化する自由が付与されるのであれば、その結果は或る特定のカメラから別の特定のカメラへとその視野を比較的大きく変化させることができることに気付いた。これは画像を整列させる一方で、或る程度のサイズ変形を画像にもたらす。この潜在的な問題は、最小二乗適応操作の際にいくつかのカメラオフセットを操作者がロックアウトする（使用しない）ようにできる機能を付与することで解決できる。別の実施例は、最小二乗適応操作の際にどのオフセットをロックするかをプログラムで自動的に決定する仕組みを提供する。
【００３３】
本発明の別の特徴は、立方体２００のエッジ上のドットが実際に真円でないことである。魚眼レンズで円を見たとき、その円の画像は丸くならないということが知られている。魚眼レンズで生じたゆがみは、図５を検証することで理解できる。図５は、正方形配列のドットを魚眼レンズを通して見たときにこれらのドット配列がゆがんで見える状態を示す。魚眼レンズによって理論的に生ずるゆがみ量は公知である。図５に示された各ドットは、丸いドットを魚眼レンズを通して見たときの形状を示している。同様のタイプのゆがみが、パネル２０１〜２１２上のドットについて提供される。すなわち、パネル２０１〜２１２上の各ドットは、丸いドットを魚眼レンズを通して見たときのような形状を持つ。これは、プログラムによるドットの場所と認識を容易にする。図５において、ドット列はまっすぐではなく、すなわち、わん曲している。パネル２０１〜２１２上の各ドットの形状は上述のようにゆがめられているが、ドット列はまっすぐである。パネル２０１〜２１２上のドット列がまっすぐであるので、図３Ａに示すように画像中のドット列は魚眼レンズの作用によってわん曲する。もちろん、魚眼レンズ以外のタイプのレンズを使用する場合は、使用する特定のレンズタイプによって生じるゆがみに対応するゆがみをドットにもたせる。
【００３４】
本発明の他の実施例において、隣接する画像における対応するドットを自動的に同定するプログラムが提供される。これは、操作者がプログラムに対して対応するドットを同定しなければならないことを解消する。
【００３５】
なお、好ましい実施例で使用される較正用構造体は立方体形状である。その理由は、カメラ２１３が立方体形状であるからである。すなわち、カメラ２１３のレンズが立方体の各面に配置されている。もし、レンズがそれとは異なって配置されているならば、この構造体は異なる形状を持つ。「つなぎ合わされるべきエッジ」という用語は、パノラマを作成するために別の画像のエッジにつなぎ合わされるべき画像のエッジを意味するために使用される。この構造体は、（ａ）つなぎ合わされるべき各エッジが２つのレンズで撮られ、（ｂ）各カメラで撮られた画像がつなぎ合わされるべき各エッジに沿う少なくとも１つのドット列を含む、ような形状を持つべきである。好ましい実施例において、各エッジパネル２０１〜２１２は２つのレンズで撮られ、各レンズで撮られた画像は各エッジに沿う少なくとも１つのドット列を含む。
【００３６】
カメラのレンズがカメラ２１３上のレンズの配置とは異なる形態で配置されているならば、較正用構造体は異なる形状を持つ。重要な点は、較正用構造体が、（ａ）つなぎ合わされるべき各エッジが２つのレンズで撮られ、（ｂ）各カメラで撮られた画像がつなぎ合わされるべき各エッジに沿う少なくとも１つのドット列を含む、ような形状を持つことである。上記の基準に合致する多くの変更例を見出すことができる。単純な例として、立方体の上面に４５度で撮影する２つのレンズを持つ立方体のカメラであれば、較正用構造体は、立方体の上面の中央に１つのパネルを具備する立方体からなるであろう。
【００３７】
なお、好ましい実施例において立方体のエッジに沿う標は、ドット形状であり、撮影された画像（魚眼レンズでゆがめられた後の画像）においては丸い領域として見られる。これに限らず、標はその他の形状を用いてよい。例えば、パネル２０１〜２１２上の標は、バー形状であってもよい。これらのバーは、魚眼レンズでゆがめられた後に長方形に見えるように、予めゆがめられていてよい。この予めゆがめることは、ただ、プログラムにおける認識論理をより簡単にするためだけのものであり、本発明の動作にとって必須の事項ではない。多様な標形状が、好ましい実施例で使用された形状に対する変更として使用可能である。
【００３８】
特定の画像セットを記録したカメラを同定する情報は、手動で記録することができ、その後、この同定情報を、上記のように決定されたカメラパラメータセットに適用するようにしてよい。図７に示す別の実施例では、マルチレンズカメラが、２０００年７月１７日に出願された米国特許出願番号第６０／２１８，６０４号（この出願の明細書と図面が参照引用によってここに組み込まれる）に述べられたように、同定情報を各画像上に自動的に記録する。なお、ここで述べたカメラで記録される画像は、当然、デジタルであることに注意されたい。従って、記録された画像が１回でファイル内に記憶される。カメラ同定情報は該ファイルのヘッダに置かれる。
【００３９】
この実施例において、較正プログラムは、画像データを含むファイルのファイルヘッダからカメラ同定情報を読み取る。較正プログラムは、それから、当該特定のカメラ用の較正パラメータと共にカメラ同定情報を記録する。その結果は、カメラ同定番号と較正パラメータを提示するテーブルである。１セットの画像がつなぎ合わせプログラムにより読まれるとき、画像データを含むファイルのファイルヘッダからカメラ同定情報を自動的に読む。この処理は図７に示されている。まず、ブロック７６１で示すように、カメラは上述したように較正用立方体の画像を記録する。上述の参照特許出願で述べられているように、生成された単一視野画像がカメラ同定情報と共に記録される。次に、ブロック７６２で示すように、上述のようにしてカメラ較正パラメータが決定される。
【００４０】
ブロック７６５で示すように、カメラ較正パラメータとカメラ同定情報を提示するテーブルが生成される。その後に、ブロック７６６で示すように、同じカメラで別の画像セットが記録される。最後に、ブロック７６７で示すように、画像がつなぎ合わせプログラムに送られ、画像データと共にカメラ同定情報（カメラＩＤ）が読まれる。つなぎ合わせプログラムは、適切なパラメータを使用して画像をつなぎ合わせるために使用する正しいパラメータを見つけるために、前記テーブルに問い合わせる。
【００４１】
以上では、本発明の好ましい実施例に関して説明及び図示がなされているが、発明の精神と範囲から逸脱することなく、形式と詳細において様々に変形可能であることは当業者が理解しうるところである。本発明の多くの異なる実施例が可能であり、また、本発明はここで述べた実施例に限定されるものではない。本発明は、特許請求の範囲とその均等物によってのみ限界づけられる。
【図面の簡単な説明】
【図１】全体的処理のフロー図。
【図２Ａ】較正用立方体の全体図。
【図２Ｂ】較正用立方体の一部分の詳細図。
【図２Ｃ】ドット列が何故離れて配置されているかを図解する図。
【図３Ａ】カメラの１つのレンズで記録した画像を示す図。
【図３Ｂ】対応するドットを同定できるように並べて表示された２つの画像を示す図。
【図３Ｃ】空白の単位球体と、画像をパノラマに初期的につなぎ合わせるためのデフォルトパラメータとを示す図。
【図４】デフォルトパラメータを使用してつなぎ合わされた複数の画像と、一致していないドット列とを示す図。
【図５】レンズによって生じるドットのゆがみを示す図。
【図６】プログラムの動作を示すフロー図。
【図７】本発明の別の実施例のフロー図。
【図１】
2004512778.tif 000005
【図２Ａ】
2004512778.tif 000006
【図２Ｂ】
2004512778.tif 000007
【図２Ｃ】
2004512778.tif 000008
【図３Ａ】
2004512778.tif 000009
【図３Ｂ】
2004512778.tif 000010
【図３Ｃ】
2004512778.tif 000011
【図４】
2004512778.tif 000012
【図５】
2004512778.tif 000013
【図６】
2004512778.tif 000014
【図７】
2004512778.tif 000015
【国際公開パンフレット】
2004512778.tif 000016
2004512778.tif 000017
2004512778.tif 000018
2004512778.tif 000019
2004512778.tif 000020
2004512778.tif 000021
2004512778.tif 000022
2004512778.tif 000023
2004512778.tif 000024
2004512778.tif 000025
2004512778.tif 000026
2004512778.tif 000027
2004512778.tif 000028
2004512778.tif 000029
2004512778.tif 000030
2004512778.tif 000031
2004512778.tif 000032
2004512778.tif 000033
2004512778.tif 000034
2004512778.tif 000035
2004512778.tif 000036
2004512778.tif 000037
2004512778.tif 000038
2004512778.tif 000039
2004512778.tif 000040
【国際調査報告】
2004512778.tif 000041
2004512778.tif 000042
2004512778.tif 000043