(57)【要約】【課題】  ユーザが一連の写真を正確に位置合わせして、パノラマ写真および合成写真を作成することを支援するデジタルカメラおよび方法を提供する。【解決手段】  本発明のデジタルカメラおよび方法は、処理アルゴリズム（１３）を備え、該処理アルゴリズムは、合成写真を撮影すべきであるか否かを選択し、また撮影すべき第１の写真の位置を特定するユーザインタフェースを提供し（７１）、前記第１の写真が撮影された後、撮影すべき第２の写真内の重複エリアを示す印を前記ディスプレイ上にオーバーレイし（７２）、該カメラが前記第２の写真を撮影する位置に移動する際に、前記オーバーレイされた印を前記ディスプレイに表示されている前記画像と共に移動させ（７３）、その際前記オーバーレイされた印が使用されて、前記第１の写真に対して前記第２の写真が位置合わせされて配置されること（７３）を行う。【選択図】          図６
2005223905.tif 000002
【特許請求の範囲】
【請求項１】
デジタルカメラシステム（１０）であって、
レンズ（４１）と、
該レンズで見た画像を感知するイメージセンサ（１１）と、
該イメージセンサで感知した前記画像を表示するディスプレイ（３２）と、
前記イメージセンサで感知した前記画像を記憶する記憶装置（１４、１５）と、
前記ディスプレイ、前記レンズ、前記イメージセンサ、および前記記憶装置に結合された処理回路（１２）と、
該処理回路で実行される処理アルゴリズム（１３）であって、
合成写真を撮影すべきであるか否かを選択し、また撮影すべき第１の写真の位置を特定するユーザインタフェースを提供すること（７１）、
前記第１の写真が撮影された後、撮影すべき第２の写真内の重複エリアを示す印を前記ディスプレイ上にオーバーレイすること（７２）、および
該カメラが前記第２の写真を撮影する位置に移動する際に、前記オーバーレイされた印を前記ディスプレイに表示されている前記画像と共に移動させること（７３）であって、前記オーバーレイされた印が使用されて、前記第１の写真に対して前記第２の写真が位置合わせされて配置される、移動させること（７３）
を行う処理アルゴリズム（１３）と、
を特徴とするデジタルカメラシステム。
【請求項２】
デジタルカメラシステム（１０）であって、
前記アルゴリズムは、所望の合成写真のサイズを示す（１）ユーザインタフェース、または（２）メニューを前記ディスプレイに選択的に表示する、請求項１記載のデジタルカメラシステム。
【請求項３】
デジタルカメラシステム（１０）であって、
前記アルゴリズムは、前記ユーザインタフェースの一部として、合成写真を撮影すべきか否かを選択するための選択ボタンを前記ディスプレイに表示する、請求項１記載のデジタルカメラシステム。
【請求項４】
デジタルカメラシステム（１０）であって、
前記印は、前記所望の合成写真の幅および高さを示すグリッドを含む、請求項１記載のデジタルカメラシステム。
【請求項５】
デジタルカメラシステム（１０）であって、
前記印は前記第１の写真のシャドウコピーを含む、請求項１記載のデジタルカメラシステム。
【請求項６】
デジタルカメラシステム（１０）であって、
前記アルゴリズムは、
撮影される写真の位置を記憶すること、および
ユーザが次の写真の位置を選択した後、前記ユーザが前記ディスプレイ上の前記印に相対して次の写真を配置することをガイドする印を隣接画像に隣接して表示すること、
を行う、請求項１記載のデジタルカメラシステム。
【請求項７】
レンズ、該レンズで見た画像を感知するイメージセンサ、該イメージセンサで感知した前記画像を表示するディスプレイ、前記イメージセンサで感知した前記画像を記憶する記憶装置、および前記ディスプレイ、前記レンズ、前記イメージセンサ、および前記記憶装置に結合された処理回路を有するデジタルカメラにおいて使用する方法（７０）であって、
合成写真を撮影すべきであるか否かを選択し、また撮影すべき第１の写真の位置を特定するユーザインタフェースを提供するステップ（７１）と、
前記第１の写真が撮影された後、撮影すべき第２の写真内の重複エリアを示す印を前記ディスプレイ上にオーバーレイするステップ（７２）と、
該カメラが前記第２の写真を撮影する位置に移動する際に、前記オーバーレイされた印を前記ディスプレイに表示されている前記画像と共に移動させるステップ（７３）であって、前記オーバーレイされた印が使用されて、前記第１の写真に相対して前記第２の写真が位置合わせされて配置される、移動させるステップ（７３）と、
を特徴とする、デジタルカメラにおいて使用する方法。
【請求項８】
デジタルカメラにおいて使用する方法（７０）であって、
所望の合成写真のサイズを示すユーザインタフェースまたはメニューを前記ディスプレイに選択的に表示するステップをさらに特徴とする、請求項７記載のデジタルカメラにおいて使用する方法。
【請求項９】
デジタルカメラにおいて使用する方法（７０）であって、
前記ユーザインタフェースの一部として、合成写真を撮影すべきか否かを選択するための選択ボタンを前記ディスプレイに表示するステップをさらに特徴とする、請求項７記載のデジタルカメラにおいて使用する方法。
【請求項１０】
デジタルカメラにおいて使用する方法（７０）であって、
前記印は、前記所望の合成写真の幅および高さを示すグリッドを含む、請求項７記載のデジタルカメラにおいて使用する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には、パノラマ（合成）画像を生成するデジタルカメラおよび方法に関する。
【背景技術】
【０００２】
デジタルカメラユーザは、最終的にパノラマを構成する写真を撮影するとき、写真がまず最適量の重複および適度に良好な位置合わせで撮影された場合に、最も効果的な結果を有することができる。現世代のカメラは、ユーザがこれを行うのを支援しようとするが、効果は最小でしかない。
【０００３】
パノラマの場合、一連の写真が水平線に沿って良好に位置合わせされていない場合、最終的なパノラマの垂直方向は、撮影された一連の写真の中で最も低い写真の最上部、および撮影された最も高い写真の最下部に制限される。したがって、各写真がその他の写真と水平に良好に位置合わせされている場合に最良の結果が得られる。
【０００４】
ステッチングが写真間に用いられるときは常に、特徴を正確に一致させ、かつレンズのエッジで発生し得る画像の歪みを回避するに十分な重複が写真間にある場合に最良のマッチングおよび結果になる。この最適量の重複はカメラ毎に異なるが、製造業者はそれぞれの量を指定することができる。
【０００５】
一連の写真の横に並べての位置合わせはそれ程悪くはない（支援されない）。これは、あらゆる写真に対してユーザが覚えている必要があるのは片側の重複だけであるためである。しかし、合成写真またはより複雑なパノラマ（３６０度、またはおそらく２つのパスがあり、一方が他方よりも垂直方向に高い）を作成するには、各写真は最後には複数の重複画像になり得る。これは、三脚を使用してさえも良好な位置合わせがはるかに難しい。
【特許文献１】米国特許第６４１１７４２号
【特許文献２】米国特許第６０６４３９９号
【特許文献３】米国特許第６３２３８５８号
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明者は、合成写真を撮影するプロセスは現世代のカメラでは良好なサポートをいずれも有していないと確信する。ユーザが最良の順序で、両側において画像ステッチングを成功させるに十分な重複があるジグザグの一連の写真を撮影することを支援する何らかのガイダンスが必要である。
【０００７】
本発明者が認めたデジタルカメラにおけるパノラマ向けのサポートは、カメラが表示画面に表示することができるラインのみである。ユーザは、１枚の写真の画像のライン上にある部分を頭の中でトラッキングし、そして画像のその部分を反対側のラインに重ねるように移動させなくてはならない。カメラは特別なことは何もせず、ユーザは写真撮影時に何がそこにあったのかを覚えている必要がある。上で触れたように、これは単純な横に並べたパノラマの場合には妥当であるが、より複雑な合成の場合はうまくいかない。
【０００８】
アナログカメラは、画像の上下をクロッピングし、広角モードを使用するようにユーザを制約することによってパノラマ効果を生み出す。しかし、画像全体はそれでも１つのみのフィルム露出に配置される。これは、パノラマを作成する非常に制限された不便な方法である。
【０００９】
Petersonに発行された「Merging images to form a panoramic image（パノラマ画像を形成するための画像のマージ）」という名称の米国特許第６，４１１，７４２号には、１つのビューの幾つかのセグメントの画像を合成する方法が開示されている。この方法は、第１の画像によって表される第１のビューセグメントに相対して、第２の画像によって表される第２のビューセグメントの位置を求めること、求められた位置に基づいて第２の画像を第１のセクションおよび第２のセクションに分割すること、第１の画像をキャンバスに描画すること、および第１のセクションの一部が第１の画像の一部をマスクするように、第２の画像の第１のセクションをキャンバスの求められた位置に描画すること、を包含している（問題を解決するための手段参照）。
【００１０】
Teoに発行された「Method and system for panel alignment in panoramas（パノラマにおけるパネルアライメントの方法およびシステム）」という名称の米国特許第６，０６４，３９９号には、パノラマ曲率を少なくとも１枚の画像に適用するステップであって、それによってパノラマ背景を作成する、適用するステップ、ならびにパノラマ曲率以外のジオメトリを有する追加画像をパノラマ背景に埋め込むステップであって、それによって、追加画像に対応する埋め込み画像を含み、ジオメトリがパノラマ背景のジオメトリに一致する合成パノラマ画像を提供する、埋め込むステップを含む、パノラマ画像を構築する方法およびシステムが開示されている（要約書参照）。
【００１１】
Gilbert他に発行された「System for digitally capturing and recording panoramic movies（パノラマ動画をデジタル取り込みおよび記録するシステム）」という名称の米国特許第６，３２３，８５８号には、プログレッシブ走査（すなわち、非インタレース）技術を使用してパノラマ画像を取り込み記憶するデジタルシステムが開示されている。このシステムは、デジタル画像入力装置および関連する制御コンピュータを備える。画像入力装置は、立方体の６つの面に位置決めされた６枚のレンズを有する。画像入力システムは他のレンズ構成を有することもできるが、立方体構成において６枚のレンズを使用することが、球状のパノラマの取り込みに使用されるシステムに対して最適である。
【課題を解決するための手段】
【００１２】
本発明は、ユーザが一連の写真を正確に位置合わせして、一連のより小さな写真から導出された大きな写真を生成する最適なパノラマ写真および合成写真を作成することを支援するデジタルカメラおよび方法を提供する。これは、低解像度カメラを使用したジグザグの一連の写真から解像度のより高い、またはより大きな写真を効果的に作成する。
【００１３】
カメラで実行されるアルゴリズムが画像撮影手順全体にわたってユーザをガイドし、ユーザがパノラマ写真または合成写真を撮影すべきか否か、および任意選択で最終画像の作成に必要な画像数（幅および高さ）を選択できるようにする。アルゴリズムは、画像撮影プロセス中にライブ画像にオーバーレイされて移動して、撮影すべき次の画像と前に録画された画像との位置合わせを支援する印を表示する。別法として、透明画像がディスプレイを横切って適した方向に撮影すべき次の写真の位置まで移動し、これが、前の写真に相対しての次の写真の位置合わせおよび配置に使用される。
【００１４】
本発明の実施形態の様々な特徴および利点は、同様の参照番号が同様の構造的要素を示す添付図面と併せて行われる以下の詳細な説明を参照することによってより容易に把握することができる。
【発明を実施するための最良の形態】
【００１５】
図面の図を参照すると、図１ａおよび図１ｂは、本発明の原理を使用してパノラマ（合成）画像を生成するように設計された例示的なデジタルカメラ１０の背面図および正面図のそれぞれである。図１ａおよび図１ｂに示すように、例示的なデジタルカメラ１０はハンドグリップ部２０および本体部３０を備える。ハンドグリップ部２０は、ロックラッチ２２を有する電源ボタン２１またはスイッチ２１、録画ボタン２３、ストラップ接続部２４、およびバッテリ２７を収容するバッテリコンパートメント２６を備える。バッテリは、デジタルカメラ１０の底面４７に隣接した開口部を通してバッテリコンパートメント２６に挿入することができる。
【００１６】
図１ａに示すように、本体部３０の背面３１は、たとえば液晶ディスプレイ（ＬＣＤ）３２等のディスプレイ３２またはビューファインダ３２、背面マイクロフォン３３、ジョイスティックパッド３４、ズーム制御ダイアル３５、カメラ１０の機能を設定するための複数のボタン３６、および画像をたとえばコンピュータにダウンロードするための出力ポート３７を備える。図１ｂに示すように、ズームレンズ４１がデジタルカメラ１０の正面４２から延出する。測光要素４３および正面マイクロフォン４４が、デジタルカメラ１０の正面４２に配置される。ポップアップフラッシュユニット４５が、デジタルカメラ１０の上面４６に隣接して配置される。
【００１７】
イメージセンサ１１は、たとえば本体部３０内に収容される処理回路１２（破線を使用して示される）に結合される。処理回路１２の例示的な実施形態としては、マイクロコントローラ（μＣ）１２または中央演算処理装置（ＣＰＵ）１２が挙げられる。μＣ１２またはＣＰＵ１２は不揮発性（ＮＶ）記憶装置１４および高速（揮発性）記憶装置１５、たとえばシンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）等に結合される。
【００１８】
デジタルカメラ１０における処理回路１２（マイクロコントローラ（μＣ）１２またはＣＰＵ１２）は、一連の写真を正確に位置合わせして最適なパノラマ写真および合成写真を作成する、本発明の原理による処理アルゴリズム１３（すなわち位置合わせアルゴリズム１３）を実施する。これについて図２、図３ａ〜図３ｃ、図４ａ〜図４ｄ、および図５ａ〜図５ｃを参照してより詳細に考察する。
【００１９】
図２を参照して、パノラマ写真および合成写真を生成する際に使用される、ディスプレイ３２に表示される例示的なユーザインタフェースを示す。図２に示すように、ユーザは、ディスプレイ３２上の選択ボタン５１、５２を使用すること等によって合成写真またはパノラマを作成したいと指定することができる。ユーザは、たとえば、ディスプレイ３２上に幅および高さを入力すること、プルダウンメニュー５３、５４を使用すること等により、結果得られる写真の幅が写真ｎ枚分であり、かつ高さが写真ｍ枚分であるべきであることを示すことができる。しかし、たとえばポップアップまたはスライディングメニュー５３、５４等、他のタイプのメニュー５３、５４を使用することも可能である。パノラマはｎ＞１かつｍ＝１を有することができ、合成写真はｎ＞１かつｍ＞１を有することができる。ユーザにｎおよびｍを指定させるのではなく、以下で考察する本発明の第２の態様を使用することも可能である。
【００２０】
本発明の第１の態様によれば、カメラ１０で実行されるアルゴリズム１３は、ｍ×ｎ最終画像に相対する、撮影すべき第１の写真の位置を示す、たとえばグリッド５５等の印５５をオーバーレイすることができる。アルゴリズム１３は、最終画像の或る角、たとえば左上の角から開始するようにユーザに指示する。
【００２１】
第１の特徴はこの時点で見られる。図３ａ〜図３ｃを参照すると、ユーザは第１の写真６１を撮影し、アルゴリズム１３はマーク５６を、表示されている画像上の、図３ｂに示す次の写真画像６２が理想的に重複する場所（すなわち、右側）にオーバーレイする（図３ａにおいて破線を使用して示される）。たとえば、ビデオ被写体トラッキング技術を低解像度表示画像５６に対して使用して、カメラ１０が回転または移動するときに、初期マークを画像と共に移動させて、カメラ１０がパンする（走査または移動する）際に画像内の同じ場所にロックインしたままにすることができる。本発明は、カメラ１０が左から右、右から左、または垂直次元でパンする状況に採用することも可能であることを理解されたい。所望のパノラマ画像６３を図３ｃに示す。
【００２２】
被写体トラッキングを実施するには多くの方法があるが、デジタルカメラ１０において、この用途に現在利用可能な資源（ＣＰＵ、メモリ等）は限られているため、単純な方法が以下で説明するようにかなりうまく働く。第１の実施形態について図４ａ〜図４ｄを参照して示す。
【００２３】
図４ａを参照すると、解析する必要があるのは画像６１のエッジ６４から最適重複ライン６５までのエリアのみである。画像６１の反対側（また上下）に対しても同じことが行われて、同様の最良重複ラインが作成される。これにより、本質的に、画像の四方を取り巻くトラッキング可能な矩形枠が作成される。枠は、画面３２外に移動する（ユーザがカメラ１０を次の画像位置に移す）までトラッキングされる。画像の一部がトラッキングされる限り、システムは、相対位置が分かっているため、枠の他の部分が画面上にいつ再び戻るはずか（必要であれば）が分かる。
【００２４】
ユーザは、カメラ１０を次の画像位置に移動させる際、主に一方向に移動させる傾向が最も強い。これにより、枠の、画面上に残っている部分のみをトラッキングすることが合理的になり、その画像の画面から外れた部分を心配する必要はない（しかし主要位置を一時的に記憶することができ、それにより、トラッキングされる被写体が、他の被写体が画面上に戻るように移動する場合にトラッキングを再開することができる）。複数の対象ポイントをトラッキングすることでアルゴリズム１３は助かる。これは、（個々ではあまり強力ではない場合であっても）複数の位置の確認により相対信頼度を高めることができるためである。
【００２５】
図４ｂを参照すると、枠の解析は、まず、解析ウィンドウをこの領域にわたって移動させ、識別特徴を有する候補位置を探すことを含む。これらにはエッジ検出アルゴリズム１３が関与する。ウィンドウは様々なサイズであることができるが、典型的なサイズは５ピクセル×５ラインであることができる。枠の四方のそれぞれについて、１つまたは複数の強力なエッジ位置（図４ｂでは、画像にオーバーレイされる矢印で示される）がｘ方向およびｙ方向において見つけられた場合、これらがトラッキングアルゴリズム１３の主要ポイントとしての役割を果たす。この例では、画像の右側に示す木が次の画像の位置合わせに使用される。
【００２６】
このエッジプロファイルは畳み込みカーネルにプログラムされ、そのカーネルは引き続き、エッジの元の位置付近の画像領域に対して実行される。「付近」の定義は解析を行う処理回路１２の能力に依存するが、エッジ位置が失われる前に画像を画像サンプル間で移動することができる程度を定義する。付近の半径を大きくすることができるほど、位置はより強固に保持されることになるため顧客の満足度は高まる。
【００２７】
エッジは、畳み込みカーネルと画像の対応するウィンドウ部分との間の最大応答を見つけることによって認識される。カーネルは、サンプルがカメラによって撮影される都度、画像のその領域に対して引き続き動作し、エッジ位置は、畳み込み応答が最大であった位置に更新される。アルゴリズム１３は、元々識別されていたエッジの相対位置がまだ一定のままであるかを確認することもできる。これにより、アルゴリズム１３に、識別されたエッジが正しいというさらなる確認が与えられる。次いで、このプロセスは、ユーザが次の実際の写真画像を撮影するまで繰り返され、次いで、アルゴリズム１３は対応する新しい画像「枠」を使用して再び開始する。
【００２８】
パフォーマンスの理由により、この動作は画像の低解像度バージョンに対して行うこともできる。画像の、ディスプレイ３２に表示されるバージョンを使用して、良好な精度を実現することができる。これは通常、撮影される実際の写真よりもはるかに低い解像度である。
【００２９】
図４ｃを参照すると、ユーザはカメラ１０を注意して回転またはパンして（右に）、ディスプレイ３２を横切って画像を（左に）移動させる。印５６（ガイドラインまたはマーク）は、図４ｄに示すように、ディスプレイ３２の反対（左）側に配置されるまで画像（木を含む）と共に移動する。これは、第１の写真画像に相対して次の写真画像を非常に良好に位置合わせし配置できるようにするマークをユーザに提供する。
【００３０】
ステッチングアルゴリズムが用いられて、写真画像を共に合成して、たとえば図３ｃに示す写真画像を生成する。本発明は、可動マーク５６を使用して撮影された隣接画像の重複部分の一致により、隣接する写真画像の改良されたマッチングを提供する。可動マーク５６は、特徴を正確に一致させて所望のパノラマ写真または合成写真を作成するに十分な重複を写真画像間に提供する。
【００３１】
本発明により提供することができる別の例示的なユーザインタフェースは以下である。このユーザインタフェースは、ユーザがカメラ１０のパノラマ特徴と対話する非常に直観的な方法を提供する。これについて図５ａ〜図５ｃを参照して示す。
【００３２】
図５ａを参照すると、たとえば、この実施形態では、ユーザは初期写真を撮影し、その写真をディスプレイ３２で見る。次いで、ボタン３６（図１ａ）を押下して「パノラマ」（図２）を示し、次いで矢印キー（ボタン３６の１つ）を押下することにより、ユーザは、合成写真が所望であることをカメラ１０に示し、次の写真をどの方向で撮影するかを示す。アルゴリズム１３はこれに応答して、たとえば、現在画像を透明にして（図５ｂに示す透明なオーバーレイ）、次の写真の方向に（図５ｂの左に）スライドさせる。現在画像は、図５ｃに示すようにディスプレイ３２の端までスライドするが、適宜量の透明オーバーレイ画像を残してストップする（上述したように）。次いで、ユーザは、各写真後に引き続き矢印ボタン３６（図１ａ）を使用して所望の方向を示す。アルゴリズム１３は、写真撮影の際に各隣接画像の適宜部分のオーバーレイをスライドさせる。最後に、ユーザはたとえば、再び「パノラマ」ボタン３６を押下し、ディスプレイ３２は通常の非透明動作に戻る。
【００３３】
この追加のアニメーションおよびインタフェースモデルが組み合わせられて、ユーザが次に何をすべきかを理解する極めて直観的なインタフェースが作成される。またこの技法により、カメラ１０は、ユーザが合成写真全体を事前に計画する（大半のユーザがこれをする見込みはあまりない）必要なく、ユーザが何を意図するかを完全に理解することができる。
【００３４】
本発明のこの第２の態様は、第１の態様と併せても、また第１の態様なしのいずれでもうまくいく。たとえば、ユーザがカメラ１０およびマーク５６または印５６を動かしすぎる、ディスプレイ３２から外れる、または画像内で完全にトラッキングすることができない場合、第２の態様はそれでもやはり、前の写真画像の（透明または半透明の）シャドウコピー５６（図３ｂにおいてマーク５６で囲まれた画像のエリアとして示される）を表示し、ディスプレイ３２上のライブ（ライブビュー）画像の正しい側に沿って正しい重複部分を配置することができる。次いでユーザは、透明または半透明の画像５６およびライブ画像がぴったりと並ぶため、次の写真画像がいつ前の写真画像に適宜位置合わせされるかを見ることができる。両方の方法がディスプレイに同時にある他の場合、ユーザは、被写体トラッキングマークを半透明コピー領域に並べて位置合わせすることもでき、一連の写真の間で適宜位置合わせを得ることがさらに支援される。
【００３５】
別法として、また（透明または半透明の）シャドウコピー５６に代えて、写真内の特定の被写体のエッジの輪郭を使用することができる。
【００３６】
第２の態様が、撮影すべき次の写真画像が前の写真画像の上、右、左、それとも下にあるかをユーザが繰り返し選択するように実施される場合、ｎおよびｍを（開始前に）指定する必要をなくすことができる。これは、平均的なユーザはおそらく、いくつの枠を撮影しなければならないかが事前にはっきりとはわからないため好ましいと考えられる。
【００３７】
カメラ１０で実行されるアルゴリズム１３は、前の写真画像が撮影された場所を覚え（すなわち記憶し）、意味を成す選択肢のみをユーザに与える。たとえば、写真画像が左から右に進んでいた場合、ユーザは上、右、または下を選択することが可能であるが、左を選択することはできない（前の写真画像が２度撮影されないように）。第２の次元が選択されると（上または下）、次元の一方の長さはその方向において撮影された枠の数から分かる。
【００３８】
カメラ１０で実行されるアルゴリズム１３は、引き続き、ジグザグに写真を撮影する指示をユーザに与える。次いで、アルゴリズム１３は、境を接する２つの画像から（最終写真のエッジにある画像上を除き）２つの印５６（２つのセットのマーク５６または２つのシャドウコピー５６）を提供して、ディスプレイ３２でのマーク５６またはシャドウコピー５６に相対しての次の写真画像のユーザによる配置をガイドする。これは、ユーザが終了を示すまで続けられる。これは他方の次元を規定する。大きな、または高い解像度の合成画像をこのようにして共に容易に配置し、プロセス全体を通して順を追ってユーザをガイドすることができる。
【００３９】
後に、画像の集まりは、一次元（パノラマ）または二次元（合成）ステッチングに使用可能な、PanaVueから市販されているImageAssembler等の現在入手可能なソフトウェアを使用して、従来の様式で共にステッチングされる。或る他のソフトウェアパッケージに対する唯一の変更は、最終画像が一次元だけではなく複数の次元でサブ画像を有することを理解するために、追加の選択肢が必要であり得る。
【００４０】
上記を念頭に置き、図６は、本発明の原理による例示的な第１の方法７０を示す流れ図である。例示的な第１の方法７０は以下のステップを含む。例示的な第１の方法７０は、レンズ４１、レンズ４１で見た画像を感知するイメージセンサ１１、イメージセンサ１１で感知した画像を表示するディスプレイ３２、イメージセンサ１１で感知した画像を記憶する記憶装置１４、１５、およびディスプレイ３２、レンズ４１、イメージセンサ１１、および記憶装置１４、１５に結合された処理回路１２を有するデジタルカメラ１０において使用される。
【００４１】
例示的な方法７０は以下のステップを含む。パノラマ写真または合成写真を撮影すべきか否かを選択し、また撮影すべき第１の写真の位置を特定するためのユーザインタフェースがディスプレイ３２に表示される（７１）。第１の写真が撮影された後、撮影すべき第２の写真内の重複エリアを示す印がディスプレイ３２にオーバーレイされる（７２）。オーバーレイされる印は、カメラが第２の写真を撮影する位置に移動すると、ディスプレイ３２に表示される画像と共に移動する（７３）。そのオーバーレイされる印が使用されて、第１の写真に相対して第２の写真が位置合わせされて配置される。
【００４２】
図７は、本発明の原理による例示的な第２の方法８０を示す。例示的な第２の方法８０は、レンズ４１、レンズ４１で見た画像を感知するイメージセンサ１１、イメージセンサ１１で感知した画像を表示するディスプレイ３２、イメージセンサ１１で感知した画像を記憶する記憶装置１４、１５、およびディスプレイ３２、レンズ４１、イメージセンサ１１、および記憶装置１４、１５に結合された処理回路１２を有するデジタルカメラ１０において使用される。例示的な第２の方法８０は以下のステップを含む。
【００４３】
写真が撮影される（８１）。写真がディスプレイに表示される（８２）。ユーザインタフェースが使用されて、合成写真が撮影されるべきであることが選択される（８３）。ユーザインタフェースが使用されて、次の写真を撮影すべき方向が示される（８４）。表示画像が透明になる（８５）。透明な表示画像が、撮影すべき次の写真の所定の部分に重なるまで、次の写真の方向とは逆の方向にディスプレイを横切って移動し、重複が使用されて、写真に相対する次の写真が位置合わせされて配置される（８６）。次の写真が撮影される（８７）。合成写真を構成する写真がすべて撮影されるまで、先の４つのステップ（ステップ８４〜８７）が繰り返される（８８）。
【００４４】
本発明の利点は、前の写真と、撮影すべき現在の写真の相対的な位置合わせについての強力なフィードバックをユーザに与えることにある。これにより、平均的なユーザが複雑な合成写真の作成に成功することができる。本発明は、合成写真またはより複雑なパノラマを作成するより複雑な合成プロセス全体を通してユーザを容易にガイドする。本発明は、ユーザと対話するはるかに正確かつユーザフレンドリな方法である。結果得られるパノラマ写真および合成写真は、互いに対する位置合わせの改良により、より高い品質を有するとともに、より一様な結果を有する。
【００４５】
したがって、パノラマ（合成）画像を生成するデジタルカメラおよび方法について開示した。上記実施形態は単に、本発明の原理の応用例を表す多くの特定の実施形態のいくつかを表すことを理解されたい。明らかに、本発明の範囲から逸脱することなく、多くの他の構成が当業者により容易に考案可能である。
【図面の簡単な説明】
【００４６】
【図１ａ】本発明の原理による例示的なデジタルカメラの背面図である。
【図１ｂ】本発明の原理による例示的なデジタルカメラの正面図である。
【図２】パノラマ写真および合成写真を生成する際に使用されるために表示される例示的なユーザインタフェースを示す。
【図３ａ】ユーザによるパノラマの合成を支援する、本発明の原理による例示的な位置合わせ技法を示すデジタルカメラの表示画面を示す。
【図３ｂ】ユーザによるパノラマの合成を支援する、本発明の原理による例示的な位置合わせ技法を示すデジタルカメラの表示画面を示す。
【図３ｃ】本発明を使用して構築された最終パノラマを示す。
【図４ａ】本発明による被写体トラッキングの第１の実施形態を示す。
【図４ｂ】本発明による被写体トラッキングの第１の実施形態を示す。
【図４ｃ】本発明による被写体トラッキングの第１の実施形態を示す。
【図４ｄ】本発明による被写体トラッキングの第１の実施形態を示す。
【図５ａ】本発明による被写体トラッキングの第２の実施形態を示す。
【図５ｂ】本発明による被写体トラッキングの第２の実施形態を示す。
【図５ｃ】本発明による被写体トラッキングの第２の実施形態を示す。
【図６】本発明の原理による第１の例示的な方法を示す流れ図である。
【図７】本発明の原理による第２の例示的な方法を示す流れ図である。
【図１ａ】
2005223905.tif 000003
【図１ｂ】
2005223905.tif 000004
【図２】
2005223905.tif 000005
【図３ａ】
2005223905.tif 000006
【図３ｂ】
2005223905.tif 000007
【図３ｃ】
2005223905.tif 000008
【図４ａ】
2005223905.tif 000009
【図４ｂ】
2005223905.tif 000010
【図４ｃ】
2005223905.tif 000011
【図４ｄ】
2005223905.tif 000012
【図５ａ】
2005223905.tif 000013
【図５ｂ】
2005223905.tif 000014
【図５ｃ】
2005223905.tif 000015
【図６】
2005223905.tif 000016
【図７】
2005223905.tif 000017