(57)【特許請求の範囲】
【請求項１】
第１の向きで第１の画像をそして、第２の向きで第２の画像提示するように構成されたカメラであって、前記第２の向きが前記第１の画像と前記第２の画像の重なり合いが最小となる向きであるカメラと、
前記第１の向きから前記第２の向きへの前記カメラの向きの変化を検出するセンサであって、加速度を検出しそしてその加速度の時間間隔を取得して、プロセッサが前記カメラの変位を計算して前記第１の向きから前記第２の向きへの前記カメラの向きの変化を検出することを可能にするセンサと、そして
前記カメラが前記第２の向きに移動したときに、これをユーザに伝える通知手段と
を備え、
前記センサから出力された前記検出されたカメラの向きの変化を使用して前記第１の画像と前記第２の画像とを結合することにより前記プロセッサがパノラマ画像を生成する
ことを特徴とする合成画像発生装置。
【請求項２】
第１の向きに向けたカメラを使用して、第１の画像を捉えるステップと、
前記カメラを第２の向きに前記カメラのユーザによって向き変更するステップと、
前記第１の向きと前記第２の向きの間で前記カメラの前記向き変更を決めるのに充分なデータを得るステップであって、加速度を検出しそしてその加速度の時間間隔を取得して、プロセッサが前記カメラの変位を計算して前記第１の向きから前記第２の向きへの前記カメラの向きの変化を検出することを可能にする、ステップと、
前記第１の画像と前記第２の画像の重なり合いが最小になるように前記カメラが前記第２の向きとなっている前記カメラのユーザに知らされたのに応答して前記第２の画像を捉えるステップと、そして
前記検出されたカメラの向きの変化を使用してパノラマ画像を形成するために前記第１の画像と前記第２の画像とを結合するステップと
からなることを特徴とするパノラマ画像を生成する方法。
【発明の詳細な説明】
【０００１】
発明の背景
１．発明の分野
本発明は、主として合成画像に関する。より詳細には、本発明は、カメラの動きおよび向きを検出するためのモーション・センサの使用に関する。モーション・センサからのデータは、カメラによって撮像された複数の画像と組み合わされ、大きな合成画像に継ぎ合わせられる。
【０００２】
２．関連技術
今日の写真システムおよび画像システムは、基本的に局所的な画像の再生に使用するように設計されている。通常、パノラマ写真を希望するときには、広角レンズを使用する。しかし、一般に広角レンズは、画像の隅にひずみを生じるという欠点を有している。広角レンズが有する第２の欠点は、フィルム１平方ミリメートル当たりより多くの被写体が記録されるので、結果的に記録される画像のディテールが低くなることである。この問題を解決するための１つの方法は、複数のカメラまたは電子センサを使用して複数の画像を記録し、その複数の画像をつないで合成画像を作成することである。
【０００３】
広角レンズの視野の外となるシーンを記録するために、従来のパノラマ画像システムは、２台ないしはそれ以上のカメラを使用していた。たいてい、これら２台のカメラの間の関係は固定されていた。２台のカメラの間の関係が固定されているので、二つの画像をつなぐとき、その二つ画像に関する情報は知られている。２台のカメラを使用する場合の問題は、カメラを１台しか使用しない構成より高価になるということである。２台のカメラは、通常、２本のレンズ、２台のカメラ本体、および２本のフィルムを必要とする。
【０００４】
さらに、つなぎ合わされた一連の画像を生成する第３の従来技術方法は、レンズシステムを移動させて連続した画像を記録することである。しかしながら、この種の動きは、記録した画像の間に過剰なオーバーラップを招くことが少なくない。過剰なオーバーラップは、過剰なデータを意味し、それは大量のメモリを消費する。また過剰なオーバーラップは、余分な画像の記録を必要とする。その際、これらの余分な画像をも、記憶し、処理しなければならない。
【０００５】
オーバーラップを少なくしようとすると、情報の記録漏れを招くことがある。充分な情報の記録に失敗すれば、画像の間にギャップが生じ、合成画像の再構成が困難になる。このため、単一の合成画像に結合するための、最適オーバーラップ領域を伴う複数画像を迅速かつ容易に生成し得るシステムの設計が望まれている。そのようなシステムを説明する。
【０００６】
発明の簡単な説明
合成画像を生成するためのシステムを説明する。このシステムは、第１の向きで第１の画像を記録し、第２の向きで第２の画像を記録するように構成された撮像装置を含む。センサが、この撮像装置の動きを検出する。このセンサの出力はプロセッサによって使用され、第１の画像と第２の画像を継ぎ合わせてパノラマ画像が生成される。
【０００７】
発明の詳細な説明
以下においては、単一のレンズシステムを伴う単一のカメラを使用して合成画像を生成するシステムを説明するが、それにはサラウンド画像およびパノラマ画像の両方が含まれる。パノラマ画像は、広いエリアをカバーする画像であり、通常は、広角レンズの視野の範囲を超える。パノラマ画像には、ユーザを中心とする円弧、通常はユーザの全周を取り囲んでいる３６０°の円に投影される画像であるサラウンド画像も含まれる。
【０００８】
一実施形態においては、カメラの線形ならびに回転の加速度もしくは動きを検出する１組のモーション・センサ、好ましくはマイクロマシン加工シリコン（「ＭＥＭＳ」）センサがカメラに備わり、それによってカメラの変位が計算され、カメラが置かれているポジションが決定される。それに代えて、位置の決定にグローバル・ポジショニング（「ＧＰＳ」）システムを使用してもよい。使用可能な別のタイプのモーション・センサとしては、振動ＭＥＭセンサまたは市販のレーザ・ジャイロが挙げられる。カメラの向き情報を含むポジション情報とそのカメラによって撮像された少なくとも２つの画像を使用することにより、プロセッサは、被写体の合成画像またはパノラマ画像を再生することができる。
【０００９】
以下の付随した説明は、本発明の理解を容易にするために特定の詳細を提供する。たとえば、明細においては、マイクロマシン化された加速度計等の、特定のＭＥＭＳセンサ・タイプを使用した態様で本発明が説明されている。しかしながら、別のポジション・センサまたはモーション検出器を使用ができることも認識されたい。特に、ＧＰＳシステムおよび別のタイプのＭＥＭＳは適切であると考えられる。実際に使用するセンサは、センサのコスト、センサが提供し得るデータの精度が充分であるか否かということ、センサの消費電力、およびセンサのサイズに依存することになろう。つまり、ここに含まれている詳細は、本発明の理解を容易にするために提供されるものであって、本発明の範囲を限定するものと解釈されるべきではない。
【００１０】
図１に、パノラマ画像を生成するためのカメラを図示する。図１において、カメラ１０４は、被写体１０８の合成画像を生成するために使用される。この場合の被写体は、一般に広いエリアにわたるシーンまたは画像となる。カメラは、初期ポジション１１２において第１の画像を撮影する。第１の画像を撮影した後、カメラを第２のポジション１１６に動かす。このカメラの動きには、矢印１２０で示される横方向の移動および矢印１１８、１２４で示される回転運動を含めることができる。一実施形態においては、カメラ内のモーション・センサ１２８が、カメラの横方向の移動および回転を検出する。横方向移動および回転運動を検出するためには、好ましくは２つのＭＥＭＳセンサを使用し、一方のＭＥＭＳセンサで横方向の加速度１２０を検出し、他方のＭＥＭＳセンサにより回転を検出する。一実施形態においては、横方向の動きを禁止し、単一のＭＥＭＳセンサのみが使用される。
【００１１】
好ましい実施形態においては、ＭＥＭＳセンサ１２８が慣性センサとなる。この種のセンサは、Ｈｏｗｅ（ホウ）によって開発され、１９８９年２月に米国ユタ州ソルトレークシティにおいて開催されたＩＥＥＥ  Ｍｉｃｒｏｅｌｅｃｔｒｏｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍｓ  Ｗｏｒｋｓｈｏｐ（マイクロエレクトロメカニカル・システムズ・ワークショップ）の会報の５３〜５９ページに掲載された「Ｌａｔｅｒａｌｌｙ  Ｄｒｉｖｅｎ  Ｐｏｌｙｓｉｌｉｃａｔｅ  Ｒｅｓｉｄｅｎｔ  Ｍｉｃｒｏ  ｓｔｒｕｃｔｕｒｅｓ（横方向に駆動されたポリ珪酸塩残留微細構造）」と題されたＷ．Ｃ．  Ｔａｎｇ（タン）、Ｔ．Ｃ．  Ｎｇｕｙｅｎ（ギュエン）およびＲ．Ｔ．  Ｈｏｗｅ（ホウ）による論文に説明されている櫛形ドライブ・アクチュエータ・テクニックを基礎とする。適切な加速度計の例としては、Ａｎａｌｏｇ  Ｄｅｖｉｃｅｓ（アナログデバイセズ）から入手可能な５０Ｎ１Ｇ加速度計が挙げられる。Ａｎａｌｏｇ  Ｄｅｖｉｃｅｓ（アナログデバイセズ）は、デバイスの回転を検出するためのマイクロマシン・センサを組み込んだ集積化ＢｉＣＭＯＳデバイスの製造も行っている。これらのセンサは、先進の自動車用ブレーキ・システムに使用されている。これらのセンサは、Ｇｅｎｅｒａｌ  Ｍｏｒｔｏｒｓ（ゼネラル・モータース）によって市場化され、ミシガン州アン・アーバー（ジップコード、４８１０９）にあるミシガン州立大学電気工学部集積化センサおよび回路センター（Ｃｅｎｔｅｒ  ｏｆ  Ｉｎｔｅｇｒａｔｅｄ  Ｓｅｎｓｏｒｓ  ａｎｄ  Ｃｉｒｃｕｉｔｓ）に所属するＣ．Ｈ．  Ｍａｓｔｒａｎｇｅｌｏ（マストランジェロ）による「Ｏｖｅｒｖｉｅｗ  Ｏｆ  ＭＥＭＳ  Ａｃｔｉｖｉｔｉｅｓ  Ｉｎ  Ｔｈｅ  Ｕ．Ｓ（米国におけるＭＥＭＳアクティビティの概要）」と題された論文の中で解説されている。Ｍａｓｔｒａｎｇｅｌｏ（マストランジェロ）によるこの論文は、光学アクチュエータを含むモーション・センサの変形実施形態についても触れており、それをカメラの動きの検出に使用してもよい。カメラの加速度を積分すれば、速度を求めることができる。速度をさらに積分すれば、カメラの変位が得られる。この変位情報は、第２の画像を撮影するとき、カメラ１０４の、第１のポジション１１２と相対的な第２のポジション１１６および向きを決定するために使用することができる。
【００１２】
カメラの相対的な向きおよびポジションは、第１のポジション１１２および第２のポジション１１６を含めて、カメラの内蔵メモリ・デバイス１３２に記録されるが、別の実施形態においては、このデータをカメラに接続された外部メモリに記憶することもできる。加速度を測定するセンサ等の一部のモーション・センサは、ポジション・データを生成しない。その種の実施形態においては、データはカメラの動きを表すデータ、たとえば加速度データがメモリ内に記録される。その後、プロセッサの使用により、ポジション・データの計算が行われる。それぞれの動きまたはポジションおよび向きのデータが組み合わされ、たとえば第１のポジション１１２または第２のポジション１１６のような対応するポジションとともに記録された各画像の相関がとられる。
【００１３】
各画像は、写真フィルム、またはより好ましくは電子センサ１３４を使用して記録される。一実施形態においては、この電子センサを相補形金属酸化膜半導体（ＣＯＭＳ）センサである。別の実施形態においては、光検知電荷結合素子アレイ（「ＣＣＤ」）やフォトダイオードを使用することもできる。電子センサによって出力された電子画像は、第２のメモリ・デバイス１３６内に記憶される。画像を写真フィルム上に記録する場合には、その後の処理のために、画像を電子形式に変換する。この変換は、スキャナまたは、その他の化学的もしくは光学的データを電子データに変換する方法を用いて行うことができる。この種のスキャナは、カリフォルニア州パロアルトのＨｅｗｌｅｔｔ  Ｐａｃｋａｒｄ（ヒューレット・パッカード）を含む数社から市販されている。デジタル画像は、メモリ・デバイス１３６内に記憶される。
【００１４】
１つの被写体に関する２ないしはそれ以上の画像から１枚の単一のパノラマ画像を生成するために、プロセッシング・ユニット１４０は、画像および対応するポジションならびに向きの情報を取り込み、それらを単一のパノラマ画像に再結合する。プロセッシング・ユニット１４０は、グラフィック・プロセッサ・カードに実装することができる。別の実施形態においては、プロセッサは、プログラムを実行してグラフィック処理機能を処理する汎用マイクロプロセッサである。２枚の画像を処理して１つの合成画像を生成する各種の方法が解説される。
【００１５】
図２は、図１に示したカメラから１枚のパノラマ画像を生成するために使用されるステップを示したフローチャートである。ユーザは、第１の画像を撮る前に、ステップ２０４でカメラのポジション・インジケータをリセットする。このカメラのポジション・インジケータのリセットは、好ましくはモーション・センサの出力を記憶しているメモリ１３２をクリアし、連続して記録される第１の（最初の）画像を好ましくはゼロ点基準フレームにおく。ステップ２０８においてカメラは、ゼロ点基準フレームに被写体の画像を記録する。第１の画像の記録と概略同時点に、それに対応するカメラのポジションおよび向きがメモリ１３２内に記録される。図１に示したカメラにおいては、ＣＣＤアレイが画像を生成し、それが図１の第２のメモリ１３６内に記憶される。
【００１６】
カメラは、第１の画像およびそれに対応するポジション、向き情報を記録すると、それに続くステップ２１２において、カメラのポジションまたは向きが変更される。この移動には、横方向の移動１２０と向きの移動（回転）１１８、１２４を共に含めることができる。カメラの移動は、人もしくはモータ・ドライブ装置のいずれによるものであってもよい。一実施形態においては、カメラが三脚を中心に回転し、横方向の動きが最小化されるため、横方向の移動を測定しないカメラの実施態様が可能になる。移動の間、センサ、好ましくはＭＥＭＳセンサがステップ２１６においてデバイスの動きおよび回転を記録する。本発明の一実施形態においては、ＭＥＭＳセンサが加速度を記録し、この加速度を積分して変位を生成する。記録された加速度、回転、または変位の情報は、メモリ・デバイス内に記憶される。
【００１７】
カメラを第２のポジションに向けた後、同じ被写体の第２の画像を記録する。第２の画像の記録時にカメラは、モーション・センサからの情報を使用し、この第２の画像に対応するカメラのポジションならびに向きの情報を記録する。ポジションと向きの情報は、ポジションおよび向きメモリ・デバイス１３２内に記憶される。プロセッサが、オーバーラップしている領域を再構成し、継ぎ合わせたパノラマ画像を生成するためには、第２の画像および第１の画像に、充分な被写体のオーバーラップがなければならない。
【００１８】
以上のステップ２０４から２２０までのシーケンスは、スチル・カメラにおいて使用されるものとしてシステムを説明している。しかし、ＭＥＭＳまたはモーション・センサをビデオ・カメラにインストールし、カメラの動きに従って多くの画像を取り込むことも企図に含まれている。その場合、それぞれの画像が、モーション・センサによって記録された情報から生成される一連のポジションならびに向きのデータに対応する。これらの画像は、続いて隣り合う画像を用いて再構成され、適切なパノラマ画像が生成される。この種の移動画像の再構成に使用されるテクニックは、ステップ２０４〜２２０の繰り返し、およびプロセッサによって実行される一連の再構成のステップを繰り返すことによって実現できる。ステップ２２４においては、モーション・センサによって生成されたポジションならびに向きの情報が、対応する記録済みの画像とともにプロセッサに送信される。
【００１９】
図３は、サラウンド画像または半球画像を記録するためのカメラ・システム３００の一実施形態を示している。被写体からの光は、レンズシステム３０４を通り、被写体の画像をミラー３０８上に（虚像を）生成する。ミラー３０８は、この虚像の方向をセンサ３１２に向けてそこに結像させる。センサ３１２は、写真フィルムとすることもできるが、好ましくはセンサ３１２を電荷結合素子センサまたはＣＭＯＳデバイスとする。センサ３１２の出力は、メモリ・デバイス（図示せず）に記憶される。
【００２０】
図示した実施形態においては、レンズシステム３０４、ミラー３０８およびセンサ３１２を含むアッセンブリがそれぞれが互いに固定された関係でマウントされており、ミラー・チルト・アクチュエータ３１６が、このアッセンブリを第１の自由度に対して傾斜させ、所定のポイントを基準にして上下の被写体の部分（ｙ軸に沿った部分）を記録することができる。傾斜角は、一種のセンサ、つまりエンコーダ３２０によって記録され、画像記録時の傾斜の量が記録される。
【００２１】
図示した実施形態は、レンズシステム３０４、ミラー３０８およびセンサ３１２を含むアッセンブリがさらに、第２の自由度に関してこのアッセンブリを回転させる自由回転リング３２４上にマウントされており、所定のポイントを基準にして左右の被写体の部分（ｘ軸に沿った部分）を記録することができるようになっている。移動または回転は、自由回転リング３２４に結合されたモータ３２８によって行われる。シャフト・エンコーダ３３２は、画像を記録する各ポイントにおける自由回転リング３２４の向きも含めたポジションを検出し、記録するためのモーション・センサとして機能する。
【００２２】
図３に示したカメラ・システム３００を使用して画像を記録すれば、最小のオーバーラップ領域で合成画像を生成することができる。第１の応用においては、このシステムを使用して円柱フォーマットのサラウンド画像を記録する。カメラ・システム３００を円柱フォーマットのサラウンド画像の記録に使用するとき、モータ３２８により「ｘ」軸方向に沿う円内でカメラ・システム３００を回転させている間、ミラー・チルト・アクチュエータ３１６は、レンズ３０４、およびミラー３０８を一定の傾斜角に維持する。カメラ・システム３００によって記録された画像は、プリセットされた傾斜角における円柱の横断面を表す。プリセットされた角度ポジションで円に沿って画像が記録され、プロセッサ（図示せず）は、記録済み画像を再結合し、円柱状の画像を生成する。結合される断面は、図３Ｂに示すパイ３５２を構成する部分３５０に類似している。プリセットされた角度ポジションには、カメラ・システム３００の視野および隣接する画像の間に望ましいとするオーバーラップ領域が考慮されている。モーション・センサまたはモータ・エンコーダは、カメラ・システム３００がプリセットされたポジションに到達したことを判断するため、および画像を記録することを指示するために使用される。
【００２３】
カメラ・システム３００は、半球フォーマットの記録にも使用することもできる。半球フォーマットのサラウンド画像を記録する１つの方法は、図３Ｃに示すように複数のサラウンド画像３６０、３６２、３６４、３６６の連続記録を用いる。所定の傾斜角でサラウンド画像を記録した後、ミラー・チルト・アクチュエータ３１６を次のプリセットされたチルト・ポジションに変更して、カメラ・システム３００のそれぞれの回転ごとにカメラ・システム３００を用いて異なるサラウンド画像を記録する。プリセットされたチルト・ポジションには、ｙ方向におけるカメラ・システム３００の視野および隣接する「サラウンド画像」の間に望ましいとするオーバーラップ領域が考慮されている。カメラ・システム３００がプリセットされたチルト・ポジションに到達したことは、モーション・センサまたはチルト・エンコーダ３２０を用いて判断する。
【００２４】
図４は、２ないしはそれ以上の画像から、それぞれに対応するポジションならびに向きのデータを使用して合成画像を再構成するために、プロセッサまたはプロセッシング・デバイス１４０によって実行されるステップを示したフローチャートである。ステップ４０４においてプロセッサは、カメラから、カメラのポジションならびに向きの情報、および対応する画像データを受け取る。続いてプロセッサは、ステップ４０８において、第１および第２の画像内の対応ポイントを選択する。対応ポイントは、異なる画像または透視図に含まれるポイントであって、被写体における同一ポイントに対応するポイントである。つまり、対応ポイントは、被写体上の所定ポイントに対応する第１の画像内のポイントまたはピクセルおよび、被写体上の同一ポイントに対応する第２の画像内の第２のポイントまたはピクセルである。ここでは、第１の画像内のポイントおよび第２の画像内のポイントが対応ポイントとして定義される。たとえば、人物の鼻の先を被写体におけるポイントとし、第１および第２の画像の両方に現れたそれに対応するポイントを選択することが考えられる。本発明の一実施形態においては、パターン認識ソフトウエアを使用し、対応ポイントを決定する。第２の、対応ポイントを決定するためのより単純な方法は、エンド・ユーザによる操作を伴い、ユーザは、第１の画像内のポイントを選び、マウスまたはその他のポインティング・デバイスを使用してそれを第１のポイントとして選択または「クリック」し、続いて第２の画像内の対応するポイントを選択または「クリック」する。好ましい実施形態は、それぞれのオーバーラップ領域内において３つの対応ポイントを選択する。オーバーラップ領域は、２つの画像を結合するための冗長なデータ領域である。ステップ４１２においては、選択された対応ポイントおよびそのｘ、ｙ座標をメモリ・デバイス内に記憶されているレコードに記録する。このレコードは、各ポイントについてｘおよびｙ座標を記録しなければならないことから、通常は２次元レコードとなる。
【００２５】
ステップ４１６においては、２つの画像を操作して２つの画像内の対応ポイントを一致させるために使用されるオペレーションをプロセッサが識別する。より詳細に述べれば、ステップ４１６は、２つの画像の少なくとも一方に対して適用される回転、移動、拡大縮小のオペレーションを識別することを含む。対応ポイントのマッチングに用いるオペレーションを決定するためには、モーション・センサからのデータを使用することができる。モーション・センサが充分に高精度であり、高感度であれば、固定した被写体に関するカメラの動きを数学的に計算して画像のアライメントを決定することができるため、対応ポイントの識別は不要になる。しかし通常は、コンピュータが２つの画像の少なくとも一方に対する回転、移動、および拡大縮小を含むオペレーションを実行し、２つの画像を適正に整列させるオーバーラップ領域を求める。
【００２６】
データを電子的に記憶するとき、２つの画像のオーバーラップする領域は、通常、オーバーラップしている１つの領域の画像を生成するために必要なデータの２倍のデータを有することになる。このデータの冗長性を抑えるためには、一方の画像データから本質的部分を形成しないデータを削除すればよい。データを結合する別の方法は、２組のデータ・セットの間のオーバーラップ領域の２つの画像からのデータを補間または平均し、オーバーラップ領域を表す単一のデータ・セットを生成する。データの平均または補間を行うか、あるいは一方の画像からデータを削除するかの判断は、プロセッサの演算パワーおよび希望の表現精度に依存する。高い精度を求めるのであれば、オーバーラップ領域内のデータの平均または補間を可能にする高い演算パワーが必要になる。
【００２７】
ステップ４２４においては、結果のパノラマ画像を形成するパラメータが再計算される。より詳細に述べれば、再結合する画像が３次元画像である場合には、３Ｄポイント・セットにおけるテクスチャ表面、カラー表面、および三角形の頂点の再計算が行われ、再形成された構成ブロックまたはエレメントを含む新しいデータベースが生成される。これらのエレメントは、３Ｄデータベースにおいては一般に三角形（トライアングル）となる。この種のトライアングル・メッシュの組み替えに使用される代表的なアルゴリズムに、Ｄｅｌａｕｎｉ（デローニ）アルゴリズムがあり、「＿＿＿＿＿」に解説されている。再結合する画像が２次元のときは、この種のメッシュの組み替えは不要であり、２つの画像を結合した合成画像が生成された時点でプログラムが完了する。
【００２８】
再結合する画像が３次元のときは、ステップ４２８において、新しいテクスチャ表面および新しいカラー表面を含む３Ｄポイント・セットのテクスチャ・バーテックスを計算する必要がある。これらの新しく計算されたテクスチャ表面およびカラー表面は、ステップ４２４において計算された新しいテクスチャ・バーテックスに再適用される。
【００２９】
まとめると、図４に示したフローチャートに説明されているプロセスは、２つの画像からより適切なパノラマ画像を生成させる。第１の画像は、第１のポジションにおいてカメラが第１の画像を撮ることによって生成される。モーション・センサは、カメラが第２のポジションに移動して第２の画像を撮るとき、カメラの動きならびに回転またはポジションを検出する。そのポジション情報を使用することによってプロセッサは、これらの第１の画像および第２の画像を結合し、適切なパノラマ画像を生成することができる。
【００３０】
これまで説明してきたシステムは、必要となる装置が少ないことからコストを削減することができる。特に、必要となるレンズシステムは１本だけである。レンズシステムが単一であることから、従来技術のパノラマ画像システムより扱いやすい。最後になるが、説明したシステムは、複数の画像を撮影できるビデオ・カメラにも適している。これらの複数の画像は、結合して動画のパノラマ画像またはサラウンド画像のデータベースを生成することができる。
【００３１】
ここに説明したシステムは、さらに洗練してカメラ１０４またはカメラ・システム３００の使用容易性およびデータ収集能力を向上させることができる。図５は、ユーザを補佐する方法を説明したフローチャートであり、カメラ１０４またはカメラ・システム３００のデータ収集能力を向上させる。ステップ５０４においては、カメラが第１のポジションから被写体の第１の画像を得る。次にステップ５０８に進み、カメラは、続く画像を撮るための最適カメラ・ポジションを計算する。図３に示したカメラ・システム３００においては、一般にこの最適ポジションが、必要なオーバーラップを最小にするポジションとなる。つまりカメラは、それぞれの画像を記録した後、所定の角度だけ回転されることになる。この角度は、カメラの視野に依存し、さらにそれはレンズ３０４の焦点距離に依存する。広角レンズであれば、画像間におけるｘ方向の回転角度がより大きくなり、したがって全円の記録に必要な画像数も少なくなる。逆に望遠レンズであれば、視野角が狭くなることから、１つの画像の撮像後の回転角度が小さくなる。
【００３２】
ステップ５１２でカメラによる画像取り込みシーケンスが開始される。向き測定が、カメラの向きを決定するために行われる。
【００３３】
カメラのマニュアル移動を基礎とするカメラ・システムの場合は、ステップ５１６において、カメラからユーザに移動の指示が与えられる。一実施形態においては、この指示がカメラのビュー・ファインダ内に表示される矢印の形で与えられる。この矢印は、ユーザに特定の方向にカメラを移動すること、あるいはカメラを特定の向きに回転することを促す。矢印は、液晶ディスプレイ（ＬＣＤ）を使用して表示することができる。プロセッサに対する信号の提供に、自動照準デバイスを使用してもよい。プロセッサは、ディスプレイをコントロールしてユーザに対して指示を与える信号を出力させ、連続する画像間の適正なオーバーラップ量を維持する。オーバーラップを測定する１つの方法は、プロセッサに視野内の１つの隅に被写体上のポイントを選択させる方法である。プロセッサは、カメラが移動するとき、視野全体にわたってそのポイントの移動を追跡する。カメラは、選択したポイントが視野内の逆側の隅に到達すると、ユーザに対して信号を送り、ユーザによる第２の画像の記録を許可する。別の実施形態においては、カメラがオーバーラップ領域を確実に最適化させ、適切に第２の画像を記録できる向きの変更をＭＥＭＳセンサが判断する。向き変更の量は、レンズの視野に依存する。マニュアルで移動するカメラの場合、ビジュアル、サウンドまたは音声信号を使用して、ユーザに対してカメラを特定の方向に移動させること、あるいはカメラを特定の向きに回転させることを指示し、オーバーラップ領域を調整すればよい。
【００３４】
ステップ４２０においては、最適ポジションに対してカメラが許容距離誤差内または許容向き誤差内にあるか否かが、カメラによって判断される。カメラが許容範囲内になければ、ステップ５１６に戻って、カメラからユーザにフィードバック方式によりカメラ・ポジションをさらに調整するように指示が与えられる。ステップ５２０でカメラが許容距離誤差内にあると判断された場合には、ステップ５２４においてカメラは、被写体の連続画像の２枚目を記録する。
【００３５】
ステップ５２８においてカメラは、データベースに必要なすべての画像が記録されたか否かを判断する。必要な画像数は、レンズの視野、望ましいオーバーラップ量、およびサラウンド画像、半球画像およびパノラマ画像のうちのいずれが希望されているかによって異なったものとなる。追加の画像が必要な場合には、ステップ５１６に戻り、カメラからユーザに、次の画像を記録するための次のポジションにカメラを移動させる指示が与えられる。ステップ５２８において、充分な数の画像の記録が完了したと判断されると、画像の記録を完了し、再結合による適切な画像の継ぎ合わせが行われる。
【００３６】
以上、添付図面を参照し、特定の実施形態について詳細に説明してきたが、これらの実施形態は単に例をあげることを目的とするものであり、広い本発明を限定することはなく、当業者にとってはこのほか各種の変形が可能であることから、本発明がここで説明した特定の装置ならびに構成に限定されないことを理解すべきである。
【図面の簡単な説明】
【図１Ａ】  合成画像を生成するための撮像装置の一実施形態を示す。
【図１Ｂ】  合成画像を生成するための撮像装置の一実施形態を示す。
【図２】  図１に示した撮像装置を使用して２つの画像を生成するプロセスを説明するためのフローチャートである。
【図３Ａ】  サラウンド画像を生成するための、本発明の第２の実施形態を示す。
【図３Ｂ】  サランド画像の概念図を示す。
【図３Ｃ】  半球状の画像の概念図を示す。
【図４】  ２つの画像を結合して単一の合成画像を形成するプロセスを示したフローチャートである。
【図５】  撮像装置の動きをコントロールしてオーバーラップ領域を最適化する方法を説明するためのフローチャートである。
【図１Ａ】
0004845264.tif 000002
【図１Ｂ】
0004845264.tif 000003
【図２】
0004845264.tif 000004
【図３Ａ】
0004845264.tif 000005
【図３Ｂ】
0004845264.tif 000006
【図３Ｃ】
0004845264.tif 000007
【図４】
0004845264.tif 000008
【図５】
0004845264.tif 000009