(57)【要約】【課題】  傾きのある画像同士を精度良く貼合わすことができ、簡便に画像を合成することのできる画像合成技術を提供する。【解決手段】  画像を表示することが可能なディスプレーに擬似的な三次元空間を生成し、その擬似的な三次元空間に球面又は球面を表すフレームを表示するフレーム表示ステップと、画像を選択する画像選択ステップと、球面又は球面を表すフレームを観察する視点を移動する視点移動ステップと、画像選択ステップで選択された画像を球面又は球面を表すフレーム上に配置する画像配置ステップと、操作指示に応じて、画像配置ステップで球面又は球面を表すフレーム上に配置された画像を回転操作又は平行移動操作又はズーム操作する操作ステップと、操作ステップで操作された複数の画像を１つの画像に合成する合成ステップとを有する画像合成方法である。【選択図】    図９
2007233996.tif 000002
【特許請求の範囲】
【請求項１】
撮影装置で撮影された複数の画像を合成する画像合成装置であって、
画像を表示することが可能なディスプレーに擬似的な三次元空間を生成し、その擬似的な三次元空間に球面又は球面を表すフレームを表示するフレーム表示手段と、
画像を選択する画像選択手段と、
前記球面又は球面を表すフレームを観察する視点を移動する視点移動手段と、
前記画像選択手段が選択した画像を前記球面又は球面を表すフレーム上に配置する画像配置手段と、
操作指示に応じて、前記画像配置手段が球面又は球面を表すフレーム上に配置した画像を回転操作又は平行移動操作又はズーム操作する操作手段と、
前記操作手段が操作した複数の画像を１つの画像に合成する合成手段と
を有することを特徴とする画像合成装置。
【請求項２】
前記合成手段が合成した画像の少なくとも一部を、球面の中又は球面の外から観察した場合のビュー画像を生成するビュー画像生成手段と、
前記ビュー画像生成手段が生成した画像を前記ディスプレーに表示するビュー画像表示手段と
を更に有することを特徴とする請求項１に記載の画像合成装置。
【請求項３】
前記撮影装置で撮影された複数の画像は、同一位置から撮影された画像であることを特徴とする請求項１又は２に記載の画像合成装置。
【請求項４】
前記合成手段が合成した画像は、全球面を覆う画像であることを特徴とする請求項１又は２に記載の画像合成装置。
【請求項５】
撮影装置で撮影された複数の画像を処理する画像処理装置の画像合成方法であって、
画像を表示することが可能なディスプレーに擬似的な三次元空間を生成し、その擬似的な三次元空間に球面又は球面を表すフレームを表示するフレーム表示ステップと、
画像を選択する画像選択ステップと、
前記球面又は球面を表すフレームを観察する視点を移動する視点移動ステップと、
前記画像選択ステップで選択された画像を前記球面又は球面を表すフレーム上に配置する画像配置ステップと、
操作指示に応じて、前記画像配置ステップで球面又は球面を表すフレーム上に配置された画像を回転操作又は平行移動操作又はズーム操作する操作ステップと、
前記操作ステップで操作された複数の画像を１つの画像に合成する合成ステップと
を有することを特徴とする画像合成方法。
【請求項６】
前記合成ステップで合成された画像の少なくとも一部を、球面の中又は球面の外から観察した場合のビュー画像を生成するビュー画像生成ステップと、
前記ビュー画像生成ステップで生成した画像を前記ディスプレーに表示するビュー画像表示ステップと
を更に有することを特徴とする請求項５に記載の画像合成方法。
【請求項７】
前記撮影装置で撮影された複数の画像は、同一位置から撮影された画像であることを特徴とする請求項５又は６に記載の画像合成方法。
【請求項８】
前記合成ステップで合成される画像は，全球面を覆う画像であることを特徴とする請求項５又は６に記載の画像合成方法。
【請求項９】
撮影装置で撮影された複数の画像を処理する画像処理装置で実行されるプログラムであって、
画像を表示することが可能なディスプレーに擬似的な三次元空間を生成し、その擬似的な三次元空間に球面又は球面を表すフレームを表示するフレーム表示ステップと、
画像を選択する画像選択ステップと、
前記球面又は球面を表すフレームを観察する視点を移動する視点移動ステップと、
前記画像選択ステップで選択された画像を前記球面又は球面を表すフレーム上に配置する画像配置ステップと、
操作指示に応じて、前記画像配置ステップで球面又は球面を表すフレーム上に配置された画像を回転操作又は平行移動操作又はズーム操作する操作ステップと、
前記操作ステップで操作された複数の画像を１つの画像に合成する合成ステップと
を有することを特徴とする画像合成プログラム。
【請求項１０】
前記合成ステップで合成された画像の少なくとも一部を、球面の中又は球面の外から観察した場合のビュー画像を生成するビュー画像生成ステップと、
前記ビュー画像生成ステップで生成した画像を前記ディスプレーに表示するビュー画像表示ステップと
を更に有することを特徴とする請求項９に記載の画像合成プログラム。
【請求項１１】
前記撮影装置で撮影された複数の画像は、同一位置から撮影された画像であることを特徴とする請求項９又は１０に記載の画像合成プログラム。
【請求項１２】
前記合成ステップで合成される画像は，全球面を覆う画像であることを特徴とする請求項９又は１０に記載の画像合成プログラム。
【請求項１３】
撮影装置で撮影された複数の画像を処理する画像処理装置で実行されるプログラムを記録した記録媒体であって、
画像を表示することが可能なディスプレーに擬似的な三次元空間を生成し、その擬似的な三次元空間に球面又は球面を表すフレームを表示するフレーム表示ステップと、
画像を選択する画像選択ステップと、
前記球面又は球面を表すフレームを観察する視点を移動する視点移動ステップと、
前記画像選択ステップで選択された画像を前記球面又は球面を表すフレーム上に配置する画像配置ステップと、
操作指示に応じて、前記画像配置ステップで球面又は球面を表すフレーム上に配置された画像を回転操作又は平行移動操作又はズーム操作する操作ステップと、
前記操作ステップで操作された複数の画像を１つの画像に合成する合成ステップと
を有するプログラムを記録した記録媒体。
【請求項１４】
前記合成ステップで合成された画像の少なくとも一部を、球面の中又は球面の外から観察した場合のビュー画像を生成するビュー画像生成ステップと、
前記ビュー画像生成ステップで生成した画像を前記ディスプレーに表示するビュー画像表示ステップと
を更に記録したことを特徴とする請求項１３に記載の記録媒体。
【請求項１５】
前記撮影装置で撮影された複数の画像は、同一位置から撮影された画像であることを特徴とする請求項１３又は１４に記載の記録媒体。
【請求項１６】
前記合成ステップで合成される画像は，全球面を覆う画像であることを特徴とする請求項１３又は１４に記載の記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を合成する技術に関し、特に傾きのある画像同士を精度良く貼り合わせ、簡便に画像を合成することのできる技術に関する。
【背景技術】
【０００２】
従来、全方位画像を獲得するために、カメラをその中心位置が変化しないようにして、俯角、仰角を変化させながら周囲を撮影し、得られた複数の画像を貼り合わせていた（例えば、特許文献１参照）。  
【特許文献１】特開平１１−２１３１４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、特許文献１に記載の技術では、貼り合わせるための基準画像を指定したり、画像内での対応点を指定する必要がある。  
しかしながら、カメラの中心位置が変化するような状態、例えば、撮影者がカメラを手で持って撮影した場合などでは、カメラが移動したり傾くことにより、撮影ごとに被写体の大きさや傾きが変わるため画像合成時に画像のオーバラップ部分に不整合が生ずる。このため、対応点を指定したとしても、高精度で貼り合わせることが難しい場合がある。  
更に、俯角や仰角を変化させて撮影した画像を合成する場合は、あおり角の影響が生じて撮影した画像自体がすでに傾いているため、カメラを手持ちで撮影した画像については、精度良く対応点を指定することが困難である。
【０００４】
本発明は、かかる事情に鑑みてなされたものであり、傾きのある画像同士を精度良く貼り合わせることができ、簡便に画像を合成することのできる画像合成装置、画像合成方法、画像合成プログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するための、本発明に係る請求項１に記載の画像合成装置は、撮影装置で撮影された複数の画像を合成する画像合成装置であって、画像を表示することが可能なディスプレーに擬似的な三次元空間を生成し、その擬似的な三次元空間に球面又は球面を表すフレームを表示するフレーム表示手段と、画像を選択する画像選択手段と、前記球面又は球面を表すフレームを観察する視点を移動する視点移動手段と、前記画像選択手段が選択した画像を前記球面又は球面を表すフレーム上に配置する画像配置手段と、操作指示に応じて、前記画像配置手段が球面又は球面を表すフレーム上に配置した画像を回転操作又は平行移動操作又はズーム操作する操作手段と、前記操作手段が操作した複数の画像を１つの画像に合成する合成手段とを有する。
【０００６】
また本発明に係る請求項２に記載の画像合成装置は、上記記載の発明である画像合成装置において、前記合成手段が合成した画像の少なくとも一部を、球面の中又は球面の外から観察した場合のビュー画像を生成するビュー画像生成手段と、前記ビュー画像生成手段が生成した画像を前記ディスプレーに表示するビュー画像表示手段とを更に有する。
【０００７】
また本発明に係る請求項３に記載の画像合成装置は、上記記載の発明である画像合成装置において、前記撮影装置で撮影された複数の画像は、同一位置から撮影された画像である。
【０００８】
また本発明に係る請求項４に記載の画像合成装置は、上記記載の発明である画像合成装置において、前記合成手段が合成した画像は、全球面を覆う画像である。
【０００９】
また本発明に係る請求項５に記載の画像合成方法は、撮影装置で撮影された複数の画像を処理する画像処理装置の画像合成方法であって、画像を表示することが可能なディスプレーに擬似的な三次元空間を生成し、その擬似的な三次元空間に球面又は球面を表すフレームを表示するフレーム表示ステップと、画像を選択する画像選択ステップと、前記球面又は球面を表すフレームを観察する視点を移動する視点移動ステップと、前記画像選択ステップで選択された画像を前記球面又は球面を表すフレーム上に配置する画像配置ステップと、操作指示に応じて、前記画像配置ステップで球面又は球面を表すフレーム上に配置された画像を回転操作又は平行移動操作又はズーム操作する操作ステップと、前記操作ステップで操作された複数の画像を１つの画像に合成する合成ステップとを有する。
【００１０】
また本発明に係る請求項６に記載の画像合成方法は、上記記載の発明である画像合成方法において、前記合成ステップで合成された画像の少なくとも一部を、球面の中又は球面の外から観察した場合のビュー画像を生成するビュー画像生成ステップと、前記ビュー画像生成ステップで生成した画像を前記ディスプレーに表示するビュー画像表示ステップとを更に有する。
【００１１】
また本発明に係る請求項７に記載の画像合成方法は、上記記載の発明である画像合成方法において、前記撮影装置で撮影された複数の画像は、同一位置から撮影された画像である。
【００１２】
また本発明に係る請求項８に記載の画像合成方法は、上記記載の発明である画像合成方法において、前記合成ステップで合成される画像は，全球面を覆う画像である。
【００１３】
また本発明に係る請求項９に記載のプログラムは、撮影装置で撮影された複数の画像を処理する画像処理装置で実行されるプログラムであって、画像を表示することが可能なディスプレーに擬似的な三次元空間を生成し、その擬似的な三次元空間に球面又は球面を表すフレームを表示するフレーム表示ステップと、画像を選択する画像選択ステップと、前記球面又は球面を表すフレームを観察する視点を移動する視点移動ステップと、前記画像選択ステップで選択された画像を前記球面又は球面を表すフレーム上に配置する画像配置ステップと、操作指示に応じて、前記画像配置ステップで球面又は球面を表すフレーム上に配置された画像を回転操作又は平行移動操作又はズーム操作する操作ステップと、前記操作ステップで操作された複数の画像を１つの画像に合成する合成ステップとを有する。
【００１４】
また本発明に係る請求項１０に記載のプログラムは、上記記載の発明であるプログラムにおいて、前記合成ステップで合成された画像の少なくとも一部を、球面の中又は球面の外から観察した場合のビュー画像を生成するビュー画像生成ステップと、前記ビュー画像生成ステップで生成した画像を前記ディスプレーに表示するビュー画像表示ステップとを更に有する。
【００１５】
また本発明に係る請求項１１に記載のプログラムは、上記記載の発明であるプログラムにおいて、前記撮影装置で撮影された複数の画像は、同一位置から撮影された画像である。
【００１６】
また本発明に係る請求項１２に記載のプログラムは、上記記載の発明であるプログラムにおいて、前記合成ステップで合成される画像は、全球面を覆う画像である。
【００１７】
また本発明に係る請求項１３に記載の記録媒体は、撮影装置で撮影された複数の画像を処理する画像処理装置で実行されるプログラムを記録した記録媒体であって、画像を表示することが可能なディスプレーに擬似的な三次元空間を生成し、その擬似的な三次元空間に球面又は球面を表すフレームを表示するフレーム表示ステップと、画像を選択する画像選択ステップと、前記球面又は球面を表すフレームを観察する視点を移動する視点移動ステップと、前記画像選択ステップで選択された画像を前記球面又は球面を表すフレーム上に配置する画像配置ステップと、操作指示に応じて、前記画像配置ステップで球面又は球面を表すフレーム上に配置された画像を回転操作又は平行移動操作又はズーム操作する操作ステップと、前記操作ステップで操作された複数の画像を１つの画像に合成する合成ステップとを有する。
【００１８】
また本発明に係る請求項１４に記載の記録媒体は、上記記載の発明である記録媒体において、前記合成ステップで合成された画像の少なくとも一部を、球面の中又は球面の外から観察した場合のビュー画像を生成するビュー画像生成ステップと、前記ビュー画像生成ステップで生成した画像を前記ディスプレーに表示するビュー画像表示ステップとを更に記録した。
【００１９】
また本発明に係る請求項１４に記載の記録媒体は、上記記載の発明である記録媒体において、前記撮影装置で撮影された複数の画像は、同一位置から撮影された画像である。
【００２０】
また本発明に係る請求項１５に記載の記録媒体は、上記記載の発明である記録媒体において、前記合成ステップで合成される画像は，全球面を覆う画像である。
【発明の効果】
【００２１】
本発明によれば、傾きのある画像同士を精度良く貼り合わせ、簡便に画像を合成することができる。
【発明を実施するための最良の形態】
【００２２】
［第１の実施の形態］
本発明の実施の形態に係る画像合成方法について、その基本原理を説明する。  
本画像合成方法には、鳥瞰モードと投影モードの２つの表示モードを備えている。ユーザは、このいずれかのモードの下で、撮影画像を貼り合わせる操作を実行する。
【００２３】
図１は、鳥瞰モードの表示方法を説明する図である。  
鳥瞰モードでは、ユーザは全方位を表す球面２０の表面に撮影画像を投影して貼り付けることができ、更にユーザは、その撮影画像を球面２０の外部から観察することができる。  
ユーザは撮影画像を球面２０の表面に沿って移動させることができる。また、撮影画像の傾きを補正するために撮影画像を右回転、左回転することができる。  
さらに球面２０の外部に設けられた視点位置は、変更することができる。即ち、視点を球面２０の中心を原点として視線方向を回転することができ、また視点を球面２０に近づけ、或いは遠ざけることができる。  
なお、球面２０自体を大きくしたり、小さくしたりすることも可能である。そして、球面２０のサイズに応じて、球面上に投影された画像は更新される。これによって、撮影画像の画角に応じたサイズの球に調整することができる。
【００２４】
図１では、球面２０に撮影画像Ａと撮影画像Ｂとが貼り付けられている。ユーザは、撮影画像Ａを緯線に沿って移動させ、撮影画像Ａ’で表される位置に貼り付けることができる。  
このように、ユーザは、三次元空間を模した球面上で撮影画像を任意の位置に移動することができるため、画像の合成を簡便にかつ精度良く実行することができる。
【００２５】
図２は、投影モードの表示方法を説明する図である。  
投影モードでは、ユーザは全方位を表す球面２０の内面に撮影画像を貼り付けて、その撮影画像を球面２０の内部から観察する。球面２０の内部にスクリーンを設け、球面上の画像からそのスクリーンに意直投影された画像をそのスクリーンの後ろから観察する。観察の視野の範囲は、そのスクリーンに投影された撮影画像を観察した場合の範囲と一致する。  
ユーザは、撮影画像を球面２０の表面に沿って移動させることができる。また、撮影画像の傾きを補正するために撮影画像を右回転、左回転することができる。  
さらに球面２０の内部に設けられた視点位置は、変更することができる。即ち、球面２０を水平方向、垂直方向に回転することができ、また視点とスクリーンを球面２０に近づけ、遠ざけることができる。  
なお、球面２０自体を大きくしたり、小さくしたりすることも可能である。これによって、撮影画像の画角に応じたサイズの球に調整することができる。
【００２６】
図２では、球面２０に撮影画像Ａと撮影画像Ｂとが貼り付けられている。ユーザは、撮影画像Ａを緯線に沿って移動させ、撮影画像Ａ’で表される位置に貼り付けることができる。  
続いて、上述の動作を実現するためのユーザインターフェースについて説明する。  
本発明の実施の形態に係る画像合成方法では、画像処理装置の表示部に表示される画像合成画面に基づいて、ユーザが画像処理操作を実行する。  
図３は、本発明の第１の実施の形態の画像合成方法による画像合成画面の構成を示す図である。  
画像合成画面１には、表示領域２、視点操作領域３、画像操作領域４、サイズ変更スライドバー５及び保存ボタン６が設けられている。
【００２７】
表示領域２には、鳥瞰モードまたは投影モードによる球面２０を観察した映像が表示される。  
視点操作領域３には、水平回転ボタン３ａ、垂直回転ボタン３ｂ、左右回転ボタン３ｃ及びズームボタン３ｄが設けられている。水平回転ボタン３ａを操作すると、視線の方位角が変化して視線の方向が左右に回転する。垂直回転ボタン３ｂを操作すると、視線の仰角が変化して視線の方向が上下に回転する。左右回転ボタン３ｃを操作すると、視野が左右に回転する。ズームボタン３ｄを操作すると、視野が拡大縮小する。視野の拡大は視点が球面２０に近づけることに対応し、視野の縮小は視点が球面２０から遠ざけることに対応する。
【００２８】
画像操作領域４には、選択画像表示領域４ａ、移動操作ボタン４ｂ及び回転操作ボタン４ｃが設けられている。選択画像表示領域４ａには、操作対象となる撮影画像である選択画像が表示される。移動操作ボタン４ｂを操作すると、選択画像を球面２０の緯線、経線に沿って移動することができる。回転操作ボタン４ｃを操作すると、選択画像をその中心位置を軸として右に回転あるいは左に回転することができる。  
サイズ変更スライドバー５を操作すると、球面２０の半径を大きくしたり小さくしたりすることができる。なお、球面２０の半径が変更された場合であっても、撮影画像のサイズは変更されず元のままである。  
保存ボタン６を操作すると、合成された画像が保存される。
【００２９】
次に、上述の動作を実現するための座標変換方法について説明する。  
図４は、ワールド座標系と撮影画像固有のローカル座標系を示す図である。  
ワールド座標系は、球面２０に固定されその球面２０の中心を原点とする三次元の座標系（Ｘ，Ｙ，Ｚ）である。なお、Ｘ軸，Ｙ軸，Ｚ軸は図４に示すように、左手系としている。
【００３０】
一方、ローカル座標系は、撮影画像上に設けられた二次元の座標系（Ｕ，Ｖ）である。
【００３１】
このワールド座標系において、撮影画像の初期位置を次のように設定する。  
（１）撮影画像の中心をローカル座標系（Ｕ軸，Ｖ軸）の原点とする。（２）撮影画像は、球面２０に接する。（３）撮影画像の中心はＺ軸上にあり、Ｕ軸、Ｖ軸とＺ軸は直交している。（４）Ｕ軸はＸ軸と、Ｖ軸はＹ軸と平行である。
【００３２】
撮影画像を球面に沿って、Ｘ軸の回りにθだけ回転させるマトリックスをＭｘ（θ）、Ｙ軸の回りにθだけ回転させるマトリックスをＭｙ（θ）、Ｚ軸の回りにθだけ回転させるマトリックスをＭｚ（θ）とする。なお、撮影画像は３次元空間を移動するため便宜上撮影画像のローカル座標系を（Ｕ，Ｖ，Ｗ）の３次元に拡張している。
【００３３】
これらのマトリックスは式（１）〜式（３）で表される。
【数１】
2007233996.tif 000003
【００３４】
今、Ｚ軸を北極方向に取り、Ｘ軸を赤道と経度０度の経線との交点方向に取ると、Ｙ軸は赤道と、西経９０度の経線との交点の方向となる。そして撮影画像を初期位置である北極に、Ｕ軸とＶ軸の方向をそれぞれＸ軸とＹ軸と同じ方向となるように置く。  
最初に撮影画像中心の周りに時計回りにθ３だけ回転する。次に経度０度の経線に沿ってθ２回転する。最後に緯線に沿って北極から見て時計回りにθ１だけ回転する。これら３つ回転は式（４）のマトリックスＭで表される。
【００３５】
撮影画像のローカル座標系で表した初期位置にある撮影画像上の点（ｕ，ｖ，ｒ）に上記の回転操作を施した後の点をワールド座標系で表すと、式（５）になる。この式（５）は、元の撮影画像を球面２０に沿って移動するとともに、回転を施す操作を表している。
【数２】
2007233996.tif 000004
【００３６】
但し、ｒ  ：  球の半径
そこで、撮影画像の中心を回転操作した後の座標（ｘ２、ｙ２、ｚ２）は、式（６）で表される。
【数３】
2007233996.tif 000005
【００３７】
球面２０の中心から座標（ｘ２、ｙ２、ｚ２）を通るベクトルを法線ベクトルとする平面は、
この撮影画像の平面を含み、式（７）で表される。
【数４】
2007233996.tif 000006
【００３８】
図５は、式（４）の回転後の撮影画像をワールド座標系で表した図である。  
球面２０の中心から球面上の点（ｘ１、ｙ１、ｚ１）を通る直線は、式（８）で表される。
【数５】
2007233996.tif 000007
【００３９】
従って、この直線と式（７）の平面の交点の座標（ｘ３、ｙ３、ｚ３）は、式（９）で求められる。
【数６】
2007233996.tif 000008
【００４０】
本実施の形態においては、撮影画像上の各点の画素情報は球面２０に中心投影される。撮影画像上の点のローカル座標系での座標値は球面２０上の回転操作によって変化しないので、式（４）の回転後であっても、ローカル座標系で座標（ｕ，ｖ）の点のワールド座標系での座標は、式（５）で計算することができる。従って、式（５）で得られた座標に式（１０）を適用して球面２０上のワールド座標を算出して、その点に撮影画像の座標（ｕ，ｖ）の画素情報を投影する。  
ここで、画素情報とは撮影画像の画素の明度やＲＧＢ各色のカラー値のことである。  従って、式（１）から式（１０）を用いることで、撮影画像を球面２０上の任意の位置に投影することが可能である。
【００４１】
図６は、投影モードでのスクリーン２５のローカル座標系を示す図である。スクリーン２５は、視野に相当する範囲を表し、投影モードでは球面２０内に配置されている。スクリーン２５固有の２次元のローカル座標系を（Ｕ’，Ｖ’）と定める。なお、撮影画像のローカル座標系と同様に便宜的に３次元化して（Ｕ’，Ｖ’，Ｗ’）とする。このローカル座標系（Ｕ’，Ｖ’，Ｗ’）はワールド座標系と同様に左手系であり、Ｕ’軸とＶ’軸はスクリーン上にあり、スクリーン２５の中心が原点である。  
ワールド座標系において、スクリーン２５の初期位置と方向は次のように設定されているものとする。  
（１）スクリーン２５の中心は球面２０の中心に位置する。（２）スクリーンのローカル座標系のＵ’軸、Ｖ’軸、Ｗ’軸の方向は、それぞれワールド座標系のＸ軸、Ｙ軸、Ｚ軸の方向と一致しする。すなわち、スクリーン２５の初期位置において、スクリーンのローカル座標系とワールド座標系は一致している。
【００４２】
なお、本実施の形態では、撮影画像から球面２０に中心投影された画素情報は、スクリーン２５に垂直投影されるので、投影された２次元座標位置はスクリーンのＷ軸方向の位置にはよらない。
【００４３】
図７は、ワールド座標系とスクリーン２５のローカル座標系の対応を示す図である。  
初期位置において、球面２０上の点（ｘ１、ｙ１、ｚ１）は、スクリーン２５のローカル座標系では式（１１）で表される。
【数７】
2007233996.tif 000009
【００４４】
一方、スクリーン２５のローカル座標系をＵ’軸の回りにφだけ左回転するマトリックスＳｕ（φ）は式（１２）で表される。Ｖ’軸の回りにφだけ左回転するマトリックスＳｖ（φ）は式（１３）で表される。Ｗ’軸の回りにφだけ左回転するマトリックスＳｗ（φ）は式（１４）で表される。従って、スクリーン２５を初期位置からＵ’軸の回りにφ１だけ左回転した後、Ｖ’軸の回りにφ２だけ左回転し、さらにＷ’軸の回りにφ３だけ左回転すると、球面２０上の点（x１、ｙ１、ｚ１）は、スクリーンのローカル座標系では式（１５）で表される。
【００４５】
なお、Ｗ’軸のマイナス側からスクリーンを観察するとして、視野の右方向をＵ’軸方向に、視野の上方向をＶ’軸方向にとる。Ｕ’軸の回りに左回転することは視野を下向き回転することに対応する。Ｖ軸の回りに左回転することは視野を右向きに回転することに対応する。Ｗ‘軸の回りに左回転することは視野を左回りに回転することに対応する。  
また、球面上の画像はスクリーンに水平投影される。視野の上下左右方向の移動はスクリーン２５をＵ’軸及びＶ’軸に沿って移動することに対応する。視野のズームはスクリーン２５の拡大、縮小に対応する。また、上記説明ではスクリーン２５を球面内２０に配置したが、スクリーン２５が球面の２０の外側にあっても球面２０上の画像をスクリーンに垂直投影する場合は同じである。ただし、投影モードの場合は撮影画像を球面２０の内側に向けて配置し、鳥瞰モードの場合は撮影画像を球面２０の外側に向けて配置する。
【００４６】
上記したように、式（１）から式（１０）を用いることで、球面上の任意の位置に撮影画像を配置し、その撮影画像を球面２０上に投影し、式（１１）から式（１５）を用いて球面２０に投影された画像を任意の位置から観察することができる。
【００４７】
続いて、本画像合成方法を実現するための画像処理装置の構成と、その主な処理手順について説明する。  
図８は、画像処理装置３０の構成を示す図である。画像処理装置３０は、表示部３１、操作入力部３２、通信インターフェース３３、画像管理ＤＢ３４、画像メモリ３５、プログラムメモリ３６、処理部３７を備えている。
【００４８】
表示部３１は、画像合成画面１を表示するＣＲＴまたは液晶ディスプレイである。操作入力部３２は、ユーザからの操作指示入力を受取るためのキーボード、マウス等の入力デバイスである。通信インターフェース３３は、例えばデジタルカメラ等の外部装置（不図示）との間で画像フアイル等の情報を通信により授受するためのインターフェースである。画像管理ＤＢ３４は、保存された画像のアドレスなどの管理情報を記憶する。画像メモリ３５は、操作に係る情報あるいは画像合成処理に必要な情報を格納するバッファメモリである。プログラムメモリ３６は、画像処理装置３０の各機能を制御するプログラムを保存する。処理部３７は、画像処理装置３０の動作を統括的に制御する。
【００４９】
次に、画像合成処理の概略の手順を図９〜図１１を参照しつつ説明する。なお、以下に説明する処理は、画像合成処理機能の内、主な機能に関する処理である。従って、以下の説明に記載されていない機能であっても、図１乃至図８の説明に記載された機能は本画像合成処理機能に含まれる。
【００５０】
図９は、画像合成処理のメインの処理手順を示すフロー図である。ユーザが画像処理装置３０を起動して、表示部３１に画像合成画面１を表示すると、本画像合成処理が起動する。  
ステップＳ０１において、仮想空間を初期化する。即ち、ベースとなる球面２０あるいは球面を表すフレームを表示し、球面上に基準となる緯線、経線を表す。
【００５１】
そして、ステップＳ０２〜Ｓ０４に示す画像配置処理を撮影画像数だけ繰り返して実行する。  
ユーザが撮影画像を選択すると、ステップＳ０２において、その撮影画像を読み込み、ステップＳ０３において、表示モードに対応した初期座標位置に撮影画像を配置する。そして、撮影画像上の各点のカラー値を中心投影により球面上の対応する位置に射影させる。続いて、ステップＳ０４においてユーザの画像移動操作に対応して球面上の投影像を移動させる。
【００５２】
図１０は、画像合成画面の表示領域２に表示する手順を示すフロー図である。この処理は、上述の撮影画像の移動処理に合わせて実行される。  
ステップＳ１０において、現在のスクリーンの位置、向きを取得する。そして合成する撮影画像ごとに、ステップＳ１１〜Ｓ１４の合成処理を実行する。
【００５３】
ステップＳ１１において、撮影画像の現在の位置と向きを取得する。そして、ステップＳ１２において、撮影画像のカラー値を球面２０に中心投影し、さらにスクリーン２５に垂直投影して得られた画像の、スクリーン２５上のカラー値を計算する。  
ステップＳ１３において撮影画像が投影されたスクリーン２５上の位置に既に他の撮影画像のカラー値が投影されているかどうかを調べる。  
ステップＳ１３でＹｅｓの場合、即ち、既に他の撮影画像からカラー値が投影されている場合は、ステップＳ１４において、重複した領域については各撮影画像から投影されるカラー値を平均する。一方、ステップＳ１３でＮｏの場合、即ち、他の画像が表示されていない場合は、現在投影されたカラー値をスクリーンのその位置におけるカラー値とする。そして全ての撮影画像からのスクリーン２５への投影処理が完了すると、ステップＳ１５において、スクリーン２５を表示領域２に表示する。これによって、ユーザは、球面２０上で撮影画像が精度良く貼り合わせられたかどうかを容易に確認することができる。  
図１１は、球面２０のサイズを変更する処理手順を示すフロー図である。  
ユーザが、サイズ変更スライドバー５を操作すると、ステップＳ２１において、ユーザによって指定された球面２０のサイズを取得する。そして、ステップＳ２２において、球２０の中心から各撮影画像の中心までの距離をユーザが指定したサイズに変更する。
【００５４】
［実施の形態の効果］
本実施の形態によれば、次のような効果を奏することができる。  
擬似的な三次元空間を生成して、その三次元空間内に球体を形成し、その球面に撮影した画像を投影して移動操作を可能としている。  
また、球体を観察する視点を変化させることができるため、ユーザは視認が容易な位置から球面上に投影された観察し投影画像を操作することができる。  
従って、平面上の合成では問題となっていたあおり角の影響を受けずに撮影画像を合成することができる。
【００５５】
なお、上述の実施の形態では、画像を球面で合成したが、球面を表すフレーム上で合成しても良い。
【００５６】
なお、上述の実施の形態で説明した各機能は、ハードウエアを用いて構成しても良く、また、ソフトウエアを用いて各機能を記載したプログラムをコンピュータに読み込ませて実現しても良い。また、各機能は、適宜ソフトウエア、ハードウエアのいずれかを選択して構成するものであっても良い。
【００５７】
更に、各機能は図示しない記録媒体に格納したプログラムをコンピュータに読み込ませることで実現させることもできる。ここで本実施の形態における記録媒体は、プログラムを記録でき、かつコンピュータが読み取り可能な記録媒体であれば、その記録形式は何れの形態であってもよい。
【００５８】
なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００５９】
【図１】鳥瞰モードの表示方法を説明する図。
【図２】投影モードの表示方法を説明する図。
【図３】本発明の第１の実施の形態の画像合成方法による画像合成画面の構成を示す図。
【図４】鳥瞰モードでの座標系を示す図。
【図５】回転後の撮影画像をワールド座標系で表した図。
【図６】投影モードでの座標系を示す図。
【図７】ワールド座標系とローカル座標系の対応を示す図。
【図８】画像処理装置の構成を示す図。
【図９】画像合成処理のメインの処理手順を示すフロー図。
【図１０】画像合成画面の表示領域に表示する手順を示すフロー図。
【図１１】球のサイズを変更する処理手順を示すフロー図。
【符号の説明】
【００６０】
１…画像合成画面、２…表示領域、３…視点操作領域、４…画像操作領域、５…サイズ変更スライドバー、２０…球、２５…スクリーン、３０…画像処理装置、３１…表示部、３２…操作入力部、３３…通信インターフェース、３４…画像管理ＤＢ、３５…画像メモリ、３６…プログラムメモリ、３７…処理部。
【図１】
2007233996.tif 000010
【図２】
2007233996.tif 000011
【図３】
2007233996.tif 000012
【図４】
2007233996.tif 000013
【図５】
2007233996.tif 000014
【図６】
2007233996.tif 000015
【図７】
2007233996.tif 000016
【図８】
2007233996.tif 000017
【図９】
2007233996.tif 000018
【図１０】
2007233996.tif 000019
【図１１】
2007233996.tif 000020