(57)【特許請求の範囲】
【請求項１】
パノラマ画像を作成するためにコンピュータに実行させるパノラマ画像作成方法であって、
前記コンピュータ内の判別手段により、水平方向に連続するよう撮像された複数枚の画像のそれぞれについて、十分に遠方に存在する事物を含む遠景部分と、前記遠景部分の手前の比較的平坦な前方部分とを判別するステップと、
前記コンピュータ内の投影手段により、前記画像に対して垂直かつ前記遠景部分と前記前方部分の交線を含む面に前記前方部分を投影するステップと、
前記コンピュータ内の入れ替え手段により、前記面に投影された前方部分の画像を前記撮像画像内の前方部分と入れ替えるステップと、
前記コンピュータ内の接合手段により、隣接した前記画像間の重なりの位置を合わせて接合するステップと、
前記コンピュータ内の逆変換手段により、前記接合された前方部分に関して、前記投影の逆変換を行うステップとを、
有するパノラマ画像作成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、パノラマ画像作成方法に関するものであり、特にデジタルカメラによって撮影された画像のパノラマ画像作成方法、マルチメディアにおけるウォークスルー実現のための全周画像の作成方法、没入感ディスプレイのための広視野パノラマ画像の作成方法に好適なパノラマ画像作成方法に関するものである。
【０００２】
【従来の技術】
従来、画像の一部が重複パノラマ画像作成方法として、接合しようとする画像は画像の１／３〜１／２がオーバーラップするように撮影され、そのオーバーラップ部分の情報を基に、アフィン変換によるパラメータ変換や平面投影変換による相関計算によって位置合わせがされる。その後の画像間の輝度、色相などの調整が行われる。このような研究の先行例としては、S.Peleg and J.Herman “Panoramic Mosaics by Manifold Projection”, CVPR, June 1997, pp 338-343やH.Shum and R.Szelski ”Panoramic Mosaics” Microsoft Research Technical Report MSR-TR-97-23など、多くの研究が挙げられる。また現在、パノラマ作成ソフトウェアは、製品としてQuicktime VR、VideoBrush、PhotoVistaなど数種類が市販もしくはデジタルカメラの付録などとして添付されている。
【０００３】
【発明が解決しようとする課題】
例えば、図３及び図４の２枚の画像からパノラマ画像を合成する場合、２つの画像の位置合わせをアフィン変換や平面投影変換による相関計算によって行うと、これらの計算法に馴染まない近景の地面の影響によって位置合わせが破綻することがある。具体的には、図５の円内のように近景地面の接合がうまくいかなかったり、図６の円内のように接合部において、地面の整合性を追及するあまり遠景部分がうまく接合されなかったり、画面全体が湾曲してしまうことなどが挙げられる。図５及び図６は極端な例であるが、これらの中間的な不自然な合成になったり、合成自体が不可能になることも多い。この原因は、視線に垂直な遠景と視線と平行な地面に関して、前者のみについて成立する位置合わせの相関計算を、後者を含めて適用してしまったことにある。
【０００４】
本発明は遠景部分と近景部分からなる複数の画像から接合部の整合性の高いパノラマ画像を作成するパノラマ画像作成方法を提供することを目的としている。近景部分とは遠景部分の手前の比較的平坦な前方部分を指すものであり、地面部分を指すものである。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明では、遠景部分と近景部分に別々の処理を施す。画面上部の遠景部分については従来法で位置合わせを行い、地面部分については幾何変換により、現実の地面を上から見たような画像に変換し、変換後の画像を接続した後に再び視点から見たように幾何変換を行う。これにより地面部分の接合部において、整合性の高いパノラマ合成を行う。
【０００７】
すなわち本発明によれば、パノラマ画像を作成するためにコンピュータに実行させるパノラマ画像作成方法であって、
前記コンピュータ内の判別手段により、水平方向に連続するよう撮像された複数枚の画像のそれぞれについて、十分に遠方に存在する事物を含む遠景部分と、前記遠景部分の手前の比較的平坦な前方部分とを判別するステップと、
前記コンピュータ内の投影手段により、前記画像に対して垂直かつ前記遠景部分と前記前方部分の交線を含む面に前記前方部分を投影するステップと、
前記コンピュータ内の入れ替え手段により、前記面に投影された前方部分の画像を前記撮像画像内の前方部分と入れ替えるステップと、
前記コンピュータ内の接合手段により、隣接した前記画像間の重なりの位置を合わせて接合するステップと、
前記コンピュータ内の逆変換手段により、前記接合された前方部分に関して、前記投影の逆変換を行うステップとを、
有するパノラマ画像作成方法が提供される。
【０００８】
【発明の実施の形態】
以下、図面を参照して本発明のパノラマ画像作成方法に係る実施例を説明する。図２は遠景と地面の表現の模式図である。山の風景など十分に遠方に存在する事物を遠景平面１０で表し、比較的平坦な地面もしくは水面などから構成されるような地面を撮像者方向に向かう複数の平行線を有する地面１２で表している。図２中の位置Ｂ、位置Ｃはパノラマ画像作成の基となる画像を撮像するためのカメラ位置である。また、位置Ａは位置Ｂと位置Ｃの中間の位置に当たる。
【０００９】
図７は、図２中の位置Ａから遠景平面に垂直に視線を向けたときに見える理想的なパノラマ風景である。また図３は、図２中の位置Ｂから地面のラインと平行かつ地面と水平に撮像方向を定めて、やや水平画角の小さなカメラで風景を撮像したときの画像である。また図４は、図２中の位置Ｃから地面のラインと平行かつ地面と水平に撮像方向を定めて、やや水平画角の小さなカメラで風景を撮像した画像である。図３及び図４は位置Ｂ及び位置Ｃから図２中の遠景部分１０に垂直な視線で撮影されたものなので、図３及び図４の遠景画像は図７と同じ範囲に関してカバーするものであり、地面部分１２の平行線については、図３及び図４も図７と同様、下に行くほど均等に広がっていくパターンになっているが、図７ほどその広がりは大きくない。
【００１０】
図１は本発明のパノラマ画像作成方法に係る２枚の画像からパノラマ画像を作成する実施例のフローチャートである。このフローチャートに従って本発明のパノラマ画像作成方法を説明する。図３及び図４に示された２枚の画像から図２のようなパノラマ画像を作成する場合、まずステップＳ１において２枚の画像内の遠景部分と地面部分をそれぞれ判別する。ステップＳ１は、この後に続くステップにおいて、地面部分に対して遠景部分とは別の変換を行うための準備段階である。ステップＳ２において、遠景画像に関して、相対的なアフィンパラメータを求め、２枚の画像間で回転、サイズの統一を行う。また、平行移動成分を計算しておく。ステップＳ３において、画像内の地面部分を変換処理しパノラマ合成に適した画像を作成する。ステップＳ４において、２枚の画像を接合し、ステップＳ２で求めておいた平行移動成分に基づいて位置合わせを行い、画像を整合する。そしてステップＳ５において、地面部分についてのみステップＳ３で行った変換の逆変換を行う。このようにして図７に示すようなパノラマ画像を得る。
【００１１】
次に、ステップＳ３においての地面部分の変換方法を説明する。図８は、図２中の位置Ｂ上高さＭの地点に設置されたカメラの撮像方向が水平なときの図２の断面を示した模式的な説明図である。図８において、地面部分は線分（Ｅ−Ｅ´）、遠景部分は線分（Ｄ−Ｅ´）で表されている。またカメラの垂直画角をθｖ、視距離をＬ、原画像の縦方向の長さをＨとする。
【００１２】
図２の地面部分を原風景の垂直平面に投影したものが、図８で示すように地下に潜った形で表された垂直面内地面部分１４（Ｆ−Ｅ´）である。位置Ｂ上高さＭにある視点から垂直面内地面部分１４（Ｅ−Ｅ´）を眺めたときには、地面部分１２（Ｅ−Ｅ´）は遠景部分１０と同じ面内に投影されているように見える。すなわち、垂直面内地面部分１４（Ｆ−Ｅ´）上の点と地面部分１２（Ｅ−Ｅ´）上の点は１対１の関係にあり、位置Ｂ上高さＭにある視点と垂直面内地面部分１４（Ｆ−Ｅ´）上の１点Ｊとを結ぶ直線が地面部分１２（Ｅ−Ｅ´）と交わる点をＧと置くことができる。撮像画像は２次元平面であり、本来撮像者に向かってくるような水平面である地面部分も、このような垂直平面として撮像される。
【００１３】
図９は図８の地面部分の水平面を俯瞰した模式図である。図８中の点Ｇの存在する領域が図９中の黒塗り部分で示されている。これは図８中の原画像の地面部分を上から見た画像を作成することに相当する。図９中の黒塗り部分は、地面部分と遠景部分との境界から撮像者方向への距離ｙ´に応じて、幅が（Ｌ−ｙ´）・Ｈ／Ｌの長さで短くなる台形となる。以上のように、原画像地面部分と台形の地面画像の対応が計算される。この台形画像を元の地面部分に再投影する。このとき、この再投影は黒塗り部分の多視点的な投影であり、例えば図１０のように台形の地面画像１６の形がそのまま残るように投影する。地面部分を一度水平面に投影し、投影により作られた台形領域を垂直面に再投影する方法によって、図３及び図４の地面部分の画像を、図１０及び図１１のような台形の地面画像１６に入れ替える。これらの地面部分の線は平行となっている。
【００１４】
上記の投影及び地面部分の画像の入れ替えを、撮像された画像上に座標系を設定することにより数式で表現することもできる。図３において、ｖは撮像画像の縦方向の長さ、ｈは撮像画像の横方向の長さ、図８中のＭに対応したパラメータｍは撮像画像を地面部分の上辺と上下に分ける水平方向の中心線との長さである。さらに、図９中のＫに対応したパラメータをｋ、図９中のＬに対応したパラメータをｌと置く。また撮像画像上に、地面部分の上辺をｘ軸、上辺の中点から垂直方向にｙ軸となる座標系を定めると、地面部分を座標（ｘ，ｙ）で表すことができる。この地面部分（ｘ，ｙ）を以下の式によって変換する。この変換によって図１０に示された台形の地面画像１６の座標（ｘ´，ｙ´）が得られ、地面部分の線が平行である台形の画像が得られる。
ｘ´＝｛ｌ−（ｙ／ｐ）・ｋ｝・ｘ／ｌ
ｙ´＝  ｙ
ただし、
ｐ  ＝（ｖ／２）−ｍ、０≦ｙ≦Ｐ
ｋ＝ｐ／tan（θｖ／２）｝
図８中のＬに対応したパラメータ：ｌ
ｌ  ＝（ｖ／２）・｛１／tan（θｖ／２）｝
【００１５】
ステップＳ２において、画面上部の遠景画像についてあらかじめサイズの統合などをしておき、さらに平行移動成分を計算しておく。ステップＳ３において、図３及び図４を図１０及び図１１のような地面部分の線が平行である画像に変換した後、これら２枚の画像をステップＳ４で接合する。このとき図１２に示すように地面部分は平行な線を有する状態である。したがって、このとき地面画像についても２つの画像間で整合がとれており、前もって求めておいた遠景部分の平行移動成分を基に位置合わせをしたとき、地面部分についてもうまく接続することができる。
【００１６】
さらにステップＳ５において、図１０及び図１１の地面部分に関してのみ、位置合わせのために行った変換の逆変換をして元の画像のスケールに戻す。つまり、ステップＳ５において、地面部分の幅を画像の横幅に戻す作業を行う。逆変換とは、図３と同様に画像を左右等間隔に分ける線分をｙ軸とし、台形をしている地面部分を原画像地面部分に投影された投影画像であるとみなして、元の撮像画像上に再投影していくことである。また、図１３に示すように地面部分の画像に関して接合後の水平画角θｈを考慮して、例えば図１３中の太線の内側のみを元の画像に逆変換にて戻すことにより、すなわち、元に戻す範囲を選択することにより所望の水平画角を有するパノラマ画像を得ることも可能である。これにより図７で示す理想的なパノラマ画像の有する水平画角を作り出すこともできる。以上の作業を水平方向に連続するよう撮像された画像において、隣り合った画像同士で接合することにより、複数枚の画像から成る１枚のパノラマ画像を作成することが可能となる。
【００１７】
上記の実施例においては、地面部分に対して変換を行った後、遠景部分と地面部分を接合し、遠景部分の情報を基に画面を整合している。しかし、地面部分と遠景部分を全く独立にして、２枚の画像の地面部分を整合する作業と２枚の画像の遠景部分を整合する作業を別々に行った後、地面部分と遠景部分を貼り合わせる作業をすることによりパノラマ画像を作成することも可能である。また、本発明のパノラマ画像作成方法に係るステップを、例えば画像加工を行う者が目で見ることにより遠景部分と近景部分を選別するなど手動化することも可能であり、コンピュータにより自動化することも可能である。また、パノラマ画像の基となる画像はデジタルカメラで撮像された画像であることが望ましいが、例えば感光材料などに記録された画像をデジタル画像へと処理して作成した画像を用いることも本発明の好ましい態様である。
【００１８】
【発明の効果】
以上説明したように本発明によれば、十分に遠方に存在する事物と比較的平坦な地面もしくは水面などから構成されるような風景を撮影した複数枚の画像を接合して１枚のパノラマ画像を作成する場合、遠景部分に行われるアフィン変換や平面投影変換による相関計算に対して、接合部の整合性を保つように地面部分を変換することにより、２枚の画像からパノラマ画像を作成するときの接合の位置合わせの判定に画面上部の遠景の事物の映像情報についてのみを参照することができ、地面部分においてもアフィン変換や平面投影変換による相関計算の適用が可能となる。
【００１９】
さらに上記構成に加えて、接合前の各々の変換について、地面・水面に相当する部分をあらかじめ設定した視点を基準に、画像に対する垂直面で交線を遠景事物と地面・水面の境界とする面に投影した画像を作成し、投影後の地面部分を元来の地面部分と入れ替えた画像についてパノラマ接合を行った後に、地面部分について前記の投影と逆の操作を行うことにより、接合部における歪みや不整合を軽減する効果を奏する。
【図面の簡単な説明】
【図１】本発明のパノラマ画像作成方法に係る２枚の画像からパノラマ画像を作成する実施例のフローチャートである。
【図２】遠景と地面の表現の模式図である。
【図３】図２中の位置Ｂから、風景を撮像したときの撮像画像であり、地面部分の変換の説明に必要な座標系を示す説明図である。
【図４】図２中の位置Ｃから、風景を撮像した画像である。
【図５】地面部分の接合部において整合がとれていない接合失敗例である。
【図６】遠景部分の接合部において整合がとれていない接合失敗例である。
【図７】図２中の位置Ａから撮像される理想的なパノラマ画像である。
【図８】図２中の位置Ｂ上高さＭの地点に設置されたカメラの撮像方向が水平なときの図２の断面を示した模式的な説明図である。
【図９】図８の地面部分の水平面を俯瞰した模式図である。
【図１０】図２中の位置Ｂ上高さＭの地点から撮像した、地面部分変換後の被接合画像である。
【図１１】図２中の位置Ｃ上高さＭの地点から撮像した、地面部分変換後の被接合画像である。
【図１２】図２中の位置Ｂ上高さＭの地点からの撮像画像及び図２中の位置Ｃ上高さＭの地点からの撮像画像を接合したパノラマ画像である。
【図１３】逆変換する前の水平画角に応じた地面部分の調整を示す説明図である。
【符号の説明】
１０  遠景部分
１２  地面部分
１４  垂直面内地面部分
１６  投影後の地面画像（台形の地面画像）
【図１】
0004129938.tif 000002
【図２】
0004129938.tif 000003
【図３】
0004129938.tif 000004
【図４】
0004129938.tif 000005
【図５】
0004129938.tif 000006
【図６】
0004129938.tif 000007
【図７】
0004129938.tif 000008
【図８】
0004129938.tif 000009
【図９】
0004129938.tif 000010
【図１０】
0004129938.tif 000011
【図１１】
0004129938.tif 000012
【図１２】
0004129938.tif 000013
【図１３】
0004129938.tif 000014