(57)【特許請求の範囲】
【請求項１】
パノラマ画像と当該パノラマ画像とは別の他画像とを比較するために、複数の撮影画像に関する撮影画像データを用いて前記パノラマ画像に関するパノラマ画像データを生成するパノラマ画像データ生成装置であって、
複数の撮影画像データが記憶される撮影画像データ記憶部と、
記憶された前記複数の撮影画像データを読み出し、仮想空間に配置したパノラママップを構成する複数の板モデルにマッピングすることによって、前記パノラマ画像に関する前記パノラマ画像データを生成するパノラマ画像データ生成部と、
生成された前記パノラマ画像データを出力する画像データ出力部と、
を備え、
前記板モデルは、隣り合う他の前記板モデルとオーバーラップするように前記仮想空間に配置されており、
前記パノラマ画像データ及び前記他画像に関する他画像データに基づいて、前記パノラマ画像と前記他画像とを重ね合わせた重合画像に関する重合画像データを生成する重合画像データ生成部をさらに備え、
前記重合画像データ生成部は、
前記複数の撮影画像データのオーバーラップした部分に関しては視点側のみを描画した前記パノラマ画像データを半透明処理し、
前記他画像データ及び半透明処理された前記パノラマ画像データに基づいて、前記他画像の手前に半透明な前記パノラマ画像を重ね合わせることによって、前記他画像と前記パノラマ画像とを比較するための重合画像に関する重合画像データを生成し、
前記画像データ出力部は、生成された前記重合画像データを出力する
ことを特徴とするパノラマ画像データ生成装置。
【請求項２】
前記他画像である三次元ＣＧ画像に関するＣＧ画像データが記憶されたＣＧ画像データ記憶をさらに備え、
前記重合画像データ生成部は、前記ＣＧ画像データ及び半透明処理された前記パノラマ画像データに基づいて、前記三次元ＣＧ画像の手前に半透明な前記パノラマ画像を重ね合わせることによって、前記三次元ＣＧ画像と前記パノラマ画像とを比較するための重合画像に関する重合画像データを生成する
ことを特徴とする請求項１に記載のパノラマ画像データ生成装置。
【請求項３】
前記パノラマ画像データ生成部は、前記他画像である第一のパノラマ画像に関する第一のパノラマ画像データと、前記パノラマ画像である第二のパノラマ画像に関する第二のパノラマ画像データと、を生成し、
前記重合画像データ生成部は、
前記複数の撮影画像データのオーバーラップした部分に関しては視点側のみを描画した前記第二のパノラマ画像データを半透明処理し、
前記第一のパノラマ画像データ及び半透明処理された前記第二のパノラマ画像データに基づいて、前記第一のパノラマ画像の手前に半透明な前記第二のパノラマ画像を重ね合わせることによって、前記第一のパノラマ画像と前記第二のパノラマ画像とを比較するための重合画像に関する重合画像データを生成する
ことを特徴とする請求項１に記載のパノラマ画像データ生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パノラマ画像を表示するためのパノラマ画像データを生成するパノラマ画像データ生成装置に関する。
【背景技術】
【０００２】
パノラマ画像関連技術として、建築物の内部の所定位置から全方位画像を撮影してパノラマ画像表示する技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２３５６９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
かかる技術において、全方位画像を加工して用いるため、全方位画像を施工記録等に使用することができない。したがって、元の画像を加工せずにパノラマ画像を生成することが望まれている。
【０００５】
本発明は、前記した事情に鑑みて創案されたものであり、元の画像を加工することなく、好適なパノラマ画像を生成することが可能なパノラマ画像データ生成装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するため、本発明のパノラマ画像データ生成装置は、パノラマ画像と当該パノラマ画像とは別の他画像とを比較するために、複数の撮影画像に関する撮影画像データを用いて前記パノラマ画像に関するパノラマ画像データを生成するパノラマ画像データ生成装置であって、複数の撮影画像データが記憶される撮影画像データ記憶部と、記憶された前記複数の撮影画像データを読み出し、仮想空間に配置したパノラママップを構成する複数の板モデルにマッピングすることによって、前記パノラマ画像に関する前記パノラマ画像データを生成するパノラマ画像データ生成部と、生成された前記パノラマ画像データを出力する画像データ出力部と、を備え、前記板モデルは、隣り合う他の前記板モデルとオーバーラップするように前記仮想空間に配置されており、前記パノラマ画像データ及び前記他画像に関する他画像データに基づいて、前記パノラマ画像と前記他画像とを重ね合わせた重合画像に関する重合画像データを生成する重合画像データ生成部をさらに備え、前記重合画像データ生成部は、前記複数の撮影画像データのオーバーラップした部分に関しては視点側のみを描画した前記パノラマ画像データを半透明処理し、前記他画像データ及び半透明処理された前記パノラマ画像データに基づいて、前記他画像の手前に半透明な前記パノラマ画像を重ね合わせることによって、前記他画像と前記パノラマ画像とを比較するための重合画像に関する重合画像データを生成し、前記画像データ出力部は、生成された前記重合画像データを出力することを特徴とする。
【０００７】
かかる構成によると、パノラマ画像において隣り合う撮影画像がオーバーラップしているので、隣り合う撮影画像に対して撮影画像を移動しても、撮影画像間に空白部分が生じない。したがって、撮影方向にずれが生じている場合に、撮影画像を加工することなく、撮影画像を移動することによって、撮影対象の連続性を保つことができる。
【０００８】
また、パノラマ画像データ生成装置は、前記他画像である三次元ＣＧ画像に関するＣＧ画像データが記憶されたＣＧ画像データ記憶をさらに備え、前記重合画像データ生成部は、前記ＣＧ画像データ及び半透明処理された前記パノラマ画像データに基づいて、前記三次元ＣＧ画像の手前に半透明な前記パノラマ画像を重ね合わせることによって、前記三次元ＣＧ画像と前記パノラマ画像とを比較するための重合画像に関する重合画像データを生成する構成であってもよい。
【０００９】
また、前記パノラマ画像データ生成部は、前記パノラマ画像データ生成部は、前記他画像である第一のパノラマ画像に関する第一のパノラマ画像データと、前記パノラマ画像である第二のパノラマ画像に関する第二のパノラマ画像データと、を生成し、前記重合画像データ生成部は、前記複数の撮影画像データのオーバーラップした部分に関しては視点側のみを描画した前記第二のパノラマ画像データを半透明処理し、前記第一のパノラマ画像データ及び半透明処理された前記第二のパノラマ画像データに基づいて、前記第一のパノラマ画像の手前に半透明な前記第二のパノラマ画像を重ね合わせることによって、前記第一のパノラマ画像と前記第二のパノラマ画像とを比較するための重合画像に関する重合画像データを生成する構成であってもよい。
【発明の効果】
【００１０】
本発明によれば、元の画像を加工することなく、好適なパノラマ画像を生成することができるとともに、パノラマ画像と当該パノラマ画像とは別の他画像とを、重合画像によって比較することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係るパノラマ画像表示システムを示すブロック図である。
【図２】板モデルの配置を説明するための模式図である。
【図３】板モデルのオーバーラップについて説明するための図であり、（ａ）はパノラママップ中心から見た図、（ｂ）はパノラママップの一部を上から見た図、（ｃ）は一の板モデルにおけるオーバーラップしている部分とオーバーラップしていない部分とを説明するための図である。
【図４】本発明の実施形態に係るパノラマ画像表示システムの第一の動作例を説明するための図であり、（ａ）は補正前のパノラマ画像、（ｂ）は補正後のパノラマ画像を示す。
【図５】本発明の実施形態に係るパノラマ画像表示システムの第二の動作例を説明するための図であり、（ａ）はＣＧ画像、（ｂ）はパノラマ画像、（ｃ）はＣＧ画像と半透明なパノラマ画像とからなる重合画像を示す。
【図６】本発明の実施形態に係るパノラマ画像表示システムの第三の動作例を説明するための図であり、（ａ）は第一のパノラマ画像、（ｂ）は第二のパノラマ画像、（ｃ）は第一のパノラマ画像と半透明な第二のパノラマ画像とからなる重合画像を示す。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態に係るパノラマ画像データ生成装置を建築物内部のパノラマ画像表示に適用した場合を例にとり、適宜図面を参照しながら説明する。同様の部分には同一符号を付し、重複する説明を省略する。
【００１３】
図１に示すように、本発明の実施形態に係るパノラマ画像表示システム１は、建築物内部の全方位パノラマ画像を生成して表示するシステムであって、撮影装置１０と、入力装置２０と、パノラマ画像データ生成装置３０と、表示装置４０と、を備える。
【００１４】
＜撮影装置１０＞
撮影装置１０は、デジタルカメラである撮影部１１と、当該撮影部１１をパン方向及びチルト方向に駆動するパン・チルト駆動部１２と、撮影部１１及びパン・チルト駆動部１２を駆動制御する制御部１３と、を備える。
【００１５】
制御部１３は、パン・チルト駆動部１２を駆動制御することによって、建築物内部に設けられた撮影部１１を所望の方向に向け、かかる状態で撮影部１１を駆動制御することによって撮影し、撮影画像に関する撮影画像データをパノラマ画像データ生成装置３０へ出力する。なお、撮影部１１の撮影データを、ＳＤカード等の記憶媒体に記憶させ、パノラマ画像データ生成装置３０に読み込ませる場合もある。
ここで、撮影部１１は、当該撮影部１１の上下左右の全方位（上下３６０度、左右３６０度。ただし、撮影部１１の真下を除く。）を、隣り合う撮影画像がオーバーラップするように所定ピッチごとに撮影し、全方位の撮影画像に関する撮影画像データを制御部１３へ出力する。
また、制御部１３は、撮影順序（すなわち、撮影方向）に基づくＩＤを撮影画像データに付与し、ＩＤが付与された撮影画像データをパノラマ画像データ生成装置３０へ出力する。
【００１６】
＜入力装置２０＞
入力装置２０は、キーボード、マウス等からなり、ユーザの操作に応じて、パノラマ画像の視点位置指示、パノラマ画像の補正指示、パノラマ画像の半透明処理指示等をパノラマ画像データ生成装置３０へ出力する。
【００１７】
＜パノラマ画像データ生成装置３０＞
パノラマ画像データ生成装置３０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力回路等から構成されており、機能部として、撮影画像データ記憶部３１と、パノラマ画像データ生成部３２と、記憶部３３と、重合画像データ生成部３４と、画像データ出力部３５と、パノラマ画像補正部３６と、を備える。
【００１８】
≪撮影画像データ記憶部３１≫
撮影画像データ記憶部３１には、制御部１３から出力された複数の撮影画像に関する複数の撮影画像データが入力されて記憶される。
【００１９】
≪パノラマ画像データ生成部３２≫
パノラマ画像データ生成部３２は、撮影画像データ記憶部３１から出力された複数の撮影画像データを読み出し、読み出された撮影画像に基づいて、パノラマ画像に関するパノラマ画像データを生成する。
具体的には、パノラマ画像データ生成部３２は、記憶部３３に予め記憶された、複数の板モデル５１を仮想空間に配置したパノラママップ５０（図２参照）を読み出し、パノラママップ５０の板モデル５１に撮影画像データをマッピングすることによって、パノラマ画像データを生成する。
【００２０】
図２に示すように、パノラママップ５０は、複数の板モデル５１を球状に配置して構成されている。パノラママップ５０（複数の板モデル５１によって構成された球）の中心は、撮影部１１の設置位置に対応しており、各板モデル５１は、各撮影画像の撮影範囲に対応している。すなわち、板モデル５１は、撮影画像と同数であり、パノラママップ５０の中心と隣り合う板モデル５１の各中心とをそれぞれ結んだ二本の線分からなる角の角度は、撮影部１１の設置位置で隣り合う画像を撮影したときの撮影部１１による撮影方向の角度差に対応しており、各板モデル５１の縦横比は、各撮影画像の縦横比に対応しており、複数の板モデル５１によって構成された球の中心から板モデル５１までの距離及び板モデル５１の縦横サイズは、撮影部１１の焦点距離及び撮影画像の縦横サイズに対応している。また、各板モデル５１には、撮影画像データと同様にＩＤが付与されており、パノラマ画像データ生成部３２は、撮影画像データに付与されたＩＤと板モデル５１に付与されたＩＤとに基づいて、撮影画像データを対応する板モデル５１にマッピングすることによって、パノラマ画像データを生成し、生成されたパノラマ画像データを画像データ出力部３５に出力したり、記憶部３３に記憶させたりする。ここで、パノラマ画像データ生成部３２は、入力部２０から出力された視点位置指示に基づいて、当該視点位置を中心とした所定範囲のパノラマ画像データを生成することができる。
【００２１】
≪記憶部３３≫
図１に戻り、記憶部３３には、前記したパノラママップ５０（図２参照）が予め記憶されており、さらに、パノラマ画像データ生成部３２から出力されたパノラマ画像データが記憶される。また、記憶部３３には、パノラマ画像と重ね合わせるための他画像に関する他画像データが記憶される。
【００２２】
≪重合画像データ生成部３４≫
重合画像データ生成部３４は、記憶部３３に記憶された他画像データ及びパノラマ画像データを読み出し、他画像の手前にパノラマ画像を重ね合わせた重合画像に関する重合画像データを生成し、生成された重合画像データを画像データ出力部３５へ出力する。
ここで、重合画像データ生成部３４は、入力部２０から出力された視点位置指示に基づいて、当該視点位置を中心とした所定範囲の他画像データ及びパノラマ画像データを記憶部３３から読み出し、読み出されたデータに基づいて重合画像データを生成する。
【００２３】
また、重合画像データ生成部３４は、半透明処理部を兼ねており、入力部２０から出力された半透明処理指示に基づいて、記憶部３３から読み出したパノラマ画像データを半透明にする処理を行う。半透明処理の際には、重合画像データ生成部３４は、撮影画像データのオーバーラップして隠れる部分が除去されたパノラマ画像データを半透明処理し、他画像の手前に半透明処理されたパノラマ画像データを重ね合わせることによって重合画像データを生成する。半透明の割合は、半透明処理指示によって適宜変更可能である。
ここで、図３（ａ）に太線で示す板モデルにマッピングされた撮影画像５２の周縁部は、隣の撮影画像とオーバーラップし、パノラママップ５０の中心から見て奥側となって隠れている。すなわち、撮影画像５２のうち、中央部５２ａは、パノラママップ５０の中心から見えており、周縁部５２ｂは、パノラママップ５０の中心から見えない（隠れている）（図３（ｂ）参照）。したがって、重合画像データ生成部３４は、パノラマ画像データを半透明処理する際には、記憶部３３からパノラマ画像データを読み出し、各撮影画像の隣の撮影画像とオーバーラップして隠れる周縁部５２ｂに関する撮影画像データを含まない表示用パノラマ画像データを生成してから半透明処理する。すなわち、記憶部３３には、オーバーラップして隠れる周縁部５２ｂに関する撮影画像データを含むパノラマ画像データがそのまま残る。
【００２４】
半透明処理の一例として、重合画像データ生成部３４は、記憶部３３からパノラマ画像データを読み出し、実際に表示されるパノラマ画像に関する表示用パノラマ画像データを生成し、かかる表示用パノラマ画像データを予め記憶しておく。また、重合画像データ生成部３４は、表示用パノラマ画像データを画像データ出力部３５へ出力する。かかる表示用パノラマ画像データは、撮影画像のうちオーバーラップして隠れている部分のデータを有してない。そして、重合画像データ生成部３４は、入力部２０から出力された半透明処理指示に基づいて、記憶された表示用パノラマ画像データを半透明処理する。
【００２５】
≪画像データ出力部３５≫
画像データ出力部３５は、パノラマ画像データを表示装置４０へ出力して表示装置４０にパノラマ画像を表示させる。本実施形態では、画像データ出力部３５は、重合画像データ生成部３４から出力された、他画像データ（例えば、ＣＧ画像データ）に、パノラマ画像データを重ね合わせた重合画像データを表示装置４０へ出力することもできる。
【００２６】
≪パノラマ画像補正部３６≫
パノラマ画像補正部３６は、入力部２０から出力された補正指示に基づいて、板モデル５１にマッピングされた撮影画像を緯線方向及び経線方向に移動することによって、パノラマ画像を補正する。なお、パノラマ画像補正部３６は、板モデル５１にマッピングされた撮影画像を回転移動したり、スケール変更（拡大又は縮小）したりすることによって、パノラマ画像を補正することもできる。
【００２７】
＜表示装置４０＞
表示装置４０は、パノラマ画像データ生成装置３０から出力されたパノラマ画像データを用いてパノラマ画像を表示するものである。
【００２８】
＜第一の動作例＞
続いて、本発明の実施形態に係るパノラマ画像表示システム１の第一の動作例について、図４を参照して説明する。第一の動作例は、パノラマ画像を補正するために、仮想空間で撮影画像を移動させるための動作例である。
【００２９】
撮影部１１による撮影時において、パン・チルト駆動部１２の誤差等によって、図４（ａ）に示すように、隣り合う撮影画像にずれが生じる場合がある。図４（ａ）に示す例では、左の撮影画像５２Ｌの撮影方向がずれた結果として、左の撮影画像５２Ｌと右の撮影画像５２Ｒとが上下方向（経線方向）にずれている。なお、実線の矩形枠で示す各撮影画像５２Ｌ，５２Ｒ，５２Ｄのうち、点線の矩形枠で示す部分がパノラマ画像に実際に用いられて表示されている。
【００３０】
かかるずれを補正するに際して、重合画像データ生成部３４は、入力装置２０から出力された視線位置に基づいて補正用のパノラマ画像データ（未重合）を生成し、画像データ出力部３５は、補正用のパノラマ画像データを表示装置４０へ出力する。表示装置４０には、補正用のパノラマ画像が表示される。
ユーザは、補正用のパノラマ画像を見て、隣り合う撮影画像５２Ｌ，５２Ｒにずれが生じていると判断した場合には、入力装置２０を操作する。入力装置２０は、撮影画像の選択結果と、選択された撮影画像の移動方向及び移動量と、を含む補正指示をパノラマ画像データ補正部３６へ出力する。
パノラマ画像データ補正部３６は、入力装置２０から出力された補正指示を取得し、かかる補正指示に応じて、仮想空間における撮影画像の位置を、板モデルからずらすことによってパノラマ画像データを補正し、補正されたパノラマ画像データを記憶部３３に記憶させる。
例えば、図４（ａ）において隣り合う撮影画像５２Ｌ，５２Ｒにずれが生じていても、パノラマ画像補正部３６は、左の撮影画像５２Ｌを上に移動するようにパノラマ画像データの位置情報を修正することによって、図４（ｂ）に示すようにパノラマ画像を補正して撮影対象の連続性を得ることができる。また、撮影画像５２Ｌを上に移動することによって空いた部分には、撮影画像５２Ｌの下の撮影画像５２Ｄにオーバーラップして隠れていた部分があり、かかる部分が表示されるようになるため、パノラマ画像に空白部分が生じることを防ぐことができる。
【００３１】
＜第二の動作例＞
続いて、本発明の実施形態に係るパノラマ画像表示システム１の第二の動作例について、図１，５を参照して説明する。第二の動作例は、建築物のＣＧモデルと完成後のパノラマ画像とを比較するための動作例である。
【００３２】
本動作例において、記憶部３３には、建築物の建築前に生成された、建築物のＣＧモデルを表す三次元ＣＧ画像に関するＣＧ画像データが予め記憶されている。
建築物の建築完了後、撮影画像データ取得部３１は、撮影装置１０によって撮影された複数の撮影画像に関する複数の撮影画像データを取得し、パノラマ画像データ生成部３２は、複数の撮影画像データを用いてパノラマ画像データを生成し、記憶部３３に記憶させる。
【００３３】
重合画像データ生成部３４は、入力装置２０から出力された視線位置に基づいて、視線位置を中心とする三次元ＣＧ画像（図５（ａ）参照）に関するＣＧ画像データと、視線位置を中心とするパノラマ画像（図５（ｂ）参照）に関するパノラマ画像データと、を記憶部３３から読み出し、読み出されたデータに基づいて、三次元ＣＧ画像の手前に半透明なパノラマ画像を重ね合わせた重合画像に関する重合画像データを生成し、画像データ出力部３５へ出力する。
【００３４】
続いて、画像データ出力部３５は、重合画像データを表示装置４０へ出力し、表示装置４０に重合画像（図５（ｃ）参照）を表示させる。
図５（ｃ）に示す重合画像を見たユーザは、半透明なパノラマ画像と、その背後のＣＧモデルと、を重ねて見ることができるので、建築物のＣＧモデルと、実際に建築された建築物のパノラマ画像と、をひと目で比較することができる。
【００３５】
＜第三の動作例＞
続いて、本発明の実施形態に係るパノラマ画像表示システム２の第三の動作例について、図６を参照して説明する。第三の動作例は、建築物の内装前のパノラマ画像（第一のパノラマ画像）と建築物の内装後のパノラマ画像（第二のパノラマ画像）とを表示するための動作例である。
【００３６】
建築物の建築途中の内装前において、撮影画像データ取得部３１は、撮影装置１０によって撮影された複数の撮影画像に関する複数の撮影画像データを取得し、パノラマ画像データ生成部３２は、複数の撮影画像データを用いて第一のパノラマ画像データを生成し、記憶部３３に記憶させる。
【００３７】
続いて、建築物の建築完了後、すなわち、内装後において、撮影画像データ取得部３１は、撮影装置１０によって撮影された複数の撮影画像に関する複数の撮影画像データを取得し、パノラマ画像データ生成部３２は、複数の撮影画像データを用いて第二のパノラマ画像データを生成し、記憶部３３に記憶させる。
【００３８】
続いて、重合画像データ生成部３４は、入力装置２０から出力された視線位置に基づいて、視線位置を中心とする第二のパノラマ画像（図６（ｂ）参照）に関する第二のパノラマ画像データを記憶部３３から読み出し、読み出されたデータに基づいて、視線位置を中心とする第二のパノラマ画像に関する表示用画像データを生成し、画像データ出力部３５へ出力する。
【００３９】
続いて、画像データ出力部３５は、表示用画像データを表示装置４０へ出力し、表示装置４０に視線位置を中心とする第二のパノラマ画像（図６（ｂ）参照）を表示させる。
【００４０】
続いて、重合画像データ生成部３４は、入力装置２０から出力された半透明処理指示に基づいて、視線位置を中心とする第一のパノラマ画像（図６（ａ）参照）に関する第一のパノラマ画像データを読み出すとともに、第二のパノラマ画像データを半透明処理して重合画像データを生成し、画像データ出力部３５へ出力する。
【００４１】
続いて、画像データ出力部３５は、重合画像データを表示装置４０へ出力し、表示装置４０に重合画像（図６（ｃ）参照）を表示させる。図６（ｃ）に示す重合画像を見たユーザは、半透明な第二のパノラマ画像と、その背後の第一のパノラマ画像と、を重ねて見ることができるので、建築物の内部状態を把握することができる。
【００４２】
本発明の実施形態に係るパノラマ画像表示システム１は、パノラマ画像において隣り合う撮影画像がオーバーラップしているので、隣り合う撮影画像に対して撮影画像を移動しても、撮影画像間に空白部分が生じない。したがって、撮影方向にずれが生じている場合に、撮影画像を移動することによって、撮影対象の連続性を保つことができるので、元の撮影画像を加工することなく、好適なパノラマ画像を生成することができる。
【００４３】
また、本発明の実施形態に係るパノラマ画像表示システム１は、パノラマ画像を透明表示する際には、パノラマ画像データから、撮影画像データのオーバーラップして隠れる部分を除去し、隠れる部分が除去されたパノラマ画像データを半透明処理するので、半透明表示によってオーバーラップして隠れていた部分が表示されてしまうことを防ぐことができる。
【符号の説明】
【００４４】
１      パノラマ画像表示システム
３０    パノラマ画像データ生成装置
３１    撮影画像データ記憶部
３２    パノラマ画像データ生成部
３４    重合画像データ生成部
３５    画像データ出力部
【図１】
0005620871.tif 000002
【図２】
0005620871.tif 000003
【図３】
0005620871.tif 000004
【図４】
0005620871.tif 000005
【図５】
0005620871.tif 000006
【図６】
0005620871.tif 000007