(57)【要約】  【課題】  全体にわたって平面上に表現された場合の視認性および圧縮効率が高い合成画像をより小さい計算誤差にて生成する画像処理装置、画像処理方法、画像処理プログラムおよびその画像処理プログラムを記録したコンピュータ読み取り可能記録媒体を提供すること。  【解決手段】  正積画像変換手段３は、入力された複数の画像を複数の正積画像にそれぞれ変換する。変換された正積画像の画素密度比率は、画像の画素密度比率に等しい。正積画像変換手段３は、まず、複数の画像の画素座標を球面座標に変換する。次いで、正積画像変換手段３は、変換された球面座標を平面座標に変換することにより、複数の画像を複数の正積画像にそれぞれ変換する。合成画像生成手段４は、変換された複数の正積画像から合成画像を生成する。【選択図】    図１
2006092084.tif 000002
【特許請求の範囲】
【請求項１】
全周囲にわたって撮像された複数の画像から合成画像を生成する画像処理装置であって、
全周囲にわたって撮像された長方形状である複数の画像を入力する入力手段（２）と、
入力された複数の画像を複数の正積画像にそれぞれ変換する正積画像変換手段（３）と、
変換された複数の正積画像に基いて合成画像を生成する合成画像生成手段（４）と、
生成された合成画像を記憶する記憶手段（５）と、
記憶された合成画像を出力する出力手段（６）とを具備する画像処理装置。
【請求項２】
正積画像変換手段（３）は、複数の画像の画素座標を球面座標に変換し、変換された球面座標を正積図法に基いて平面座標に変換することにより、複数の画像を複数の正積画像にそれぞれ変換する請求項１に記載の画像処理装置。
【請求項３】
正積画像変換手段（３）は、複数の画像の画素座標（ｕ，ｖ）を
θ＝θｃ＋ｔａｎ−１（ｕ／Ｌ）、
φ＝φｃ＋ｔａｎ−１（ｖ／Ｌ）
によって複数の画像の球面座標（θ，φ）にそれぞれ変換し（ｕは画像の水平方向の画素座標であり、ｖは画像の垂直方向の画素座標である。θおよびφはそれぞれ、所定の視点位置Ｏを原点とする球面座標系の球面座標であり、視点位置Ｏを含む基準面に対する水平角および仰角である。Ｌはカメラの焦点距離であり、θｃおよびφｃは画像の中心の球面座標である。）、
変換された複数の画像の球面座標（θ，φ）を
ｘ＝Ｗ＊ｃｏｓφ＊θ／α、
ｙ＝Ｈ＊φ／β
によって平面座標（ｘ，ｙ）にそれぞれ変換する（αはカメラレンズの水平画角であり、βはカメラレンズの垂直画角であり、Ｗは画像の水平方向の最大画素数であり、Ｈは画像の垂直方向の最大画素数である）請求項１に記載の画像処理装置。
【請求項４】
合成画像は全周囲画像であり、
合成画像生成手段（４）は、変換された複数の正積画像を整合させることによって全周囲画像を生成する請求項１に記載の画像処理装置。
【請求項５】
合成画像は全周囲を部分的に表示する部分画像であり、
合成画像生成手段（４）は、変換された複数の正積画像それぞれの中心領域を整合させることによって長方形状の部分画像を生成する請求項１に記載の画像処理装置。
【請求項６】
合成画像生成手段（４）は、生成された合成画像をＪＰＥＧ方式によって符号化する請求項１に記載の画像処理装置。
【請求項７】
出力手段（６）は、
視点方向および表示サイズを受信する受信手段（６１）と、
受信された視点方向および表示サイズに応じて合成画像の表示範囲を決定し、決定された表示範囲に対応した長方形状の表示画像を生成する表示画像生成手段（６２）と、
生成された表示画像を出力する画像出力手段（６３）とを備える請求項１に記載の画像処理装置。
【請求項８】
全周囲にわたって撮像された複数の画像から合成画像を生成する画像処理方法であって、
全周囲にわたって撮像された長方形状である複数の画像を入力する入力ステップと、
入力された複数の画像を複数の正積画像にそれぞれ変換する正積画像変換ステップと、
変換された複数の正積画像に基いて合成画像を生成する合成画像生成ステップと、
生成された合成画像を記憶する記憶ステップと、
記憶された合成画像を出力する出力ステップとを含む画像処理方法。
【請求項９】
正積画像変換ステップにおいては、複数の画像の画素座標を球面座標に変換し、変換された球面座標を正積図法に基いて平面座標に変換することにより、複数の画像を複数の正積画像にそれぞれ変換する請求項８に記載の画像処理方法。
【請求項１０】
正積画像変換ステップにおいては、複数の画像の画素座標（ｕ，ｖ）を
θ＝θｃ＋ｔａｎ−１（ｕ／Ｌ）、
φ＝φｃ＋ｔａｎ−１（ｖ／Ｌ）
によって複数の画像の球面座標（θ，φ）にそれぞれ変換し（ｕは画像の水平方向の画素座標であり、ｖは画像の垂直方向の画素座標である。θおよびφはそれぞれ、所定の視点位置Ｏを原点とする球面座標系の球面座標であり、視点位置Ｏを含む基準面に対する水平角および仰角である。Ｌはカメラの焦点距離であり、θｃおよびφｃは画像の中心の球面座標である。）、
変換された複数の画像の球面座標（θ，φ）を
ｘ＝Ｗ＊ｃｏｓφ＊θ／α、
ｙ＝Ｈ＊φ／β
によって平面座標（ｘ，ｙ）にそれぞれ変換する（αはカメラレンズの水平画角であり、βはカメラレンズの垂直画角であり、Ｗは画像の水平方向の最大画素数であり、Ｈは画像の垂直方向の最大画素数である）請求項８に記載の画像処理方法。
【請求項１１】
合成画像は全周囲画像であり、
合成画像生成ステップにおいては、変換された複数の正積画像を整合させることによって全周囲画像を生成する請求項８に記載の画像処理方法。
【請求項１２】
合成画像は全周囲を部分的に表示する部分画像であり、
合成画像生成ステップは、変換された複数の正積画像それぞれの中心領域を整合させることによって長方形状の部分画像を生成する請求項８に記載の画像処理方法。
【請求項１３】
合成画像生成ステップにおいては、生成された合成画像をＪＰＥＧ方式によって符号化する請求項８に記載の画像処理方法。
【請求項１４】
出力ステップは、
視点方向および表示サイズを受信する受信ステップと、
受信された視点方向および表示サイズに応じて合成画像の表示範囲を決定し、決定された表示範囲に対応した長方形状の表示画像を生成する表示画像生成ステップと、
生成された表示画像を出力する画像出力ステップとを含む請求項８に記載の画像処理方法。
【請求項１５】
請求項８から１４のいずれかに記載の画像処理方法をコンピュータに実行させる画像処理プログラム。
【請求項１６】
請求項８から１４のいずれかに記載の画像処理方法をコンピュータに実行させる画像座標処理プログラムを記録したコンピュータ読み取り可能記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、全周囲にわたって撮像された複数の画像から合成画像を生成する画像処理装置、画像処理方法、画像処理プログラムおよびその画像処理プログラムを記録したコンピュータ読み取り可能記録媒体に関する。
【背景技術】
【０００２】
昨今、周囲に発生する異常や不法侵入者の発見その他の用途のために、全周囲の監視を可能にする画像処理装置が必要とされている。例えば特許文献１に記載の画像処理装置では、ユーザが任意の範囲を指定すると、指定された範囲にわたって撮像した長方形状の複数の画像を複数の球面画像にそれぞれ変換する。次いで、変換した複数の球面画像を整合することによって任意の範囲を表示した一枚の球面画像（以下、合成画像と称す）を生成し、生成した合成画像を記憶する。その後、ユーザが視点方向および表示サイズをさらに指定すると、この画像処理装置では、指定された視点方向および表示サイズに対応して、合成画像の表示範囲を球面画像から長方形状の画像に変換し、変換された長方形状の画像をユーザに表示する。
【０００３】
【特許文献１】特開２００４−２１４８３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の画像処理装置では合成画像が球面画像であるために、合成画像を全体にわたって長方形状の平面画像において表現する場合、例えば合成画像を全体にわたってディスプレイ画面上に表示する場合や合成画像をＪＰＥＧ画像等の長方形状の平面画像として圧縮する場合、球面画像である合成画像を平面画像に変換する必要がある。この変換が例えば測地ドームによって実行される場合、合成画像の全体は、複数の多角形面片、例えば六角形面片によって近似される。次いで、これら複数の六角形面片の境界線に沿って合成画像に複数の切れ目が入れられ、これら複数の切れ目を引裂くことにより、合成画像は、図７に示されるような全体としてノコギリ状の画像として表現される。
【０００５】
このような測地ドームによる変換では、合成画像の画素間の配置が大きく変化する。具体的には、変換前の長方形状の画像（すなわち撮像された原画像）では、任意の画素が近傍の三つの画素とともに正方形の頂点となるように配置されるのに対し、変換後の球面画像では、任意の画素が近傍の二つの画素とともに三角形の頂点となるように配置される。このような画素間の配置の大きな変化により、撮像された原画像の画素位置と球面画像の画素位置とのズレが大きくなる。この大きなズレにより、撮像された原画像の画素位置から球面画像の画素位置を算出するための計算誤差が大きくなるおそれがある。
【０００６】
また、合成画像がノコギリ状の画像になるように引裂かれることにより、引裂かれた領域において画素間の配置が大きく変化する。例えば合成画像が全周囲画像である場合、合成画像全体は図７に示されるように平面上にて歪んだ形状にて表現される。このように合成画像が歪んだ形状にて表現されることにより、合成画像全体の視認性がより悪化し、さらには、合成画像を全体にわたって表示するために必要な長方形状の平面画像のサイズが大きくなり、結果として合成画像の圧縮効率が下がるおそれがある。
【０００７】
本発明は、上記問題を解決するとともに、全体にわたって平面上に表現された場合の視認性および圧縮効率が高い合成画像をより小さい計算誤差にて生成する画像処理装置、画像処理方法、画像処理プログラムおよびその画像処理プログラムを記録したコンピュータ読み取り可能記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、全周囲にわたって撮像された複数の画像から合成画像を生成する画像処理装置であって、全周囲にわたって撮像された長方形状である複数の画像を入力する入力手段（２）と、入力された複数の画像を複数の正積画像にそれぞれ変換する正積画像変換手段（３）と、変換された複数の正積画像に基いて合成画像を生成する合成画像生成手段（４）と、生成された合成画像を記憶する記憶手段（５）と、記憶された合成画像を出力する出力手段（６）とを具備し、これにより上記目的が達成される。
【０００９】
正積画像変換手段（３）は、複数の画像の画素座標を球面座標に変換し、変換された球面座標を正積図法に基いて平面座標に変換することにより、複数の画像を複数の正積画像にそれぞれ変換してもよい。
【００１０】
正積画像変換手段（３）は、複数の画像の画素座標（ｕ，ｖ）を
θ＝θｃ＋ｔａｎ−１（ｕ／Ｌ）、
φ＝φｃ＋ｔａｎ−１（ｖ／Ｌ）
によって複数の画像の球面座標（θ，φ）にそれぞれ変換し（ｕは画像の水平方向の画素座標であり、ｖは画像の垂直方向の画素座標である。θおよびφは、所定の視点位置Ｏを原点とする球面座標系の球面座標であり、θおよびφはそれぞれ、視点位置Ｏを含む基準面に対する水平角および仰角である。Ｌはカメラの焦点距離であり、θｃおよびφｃは画像の中心の球面座標である。）、変換された複数の画像の球面座標（θ，φ）を
ｘ＝Ｗ＊ｃｏｓφ＊θ／α、
ｙ＝Ｈ＊φ／β
によって平面座標（ｘ，ｙ）にそれぞれ変換してもよい（αはカメラレンズの水平画角であり、βはカメラレンズの垂直画角であり、Ｗは画像の水平方向の最大画素数であり、Ｈは画像の垂直方向の最大画素数である）。
【００１１】
合成画像は全周囲画像であり、合成画像生成手段（４）は、変換された複数の正積画像を整合させることによって例えば楕円状の全周囲画像を生成してもよい。
合成画像は全周囲を部分的に表示する部分画像であり、合成画像生成手段（４）は、変換された複数の正積画像それぞれの中心領域を整合させることによって長方形状の部分画像を生成する。複数の正積画像の中心領域はカメラの撮像範囲の中心領域に対応しており、高解像度かつ焦点深度が広い領域であるために、本発明では、従来の画像処理装置が実現できないような広角を有する部分画像を任意に生成することが可能である。
合成画像生成手段（４）は、生成された合成画像をＪＰＥＧ方式によって符号化してもよい。
出力手段（６）は、視点方向および表示サイズを受信する受信手段（６１）と、受信された視点方向および表示サイズに応じて合成画像の表示範囲を決定し、決定された表示範囲に対応した長方形状の表示画像を生成する表示画像生成手段（６２）と、生成された全周囲画像を出力する画像出力手段（６３）とを備えてもよい。
【００１２】
本発明は、全周囲にわたって撮像された複数の画像から合成画像を生成する画像処理方法であって、全周囲にわたって撮像された長方形状である複数の画像を入力する入力ステップと、入力された複数の画像を複数の正積画像にそれぞれ変換する正積画像変換ステップと、変換された複数の正積画像に基いて合成画像を生成する合成画像生成ステップと、生成された合成画像を記憶する記憶ステップと、記憶された合成画像を出力する出力ステップとを含み、これにより上記目的が達成される。
【００１３】
正積画像変換ステップにおいては、複数の画像の画素座標を球面座標に変換し、変換された球面座標を正積図法に基いて平面座標に変換することにより、複数の画像を複数の正積画像にそれぞれ変換してもよい。
【００１４】
正積画像変換ステップにおいては、複数の画像の画素座標（ｕ，ｖ）を
θ＝θｃ＋ｔａｎ−１（ｕ／Ｌ）、
φ＝φｃ＋ｔａｎ−１（ｖ／Ｌ）
によって複数の画像の球面座標（θ，φ）にそれぞれ変換し（ｕは画像の水平方向の画素座標であり、ｖは画像の垂直方向の画素座標である。θおよびφは、所定の視点位置Ｏを原点とする球面座標系の球面座標であり、θおよびφはそれぞれ、視点位置Ｏを含む基準面に対する水平角および仰角である。Ｌはカメラの焦点距離であり、θｃおよびφｃは画像の中心の球面座標である。）、変換された複数の画像の球面座標（θ，φ）を
ｘ＝Ｗ＊ｃｏｓφ＊θ／α、
ｙ＝Ｈ＊φ／β
によって平面座標（ｘ，ｙ）にそれぞれ変換してもよい（αはカメラレンズの水平画角であり、βはカメラレンズの垂直画角であり、Ｗは画像の水平方向の最大画素数であり、Ｈは画像の垂直方向の最大画素数である）。
【００１５】
合成画像は全周囲画像であり、合成画像生成ステップにおいては、変換された複数の正積画像を整合させることによって例えば楕円状の全周囲画像を生成してもよい。
合成画像は全周囲を部分的に表示する部分画像であり、合成画像生成ステップは、変換された複数の正積画像それぞれの中心領域を整合させることによって長方形状の部分画像を生成してもよい。複数の正積画像の中心領域はカメラの撮像範囲の中心領域に対応しており、高解像度かつ焦点深度が広い領域であるために、本発明では、従来の画像処理装置が実現できないような広角を有する部分画像を任意に生成することが可能である。
合成画像生成ステップにおいては、生成された合成画像をＪＰＥＧ方式によって符号化してもよい。
出力ステップは、視点方向および表示サイズを受信する受信ステップと、受信された視点方向および表示サイズに応じて合成画像の表示範囲を決定し、決定された表示範囲に対応した長方形状の表示画像を生成する表示画像生成ステップと、生成された全周囲画像を出力する画像出力ステップとを含んでもよい。
【００１６】
本発明は、上記画像処理方法をコンピュータに実行させる画像処理プログラムである。
本発明は、上記画像処理方法をコンピュータに実行させる画像座標処理プログラムを記録したコンピュータ読み取り可能記録媒体である。
【発明の効果】
【００１７】
本発明は、全周囲にわたって撮像された複数の画像を複数の正積画像にそれぞれ変換し、変換された複数の正積画像から所定の形状（例えば楕円状）の合成画像を生成する。このように合成画像が生成されることにより、測地ドームによって球面画像から平面画像として変換された従来の合成画像と比較すると、（Ａ）合成画像の生成に伴う画素間の配置変化（特に合成画像の長軸周辺における画素間の配置変化）が小さくなり、これにより合成画像の視認性が向上するとともに合成画像を生成するための計算誤差が小さくなり、（Ｂ）合成画像を全体にわたって表示するために必要な長方形状の平面画像のサイズが小さく、結果として合成画像の圧縮効率が向上し、（Ｃ）合成画像の外周部分の視認性が向上する。
以上により、本発明は、全体にわたって平面上に表現された場合の視認性および圧縮効率が高い合成画像をより小さい計算誤差にて生成する画像処理装置、画像処理方法、画像処理プログラムおよびその画像処理プログラムを記録したコンピュータ読み取り可能記録媒体を提供することを可能にする。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照しながら本発明の実施形態を説明する。
図１は、本発明の実施形態の一例である画像処理装置１を示した模式図である。
本実施形態の一例である画像処理装置１は、全周囲にわたって撮像された複数の画像から合成画像を生成する画像処理装置１であり、入力手段２と、正積画像変換手段３と、合成画像生成手段４と、記憶手段５と、出力手段６とを具備する。画像処理装置１は、画像処理プログラムがコンピュータのＣＰＵ（中央処理演算装置）上で動作することにより、コンピュータにおいて実現されている。画像処理プログラムは、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能記録媒体またはインターネット等の電気通信回線を介して提供される。
【００１９】
入力手段２は、全周囲にわたって撮像された長方形状である複数の画像を入力する。複数の画像は、カメラによって所定の視点位置の全周囲にわたって撮像されている。所定の視点位置は、例えば、一台のカメラが駆動することによって全周囲にわたって撮像する場合にはカメラの駆動中心であり、カメラレンズが全方位レンズである場合にはカメラ位置である。撮像される複数の画像のサイズおよび枚数は、カメラの水平画角および垂直画角と垂直方向の最大画素数および水平方向の最大画素数とに基いて予め設定されている。カメラとは、撮像対象の光学情報をデジタル情報に変換できる撮像装置をいい、例えば、撮像素子としてＣＣＤやＣＭＯＳを用いたデジタルカメラまたはイメージスキャナをいう。
【００２０】
正積画像変換手段３は、入力された複数の画像を複数の正積画像にそれぞれ変換する。変換された正積画像の画素密度比率は、画像の画素密度比率に等しい。
正積画像変換手段３は、まず、複数の画像の画素座標を正積図法に基いて球面座標に変換する。具体的には、正積画像変換手段３は、複数の画像の画素座標（ｕ，ｖ）を
θ＝θｃ＋ｔａｎ−１（ｕ／Ｌ）、
φ＝φｃ＋ｔａｎ−１（ｖ／Ｌ）
によって複数の画像の球面座標（θ，φ）に変換する。ｕおよびｖは画像の中心を（０，０）とした場合の画素座標である。図２に示されるように、ｕは画像の水平方向の画素座標であり、ｖは画像の垂直方向の画素座標であり、Ｌはカメラの焦点距離である。θおよびφは、所定の視点位置Ｏを原点とする球面座標系の球面座標である。図３に示されるように、θおよびφはそれぞれ、視点位置Ｏを含む基準面に対する水平角および仰角である。θｃおよびφｃは画像の中心の球面座標である。
【００２１】
次いで、正積画像変換手段３は、変換された球面座標を平面座標に変換することにより、複数の画像を複数の正積画像にそれぞれ変換する。具体的には、正積画像変換手段３は、複数の画像の球面座標（θ，φ）を
ｘ＝Ｗ＊ｃｏｓφ＊θ／α、
ｙ＝Ｈ＊φ／β
によって平面座標（ｘ，ｙ）に変換する。図２に示されるように、αはカメラレンズの水平画角であり、βはカメラレンズの垂直画角であり、Ｗは画像の水平方向の最大画素数であり、Ｈは画像の垂直方向の最大画素数である。
【００２２】
合成画像生成手段４は、変換された複数の正積画像に基いて合成画像を生成する。合成画像生成手段４は、変換された複数の正積画像を整合させることにより、全周囲を表示する全周囲画像を合成画像として生成してもよいし、変換された複数の正積画像それぞれの中心領域を整合させることにより、全周囲を部分的に表示する長方形状の部分画像を合成画像として生成してもよい。複数の正積画像の中心領域は、カメラの撮像範囲の中心領域に対応しており、高解像度かつ焦点深度が広い領域である。このような領域を整合させることによって生成された部分画像は広角を有している。生成される合成画像の形状は、任意に選択可能であり、合成画像全体の視認性が高い楕円状でもよく、長方形状でもよい。
合成画像生成手段４は、複数の正積画像が重複している重複領域、すなわち複数の正積画像の平面座標（ｘ，ｙ）が同一である重複領域の輝度値を決定することにより、複数の正積画像を整合させる。合成画像生成手段４は、例えば、（ａ）重複領域の輝度値のいずれかを選択すること、（ｂ）重複領域の輝度値の単純平均値を算出すること、（ｃ）重複領域の画素と重複している領域の周囲の画素とを平滑化すること等のいずれかの処理を実行し、この処理によって重複領域の輝度値を決定する。
【００２３】
また、合成画像生成手段４は、整数の平面座標（ｘ，ｙ）を与える（ｕ，ｖ）が実数であるために平面座標（ｘ，ｙ）の輝度値が画素座標（ｕ，ｖ）の輝度値に対応しない場合、実数である（ｕ，ｖ）の輝度値Ｉｐｑ（ｐおよびｑはそれぞれｕおよびｖの小数部分の値である）を
Ｉｐｑ＝Ｉ００＊（１−ｐ）＊（１−ｑ）＋Ｉ１０＊ｐ＊（１−ｑ）＋Ｉ０１＊（１−ｐ）＊ｑ＋Ｉ１１＊ｐ＊ｑ
によって算出し、この輝度値Ｉｐｑを平面座標（ｘ，ｙ）の輝度値とする。図４に示されるように、Ｉ００、Ｉ１０、Ｉ０１およびＩ１１は、Ｉｐｑを囲む画素座標の輝度値である。
また、合成画像生成手段４は、複数の正積画像間の明度が異なる場合には、濃度ヒストグラム法によって複数の正積画像間の明度を補正する。
【００２４】
記憶手段５は、生成された合成画像を記憶する。合成画像は、記憶手段５によって記憶される場合、合成画像生成手段４によって例えばＪＰＥＧ方式によって符号化される。合成画像は、ＪＰＥＧ方式の画像変換ソフトウェアやヴューワが長方形状の平面画像に対応していることが多いために、全体にわたって長方形状の平面画像において表現されることが好ましい。例えば合成画像が楕円状の全周囲画像である場合、合成画像は長方形状の平面画像において図５に示すように表示されている。この場合、長方形状の平面画像における合成画像の周囲には余白が生じ、この余白には追加情報の書込みが可能である。
【００２５】
出力手段６は、記憶された合成画像を出力する。出力手段６は、ユーザの要求に応じて、合成画像を全体にわたってディスプレイ画面上に表示してもよいし、合成画像の一部をディスプレイ画面上に表示してもよい。
出力手段６は、ユーザが要求する視点方向および表示サイズを受信する受信手段６１と、受信された視点方向および表示サイズに応じて合成画像から長方形状の表示画像を生成する表示画像生成手段６２と、生成された表示画像を出力する画像出力手段６３とを備える。
【００２６】
具体的には、受信手段６１は、ユーザから視点方向を示す球面座標（θｄ，φｄ）および表示サイズ（ｕＭ，ｖＭ）を受信する。次いで、表示画像生成手段６２は、合成画像の画素座標（ｘ，ｙ）を
ｕ＝Ｒ＊ｔａｎ（π＊ｘ／Ｄ＊ｃｏｓ（π＊ｙ／Ｄ／２）−θｄ）、
ｖ＝Ｒ＊ｔａｎ（π＊ｙ／Ｄ／２）−φｄ）
によって画素座標（ｕ，ｖ）に変換し、これにより長方形状の表示画像を生成する（合成画像の高さをＤとし、合成画像の幅を２＊Ｄとし、Ｒ＝Ｄ／πとしている）。この変換は、画素座標（ｕ，ｖ）の最大値が（ｕＭ，ｖＭ）になるように実行される。その後、画像出力手段６３は、生成された長方形状の表示画像を出力する。
【００２７】
図６は、本実施形態の画像処理装置１による画像処理方法の一例を示すフローチャート図である。
図６に示すように、ステップ１において、入力手段２は、全周囲にわたって撮像された長方形状である複数の画像を入力する。
【００２８】
ステップ２において、正積画像変換手段３は、入力された複数の画像を複数の正積画像にそれぞれ変換する。変換された正積画像の画素密度比率は、画像の画素密度比率に等しい。正積画像変換手段３は、まず、複数の画像の画素座標を球面座標に変換する。次いで、正積画像変換手段３は、変換された球面座標を正積図法に基いて平面座標に変換することにより、複数の画像を複数の正積画像にそれぞれ変換する。
【００２９】
ステップ３において、合成画像生成手段４は、変換された複数の正積画像を整合することによって例えば楕円状の合成画像を生成する。合成画像生成手段４は、複数の正積画像が重複している重複領域、すなわち複数の正積画像の平面座標が同一である重複領域の輝度値を決定することにより、複数の正積画像を整合させる。
ステップ４において、記憶手段５は、生成された合成画像を記憶する。合成画像は、記憶手段５によって記憶される場合、合成画像生成手段４によって例えばＪＰＥＧ方式によって符号化される。
【００３０】
ステップ５において、出力手段６は、記憶された合成画像を出力する。ステップ５は、ステップ５１と、ステップ５２と、ステップ５３とを含む。ステップ５１においては、受信手段６１が、ユーザが要求する視点方向および表示サイズを受信した場合（ＹＥＳの場合）、ステップ５２に進み、ユーザが要求する視点方向および表示サイズを受信していない場合（ＮＯの場合）、視点方向および表示サイズを待ち受ける。ステップ５２においては、画像生成手段６２が、ステップ５１において受信された視点方向および表示サイズに応じて合成画像から長方形状の表示画像を生成する。ステップ５３においては、画像出力手段６３が、ステップ５２において生成された表示画像を出力する。
【００３１】
以上のように説明した画像処理装置、画像処理方法、画像処理プログラムおよびその画像処理プログラムを記録するコンピュータ読み取り可能記録媒体は、本発明の一実施形態に過ぎず、本発明は、この実施形態に限定されることはなく、請求の範囲に基く技術的範囲内で適宜変更して実施することができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施形態の一例である画像処理装置を示した模式図である。
【図２】撮像された画像の画素座標とカメラの画角との関係を示す図である。
【図３】所定の視点位置を原点とする球面座標系の球面座標を示す図である。
【図４】撮像された画像の画素座標が実数である場合の輝度値を示す図である。
【図５】長方形状の平面画像において表現された合成画像の全体を示す図である。
【図６】本実施形態の画像処理装置による画像処理方法の一例を示すフローチャート図である。
【図７】長方形状の平面画像において表現された従来の合成画像を示す図である。
【符号の説明】
【００３３】
１…画像処理装置
２…入力手段
３…正積画像変換手段
４…合成画像生成手段
５…記憶手段
６…出力手段
【図１】
2006092084.tif 000003
【図２】
2006092084.tif 000004
【図３】
2006092084.tif 000005
【図４】
2006092084.tif 000006
【図５】
2006092084.tif 000007
【図６】
2006092084.tif 000008
【図７】
2006092084.tif 000009