(57)【要約】  画像データ出力装置１０の部分画像取得部５０は、異なる画角で撮影された複数の部分画像を取得する。出力画像生成部５２は部分画像を接続して１つの広角画像のデータを生成する。マップ生成部５６は部分画像のつなぎ目に係るマップデータを生成し、データ出力部５４はそれらのデータを出力する。コンテンツ作成装置１８は、マップデータを参照してつなぎ目を含む領域を拡大し、像の歪みや不連続な箇所を検出して修正する。コンテンツ再生装置２０はマップデータを参照して、残りの部分画像を適宜接続、合成して表示装置１６ｂに出力する。
2020066008.tif 000002
【特許請求の範囲】
【請求項１】
表示に用いる画像のデータを出力する画像データ出力装置であって、
前記画像を構成する複数の部分画像を取得する部分画像取得部と、
前記部分画像の接続位置を決定したうえ、出力すべき画像のデータを前記部分画像から生成する出力画像生成部と、
前記接続位置を示すマップデータを生成するマップ生成部と、
前記出力すべき画像のデータと前記マップデータとを対応づけて出力するデータ出力部と、
を備えたことを特徴とする画像データ出力装置。
【請求項２】
前記部分画像取得部は、実空間を異なる画角で撮影した複数の撮影画像を前記部分画像として取得し、
前記出力画像生成部は、前記複数の撮影画像を、各画角に基づき接続して１つの画像のデータを生成し、
前記マップ生成部は、前記マップデータに、前記複数の撮影画像のつなぎ目を表すことを特徴とする請求項１に記載の画像データ出力装置。
【請求項３】
前記部分画像取得部は、実空間を異なる画角で撮影した複数の動画を前記部分画像として取得し、
前記出力画像生成部は、前記複数の動画のうち一部の動画を静止画で置き換えたデータを生成し、
前記マップ生成部は、前記マップデータに、動画と静止画の区別を表すことを特徴とする請求項１または２に記載の画像データ出力装置。
【請求項４】
前記出力画像生成部は、前記複数の動画のうち静止画で置き換える対象を、画像の内容に応じて切り替えることを特徴とする請求項３に記載の画像データ出力装置。
【請求項５】
前記部分画像取得部は、実空間を異なる画角および解像度で撮影した複数の撮影画像を前記部分画像として取得し、
前記マップ生成部は、前記マップデータに、前記複数の撮影画像の区別を表すことを特徴とする請求項１から４のいずれかに記載の画像データ出力装置。
【請求項６】
前記部分画像取得部は、表示に用いる全体領域の撮影画像と、前記全体領域の撮影画像より狭い画角かつ高い解像度を有する狭角高解像度画像とを取得し、
前記マップ生成部は、前記狭角高解像度画像の画角の変化に対応するように、前記マップデータを変化させることを特徴とする請求項５に記載の画像データ出力装置。
【請求項７】
前記部分画像取得部は、表示に用いる画像に対する付加情報を表す画像を前記部分画像として取得し、
前記マップ生成部は、前記マップデータに、前記付加情報を表す画像の区別を表すことを特徴とする請求項１から６のいずれかに記載の画像データ出力装置。
【請求項８】
前記マップ生成部は、前記マップデータの一つの領域に、切り替えて表示させる複数の前記付加情報を表す画像を対応づけることを特徴とする請求項７に記載の画像データ出力装置。
【請求項９】
既知の間隔を有する左右の視点から撮影された第１の画像、第２の画像からなるステレオ画像を取得するステレオ画像取得部と、
前記部分画像取得部は、前記ステレオ画像における同じ被写体の像のずれ量を取得し、前記第１の画像における像を前記ずれ量分だけ移動させた、前記第２の画像の疑似画像を生成したうえ、前記第２の画像のうち前記疑似画像との差分が所定値以上の箇所を含む所定範囲の領域を前記部分画像として切り出し、
前記マップ生成部は、前記第２の画像の平面における前記所定範囲の領域を前記マップデータに表し、
前記データ出力部は、前記第１の画像のデータ、前記ずれ量に係るデータ、前記部分画像のデータ、および前記マップデータを出力することを特徴とする請求項１から８のいずれかに記載の画像データ出力装置。
【請求項１０】
複数の部分画像を接続してなる画像のデータと、前記部分画像のつなぎ目を示すマップデータを取得するデータ取得部と、
前記マップデータを参照して前記つなぎ目を対象に画像を修正したうえコンテンツのデータとするコンテンツ生成部と、
前記コンテンツのデータを出力するデータ出力部と、
を備えたことを特徴とするコンテンツ作成装置。
【請求項１１】
表示に用いる画像を構成する複数の部分画像のデータと、前記部分画像の接続位置を示すマップデータを取得するデータ取得部と、
前記マップデータを参照して、視線に対応する領域における前記部分画像を接続し表示画像を生成する表示画像生成部と、
前記表示画像を表示装置に出力するデータ出力部と、
を備えたことを特徴とするコンテンツ再生装置。
【請求項１２】
前記表示画像生成部は、前記マップデータを参照して前記部分画像が動画の領域と静止画の領域を特定し、前記動画の領域において、取得した動画のデータを用いて画像を更新することを特徴とする請求項１１に記載のコンテンツ再生装置。
【請求項１３】
前記表示画像生成部は、前記静止画の領域に擬似的なノイズを重畳させることを特徴とする請求項１２に記載のコンテンツ再生装置。
【請求項１４】
前記マップデータは、一つの部分画像の領域に複数の付加画像が対応づけられ、
前記表示画像生成部は、鑑賞者の操作に応じて、接続する前記付加画像を切り替えることを特徴とする請求項１１から１３のいずれかに記載のコンテンツ再生装置。
【請求項１５】
前記データ取得部は、既知の間隔を有する左右の視点から撮影された第１の画像、第２の画像からなるステレオ画像のうち前記第１の画像と、前記ステレオ画像における同じ被写体の像のずれ量に係るデータと、前記第１の画像における像を前記ずれ量分だけ移動させた、前記第２の画像の疑似画像との差分が所定位置以上の箇所を含む、前記第２の画像の所定範囲の領域のデータと、前記第２の画像の平面における前記所定範囲の領域を示すマップデータと、を取得し、
前記表示画像生成部は、前記第１の画像と前記ずれ量に係るデータを用いて前記疑似画像を生成し、そのうち前記マップデータが示す領域に、前記所定範囲の領域のデータを合成することにより前記第２の画像を復元し、
前記データ出力部は、前記第１の画像と前記第２の画像を出力することを特徴とする請求項１１から１４のいずれかに記載のコンテンツ再生装置。
【請求項１６】
表示に用いる画像のデータを出力する画像データ出力装置が、
前記画像を構成する複数の部分画像を取得するステップと、
前記部分画像の接続位置を決定したうえ、出力すべき画像のデータを前記部分画像から生成するステップと、
前記接続位置を示すマップデータを生成するステップと、
前記出力すべき画像のデータと前記マップデータとを対応づけて出力するステップと、
を含むことを特徴とする画像データ出力方法。
【請求項１７】
複数の部分画像を接続してなる画像のデータと、前記部分画像のつなぎ目を示すマップデータを取得するステップと、
前記マップデータを参照して前記つなぎ目を対象に画像を修正したうえコンテンツのデータとするステップと、
前記コンテンツのデータを出力するステップと、
を含むことを特徴とする、コンテンツ作成装置によるコンテンツ作成方法。
【請求項１８】
表示に用いる画像を構成する複数の部分画像のデータと、前記部分画像の接続位置を示すマップデータを取得するステップと、
前記マップデータを参照して、視線に対応する領域における前記部分画像を接続し表示画像を生成するステップと、
前記表示画像を表示装置に出力するステップと、
を含むことを特徴とする、コンテンツ再生装置によるコンテンツ再生方法。
【請求項１９】
表示に用いる画像のデータを出力するコンピュータに、
前記画像を構成する複数の部分画像を取得する機能と、
前記部分画像の接続位置を決定したうえ、出力すべき画像のデータを前記部分画像から生成する機能と、
前記接続位置を示すマップデータを生成する機能と、
前記出力すべき画像のデータと前記マップデータとを対応づけて出力する機能と、
を実現させることを特徴とするコンピュータプログラム。
【請求項２０】
複数の部分画像を接続してなる画像のデータと、前記部分画像のつなぎ目を示すマップデータを取得する機能と、
前記マップデータを参照して前記つなぎ目を対象に画像を修正したうえコンテンツのデータとする機能と、
前記コンテンツのデータを出力する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
【請求項２１】
表示に用いる画像を構成する複数の部分画像のデータと、前記部分画像の接続位置を示すマップデータを取得する機能と、
前記マップデータを参照して、視線に対応する領域における前記部分画像を接続し表示画像を生成する機能と、
前記表示画像を表示装置に出力する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示に用いる画像を出力する画像データ出力装置、当該画像を用いたコンテンツを作成するコンテンツ作成装置、および当該画像またはそれを用いたコンテンツを表示させるコンテンツ再生装置、および、各装置が行う画像データ出力方法、コンテンツ作成方法、コンテンツ再生方法に関する。
【背景技術】
【０００２】
魚眼レンズなどにより、全天周（３６０°）やそれに近い極めて広角の画像を撮影できるカメラが身近なものになっている。そのようなカメラで撮影された全天周の画像を表示対象とし、ヘッドマウントディスプレイやカーソル操作によって自由な視点や視線で鑑賞できるようにすると、高い没入感で画像世界を楽しんだり、様々な場所の様子をプレゼンテーションしたりすることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
表示に利用する画像の画角を広くするほど、よりダイナミックな画像表現が可能になる一方、扱うデータのサイズが増加する。動画像の場合は特に、撮影画像の伝送、データの記録、コンテンツの作成、再生などあらゆるフェーズで必要なリソースが増大する。このためリソースが潤沢でない環境においては表示時の画質が低下したり、視点や視線の変化に表示が追随しなかったりすることが起こり得る。【０００４】
また１つのカメラの画角で網羅できないような広い画角の撮影画像を取得するためには、複数のカメラで撮影した、画角の異なる画像を接続する必要がある。そのためカメラの位置関係や個々の画角などに基づき撮影画像を自動で接続するが技術が知られている。ところがそのようにして接続された画像を、自由に視線を変えながら見られるようにした場合、ズームアップによりつなぎ目で像が歪んでいたり不連続になっていたりするのが視認されてしまうことがある。【０００５】
本発明はこうした課題に鑑みてなされたものであり、その目的は、全天周（３６０°）パノラマ撮影画像を用いて高品質な画像を表示する技術を提供することにある。
【課題を解決するための手段】
【０００６】
本発明のある態様は画像データ出力装置に関する。この画像データ出力装置は、表示に用いる画像のデータを出力する画像データ出力装置であって、画像を構成する複数の部分画像を取得する部分画像取得部と、部分画像の接続位置を決定したうえ、出力すべき画像のデータを部分画像から生成する出力画像生成部と、接続位置を示すマップデータを生成するマップ生成部と、出力すべき画像のデータとマップデータとを対応づけて出力するデータ出力部と、を備えたことを特徴とする。【０００７】
本発明の別の態様はコンテンツ作成装置に関する。このコンテンツ作成装置は、複数の部分画像を接続してなる画像のデータと、部分画像のつなぎ目を示すマップデータを取得するデータ取得部と、マップデータを参照してつなぎ目を対象に画像を修正したうえコンテンツのデータとするコンテンツ生成部と、コンテンツのデータを出力するデータ出力部と、を備えたことを特徴とする。【０００８】
本発明のさらに別の態様はコンテンツ再生装置に関する。このコンテンツ再生装置は、表示に用いる画像を構成する複数の部分画像のデータと、部分画像の接続位置を示すマップデータを取得するデータ取得部と、マップデータを参照して、視線に対応する領域における部分画像を接続し表示画像を生成する表示画像生成部と、表示画像を表示装置に出力するデータ出力部と、を備えたことを特徴とする。【０００９】
本発明のさらに別の態様は画像データ出力方法に関する。この画像データ出力方法は、表示に用いる画像のデータを出力する画像データ出力装置が、画像を構成する複数の部分画像を取得するステップと、部分画像の接続位置を決定したうえ、出力すべき画像のデータを部分画像から生成するステップと、接続位置を示すマップデータを生成するステップと、出力すべき画像のデータとマップデータとを対応づけて出力するステップと、を含むことを特徴とする。【００１０】
本発明のさらに別の態様はコンテンツ作成方法に関する。このコンテンツ作成方法はコンテンツ生成装置が、複数の部分画像を接続してなる画像のデータと、部分画像のつなぎ目を示すマップデータを取得するステップと、マップデータを参照してつなぎ目を対象に画像を修正したうえコンテンツのデータとするステップと、コンテンツのデータを出力するステップと、を含むことを特徴とする。【００１１】
本発明のさらに別の態様はコンテンツ再生方法に関する。このコンテンツ再生方法はコンテンツ再生装置が、表示に用いる画像を構成する複数の部分画像のデータと、部分画像の接続位置を示すマップデータを取得するステップと、マップデータを参照して、視線に対応する領域における部分画像を接続し表示画像を生成するステップと、表示画像を表示装置に出力するステップと、を含むことを特徴とする。【００１２】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１３】
本発明によると、広角の撮影画像を用いて高品質な画像を表示できる。
【図面の簡単な説明】
【００１４】
【図１】本実施の形態を適用できるコンテンツ処理システムの構成例を示す図である。
【図２】本実施の形態における画像データ出力装置の内部回路構成を示す図である。
【図３】本実施の形態における画像データ出力装置、コンテンツ作成装置、およびコンテンツ再生装置の機能ブロックの構成を示す図である。
【図４】本実施の形態において、部分画像のつなぎ目を適切に修正するために、画像データ出力装置が出力するデータを例示する図である。
【図５】本実施の形態において、動画と静止画を部分画像とする場合に、画像データ出力装置が出力するデータを例示する図である。
【図６】図５の態様において動画像の領域を可変としたときに画像データ出力装置が出力するデータを例示する図である。
【図７】本実施の形態において、解像度の異なる画像を部分画像とする場合に、画像データ出力装置が出力するデータを例示する図である。
【図８】図７で説明した態様を実現するための撮像装置の構造例を示す図である。
【図９】本実施の形態において、付加画像を部分画像に含める場合に画像データ出力装置が出力するデータを例示する図である。
【図１０】図９で示したデータを用いてコンテンツ再生装置が表示装置に表示させる画面を例示する図である。
【図１１】本実施の形態において、撮像装置を、２つの広角カメラを有するステレオカメラとした場合の、撮影環境と撮影画像の対応を模式的に示す図である
【図１２】本実施の形態において、撮像装置をステレオカメラとした場合の画像データ出力装置とコンテンツ再生装置の機能ブロックの構成を示す図である。
【図１３】本実施の形態において、画像データ出力装置が、出力するデータを生成する処理の手順を模式的に示す図である。
【発明を実施するための形態】
【００１５】
図１は本実施の形態を適用できるコンテンツ処理システムの構成例を示す。コンテンツ処理システム１は、実空間を撮影する撮像装置１２、撮影画像を含む、表示に用いる画像のデータを出力する画像データ出力装置１０、出力された画像を原画像として画像表示を含むコンテンツのデータを生成するコンテンツ作成装置１８、原画像またはコンテンツのデータを用いて画像表示を含むコンテンツの再生を行うコンテンツ再生装置２０を含む。
【００１６】
コンテンツ作成装置１８には、コンテンツ作成者がコンテンツを作成するために用いる表示装置１６ａ、入力装置１４ａが接続されていてよい。コンテンツ再生装置２０には、コンテンツ鑑賞者が画像を見るための表示装置１６ｂのほか、コンテンツや表示内容に対する操作を行うための入力装置１４ｂが接続されていてよい。
【００１７】
画像データ出力装置１０、コンテンツ作成装置１８、およびコンテンツ再生装置２０は、インターネットなどの広域通信網、あるいはＬＡＮ（Local Area Network）などのローカルなネットワークを介して通信を確立する。あるいは画像データ出力装置１０からコンテンツ作成装置１８、コンテンツ再生装置２０へのデータ提供、コンテンツ作成装置１８からコンテンツ再生装置２０へのデータ提供の少なくともいずれかは、記録媒体を介して行われてもよい。
【００１８】
画像データ出力装置１０と撮像装置１２は有線ケーブルで接続されてよく、または無線ＬＡＮなどにより無線接続されてもよい。コンテンツ作成装置１８と表示装置１６ａおよび入力装置１４ａ、コンテンツ再生装置２０と表示装置１６ｂおよび入力装置１４ｂも、有線または無線のどちらで接続されてもよい。あるいはそれらの装置の２つ以上が一体的に形成されていてもよい。例えば撮像装置１２と画像データ出力装置１０を合わせて撮像装置あるいは電子機器としてもよい。
【００１９】
コンテンツ再生装置２０により再生された画像を表示させる表示装置１６ｂは、平板型ディスプレイに限らず、ヘッドマウントディスプレイなどのウェアラブルディスプレイやプロジェクタなどでもよい。コンテンツ再生装置２０、表示装置１６ｂ、入力装置１４ｂを合わせて表示装置や情報処理装置としてもよい。このように図示する各種装置の外観形状や接続形態は限定されない。また、コンテンツ再生装置２０が、画像データ出力装置１０からの原画像を直接処理して表示画像を生成する場合、コンテンツ作成装置１８はシステムに含めなくてもよい。
【００２０】
撮像装置１２は、複数のレンズ１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅ・・・およびそれぞれに対応するＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの撮像センサを含む複数のカメラを備える。各カメラは、割り振られた画角の画像を撮影する。各レンズが集光してなる像を２次元の輝度分布として出力する機構は一般的なカメラと同様である。撮影される画像は静止画でも動画でもよい。
【００２１】
画像データ出力装置１０は、各カメラが出力する撮影画像のデータを取得し、それらを接続して１つの原画像のデータを生成する。ここで「原画像」とは、その一部を表示させたり加工したものを表示させたりする場合がある、元となる画像である。例えば全天周の画像を準備し、鑑賞者の視線に対応する視野で、その一部をヘッドマウントディスプレイの画面に表示させる場合、当該全天周の画像が原画像となる。
【００２２】
この場合、例えば水平方向の方位に対し９０°の間隔で光軸を有する４つのカメラと、垂直上方および垂直下方に光軸を有する２つのカメラを有する撮像装置１２を導入することにより、全方位を６分割した画角の画像を撮影する。そして図の画像データ２２のように、水平方向が３６０°、垂直方向が１８０°の方位を表す画像平面中、各カメラの画角に対応する領域に、撮影画像を配置し接続することにより原画像を生成する。図では６つのカメラが撮影した画像をそれぞれ「ｃａｍ１」〜「ｃａｍ６」として表している。
【００２３】
図示するような画像データ２２の形式は正距円筒図法と呼ばれ、全天周の画像を２次元平面に表す際に用いられる一般的なものである。ただしカメラの数やデータの形式をこれに限る趣旨ではなく、接続して得られる画像の画角も特に限定されない。また画像のつなぎ目は実際には、当該つなぎ目付近に移る像の形状などを考慮して決定されるのが一般的であり、図示するような直線になるとは限らない。画像データ２２は、一般的な形式で圧縮符号化されたうえ、ネットワークまたは記録媒体を介してコンテンツ作成装置１８に提供される。
【００２４】
なお撮像装置１２が動画を撮影する場合、画像データ出力装置１０は各時間ステップにおける画像フレームとして画像データ２２を順次生成し出力する。コンテンツ作成装置１８は、画像データ２２を利用したコンテンツを生成する。ここでなされるコンテンツの作成は、あらかじめ準備されたプログラムなどに基づきコンテンツ作成装置１８が全て実施してもよいし、少なくとも一部の処理をコンテンツ作成者が手動で実施してもよい。
【００２５】
例えばコンテンツ作成者は、画像データ２２が表す画像の少なくとも一部を表示装置１６ａに表示させ、入力装置１４ａを用いてコンテンツに用いる領域を決定したり再生プログラムや電子ゲームと対応づけたりする。正距円筒図法で表された画像データを様々な態様で表示させる手法は周知の技術である。あるいは一般的な動画編集アプリケーションにより、画像データ２２の動画を編集してもよい。類似の処理を、あらかじめ作成されたプログラムなどに従いコンテンツ作成装置１８自体が実施してもよい。
【００２６】
すなわち画像データ２２を用いる限り、コンテンツ作成装置１８で作成するコンテンツの内容や目的は限定されない。そのようにして生成されたコンテンツのデータは、ネットワークまたは記録媒体を介してコンテンツ再生装置２０に提供される。コンテンツに含める画像データは、画像データ２２と同様の構成でもよいし、データ形式や画角が異なっていてもよい。画像に何らかの加工を施したものでもよい。
【００２７】
コンテンツ再生装置２０は、コンテンツ鑑賞者による入力装置１４ｂへの操作などに応じ、コンテンツとして提供された情報処理を実施するなどして、表示装置１６ｂにコンテンツの画像を表示させる。コンテンツによっては、入力装置１４ｂに対する鑑賞者の操作に応じて表示画像に対する視点や視線を変化させてもよい。あるいは視点や視線をコンテンツ側で規定してもよい。
【００２８】
一例としてコンテンツ再生装置２０は、ヘッドマウントディスプレイを装着したコンテンツ鑑賞者を中心とする天球内面に画像データ２２をマッピングし、コンテンツ鑑賞者の顔面が向いている領域の画像をヘッドマウントディスプレイの画面に表示させる。このようにすると、コンテンツ鑑賞者はどの方向を向いてもそれに対応する視野で画像世界を見ることができ、あたかも当該世界に入り込んだような感覚を得ることができる。
【００２９】
あるいは表示装置１６ｂを平板ディスプレイとして、それに表示させたカーソルをコンテンツ鑑賞者が移動させることにより、移動先の方位の風景などが見られるようにしてもよい。なお画像を編集したり別の情報と対応づけたりする必要がなければ、コンテンツ再生装置２０は画像データ出力装置１０から直接、画像データ２２を取得し、その全体あるいは一部を表示装置１６ｂに表示させてもよい。
【００３０】
以上のように本実施の形態では、独立して取得された複数の画像を接続した画像データ２２を用いてコンテンツや表示画像を生成することを基本とする。以後、接続前の撮影画像を「部分画像」と呼ぶ。なお後述するように、部分画像は撮影画像に限定されない。また、ある部分画像が表す領域が別の部分画像が表す領域を包括していてもよい。この場合、厳密には前者の部分画像に後者の部分画像を合成あるいは重畳することになるが、以後、このような場合も「接続」と呼ぶ場合がある。
【００３１】
また画像データ出力装置１０は少なくとも、部分画像同士をどの位置で接続するかを決定すればよい。すなわち実際の接続処理は、どのような部分画像を用いるかによって、画像データ出力装置１０自体が実施しても、コンテンツ作成装置１８やコンテンツ再生装置２０が実施してもよい。いずれの場合も画像データ出力装置１０は、接続後の画像の平面における、部分画像の接続位置を示すマップデータを生成し、接続後の画像および接続前の部分画像の少なくともいずれかのデータと対応づけて出力する。ここで「接続位置」とは、接続境界（つなぎ目）の位置でもよいし部分画像が占める領域の位置でもよい。
【００３２】
図１に示す態様のように、異なる画角で撮影された部分画像を接続する場合、画像データ出力装置１０は、隣り合う部分画像の端に重複して写る対応点を検出し、そこで像がつながるように接続することで連続性のある１つの画像とすることができる。こうして生成された画像データ２２は、全体としては違和感なく見えるが、微小な像の歪みや不連続な部分が残っていると、拡大表示したときに目立ち、つなぎ目として視認されてしまう場合がある。
【００３３】
このため、画像の拡大を許容するようなコンテンツを作成する際、コンテンツ作成者には、つなぎ目における像をより厳密に修正することで、コンテンツの品質を向上させたいという欲求が生じる。しかしながら広角の画像全体を見ても、そのようなつなぎ目の不具合を装置が検出したり作成者が気づいたりすることは難しい。つなぎ目の不具合を検出あるいは視認できる程度に拡大表示させると、視野が狭くなることによりつなぎ目が視野から外れる可能性が高くなり、やはり修正すべき箇所を見出すことが難しい。
【００３４】
そこで画像データ出力装置１０が、上記のような部分画像の接続位置を表したマップデータを出力すれば、コンテンツ作成装置１８側ではつなぎ目を狙った画像の拡大が可能になり、装置またはコンテンツ作成者が効率的かつ抜けなく加工、修正できるようになる。マップデータは、このような画像の加工や修正以外の目的でも利用できる。具体例は後述する。
【００３５】
図２は画像データ出力装置１０の内部回路構成を示している。画像データ出力装置１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)１２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、外部の機器へデータを出力する出力部３６、撮像装置１２からの画像データや撮影時刻、位置、撮影向きなどのデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。
【００３６】
ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより画像データ出力装置１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。なおコンテンツ作成装置１８、コンテンツ再生装置２０の内部回路構成も同様でよい。
【００３７】
図３は、画像データ出力装置１０、コンテンツ作成装置１８、およびコンテンツ再生装置２０の機能ブロックの構成を示している。同図および後述する図１２に示す各機能ブロックは、ハードウェア的には、図２で示した各種回路によりで実現でき、ソフトウェア的には、記録媒体からメインメモリにロードした、画像解析機能、情報処理機能、画像描画機能、データ入出力機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００３８】
画像データ出力装置１０は、撮像装置１２から部分画像のデータを取得する部分画像取得部５０、部分画像を接続した画像や部分画像自体など、出力すべき画像のデータを生成する出力画像生成部５２、接続に係るマップデータを生成するマップ生成部５６、および画像データとマップデータを出力するデータ出力部５４を含む。部分画像取得部５０は図２の入力部３８、ＣＰＵ２３、メインメモリ２６などで実現され、複数のカメラが撮影した視野が異なる複数の撮影画像を撮像装置１２から取得する。
【００３９】
なお後述のとおり撮像装置１２を構成するカメラの視野を変化させる態様においては、部分画像取得部５０はカメラの光軸の角度を示すデータを撮影画像のデータとともに取得する。また部分画像の一部として、文字情報や図形など撮影画像以外の画像を用いる場合、部分画像取得部５０はユーザによる指示入力などに従い当該画像を内部で生成してもよい。
【００４０】
出力画像生成部５２は図２のＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などで実現され、部分画像の接続位置を決定したうえ、出力すべき画像のデータを部分画像から生成する。例えば出力画像生成部５２は、部分画像を接続して１つの画像データを生成する。撮像装置１２における各カメラの画角（レンズの配置）によって、各カメラの視野が、接続後の画像平面のどの範囲に対応するかはあらかじめ判明している。出力画像生成部５２は当該情報と、上述のように重複して写っている像の対応点などに基づき接続位置を決定して接続することにより、例えば図１の画像データ２２のような１つの画像データを生成する。出力画像生成部５２はさらに、部分画像の境界部分にブレンディング処理を施すなどしてつなぎ目が目立たないようにしてもよい。
【００４１】
あるいは出力画像生成部５２は、コンテンツ作成装置１８またはコンテンツ再生装置２０が部分画像の接続処理を実施することを前提として、接続すべき部分画像とその接続位置を決定するのみでもよい。マップ生成部５６は図２のＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などで実現され、部分画像の接続位置を示すマップデータを生成する。マップデータは、部分画像の接続後の画像の平面において部分画像のつなぎ目を示す。上述のとおり、ある画像の一部領域に他の画像を合成する場合はその境界をつなぎ目として示す。またマップデータには、つなぎ目を境界とする各領域に、対応する部分画像を対応づけてもよい。具体例は後に述べる。
【００４２】
データ出力部５４は図２のＣＰＵ２３、メインメモリ２６、通信部３２などで実現され、部分画像およびそれを接続した画像の少なくともいずれかのデータとマップデータを対応づけて、適宜圧縮符号化してコンテンツ作成装置１８またはコンテンツ再生装置２０に出力する。あるいはデータ出力部５４は記録媒体駆動部４０を含み、画像データとマップデータを対応づけて記録媒体に格納してもよい。なお画像データが動画の場合、データ出力部５４はマップデータが示す情報が変化するタイミングで、そのときの画像フレームに対応づけて出力する。
【００４３】
コンテンツ作成装置１８は、画像データとマップデータを取得するデータ取得部６０、取得したデータを用いてコンテンツのデータを生成するコンテンツ生成部６２、およびコンテンツのデータを出力するデータ出力部６４を含む。データ取得部６０は図２の通信部３２、ＣＰＵ２３、メインメモリ２６などで実現され、画像データ出力装置１０が出力した画像データとマップデータを取得する。あるいは上述のとおり、データ取得部６０は記録媒体駆動部４０を含み、画像データとマップデータを記録媒体から読み出してもよい。データ取得部６０は必要に応じて、それらのデータを復号伸張する。
【００４４】
コンテンツ生成部６２は図２のＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などで実現され、画像データ出力装置１０から提供された画像データを用いて、画像表示を含むコンテンツのデータを生成する。作成するコンテンツは電子ゲーム、鑑賞用映像、電子地図、ウェブサイトなど、種類や目的は限定されない。コンテンツに含める画像は画像データ出力装置１０から取得した画像データ全体でもよいしその一部でもよい。そのような画像の選択や表示のさせかたを規定する情報は、コンテンツ生成部６２が自動で作成してもよいし、コンテンツ作成者が少なくとも一部を手動で生成してもよい。
【００４５】
後者の場合、コンテンツ生成部６２は表示装置１６ａに画像を表示させ、コンテンツ作成者が入力装置１４ａを介して入力した画像の修正や編集を受け付ける。いずれにしろコンテンツ生成部６２は、マップデータを参照してコンテンツに含める画像を生成する。例えば画像データ出力装置１０が接続した画像データのうち、つなぎ目を含む所定領域を対象として像の歪みや不連続部分の検出処理を実施し、それを是正するようにコンテンツ作成者に指示したり自らが所定の加工を施したりする。
【００４６】
あるいは画像データ出力装置１０から提供された部分画像を、マップデータに従い接続する。コンテンツ生成部６２はさらに、部分画像を新たに生成してもよい。例えば被写体の説明や字幕などの文字情報や、画像に付加したい図形などの付加情報を表す画像（以後、「付加画像」と呼ぶ）を、コンテンツ作成者による指示入力などに基づき生成してよい。この場合、コンテンツ生成部６２は、画像データ出力装置１０のマップ生成部５６と同様に、表示に用いる画像の平面において、付加画像を合成（接続）する位置を表すマップデータを生成し、付加画像のデータとともにコンテンツデータの一部とする。
【００４７】
なおコンテンツ生成部６２は、画像データ出力装置１０から提供された部分画像の少なくとも一部を、接続することなくマップデータとともにコンテンツのデータに含めてもよい。また画像データ出力装置１０が、複数視点から撮影された全天周画像を提供する場合、コンテンツ生成部６２は、当該撮影画像と各視点の位置関係から撮影場所の３次元モデルを取得しコンテンツデータに含めてもよい。この技術はＳｆＭ（Structure from Motion）として一般に知られている。ただし部分画像の接続部分にブレンディングなど境界の不連続性を補正する処理が施されている場合、そのままでは接続部分に像が表れている被写体の距離推定が困難になる。そこでコンテンツ生成部６２はマップデータをもとに補正前の部分画像を切り出し、当該部分画像ごとに被写体の３次元モデル化を行ってもよい。
【００４８】
データ出力部６４は、図２のＣＰＵ２３、メインメモリ２６、通信部３２などで実現され、コンテンツ生成部６２が生成したコンテンツのデータを、適宜圧縮符号化してコンテンツ再生装置２０に出力する。あるいはデータ出力部６４は記録媒体駆動部４０を含み、コンテンツのデータを記録媒体に格納してもよい。
【００４９】
コンテンツ再生装置２０は、画像データとマップデータ、あるいはコンテンツのデータを取得するデータ取得部７０、取得したデータを用いて表示画像を生成する表示画像生成部７２、表示画像のデータを出力するデータ出力部７４を含む。データ取得部７０は、図２の通信部３２、ＣＰＵ２３、メインメモリ２６などで実現され、画像データ出力装置１０が出力した画像データとマップデータ、またはコンテンツ作成装置１８が出力したコンテンツのデータを取得する。あるいはデータ取得部７０は記録媒体駆動部４０を含み、記録媒体からそれらのデータを読み出してもよい。データ取得部７０は必要に応じて、それらのデータを復号伸張する。
【００５０】
表示画像生成部７２は図２のＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などで実現され、画像データ出力装置１０から提供された画像データ、またはコンテンツ作成装置１８が生成したコンテンツのデータを用いて、表示装置１６ｂに表示させるべき画像を生成する。基本的には表示画像生成部７２は、入力装置１４ｂを介したコンテンツ鑑賞者の操作に応じて、部分画像を接続してなる画像に対する視点や視線を変化させ、それに対応する領域の画像を表示画像として生成する。コンテンツ鑑賞者の操作によってまず電子ゲームなどの情報処理を実施し、その結果として視点や視線を変化させてもよい。
【００５１】
広角の画像のうち視点や視線に対応する視野で画像を表示させる手法には、一般的な技術を適用できる。表示画像生成部７２はさらに、マップデータを参照し、視線に対応する領域における部分画像を接続したり更新したりして、表示の元となる画像を完成させてもよい。さらに後述するように、表示画像の一部にノイズ付加などの加工を施したり、コンテンツ鑑賞者の指示に従い接続対象の部分画像を切り替えたりしてもよい。データ出力部７４は図２のＣＰＵ２３、メインメモリ２６、出力部３６などで実現され、そのようにして生成された表示画像のデータを表示装置１６ｂに出力する。データ出力部７４は表示画像のほか、音声のデータも必要に応じて出力してよい。
【００５２】
図４は、部分画像のつなぎ目を適切に修正するために、画像データ出力装置１０が出力するデータを例示している。（ａ）は出力対象として、画像データ２２と、そのつなぎ目を画素値の変化で表すマップデータ８０を示している。画像データ２２は図１で示したように、６つのカメラで撮影された画像を正距円筒図法により接続した画像のデータを示している。点線で区分けされた領域「ｃａｍ１」〜「ｃａｍ６」が、各カメラで撮影された部分画像を示す。ただし部分画像は各カメラが撮影した画像の一部でよく、各領域は実際の像によって様々な形状となり得る。
【００５３】
マップデータ８０は、そのような部分画像のつなぎ目を、画素値の差で表した画像のデータである。この例では「ｃａｍ１」、「ｃａｍ２」、「ｃａｍ３」、「ｃａｍ４」、「ｃａｍ５」、「ｃａｍ６」の部分画像の領域の画素値をそれぞれ、「００」、「０１」、「００」、「０１」、「１０」、「１０」なる２ビットの値としている。このように隣り合う部分画像の画素値を異ならせれば、画素値に差がある部分につなぎ目があることがわかる。なお接続する部分画像の数や配置により、画素値のビット数や割り当ては様々となる。
【００５４】
（ｂ）は出力対象として、画像データ２２と、そのつなぎ目の線を表すマップデータ８２を示している。画像データ２２は（ａ）と同様の構成である。マップデータ８２は、つなぎ目の線自体を表す画像のデータである。例えば当該線を表す画素の値を１、その他の画素の値を０とする、１ビットの白黒画像などとする。つなぎ目を表す線は、実際のつなぎ目を含む所定数の画素分の幅を有していてもよいし、つなぎ目の内側または外側に接する１画素の幅としてもよい。
【００５５】
あるいはコンテンツ作成装置１８などで画像を修正することを前提として、画像データ２２自体で当該線の部分を強調させてもよい。例えば画素値を所定割合だけ大きくしたり別の色に置き換えたりしてもよい。あるいはマップデータの各領域が区別できるように、半透明の塗りつぶしを重畳して出力してもよい。また図示するようにつなぎ目が直線の場合は、マップデータの代わりに直線の交点の座標を出力してもよい。
【００５６】
このようなデータを取得したコンテンツ作成装置１８は、画像データ２２のうち、マップデータ８０において画素値に差がある部分、またはマップデータ８２において画素値が周囲と異なる部分を中心に拡大したうえ、像の歪みや不連続性を検出しスムージングなど既存のフィルタリング技術により加工、修正する。あるいは拡大した画像を表示装置１６ａに表示させ、コンテンツ作成者が加工したり修正したりできるようにする。この拡大と修正を、コンテンツとして表示させる可能性のある全領域について繰り返し実施する。これにより効率的かつ抜けなく、高品質な画像を生成できる。同様の処理を、コンテンツ再生装置２０が表示領域に対し実施してもよい。
【００５７】
図５は、動画と静止画を部分画像とする場合に、画像データ出力装置１０が出力するデータを例示している。複数のカメラが撮影した画像をつなげて表すような広角の動画を、一般的な画角の動画と同等の解像度で表示しようとすると、データサイズの増大により各装置内外でのデータ伝送や記憶領域が圧迫され、処理の負荷も大きくなる。一方、広い視野においては像に動きがない領域が多く含まれると考えられる。そこで、複数のカメラが動画撮影してなる部分画像のうち、像に動きがある画像のみを動画として残し、それ以外は静止画に置き換えることにより、見た目への影響を最小限にデータサイズを軽減させることができる。
【００５８】
図示する例では、図１の画像データ２２と同様、６つのカメラで撮影された画像を接続した画像データ８４のうち、領域「ｃａｍ１」、「ｃａｍ２」を動画とし、その他の領域「ｃａｍ３」〜「ｃａｍ６」を静止画とする。この場合、画像データ出力装置１０から出力する画像データは、最初の時刻ｔ０における全ての部分画像を接続した画像データ８６、動画の領域と静止画の領域を区別するマップデータ８８、およびその後の時刻ｔ１、ｔ２、ｔ３、・・・における、動画の領域の画像データ９０ａ、９０ｂ、９０ｃ、・・・となる。
【００５９】
図示する例でマップデータ８８は、画像平面のうち動画を表す領域の画素値を「０」、静止画を表す領域の画素値を「１」としている。ただし図４で説明したつなぎ目を表す情報を組み合わせることにより、つなぎ目を修正できるようにしてもよい。例えば図４の（ａ）のようにつなぎ目を２ビットの画素値で表す場合、動画／静止画の区別と組み合わせて３ビットの画素値としてもよい。
【００６０】
画像データ出力装置１０の出力画像生成部５２は、撮像装置１２の各カメラが撮影した各動画像のフレーム間差分をとることにより、静止画としてよい部分画像を特定する。例えばフレーム間で画素値の差の合計が、全編に渡り所定値以下の動画像に対応する領域を静止画とする。動きのない室内や広大な空間の一部でのみ被写体が動いているなど、構図がある程度固定化されている場合は、動画とする領域と静止画とする領域をあらかじめ設定しておいてもよい。そして動画として取得した部分画像の一部を静止画で置き換える。
【００６１】
コンテンツ作成装置１８またはコンテンツ再生装置２０は、マップデータ８８を参照し、時刻ｔ０の画像データ８６のうち動画の領域の画像を、以後の時刻ｔ１、ｔ２、ｔ３、・・・の動画像のフレームに順次差し替える。これにより静止画と動画が合成された動画像のデータを生成できる。コンテンツ作成装置１８は、そのような動画の全体または一部をコンテンツの画像データとする。またコンテンツ再生装置２０は、そのような動画の全体または一部を表示装置１６ｂに表示させる。
【００６２】
なお撮像装置１２および画像データ出力装置１０を備えるヘッドマウントディスプレイなど、表示装置１６ｂが画像データ出力装置１０を兼ねる場合、静止画としてよい部分画像については画像データ出力装置１０内部のメモリに保存しておいてもよい。この場合、画像データ出力装置１０からコンテンツ作成装置１８またはコンテンツ再生装置２０へ、動画の領域のデータのみを送信して必要な処理を実施したうえ、表示直前に画像データ出力装置１０が静止画と合成する。これにより伝送すべきデータ量を抑えることができる。
【００６３】
上述のようにマップデータにつなぎ目の情報を含めた場合、コンテンツ作成装置１８は図４で説明したように、部分画像のつなぎ目を修正し視認されにくいようにしてもよい。また、動画像の一部の領域を静止画とすると、当該領域のみ動画特有のノイズ（時間変化するブロックノイズなど）が一切ないことにより逆に目立って見えてしまう場合がある。そのためコンテンツ作成装置１８のコンテンツ生成部６２、またはコンテンツ再生装置２０の表示画像生成部７２は、生成した動画像のフレームのうち、静止画の領域に擬似的なノイズを重畳させることにより違和感が生じないようにしてもよい。ノイズの重畳自体には一般的な技術を利用できる。
【００６４】
マップデータ８８により動画の領域を明示したうえ、その他の領域を静止画に置き換えることにより、全天周画像のような広角の画像であってもデータサイズを抑えることができ、必要な伝送帯域や記憶領域を節約することができる。またコンテンツ作成装置１８またはコンテンツ再生装置２０では一部の領域のみを更新すればよいため処理の負荷が軽減する。このため出力する画像の解像度をある程度高めることもできる。結果として、広角な画像であっても高解像度の動画像を遅延なく見せることができる。
【００６５】
図６は、図５の態様において動画像の領域を可変としたときに画像データ出力装置１０が出力するデータを例示している。この態様では、動画として取得した部分画像のうち、静止画で置き換える対象を、動きのある領域の移動に応じて切り替える。この場合、まず図５で示したのと同様に、最初の時刻ｔ０における全ての部分画像を接続した画像データ９２ａ、動画の領域と静止画の領域を区別するマップデータ９４ａ、およびその後の時刻ｔ１、ｔ２、ｔ３における動画の領域の画像データ９６ａ、９６ｂ、９６ｃを出力する。
【００６６】
ここで、画像データ９２ａにおける太線枠の領域から画像データ９２ｂにおける太線枠の領域へ、動きがある領域が移動したとする。動きのある領域は上述のとおり、部分画像を構成する各動画のフレーム間差分により検出できる。この場合、画像データ出力装置１０は、移動先の領域の最新の部分画像のフレーム、すなわち時刻ｔ４の部分画像のフレームを含めた、画像平面全体の画像データ９２ｂと、動画の領域と静止画の領域を区別する新たなマップデータ９４ｂ、およびその後の時刻ｔ５、ｔ６、ｔ７、・・・における動画の領域の画像データ９６ｄ、９６ｅ、９６ｆ、・・・を出力する。
【００６７】
ただし時刻ｔ３から時刻ｔ４において変化する領域は、画像データ９２ｂの平面における動画の領域に他ならない。したがって、場合によっては画像データ９２ｂを出力せず、時刻ｔ４の部分画像のフレームのみを出力してもよい。また動画の領域のサイズは変化してもよい。コンテンツ作成装置１８、コンテンツ再生装置２０の動作は、基本的には図５で説明したのと同様である。ただし新たなマップデータ９４ｂが対応づけられた画像フレームにおいて、動画を接続する領域を変更する。これにより、動きのある領域が移動しても、静止画と動画を接続して動画を表現することができ、見た目への影響を最小限に、伝送や処理の対象となるデータのサイズを軽減できる。
【００６８】
図５、６に示した態様では、広い視野において像の動きが限定的な場合に、動画と静止画を接続できるようにすることでデータサイズを軽減させた。広角の画像ではさらに、鑑賞者が注視する領域も限定的となりやすい。その特性を利用して、解像度の異なる画像を接続することでデータサイズを軽減させることも考えられる。図７は、解像度の異なる画像を部分画像とする場合に、画像データ出力装置１０が出力するデータを例示している。
【００６９】
この例では、画像データ１００のうち、広角カメラで撮影された、表示に用いる全体の領域「ｃａｍ１」の一部の領域「ｃａｍ２」に、それより狭い画角かつ高い解像度で撮影された画像を接続する。この場合、画像データ出力装置１０が出力するデータは、広角のカメラが撮影した画像データ１０２、狭角高解像度のカメラが撮影した画像データ１０４、および、両者の領域を区別するマップデータ１０６となる。広角の画像と狭角の画像は双方が動画または静止画であっても、どちらか一方が静止画、他方が動画であってもよい。
【００７０】
図示する例でマップデータ１０６は、画像平面のうち広角画像の領域の画素値を「０」、狭角画像の領域の画素値を「１」としている。なお高解像度で表す領域は、図示するように１つのみでもよいし、複数のカメラで撮影した複数の領域としてもよい。この場合、マップデータ１０６の画素値として、各領域に対応づける画像を区別する情報を組み入れてもよい。さらに高解像度で表す領域は、固定としても可変としてもよい。
【００７１】
また、図４で示したように部分画像を接続して広角の画像データ１０２を生成する場合は、そのつなぎ目もマップデータ１０６に表すことにより、コンテンツ作成装置１８などで修正できるようにしてもよい。さらに図５、６で示したように、広角の画像データ１０２の一部を動画像、その他を静止画像とし、その区別もマップデータ１０６で表すようにしてもよい。
【００７２】
コンテンツ作成装置１８またはコンテンツ再生装置２０は、マップデータ１０６を参照し、広角の画像データ１０２のうち高解像度で表すべき領域に画像データ１０４を接続する。この場合は、画像データ１０２の該当領域における低解像度の画像を、画像データ１０４の高解像度の画像に置き換える処理となる。これにより広い視野での画像表示を許容しつつ、注視される可能性の高い領域については高解像度で詳細に表すことができる。
【００７３】
コンテンツ作成装置１８は、そのような画像の全体または一部をコンテンツの画像データとする。またコンテンツ再生装置２０は、そのような画像の全体または一部を表示装置１６ｂに表示させる。上述のようにマップデータにつなぎ目の情報を含めた場合、コンテンツ作成装置１８は図４で説明したように、部分画像のつなぎ目を修正し視認されにくいようにしてもよい。
【００７４】
図８は、図７で説明した態様を実現するための撮像装置１２の構造例を示している。（ａ）に示すように撮像装置１２は、広角画像用カメラ１１０および高解像度画像用カメラ１１２を含む。高解像度の領域を可変とする場合はさらに画角測定部１１４を含む。広角画像用カメラ１１０は例えば全天周の画像を撮影するカメラであり、図１で説明したようにさらに複数のカメラで構成されていてもよい。高解像度画像用カメラ１１２は、例えば一般的な画角のカメラであり、広角画像用カメラ１１０より高い解像度の画像を撮影する。
【００７５】
高解像度の領域を可変とする場合、画角測定部１１４は、高解像度画像用カメラ１１２のパン動作に対し、その角度を測定して撮影画像のデータとともに画像データ出力装置１０に供給する。なお広角画像用カメラ１１０の向きは固定とする。例えば高解像度画像用カメラ１１２が、広角画像用カメラ１１０が撮影する全天周画像のうち、水平方向に１８０°、垂直方向に９０°の方向を光軸として撮影する場合、図７に示すように、広角の画像データ１０２のちょうど中心に、狭角の画像データ１０４が対応づけられる。
【００７６】
画像データ出力装置１０はこの状態を基準として、高解像度画像用カメラ１１２のパン方向の角度変化に基づき、広角の画像データ１０２の平面において狭角の画像データ１０４を接続すべき領域を特定し、マップデータ１０６を生成する。すなわち高解像度画像用カメラ１１２をパン動作させると、狭角の画像データ１０４とともにマップデータ１０６も動画像となる。さらに画像データ１０２も動画像とする場合は、画像データ出力装置１０は、図示する３つのデータを動画像の時間ステップで出力することになる。なおパン動作自体は撮影者が状況に応じて行ってよい。
【００７７】
このような態様においては、（ｂ）の俯瞰図に示すように、高解像度画像用カメラ１１２のパン動作の回転中心ｏ、すなわち可変の光軸ｌ、ｌ’、ｌ”の固定点と、広角画像用カメラ１１０の光学中心を一致させるように撮像装置１２を形成することが望ましい。これにより、広角の画像データ１０２を正距円筒図法で表したときに、パン方向の角度が、すなわち狭角の画像を接続すべき水平方向の位置を表していることになる。
【００７８】
例えばコンサートの動画を提供する場合、観客を含む会場全体の様子を見せることにより臨場感を味わえるが、その全てを高解像度のデータとすればコンテンツのデータサイズが膨大となってしまう。これにより伝送帯域や記憶領域が逼迫するとともに、復号などの処理の負荷が増えレイテンシの原因になり得る。全体を低解像度とすると、一般的な動画より画質が低下して見える。コンテンツ再生装置２０側で、鑑賞者の視線に応じて解像度を高くする領域を変化させるとしても、処理の負荷により視線の変化への追従が難しい場合がある。
【００７９】
そこで上述のとおり、全体は低解像度で撮影する一方、メインの出演者など鑑賞者が注目する可能性が高い領域を狭角かつ高解像度で撮影しておき、後に合成することを前提にマップデータ１０６を生成し出力する。これにより全体としてデータサイズが抑えられ、見た目への影響を最小限に抑えつつ、臨場感のある画像を遅延なく鑑賞できるコンテンツを実現できる。
【００８０】
図７で示した態様における狭角高解像度の画像の代わりに、付加画像を接続してもよい。図９は、付加画像を部分画像に含める場合に画像データ出力装置１０が出力するデータを例示している。この例では、画像データ１２０の全体に広角の画像を表し、多数の被写体を説明する文を付加情報として示す。この場合、画像データ出力装置１０から出力するデータは、広角のカメラが撮影した画像データ１２２、付加画像データ１２４、および、付加情報を表すべき領域を示すマップデータ１２６となる。
【００８１】
この例では付加画像データ１２４として、各被写体の説明文を英語、日本語など異なる言語で表した複数の画像を切り替え可能に準備する。なお付加情報が表す内容は説明文に限らず動画に登場する人物の音声の字幕など、必要な文字情報であればよい。また付加情報は文字に限らず、図形や画像でもよい。ベースとなる広角の画像データ１２２は、静止画でも動画でもよい。図示するマップデータ１２６は、画像平面のうち広角画像の領域を白、付加画像の領域の黒としているが、実際には後者の領域には、付加画像データ１２４のうち対応する付加画像の識別情報を示す画素値を与える。複数の言語を切り替える場合、１つの領域に複数の付加画像を対応づける。
【００８２】
またこの態様においても、図４で示したように部分画像を接続して広角の画像データ１２２を生成する場合は、そのつなぎ目をマップデータ１２６に表し、コンテンツ作成装置１８などで修正できるようにしてもよい。また図５、６で示したように、広角の画像データ１２２の一部を動画、その他を静止画とし、その区別もマップデータ１２６で表すようにしてもよい。あるいは広角の画像データ１２２の一部を高解像度の画像とし、その区別もマップデータ１２６で表すようにしてもよい。
【００８３】
図１０は、図９で示したデータを用いてコンテンツ再生装置２０が表示装置１６ｂに表示させる画面を例示している。コンテンツ再生装置２０は、まず広角の画像データ１２２のうち、鑑賞者の操作に基づく視野に対応する領域を特定する。そしてマップデータ１２６を参照し、当該領域中、付加画像を接続すべき領域と、そこに接続すべき付加画像の識別情報を取得する。そして両者を接続して表示させた結果、例えば画面１２８ａのように、ある被写体をズームアップした画像に、当該被写体を説明する英文１３０ａが表示される。言語はあらかじめ固定で設定しておいてもよいし、鑑賞者のプロフィールなどから自動で選択するようにしてもよい。
【００８４】
コンテンツ再生装置２０は当該画面１２８ａにさらに、付加画像を指定するためのカーソル１３２を表示する。コンテンツ鑑賞者がカーソル１３２を付加画像に合わせ、入力装置１４ｂの確定ボタンを押下するなどして選択すると、コンテンツ再生装置２０は再度、マップデータ１２６を参照し、そこに表示すべき付加画像を、別の言語のものに差し替える。図示する例では和文１３０ｂが表示されている。３つ以上の言語を準備する場合は、鑑賞者が選択できるリストを別途表示させてもよいし、確定ボタンが押下される都度、順繰りに切り替えてもよい。また付加画像を指定して別の言語に切り替えるための操作手段は、上述したものに限らない。例えば表示画面を覆うように設けたタッチパネルに触れることにより切り替えるなどでもよい。
【００８５】
表示対象として与えられる原画像と表示の画角が一致するような一般的な表示形態においては、メインの被写体は画面の中央付近にあることが多いため、説明文や字幕を画面の下部などに固定して示しても邪魔になることが少ない。一方、広角画像を、自由に視線を変えながら見る態様では、画面に対するメインの被写体の位置の自由度が高い。そのため説明文や字幕の表示位置を固定すると、メインの被写体と重なり見づらくなってしまうことがあり得る。
【００８６】
また、元の画像データ１２２に説明文などが入っていた場合、それを他の言語で表した画像をさらに付加することで、文字列が重なって表示され、判読できないことも考えられる。そこで図９、１０で説明したように、付加情報を元の画像とは別のデータとし、付加情報を表示させるべき位置を元の画像にマップデータとして対応づけることにより、自由に視線を変えても適切な位置に付加情報を表示できる。
【００８７】
例えば図の画面１２８ｃに示すように、画面１２８ｂから視線を移動させても、説明文１３０ｃはその動きに追随するため、他の被写体の邪魔になることがなく、どの被写体に対する付加情報かがわからなくなることもない。その一方で、鑑賞者の操作によって別の言語への切り替えが容易にできる。なお上述のように付加情報は様々に考えられるため、切り替える属性は言語に限らず、文章そのものや図形の色、形などでもよい。また付加情報の表示／非表示を切り替えてもよい。
【００８８】
図１１は、撮像装置１２を、２つの広角カメラを有するステレオカメラとした場合の、撮影環境と撮影画像の対応を模式的に示している。すなわちカメラ１２ａ、１２ｂは、周囲の物（例えば被写体１４０）を既知の間隔を隔てた左右の視点から撮影する。個々のカメラ１２ａ、１２ｂはさらに、図１における撮像装置１２と同様に異なる画角を撮影する複数のカメラを備えることにより、全天空の画像など広角の画像を撮影する。例えばカメラ１２ａ、１２ｂの距離を人の両眼の距離に対応させ、それぞれが撮影した画像を、ヘッドマウントディスプレイなどによりコンテンツ鑑賞者の両眼に見せることにより、鑑賞者は画像を立体視でき、より没入感を得ることができる。
【００８９】
このような態様においては、広角の画像が画像１４０ａ、１４０ｂの２つとなることにより、画像が１つの場合と比較しデータサイズが２倍となる。データを間引いて縦方向または横方向のサイズを１／２とすることによりデータサイズを抑えられるが、解像度が低くなることにより表示の質が低下する。そこで、被写体１４０の距離情報、または視差情報を利用して、片方の画像を擬似的に生成することによりデータサイズの増大を抑える。
【００９０】
具体的には、図示するように左視点のカメラ１２ａが撮影した画像１４２ａと、右視点のカメラ１２ｂが撮影した画像１４２ｂでは、同じ被写体１４０の像の位置に、視差に起因したずれが生じる。そこで例えば、画像１４２ａのみを出力対象とするとともに、画像上での像の位置ずれを表す情報を付加データとして出力する。表示時には、出力された画像１４２ａにおける像を、ずれ量分だけ変位させて擬似的に画像１４２ｂを生成することにより、少ないデータサイズで同様に視差のある画像を表示できる。
【００９１】
２つの画像における同一の被写体の像の位置ずれ量は、撮像面から被写体までの距離に依存する。したがって、当該距離を画素値とするいわゆるデプス画像を生成し、画像１４２ａとともに出力することが考えられる。既知の間隔を有する視点から撮影された画像における対応点のずれ量から、三角測量の原理で被写体までの距離を取得しデプス画像を生成する手法は広く知られている。デプス画像として得られた距離値を、画像１４２ａのＲＧＢのカラーのチャンネルに対応づけ、４チャンネルの画像データとしてもよい。また距離値の代わりに、ずれ量そのものを出力してもよい。
【００９２】
一方、画像１４２ａにおける被写体の像をずらしてなる画像は、他方のカメラ１２ｂにより実際に撮影された画像１４２ｂを表現しきれていないことが多い。例えば図示するように、光源１４４からの光が反射し、角度依存性の高い鏡面反射成分がカメラ１２ｂの視点でのみ観測される場合、画像１４２と比較し画像１４２ｂにおける領域１４６の輝度が高くなる。また被写体１４０の形状によっては、カメラ１２ｂの視点からのみ見える部分が存在し、画像１４２ａではオクルージョンとなる場合もある。立体視においては、視差のみならずそのような左右の画像での見え方の差が、臨場感に大きく影響する。
【００９３】
そこで、図７の狭角高解像度画像や図９の付加画像と同様に、像を変位させるのみでは表現しきれない領域の画像と、それを合成すべき領域を表すマップデータを出力することにより、出力されない画像１４２ｂを精度よく再現する。図１２は、撮像装置１２をステレオカメラとした場合の画像データ出力装置とコンテンツ再生装置の機能ブロックの構成を示している。なお図示する画像データ出力装置１０ａおよびコンテンツ再生装置２０ａは、ステレオ画像に係る処理の機能のみを示しているが、図３で示した機能ブロックも含めてよい。
【００９４】
画像データ出力装置１０ａは、撮像装置１２からステレオ画像のデータを取得するステレオ画像取得部１５０、ステレオ画像からデプス画像を生成するデプス画像生成部１５２、ステレオ画像の一方を視差分だけずらした画像と実際の撮影画像との差を部分画像として取得する部分画像取得部１５４、部分画像を合成する領域を表すマップデータを生成するマップ生成部１５６、および、ステレオ画像の一方の画像データ、デプス画像のデータ、部分画像のデータ、マップデータを出力するデータ出力部１５８を含む。
【００９５】
ステレオ画像取得部１５０は図２の入力部３８、ＣＰＵ２３、メインメモリ２６などで実現され、撮像装置１２を構成するステレオカメラが撮影したステレオ画像のデータを取得する。上述のように各撮影画像はステレオカメラのそれぞれを構成する画角の異なる複数のカメラが撮影した部分画像で構成されてもよい。この場合、ステレオ画像取得部１５０は、図３の出力画像生成部５２と同様に部分画像を接続して、ステレオカメラの２つの視点のそれぞれに対し１つの画像データを生成する。この場合、接続位置に係る情報はマップ生成部１５６に供給する。
【００９６】
デプス画像生成部１５２は図２のＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などで実現され、ステレオ画像から対応点を抽出し、画像平面でのずれ量を取得することにより三角測量の原理に基づき距離値を求めデプス画像を生成する。なおデプス画像生成部１５２はステレオ画像以外の情報からデプス画像を生成してもよい。例えば撮像装置１２とともに、被写空間に赤外線などの参照光を照射する機構とその反射光を検出するセンサを設けることにより、デプス画像生成部１５２は周知のＴＯＦ（Time Of Flight）の技術によりデプス画像を生成してもよい。
【００９７】
あるいは撮像装置１２を一視点のカメラのみとし、デプス画像生成部１５２は撮影画像に基づく深層学習により被写体の距離を推定してデプス画像を生成してもよい。部分画像取得部１５４は図２のＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などで実現され、デプス画像から像のずれ量を逆算し、ステレオ画像のうち出力対象の第１の画像における像を、ずれ量分だけずらした画像と、出力しない第２の画像との画素値の差分を取得する。
【００９８】
図１１の例で画像１４２ａ、１４２ｂをそれぞれ第１、第２の画像とすると、第１の画像における像をずらしてなる擬似的な画像と、本来の画像１４２ｂとの画素値の差分は、領域１４６において大きな値となる。そこで部分画像取得部１５４は、差分がしきい値以上の領域を抽出することで、像をずらした疑似的な画像では表現しきれない領域を特定する。そして当該領域の外接矩形など所定範囲の画像を、第２の画像から切り出すことにより、合成すべき部分画像を取得する。
【００９９】
マップ生成部１５６は図２のＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などで実現され、第２の画像の平面において部分画像で表すべき領域を表したマップデータを生成する。マップ生成部１５６はさらに、第１の画像の平面に対し、つなぎ目に係る情報、動画と静止画を区別する情報、解像度の差を区別する情報、付加画像の領域などを表したマップデータを生成してもよい。
【０１００】
データ出力部１５８は図２のＣＰＵ２３、メインメモリ２６、通信部３２などで実現され、ステレオ画像のうち第１の画像のデータ、デプス画像のデータ、第２の画像から切り出した部分画像のデータ、およびマップデータを対応づけてコンテンツ再生装置２０ａに出力する。第１の画像を完成させるために接続すべき部分画像のデータも、必要に応じて出力する。あるいはそれらのデータを記録媒体に格納する。
【０１０１】
コンテンツ再生装置２０ａは、第１の画像のデータ、デプス画像のデータ、部分画像のデータ、およびマップデータを取得するデータ取得部１６２、デプス画像に基づき第２の画像の疑似画像を生成する疑似画像生成部１６４、疑似画像に部分画像を合成する部分画像合成部１６６、および表示画像のデータを出力するデータ出力部１６８を含む。データ取得部１６２は、図２の通信部３２、ＣＰＵ２３、メインメモリ２６などで実現され、画像データ出力装置１０ａが出力した、第１の画像のデータ、デプス画像のデータ、部分画像のデータ、およびマップデータを取得する。それらのデータを記録媒体から読み出してもよい。
【０１０２】
またデータ取得部１６２は、第１の画像につなぎ目がある場合、図３の表示画像生成部７２と同様に、取得したマップデータを参照してつなぎ目を特定し適宜修正してもよい。その他、上述のとおり動画と静止画、広角画像と狭角高解像度の画像、広角画像と付加画像などを適宜接続してよい。なおデータ取得部１６２は、入力装置１４ｂを介した鑑賞者の操作に対応する視野の領域について上記処理を実施してよい。またそのようにして取得、生成した第１の画像のうち当該領域のデータをデータ出力部１６８に出力する。
【０１０３】
疑似画像生成部１６４は図２のＣＰＵ２３、ＧＰＵ２４、メインメモリ２６、入力部３８などで実現され、取得されたデプス画像に基づき視差による像のずれ量を逆算し、第１の画像における像をその分だけずらすことにより、擬似的に第２の画像を生成する。この際、疑似画像生成部１６４は入力装置１４ｂを介した鑑賞者の操作に対応する視野で擬似的な画像を生成する。
【０１０４】
部分画像合成部１６６は図２のＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などで実現され、マップデータを参照して部分画像で表すべき領域を特定し、疑似画像生成部１６４が生成した画像のうち当該領域に部分画像を合成する。これにより第２の画像と略同一の画像が生成される。ただし疑似的な画像として生成された視野内に、部分画像で表すべき領域がなければ、部分画像合成部１６６は当該疑似的な画像をそのまま出力してよい。
【０１０５】
データ出力部１６８は図２のＣＰＵ２３、ＧＰＵ２４、メインメモリ２６、出力部３６などで実現され、鑑賞者の操作に対応する視野の第１の画像と、部分画像合成部１６６が生成した第２の画像を、鑑賞者の左右の眼に到達するような形式として表示装置１６ｂに出力する。例えばヘッドマウントディスプレイの画面において左右に２分割した領域に、左目用の画像と右目用の画像が表示されるように、両者を接続して出力する。これにより鑑賞者は、自由に視線を変えながら立体映像を楽しむことができる。データ出力部１６８は表示画像のほか、音声のデータも必要に応じて出力してよい。
【０１０６】
図１３は、画像データ出力装置１０ａが、出力するデータを生成する処理の手順を模式的に示している。まずステレオ画像取得部１５０は、撮像装置１２が撮影したステレオ画像のデータを取得する。ステレオ画像のそれぞれが、さらに別々に撮影された画像で構成される場合、ステレオ画像取得部１５０はそれらを接続して、ステレオ画像を構成する第１の画像１７０ａ、第２の１７０ｂを生成する。
【０１０７】
デプス画像生成部１５２は、第１の画像１７０ａ、第２の画像１７０ｂを用いてデプス画像１７２を生成する（Ｓ１０）。図示する例では撮像面からの距離が近いほど高い輝度で表す形式のデプス画像１７２を模式的に示している。ステレオ画像における像のずれ量と被写体の距離は基本的に反比例の関係にあるため、両者は相互に変換が可能である。続いて部分画像取得部１５４は、デプス画像１７２またはそれを取得する際に特定した、視差による像のずれ量に基づき、第１の画像１７０ａにおける像をずらし、第２の画像の疑似画像１７４を生成する（Ｓ１２ａ、Ｓ１２ｂ）。
【０１０８】
そして部分画像取得部１５４は、当該疑似画像１７４と本来の第２の画像１７０ｂの差分画像１７６を生成する（Ｓ１４ａ、Ｓ１４ｂ）。第２の画像の視点に特有の反射光やオクルージョンなどがなければ差分はほぼ生じない。図１１の領域１４６のように片方の視点のみに特有の像が存在する場合、しきい値より大きい差分を有する領域１７８として取得される。部分画像取得部１５４は第２の画像１７０ｂのうち、領域１７８を含む所定範囲の領域を、部分画像１８０として切り出す（Ｓ１６ａ、Ｓ１６ｂ）。一方、マップ生成部１５６は、差分画像１７６に点線で示すような部分画像の領域１８２に、他と異なる画素値を与えたマップデータを生成する。
【０１０９】
なお部分画像取得部１５４が部分画像として切り出す領域は、表示する立体映像のうち強調したい被写体から所定の範囲において、ステレオ画像における像のずれ量（視差値）が得られている領域、あるいはそれを含む矩形領域などとしてもよい。当該領域は、深層学習における周知のセマンテック・セグメンテーションの技術を利用して決定してもよい。
【０１１０】
データ出力部１５８は、ステレオ画像のうち第１の画像１７０ａ、デプス画像１７２、マップデータ、および部分画像１８０のデータを、コンテンツ再生装置２０または記録媒体に出力する。コンテンツ再生装置２０では疑似画像生成部１６４が、図示するＳ１０、Ｓ１２ａ、Ｓ１２ｂの処理により疑似画像１７４を生成し、部分画像合成部１６６が、マップデータを参照して部分画像１８０を該当箇所に合成することにより、第２の画像１７０ｂを復元する。
【０１１１】
デプス画像１７２、マップデータ、部分画像１８０は、合計しても、第２の画像１７０ｂのカラーのデータと比較し格段に小さいサイズのデータとなる。したがって伝送帯域や記憶領域を節約でき、その分を第１の画像１７０ａのデータ容量に充当することにより高解像度のまま出力すれば、広大な画角のステレオ画像を用いて高品質な立体映像を自由な視線で見せることができる。
【０１１２】
以上述べた本実施の形態によれば、全天周の画像のように画角の異なる複数のカメラで撮影した画像を接続して表示に用いる技術において、画像データの提供元は、画像を接続する位置を表すマップデータを、画像データとともに出力する。例えば接続後の画像とともに接続箇所を表すマップデータを出力すると、それを取得したコンテンツ作成装置やコンテンツ再生装置では、接続によって生じ得る像の歪みや不連続性を、効率よく検出して修正できる。これにより軽い負荷で抜けなく必要な修正を行え、品質の高いコンテンツを容易に実現できる。
【０１１３】
また、動画像を撮影して表示させる場合、動きのある一部の領域以外の領域を静止画とし、動画と静止画の領域の区別を表すマップデータを、最初のフレームである全領域の画像とともに出力する。これによりその後の時間では一部の動画像のデータのみを伝送したり処理したりすれば、全領域の動画像を処理対象とするより高い効率性で、同様の動画像を表示できる。この際、静止画の領域に意図的にノイズ加工を施すことにより、鑑賞者に違和感を与える可能性が低くなる。
【０１１４】
あるいは広角低解像度の画像と狭角高解像度の画像を撮影し、低解像度の全体画像のうち高解像度の画像で表す領域を示すマップデータを、両者の画像データとともに出力し、コンテンツ作成時や表示時に、両者の画像を合成できるようにする。これにより全領域を高解像度とした画像を出力するよりデータサイズを抑えることができ、全領域を低解像度とした画像を表示させるより品質の高い画像を表示できる。あるいは広角画像に、被写体の説明や字幕などの付加画像を合成する。このとき合成に好適な位置をマップデータとして表すことにより、視線を自由に変えても本来の画像の邪魔をしない適切な位置に付加情報を表示させ続けることができる。また付加情報を自由に切り替えたり非表示としたりできる。
【０１１５】
また左右の視点から撮影されたステレオ画像を左右の眼にそれぞれ見せることにより、立体視を実現する技術において、ステレオ画像のうち第１の画像における被写体の像を視差分だけ変位させることにより第２の画像を復元できるようにし、データサイズを軽減させる。このとき、像の変位のみでは表現されないオクルージョンや反射が生じている第２の画像上の領域のデータと、当該領域の位置を表すマップデータを対応づけて出力する。これにより、第２の画像のデータを出力対象から外しても、それに近い画像を復元できるため、違和感のない立体映像を表示できる。
【０１１６】
これらの態様により、全天周の画像を、自由に視線を変えながら見るのにネックとなる、つなぎ目の不具合、データサイズの増大、付加情報を表示させる位置などの問題を解決できる。結果として、リソースの多少によらずダイナミックな画像表現を遅延や品質の劣化なく実現できる。また画像を提供する側で画像のデータとマップデータを対応づけておくことにより、その後の任意の処理段階で適応的な処理が可能となり、撮影画像であっても表示形態の自由度が高くなる。
【０１１７】
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【０１１８】
１  コンテンツ処理システム、  １０  画像データ出力装置、  １２  撮像装置、  １４ａ  入力装置、  １６ａ  表示装置、  １８  コンテンツ作成装置、  ２０  コンテンツ再生装置、  ２３  ＣＰＵ、  ２４  ＧＰＵ、  ２６  メインメモリ、  ３２  通信部、  ３４  記憶部、  ３６  出力部、  ３８  入力部、  ４０  記録媒体駆動部、  ５０  部分画像取得部、  ５２  出力画像生成部、  ５４  データ出力部、  ５６  マップ生成部、  ６０  データ取得部、  ６２  コンテンツ生成部、  ６４  データ出力部、  ７０  データ取得部、  ７２  表示画像生成部、  ７４  データ出力部、  １５０  ステレオ画像取得部、  １５２  デプス画像生成部、  １５４  部分画像取得部、  １５６  マップ生成部、  １５８  データ出力部、  １６２  データ取得部、  １６４  疑似画像生成部、  １６６  部分画像合成部、  １６８  データ出力部。
【産業上の利用可能性】
【０１１９】
以上のように本発明は、ゲーム装置、画像処理装置、画像データ出力装置、コンテンツ作成装置、コンテンツ再生装置、撮像装置、ヘッドマウントディスプレイなど各種装置と、それを含むシステムなどに利用可能である。
【図１】
2020066008.tif 000003
【図２】
2020066008.tif 000004
【図３】
2020066008.tif 000005
【図４】
2020066008.tif 000006
【図５】
2020066008.tif 000007
【図６】
2020066008.tif 000008
【図７】
2020066008.tif 000009
【図８】
2020066008.tif 000010
【図９】
2020066008.tif 000011
【図１０】
2020066008.tif 000012
【図１１】
2020066008.tif 000013
【図１２】
2020066008.tif 000014
【図１３】
2020066008.tif 000015
【手続補正書】
【提出日】令和2年11月10日(2020.11.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
表示に用いる画像のデータを出力する画像データ出力装置であって、
前記画像を構成する複数の部分画像を取得する部分画像取得部と、
前記部分画像の接続位置を決定したうえ、出力すべき画像のデータを前記部分画像から生成する出力画像生成部と、
前記接続位置を示すマップデータを生成するマップ生成部と、
前記出力すべき画像のデータと前記マップデータとを対応づけて出力するデータ出力部と、
を備えたことを特徴とする画像データ出力装置。
【請求項２】
前記部分画像取得部は、実空間を異なる画角で撮影した複数の撮影画像を前記部分画像として取得し、
前記出力画像生成部は、前記複数の撮影画像を、各画角に基づき接続して１つの画像のデータを生成し、
前記マップ生成部は、前記マップデータに、前記複数の撮影画像のつなぎ目を表すことを特徴とする請求項１に記載の画像データ出力装置。
【請求項３】
前記部分画像取得部は、実空間を異なる画角で撮影した複数の動画を前記部分画像として取得し、
前記出力画像生成部は、前記複数の動画のうち一部の動画を静止画で置き換えたデータを生成し、
前記マップ生成部は、前記マップデータに、動画と静止画の区別を表すことを特徴とする請求項１または２に記載の画像データ出力装置。
【請求項４】
前記出力画像生成部は、前記複数の動画のうち静止画で置き換える対象を、画像の内容に応じて切り替えることを特徴とする請求項３に記載の画像データ出力装置。
【請求項５】
前記部分画像取得部は、実空間を異なる画角および解像度で撮影した複数の撮影画像を前記部分画像として取得し、
前記マップ生成部は、前記マップデータに、前記複数の撮影画像の区別を表すことを特徴とする請求項１から４のいずれかに記載の画像データ出力装置。
【請求項６】
前記部分画像取得部は、表示に用いる全体領域の撮影画像と、前記全体領域の撮影画像より狭い画角かつ高い解像度を有する狭角高解像度画像とを取得し、
前記マップ生成部は、前記狭角高解像度画像の画角の変化に対応するように、前記マップデータを変化させることを特徴とする請求項５に記載の画像データ出力装置。
【請求項７】
前記部分画像取得部は、表示に用いる画像に対する付加情報を表す画像を前記部分画像として取得し、
前記マップ生成部は、前記マップデータに、前記付加情報を表す画像の区別を表すことを特徴とする請求項１から６のいずれかに記載の画像データ出力装置。
【請求項８】
前記マップ生成部は、前記マップデータの一つの領域に、切り替えて表示させる複数の前記付加情報を表す画像を対応づけることを特徴とする請求項７に記載の画像データ出力装置。
【請求項９】
既知の間隔を有する左右の視点から撮影された第１の画像、第２の画像からなるステレオ画像を取得するステレオ画像取得部と、
前記部分画像取得部は、前記ステレオ画像における同じ被写体の像のずれ量を取得し、前記第１の画像における像を前記ずれ量分だけ移動させた、前記第２の画像の疑似画像を生成したうえ、前記第２の画像のうち前記疑似画像との差分が所定値以上の箇所を含む所定範囲の領域を前記部分画像として切り出し、
前記マップ生成部は、前記第２の画像の平面における前記所定範囲の領域を前記マップデータに表し、
前記データ出力部は、前記第１の画像のデータ、前記ずれ量に係るデータ、前記部分画像のデータ、および前記マップデータを出力することを特徴とする請求項１から８のいずれかに記載の画像データ出力装置。
【請求項１０】
複数の部分画像を接続してなる画像のデータと、前記部分画像のつなぎ目を示すマップデータを取得するデータ取得部と、
前記マップデータを参照して前記つなぎ目を対象に画像を修正したうえコンテンツのデータとするコンテンツ生成部と、
前記コンテンツのデータを出力するデータ出力部と、
を備えたことを特徴とするコンテンツ作成装置。
【請求項１１】
複数の部分画像を接続してなる原画像のうち少なくとも一部を、視線の変化に対応する視野で表示させるコンテンツ再生装置であって、
前記原画像を構成する複数の部分画像のデータと、前記部分画像の接続位置を前記原画像の平面に表したマップデータを取得するデータ取得部と、
前記マップデータを参照して、前記原画像のうち視線に対応する領域における前記部分画像を接続し表示画像を生成する表示画像生成部と、
前記表示画像を表示装置に出力するデータ出力部と、
を備えたことを特徴とするコンテンツ再生装置。
【請求項１２】
前記表示画像生成部は、前記マップデータを参照して前記部分画像が動画の領域と静止画の領域を特定し、前記動画の領域において、取得した動画のデータを用いて画像を更新することを特徴とする請求項１１に記載のコンテンツ再生装置。
【請求項１３】
前記表示画像生成部は、前記静止画の領域に擬似的なノイズを重畳させることを特徴とする請求項１２に記載のコンテンツ再生装置。
【請求項１４】
前記マップデータは、一つの部分画像の領域に複数の付加画像が対応づけられ、
前記表示画像生成部は、鑑賞者の操作に応じて、接続する前記付加画像を切り替えることを特徴とする請求項１１から１３のいずれかに記載のコンテンツ再生装置。
【請求項１５】
前記データ取得部は、既知の間隔を有する左右の視点から撮影された第１の画像、第２の画像からなるステレオ画像のうち前記第１の画像と、前記ステレオ画像における同じ被写体の像のずれ量に係るデータと、前記第１の画像における像を前記ずれ量分だけ移動させた、前記第２の画像の疑似画像との差分が所定位置以上の箇所を含む、前記第２の画像の所定範囲の領域のデータと、前記第２の画像の平面における前記所定範囲の領域を示すマップデータと、を取得し、
前記表示画像生成部は、前記第１の画像と前記ずれ量に係るデータを用いて前記疑似画像を生成し、そのうち前記マップデータが示す領域に、前記所定範囲の領域のデータを合成することにより前記第２の画像を復元し、
前記データ出力部は、前記第１の画像と前記第２の画像を出力することを特徴とする請求項１１から１４のいずれかに記載のコンテンツ再生装置。
【請求項１６】
表示に用いる画像のデータを出力する画像データ出力装置が、
前記画像を構成する複数の部分画像を取得するステップと、
前記部分画像の接続位置を決定したうえ、出力すべき画像のデータを前記部分画像から生成するステップと、
前記接続位置を示すマップデータを生成するステップと、
前記出力すべき画像のデータと前記マップデータとを対応づけて出力するステップと、
を含むことを特徴とする画像データ出力方法。
【請求項１７】
複数の部分画像を接続してなる画像のデータと、前記部分画像のつなぎ目を示すマップデータを取得するステップと、
前記マップデータを参照して前記つなぎ目を対象に画像を修正したうえコンテンツのデータとするステップと、
前記コンテンツのデータを出力するステップと、
を含むことを特徴とする、コンテンツ作成装置によるコンテンツ作成方法。
【請求項１８】
複数の部分画像を接続してなる原画像のうち少なくとも一部を、視線の変化に対応する視野で表示させるコンテンツ再生装置が、
前記原画像を構成する複数の部分画像のデータと、前記部分画像の接続位置を前記原画像の平面に表したマップデータを取得するステップと、
前記マップデータを参照して、前記原画像のうち視線に対応する領域における前記部分画像を接続し表示画像を生成するステップと、
前記表示画像を表示装置に出力するステップと、
を含むことを特徴とする、コンテンツ再生装置によるコンテンツ再生方法。
【請求項１９】
表示に用いる画像のデータを出力するコンピュータに、
前記画像を構成する複数の部分画像を取得する機能と、
前記部分画像の接続位置を決定したうえ、出力すべき画像のデータを前記部分画像から生成する機能と、
前記接続位置を示すマップデータを生成する機能と、
前記出力すべき画像のデータと前記マップデータとを対応づけて出力する機能と、
を実現させることを特徴とするコンピュータプログラム。
【請求項２０】
複数の部分画像を接続してなる画像のデータと、前記部分画像のつなぎ目を示すマップデータを取得する機能と、
前記マップデータを参照して前記つなぎ目を対象に画像を修正したうえコンテンツのデータとする機能と、
前記コンテンツのデータを出力する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
【請求項２１】
複数の部分画像を接続してなる原画像のうち少なくとも一部を、視線の変化に対応する視野で表示させるコンピュータに、
前記原画像を構成する複数の部分画像のデータと、前記部分画像の接続位置を前記原画像の平面に表したマップデータを取得する機能と、
前記マップデータを参照して、前記原画像のうち視線に対応する領域における前記部分画像を接続し表示画像を生成する機能と、
前記表示画像を表示装置に出力する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
【国際調査報告】
2020066008.tif 000016
2020066008.tif 000017
2020066008.tif 000018
2020066008.tif 000019