(57)【要約】【課題】人間の視野の中央部に映像を呈示することに加えて、視野の周辺部にも映像情報を呈示することで、臨場感を高めるようにする。【解決手段】視野の中央部に呈示する映像を撮影する段階で、視野の周辺部に呈示する映像も同時に取得する。つまり映像を撮影する段階でカメラアレイにより様々な位置・方向からシーンを撮影し、任意視点映像技術を用いて、視野の中央部に呈示する映像および視野の周辺部に呈示する映像を同時に合成し広視野映像を生成する。一例として、映像表示装置に呈示する映像の生成時に、仮想カメラ１３５を有効視野１２７に向け、被写体１３３を中心に捉える。多数のカメラ１３４の映像から仮想カメラ１３５における映像を任意視点映像技術で合成することで、有効視野１２７に呈示する有効視野映像を得る。同様に仮想カメラ１３５を誘導視野１２８，１２９、補助視野１３０，１３１に向けることで周辺映像が得られる。【選択図】図１６
2006352539.tif 000002
【特許請求の範囲】
【請求項１】
１つ以上のカメラによって撮影した映像から、１つ以上の映像データから成る広視野映像を合成する映像生成部を備えることを特徴とする広視野映像システム。
【請求項２】
前記映像生成部における前記１つ以上の映像データから成る広視野映像を合成する方法として、前記１つ以上のカメラによる映像からもともとカメラの存在しない仮想的なカメラ位置における映像を合成可能な任意視点映像技術を用いることを特徴とする請求項１記載の広視野映像システム。
【請求項３】
前記映像生成部は、左右の目の間隔だけ離れた視点からの任意視点映像を生成することで立体視可能な広視野映像を生成することを特徴とする請求項２記載の広視野映像システム。
【請求項４】
視聴者の頭部位置を検出可能なセンサを備え、視聴者の頭部の動きに追従して仮想カメラ位置を変更し、該仮想カメラ位置における１つ以上の映像データから成る広視野映像を生成することを特徴とする請求項２または３記載の広視野映像システム。
【請求項５】
放送システムにおいて、放送局側において前記１つ以上のカメラによって撮影した映像情報の全てを視聴者側に送り、視聴者側で該映像情報を受信しそれを用いて任意視点映像生成技術により広視野映像を生成することを特徴とする請求項２ないし４のいずれか１記載の広視野映像システム。
【請求項６】
放送システムにおいて、放送局側において前記１つ以上のカメラによって撮影した映像情報から任意視点映像生成技術により広視野映像を生成し、該広視野映像を視聴者に送ることを特徴とする請求項２ないし４のいずれか１記載の広視野映像システム。
【請求項７】
記録媒体を用いた映像記録再生システムにおいて、映像コンテンツ製作者側において前記１つ以上のカメラによって撮影した映像情報の全てを記録媒体に記録し、視聴者側で該記録媒体から該映像情報を再生しそれを用いて任意視点映像生成技術により広視野映像を生成することを特徴とする請求項２ないし４のいずれか１記載の広視野映像システム。
【請求項８】
記録媒体を用いた映像記録再生システムにおいて、映像コンテンツ製作者側において前記１つ以上のカメラによって撮影した映像情報から任意視点映像生成技術により広視野映像を生成して記録媒体に記録し、視聴者側で該記録媒体から該広視野映像を再生することを特徴とする請求項２ないし４のいずれか１記載の広視野映像システム。
【請求項９】
１つ以上の表示部を備え、該表示部に前記広視野映像を呈示することを特徴とする請求項１ないし８のいずれか１記載の広視野映像システム。
【請求項１０】
前記表示部として複数の画素を持つ表示装置を用いることを特徴とする請求項９記載の広視野映像システム。
【請求項１１】
前記表示部として照明装置を用いることを特徴とする請求項９記載の広視野映像システム。
【請求項１２】
該表示部として、複数の画素を持つ表示装置と、照明装置とを混在させて用いることを特徴とする請求項９記載の広視野映像システム。
【請求項１３】
前記映像生成部は、前記１つ以上の表示部の各々の解像度や視聴者の視点位置から見て表示部が視聴者の視野に占める領域に従って映像データを生成することを特徴とする請求項１０または１２記載の広視野映像システム。
【請求項１４】
前記映像生成部は、ある方向のある角度領域の輝度や彩度、色相の情報を取得できるような光センサによる情報と前記１つ以上のカメラによって撮影した映像情報を併せて利用し広視野映像を生成することを特徴とする請求項１ないし１３のいずれか１記載の広視映像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広視野映像システムに関し、より詳細には、広視野の映像情報を呈示することで、より臨場感を高める映像表示システムにおける映像データ生成技術に関する。
【背景技術】
【０００２】
畑田らの研究（非特許文献１）によると、図１に示すように人間の視野は視機能の働きにより、弁別視野１０１、有効視野１０２、誘導視野１０３、補助視野１０４に分類される。弁別視野１０１は、図形識別など高密度な情報を正確に受容できる範囲である。有効視野１０２は、弁別能力は弁別視野１０１より低下するが眼球運動のみで自然な情報受容ができる範囲である。誘導視野１０３は、呈示刺激の存在や簡単な識別ができる程度の認識能力しかないが、全体的な外界情報を判断する際に影響を持つ範囲である。補助視野１０４は、刺激の存在のみが判別できる範囲である。
【０００３】
現在のハイビジョンテレビは上記のうち有効視野１０２を覆う範囲に映像（本明細書ではこの映像を有効視野映像と呼ぶ）を呈示するよう設計されている。つまり誘導視野１０３や補助視野１０４には映像を呈示していない。誘導視野１０３や補助視野１０４といった視野の周辺部にも映像（本明細書ではこのように誘導視野１０３や補助視野１０４に呈示する映像を周辺映像と呼ぶ）を呈示することで、より臨場感が高まることが期待できる。
【０００４】
周辺映像としては例えば、有効視野映像と同等の解像度の映像や、より解像度を落とした映像や、超低解像度映像として照明を利用するものが考えられている。このように照明を利用するものとしては例えば、特許文献１や、フィリップス社のテレビに搭載されているＡｍｂｉｌｉｇｈｔという技術がある。なお、本明細書ではこのように、照明装置を用いて補助視野や誘導視野に呈示するために解像度を落とした映像情報を、簡易周辺映像と呼ぶことにする。また、有効視野映像と周辺映像あるいは簡易周辺映像を合わせた、人間の視野全体を覆うような映像を、広視野映像と呼ぶことにする。
【特許文献１】特開２０００−１７３７８３号公報
【非特許文献１】畑田豊彦，坂田晴夫，日下秀夫，：“画面サイズによる方向感覚誘導効果‐大画面による臨場感の基礎実験‐”，テレビジョン学会誌，Ｖｏｌ．３３，Ｎｏ．５，ｐｐ．４０７-４１３（１９７９）
【非特許文献２】北原，佐藤，大田，“多眼ステレオ法を用いた運動視差の再現可能な３次元画像表示―表示画像の生成と評価―”，テレビジョン学会誌，Ｖｏｌ．５０，Ｎｏ．９，（１９９６）
【非特許文献３】プリム，藤井，谷本：“自由視点テレビのためのリアルタイムシステム”，信学技報，ＩＥ２００２−１２０（２００２）
【非特許文献４】東，藤井，谷本：“自由視点テレビのための観視者の頭部検出”，情報処理学会研報告，２００３−ＨＩ−１０４（５）（２００３）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１やフィリップス社のＡｍｂｉｌｉｇｈｔにおいては、入力信号として有効視野映像のみを想定しており、照明制御用信号は有効視野映像から推定して生成している。よって実際の簡易周辺映像とは差が有り、臨場感を増すために効果的な照明を呈示できているとはいい難い。有効視野映像を撮影する段階で、周辺映像あるいは簡易周辺映像を生成するために必要な映像情報も同時に取得しておけばよいが、そのようなシステムは存在していない。
【０００６】
上記の問題点を解決するために、本発明は有効視野映像を撮影する段階で周辺映像あるいは簡易周辺映像を生成するために必要な映像情報も同時に取得し、映像情報呈示装置において正しい周辺映像あるいは簡易周辺映像を呈示することを可能とする。
【０００７】
ところで、任意視点映像技術と呼ばれるものがある。これはあるシーンを多数のカメラを用いて撮影し、それらの映像データを統合して処理することで、もともとカメラの存在しない地点に仮想的なカメラを置いて撮影したかのような映像を合成する技術である。この任意視点映像技術を用い、有効視野映像と同時に周辺映像あるいは簡易周辺映像を生成すること、すなわち広視野映像を生成することが、本発明の特徴である。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の第１の技術手段は、１つ以上のカメラによって撮影した映像から、１つ以上の映像データから成る広視野映像を合成する映像生成部を備えることを特徴としたものである。
【０００９】
第２の技術手段は、第１の技術手段において、映像生成部における１つ以上の映像データから成る広視野映像を合成する方法として、１つ以上のカメラによる映像からもともとカメラの存在しない仮想的なカメラ位置における映像を合成可能な任意視点映像技術を用いることを特徴としたものである。
【００１０】
第３の技術手段は、第２の技術手段において、映像生成部が、左右の目の間隔だけ離れた視点からの任意視点映像を生成することで立体視可能な広視野映像を生成することを特徴としたものである。
【００１１】
第４の技術手段は、第２または第３の技術手段において、視聴者の頭部位置を検出可能なセンサを備え、視聴者の頭部の動きに追従して仮想カメラ位置を変更し、仮想カメラ位置における１つ以上の映像データから成る広視野映像を生成することを特徴としたものである。
【００１２】
第５の技術手段は、第２ないし第４のいずれか１の技術手段において、放送局側において前記１つ以上のカメラによって撮影した映像情報の全てを視聴者側に送り、視聴者側で該映像情報を受信しそれを用いて任意視点映像生成技術により広視野映像を生成することを特徴としたものである。
【００１３】
第６の技術手段は、第２ないし第４のいずれか１の技術手段において、放送局側において１つ以上のカメラによって撮影した映像情報から任意視点映像生成技術により広視野映像を生成し、広視野映像を視聴者に送ることを特徴としたものである。
【００１４】
第７の技術手段は、第２ないし第４のいずれか１の技術手段において、映像コンテンツ製作者側において１つ以上のカメラによって撮影した映像情報の全てを記録媒体に記録し、視聴者側で記録媒体から映像情報を再生しそれを用いて任意視点映像生成技術により広視野映像を生成することを特徴としたものである。
【００１５】
第８の技術手段は、第２ないし第４のいずれか１の技術手段において、映像コンテンツ製作者側において１つ以上のカメラによって撮影した映像情報から任意視点映像生成技術により広視野映像を生成して記録媒体に記録し、視聴者側で記録媒体から広視野映像を再生することを特徴としたものである。
【００１６】
第９の技術手段は、第１ないし第８のいずれか１の技術手段において、１つ以上の表示部を備え、表示部に広視野映像を呈示することを特徴としたものである。
【００１７】
第１０の技術手段は、第９の技術手段において、表示部として複数の画素を持つ表示装置を用いることを特徴としたものである。
【００１８】
第１１の技術手段は、第９の技術手段において、表示部として照明装置を用いることを特徴としたものである。
【００１９】
第１２の技術手段は、第９の技術手段において、表示部として、複数の画素を持つ表示装置と、照明装置とを混在させて用いることを特徴としたものである。
【００２０】
第１３の技術手段は、第１０または第１２の技術手段において、映像生成部が、１つ以上の表示部の各々の解像度や視聴者の視点位置から見て表示部が視聴者の視野に占める領域に従って映像データを生成することを特徴としたものである。
【００２１】
第１４の技術手段は、第１ないし第１３のいずれか１の技術手段において、映像生成部が、ある方向のある角度領域の輝度や彩度、色相の情報を取得できるような光センサによる情報と１つ以上のカメラによって撮影した映像情報を併せて利用し広視野映像を生成することを特徴としたものである。
【発明の効果】
【００２２】
本発明により、下記の効果が得られる。
任意視点映像技術を用いることで、カメラアレイによる映像データから広視野映像を生成することを可能にし、高い臨場感を持つ映像を視聴者に提供することが可能となる。
任意視点映像技術により、任意の大きさ・方向の視野に対して映像を合成できるため、広視野映像表示装置を構成する１つ以上の表示部の夫々がカバーする視野領域に合わせて映像を生成可能である。よって、どのような構成の広視野映像表示装置であっても対応可能である。
【００２３】
また本発明によれば、左右の目の間隔だけ離れた視点からの２つの広視野映像を任意視点映像技術により生成可能であるため、立体視可能な広視野映像を提供することも可能である。
【００２４】
また本発明によれば、視聴者の頭部位置を計測可能なセンサを併用し、頭部位置の移動に追従するように視点位置を変更して広視野映像を生成することも可能である。これによって、頭部の移動に従って映像も変わる、いわゆる移動視差を再現可能であり、より臨場感の高い映像となる。また、立体視可能な広視野映像を生成する方法と組み合わせることも可能であり、さらに臨場感の高い映像を提供できる。
【００２５】
また本発明を放送に適用し、受信装置内で任意視点映像生成処理を行う構成を取った場合は、視聴者側で自由に広視野映像の視点を変更可能であるため、インタラクティブでより臨場感の高い映像を見ることができる。
【００２６】
また本発明を放送に適用し、送信前にあらかじめ任意視点映像生成処理を行う構成を取った場合は、カメラアレイの映像を全て視聴者側に送る必要が無くなり、広視野映像表示装置を構成する１つ以上の表示部の数だけの映像を送れば良いため、送信データ量を少なくすることが可能である。
【００２７】
また本発明をパッケージメディアに適用し、再生装置内で任意視点映像生成処理を行う構成を取った場合は、視聴者側で自由に広視野映像の視点を変更可能であるため、インタラクティブでより臨場感の高い映像を見ることができる。
【００２８】
また本発明をパッケージメディアに適用し、コンテンツ記録前にあらかじめ任意視点映像生成処理を行う構成を取った場合は、カメラアレイの映像を全てパッケージメディアに記録する必要が無くなり、広視野映像表示装置を構成する１つ以上の表示部の数だけの映像を記録すれば良いため、記録データ量を少なくすることが可能である。
【００２９】
カメラアレイのカメラ数や配置によっては、有効視野映像および周辺映像あるいは簡易周辺映像を生成するために必要な映像情報を得られない場合に、反射鏡などを用いて１台のカメラで全周の映像を撮影できる全周カメラや、ある方向のある角度領域の輝度や彩度、色相の情報を取得できるような光センサを併用することで、有効視野映像および周辺映像あるいは簡易周辺映像を生成するための補助情報として利用し、欠けの無い広視野映像を生成することが可能である。
【発明を実施するための最良の形態】
【００３０】
本発明の実施例を以下に説明する。
まず、本発明における広視野映像システムの例をいくつか示す。いずれも視聴者の視野を覆うように広視野の映像情報を呈示するシステムであるが、表示部の大きさ・数・種類・配置はそれぞれ異なっている例である。なお本明細書では、映像情報を呈示するための装置を広く「表示部」と呼び、その中でも複数の表示画素を持つものを「映像表示装置」と呼ぶ。またこれに対し、照明光の色相・彩度・輝度を制御可能な「照明装置」を、単一画素を表示する表示部とみなしている。照明装置については後で詳述する。
【００３１】
図２は本発明における広視野映像システムの第１の例を示したものである。３台の平面状映像表示装置が設置された部屋を後方から見た様子を示している。ここでは、部屋の中に映像表示装置１０５、映像表示装置１０６、映像表示装置１０７が設置されており、それを椅子に座った視聴者１０８が見ている様子が示されている。映像表示装置１０５は視聴者１０８の正面の壁面に、映像表示装置１０６は視聴者１０８の左側の壁面に、映像表示装置１０７は視聴者１０８の右側の壁面に設置されている。これらの映像表示装置１０５〜１０７は、例えばプロジェクタによる投影によって実現される。
【００３２】
図３は上記の広視野映像システムの第１の例を上面から見た図である。視聴者１０８の視野を覆うように映像表示装置１０５、映像表示装置１０６、映像表示装置１０７が設置されている様子が示されている。
【００３３】
図４は本発明における広視野映像システムの第２の例を示したものである。５台の平面状映像表示装置が設置された部屋を後方から見た様子を示している。ここでは、部屋の中に映像表示装置１０９、映像表示装置１１０、映像表示装置１１１、映像表示装置１１２、映像表示装置１１３が設置されており、それを椅子に座った視聴者１０８が見ている様子が示されている。映像表示装置１０９は視聴者１０８の正面の壁面に、映像表示装置１１０は視聴者１０８の左斜め前方に、映像表示装置１１１は視聴者１０８の右斜め前方に、映像表示装置１１２は視聴者１０８の左側の壁面に、映像表示装置１１３は視聴者１０８の右側の壁面に設置されている。これらの映像表示装置１０９〜１１３は、例えばブラウン管テレビ、液晶テレビ、プラズマテレビ、リアプロジェクションテレビ、プロジェクタによる投影画面などによって実現される。
【００３４】
図５は上記の広視野映像システムの第２の例を上面から見た図である。視聴者１０８の視野を覆うように映像表示装置１０９ないし映像表示装置１１３が設置されている様子が示されている。
【００３５】
図６は本発明における広視野映像システムの第３の例を示したものである。円筒の一部を切り取ったような形状のアーチ型スクリーンを用いた映像表示装置１１４が設置された部屋を後方から見た様子が示されている。部屋の中に映像表示装置１１４が設置されており、それを椅子に座った視聴者１０８が見ている様子である。映像表示装置１１４は、例えば複数のプロジェクタによる投影によって実現される。
【００３６】
図７は上記の広視野映像システムの第３の例を上面から見た図である。アーチ型スクリーンを用いた映像表示装置１１４が視聴者１０８の視野を覆うように設置されている様子が示されている。
【００３７】
図８は本発明における広視野映像システムの第４の例を示したものである。球面の一部を切り取ったような形状のドーム型スクリーンを用いた映像表示装置１１５が設置された部屋を後方から見た様子が示されている。部屋の中に映像表示装置１１５が設置されており、それを椅子に座った視聴者１０８が見ている様子である。映像表示装置１１５は、例えば複数のプロジェクタによる投影によって実現される。
【００３８】
図９は上記の広視野映像システムの第４の例を上面から見た図である。ドーム型スクリーンを用いた映像表示装置１１５が視聴者１０８の視野を覆うように設置されている様子が示されている。
【００３９】
図１０は本発明における広視野映像システムの第５の例を示したものである。平面状の映像表示装置に加え、照明装置を設置した部屋を後方から見た様子が示されている。部屋の中に映像表示装置１１６、照明装置１１７、照明装置１１８、照明装置１１９、照明装置１２０、照明装置１２１、照明装置１２２、照明装置１２３が設置されている。なお、図１０では視聴者を図示しなかった。映像表示装置１１６が視聴者の図によって隠れてしまうためである。映像表示装置１１６は、例えばブラウン管テレビ、液晶テレビ、プラズマテレビ、リアプロジェクションテレビ、プロジェクタによる投影画面などによって実現される。照明装置１１７〜１２３は、例えばＲＧＢの３色のＬＥＤを用いた照明装置によって実現される。
【００４０】
図１１は上記の広視野映像システムの第５の例を上面から見た図である。映像表示装置１１６が視聴者１０８の正面に設置され、照明装置１１７〜１２３が視聴者１０８の誘導視野や補助視野を覆うように設置されている様子が示されている。
【００４１】
ここで、照明装置１１７〜１２３は、非常に低解像度の映像表示装置として用いており、入力された映像信号に従って制御される。また、図１０では、それぞれの照明装置の下側の壁面を照らすよう配置した例を示しているがこれはあくまで一例である。他に下側に設置し照明装置の上部の壁面を照らすもの、照明装置の周りの壁面を照らすもの、照明装置自体が光るものなど、様々な照明装置が考えられ、それらのいずれを使用しても良いし、組み合わせて使用しても良い。また照明装置の配置は一例であり、これに限るものではない。例えば、補助視野より誘導視野の方が人間の視覚の解像度は高いため、誘導視野に設置する照明装置の数を、補助視野に設置する照明装置の数より多くすることも考えられる。また説明のしやすさのため視野を水平方向にいくつかに分割して照明した例となっているが、縦方向に視野を分割してそれぞれに照明装置を設置することも可能である。またこれらの照明装置は、単に照明の輝度を変更できるだけのものの他、照明光の色相・彩度・輝度を制御可能なものなど、様々な種類の照明装置を使っても良い。
【００４２】
このように本発明においては、液晶テレビ等の映像表示装置だけではなく照明装置も映像表示装置であり、表示可能な映像解像度が異なる装置である、として扱っている。
また、先に記したように、人間の視野のうち誘導視野や補助視野においては弁別能力が低く、刺激の存在や簡単な識別ができる程度の認識能力しかない。よって、視野の周辺部分においては照明装置によって色の刺激を呈示するだけでも臨場感を高める効果が期待できる。
【００４３】
図１２は本発明における広視野映像システムの第６の例を示したものである。部屋の中に映像表示装置１０９、映像表示装置１１０、映像表示装置１１１、照明装置１２２、照明装置１２３が設置されており、それを椅子に座った視聴者１０８が見ている様子が示されている。本例は、図４で示した第２の例と、図１０で示した第５の例を組み合わせたものとなっている。映像表示装置１０９は視聴者１０８の正面の壁面に、映像表示装置１１０は視聴者１０８の左斜め前方に、映像表示装置１１１は視聴者１０８の右斜め前方に、照明装置１２２は視聴者１０８の左側の壁面に、照明装置１２３は視聴者１０８の右側の壁面に設置されている。
【００４４】
図１３は上記の広視野映像システムの第６の例を上面から見た図である。視聴者１０８の正面ないし左右の前方には映像表示装置１０９〜１１１が設置され、視聴者１０８の視野の周辺部分には照明装置１２２〜１２３が設置されている様子が示されている。図５で示した第２の例と、図１１で示した第５の例を組み合わせたものとなっている。このように、映像表示装置と照明装置を混在して用いてもかまわない。
【００４５】
なお、図２ないし図１３で示した上記の例では、視聴者１０８の背中側は視野に入らないために表示部を設置していないが、視聴者１０８が振り返ることも考慮して背中側に表示部を設置することももちろんかまわない。
【００４６】
以上のように、一口に広視野映像システムと言っても、具体敵には様々な種類・形状・配置の映像表示装置や照明装置の組み合わせが考えられる。
【００４７】
次に、上記の広視野映像システムに呈示するための映像データとその撮影装置について述べる。
現在ＴＶ放送やＤＶＤなどのパッケージメディアによって提供されている映像は、長方形の画面１つに表示して視聴者の有効視野に呈示することを想定したものであり、本明細書で言う有効視野映像である。ここには周辺映像あるいは簡易周辺映像は含まれていない。そこで、図２ないし図１３で示した広視野映像システムに呈示する映像データを得るために、従来とは異なる撮影手段を用い、有効視野映像を撮影する段階で周辺映像あるいは簡易周辺映像を生成するために必要な映像情報も同時に取得し、映像情報呈示装置において正しい周辺映像あるいは簡易周辺映像を呈示することを実現する。本発明ではそのために任意視点映像技術を用いる。
【００４８】
そこでまず任意視点映像技術について説明する。任意視点映像技術とは、あるシーンを多数のカメラ（カメラアレイ）を用いて撮影し、それらの映像データを統合して処理することで、もともとカメラの存在しない地点に仮想的なカメラを置いて撮影したかのような映像を合成する技術である。任意視点映像技術に用いるカメラアレイの一例を図１４に模式的に示す。スポーツなどのフィールド１２４を多数のカメラ１２５がさまざまな方向から取り囲む形で配置する。任意視点映像技術を用い、多数のカメラ１２５の映像から仮想カメラ１２６における映像を合成することが可能である。
【００４９】
例えば非特許文献２（北原，佐藤，大田，“多眼ステレオ法を用いた運動視差の再現可能な３次元画像表示―表示画像の生成と評価―”，テレビジョン学会誌，Ｖｏｌ．５０，Ｎｏ．９，（１９９６））に記載の研究では、３次元形状推定やモデリングといったいわゆるコンピュータビジョンの技術を用いてカメラアレイの映像から物体形状モデルを復元し、このモデルを任意の視点から観察した映像を３次元ＣＧ技術によって生成することで任意視点映像を実現している。
また、非特許文献３（プリム，藤井，谷本：“自由視点テレビのためのリアルタイムシステム”，信学技報，ＩＥ２００２−１２０（２００２））に記載の研究では、光線空間と呼ばれる多次元画像空間に多数のカメラの映像を射影して得られた疎なデータの間を補間処理し、密となった空間から適切なデータを切り出すことで、未撮影視点での映像を生成している。
この任意視点映像技術を用いれば、有効視野映像と同時に、周辺映像ないし簡易周辺映像も生成可能である。
【００５０】
任意視点映像技術による有効視野映像ないし周辺映像あるいは簡易周辺映像の生成方法について、以下でさらに詳細に説明する。
【００５１】
図１５は、上記の図５で示した広視野映像システムの第２の例の上面図に、人間の各視野を重ねて図示したものである。ここでは、有効視野１２７、誘導視野（左）１２８、誘導視野（右）１２９、補助視野（左）１３０、および補助視野（右）１３１を重ねて図示してあり、それぞれの視野に１つずつ映像表示装置が対応するようになっている。また、視野外１３２は、視聴者１０８の背中側で視野の外になる範囲を示している。なお、図１５の映像表示装置の配置はあくまで一例であり、説明のしやすさのために各映像表示装置を図１による視野の分類に合うように設置した図としている。実際には必ずしも図１５のように、図１による視野の分類に従って映像表示装置を設置しなければならないわけではない。
【００５２】
図１６、図１７、図１８は、広視野映像システムにおける被写体とカメラアレイおよび仮想カメラの関係を上から見た様子を示す図である。被写体１３３の周りを取り囲むように多数のカメラ１３４が配置されている。多数のカメラ１３４にはそれぞれＡからＰまでの符号を振ってある。また、有効視野１２７、誘導視野（左）１２８、誘導視野（右）１２９、補助視野（左）１３０、および補助視野（右）１３１を重ねて図示してある。視野外１３２は、視聴者の背中側で視野の外になる範囲を示している。これらのカメラ１３４の映像を用いて、仮想カメラ１３５における映像を合成する。なお、多数のカメラ１３４の配置は説明のための一例であり、現実にはこの配置に限るものではない。また上面図であるため平面上に並んでいるように図示してあるが、実際には高さ方向にも配置を広げて立体的にカメラを配置してももちろんかまわない。
【００５３】
図１６は有効視野１２７の方向の映像、すなわち図１５における映像表示装置１０９に呈示するための映像を生成する場合を示している。仮想カメラ１３５は有効視野１２７の方を向いており、被写体１３３を中心に捉えている。多数のカメラ１３４の映像から、仮想カメラ１３５における映像を任意視点映像技術で合成することで、有効視野１２７に呈示する有効視野映像が得られる。
【００５４】
図１７は誘導視野（右）１２９の方向の映像、すなわち図１５における映像表示装置１１１に呈示する映像を生成する場合を示している。仮想カメラ１３５は誘導視野（右）１２９の方を向いている。多数のカメラ１３４の映像から、仮想カメラ１３５における映像を任意視点映像技術で合成することで、誘導視野（右）１２９に呈示する周辺映像が得られる。なお、誘導視野（左）１２８に呈示する周辺映像も同様の処理を行うことで得られる。
【００５５】
図１８は補助視野（右）１３１の方向の映像、すなわち図１５における映像表示装置１１３に呈示する映像を生成する場合を示している。仮想カメラ１３５は補助視野（右）１３１の方を向いている。多数のカメラ１３４の映像から、仮想カメラ１３５における映像を任意視点映像技術で合成することで、補助視野（右）１３１に呈示する周辺映像が得られる。なお、補助視野（左）１３０に呈示する周辺映像も同様の処理を行うことで得られる。
【００５６】
こうして得られた有効視野映像および周辺映像を、図１５における映像表示装置１０９〜１１３に表示する。
【００５７】
図１９は、上記の図３で示した広視野映像システムの第１の例の上面図に、有効視野映像および周辺映像を生成するための視野の分割の様子を重ねて図示したものである。表示部の配置に合わせ、視野（正面）１３６、視野（左）１３７、視野（右）１３８の３つの領域に視野を分割している。それぞれの視野について、上記の図１６ないし図１８で説明した手法と同様の処理を行うことで、有効視野映像および周辺映像を生成することが可能である。
【００５８】
図２０は、上記の図７で示した広視野映像システムの第３の例の上面図に、有効視野映像および周辺映像を生成するための視野の分割の様子を重ねて図示したものである。この場合は表示部が１枚の湾曲したスクリーンであるため、視野全体を視野（全面）１３９という一つの領域として扱う。この視野に対し上記の図１６ないし図１８で説明した手法と同様の処理を行うことで、有効視野映像および周辺映像を生成することが可能である。これはいわゆるパノラマ画像を合成する処理と等しい。
【００５９】
図２１は、上記の図１１で示した広視野映像システムの第５の例の上面図に、有効視野映像および周辺映像を生成するための視野の分割の様子を重ねて図示したものである。映像表示装置１１６や照明装置１１７〜１２３の配置に合わせ、視野を視野（１）１４０ないし視野（７）１４６に分割している。映像表示装置１１６に表示するための映像は、上記の図１６ないし図１８で説明した手法と同様の処理を行うことで合成可能である。また、照明装置１１７〜１２３に呈示するための映像は、まずそれぞれの照明装置に対応する視野に対する周辺画像を上記の図１６ないし図１８で説明した手法と同様の処理によって合成した後、画像内の全画素のＲＧＢそれぞれの平均値を求め、これを各照明装置に対する簡易周辺画像とすることで得られる。すなわち本明細書では、照明装置は表示画素が１つしかない表示部とみなしており、周辺映像の解像度を１画素にまで低解像度化した映像が簡易周辺映像になるわけである。
【００６０】
図２２は、上記の図１３で示した広視野映像システムの第６の例の上面図に、有効視野映像および周辺映像を生成するための視野の分割の様子を重ねて図示したものである。映像表示装置１０９〜１１１および照明装置１２２〜１２３の配置に合わせ、視野を視野（８）１４７ないし視野（１２）１５１に分割している。映像表示装置１０９〜１１１に表示するための映像は、上記の図１６ないし図１８で説明した手法と同様の処理を行うことで合成可能である。また、照明装置１２２〜１２３に呈示するための映像は、上記の図２１で説明した手法と同様の処理を行うことで合成可能である。このように、表示部として映像表示装置と照明装置を混在させた環境に対しても、任意視点映像技術によりそれぞれの表示部にあわせて有効視野映像ないし周辺映像あるいは簡易周辺映像を生成することができ、柔軟に対応することが可能である。
【００６１】
なお、上記図１５ないし図２２による説明では、視聴環境を上面から見た図を基に説明を行ったため、視野の分割は水平面上しか示していない。しかし実際は、映像表示環境は３次元の空間である。表示部を３次元的に配置し、視野の分割も３次元的に行って処理することになる。本発明の手法はもちろん、そのような３次元空間における処理にも適用可能である。
【００６２】
また、視野外１３２については、通常は視聴者１０８の視野に入らない領域であるため周辺映像あるいは簡易周辺映像の呈示を省略可能である。ただし、視聴者が振り返った場合には視野に入るため、視野外１３２の領域にも表示部を設置し周辺映像あるいは簡易周辺映像を生成して呈示しても良い。
【００６３】
また、カメラアレイのカメラ数や配置によっては、有効視野映像および周辺映像あるいは簡易周辺映像を生成するために必要な映像情報を得られない場合もありうる。そのような場合に対応するために、反射鏡などを用いて１台のカメラで全周の映像を撮影できる全周カメラや、ある方向のある角度領域の輝度や彩度、色相の情報を取得できるような光センサを併用することも考えられる。これらの全周カメラやセンサは高解像度の映像情報は取得できないが、有効視野映像および周辺映像あるいは簡易周辺映像を生成するための補助情報として利用可能である。
【００６４】
また、本発明の手法を用いれば、任意視点映像技術によって右目の視点位置からの映像と左目の視点位置から映像を生成し、それらを各々左右の目に見せるようにすれば、上記のような広視野映像システムにおいて立体映像を呈示することも可能である。
【００６５】
また、本発明の手法を用いれば、上記のような広視野映像システムにおいて移動視差を再現することも可能である。人間が実際に何かを見ている場合、人間の頭部を移動させると、人間の目と被写体との位置関係が変わるため、見え方も変わる。これは移動視差と呼ばれている。有効視野映像を生成する際も移動視差を再現するように、視聴者の頭部位置をセンサで検出し、その情報を用いて仮想カメラ位置を変更して映像を生成すれば、より臨場感の高い映像となる。例えば非特許文献４（東，藤井，谷本：“自由視点テレビのための観視者の頭部検出”，情報処理学会研報告，２００３−ＨＩ−１０４（５）（２００３））においては、視聴者の頭部の左右の動きに追従して仮想カメラ位置を変えた有効視野映像を生成する任意視点映像システムが研究されている。本発明の手法によれば、有効視野映像だけではなく、周辺映像あるいは簡易周辺映像も、視聴者の頭部の動きに追従して仮想カメラ位置を変更して生成することができる。
【００６６】
図２３を用いて具体的に説明する。図２３における映像表示装置１０９〜１１３の配置は、図１５のものと同一である。しかし視聴者１０８の頭部位置は、図１５における視聴者１０８の頭部位置より左側に動いている。これにあわせて、視野の分割の様子も変わり、視野（１３）１５２ないし視野（１７）１５６となっている。センサ１５７は、視聴者１０８の頭部位置を検出するためのものである。カメラを設置し視聴者１０８を撮影してその画像から検出するもの、視聴者１０８の頭部に磁気センサや超音波センサを取り付けて位置を検出するものなど、様々な手段が考えられる。本発明では特に手段を限定しない。またセンサの位置や形状も、図２３に示したものは一例でありこの限りではない。センサ１５７によって得られた視聴者１０８の頭部位置の情報に従い、視野を視野（１３）１５２ないし視野（１７）１５６に分割し、それぞれにおいて有効視野映像や周辺映像あるいは簡易周辺映像を任意視点映像技術によって生成し、呈示する。こうして、有効視野映像だけではなく、周辺映像あるいは簡易周辺映像も移動視差を反映した映像とすることができ、より臨場感の高い映像となる。
【００６７】
ここまでは主に、本発明における広視野映像の表示部およびそこに呈示するための映像の生成方法について説明してきた。以下では、システム全体についての説明を行う。
【００６８】
図２４は、任意視点映像技術による広視野映像システムの第１のシステム構成例を示すブロック図である。これは、本発明を放送に適用した場合の例である。広視野映像システムは、多眼映像データ２０１、データ伝送手段２０２、受信装置２０３、任意視点映像生成部２０４、表示部２０５を有する。多眼映像データ２０１は、放送局においてカメラアレイを用いて撮影された複数の映像データである。この多眼映像データ２０１をそのまま全てデータ伝送手段２０２によって視聴者のところまで届ける。なおこの時、多眼映像データ２０１を何らかの手段で圧縮してから送ることも考えられる。受信装置２０３は視聴者の所に設置されるものであり、伝送手段２０２によって送られてきた多眼映像データ２０１を受信する。受信装置２０３の中には任意視点映像生成部２０４がある。任意視点映像生成部２０４は、受信した多眼映像データ２０１を処理して、有効視野映像ないし周辺映像あるいは簡易周辺映像を生成し、表示部２０５に出力する。
【００６９】
この第１の例では多眼映像データ２０１を全て伝送するため、伝送するデータ量が膨大になる欠点がある。一方、視聴者側で任意視点映像技術により映像を生成するため、視聴者が自由に視点を選びそれを映像に反映させることができるという利点がある。
【００７０】
図２５は、任意視点映像技術による広視野映像システムの第２のシステム構成例を示すブロック図である。これは、本発明を放送に適用した場合の別の例である。広視野映像システムは、多眼映像データ２０１、データ伝送手段２０２、任意視点映像生成部２０４、受信装置２０６、表示部２０５を有する。多眼映像データ２０１は、放送局においてカメラアレイを用いて撮影された複数の映像データである。この多眼映像データ２０１を任意視点映像生成部２０４で処理して、有効視野映像ないし周辺映像あるいは簡易周辺映像を生成する。ここまでを放送局側で先に処理する。生成された有効視野映像ないし周辺映像あるいは簡易周辺映像をデータ伝送手段２０２によって視聴者のところまで送る。なおこの時、生成された有効視野映像ないし周辺映像あるいは簡易周辺映像を何らかの手段で圧縮してから送ることも考えられる。受信装置２０６は視聴者の所に設置されるものであり、伝送手段２０２によって送られてきた有効視野映像ないし周辺映像あるいは簡易周辺映像を受信し、映像を表示部２０５に出力する。
【００７１】
この第２の例では放送局側であらかじめ有効視野映像ないし周辺映像あるいは簡易周辺映像を生成してから伝送するため、多眼映像データ２０１を全て伝送する必要は無く伝送するデータ量を減らすことができるという利点がある。一方、視聴者は放送局側で生成された映像を見るだけになり、自分で自由に視点を選ぶことができなくなるという欠点がある。
【００７２】
なお、上記の任意視点映像技術による広視野映像システムの第１のシステム構成例および第２のシステム構成例において、データ伝送手段２０２としては例えば、地上波や放送衛星などの電波を用いる手段や有線による手段、光ファイバなどのネットワークを用いる手段が考えられる。本発明は特に手段を限定するものではない。また、表示部２０５は上記で説明したように、１つ以上が備えられており、映像表示装置の場合もあれば照明装置の場合もある。また、放送に適用した場合の例として説明したが、ネットワーク経由のストリーミング放送にも同様のシステムを適用可能である。
【００７３】
図２６および図２７は、任意視点映像技術による広視野映像システムの第３のシステム構成例を示すブロック図である。これは、本発明をパッケージメディアに適用した場合の例である。
【００７４】
図２６はパッケージメディアにデータを記録する場合のブロック図である。広視野映像システムは、多眼映像データ２０１、記録媒体２０７を有する。多眼映像データ２０１は、コンテンツ制作者によってカメラアレイを用いて撮影された複数の映像データである。この多眼映像データ２０１をそのまま全て記録媒体２０７に記録する。なおこの時、多眼映像データ２０１を何らかの手段で圧縮してから記録することも考えられる。
【００７５】
図２７はパッケージメディアに記録されたデータを再生する場合のブロック図である。広視野映像システムは、記録媒体２０７、再生装置２０８、任意視点映像生成部２０４、表示部２０５を有する。再生装置２０８は記録媒体２０７に記録された多眼映像データ２０１を読み出す。任意視点映像生成部２０４は、読み出した多眼映像データ２０１を処理して、有効視野映像ないし周辺映像あるいは簡易周辺映像を生成し、表示部２０５に出力する。
【００７６】
この第３の例では多眼映像データ２０１を全て記録媒体２０７に記録するため、記録に必要な容量が膨大になる欠点がある。一方、視聴者側で任意視点映像技術により映像を生成するため、視聴者が自由に視点を選びそれを映像に反映させることができるという利点がある。
【００７７】
図２８および図２９は、任意視点映像技術による広視野映像システムの第４のシステム構成例を示すブロック図である。これは、本発明をパッケージメディアに適用した場合の別の例である。
【００７８】
図２８はパッケージメディアにデータを記録する場合のブロック図である。広視野映像システムは、多眼映像データ２０１、任意視点映像生成部２０４、記録媒体２０９を有する。多眼映像データ２０１は、コンテンツ製作者によってカメラアレイを用いて撮影された複数の映像データである。この多眼映像データ２０１を任意視点映像生成部２０４で処理して、有効視野映像ないし周辺映像あるいは簡易周辺映像を生成する。生成された有効視野映像ないし周辺映像あるいは簡易周辺映像を記録媒体２０９に記録する。なおこの時、生成された有効視野映像ないし周辺映像あるいは簡易周辺映像を何らかの手段で圧縮してから記録することも考えられる。
【００７９】
図２９はパッケージメディアに記録されたデータを再生する場合のブロック図である。広視野映像システムは、記録媒体２０９、再生装置２１０、表示部２０５を有する。再生装置２１０は記録媒体２０９に記録された有効視野映像ないし周辺映像あるいは簡易周辺映像を読み出し、表示部２０５に出力する。
【００８０】
この例ではコンテンツ製作者側で有効視野映像ないし周辺映像あるいは簡易周辺映像を生成してからパッケージメディアに記録するため、記録するデータ量を減らすことができるという利点がある。一方、視聴者はコンテンツ製作者側で生成された映像を見るだけになり、自分で自由に視点を選ぶことができなくなるという欠点がある。
【００８１】
なお、図２４で説明した任意視点映像技術による広視野映像システムの第１のシステム構成例および、図２６および図２７で説明した任意視点映像技術による広視野映像システムの第３のシステム構成例では、視聴者側の受信装置２０３あるいは再生装置２０８において有効視野映像ないし周辺映像あるいは簡易周辺映像を生成する。このため、視聴者ごとに表示部２０５の装置の構成が違っていたり配置が異なっていたりしても、個々の視聴者の環境に合わせて有効視野映像ないし周辺映像あるいは簡易周辺映像を生成するため、環境の違いに影響されないという利点がある。
【００８２】
逆に、図２５で説明した任意視点映像技術による広視野映像システムの第２のシステム構成例および、図２８および図２９で説明した任意視点映像技術による広視野映像システムの第４のシステム構成例では、放送局側あるいはコンテンツ製作者側で有効視野映像ないし周辺映像あるいは簡易周辺映像を生成する。このとき、表示部２０５について何らかの装置構成やその配置を仮定しなければ、有効視野映像ないし周辺映像あるいは簡易周辺映像を生成できない。
【００８３】
その解決方法の一つは、何らかの標準的な装置構成やその配置を定めることである。本明細書ではこれを標準広視野映像表示環境と呼ぶ。放送局側あるいはコンテンツ製作者側では標準広視野映像表示環境に従って有効視野映像ないし周辺映像あるいは簡易周辺映像を生成する。視聴者側では標準広視野映像表示環境に従って表示部を配置する。こうすることでどの視聴者でも同じ条件で広視野映像を再生できる。
【００８４】
しかし、視聴者側の環境はそれぞれ異なっており、標準広視野映像表示環境通りの表示部を用意し設置できるとは限らない。この問題に対する解決方法は、本願の出願人により出願された別の出願明細書に示しているため、本明細書では触れない。
【００８５】
なお、図２６ないし図２９における記録媒体２０７あるいは記録媒体２０９は、例えばＣＤ、ＤＶＤ、Ｂｌｕ−ｒａｙ  Ｄｉｓｃ、ＨＤ−ＤＶＤなどのいわゆる光メディア、ＳＤカードやコンパクトフラッシュ（登録商標）カードなどのいわゆる半導体メモリ、ＨＤＤなどの磁気記録媒体などが考えられる。本特許では記録媒体の種類を問わず利用可能である。
【図面の簡単な説明】
【００８６】
【図１】視野の分類を示す図である。
【図２】広視野映像システムの第１の例を後方から見た図である。
【図３】広視野映像システムの第１の例の上面図である。
【図４】広視野映像システムの第２の例を後方から見た図である。
【図５】広視野映像システムの第２の例の上面図である。
【図６】広視野映像システムの第３の例を後方から見た図である。
【図７】広視野映像システムの第３の例の上面図である。
【図８】広視野映像システムの第４の例を後方から見た図である。
【図９】広視野映像システムの第４の例の上面図である。
【図１０】広視野映像システムの第５の例を後方から見た図である。
【図１１】広視野映像システムの第５の例の上面図である。
【図１２】広視野映像システムの第６の例を後方から見た図である。
【図１３】広視野映像システムの第６の例の上面図である。
【図１４】任意視点映像技術のカメラアレイの一例を示す図である。
【図１５】広視野映像システムの第２の例における視野の分割を示す図である。
【図１６】広視野映像システムにおける被写体とカメラアレイおよび仮想カメラの関係を示す図である。
【図１７】広視野映像システムにおける被写体とカメラアレイおよび仮想カメラの関係を示す他の図である。
【図１８】広視野映像システムにおける被写体とカメラアレイおよび仮想カメラの関係を示す更に他の図である。
【図１９】広視野映像システムの第１の例における視野の分割の様子を示す図である。
【図２０】広視野映像システムの第３の例における視野の分割の様子を示す図である。
【図２１】広視野映像システムの第５の例における視野の分割の様子を示す図である。
【図２２】広視野映像システムの第６の例における視野の分割の様子を示す図である。
【図２３】広視野映像システムの第２の例において視聴者の頭部位置が移動した場合の視野の分割を示す図である。
【図２４】任意視点映像技術による広視野映像システムの第１のシステム構成例を示すブロック図である。
【図２５】任意視点映像技術による広視野映像システムの第２のシステム構成例を示すブロック図である。
【図２６】任意視点映像技術による広視野映像システムの第３のシステム構成例を示すブロック図（記録側）である。
【図２７】任意視点映像技術による広視野映像システムの第３のシステム構成例を示すブロック図（再生側）である。
【図２８】任意視点映像技術による広視野映像システムの第４のシステム構成例を示すブロック図（記録側）である。
【図２９】任意視点映像技術による広視野映像システムの第４のシステム構成例を示すブロック図（再生側）である。
【符号の説明】
【００８７】
１０１…弁別視野、１０２…有効視野、１０３…誘導視野、１０４…補助視野、１０５…映像表示装置、１０６…映像表示装置、１０７…映像表示装置、１０８…視聴者、１０９…映像表示装置、１１０…映像表示装置、１１１…映像表示装置、１１２…映像表示装置、１１３…映像表示装置、１１４…映像表示装置、１１５…映像表示装置、１１６…映像表示装置、１１７…照明装置、１１８…照明装置、１１９…照明装置、１２０…照明装置、１２１…照明装置、１２２…照明装置、１２３…照明装置、１２４…フィールド、１２５…カメラ、１２６…仮想カメラ、１２７…有効視野、１２８…誘導視野（左）、１２９…誘導視野（右）、１３０…補助視野（左）、１３１…補助視野（右）、１３２…視野外、１３３…被写体、１３４…カメラ（Ａ〜Ｐ）、１３５…仮想カメラ、１３６…視野（正面）、１３７…視野（左）、１３８…視野（右）、１３９…視野（全面）、１４０…視野（１）、１４１…視野（２）、１４２…視野（３）、１４３…視野（４）、１４４…視野（５）、１４５…視野（６）、１４６…視野（７）、１４７…視野（８）、１４８…視野（９）、１４９…視野（１０）、１５０…視野（１１）、１５１…視野（１２）、１５２…視野（１３）、１５３…視野（１４）、１５４…視野（１５）、１５５…視野（１６）、１５６…視野（１７）、１５７…センサ、２０１…多眼映像データ、２０２…データ伝送手段、２０３…受信装置、２０４…任意視点映像生成部、２０５…表示部、２０６…受信装置、２０７…記録媒体、２０８…再生装置、２０９…記録媒体、２１０…再生装置。
【図１】
2006352539.tif 000003
【図２】
2006352539.tif 000004
【図３】
2006352539.tif 000005
【図４】
2006352539.tif 000006
【図５】
2006352539.tif 000007
【図６】
2006352539.tif 000008
【図７】
2006352539.tif 000009
【図８】
2006352539.tif 000010
【図９】
2006352539.tif 000011
【図１０】
2006352539.tif 000012
【図１１】
2006352539.tif 000013
【図１２】
2006352539.tif 000014
【図１３】
2006352539.tif 000015
【図１４】
2006352539.tif 000016
【図１５】
2006352539.tif 000017
【図１６】
2006352539.tif 000018
【図１７】
2006352539.tif 000019
【図１８】
2006352539.tif 000020
【図１９】
2006352539.tif 000021
【図２０】
2006352539.tif 000022
【図２１】
2006352539.tif 000023
【図２２】
2006352539.tif 000024
【図２３】
2006352539.tif 000025
【図２４】
2006352539.tif 000026
【図２５】
2006352539.tif 000027
【図２６】
2006352539.tif 000028
【図２７】
2006352539.tif 000029
【図２８】
2006352539.tif 000030
【図２９】
2006352539.tif 000031