(57)【要約】【課題】  ユーザの効率的な映像視聴を可能にする。【解決手段】  映像が入力される映像入力部と、前記映像入力部に入力された映像を複数の領域に分割する映像分割部と、前記映像入力部に入力された映像を高解像度化する高解像処理部とを備え、前記高解像処理部は、前記映像入力部に入力された映像のうち、前記映像分割部が分割した一部の領域を高解像化する。【選択図】図２
2009246917.tif 000002
【特許請求の範囲】
【請求項１】
映像が入力される映像入力部と、
前記映像入力部に入力された映像を複数の領域に分割する映像分割部と、
前記映像入力部に入力された映像を高解像度化する高解像処理部とを備え、
前記高解像処理部は、前記映像入力部に入力された映像のうち、前記映像分割部が分割した一部の領域を高解像化することを特徴とする映像表示装置。
【請求項２】
請求項１に記載の映像表示装置であって、
前記映像分割部により分割された複数の領域についての重要度を算出する重要度算出部を備え、
前記高解像処理部は、前記重要度算出部が算出した重要度に応じて、前記前記映像分割部が分割した複数の領域の解像度を異ならせることを特徴とする映像表示装置。
【請求項３】
請求項２に記載の映像表示装置であって、
前記高解像処理部の処理により互いに解像度の異なる領域となった複数の領域を含む表示映像を表示する映像表示部を備えることを特徴とする映像表示装置。
【請求項４】
請求項３に記載の映像表示装置であって、
前記映像表示部は、前記互いに解像度の異なる領域となった複数の境界における解像度を段階的に変化させて表示することを特徴とする映像表示装置。
【請求項５】
入力映像が入力される映像入力部と、
前記入力映像の重要度が高い領域を示すハイライト・メタデータを解析する解析部と、
前記入力映像のうち、前記解析部により解析されたハイライト・メタデータにより指定された映像領域を他の映像領域よりも高解像度化する高解像処理部と、
前記高解像処理部により高解像度化された映像領域を含む表示映像を表示する映像表示部とを備えることを特徴とする映像表示装置。
【請求項６】
請求項５に記載の映像表示装置であって、
前記映像表示部は、前記高解像処理部により高解像度化された領域と、前記高解像処理部により高解像度化されていない領域との境界における解像度を段階的に変化させた表示映像を表示することを特徴とする映像表示装置。
【請求項７】
入力映像が入力される映像入力部と、
前記入力映像におけるハイライト領域に関する情報を記憶する記憶部と、
前記入力映像のうち、前記記憶部に記憶されたハイライト領域に関する情報により指定される領域の映像を座標変換して新たな映像に再構成する映像再構成部とを備えることを特徴とする映像処理装置。
【請求項８】
請求項７に記載の映像処理装置であって、
前記映像入力部に入力された映像を複数の領域に分割する映像分割部と、
前記映像分割部により分割された複数の領域についての重要度を算出する重要度算出部を備え、
前記記憶部に記憶部に記憶されるハイライト領域に関する情報は、前記重要度算出部により算出された前記分割された複数の領域における重要度の情報であることを特徴とする映像処理装置。
【請求項９】
請求項７に記載の映像処理装置であって、
前記入力映像の重要度が高い領域を示すハイライト・メタデータを解析する解析部を備え、
前記記憶部に記憶部に記憶されるハイライト領域に関する情報は、前記解析部により解析されたハイライト・メタデータにより指定されたハイライト領域に関する情報であることを特徴とする映像処理装置。
【請求項１０】
請求項７に記載の映像処理装置であって、
前記映像再構成部が再構成した映像における、前記ハイライト領域に関する情報により指定される領域に対応する領域について高解像度化する高解像度化処理部を備えることを特徴とする映像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力映像におけるハイライト領域についての映像処理に関する。
【背景技術】
【０００２】
映像表示装置の背景技術として、特許文献１には、１台の監視ビデオカメラの使用の下に、低解像度の全体画像および高解像度の部分画像を記録し、監視操作者の指示に応じて、高精細あるいは拡大して再生表示する技術が開示されている。特許文献２には、会鉛直方向を中心もしくは軸とした広角画像を入力する双曲面ミラーと、音声を入力する複数のマイクロフォンと、マイクロフォンに入力された音声に基づいて音源方向を検出する音源方向検出部と、広角画像と音声と音源方向を記録する記録部を有するテレビ会議システムが、記録された広角画像のうち、音源方向に対応する方向の所定領域の画像を矩形の出力画像となるように変形する技術が開示されている。
【０００３】
【特許文献１】特開２００６−３３７９３号
【特許文献２】特開２００３−１８５６１号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示される技術にでは、ユーザが着目する領域を監視操作者が手動で設定する必要があるという課題があった。
【０００５】
また、特許文献２は、ユーザの着目する方向の決定に音声が必要であるという課題があった。
【０００６】
本発明は上記課題を鑑みてなされたものであり、その目的は、ユーザの効率的な映像視聴を可能にすることである。
【課題を解決するための手段】
【０００７】
本発明の一実施の形態は、例えば特許請求の範囲に記載されるように構成すればよい。
【発明の効果】
【０００８】
本発明によれば、ユーザの効率的な映像視聴が可能である。
【発明を実施するための最良の形態】
【０００９】
以下、本発明による機器操作装置の実施形態（実施例）を図面を用いて説明する。ただし、本発明は以下の実施例に限定されるものではない。
【００１０】
なお、本願の各実施例において、「ハイライト領域」とは、映像の観視者（ユーザー）が注目すべき映像特徴を有する映像領域を意味する。すなわち注目度の高い映像領域、重要度の高い領域ともいえる。また、盛り上がり領域とも表現できる。
【００１１】
また、本願の各実施例において、「ハイライト得点」とは、映像中の領域ごとの、映像の観視者（ユーザー）が注目すべき指数であり、注目度、重要度ともいえる。また、盛り上がり度とも表現できる。
【００１２】
すなわち、「ハイライト得点」が高い領域ほど、注目すべき領域、重要度が高い領域といえる。
【実施例１】
【００１３】
実施例１は、映像の同一画面内においてハイライト領域を検出し、ハイライト領域のみに高解像度化処理に行った映像を表示することで、ユーザの着目位置の喚起や、高解像度化処理に必要となる計算リソースの低減、ユーザの効率的な映像視聴などを可能とするものである。
【００１４】
図１は、実施例１の映像表示装置のハードウェア構成の一例を示した図である。
【００１５】
本例の装置は、映像入力装置１０１と、中央処理装置１０２と、指示入力装置１０３と、記憶装置１０４と、二次記憶装置１０５と、表示装置１０６を有する。各装置は、内部バス１０７によって接続され、各装置間で相互にデータの送受信が可能である。
【００１６】
映像入力装置１０１は、映像データを入力する。映像入力装置１０１は、例えば装置に接続したビデオカメラであったり、後述する記憶装置１０４あるいは二次記憶装置１０５に記憶されている映像データを読み込む装置としたり、テレビ放送等を受信する場合には、テレビのチューナとすることが出来る。
【００１７】
また、ネットワーク経由でｗｅｂ動画等の映像を入力する場合には、本映像入力装置１０１をＬＡＮカード等のネットワークカードとすることが出来る。
【００１８】
中央処理装置１０２は、マイクロプロセッサを主体に構成され、記憶装置１０４や二次記憶装置１０５に格納されているプログラムを実行する。
【００１９】
指示入力装置１０３は、例えばリモコン、キーボード、マウス等のポインティングデバイスである。これは、ユーザの画像入力や表示の指示等を受け付ける。
【００２０】
表示装置１０６は、例えばディスプレイアダプタと液晶パネルやプロジェクタ等によって実現され、指示入力装置１０３によって入力した映像を表示する。
【００２１】
記憶装置１０４は、例えばランダムアクセスメモリ（ＲＡＭ）やリードオンリーメモリ（ＲＯＭ）等によって実現され、中央処理装置１０２ によって実行されるプログラムや本動画再生装置において処理されるデータ、あるいは再生対象の動画データやランキングデータ等を格納する。
【００２２】
二次記憶装置１０５は、例えばハードディスクやＤＶＤあるいはＣＤとそれらのドライブ、あるいはフラッシュメモリ等の不揮発性メモリにより構成され、中央処理装置１０２によって実行されるプログラムや本動画再生装置において処理されるデータ、あるいは再生対象の映像データを格納する。
【００２３】
図２は、実施例１に係る映像表示装置の機能ブロック図の一例である。これらの機能ブロックの一部あるいは全部は、図１で示したハードウェアに加えてハードウェアとして実現されてもよいが、中央処理装置１０２によって実行されるソフトウェアプログラムとして実現されてもよい。なお、以下の説明では、一例として、これらの機能ブロックの全てが中央処理装置１０２によって実行されるソフトウェアプログラムであるものとして説明する。
【００２４】
図２に示す通り、映像入力再生装置は、映像入力部２０１と、指示入力部２０２と、ハイライト検出部２０３と、ハイライト得点テーブル記憶部２０４と、映像生成部２０５と、表示部２０６を有する。ハイライト検出部２０３は映像取得部２０７と、映像分割部２０８と、ハイライト得点算出部２０９と、ハイライト得点テーブル生成部２１０から構成される。映像生成部２０５は、高解像度化処理部２１１と、表示映像生成部２１２から構成される。
【００２５】
映像入力部２０１は、高解像度化処理を行う映像を映像入力装置２０２より入力する。なお、映像入力部２０１は、指示入力部２０２からユーザによって映像の入力が指示された場合、あるいは図示しないスケジューラによって指示された場合に、中央処理装置１０２によって実行される。
【００２６】
ハイライト検出部２０３の映像取得部２０７は、映像入力部２０１が入力した映像から、後述するハイライト検出処理の対象とする時刻のフレームの映像を取得する。以降、映像に対応する時刻を指定するタイムスタンプをＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）とする。この映像の領域ごとのハイライト得点を算出し、ハイライト得点の一番高い領域のみを高解像度化処理するために、映像分割部２０８は、映像を複数の領域に分割する。ハイライト得点算出部２０９は、それぞれの分割領域に対して後述するハイライト得点を算出する。ハイライト得点テーブル生成部は、算出されたハイライト得点を、該当するＰＴＳとそれぞれの分割領域とに対応させて、ハイライト得点テーブルに記録する。当該ハイライト得点テーブルは、ハイライト得点テーブル記憶部２０４に保持される。尚、ハイライト検出部２０３を構成する各部の処理は中央処理装置１０２によって実行される。
【００２７】
映像生成部２０５は、ハイライト得点テーブルを参照して入力した映像を処理し、出力映像を生成する。映像生成部２０５の高解像度化処理部２１１は、ハイライト得点テーブル記憶部２０４に保持されたハイライト得点テーブルを参照して、各ＰＴＳに対応するフレームにおけるハイライト得点の最も高い分割領域を判断し、該当画像に高解像度化処理を行う。表示映像生成部２１２は、高解像度化された分割領域と高解像度化されていない分割領域の合成を行い、表示する映像を生成する。尚、映像生成部２０５を構成する各部の処理は、中央処理装置１０２によって実行される。
【００２８】
表示部２０６は、映像生成部２０５で生成した映像を表示装置１０６に表示する。表示部２０６は、表示映像生成部が生成した映像を１フレームごとに表示装置１０６に表示する。この場合、表示部２０６の処理は、表示映像生成部によって１フレーム分の映像が生成されるごとに中央処理装置１０２によって実行される。
【００２９】
図３は、高解像度化処理部２０１による高解像度化処理の一例を説明する図である。
【００３０】
まず（ａ）のように、時系列で隣接する、つまり連続するフレームの、複数（ここでは３枚）の原画像３０１〜３０３を準備し、小数精度で位置合わせを行う。（ｂ）は、基準位置とする画像３０１に対して他の画像３０２，３０３を位置合わせした状態を示す。位置合わせは、回転や拡大・縮小などの動きも考慮する。こうして標本化位置が整数画素位置からずれた１枚の合成画像を生成する。その後（ｃ）のように、目的とする解像度で再度サンプリングしなおして高解像画像３０４を生成する。再サンプリングにあたっては、ローパスフィルタを用いて画素数（サンプリング点）を補間して増やす方法、あるいは点広がり関数の逆関数を適用するなどの方法で周辺画素の影響を畳み込みながら、画素値を決定する。その結果、原画像の高周波成分を復元し、原画像に対して解像度が２倍程度の高解像度画像を生成する。この高解像度化処理は、画像の中の被写体が移動している連続画像に対して有効である。
【００３１】
なお、高解像度化処理部２０１による高解像度化処理は上記の方法に限られず、その他従来の高解像度化処理を用いてもかまわない。
【００３２】
図４は、実施例１に係る映像分割の一例である。
【００３３】
映像入力部２０１が入力し、映像取得部２０７が取得した入力映像４０１は、一フレーム分の映像内で領域ごとのハイライト得点を算出するために、映像分割部２０８が２個以上の複数個の画像に分割する。例えば図４に示すように、分割領域Ａ４０２、分割領域Ｂ２０３、分割領域Ｃ４０４、分割領域Ｄ４０５、の４個に分割する。入力映像４０１は、必ずしも矩形である必要はなく、他の形でもよく、例えば全周囲映像や魚眼映像のように円形であってもよい。また、分割領域の形は矩形でもよいし、他の形であってもよい。また、各分割領域の大きさや形は全て同じであってもよいし、異なっていてもよい。
【００３４】
ハイライト得点とは、映像の重要度を示す得点である。図４に示すように、映像のある一フレームを複数の領域に分割し、それぞれの分割領域のハイライト得点を算出する。これにより、ハイライト得点の一番高い分割領域をそのフレームでもっとも重要な領域、すなわちハイライト領域であるとすることができる。
【００３５】
図５は、ハイライト得点算出部におけるハイライト得点を算出する方法の一例を示す図である。
【００３６】
まず、（ａ）は映像分割部２０８がＮ−１フレームの映像を分割して得た、Ｎ−１フレームの分割領域Ａ５０１であり、同様に（ｂ）はＮフレームの分割領域Ａ５０２である。この連続する２フレームの分割領域Ａの画像を２値化し、各画素を比較し、画像のフレーム間差分を検出する。差分の有る画素は「１」、無い画素は「０」として２値画像を生成し、これを（ｃ）の差分画像５０３とする。「１」で示される、差分の有る画素の合計を、Ｎフレームにおける分割領域Ａ５０２のハイライト得点となる。また、この両フレームにおいて差分画像５０３から特定の移動物体を検出し、移動距離の大きさをハイライト得点に反映させてもよい。以上の説明のように、ハイライト得点は動物体の面積や移動距離を示すことから、ハイライト得点の高い分割領域ほど、ユーザの着目の度合いの大きいハイライトとなる領域であるとすることができる。
【００３７】
以上の、ハイライト得点を算出する方法の一例を示す図５では、画像のフレーム間差分を用いて動物体の面積と移動量からハイライト得点を算出する方法を説明した。しかし本実施例ではこの方法に限られず、例えば、テンプレートマッチングによりあらかじめ想定した画像にマッチする分割領域に高いハイライト得点を与える方法を用いてもよい。また、映像や番組ジャンルに応じてハイライト得点の算出法を定義してもよい。例えば野球の試合の映像であれば、あらかじめボールの画像をテンプレートとして保持し、テンプレートマッチングを用いる方法でハイライト得点を算出する。これにより、常にボールを含む領域をハイライト領域とし、ユーザの着目する映像の領域として表示することができる。その他、人間の目が着目する輝度や彩度の高い領域を含む分割領域に高いハイライト得点を与える、などの画像処理を用いた方法によりハイライト得点の算出を行ってもよい。また、映像に付随する映像以外のデータ、例えば音響のデータなどから映像の盛り上がった領域を推定し、ハイライト領域としてもよい。
【００３８】
次に、ハイライト得点テーブル生成部２１０が生成する、ハイライト得点テーブルのデータ構造について説明する。
【００３９】
図６は、実施例１におけるハイライト得点テーブルのデータ構造の一例である。ハイライト得点テーブル生成部２１０は、ハイライト得点算出部２０９が算出したハイライト得点を、該当するＰＴＳと各分割領域とに対応させて、ハイライト得点テーブル記憶部２０４が保持するハイライト得点テーブルに記録する。
【００４０】
図６に示したハイライト得点テーブル６０１において、ＰＴＳ６０２は、ハイライト得点算出部２０９が、ハイライト得点を算出したフレームのＰＴＳである。全てのフレームの各分割領域のハイライト得点を記録してもよい。また、処理量削減の為に特定の時間（例えば５秒）おきにハイライト得点算出部２０９がハイライト得点を算出し、ハイライト得点テーブル生成部２１０が記録してもよい。分割領域の得点６０３は、ＰＴＳ６０２に対応する各分割領域のハイライト得点である。高解像度化処理部２１１は、このハイライト得点テーブル６０１を参照し、あるＰＴＳに対応するフレームにおいて最もハイライト得点の高い分割領域に対し高解像度化処理を行う。
【００４１】
図７は、実施例１に係る入力画像のハイライト得点を決定する処理のフローの一例を示す図である。本処理はハイライト得点算出部２０９によって行われ、映像分割部２０８により得た特定のフレームの映像の特定の分割領域に対してハイライト得点を算出する。ハイライト得点が高いほどユーザがその分割領域をハイライト領域として着目する度合いが大きいことを示す。
【００４２】
ハイライト得点算出部２０９は、あるフレーム（Ｎ−１フレームとする）の特定の分割領域（分割領域Ａとする）を取得し（Ｓ７０１）、次に同様に、時系列で隣接するフレーム（Ｎフレームとする）の分割領域Ａを取得する（Ｓ７０２）。続いてＮ−１フレームとＮフレームの分割領域を比較し（Ｓ７０３）、図５で示した方法にしたがって、差分画像を生成する（Ｓ７０４）。生成した差分画像の、差分となった画素数を算出し（Ｓ７０５）、算出された画素数をＮフレームのハイライト得点として、ハイライト得点テーブル記憶部２０４のハイライト得点テーブルに記録する（Ｓ７０６）。分割領域の大きさが全て同じでない場合は、ハイライト得点は各分割領域自体の画素数に応じて正規化してもよい。ハイライト得点が等しい分割領域が存在する場合は、そのひとつ前のＰＴＳに対応するフレームおけるハイライト得点算出時の得点を加算して、新たなハイライト得点を算出してもよい。
【００４３】
次に、実施例１における映像の入力から表示までの処理方法について説明する。
【００４４】
図８は、実施例１における、映像の入力から表示までの処理を示すフローの一例を示す図である。
【００４５】
図８に示すとおり、映像入力部２０１は、実施例１による高解像度化処理の対象となる映像を入力する（Ｓ８０１）。映像取得部２０７は、入力されたＰＴＳに応じた一フレーム分の映像を取得する（Ｓ８０２）。映像分割部２０８は、取得した映像を複数の領域に分割し、分割領域を生成する（Ｓ８０３）。ハイライト得点算出部２０９は、分割領域のそれぞれに対して、後述するハイライト得点算出処理を用いてハイライト得点を算出する（Ｓ８０４）。ハイライト得点テーブル生成部２１０は、算出したそれぞれの分割領域のハイライト得点を、ハイライト得点テーブル記憶部２０４に保持されるハイライト得点テーブル６０１に記録する（Ｓ８０５）。高解像度化処理部２１１は、ハイライト得点テーブル６０１を参照し、あるＰＴＳに対応するフレームにおいてハイライト得点の最も高い分割領域をハイライト領域に設定し（Ｓ８０６）、図３において説明した高解像度化処理を行う（Ｓ８０７）。表示映像生成部２１２は高解像度化処理されたハイライト領域と高解像度化処理されていない領域を結合して、表示するフレームの映像を生成する（Ｓ８０８）。表示部２０６は生成された映像を表示装置１０６に表示する（Ｓ８０９）。ユーザが処理を終了する指示を出さなければ、または入力映像が終了した為に処理を終了するのでなければ（Ｓ８１０）、映像の入力を継続し、次のフレームの処理を継続し、終了指示があれば処理を終了する（Ｓ８１０）。
【００４６】
以上の図８に示す入力から表示までの処理のフロー図では、入力された映像の全てのフレームに対しハイライト得点算出処理を行う。ここで処理量軽減のために、例えばあらかじめ指定した特定のフレームの映像をハイライト得点算出の対象とし、例えば１５フレームおきの映像に対してハイライト得点の算出をして、その間のフレームのハイライト得点は直前に算出したフレームの得点を継続してもよい。
【００４７】
高解像度化処理されたハイライト領域と高解像度化処理されていない領域を結合して表示するフレームの映像を生成する（Ｓ８０８）際に、表示映像生成部２１２は、結合した分割領域の境界に解像度が滑らかになるよう段階的に解像度を変化させる処理を行っても良い。また、解像度の変化が目立たないように、高解像度化処理の必要が無くなった分割領域に対して徐々に解像度を落とす処理を行っても良い。
【００４８】
図９は、結合した分割領域の境界に、解像度が滑らかになるように段階的に解像度を変化させる処理を行った映像の一例を示した図である。
【００４９】
図９の（ａ）の映像において、分割領域Ａ９０１は高解像度化処理を行った領域であり、分割領域Ｂ９０２は高解像度化処理を行っていない領域であり、分割領域Ａ９０１と分割領域Ｂ９０２は、表示映像生成部２１２により結合される。入力映像および高解像度化処理されていない分割領域Ｂ９０２の解像度はＪであり、高解像度化処理された分割領域Ａ９０１の解像度は（２×Ｊ）とする。解像度境界線９０３は分割領域Ａ９０１と分割領域Ｂ９０２の境界である。表示映像生成部２１２は、解像度境界線９０３から分割領域Ａ９０１側の領域の解像度を段階的に変化させ、解像度の変化の目立たない滑らかな（ｂ）の映像を生成する。例えば解像度境界線９０３から分割領域Ａ９０１側に、Ｈ画素範囲内の領域９０４を、解像度（（５／３）×Ｊ）、さらにＨ以上（２×Ｈ）画素範囲内の領域９０５を、解像度（（４／３）×Ｊ）で表示する。
【００５０】
以上の処理により、高解像度化処理された分割領域Ａ９０１と高解像度化処理されていない分割領域Ｂ９０２の境界は、解像度が段階的に変化することで、解像度の変化の目立たない滑らかな映像を生成することが可能である。
【００５１】
以上説明した本発明の実施例１の映像表示装置は、入力映像のハイライト領域を検出して高解像度化を行う領域を制御することにより、ユーザの着目をハイライト位置に促す映像を表示することが可能となる。また、高解像表示が必要なハイライトとなる領域だけに高解像度化処理を行うよう制御することにより、高解像度化処理に用いる計算リソースを低減することが可能となる。
【実施例２】
【００５２】
実施例２では、映像表示装置は、ある映像に対応するハイライト・メタデータをサーバよりダウンロードし、高解像度化処理を行う。
【００５３】
図１０は、実施例２の映像表示装置のハードウェア構成の一例を示した図である。図１０の構成では、図１に示した実施例１のハードウェア構成に加えて、サーバから後述するハイライト・メタデータをダウンロードするためのネットワークＩ／Ｆ１００１を有する。
【００５４】
図１１は、実施例２に係る映像表示装置の機能ブロック図の一例である。
【００５５】
図１１は図２に示した実施例１に係る機能ブロック図に加え、サーバからハイライト・メタデータをダウンロードするための通信装置１１０１を有する。また実施例１に係るハイライト得点算出部２０９、ハイライト得点テーブル生成部２１０は有さず、ハイライト・メタデータ解析部１１０２を有する。また、また実施例１に係るハイライト得点テーブル記憶部２０４は有さず、ハイライトメタデータ記憶部１１０３を有する。これにより、映像表示装置自体はハイライト検出処理を行わず、あらかじめ定義され、ダウンロードしたハイライト・メタデータを、ハイライトメタデータ解析部１１０２が解析することで、映像のハイライトを識別する。
【００５６】
図１１の映像表示装置において、図２の各構成要素と同じ符号を付した構成要素の機能及び動作は、実施例１と同様であるので説明を省略する。
【００５７】
次に、通信装置１１０１がサーバするダウンロードする、ハイライト・メタデータのデータ構造について説明する。
【００５８】
図１２は、実施例２におけるハイライト・メタデータのデータ構造の一例である。ハイライトメタデータ解析部１１０２は、あらかじめサーバに保持され、通信装置１１０１がダウンロードしたハイライト・メタデータ１２０１を解析し、対応する映像に関連付ける。ハイライト・メタデータは、任意の作成者が手動で作成してサーバに保持してもよいし、サーバが実施例１の図２に示したハイライト検出部２０３を持つ構成として作成してもよい。
【００５９】
ＰＴＳ１２０２は対応する映像のフレームのタイムスタンプである。ハイライト座標Ｕ１２０３及びハイライト座標Ｖ１２０４は、映像のハイライトとなる領域を示す座標である。ハイライト座標Ｕ１２０３とハイライト座標Ｖ１２０４を対角線の両端とする矩形が、対応するＰＴＳ１２０１のフレームの映像のハイライト領域である。ハイライト領域は必ずしも矩形である必要はなく、例えば円形であってもよい。この場合、円形の中心座標と半径を指定してハイライト領域とする。ＰＴＳ１２０２とハイライト座標Ｕ１２０３、ハイライト座標Ｖ１２０４は、全てのフレームに対し設定してもよいし、特定のフレームおき、例えば５秒間隔のフレームおきに設定してもよい。この場合、その間のフレームのハイライト領域は、直前に設定されたハイライト領域を継続してもよい。また、連続（パン）で切り替えるなど、ハイライト領域切換法１２０５の指定にしたがってもよい。
【００６０】
以上に説明したハイライト・メタデータをネットワークを介したサーバからダウンロードすることにより、ユーザは本映像表示装置でハイライトとなる領域を検出する計算リソースを削減することが可能となる。また、ハイライト・メタデータにより、映像の任意の時刻の任意の領域をハイライトとすることが可能となる。例えば広告主は、映像の任意の領域をハイライトとなる領域であるとしてユーザに与えることが可能となる。また、ひとつの映像に対して、サーバが異なるメタデータを複数保持してもよい。これにより、ユーザは、それぞれのユーザの主観に応じたハイライト・メタデータを利用し映像を視聴することが可能となる。
【００６１】
図１３は、実施例２に係る、あるＰＴＳに対応するフレームにおける映像のハイライト領域の一例である。
【００６２】
映像生成部２０５の高解像度化処理部２１１は、ハイライトメタデータ解析部１１０２は、映像の特定のＰＴＳに対応するフレーム１３０１を用いて、ハイライト・メタデータに示されたハイライト座標Ｕ１３０２とハイライト座標Ｖ１３０３を対角線の両端とする矩形をこのフレームの映像におけるハイライト領域１３０４であると判断する。ハイライト領域は必ず矩形とする必要はなく、円形など他の形であってもよい。
【００６３】
次に、実施例２における映像の入力から表示までの処理方法について説明する。
【００６４】
図１４は、実施例１における映像の入力から表示までの処理を示すフロー図の一例である。
【００６５】
図１４に示すとおり、指示入力部２０２は、実施例２による高解像度化処理の対象となる映像指定する外部からの指示を入力する（Ｓ１４０１）。次に、映像に対応するハイライト・メタデータの要求を通信装置１００１がサーバに送信し（Ｓ１４０２）、サーバからハイライト・メタデータを受信する（Ｓ１４０３）。次に、映像入力部２０１は映像の入力を開始し（Ｓ１４０４）、映像取得部２０７は映像を取得する（Ｓ１４０５）。ハイライトメタデータ解析部１００２は、受信したハイライト・メタデータを解析し（Ｓ１４０６）、ハイライト・メタデータに記載されるＰＴＳに対応するフレームのハイライト領域を判断する。以降、図８にて説明した実施例１の処理と同様に、Ｓ８０７〜Ｓ８１０の処理により、映像の生成と表示を行う。
【００６６】
以上説明した本発明の実施例２の映像表示装置は、ハイライト・メタデータをサーバからダウンロードして利用する。これにより、ハイライト検出処理をクライアントとなる映像表示装置で行う必要がないため、映像表示装置の計算リソースの低減が可能となる。また、任意に作成されたハイライト・メタデータを、ネットワークを通して複数のユーザが共有することができる。
【００６７】
例えば、ある映像に対して、広告主が、ＰＴＳとハイライト位置の座標を示したハイライト・メタデータを作成しサーバに保持させる。その後、このハイライト・メタデータをダウンロードしたユーザに、広告主が意図した特定の画像の領域に着目させることが可能となる。
【００６８】
また、例えば、サーバが、同一の映像に対してハイライトの決定基準の違う複数のハイライト・メタデータを保持するように構成してもよい。この場合、ユーザは個人それぞれの嗜好に応じたハイライト・メタデータを選択して、映像を高解像度化処理し視聴することが可能となる。
【実施例３】
【００６９】
実施例３では、映像表示装置は入力映像のハイライト領域を検出し、ハイライト領域を中心にした映像を再生成することで、ユーザが着目するハイライト領域を中心にした映像を表示することが可能となる。
【００７０】
実施例３にかかるハードウェア構成は、実施例３では、実施例１の同様の構成であるとして説明する。映像入力部２０１は、実施例１同様、例えば装置に接続したビデオカメラであったり、後述する記憶装置１０４あるいは二次記憶装置１０５に記憶されている映像データを読み込む装置としたり、テレビ放送等を受信する場合には、テレビのチューナとすればよい。本実施例では、映像入力部２０１は、全周囲画像センサであるとして説明する。全周囲画像センサは、特定の一方向でなく全周囲を同時に撮影対象とするカメラである。
【００７１】
図１５は、実施例３に係る映像入力部の映像撮影の一例と撮影され本映像表示装置に入力される映像の一例とを表す図である。
【００７２】
図１５の（ａ）のように、撮影対象とする空間に、映像入力部２０１である全周囲画像センサ１５０１を設置する。全周囲画像センサにより撮影された映像は、（ｂ）のように、極座標で示される円形の映像であり、この画像が、実施例３に係る映像表示装置の入力映像１５０２である。入力映像は極座標（r、θ）１５０３で示す。全周囲画像センサ１５０１は一方向のみでなく全周囲の映像が得られるという面で優れており、監視カメラ用途などで頻繁に用いられるが、一般的にユーザが映像を直感的理解することが困難である。
【００７３】
以下に説明する本実施例の構成により、入力映像のハイライト領域を検出し、入力映像の座標変換処理を行ってハイライト領域を中心とした表示映像を生成することで、ユーザに直感的理解の容易な映像を提供することが可能となる。
【００７４】
図１６は、実施例３に係る映像表示装置の機能ブロック図の一例である。
【００７５】
図１６に示す通り、映像入力再生装置は、実施例１と同様に映像入力部２０１と、指示入力部２０２と、ハイライト検出部２０３と、ハイライト得点テーブル記憶部２０４と、表示部２０６を有し、ハイライト検出部２０３は映像取得部２０７と、映像分割部２０８と、ハイライト得点算出部２０９と、ハイライト得点テーブル生成部２１０から構成される。
【００７６】
本実施例では、映像生成部１６０１は、映像座標変換部１６０２と、表示映像制御部１６０３から構成される。
【００７７】
図１６の映像表示装置において、図２の各構成要素と同じ符号を付した構成要素の機能及び動作は、実施例１と同様であるので説明を省略する。
【００７８】
図１７は、実施例３にかかる、入力映像１５０２の分割の一例である。
【００７９】
映像入力部２０１が入力して映像取得部２０７が取得した入力映像に対して、映像分割部２０８は、入力映像を２個以上の複数個の領域に分割する。例えば、分割領域Ａ１７０１、分割領域Ｂ１７０２、分割領域Ｃ１７０３、分割領域Ｄ１７０４、の４個の領域に分割する。
【００８０】
ハイライト検出部２０３は、実施例１と同じく、図７に示すハイライト得点の算出方法にしたがって、各分割領域のハイライト得点を算出し、図６に示すハイライト得点テーブル６０１に記録する。
【００８１】
映像生成部１６０１は、ハイライト得点テーブルを参照して入力映像を処理し、表示部２０６に表示する映像を生成する。映像生成部１６０１の映像座標変換部１６０２は、記憶部に保持されたハイライト得点テーブルを参照して、各ＰＴＳに対応するフレームにおけるハイライト得点の最も高い分割領域がハイライト領域であると判断する。次に、ハイライト領域が中心となるように入力映像１５０２の座標変換処理を行う。表示映像制御部１６０３は、ハイライト領域が変化した際の座標変換の制御を行う。ハイライト得点テーブル６０１より判断できるハイライト領域が変化したＰＴＳの時刻で、表示する画像を切り替えてもよいし、表示映像が滑らかに変化するよう、ハイライト領域が連続的に移動しているように座標変換のパラメータを連続的に変化させる制御を行って、表示映像を生成してもよい。即ち映像生成部１６０１は映像取得部２０７から取得した映像に、座標変換を行って再構成し、新たな映像を生成するものである。
【００８２】
なお、以上説明した図１７の構成例では、実施例１と同様にハイライト得点算出部２０９と、ハイライト得点テーブル生成部２１０を備えて、ハイライト領域の検出を行い、検出したハイライト領域をハイライト得点テーブル記憶部２０４に記憶している。
【００８３】
しかし、実施例３に係る映像表示装置の構成はこれに限られず、例えば、実施例３に係る映像表示装置のハードウェア構成を、図１０に示す実施例２と同様、ハイライト・メタデータをダウンロードするためのネットワークＩ／Ｆ１００１を有するハードウェア構成としてもよい。
【００８４】
この場合、図１６に示す実施例３に係る映像表示装置の機能ブロックは、実施例２と同様に、通信装置１１０１、ハイライト・メタデータ解析部１１０２、ハイライトメタデータ記憶部１１０３を備える構成として、映像表示装置自体でハイライト検出処理を行わない構成としてもよい。この場合実施例２と同様に、あらかじめ定義されたハイライト・メタデータをサーバからダウンロードし、ハイライトメタデータ解析部１１０２において解析することで、映像のハイライトを識別する。この場合の詳細な動作は、実施例２において説明したとおりであるので説明を省略する。
【００８５】
また、表示映像制御部１６０３に、実施例１または実施例２で説明した高解像度化処理部２１１の機能を持たせることにより、ハイライト領域が中心となるように座標変換することに加えて、ハイライト領域の高解像度化を行うことも可能である。この場合、ユーザの着目する領域を中心に再構成したうえで、当該領域をより高解像な映像としてユーザに提供することができる。
【００８６】
図１８は、実施例３に係る、映像の入力から表示までの処理のフローの一例を示す図である。
【００８７】
図１８に示すとおり、映像の入力（Ｓ８０１）からハイライト得点算出（Ｓ８０１）までの処理は、図８に示す実施例１のフローと同様である。次に、映像座標変換部１６０２は、ハイライト得点テーブル６０１を参照し、あるＰＴＳに対応するフレームにおけるハイライト得点の最も高い分割領域を中心とし、後述する映像を座標変換して表示映像を生成する方法にしたがい、表示映像を生成する（Ｓ１８０１）。表示部２０６は生成された映像を表示装置１０６に表示する（Ｓ１８０２）。ユーザが処理を終了する指示を出さなければ、または入力映像が終了した為に処理を終了するのでなければ（Ｓ１８０３）、映像の入力を継続し、次のフレームの処理を継続し、終了指示があれば処理を終了する。
【００８８】
図１９は、映像生成部１６０１による、映像を座標変換して表示映像を生成する方法の一例を説明する図である。
【００８９】
映像入力部２０１が入力した入力映像１９０１は、（ａ）に示すように、映像取得部２０７が取得し、（ａ）に示すように極座標（r、θ）１９０２で認識する。網掛けで示す  ０＜θ＜２／π  の領域１９０３をハイライト領域とする。極座標は、（１）式により直交座標に変換する。
【００９０】
【数１】
2009246917.tif 000003
【００９１】
ｘ−ｙ直交座標における変換後の座標を（Ｘａ，Ｙa）とする。次に、（ｂ）に示すように、ハイライト領域の中心がｙ軸と重なるように、４／π  回転する。回転後の映像の座標を（Ｘｂ、Ｙｂ１９０４とすると、回転による座標変換は（２）式で示される。
【００９２】
【数２】
2009246917.tif 000004
【００９３】
次に、（ｃ）のようにｚ軸を設定し、ハイライト領域を、ｘ2＋ｙ2＋ｚ2＝ｒ2、ｒ＞０で示すの半球面に射影する。球面上に射影された映像の座標は（Ｘｃ、Ｙｃ、Ｚｃ）１９０５は、（３）式で示される。
【００９４】
【数３】
2009246917.tif 000005
【００９５】
（ｃ）で球面上に投影された映像を、（ｄ）のようにｘ−ｚ平面１９０６に正射影し生成した映像（Ｘｄ、Ｚｄ）１９０７を表示画像とし、表示部２０６がユーザに提供する。
【００９６】
【数４】
2009246917.tif 000006
【００９７】
図２０は、実施例３に係る、ユーザに映像を表示する画面の一例である。
【００９８】
２００１は、図１９により説明した座標変換により映像を生成する方法を用いて、映像生成部１６０１が生成した映像の表示画面の例である。２００２の画面例ように、正射影を透視法射影としてもよいし、２００３の画面例のように、さらに矩形に座標変換処理を行って表示してもよい。さらに、「盛り上がった領域」を中心に生成した映像に高解像度化処理を行ってもよい。また、入力画像における「盛り上がり領域」をしめす画像２００４を重畳して表示してもよい。これにより、必要があれば全周囲映像における方向の情報を失わず、また立体感のある表示で、ユーザが着目するハイライト領域を理解が容易な映像で表示することが可能になる。
【００９９】
実施例３により、例えば監視カメラや車載カメラの全周囲映像による入力映像に対し、ハイライト領域、すなわちユーザが着目すべき映像特徴を持つ映像領域を中心に再構成した映像を表示することができる。また、テレビ番組やホームビデオの映像を入力映像とした場合においても、同様の効果が得られる。
【０１００】
以上説明した本発明の実施例３の映像表示装置により、入力映像からハイライト領域を検出し、ハイライト領域を中心とした映像を再構成して表示することで、映像のＰＴＳごとに、ユーザの着目すべき領域を中心に再構成した映像を、ユーザに提供することが可能となる。
【図面の簡単な説明】
【０１０１】
【図１】実施例１の映像表示装置のハードウェア構成の一例を示す図。
【図２】実施例１の映像表示装置のソフトウェア構成の一例を示す図。
【図３】高解像度化処理部２１１による高解像度化処理の方法の一例を説明する図。
【図４】実施例１の入力映像の分割の一例を示す図。
【図５】実施例１のフレーム間差分映像の一例を示す図。
【図６】ハイライト得点テーブルのデータ構造の一例を示す図。
【図７】入力映像の分割領域のハイライト得点の算出処理のフローの一例を示す図。
【図８】入力映像からハイライト領域を検出し高解像度化処理するフローの一例を示す図。
【図９】結合した分割領域の境界に、解像度が滑らかになるように段階的に解像度を変化させる処理を行った映像の一例を示す図。
【図１０】実施例２の映像表示装置のハードウェア構成の一例を示す図。
【図１１】実施例２の映像表示装置のソフトウェア構成の一例を示す図。
【図１２】ハイライト・メタデータのデータ構造の一例を示す図。
【図１３】ハイライト・メタデータに指定されたハイライト領域の一例を示す図。
【図１４】ハイライト・メタデータに指定されたハイライト領域を高解像度化処理するフローの一例を示す図。
【図１５】実施例３の映像の入力方法と入力映像の一例を示す図。
【図１６】実施例３の映像表示装置のソフトウェア構成の一例を示す図。
【図１７】実施例３の入力映像の分割の一例を示す図。
【図１８】入力映像からハイライト領域を中心とした映像を生成する処理のフローの一例を示す図。
【図１９】ハイライト領域を中心とする映像を生成する方法の方法の一例を示す図。
【図２０】表示部２０６が表示する、生成した映像の提示画面の一例を示す図。
【符号の説明】
【０１０２】
１０１…映像入力装置
１０２…中央処理装置
１０３…指示入力装置
１０４…記憶装置
１０５…二次記憶装置
１０６…表示装置
２０１…映像入力部
２０２…指示入力部
２０３…ハイライト検出部
２０４…ハイライト得点記憶部
２０５…映像生成部
２０６…表示部
２０７…映像取得部
２０８…映像分割部
２０９…ハイライト得点算出部
２１０…ハイライト得点テーブル生成部
２１１…高解像度化処理部
２１２…表示映像生成部
９０１…ネットワークＩ／Ｆ
１００１…通信装置
１００２…ハイライト・メタデータ解析部
１００３…ハイライト・メタデータ記憶部
１６０１…映像生成部
１６０２…映像座標変換部
１６０３…表示映像制御部
【図１】
2009246917.tif 000007
【図２】
2009246917.tif 000008
【図３】
2009246917.tif 000009
【図４】
2009246917.tif 000010
【図５】
2009246917.tif 000011
【図６】
2009246917.tif 000012
【図７】
2009246917.tif 000013
【図８】
2009246917.tif 000014
【図９】
2009246917.tif 000015
【図１０】
2009246917.tif 000016
【図１１】
2009246917.tif 000017
【図１２】
2009246917.tif 000018
【図１３】
2009246917.tif 000019
【図１４】
2009246917.tif 000020
【図１５】
2009246917.tif 000021
【図１６】
2009246917.tif 000022
【図１７】
2009246917.tif 000023
【図１８】
2009246917.tif 000024
【図１９】
2009246917.tif 000025
【図２０】
2009246917.tif 000026