(57)【要約】【課題】視聴者が映像の一部分を視聴している場合に、表示範囲外の映像で発生している重要なイベントを感知して視聴者にイベント映像やイベント発生を通知することにより、視聴者が重要なイベントを見逃さないよう未然に防止する。【解決手段】映像再生装置１００は、映像とこれに同期した時刻及び画角の情報をもつイベントを入手する情報入手部１０１と、入手した映像を復号する復号部１０２と、表示画角を変更する画角変更部１０３を有する。そして映像再生装置１００は、入手したイベントの発生時刻と映像の再生時刻とを比較する比較部１０４と、両方の時刻が一致した場合に、表示画角がイベントの画角を含むように画角変更部１０３に指示する制御部１０５を具備する。【選択図】  図１
2010062877.tif 000002
【特許請求の範囲】
【請求項１】
映像並びに該映像に同期した時刻及び画角の情報を有するイベントを入手する情報入手部と、表示対象とされる映像の画角を変更する画角変更部とを備えた映像再生装置であって、
前記イベントの発生時刻と映像の再生時刻とを比較し、両方の時刻が一致した場合に、表示範囲にイベントを含むように画角を変更する制御手段を具備することを特徴とする映像再生装置。
【請求項２】
前記制御手段が、
前記イベントの発生時刻と映像の再生時刻とを比較する比較部と、
前記イベントの発生時刻と映像の発生時刻が一致した場合に、映像表示の画角に関して前記イベントを含む画角又は該イベントの画角へと変更する指示を前記画角変更部に送る制御部と、
を具備することを特徴とする請求項１に記載の映像再生装置。
【請求項３】
前記制御手段が、
前記イベントの発生時刻と映像の再生時刻とを比較する比較部と、
前記イベントの発生時刻と映像の発生時刻が一致した場合に、現時点での映像表示の画角と前記イベントの画角について各々の映像を画面上に表示する指示を前記画角変更部に送る制御部と、
を具備したことを特徴とする請求項１に記載の映像再生装置。
【請求項４】
絵又は文字もしくは記号の描画を行う描画部をさらに具備し、
前記制御手段は、前記イベントの時刻よりも映像の再生時刻が前である場合、前記イベントの発生による画角の変更が発生する旨を描画によって通知するように前記描画部に対して指示を送ることを特徴とする請求項１から３のいずれか１項に記載の映像再生装置。
【請求項５】
前記制御手段は、前記イベントの発生時刻と映像の再生時刻とを比較し、両方の時刻が一致した場合に、画角変更前に表示された映像の画角を記憶し、前記イベントの発生時刻よりも映像の再生時刻が後である場合に、記憶しておいた前記映像の画角へと戻すように前記画角変更部に指示を送ることを特徴とする請求項１から４のいずれか１項に記載の映像再生装置。
【請求項６】
映像並びに該映像に同期した時刻及び画角の情報を有するイベントを入手して、画角を変更して映像表示を行うための映像再生方法であって、
前記イベントの発生時刻と映像の再生時刻とを比較し、両方の時刻が一致した場合に、映像の表示範囲に前記イベントを含むように画角を変更することを特徴とする映像再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像に同期したイベントを用いて映像再生中の表示処理を制御する映像再生装置及び映像再生方法に関する。
【背景技術】
【０００２】
近年、放送及び光ディスク等の映像はＳＤ規格に従う７２０＊４８０ピクセル程度の解像度から１９２０＊１０８０ピクセルの解像度へと高精細化が進んでいる。さらに次世代放送の高度衛星デジタル放送規格では７６８０＊４３２０ピクセルの解像度による映像が予定されている。
【０００３】
そこで、高精細な映像の一部分を成す映像、例えば作成者や、時にはユーザにとって重要な映像を、該ユーザの指示に従って拡大表示させる再生機が提案されている。また、映像に付随した、いわゆるメタ情報を用いることで、ユーザが映像の一部分を柔軟に視聴する機能が求められている。
【０００４】
例えば映像作成の際、重要度の高い映像に対して自動的にイベントメタ情報を付与することが提案されている（特許文献１参照）。また再生機において該イベントメタ情報を用いてダイジェストシナリオを構築する提案が知られている（特許文献２参照）。ここでいう「イベント」とは映像中で特定のシーンが発生している事象のことである。例えば、サッカーのゴールシーンなどがイベントとして挙げられ、該シーンをイベントとするメタ情報が映像に付加される。また、緊急放送などでは、映像に付加された特定時刻に関連付けられた情報がメタ情報として用いられる。
【特許文献１】特開２００２−２２３３７５号公報
【特許文献２】特開２００６−０５０５７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記の従来技術を用いれば、映像を拡大して視聴する機能により、装置のユーザである視聴者は映像の特定個所を、より詳細に見ることができる。しかし、ディスプレイに拡大表示された画面の範囲外で発生しているイベント、つまり画面の表示範囲以外に含まれているイベントの映像を視聴者が認識できない場合に、重要なイベントを見逃してしまうという問題があった。また、映像中の重要なイベント部分を視聴者が偶然にも拡大して視聴していた場合であったとしても、映像内で同時に複数のイベントが発生してしまうと、視聴者が重要なイベントを見逃してしまう虞があった。
【０００６】
本発明は、視聴者が映像の一部分の視聴中に重要なイベントを見逃さないよう防止できる映像再生装置及び映像再生方法の提供を課題とする。
【課題を解決するための手段】
【０００７】
そこで、本発明は上記問題に鑑み、視聴者が映像の一部分を視聴している場合に、表示範囲外の映像で発生している重要なイベントを感知して視聴者にイベント映像やイベントの発生を通知するように構成したものである。
【０００８】
本発明に係る映像再生装置は、映像並びに該映像に同期した時刻及び画角の情報を有するイベントを入手する情報入手部と、表示対象とされる映像の画角を変更する画角変更部とを備えた映像再生装置であって、前記イベントの発生時刻と映像の再生時刻とを比較し、両方の時刻が一致した場合に、表示範囲にイベントを含むように画角を変更する制御手段を具備する。
【０００９】
また、本発明に係る映像再生方法は、映像並びに該映像に同期した時刻及び画角の情報を有するイベントを入手して、画角を変更して映像表示を行うための映像再生方法であって、前記イベントの発生時刻と映像の再生時刻とを比較し、両方の時刻が一致した場合に、映像の表示範囲に前記イベントを含むように画角を変更する。
【発明の効果】
【００１０】
本発明によれば、全映像中にて表示画面の範囲外で発生するイベントの映像、例えば映像の内容に関わる重要なイベントの映像について、視聴者が見逃さないように該イベントの映像を表示することができる。さらに。本発明によれば、該イベントの発生を視聴者に対して事前に通知することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明に係る各実施形態について図面を参照して説明する。
（第１の実施形態）
【００１２】
図1は本発明の第１実施形態に関わる映像再生装置の構成例を示すブロック図である。なおここでは装置への入力映像及び入力イベントの一例として、アンテナから受信する高度衛星デジタル放送番組を用いる場合について説明する。
【００１３】
映像再生装置１００は情報入手部１０１、復号部１０２、画角変更部１０３、比較部１０４、制御部１０５を備えている。また、映像再生装置１００には、放送波を受信するアンテナ１１０と、高解像表示を行える表示部１２０が接続されている。例えば、表示部１２０はＨＤ（High Definition Television：高品位テレビ）の１９２０＊１０８０ピクセルの解像度を有する。
【００１４】
入力映像は７６８０＊４３２０ピクセルの解像度をもつ映像であり、映像に同期したイベントメタ情報が付加されている。なお用語「画角」とは、映像として映し出される表示範囲の広さを意味し、例えばピクセル単位の数値で表すと、図２のようになる。全体映像２０１の画角は(0,0)*(7680,4320)で表され、図の左上隅の座標原点(0,0)と右下隅の座標点(7680,4320)で規定される矩形範囲の大きさとして表現される。また、全体映像に含まれる、任意の一部分の映像２０２に関する画角が(0,1080)*(1920,2160)で表され、これは図の左上隅の座標点(0,1080)と右下隅の座標点(1920,2160)で規定される矩形範囲の大きさとして表現される。
【００１５】
情報入手部１０１はアンテナ１１０から入力された放送波を受信し、後段の復号部１０２が復調及び復号処理を行う。情報入手部１０１は、映像であるＭＰＥＧ(Moving Picture Experts Group)形式のＥＳ(Elementary Stream)と、映像のイベントメタ情報の抽出が行われる。
【００１６】
このイベントメタ情報について図３のテーブル３００を用いて説明する。テーブル３００のイベントメタ情報は、映像に同期した再生時刻情報であるフレームナンバ（以下、フレームNo.と記す）と、映像における任意の一部分の画角情報とから構成されている。またイベントメタ情報はフレーム毎に画角情報を持つメタ情報である。フレームNo.は起点０から、１ずつ増加する数字で表される。図示の例では、フレームNo.0からフレームNo.1529までが、特にイベントの発生していない時間帯であり、フレームNo.1530でイベントが発生することが分かる。例えばフレームNo.1530のイベント画角が図２に示した映像202に関する画角(0,1080)*(1920,2160)である。その後のフレームNo.1531から1549までイベントが発生しており、フレームNo.1950においてイベントが終了する。
【００１７】
次に図４を用いて、フレームNo.と入力映像、イベント映像の関係について説明する。軸４００はフレームNo.の時間的推移を表しており、起点０から時間が経過するにつれてフレームNo.の数字が増加する。なお、抽出した全体映像４０１乃至４０４は、フレームNo.0,No.1529,No.1530,No
1950にそれぞれ対応した映像を示している。フレームNo.1530では映像４０３に加えてイベント映像４０５もまた時間的に対応することを示している。
【００１８】
情報入手部１０１で抽出された映像は復号部１０２に送られる。また情報入手部１０１で抽出されたイベントメタ情報は比較部１０４に送られる。復号部１０２は、送られてきた映像の情報を所定のフォーマットに従って復号する。このフォーマットは、映像の画角を変更できる形式であり、復号部１０２の後段に設けられた画角変更部１０３において画角を変更しない場合に表示部１２０にて表示できる。復号処理を施された後の映像は画角変更部１０３に送られ、また再生時刻と再生画角の情報は比較部１０４に送られる。
【００１９】
画角変更部１０３は、制御部１０５からの画角変更に係る指示に従い、復号部１０２から取得した映像の画角を変更し、その結果得られる映像出力を表示部１２０に送出する。これについて図２、図３を用いて説明すると、画角変更部１０３は、制御部１０５からの画角変更の指示が無い場合に、全体映像２０１が表示部１２０の解像度に適合するようにダウンコンバートを行ってから映像信号を出力する。また画角変更部１０３は、制御部１０５から全体映像を「(0,1080)*(1920,2160)」の画角に変更するよう指示があった場合、該映像を変換後の映像２０２に変更して、表示部１２０の解像度に合った映像信号を出力する。ただし、この例では表示対象の映像に係る解像度と表示部１２０の解像度が一致しているため変更の必要はない。画角変更部１０３は、変更後の映像の画角情報、つまり「(0,1080)*(1920,2160)」を比較部１０４に送る。なお、比較部１０４は制御部１０５とともに本発明に係る装置の制御手段を構成しており、イベントの発生時刻と映像の再生時刻との比較処理を行う。
【００２０】
次に比較部１０４の動作について、図５のフローチャートを用いて説明する。先ず、ステップ５０１では、情報入手部１０１から取得したイベントの発生時刻と該イベントの画角、復号部１０２から取得した映像の再生時刻、画角変更部１０３から映像の情報を、比較部１０４が得る。比較部１０４はフレーム更新の度に、映像の再生時刻とイベントの発生時刻を比較する。
【００２１】
そして、ステップ５０２に示すように、映像の再生時刻とイベントの発生時刻が一致したと比較部１０４が判断した場合に、映像の再生画角とイベントの画角の各情報を制御部１０５に送る。またステップ５０１にて、映像の再生時刻とイベントの発生時刻が一致しないと比較部１０４が判断した場合には、今回のフレームでの比較処理が終了する。
【００２２】
例えば、この処理について図３、図６を用いて説明する。現時点の映像の再生時刻がフレームNo. 1530の示す時刻に等しい場合、イベントメタ情報３００のフレームNo.1530ではイベントが発生しているため、比較部１０４は映像の再生時刻とイベントの発生時刻が一致したと判定する。そして、比較部１０４は映像６０１の再生画角「(0,2160)*(3840,4320)」とイベント６０２の画角「(0,1080)*(1920,2160)」を制御部１０５に送る。
【００２３】
制御部１０５は映像の再生画角とイベントの画角を含むように、画角変更の指示を画角変更部１０３に送る。制御部１０５によって指示される、変更後の画角の導出方法を以下に説明する。映像の再生画角を「(A,B)*(C,D)」とし、イベントの画角を「(E,F)*(G,H)」とし、変更後の画角を「(I,J)*(K,L)」とする。ここで(A,B)、(E,F)、(I,J)はそれぞれの画角について基準となる一方の座標点（左上隅）を表し、(C,D)、(G,H)、(K,L)は他方の座標点（右下隅）をそれぞれ表している。本導出法では、AとEを比較して小さい方の値又は両者の値が等しい場合にはその値をIの値として取得する。そしてBとFを比較して小さい方の値又は両者の値が等しい場合にはその値をJの値として取得する。また、CとGを比較して大きい方の値又は両者の値が等しい場合にはその値をKの値として取得する。そして、DとHを比較して大きい方の値又は両者の値が等しい場合にはその値をLの値として取得する。なおI,J,K,Lの各値を求める順序についてはその如何を問わないことは勿論であり、いずれの場合にも変更後の画角を最終的に導出できる。
【００２４】
図６の例では、映像６０１の再生画角が「(0,2160)*(3840,4320)」であり、イベント６０２の画角が「(0,1080)*(1920,2160)」である。つまり、「A=0,B=2160,C=3840,D=4320,
E=0,F=1080,G=1920,H=2160」の関係である。このため、上記導出方法に従い、「I=A=E=0,J=F=1080<B,K=C=3840>G,L=D=4320>H」が得られ、従って変更後の映像６０３の画角は「(0,1080)*(3840,4320)」となる。画角変更部１０３は、制御部１０５から送られてきた画角変更の指示に従い、映像の画角を変更し、画角変更後の映像出力を表示部１２０に送る。
【００２５】
このように本発明の実施形態によれば、画面に表示していた映像の画角及び発生したイベントの画角の両方を含むように、表示画面を自動的に変更することができる。したがって、視聴者が任意の一部分の映像を視聴している場合であっても、映像中に発生した番組の内容に関わるイベントを見逃さないように防止できる。
【００２６】
また、制御部１０５によって指示される変更後の画角は、上記方法で導出された画角よりも広ければ、問題なく前記の課題を解決することができる。すなわち表示部１２０のアスペクト比を満たすように、画角を変更することによって、さらに表示部１２０に応じた画角変更が可能になる。例えば図６において画角変更前の映像６０３が画角「(0,1080)*(3840,4320)」の場合、画角変更後の映像６０４のように、より広い画角「(0,1080)*(5760,4320)」（アスペクト比16:9）へと画角変更を行うことができる。
【００２７】
なお本実施形態において、制御部１０５は画角変更部１０３に対して、現時点での映像の画角とイベントの画角の両方を含むように表示画面の画角変更を指示した。これに限らず、比較部１０４から受け取ったイベントの画角に基づいて、現在の画角をイベントの画角に変更するための指示を画角変更部１０３に送ることもできる。
【００２８】
また、制御部１０５は、比較部１０４から受け取った映像の再生画角とイベントの画角に基づいて、それぞれの画角をもつ映像を作成する。そして制御部１０５は、その映像を1つの画面に表示し、又は２つの画面に表示するよう画角変更の指示を画角変更部１０３に送ることもできる。
【００２９】
この他、本実施形態では説明の便宜上、１つのイベントに対して表示画面の変更を指示する場合について例示した。これに限られず、映像中に複数のイベントが同時に発生した場合であっても、例えばイベントの数だけ表示用画面を増やして、いわゆるマルチ画面での表示を行えば、視聴者がこれらのイベントを見逃さないように防止できる。
【００３０】
（第２の実施形態）
以下、本発明に係る第２実施形態について、図７及び図８を参照して説明する。
【００３１】
図７は本発明の一実施形態に関わる映像再生装置の構成例を示すブロック図である。映像再生装置７００は情報入手部７０１、復号部７０２、画角変更部７０３、比較部７０４、制御部７０５を備えている。さらに映像再生装置７００は、表示部７２０に絵や文字の描画を行う描画部７０６を備えている。制御部７０５は、比較部７０４から受け取ったイベントの発生を視聴者に通知するために、アイコンや文字もしくは記号を描画する指示を描画部７０６に送出する。
【００３２】
次に図８を用いて、フレームNo.と入力映像、イベント映像の関係について説明する。軸８００はフレームNo.の時間的推移を表しており、時間が経過するとフレームNo.の値が増加する。
【００３３】
まずは視聴映像８０１乃至８０４を使って、従来の視聴形態を説明する。ユーザによる任意の視聴映像８０１乃至８０４はフレームNo.0,1529,1530,1950にそれぞれ対応した映像を示している。図示のようにフレームNo.1530ではイベントが発生したにも関わらず視聴者がイベントを見逃している。つまり、この時点でイベントの映像が画面に表示されない。
【００３４】
次に本実施形態を用いた映像の視聴について、フレームNo.0,1529,1530,1950のそれぞれに対応した視聴映像８０５乃至８０８を用いて説明する。例えば、フレームNo.1530にてイベントが発生する時点よりも３０フレーム前から、該イベントの発生を通知する場合を想定する。イベントが発生することを描画部７０６によってフレームNo.1500の時点から視聴者に通知する。視聴映像８０６はテキスト表示によってイベントの発生予告が通知されるようにした一例である。イベントが発生した視聴映像８０７は、イベントの発生前における映像の画角と、イベントの画角を含む映像に切り替わっている。
【００３５】
このように、視聴者が全映像中での任意の一部分について映像を視聴している場合であっても、イベントの発生予告を、画面上でアイコン、文字又は記号の描画により視聴者に対して事前に通知することができる。したがって、視聴者は映像で発生した番組の内容に関わるイベントを見逃さないようにすることができる。
【００３６】
（第３の実施形態）
以下、本発明に係る第３の実施形態について、図９及び図１０を参照して説明する。図９は本発明の一実施形態に関わる映像再生装置の構成例を示すブロック図である。映像再生装置９００は情報入手部９０１、復号部９０２、画角変更部９０３、比較部９０４、制御部９０５、描画部９０６を備えている。
【００３７】
比較部９０４は、情報入手部９０１から取得したイベントの発生時刻と画角、復号部９０2から得た映像の再生時刻、画角変更部９０３から映像の情報を得る。そして比較部９０４は、フレームの更新毎に、映像の再生時刻とイベントの発生時刻の両方を比較し、映像の再生画角とイベントの画角とを比較する。
【００３８】
まず両方の時刻の比較方法について説明する。映像の再生時刻をXとし、イベントの発生時刻をYとすると、比較部９０４は、X>Yであれば再生時刻がイベント発生後であると判断する。X=Yであれば再生時刻がイベントの発生時刻に一致したと判断し、X<Yであれば再生時刻がイベント発生前であると判断する。
【００３９】
次に画角の比較方法について説明する。映像の再生画角を「(A,B)*(C,D)」とし、イベントの画角を「(E,F)*(G,H)」とする。この場合、比較部９０４は、AがE以下であってBがF以下であり、かつ、CがG以上であってDがH以上であるか否かを調べる。全ての条件を満たした場合、比較部９０４は再生画角にイベントの画角が含まれると判断する。上記条件を満たさない場合に、比較部９０４は再生画角にイベントの画角が含まれないと判断する。そして比較部９０４は、前述した時刻の比較結果及び画角の比較結果を制御部９０５へ送る。
【００４０】
次に制御部９０５による制御動作について図１０を用いて説明する。テーブル１０００は、比較部９０３からの結果に基づいて制御内容を決定するためのマトリクスである。このデータは図示しないメモリ（記憶部）に保存されている。
【００４１】
制御部９０５は、比較部９０４から取得した比較結果に応じてマトリクス内に示した制御を行う。例えば、映像の再生時刻がイベントの発生時刻よりも前であって、かつ、映像の再生画角がイベントの画角を含まない場合に、制御部９０５は画角変更部９０３に対して指示を出し、イベントの発生を通知するように制御する。その後、時間が経過して、映像の再生時刻とイベントの発生時刻とが一致する。このとき、映像の再生画角がイベントの画角を含まない場合に、制御部９０５は画角変更部９０３に対して指示を出し、イベントの画角を含む画角へと再生映像の画角を変更するように制御する。そして、さらに時間が経過し、映像の再生時刻がイベントの発生時刻の後となる。このとき、映像の再生画角がイベントの画角を含まない場合に、制御部９０５は画角変更部９０３に対して指示を出し、再生映像に関して、イベントの画角を含むように画角変更の指示を出す前の状態に戻すように制御する。
【００４２】
なおイベントの画角を含む画角に変更する指示を出す前の状態への復帰については、次のように行う。つまり映像の再生時刻とイベントの発生時刻とが一致したとき、制御部９０５が画角変更部９０３に指示を出す際に、当該時点での映像の再生画角のデータをメモリに記憶させておき、その後に該データをメモリから読み出す。
【００４３】
このように本発明の実施の形態によれば、以下の作用効果を奏する。視聴者が、全体映像のうちの任意の一部分について映像を視聴している場合であっても、現在の再生時刻とイベント発生時刻との関係、並びに表示範囲の内外で生じる画角同士の関係に応じて最適な画角へと変更できる。よって映像再生装置のユーザが映像の一部分を視聴する機能を随時に用いたとしても、重要なイベントが発生したことを該ユーザに通知でき、従って利便性の高い映像表示装置を提供できる。
【００４４】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されることなく、その要旨の範囲内で種々の変形及び変更が可能である。
【図面の簡単な説明】
【００４５】
【図１】本発明の第１の実施形態による映像再生装置の構成例を示す図である。
【図２】本発明の第１の実施形態に係る入手済みの全体映像及び変更後の映像を例示した図である。
【図３】本発明の第１の実施形態に係るイベントのテーブルを例示した図である。
【図４】本発明の第１の実施形態に係る入手済みの全体映像及びイベントの映像を、図３のテーブルに対応して示した図である。
【図５】本発明の第１の実施形態に係る比較部での比較方法を示したフローチャート図である。
【図６】本発明の第１の実施形態に係る比較部及び制御部で比較制御される映像を示す図である。
【図７】本発明の第２の実施形態に係る映像再生装置の構成例を示す図である。
【図８】本発明の第２の実施形態に係る入手済みの全体映像及びイベントの予告通知を例示した図である。
【図９】本発明の第３の実施形態に係る映像再生装置の構成例を示す図である。
【図１０】本発明の第３の実施形態に係る制御方法を決定するためのマトリクスを例示した図である。
【符号の説明】
【００４６】
１００・・・映像再生装置
１０１・・・情報入手部
１０３・・・画角変更部
１０４・・・比較部
１０５・・・制御部
４０１,４０２，４０３，４０４・・・全体映像
４０５・・・イベントの映像
６０１・・・映像の再生画角
６０２・・・イベントの画角
６０３，  ６０４・・・変更後の画角
７００・・・映像再生装置
７０１・・・情報入手部
７０３・・・画角変更部
７０４・・・比較部
７０５・・・制御部
７０６・・・描画部
９００・・・映像再生装置
９０１・・・情報入手部
９０３・・・画角変更部
９０４・・・比較部
９０５・・・制御部
９０６・・・描画部
【図１】
2010062877.tif 000003
【図２】
2010062877.tif 000004
【図３】
2010062877.tif 000005
【図４】
2010062877.tif 000006
【図５】
2010062877.tif 000007
【図６】
2010062877.tif 000008
【図７】
2010062877.tif 000009
【図８】
2010062877.tif 000010
【図９】
2010062877.tif 000011
【図１０】
2010062877.tif 000012