(57)【要約】【課題】  付加情報を見やすく表示する。【解決手段】  復号化手段１０１は、符号化信号を復号し復号化画像を生成する。情報表示制御手段１０６は、表示すべき情報の表示期間及び表示内容に応じて符号化信号伝達手段１０３及び情報表示画面生成手段１０５を制御する。符号化信号伝達手段１０３は、符号化信号の所定期間分を先読みし、先読み符号化信号を領域判断手段１０４に伝達する。領域判断手段１０４は、先読み符号化信号から画像の注目領域を判断し、表示候補領域情報を生成する。情報表示画面生成手段１０５は、情報表示制御手段１０６から指示される表示情報の内容を、領域判断手段１０４からの表示候補領域情報で指定される表示領域に配置した画面を生成する。合成手段１０２は、復号化手段１０１で生成された復号化画像と情報表示画面生成手段１０５で生成された情報表示画面を合成し、出力画像信号を生成する。【選択図】  図１
2005300943.tif 000002
【特許請求の範囲】
【請求項１】
符号化動画信号を復号して表示する動画表示装置において、
所定期間の符号化信号を先読みする符号化信号伝達ステップと、
前記所定期間の符号化信号から被写体の動きを検出し、被写体の動きに応じて表示候補領域情報を生成する領域判断ステップと、
前記表示候補領域情報から情報表示位置を決定して情報表示画面を作成する情報表示画面生成ステップと、
前記情報表示画面と復号された動画を合成する合成ステップ
とを具備することを特徴とする情報表示位置制御方法。
【請求項２】
前記領域判断ステップは、表示情報のレベルを閾値を比較し、その比較結果に応じて動きのある部分を表示候補領域情報とするか、動きのない部分を表示候補領域情報とするかを判断することを特徴とする請求項１に記載の情報表示位置制御方法。
【請求項３】
さらに、符号化動画信号を出力する撮像装置のカメラ情報の内の、前記所定期間と同じ期間のカメラ情報を読込むステップを具備し、
前記領域判断ステップは、読込まれた前記カメラ情報を用いて動画の画面の動きベクトルをマスクすることで被写体の動きを検出する
ことを特徴とする請求項１に記載の情報表示位置制御方法。
【請求項４】
前記領域判断ステップは、前記表示候補領域情報が複数に分断された場合に、各前記表示候補領域情報の面積に応じて優先順位を付加し、
前記情報表示画面生成ステップは、優先順位の高い前記表示候補領域情報を用いて情報表示位置を決定する
ことを特徴とする請求項１、２又は３に記載の情報表示位置制御方法。
【請求項５】
前記領域判断ステップは、前記表示候補領域情報が複数に分断された場合に、画面の中心に近い位置順に前記表示候補領域情報に優先順位を付加し、
前記情報表示画面生成ステップは、前記表示候補領域情報の優先順位に従い情報表示位置を決定することを特徴とする請求項１、２又は３に記載の情報表示位置制御方法。
【請求項６】
前記領域判断ステップは、前記表示候補領域情報が複数に分断された場合に、各前記表示候補領域情報の縦横比に応じて順に優先順位を付加し、
前記情報表示画面生成ステップは、前記表示候補領域情報の優先順位に従い情報表示位置を決定することを特徴とする請求項１、２又は３に記載の情報表示位置制御方法。
【請求項７】
前記領域判断ステップによる前記表示候補領域情報が複数に分断された場合に、前記情報表示画面生成ステップは、ユーザ操作に応じて優先順位の順に表示位置を変更することを特徴とする請求項４、５又は６に記載の情報表示位置制御方法。
【請求項８】
前記表示期間の開始タイミングは、実時間で指定されることを特徴とする請求項１乃至７の何れか１項に記載の情報表示位置制御方法。
【請求項９】
前記表示期間の開始タイミングは、動画再生開始からの相対時間で指定されることを特徴とする請求項１乃至７の何れか１項に記載の情報表示位置制御方法。
【請求項１０】
前記表示期間の開始タイミングは、前記符号化信号伝送ステップに前記表示期間を通知するタイミングからの相対時間で指定されることを特徴とする請求項１乃至７の何れか１項に記載の情報表示位置制御方法。
【請求項１１】
符号化動画信号を復号して表示する動画表示装置において、
所定期間の符号化信号を先読みする符号化信号伝達手段と、
所定期間の符号化信号から被写体の動きを検出し、被写体の動きに応じて表示候補領域情報を生成する領域判断手段と、
前記表示候補領域情報から情報を表示する位置を決定して情報表示画面を作成する情報表示画面生成手段と、
動画に重ねて表示する情報の表示期間及び表示内容をそれぞれ前記符号化信号伝送手段及び前記情報表示画面生成手段に通知する情報表示制御手段と、
前記情報表示画面と復号された動画を合成する合成手段
とを具備することを特徴とする情報表示位置制御装置。
【請求項１２】
前記領域判断手段は、表示情報のレベルを閾値を比較し、その比較結果に応じて動きのある部分を表示候補領域情報とするか、動きのない部分を表示候補領域情報とするかを判断することを特徴とする請求項１１に記載の情報表示位置制御装置。
【請求項１３】
さらに、符号化動画信号を出力する撮像装置のカメラ情報の内の、前記所定期間と同じ期間のカメラ情報を読込む手段を具備し、
前記領域判断手段は、読込まれた前記カメラ情報を用いて動画の画面の動きベクトルをマスクすることで被写体の動きを検出する
ことを特徴とする請求項１１に記載の情報表示位置制御装置。
【請求項１４】
前記領域判断手段は、前記表示候補領域情報が複数に分断された場合に、各前記表示候補領域情報の面積に応じて優先順位を付加し、
前記情報表示画面生成手段は、優先順位の高い前記表示候補領域情報を用いて情報表示位置を決定する
ことを特徴とする請求項１１、１２又は１３に記載の情報表示位置制御装置。
【請求項１５】
前記領域判断手段は、前記表示候補領域情報が複数に分断された場合に、画面の中心に近い位置順に前記表示候補領域情報に優先順位を付加し、
前記情報表示画面生成手段は、前記表示候補領域情報の優先順位に従い情報表示位置を決定することを特徴とする請求項１１、１２又は１３に記載の情報表示位置制御装置。
【請求項１６】
前記領域判断手段は、前記表示候補領域情報が複数に分断された場合に、各前記表示候補領域情報の縦横比に応じて順に優先順位を付加し、
前記情報表示画面生成手段は、前記表示候補領域情報の優先順位に従い情報表示位置を決定することを特徴とする請求項１１、１２又は１３に記載の情報表示位置制御装置。
【請求項１７】
前記領域判断手段による前記表示候補領域情報が複数に分断された場合に、前記情報表示画面生成手段は、ユーザ操作に応じて優先順位の順に表示位置を変更することを特徴とする請求項１４、１５又は１６に記載の情報表示位置制御装置。
【請求項１８】
前記表示期間の開始タイミングは、実時間で指定されることを特徴とする請求項１１乃至１７の何れか１項に記載の情報表示位置制御装置。
【請求項１９】
前記表示期間の開始タイミングは、動画再生開始からの相対時間で指定されることを特徴とする請求項１１乃至１７の何れか１項に記載の情報表示位置制御装置。
【請求項２０】
前記表示期間の開始タイミングは、前記情報表示制御手段が前記符号化信号伝送手段に前記表示期間を通知するタイミングからの相対時間で指定されることを特徴とする請求項１１乃至１７の何れか１項に記載の情報表示位置制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮又は符号化された画像信号を再生する場合に付加情報を合成表示する情報表示位置制御方法及び装置に関する。
【背景技術】
【０００２】
ディジタル蓄積メディアの発展に伴って、長時間の動画像をこれらの記録メディアに記録することが必要となり、また、通信及び放送などの分野においても、より多くの動画像を伝送することが要望され、これらの要求を満たすべく種々の高能率符号化技術が提案されている。国際標準化機構（ＩＳＯ）においても、国際電気標準会議（ＩＥＣ）のムービング  ピクチャー  イメージ  コーディング  エキスパーツ  グループ（ＭＰＥＧ）で動画像符号化方式の標準化活動が行われており、例えば、「ＩＳＯ／ＩＥＣ１３８１８  ＤＩＳ」等がある。
【０００３】
動画像情報を効率良く蓄積・伝送するための符号化方式としてＭＰＥＧが知られている。ＭＰＥＧは、動画像の高能率符号化を行うことを目的とした国際標準であり、データの周波数特性及び人間の視覚特性を利用するとともに動画像特有の時間軸方向の冗長度を利用して、高い圧縮率を達成する高能率符号化方式である。ＭＰＥＧ方式には、デジタルストレージメディア用に転送レートを最大１．５ＭｂｐｓとしたＭＰＥＧ１と、伝送レートの上限をなくし、双方向デジタルマルチメディア機器、デジタルＶＴＲ、ＡＴＶ及び光ファイバネットワーク等の全ての伝送系で用いられことを意図したＭＰＥＧ２がある。ＭＰＥＧ１とＭＰＥＧ２の基本的なアルゴリズムはほぼ同様であるので、ＭＰＥＧ１をベースとして、その符号化方式の原理及びデータ構造を簡単に説明する。
【０００４】
ＭＰＥＧによる高能率符号化方式の原理を説明する。ＭＰＥＧでは、フレーム間の差分を取ることで時間軸方向の冗長度を落とし、これによって得られる差分データをＤＣＴ及び可変長符号化処理により空間方向の冗長度を落とすことによって、全体として高い圧縮率を達成する。時間軸方向の冗長度については、動画の場合には連続したフレームの相関が高いことに着目し、符号化しようとするフレームと時間的に先行又は後行するフレームとの差分を取ることによって、冗長度を落とすことが可能となる。
【０００５】
そこで、ＭＰＥＧでは、図１０に示すように、フレーム内で符号化する符号化モードで得られるイントラ符号化画像（Ｉピクチャ）の他に、時間的に先行するフレームとの差分値を符号化する前方予測符号化画像（Ｐピクチャ）と、時間的に先行するフレーム又は後行するフレームとの差分値、若しくは両フレームからの補間フレームとの差分値の内、最もデータ量が少ないものを符号化する両方予測符号化画像（Ｂピクチャ）とを有し、これらの符号化モードによる各フレームを所定の順序で組み合わせている。
【０００６】
ＭＰＥＧにおいては、Ｉピクチャ、Ｐピクチャ及びＢピクチャを夫々１枚、４枚及び１０枚で１単位（ＧＯＰ）とし、先頭にＩピクチャを配し、その後に２枚のＢピクチャと１枚のＰピクチャを繰り返し配する組み合わせを推奨している。一定周期でＩピクチャを置くことによって、逆再生等の特殊再生、及びＧＯＰを単位とした部分再生を可能にするとともに、エラー伝播の防止を図っている。なお、フレーム中で新たな物体が現われた場合には、時間的に先行するフレームとの差分を取るよりも後行するフレームとの差分を取った方がその差分値が少なくなる場合がある。そこで、ＭＰＥＧでは、上述のような両方予測符号化を行い、より高能率な圧縮を行っている。
【０００７】
ＭＰＥＧでは動き補償を採用する。即ち、８画素×８画素のブロックを輝度データについて４ブロック、色差データについて２ブロック集めた所定ブロック（マクロブロック）単位で、先行又は後行フレームの対応ブロック近傍のマクロブロックとの差分をとり、一番差が少ないマクロブロックを探索することによって動きベクトルを検出し、この動きベクトルをデータとして符号化する。復号の際には、この動きベクトルを用いて先行又は後行フレームの対応マクロブロックデータを抽出し、これによって、動き補償を用いて符号化された符号化データを復号する。動き補償に際しては、時間的に先行するフレームを一旦、符号化した後、再度、復号化したフレームを得て先行するフレーム（参照フレーム）とし、この参照フレームにおけるマクロブロックと符号化しようとするフレームのマクロブロックとを用いて動き補償が行なわれる。なお、ＭＰＥＧ１では、フレーム間の動き補償を行うが、ＭＰＥＧ２では、フィールド間の動き補償が行なわれる。動き補償によって得られた差分データ及び動きベクトルは、先に説明したようなＤＣＴ変換及びハフマン符号化によって更に高能率符号化される。
【０００８】
ＭＰＥＧ方式のデータ構造を説明する。ＭＰＥＧデータは、ビデオシーケンス層、ＧＯＰ層、ピクチャ層、スライス層、マクロブロック層及びブロック層から成る階層構造で構成されている。以下、下層から上層に順に説明する。
【０００９】
ブロック層は、ＪＰＥＧと同様に、輝度データ及び色差データ毎に８画素×８画素で各々構成され、この単位毎にＤＣＴ（離散コサイン変換）が行われる。マクロブロック層は、８画素×８画素のブロックを輝度データについては４ブロック、色差データについて各１ブロックをまとめ、マクロブロックヘッダを付したものであり、ＭＰＥＧ方式では、このマクロブロックが動き補償及び符号化の単位となる。マクロブロックヘッダは、各マクロブロック単位の動き補償及び量子化ステップの各データ、並びに各マクロブロック内の６つのＤＣＴブロック（Ｙ０，Ｙ１，Ｙ２，Ｙ３，Ｃｒ，Ｃｂ）がデータを有するか否かのデータを含む。
【００１０】
スライス層は、画像の走査順に連なる１以上のマクロブロック及びスライスヘッダで構成され、同一スライス層内の一連のマクロブロックにおける量子化ステップを一定とすることができる。各スライスヘッダは、各スライス層内の量子化ステップに関するデータを有し、各マクロブロックに固有の量子化ステップデータがない場合には、そのスライス層内の量子化ステップを一定とする。先頭のマクロブロックでは、直流成分の差分値がリセットされる。
【００１１】
ピクチャ層は、スライス層を１フレーム単位で複数集めたものであり、ピクチャースタートコード等からなるヘッダと、これに続く１又は複数のスライス層とからなる。ヘッダは、画像の符号化モードを示すコード（符号化識別符号）、及び動き検出の精度（画素単位か半画素単位か）を示すコードを含む。
【００１２】
ＧＯＰ層は、グループスタートコード及びシーケンスの最初からの時間を示すタイムコード等からなるヘッダと、これに続く複数のＩフレーム、Ｂフレーム又はＰフレームから構成される。
【００１３】
ビデオシーケンス層は、シーケンススタートコードから始まってシーケンスエンドコードで終了し、その間に画像サイズ及びアスペクト比等の復号に必要な制御データ、並びに、画像サイズ等が同じ複数のＧＯＰが配列される。
【００１４】
このようなデータ構造を持つＭＰＥＧ方式は，その規格にてビットストリームが規定されている。
【００１５】
また、再生装置としては種々のものがあり、これらの付加機能として画像を表示する際に付加情報を重ね合わせて表示するものもある。付加情報を画像と合成して表示する再生装置においては、再生画像の重要な領域に付加画像が重ならないように合成されることが求められている。例えば、特許文献１には、符号化データに重要領域情報を挿入しておき、復号化時に重要領域情報を抽出し付加情報の表示位置判断に使用する技術が記載されている。また、特許文献２及び３には、再生中の映像の被写体を判別し、付加情報の表示領域と被写体が重なる場合には付加情報表示位置を変更する技術が記載されている。
【特許文献１】特開平０８−０９８１７２号公報
【特許文献２】特開平０６−２６８８９７号公報
【特許文献３】特開平０６−３５０９５７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１６】
しかし、従来の方法では、重要な領域情報を判断するために符号化データに範囲情報を挿入するので、符号化データのサイズが肥大化するという問題がある。
【００１７】
また、再生中の映像から重要領域を判別する場合に、重要領域が動くと、付加情報表示位置も移動する。従って、付加情報に表示期間が設けられている場合には、表示期間内に情報を読み取れないことがある。
【００１８】
本発明は、このような不都合を解消する情報表示位置制御方法及び装置を提示することを目的とする。
【課題を解決するための手段】
【００１９】
本発明に係る情報表示位置制御方法は、符号化動画信号を復号して表示する動画表示装置において、所定期間の符号化信号を先読みする符号化信号伝達ステップと、前記所定期間の符号化信号から被写体の動きを検出し、被写体の動きに応じて表示候補領域情報を生成する領域判断ステップと、前記表示候補領域情報から情報表示位置を決定して情報表示画面を作成する情報表示画面生成ステップと、前記情報表示画面と復号された動画を合成する合成ステップとを具備することを特徴とする。
【００２０】
本発明に係る情報表示位置制御装置は、符号化動画信号を復号して表示する動画表示装置において、所定期間の符号化信号を先読みする符号化信号伝達手段と、前記所定期間の符号化信号から被写体の動きを検出し、被写体の動きに応じて表示候補領域情報を生成する領域判断手段と、前記表示候補領域情報から情報を表示する位置を決定して情報表示画面を作成する情報表示画面生成手段と、動画に重ねて表示する情報の表示期間及び表示内容をそれぞれ前記符号化信号伝送手段及び前記情報表示画面生成手段に通知する情報表示制御手段と、前記情報表示画面と復号された動画を合成する合成手段とを具備することを特徴とする。
【発明の効果】
【００２１】
本発明によれば、符号化信号に含まれる動きベクトルを用いて注目領域の判断を行うので、注目領域判定のための特別なデータを必要とせず符号化データが肥大化することはない。
【００２２】
また、動画の所定期間の符号化信号を先読みして、注目領域を判断して情報表示候補領域作成するので、表示期間を通して表示情報が位置を変えることが無い。
【００２３】
表示情報のレベルと閾値の比較結果の応じて表示候補領域を判断するので、表示する情報の種類に応じて、注目領域を避けて表示することも、鑑賞者の目に付きやすい位置に配置することも可能である。
【００２４】
撮影時に記録しておいたカメラ情報を積極的に利用することで、注目領域の判定を効率よく行うことが出来る。
【発明を実施するための最良の形態】
【００２５】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００２６】
図１は、本発明の好ましい一実施例の概略構成ブロック図を示す。
【００２７】
復号化手段１０１は、符号化信号を復号し、復号化画像を生成する。情報表示制御手段１０６は、表示すべき情報の表示期間及び表示内容に応じて符号化信号伝達手段１０３及び情報表示画面生成手段１０５を制御する。符号化信号伝達手段１０３は、再生画像として表示すべき再生対象符号化信号を復号化手段１０１に伝達すると共に、情報表示制御手段１０６による指示によって符号化信号の所定期間分の先読みを行い、先読み符号化信号を領域判断手段１０４に伝達する。
【００２８】
領域判断手段１０４は、所定期間分の先読み符号化信号から所定期間分の画像の注目領域を判断し、情報表示の候補となる表示候補領域情報を生成する。情報表示画面生成手段１０５は、情報表示制御手段１０６から指示される表示情報の内容を、領域判断手段１０４からの表示候補領域情報で指定される表示領域に配置した画面を生成する。
【００２９】
合成手段１０２は、復号化手段１０１で生成された復号化画像と情報表示画面生成手段１０５で生成された情報表示画面を合成し、出力画像信号を生成する。
【００３０】
図２は、本実施例の動作フローチャートである。図６は、動画の一部の画像であり、動画の０秒から６秒までの画面を一秒おきに示したものである。図６に示す動画にメール受信情報を合成表示する場合を例に、図２のフローチャートに示す処理の流れを具体的に説明する。
【００３１】
情報表示制御手段１０６に表示開始タイミングと表示する情報の種類を含む情報表示指示命令が入力すると、情報表示開始点（２０１）に入る。本実施例では、表示タイミングを「１秒から」、表示する情報の種類を「メール受信通知」とする。
【００３２】
情報表示制御手段１０６はまず、情報表示指示命令に従い、表示する情報の種類と表示期間を表示情報テーブル（図３）から判断し、符号化信号伝達手段１０３に表示開始タイミングと表示期間から成る先読み期間制御信号を供給する（２０２）。図３は、表示情報テーブルの構成例を示す。表示情報テーブルは、表示する情報の種類３０１〜３０３と、表示開始タイミングから表示を継続する期間である表示期間３０４〜３０６と、表示内容３０７〜３０９とから成る。本実施例では、情報表示指示命令が「メール受信通知」（３０１）なので、先読み期間は表示タイミング「１秒」から「４秒間」（３０４）であり、表示する情報の内容は、「メール受信通知アイコン」（３０７）である。ここで、もし情報表示指示命令に表示期間が含まれていれば、情報表示指示命令の表示期間を表示情報テーブルの表示期間より優先しても何ら問題は無い。
【００３３】
続いて、符号化信号伝達手段１０３は、表示開始タイミングから表示期間分の符号化信号を表示開始タイミングより前に先読みし、領域判定手段１０４に送る（２０３）。表示開始タイミングが「１秒」で、表示期間が「４秒間」なので、先読み対象の区間はフレーム５０２からフレーム５０５までである。符号化信号伝達手段１０３は、通常の再生状態にある場合は、符号化信号を単に復号化手段１０１に伝送しているだけだが、先読み指示があると、通常の再生状態での動作に加えて上述した先読みの動作を行う。
【００３４】
領域判定手段１０４は、先読みした符号化信号の各フレームの動きベクトルを検出して、鑑賞者が注目している領域、すなわち動きのある領域を抽出する。本実施例では、図６のフレーム６０１からフレーム６０４までの領域が注目領域として抽出される。さらに、フレーム間のＯＲ（論理和）集合を取ることで、動画内の注目領域（動きのある領域）の情報を作成する。本実施例では、各フレームのＯＲ集合は、図７の中心付近の領域７０１となる。この注目領域の補集合領域を表示候補領域とする。つまり、注目領域以外の領域７０２，７０３，７０４が表示候補領域である。表示候補領域に含まれる矩形を抽出し、面積の大きいほうから優先順位をつける（２０４）。図７では、優先順位が高いほうから領域７０２，７０３，７０４の順になる。優先順位は、領域の面積から判断するのではなく、領域の形及び画面内の位置などから判定しても、何ら問題は無い。また領域を矩形で分割せずに、分断された領域に対して同様の処理を行っても良い。
【００３５】
情報表示画面生成手段１０５は、領域判断手段１０４から通知された表示候補領域の優先順位の高い領域７０２を情報表示領域とする（２０５）。情報表示制御手段１０６は、情報表示画面生成手段１０５に表示する情報の内容を通知する（２０６）。情報表示画面生成手段１０５は、表示データテーブル（図４）を参照し、表示する情報の内容から表示データを判断し、情報表示領域（７０２）に表示データを表示する情報表示画面を生成する（２０７）。本実施例では、表示する情報の内容は、メール受信通知アイコン４０１であり、表示データビット列からなるアイコン４０４である。
【００３６】
続いて、合成手段１０２が、復号化手段１０１で生成した復号化画像と情報表示画面生成手段１０５で生成した情報表示画面とを合成して、出力画像信号を生成する（２０８）。
【００３７】
情報表示期間が終了したかどうかを判断する（２０９）。表示期間がまだ終了していない場合は、表示する情報に変更があるかどうかを判断し（２１０）、もし変更がない場合は、出力画像信号の生成（２０８）に遷移し、変更がある場合は、変更する表示情報の内容を情報表示制御手段１０６から情報表示画面生成手段１０５に通知し（２０６）、その後、情報表示画面を生成する（２０７）。表示期間が終了していれば（２０９）、情報表示画面から表示が終了した情報を削除し（２１１）、情報表示処理を終了する（２１２）。
【００３８】
以上の処理を行うことで、実際の出力画面（図８）において、メール受信アイコン８０１，８０２，８０３，８０４が、情報表示期間の間は注目領域に重ならないように合成表示される。
【実施例２】
【００３９】
表示する情報の種類に応じてレベルを設定しておき、レベルが所定の閾値以下ならば注目領域に配置し、レベルが閾値より大きい場合は第１実施例と同様に処理する実施例を説明する。
【００４０】
表示開始タイミングと表示する情報の種類を含む情報表示指示命令が来ると、レベル付き表示情報テーブル（図９）を参照し、表示期間、表示内容、レベルを判断する。例えば、情報の種類が「メール受信通知」９０１であれば、表示期間は「４秒」９０４、表示内容は「メール受信アイコン」９０７、レベルは「２」９１０である。また、情報の種類が「カウントダウン」９０２であれば、表示期間は「１０秒」９０４、表示内容は「数字：９〜０」９１１、レベルは「１」９１１となる。ここで、情報表示指示命令にレベルが含まれている場合、情報表示命令のレベルを優先しても良い。
【００４１】
例えば閾値を２とする。領域判定手段１０４で表示候補領域情報を作成する際に、表示する情報のレベルが１又は２であった場合、注目領域を表示候補領域情報とし、レベルが３以上であった場合は、注目領域の補集合領域を表示候補領域情報とする。以後は、第１実施例と同じ処理を行うことで、情報の種類に応じて、視聴者の注意を引く領域に効率的に情報を表示することができる。
【００４２】
本実施例では、レベルが閾値以下の場合に注目領域に付加情報を表示し、逆にレベルが閾値より大きい場合は注目領域外に付加情報を表示するようにしたが、レベルが閾値以下の場合に注目領域外に付加情報を表示し、逆にレベルが閾値より大きい場合に注目領域に付加情報を表示するようにしても良い。
【実施例３】
【００４３】
次に、動画撮影時にカメラ情報がいっしょに記録されている場合に、注目領域の判定にカメラ情報を利用する本発明の第３実施例を説明する。
【００４４】
図１１は、本発明の第３実施例の概略構成ブロック図を示す。図１に示す実施例と同じ構成要素には同じ符号を付してある。
【００４５】
復号化手段１０１は、符号化信号を復号し、復号化画像を生成する。情報表示制御手段１１０６は、表示すべき情報の表示期間及び表示内容に応じて符号化信号伝達手段１０３、カメラ情報読込み手段１１０７及び情報表示画面生成手段１０５を制御する。符号化信号伝達手段１０３は、再生画像として表示すべき再生対象符号化信号を復号化手段１０１に伝達すると共に、情報表示制御手段１０６による指示に従い符号化信号の所定期間分の先読みを行い、先読み符号化信号を領域判断手段１１０４に伝達する。カメラ情報先読み手段１１０７は、情報表示制御手段１１０６からの指示に応じてカメラ情報の所定期間分の読み込みを行い、カメラ情報を領域判断手段１１０４に伝達する。
【００４６】
領域判断手段１１０４は、所定期間分の先読み符号化信号とカメラ情報から、所定期間分の画像の重要領域を判断し、情報表示の候補となる表示候補領域情報を生成する。情報表示画面生成手段１０５は、情報表示制御手段１１０６から指示される表示情報の内容を、領域判断手段１１０４からの表示候補領域情報で指定される表示領域に配置した画面を生成する。
【００４７】
合成手段１０２は、復号化手段１０１で生成された復号化画像と情報表示画面生成手段１０２で生成された情報表示画面とを合成し、出力画像信号を生成する。
【００４８】
本実施例では、撮像装置で撮影を行う際に、撮影状態として横方向動きレベル、縦方向動きレベル及びズームレベルといったカメラ情報をＭＰＥＧ動画とは別に時系列に記録しておく。再生時には、情報表示制御手段１１０６における指示に従い所定期間のカメラ情報を読み込む。領域判断手段１１０４で先読み符号化信号に含まれる動きベクトルから注目領域を判断する際に、カメラの動き情報から先読み符号化信号に含まれる動きベクトルをマスクし、注目領域の判断の効率を上げる。つまり、カメラの動き情報が横方向の動きであれば、先読み符号化信号に含まれる大きさの近い横方向の動きベクトルをマスクすることで、注目領域を判断する、またカメラの動き情報がズームであれば、大きさの近い放射状の動きベクトルをマスクすることで、注目領域を判断する。このとき、ＭＰＥＧの全フレームの動きベクトルを参照するのではなく、Ｐフレームの動きベクトルのみ、前方予測動きベクトルのみ、後ろ方向動きベクトルのみ、又は、１ＧＯＰ内で一箇所の動きベクトルのみを参照して、注目領域を判定しても問題はない。
【００４９】
上述の各実施例において、表示開始タイミングは、実時間、再生中の動画の先頭からの相対時間、及び現在からの相対時間の何れで指定しても、何ら問題はない。
【図面の簡単な説明】
【００５０】
【図１】本発明の第１実施例の概略構成ブロック図である。
【図２】第１実施例のフローチャートである。
【図３】表示情報テーブルの一例である。
【図４】表示データテーブルの一例である。
【図５】動画例である。
【図６】先読み期間と重要領域の模式図である。
【図７】表示候補領域の模式図である。
【図８】情報表示例の模式図である。
【図９】レベル付き表示情報テーブルの一例である。
【図１０】ＭＰＥＧの各ピクチャの配置例を示す模式図である。
【図１１】本発明の第３実施例の概略構成ブロック図である。
【符号の説明】
【００５１】
１０１：復号化手段
１０２：合成手段
１０３：符号化信号伝達手段
１０４：領域判断手段
１０５：情報表示画面生成手段
１０６：情報表示制御手段
１１０４：領域判断手段
１１０６：情報表示制御手段
１１０７：カメラ情報読込み手段
【図１】
2005300943.tif 000003
【図２】
2005300943.tif 000004
【図３】
2005300943.tif 000005
【図４】
2005300943.tif 000006
【図５】
2005300943.tif 000007
【図６】
2005300943.tif 000008
【図７】
2005300943.tif 000009
【図８】
2005300943.tif 000010
【図９】
2005300943.tif 000011
【図１０】
2005300943.tif 000012
【図１１】
2005300943.tif 000013