(57)【要約】【課題】  ピクチャインピクチャ表示において、撮影対象の動きが比較的少ない場合や、撮影対象を中心に配置するような場合であっても、親画面上の重要な情報を子画面が覆い隠すことを低減する動画像再生方法を提供する。【解決手段】  複数のブロックを有する親画面上に子画面を合成表示して動画像を再生する動画像再生方法において、まず、複数の親画面のフレームに基づいて、前記親画面のブロック毎の動きベクトルを算出する。そして、子画面の表示位置を、求めた動きベクトルの方向に基づいて決定する。【選択図】  図１７
2009094879.tif 000002
【特許請求の範囲】
【請求項１】
親画面上に子画面を合成表示して動画像を再生する動画像再生方法において、
前記親画面の動きベクトルの方向に基づいて、前記子画面の表示位置を決定する工程と、
前記決定された表示位置に基づいて前記親画面に前記子画面を表示する工程と、
を有することを特徴とする動画像再生方法。
【請求項２】
前記親画面の動きベクトルに基づいて前記親画面の特徴量ベクトルを算出し、前記算出された特徴量ベクトルの方向に基づいて、前記子画面の表示位置を決定することを特徴とする請求項１に記載の動画像再生方法。
【請求項３】
前記特徴量ベクトルの進行方向の前方に存在する領域に前記子画面の表示位置を決定することを特徴とする請求項２に記載の動画像再生方法。
【請求項４】
前記親画面を複数の領域に分割し、前記親画面の特徴量ベクトルの角度と、前記複数の領域毎に取得された特徴量ベクトルの角度とに基づいて、前記子画面の表示位置を前記領域の中から決定することを特徴とする請求項３に記載の動画像再生方法。
【請求項５】
前記親画面を複数の領域に分割し、
前記複数の領域毎に算出される特徴量ベクトルの方向に基づいて、前記子画面の表示位置を決定することを特徴とする請求項１に記載の動画像再生方法。
【請求項６】
前記親画面の特徴量ベクトルの方向の後方に存在する領域に、前記子画面の表示位置を決定することを特徴とする請求項５に記載の動画像再生方法。
【請求項７】
前記特徴量ベクトルは、前記親画面を構成するマクロブロックの動きベクトルを加算したものであることを特徴とする請求項２又は５に記載の動画像再生方法。
【請求項８】
前記特徴量ベクトルは、前記親画面を構成するマクロブロックの動きベクトルの方向を分類することにより決定されることを特徴とする請求項２又は５に記載の動画像再生方法。
【請求項９】
前記子画面の表示位置は、前記子画面が表示されている表示位置及び動きベクトルの終点に基づいて、決定されることを特徴とする請求項１に記載の動画像再生方法。
【請求項１０】
前記動きベクトルに基づいて決定される前記子画面の表示位置は、予め設定された表示候補から決定されることを特徴とする請求項９に記載の動画像再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、親画面上に子画面を合成表示するピクチャインピクチャ機能を備えた動画像再生方法に関する。
【背景技術】
【０００２】
親画面上に子画面を合成表示するピクチャインピクチャ表示において、通常は子画面の表示領域が固定されている。しかし、子画面表示領域が固定されていると、親画面上の主要登場人物等の重要な情報を覆い隠す可能性がある。
【０００３】
また、ユーザの操作で表示位置を変更したとしても、親画面の表示するシーンに応じて子画面の好ましい表示位置は異なり、シーンに応じて子画面の表示位置も変更する必要があるため、操作が煩雑になるという問題がある。
【０００４】
そこで、従来、文献特開平５−２６８５４３号公報に記載されているように、親画面内の動き情報から子画面の表示位置を自動的に決定するという提案がなされている。
【０００５】
これは、親画面の動きとして、１フレーム前の画像と、次のフレームの画像との減算を行い、差信号を取り出す。その差信号を用いて、４分割された親画面で、最も差信号が大きくなるエリアと最も差信号が少なくなるエリアをピーク位置検出回路で決定する。
【０００６】
ここで、最も差信号が大きくなるエリアと、子画面を表示しているエリアが一致した場合には、子画面を表示する場所を、最も差信号が少なくなるエリアに移動させるように制御している。あるいは、移動させる代わりに、子画面を非表示にしたり、一定時間だけ最も差信号が少なくなるエリアに移動させるというものがある。
【特許文献１】特開平５−２６８５４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した従来の構成では以下のような欠点がある。
例えば、主たる撮影対象が比較的動きの少ない対象であり、カメラのアングルの変化が比較的少ない撮影条件であった場合を考える。
【０００８】
この場合、主たる撮影対象が、子画面が表示されている領域に重なる位置に移動したとしても、他の領域が主たる撮影対象が表示されている領域と比べて、動きの大きいエリアであった場合は、子画面は移動または非表示にはされない。
【０００９】
結果、子画面が表示されている領域で重要な情報を覆い隠してしまう可能性があるという欠点があった。
【００１０】
また、例えばサッカーの試合などを撮影した動画に適用した場合、カメラのアングルはサッカー選手を中心に配置するようにパン、チルトする。よって、画面内で動きの多い領域がサッカーの競技場を映した領域になり、動きの少ない領域はサッカー選手を映した領域となる。結果、従来の構成では、主たる撮影対象であるサッカー選手上に子画面を配置してしまい重要な情報を覆い隠す可能性があるという欠点があった。
【００１１】
そのため、本発明の目的は、ピクチャインピクチャ表示において、撮影対象の動きが比較的少ない場合や、撮影対象を中心に配置するような場合であっても、親画面上の重要な情報を子画面が覆い隠すことを低減する動画像再生方法を提供することとする。
【課題を解決するための手段】
【００１２】
上記課題を解決する為に、本発明では以下を提供する。
親画面上に子画面を合成表示して動画像を再生する動画像再生方法において、
前記親画面の動きベクトルの方向に基づいて、前記子画面の表示位置を決定する工程と、
前記決定された表示位置に基づいて前記親画面に前記子画面を表示する工程と、
を有することを特徴とする動画像再生方法。
【発明の効果】
【００１３】
以上説明してきたように、本発明によれば、親画面上に子画面を合成表示するピクチャインピクチャ表示において、親画面全体の動きベクトルの方向に基づいて、子画面の表示位置を決定する。
【００１４】
このような処理を行うことにより、親画面上の重要な情報を子画面が覆い隠してしまう可能性を低減することが可能となる。
【発明を実施するための最良の形態】
【００１５】
以下に添付図面を参照し、本発明の親画面上子画面を合成表示して動画像を再生する動画像再生方法について、好適な実施例を詳細に説明する。
【００１６】
なお、実施例１及び２では、動画像を撮影する際のビデオカメラがパン又はチルトした場合における、動画像の再生方法ついて説明する。
【００１７】
なお、実施例３及び実施例４では、動画像を撮影する際のビデオカメラが固定された場合のように親画面の特徴量ベクトルが小さい、若しくは無い場合の動画像再生方法について説明する。
【００１８】
（実施例１）
図１７は本発明における実施例１の事例を示している。図１７（ａ）では、親画面１７０１、子画面１７０２で構成されるピクチャインピクチャ画面において、カメラのアングルが親画面１７０１の主要素であるオブジェクト１７０３を画面の中心に据えるようにしながら、オブジェクト１７０３の進行方向にパンすることを表している。そして、本実施例では、オブジェクト１７０３の進行方向の前方に、現在表示されている子画面１７０２を、図１７（ｂ）のようにオブジェクト１７０３の進行方向と逆の方向に移動させる事例に適用して説明する。
【００１９】
図１は実施例１の構成を表すブロック図である。
【００２０】
本例の動画像再生方法を実行する動画像再生装置は、メイン動画入力部１０１、サブ動画入力部１０２、子画面領域設定回路１０３、画像合成部１０４、合成画像出力部１０５、デコーダ１０６、チューナー１０７を有している。以下に各部位についての説明を記述する。
【００２１】
メイン動画入力部１０１は、ピクチャインピクチャ表示におけるメイン動画を入力する部位であり、デコーダ１０６から入力された動画を、子画面領域設定回路１０３と、画像合成部１０４に出力している。本実施例では、記録媒体に記録されているデータをデコーダ１０６に通し、デコードした動画を入力したが、例えば、放送波で受信した動画を入力してもよいし、ビデオカメラで撮像した動画をそのまま入力してもよい。接続される装置、手段は特に限定されない。
【００２２】
サブ動画入力部１０２は、ピクチャインピクチャ表示におけるサブ動画を入力する部位であり、チューナー１０７から入力された動画を、画像合成部１０４に出力している。本実施例では、チューナーから入力された動画を入力したが、例えば、ビデオカメラで撮像した動画をそのまま入力してもよいし、記録媒体内にあるデータをデコードした動画を入力してもよい。接続される装置は特に限定されない。
【００２３】
メイン動画入力部１０１およびサブ動画入力部１０２においては、双方とも接続される装置が限定されない事から、相互に接続される装置を入れ替えても問題ない。したがって、接続される装置の組み合わせにおいても限定されない。
【００２４】
子画面領域設定回路１０３は、メイン動画入力部１０１に入力された動画の情報に基づいて、子画面の表示位置を決定し、子画面の表示位置情報を画像合成部１０４に出力する回路である。子画面領域設定回路１０３についての詳細な説明は後述する。
【００２５】
画像合成部１０４は、メイン動画入力部１０１と、サブ動画入力部１０２より入力された動画を、子画面領域設定回路１０３から入力される子画面の表示位置の情報に基づいて合成して、合成画像出力部１０５へ出力する。
【００２６】
合成画像出力部１０５は動画を出力する部位であり、表示画面、例えば液晶ディスプレイなどを接続しても良いし、記録装置、例えばハードディスクドライブなどを接続してもよい。接続される装置は特に限定されない。
【００２７】
デコーダ１０６は、ディスクやテープなどの記録媒体に記録されている動画データをデコードし、デコードされた動画をメイン動画入力部１０１に出力する部位である。接続される記録装置は、ＤＶＤドライブやＢｌｕ−ｒａｙ  Ｄｉｓｃドライブ  のような光ディスクドライブでもよいし、ハードディスクドライブでもよいし、半導体メモリ装置でもよい。接続される装置は特に限定されない。
【００２８】
チューナー１０７は、放送波が入力され、選局された動画をサブ動画入力部１０２に出力している。チューナー１０７に入力される放送波は、デジタル放送でも良いしアナログ放送でも良い、入力される放送波の種類は限定されない。
【００２９】
ただし、チューナー１０７に入力される放送波がアナログ放送の場合は、チューナー１０７がアナログチューナーの機能を具備する必要があり、またデジタル放送の場合は、チューナー１０７がデジタルチューナーの機能を具備する必要がある。
【００３０】
実施例１では、入力される放送波について特に限定していないが、後述する実施例２では、デジタル放送を入力する事例について説明する。
【００３１】
続いて、図１の子画面領域設定回路１０３について説明する。
【００３２】
図２は子画面領域設定回路１０３の構成を表すブロック図である。子画面領域設定回路１０３は、動画入力部２０１、遅延バッファ２０２、動きベクトル算出部２０３、特徴量ベクトル算出部２０４、子画面表示候補保持部２０５、子画面表示候補選択部２０６、子画面表示候補出力部２０７を有している。以下に各部位についての説明を記述する。
【００３３】
動画入力部２０１は、動画を入力する部位であり、メイン動画入力部１０１より入力された動画を動きベクトル算出部２０３と、遅延バッファ２０２に出力する。
【００３４】
遅延バッファ２０２は、動画入力部２０１より入力された動画を一時記憶する部位である。一時記憶する動画は、毎フレーム保持してもよいし、複数フレーム毎に保持してもよい。保持される動画のフレーム間隔、保持枚数は特に限定されない。
【００３５】
保持される動画のフレーム間隔を限定しない理由としては、計算負荷を考慮して適当なフレーム間隔を設定する必要があるからである。
【００３６】
例えば、短いフレーム間隔で出力した場合、遅延バッファ２０２から出力されたフレーム毎に動きベクトル算出などの計算負荷が生じるため、子画面領域設定回路１０３の計算負荷が上昇する。結果として、他の処理の計算時間を圧迫し、ユーザ（動画視聴者）の視認性を低下させる処理、例えば、動画表示などの遅延が生じる可能性がある。
【００３７】
また、動画のフレームの保持枚数を限定しない理由としては、計算負荷の変動に対して処理の安定性を確保するのに適当な保持枚数を設定する必要があるからである。
【００３８】
例えば、動画像再生方法を実装した装置全体の計算負荷が一時的に増大し、遅延バッファ２０２に動画を入力する処理がキャンセルされたとする。
【００３９】
この場合、動画フレームを複数保持しておくことで、保持しているフレームから動画を出力する事が可能になり、結果として計算負荷の変動に対して処理の安定性が向上する。
【００４０】
動きベクトル算出部２０３は、まず動画入力部２０１より入力された、動画のフレームと遅延バッファ２０２の動画のフレームを複数のブロック（マクロブロックの略。以下同じ。）に分割し、ブロック毎の動きベクトルを算出し、特徴量ベクトル算出部２０４および子画面表示候補選択部２０６に出力する。なお、ブロックの分割数は、処理速度、入力される動画の解像度、により決定される。
【００４１】
分割された一つのブロックにおける動きベクトル算出方法について図１０を用いて詳細に説明する。
【００４２】
１００５は時間軸を表しており、親画面１００１に表示されるフレーム（ａ）はフレーム（ｂ）の１フレーム前の画像である。フレーム（ａ）を複数分割した内の一つのブロック１００２からブロックマッチングを行いフレーム（ｂ）のブロック１００４を導出する。そして、フレーム（ｂ）上に表示されている１フレーム前の画面上ブロック１００２の座標からブロック１００４までの相対座標を動きベクトルとして算出する。この場合、ベクトル１００３が動きベクトルに相当する。
【００４３】
図２に戻り、特徴量ベクトル算出部２０４について説明する。
特徴量ベクトル算出部２０４は、動きベクトル算出部２０３より入力された動画におけるブロック毎の動きベクトルの方向成分を集計する。
【００４４】
そして、その集計結果のベクトルの大きさ、又はベクトルの方向毎の個数が所定の閾値以上だった場合に、子画面表示候補選択部２０６に特徴量ベクトルとして集計結果のベクトルを出力する。ここで出力する特徴量ベクトルの大きさは特に限定されないが特徴量ベクトルの始点は、親画面の中心とする。
【００４５】
ここで言う所定の閾値は、パンやチルトなどのカメラアングルの変化の有無を判別するのに適当な閾値であり、カメラが動作しているかを判別する目的で設定される。閾値の設定は、入力された動画のブロックの分割数および動画の種類に応じて前もって設定しても良いし、入力されている動画に応じて動的に決定してもよい。
【００４６】
ここで、前記動きベクトルの方向成分の集計方法について、以下の二種類の方法を説明する。二種類の方法とは、（ｉ）単位ベクトルを加算する方法と、（ｉｉ）ベクトルの方向毎の個数をカウントする方式である。
【００４７】
まず、（ｉ）単位ベクトルの加算を用いて動きベクトルの集計結果を求める方法について、図１１を用いて説明する。
【００４８】
１１０１は動きベクトル算出部２０３より入力された動きベクトルを有する表示画面全体を表している。１１０３はブロック１１０２の動きベクトルである。集計結果を求める方法としては、まず、表示画面１１０１（親画面）に存在するブロック毎の動きベクトルを単位ベクトルに変換する。ここで、表示画面１１０１上に、その他の文字情報等とが別途に表示されている場合には、親画面のみの動きベクトルを単位ベクトルに変換する。なお、単位ベクトルに変換とは、動くベクトルの方向はそのままで、動きベクトルの大きさを一定の大きさに揃えることを言う。
【００４９】
そして、単位ベクトル化した動きベクトルを図示すると１１０４のようになる。ブロック１１０２上の動きベクトル１１０３は、単位ベクトルに変換後、ブロック１１０５上の単位ベクトル１１０６となる。単位ベクトルに変換する理由としては、本実施例における動きベクトルの集計ではカメラアングルの変化の方向を取得することが目的であり、カメラアングルの変化による動きベクトルの大きさによる影響を軽減する為である。
【００５０】
そして、１１０４の単位ベクトル化した動きベクトルを加算した場合の集計結果を１１０７に図示する。１１０７上の１１０８は集計結果から導出された特徴量ベクトルである。
【００５１】
実施例１では親画面上の動きベクトルを単位ベクトルに正規化したが、例えばベクトルの大きさが２や３などの単位ベクトルとは異なる大きさで正規化してもよい。
【００５２】
次に、（ｉｉ）ベクトルの方向毎の個数をカウントする方法について、図１２を用いて説明する。
【００５３】
１２０１は動きベクトル算出部２０３より入力された動きベクトルを有する表示画面全体を表している。１２０３はブロック１２０２の動きベクトルである。ここで、表示画面１２０１全体の動きベクトルをベクトルの方向毎に分類する。方向毎の分類数、算出方法は特に限定されない。また、表示画面に親画面と、その他の文字情報とが別途に表示されている場合には、親画面の動きベクトルのみをベクトルの方向毎に分類する。
【００５４】
そして、分類されたベクトルの方向の集計結果を１２０４に図示する。これは、動きベクトルの方向を０度から３６０度の間で８分割されたものを示している。１２０４のように分類後、カメラアングルの変化の有無を判別するのに適当な閾値と比較し、閾値以上であるベクトルの方向成分を選択する。ここで、１２０４で図示された方向の分類の仕方は、０度から４５度のように幅を持った値になっているが、特に幅については限定されない。また、本明細書及び特許請求の範囲において、例えば、０度から４５度の方向を有するベクトルについて総称するとき、同方向のベクトルと称する。他の角度範囲においても、同様とする。
【００５５】
また、算出する集計結果は、その中間の値、例えば０度から４５度の分類が選択された場合には、中間の値である２２．５度であってもよいし、中間値でなくても任意の規則をもった値であっても良い。例えば、選択された方向分類に属するベクトルの方向の平均値であってもよい。さらに閾値以上であるベクトルの方向分類が複数選択された場合には、ベクトルの方向毎に分類された個数の多い方のベクトル方向の平均値を特徴量ベクトルとしてもよいし、閾値以上であるベクトルの方向分類における各分類の平均値を特徴量ベクトルとしても良い。
【００５６】
１２０５上の１２０６は集計結果から取得された特徴量ベクトルである。
【００５７】
図２に戻り、子画面表示候補保持部２０５について説明する。子画面表示候補保持部２０５は、子画面の親画面上の位置、高さ、幅、属する領域などの情報が保持される。
【００５８】
子画面を表示する候補の保持方法は特に限定されないが、例として、一般的なＸＭＬ形式で保持する方法について図８を用いて説明する。ＸＭＬ形式の他にデータの保持方法としてバイナリデータを保持する方法などが存在するが、ＸＭＬ形式を例として説明する理由はバイナリ形式に比べて以下のような利点があるからである。ＸＭＬ形式はタグを使った記述法であるため、データの意味やデータ構造を保持したままデータの交換が可能である。さらに、人間に理解しやすく、テキスト形式のため、異なるプラットフォーム間の送信が可能である。
【００５９】
ここで、図８を用いて、子画面を表示する候補の情報の保持例を説明する。
【００６０】
図８における＜ｐｉｃｔｕｒｅ＞＜／ｐｉｃｔｕｒｅ＞で囲まれるテキスト領域に、親画面上に子画面を表示する候補を配置する領域の情報と、子画面の表示サイズと位置の情報を記述する。親画面上に子画面を表示する候補を配置する領域の情報は＜ａｒｅａ＞＜／ａｒｅａ＞に囲まれる領域に記述する。記述の方法はｌｅｆｔ  ｔｏｐなどの位置を表す語を用いて指定しても良いし、割合で示しても良いし、座標情報で保持してもよい。子画面の表示サイズと位置の情報は、＜ｓｉｚｅ＞要素の属性に表示サイズ情報を保持し、＜ｐｏｓ＞要素の属性に位置情報を保持する。＜ｓｉｚｅ＞要素の属性には子画面を表示する候補の表示サイズの幅と高さをピクセル数で保持しても良いし、親画面との割合で保持してもよい。＜ｐｏｓ＞要素の属性には親画面上の子画面の座標情報を保持してもよいし、親画面との割合で記述してもよい。
【００６１】
次に図９を用いてユーザによる子画面を表示する候補の情報を作成する方法について説明する。
【００６２】
子画面を表示する候補を決定する操作画面９０１において、まず、子画面の表示サイズ選択画面（ａ）の画面が表示され、子画面の表示サイズを決定する。枠９０２を、例えばリモコンなどの入力手段を用いて拡大縮小しながら適当な大きさを指定する。次に、子画面表示位置選択画面（ｂ）に遷移し、子画面を表示する候補の位置を選択する。子画面を表示する位置を設定する枠９０２を移動し、子画面を表示する位置を適当な位置に設定する。子画面を表示する位置が確定した後、子画面表示位置確定画面（ｃ）となり、確定された子画面を表示する位置は子画面表示位置確定画面（ｃ）上の枠９０２のようになる。以上の操作を繰り返す事で、複数の子画面を表示する位置を選択する。
【００６３】
子画面を表示する位置を四箇所選択後、全表示候補確定画面（ｄ）のようになり、四箇所の子画面を表示する候補は、枠９０２、９０３、９０４、９０５となる。ここで、子画面を表示する候補の位置に合わせて子画面を表示する領域が決定される。子画面表示候補９０２は子画面表示領域９０６に属し、同様に子画面表示候補９０３は子画面表示領域９０７に属し、子画面表示候補９０４は子画面表示領域９０８に属し、子画面表示候補９０５は子画面表示領域９０９に属するという対応関係になる。なお、子画面表示領域９０６〜９０９は、ブロックの集合体でもって構成されている。
【００６４】
本実施例では子画面を表示する候補の位置に合わせて子画面を表示する候補が属する領域が決定されたが、もちろんユーザが手動で子画面を表示する領域および、子画面を表示する候補を設定することができる。
【００６５】
子画面を表示する候補が確定した後の全ての子画面を表示する候補を確定する画面（ｄ）は、子画面表示候補保持形式９１０に変換される。９１０は上述した図８のデータと同一である。
【００６６】
図２に戻り、子画面表示候補選択部２０６は、主に、子画面表示候補保持部２０５から入力される子画面を表示する候補の情報および、特徴量ベクトル算出部２０４から入力される特徴量ベクトル情報を元に、子画面を表示する領域を決定する。以下に子画面を表示する領域を決定する方法について図１３、図１４、図１５を用いて詳細に説明する。
【００６７】
図１３において、子画面表示候補保持部２０５より入力された子画面表示候補１３０１、１３０２、１３０３、１３０４を有する（ａ）に対して、特徴量ベクトル算出部２０４より入力された特徴量ベクトル１３０６を用い、特徴量ベクトル１３０６の進行方向の前方に属する領域１３０５に子画面を表示する候補が属する領域を限定する。ここで、特徴量ベクトルの前方とは、特徴量ベクトルの始点から終点の間に直交する直線で親画面を二分した２つの領域における、特徴量ベクトルの終点側の領域を指す。特徴量ベクトルに直交する直線の交点の位置は特に限定されないが、交点の位置が特徴量ベクトルの始点にあることが望ましい。
【００６８】
その結果、子画面を表示する候補は、（ｂ）のように領域１３０５上にある子画面表示候補１３０１となる。
【００６９】
子画面表示候補は１３０１のみなので、子画面表示候補１３０１の情報を、子画面表示候補出力部２０７に出力する。
【００７０】
図１３の例では子画面を表示する領域を限定した際に、子画面表示候補１３０１の一つに限定されたが、子画面を表示する候補が複数存在した場合の例について図１４を用いて説明する。
【００７１】
図１４において、子画面表示候補保持部２０５より入力された子画面表示候補１４０１、１４０２、１４０３、１４０４を有する（ａ）に対して、特徴量ベクトル算出部２０４より入力された特徴量ベクトル１４０７を用い、特徴量ベクトル１４０７の進行方向の前方に属する領域１４０５、１４０６に子画面を表示する候補が属する領域を限定する。結果、子画面を表示する候補は、（ｂ）のように領域１４０５、１４０６上に存在する子画面表示候補１４０１、１４０２となる。
【００７２】
次に子画面表示候補１４０１、１４０２について、それぞれの子画面を表示する候補内の領域に対して、動きベクトル算出部２０３より動きベクトルの値を入力し、動きベクトルの方向成分を集計し、特徴量ベクトルを算出する。算出された特徴量ベクトルは１４０９，１４１０となる。
【００７３】
子画面を表示する候補内の領域の特徴量ベクトル１４０９、１４１０について、全体の特徴量ベクトル１４０７との類似度を算出する。ここでいう類似度とは、子画面を表示する候補内の領域の特徴量ベクトル１４０９、１４１０の夫々が、全体の特徴量ベクトル１４０７となす角度を元に算出される。ここでは、角度の差が小さいほど類似度が高くなるように設定される。算出された類似度を元に、類似度の高い子画面表示候補１４０１を選択する（ｃ）。最後に、選択された子画面を表示する候補を、子画面表示候補出力部２０７に出力する。
【００７４】
ここで類似度の高い子画面表示候補１４０１を選択する理由を以下に説明する。
【００７５】
例えば、サッカーの試合などを撮影した動画において、背景である競技場の上をサッカー選手がある方向に移動したとする。通常、主たる撮影対象であるサッカー選手を動画の中心に据えてパン、チルトする。この場合、サッカー選手の背景である競技場の多くの部分ははサッカー選手の進行方向とは逆の方向に動きベクトルが発生する。
【００７６】
よって、親画面の特徴量ベクトルの方向は、サッカー選手の背景である競技場の動きの方向と同一となる可能性が高い。ここで、子画面を表示する候補内の領域の特徴量ベクトルと、親画面の特徴量ベクトルとの類似度が高い場合、子画面を表示する候補内の領域は背景の一部である可能性が高い。
【００７７】
よって、親画面の特徴量ベクトルの方向と類似度の高い子画面を表示する候補内の領域の特徴量ベクトルを有する子画面を表示する候補を選択することで、重要でない領域、つまり背景の一部である領域に子画面を表示する可能性が高くなる。
【００７８】
図１４の例では、子画面を表示する候補内の領域の特徴量ベクトルと、全体の特徴量ベクトルとの類似度を比較し子画面を表示する候補を選択したが、類似度が同一であった場合の処理については明記していない。類似度が同一であった場合の処理について図１５を用いて説明する。
【００７９】
図１５において、子画面表示候補保持部２０５より入力された子画面表示候補１５０１、１５０２、１５０３、１５０４を有する図１５（ａ）に対して、特徴量ベクトル算出部２０４より入力された特徴量ベクトル１５０７を用い、特徴量ベクトル１５０７の進行方向の前方に属する領域１５０５、１５０６に子画面を表示する候補が属する領域を限定する。結果、子画面を表示する候補は、図１５（ｂ）のように領域１５０５、１５０６上に存在する子画面表示候補１５０１、１５０２となる。
【００８０】
次に子画面表示候補１５０１、１５０２について、それぞれの子画面を表示する候補内の領域に対して、動きベクトル算出部２０３より動きベクトルの値を入力し、動きベクトルの方向成分を集計し、特徴量ベクトルを算出する。算出された特徴量ベクトルは１５０９，１５１０となる。
【００８１】
子画面を領域する候補の領域の特徴量ベクトル１５０９、１５１０について、全体の特徴量ベクトル１５０７との類似度を算出する。算出後の類似度が同一であるので子画面表示候補１５０１、１５０２から類似度の情報を用いて、子画面を表示する候補を絞り込むことができない図１５（ｃ）。
【００８２】
ここで、親画面１５１１上の、現在の子画面の表示位置１５１２を参照し、子画面表示候補１５０１、１５０２と比較し、現在の子画面の表示位置１５１２と距離の近い子画面表示候補１５０１を選択する。子画面を表示する位置と距離の近い子画面を表示する候補を選択する理由としては、ユーザの視線の移動量を少なくすることで、視認性の悪化を防げるからである。また、子画面を表示する候補それぞれの距離が同一だった場合は、子画面の表示する候補はランダムに決定される。
【００８３】
最後に、選択された子画面を表示する候補を、子画面表示候補出力部２０７に出力する。
【００８４】
図２に戻り、子画面表示候補出力部２０７は、子画面表示候補選択部２０６より入力された子画面を表示する領域の情報を画像合成部１０４に出力する部位である。
【００８５】
実施例１の処理の流れを図３、図４のフローチャートを用いて説明する。
【００８６】
まず図２における特徴量ベクトル算出部２０４の処理の流れについて図３のフローチャートを用いて説明する。
【００８７】
特徴量ベクトル算出部２０４は、まず動きベクトル算出部２０３から入力された動きベクトルの方向成分を集計する（Ｓ３０１）。算出された動きベクトルの集計結果の値が、設定された閾値以上ならば（Ｓ３０２）、子画面表示候補選択部２０６に動きベクトルの集計結果を出力し（Ｓ３０３）、設定された閾値未満ならば（Ｓ３０２）、動きベクトルの集計結果は出力せずに終了する。
【００８８】
次に図２における子画面表示候補選択部２０６の処理の流れについて図４のフローチャートを用いて説明する。
【００８９】
子画面表示候補選択部２０６は、まず、特徴量ベクトル情報が存在するか判断する（Ｓ４０１）。特徴量ベクトル情報が存在していない場合は、そのまま終了する。特徴量ベクトル情報が存在している場合は、特徴量ベクトル算出部２０４から特徴量ベクトル情報を読み込む（Ｓ４０２）。次に子画面表示候補保持部２０５から子画面を表示する候補の情報を読み込む（Ｓ４０３）。読み込まれた特徴量ベクトル情報の向きと、子画面表示候補情報から子画面表示候補を限定する（Ｓ４０４）。限定された子画面を表示する候補が、単一であれば（Ｓ４０５）、子画面表示候補出力部２０７に子画面を表示する領域の情報を出力して終了する（Ｓ４１４）。
【００９０】
また、限定された子画面を表示する候補が複数存在した場合は（Ｓ４０５）、動きベクトル算出部２０３より、動きベクトル情報を読み込み（Ｓ４０６）、次に、子画面を表示する候補上の動きベクトルの方向成分を集計する（Ｓ４０７）。続いて、特徴量ベクトル算出部２０４から読み込んだ特徴量ベクトルと、子画面を表示する候補上における動きベクトルの集計結果の類似度を比較する（Ｓ４０８）。類似度の比較結果が同一でない場合（Ｓ４０９）は、類似度の高い子画面を表示する候補を選択し（Ｓ４１０）子画面表示候補出力部２０７に子画面を表示する領域の情報を出力して終了する（Ｓ４１４）。類似度の比較結果が同一だった場合（Ｓ４０９）は、現在の子画面を表示する位置と、子画面を表示する候補の距離とを比較する（Ｓ４１１）。現在の子画面表示する位置と子画面を表示する候補の距離が同一でない場合は（Ｓ４１１）、現在の子画面を表示する位置に近い子画面を表示する候補を選択し（Ｓ４１２）、子画面表示候補出力部２０７に子画面を表示する領域の情報を出力し終了する（Ｓ４１４）。また、現在の子画面を表示する位置と、子画面を表示する候補の距離とが同一の場合は、ランダムに表示候補を選択し（Ｓ４１３）、子画面表示候補出力部２０７に子画面を表示する領域の情報を出力し終了する（Ｓ４１４）。
【００９１】
（実施例２）
実施例２は、本発明の実施例１と同一の事例に適用して説明する。但し、動画像再生方法を実装した装置に入力される動画は、フレーム間予測を用いて圧縮された動画であり、動きベクトル情報を保持している。フレーム間予測を用いている動画圧縮形式として、例えばＭＰＥＧ２やＨ．２６４などがある。
【００９２】
図５は本発明を適用できる実施例２の動画像再生方法の構成を表すブロック図である。
【００９３】
本例の動画像再生方法は、メイン動画入力部５０１、サブ動画入力部５０２、メイン動画デコーダ５０３、サブ動画デコーダ５０４、子画面領域設定回路５０５、画像合成部５０６、合成画像出力部５０７、チューナー５０８、チューナー５０９を有している。以下に各部位についての説明を記述する。
【００９４】
メイン動画入力部５０１は、ピクチャインピクチャ表示におけるメイン動画を入力する部位であり、チューナー５０８から入力された動画データを、メイン動画デコーダ５０３に出力する。本実施例ではチューナー５０８から動画データを入力しているが、ビデオカメラで撮像した動画をそのまま入力してもよいし、記録装置内にある動画データを入力してもよい。接続される装置、手段は特に限定されないが、入力される動画は、フレーム間予測を用いて符号化された動画であり、動きベクトル情報を保持している動画とする。
【００９５】
サブ動画像入力部５０２は、ピクチャインピクチャ表示におけるサブ動画を入力する部位であり、チューナー５０９から入力された動画データを、サブ動画デコーダ５０４に出力する。入力される動画についての説明はメイン動画入力部５０１の説明と同一である。
【００９６】
メイン動画入力部５０１およびサブ動画入力部５０２においては、入力される動画は、フレーム間予測を用いて符号化された動画であり、動きベクトル情報を保持している動画であれば、双方とも接続される装置、手段が限定されない。よって、相互に接続される装置を入れ替えても問題ない。したがって、接続される装置の組み合わせにおいても限定されない。
【００９７】
メイン動画デコーダ５０３は、メイン動画入力部５０１から入力された動画の圧縮データを伸張し、伸張に用いた動きベクトル情報を子画面領域設定回路５０５に出力し、伸張された動画情報を画像合成部５０６に出力する部位である。但し、伸張に用いた動きベクトルが、未来のフレームから過去のフレームに向かっている場合、動きベクトルの方向が逆になる為、子画面領域設定回路５０５に出力される動きベクトル情報は向きを逆にしてから出力する。
【００９８】
サブ動画デコーダ５０４は、サブ動画入力部５０２から入力された動画の圧縮データを伸張し、伸張された動画情報を画像合成部５０６に出力する。
【００９９】
子画面領域設定回路５０５は、メイン動画デコーダ５０３から入力された動きベクトル情報を元に、子画面の表示位置を決定し、子画面の表示位置情報を画像合成部５０６に出力する回路である。子画面領域設定回路５０５についての詳細な説明は後述する。
【０１００】
画像合成部５０６は、メイン動画デコーダ５０３と、サブ動画デコーダ５０４より入力された動画を、子画面領域設定回路５０５から入力される子画面表示領域の情報を元に合成して、合成画像出力部５０７へ出力する。
【０１０１】
合成画像出力部５０７は動画を出力する部位であり、表示画面、例えば液晶ディスプレイなどを接続しても良いし、記録装置、例えばハードディスクドライブなどを接続してもよい。接続される装置、手段は特に限定されない。
【０１０２】
チューナー５０８は、放送波を受信し、選局された動画データをメイン動画入力部５０１に出力する。ただし受信される放送波はデジタル放送などの、符号化された動画データである。
【０１０３】
チューナー５０９は、放送波を受信し、選局された動画データをサブ動画入力部５０２に出力する。受信される放送波の説明は、チューナー５０８の説明と同一である。
【０１０４】
続いて、図５の子画面領域設定回路５０５について説明する。
【０１０５】
図６は子画面領域設定回路５０５の構成を表すブロック図で、動きベクトル入力部６０１、特徴量ベクトル算出部６０２、子画面表示候補保持部６０３、子画面表示候補選択部６０４、子画面表示候補出力部６０５を有している。以下に各部位についての説明を記述する。
【０１０６】
動きベクトル入力部６０１は、メイン動画デコーダ５０３より入力された動画の動きベクトル情報を入力し、特徴量ベクトル算出部６０２と、子画面表示候補選択部６０４に動きベクトル情報を出力する。
【０１０７】
特徴量ベクトル算出部６０２は、まず、動きベクトル入力部６０１より入力された動画におけるブロック毎の動きベクトルの方向成分を集計する。次に、その集計結果のベクトルの大きさ、又はベクトルの方向毎の個数が所定の閾値以上だった場合に、子画面表示候補選択部６０４に集計結果のベクトルを出力する。ここで特徴量ベクトルの大きさは特に限定されない。ただし特徴量ベクトルの始点は、親画面の中心とする。
【０１０８】
集計方法については実施例１の特徴量ベクトル算出部２０４の説明と同一である。但し、ブロックの分割数については、メイン動画入力部５０１に入力された動画のブロック分割数を用いる。また、動きベクトル入力部６０１より入力された動きベクトル情報にグローバルベクトル情報が含まれていた場合、動きベクトルの方向成分の集計を行わずに、グローバルベクトルの方向情報をそのまま子画面表示候補選択部６０４に出力してもよい。
【０１０９】
子画面表示候補保持部６０３は、子画面を表示する候補の親画面上の位置、高さ、幅、属する領域などの情報が保持される。子画面を表示する候補の保持方法については、実施例１の子画面表示候補保持部２０５の説明と同一である。
【０１１０】
子画面表示候補選択部６０４は、主に、子画面表示候補保持部６０３および、特徴量ベクトル算出部６０２から入力される特徴量ベクトルの情報を元に、子画面を表示する領域を決定する。子画面を表示する領域を決定する方法については、実施例１の子画面表示候補選択部２０６の説明と同一である。但し、子画面表示候補選択部２０６の説明中の動きベクトル算出部２０３は、動きベクトル入力部６０１となる。
【０１１１】
子画面表示候補出力部６０５は、実施例１の子画面表示候補出力部２０７の説明と同一である。
【０１１２】
次に、実施例２の処理の流れであるが、図６における特徴量ベクトル算出部６０２の処理の流れは、実施例１の特徴量ベクトル算出部２０４の処理の流れの説明と同一である。但し、Ｓ３０１における動きベクトル算出部２０３は実施例２では動きベクトル入力部６０１となる。
【０１１３】
また、図６における子画面表示候補選択部６０４の処理の流れは、実施例１の子画面表示候補選択部２０６の処理の流れの説明と同一である。但し、Ｓ４０６における動きベクトル算出部２０３は実施例２では動きベクトル入力部６０１となる。
【０１１４】
（実施例３）
実施例３は、実施例１および２における、特徴量ベクトル算出部から親画面の特徴量ベクトルが出力されなかった場合、又は特徴量ベクトルの大きさが所定の閾値以下の場合についての処理に関するものである。ここでは、親画面のパンやチルトなどカメラアングルの変化の有無を判別し、カメラが静止している状態、若しくはほぼ静止している状態であると判断された場合の事例について説明する。
【０１１５】
実施例３の事例について図１８を用いて説明する。
親画面１８０１のカメラアングルが固定された状態において、オブジェクト１８０２が子画面１８０３の表示領域に向かって移動する（ａ）。そして、オブジェクト１８０２が子画面１８０３の領域に入ることが認識された場合（ｂ）、子画面１８０３をオブジェクト１８０２と重ならない位置に移動する（ｃ）。
【０１１６】
実施例３は、実施例１および２のどちらの構成でも適用可能である。
ただし、実施例３は実施例１の子画面表示候補選択部２０６、実施例２の子画面候補選択部６０４の処理の流れが異なる。
【０１１７】
具体的には実施例１および２での子画面候補選択部２０６および６０４では特徴量ベクトルが存在しなかった場合、処理が終了していたが、実施例３では、子画面の表示で親画面の移動オブジェクトを隠さないようにする処理を行っている。
【０１１８】
実施例３の子画面候補選択部の処理において、特徴量ベクトルが存在しなかった場合の処理について図１６を用いて説明する。親画面１６０１上に子画面１６０３が表示されている場合において、子画面１６０３上の周辺領域１６０２の動きベクトルを抽出する。次に、子画面周辺領域１６０２におけるブロック１６０４上の動きベクトル１６０５のように、動きベクトルの終点が、現在表示されている子画面の表示領域に入っている個数をカウントする。そして、前記ベクトルの個数が、所定の閾値以上の場合に、子画面表示候補保持部から、子画面を表示する候補の情報を読みこみ、現在表示されている子画面に近い子画面を表示する候補を選択する。ここで所定の閾値とは、動画に表示されるオブジェクトが、子画面を表示する領域内に移動すると判断できる閾値である。
【０１１９】
次に、実施例３における子画面表示候補選択部の処理の流れについて、図７のフローチャートを用いて説明する。
【０１２０】
子画面表示候補選択部は、まず、特徴量ベクトルの情報が存在するか判断する（Ｓ７０１）特徴量ベクトル情報が存在している場合は、実施例１における子画面表示候補選択部２０６のＳ４０１以下の処理の流れの説明と同一である。
【０１２１】
特徴量ベクトル情報が存在していない場合は、動きベクトル算出部より動きベクトル情報を読み込む（Ｓ７１５）。次に、現在、子画面が表示されている領域の外側の領域から子画面が表示されている領域内に入る動きベクトルの個数をカウントする（Ｓ７１６）。子画面が表示されている領域内に入る動きベクトルの個数が閾値より少ない場合（Ｓ７１７）処理を終了する。また、子画面が表示されている領域内に入る動きベクトルの個数が閾値以上ならば（Ｓ７１７）、子画面表示候補保持部から子画面を表示する候補の情報を読みこむ（Ｓ７１８）。そして、現在の子画面が表示されている位置に近い子画面を表示する候補を選択し（Ｓ７１９）、子画面表示候補出力部に子画面の表示する領域の情報を出力する（Ｓ７１４）。
【０１２２】
（実施例４）
実施例４では、親画面のパンやチルトなどカメラアングルの変化の有無を判別し、カメラが静止している状態、若しくは、ほぼ静止している状態であると判断された場合の事例について説明する。
【０１２３】
実施例４の事例について、図１９を用いて説明する。
画面（ａ）において、親画面１９０１上には、親画面１９０１の主要要素であるオブジェクト１９０３と、オブジェクト１９０４が配置されている。さらにオブジェクト１９０３と、オブジェクト１９０４は子画面１９０２の方向に移動している。次に、画面（ｂ）において、子画面１９０２は、親画面１９０１上のオブジェクト１９０３および、オブジェクト１９０４の移動すると予想される方向を避けた位置に配置する。
【０１２４】
実施例４の事例では、複数のオブジェクトが移動する場合の事例を元に説明しているが、もちろん単一のオブジェクトが移動する場合についても以下に説明する構成に適用できる。
【０１２５】
実施例４は、実施例１および２のどちらの構成でも適用可能である。
【０１２６】
ただし、実施例４は実施例１の特徴量ベクトル算出部２０４、子画面表示候補選択部２０６、実施例２の特徴量ベクトル算出部６０２、子画面候補選択部６０４の処理の流れが異なる。
【０１２７】
具体的には実施例１および２での子画面候補選択部２０６および６０４では親画面全体の特徴量ベクトルが存在しなかった場合、処理が終了していた。しかし、実施例４では、親画面全体の特徴量ベクトルが存在しなかった場合、親画面の分割された領域で、特徴量ベクトルを算出する。ここで、親画面の分割された領域で、算出される特徴量ベクトルの算出方法は、実施例１、および実施例２で算出する特徴量ベクトルの算出方法と同一である。ただし、特徴量ベクトルの始点は、親画面の中心ではなく、親画面の分割された領域の中心となる。
【０１２８】
また、分割された親画面での特徴量ベクトルを算出せずに、親画面に属する動きベクトルをそのまま特徴量ベクトルとして用いても良い。
【０１２９】
そして、現在表示されている子画面の表示位置を、算出された特徴量ベクトルの後方に存在する領域に決定する。ここで、特徴量ベクトルの後方とは特徴量ベクトルの始点から終点の間に直交する直線で親画面を二分した２つの領域における、特徴量ベクトルの始点側の領域を指す。特徴量ベクトルに直交する直線の交点の位置は特に限定されないが、交点の位置が特徴量ベクトルの始点にあることが望ましい。
【０１３０】
実施例４の子画面候補選択部の処理において、親画面全体の特徴量ベクトルが存在しなかった場合の処理について図２０を用いて説明する。
【０１３１】
まず、（ａ）について説明する。分割された親画面２００１における領域２００４で算出された特徴量ベクトル２００２と、領域２００５で算出された特徴量ベクトル２００３を入力する。
【０１３２】
次に、（ｂ）に付いて説明する。特徴量ベクトル２００２の進行方向２００６から所定の角度２００７を回転角として、回転させた領域２０１０と、特徴量ベクトル２００３の進行方向２００８から所定の角度２００９を回転角として、回転させた領域２０１２を算出する。ここで回転角２００７、２００９は、例えば４５度に設定しても良いし、直線的な動きをするオブジェクトを想定した場合は、５度に設定しても良い。領域２０１０と領域２０１２が重なる領域を２０１１とする。最後に、算出された領域に応じて値を設定する。この値は図１９で説明した主要要素であるオブジェクト１９０３および１９０４などの移動オブジェクトが、移動する可能性のある領域を予測した値であり、移動する可能性が高い領域ほど大きな値になるように設定した値である。領域によって一様な値に設定しても良いし、特徴量ベクトルが存在する領域から距離が離れる従って、減少させるように設定しても良い。また、複数の領域が重なる領域２０１１では、領域２０１０、領域２０１２で設定された値を加算しても良いし、乗算しても良い、また、値を比較して最も大きい値を設定しても良し、複数の領域に設定されたそれぞれの値の平均を設定しても良い。
【０１３３】
続いて（ｃ）について説明する。（ｂ）で設定された、領域２０１０、領域２０１１、領域２０１２に設定された値と、子画面表示候補保持部から入力された子画面を表示する候補２０１３、２０１４、２０１５、２０１６の情報から子画面を表示する候補毎の適合度を算出する。
【０１３４】
ここで、子画面を表示する候補の適合度とは、子画面を表示する位置として適している度合いを示すものである。例えば、オブジェクト１９０３および１９０４である移動オブジェクトが、子画面の表示位置と重ならないと予測される場合には、適合度が高いこととなり、子画面の表示位置としては適している。逆に、オブジェクト１９０３および１９０４である移動オブジェクトが、子画面の表示位置に重なると予測される場合には、適合度が低いこととなり、子画面の表示位置としては適していないこととなる。
【０１３５】
ここで、適合度の算出式を式１に示す。
【０１３６】
【数１】
2009094879.tif 000003
【０１３７】
ここで、Ｖは適合度、ｎは子画面を表示する候補であり、Ｍは子画面を表示する候補ｎの領域内の位置にある領域ｊのオブジェクトが移動する領域を予測する値である。さらに、Ａは子画面を表示する候補ｎの領域内の位置にある領域ｊの面積、ｍはオブジェクトが移動する領域を予測する値が設定された領域の総数である。
【０１３８】
続いて（ｄ）について説明する。（ｄ）における子画面を表示する候補２０１６は、（ｃ）で設定された適合度の最も高い表示候補である。選択された適合度の最も高い子画面を表示する候補２０１６を、子画面表示候補出力部に出力する。
【０１３９】
次に、実施例４における特徴量ベクトル算出部の処理の流れについて、図２１のフローチャートを用いて説明する。
【０１４０】
特徴量ベクトル算出部はまず、動きベクトル算出部から入力された、親画面全体の動きベクトルの方向成分を集計する（Ｓ２１０１）。算出された動きベクトルの集計結果の値が、設定された閾値以上ならば（Ｓ２１０２）、子画面表示候補選択部に動きベクトルの集計結果を出力し（Ｓ２１０３）、終了する。また、設定された閾値未満ならば（Ｓ２１０２）、動きベクトル算出部から入力された、分割された親画面の領域における動きベクトルの方向成分を集計する（Ｓ２１０４）。次に、分割された親画面の領域毎の集計結果から、閾値以上の領域が存在するか判断する（Ｓ２１０５）。閾値以上の領域が存在すれば（Ｓ２１０５）、子画面表示候補選択部に閾値以上の領域の集計結果を出力し（Ｓ２１０６）、終了する。また。閾値以上の領域が存在しないのであれば（Ｓ２１０５）、そのまま終了する。
【０１４１】
続いて、実施例４における子画面表示候補選択部の処理の流れについて、図２２のフローチャートを用いて説明する。
【０１４２】
子画面表示候補選択部は、まず、特徴量ベクトルの情報が存在するか判断する（Ｓ２２０１）特徴量ベクトル情報が存在している場合は、実施例１における子画面表示候補選択部２０６のＳ４０１以下の処理の流れの説明と同一である。
【０１４３】
特徴量ベクトル情報が存在していない場合は、分割された親画面の領域の特徴量ベクトルが存在するか判断する（Ｓ２２１５）、存在しなければ、終了する。また、特徴量ベクトルが存在すれば（Ｓ２２１５）、特徴量ベクトル算出部から、分割された領域毎の特徴量ベクトル情報を読み込む（Ｓ２２１６）。次に、子画面表示候補保持部から子画面表示候補情報を読み込む（Ｓ２２１７）。次に、分割された領域毎の特徴量ベクトルの方向を元にオブジェクトが移動する領域を予測する値を算出する（Ｓ２２１８）。次に、子画面表示候補の領域とオブジェクトが移動する領域を予測する値を元に子画面の表示候補毎の適合度を算出する（Ｓ２２１９）。次に、算出された適合度が最も高い子画面表示候補が複数あるか判断する（Ｓ２２２０）。適合度が最も高い子画面表示候補が複数あれば（Ｓ２２２０）、適合度が最も高い子画面表示候補からランダムで表示候補を選択し（Ｓ２２２２）、子画面表示候補出力部に子画面表示候補情報を出力して（Ｓ２２１４）、終了する。適合度が最も高い子画面表示候補が複数なければ（Ｓ２２２０）、最も適合度の高い子画面表示候補を選択し（Ｓ２２２１）、子画面表示候補出力部に子画面表示候補情報を出力して（Ｓ２２１４）、終了する。
【０１４４】
以上のように本実施例では、現在表示されている子画面の表示位置を、算出された特徴量ベクトルの後方に存在する領域に決定する。これにより、親画面上で何らかのオブジェクトが子画面に入りこむことなくなるので、視認性を高めることができる。
【図面の簡単な説明】
【０１４５】
【図１】実施例１における動画像再生方法の構成を表すブロック図である。
【図２】実施例１における動画像再生方法の子画面領域設定回路１０３のブロック図である。
【図３】実施例１における特長量ベクトル算出部２０４のフローチャートである。
【図４】実施例１における子画面表示候補選択部２０６のフローチャートである。
【図５】実施例２における動画像再生方法の構成を表すブロック図である。
【図６】実施例２における動画像再生方法の子画面領域設定回路５０５のブロック図である。
【図７】実施例３における子画面表示候補選択部のフローチャートである。
【図８】子画面表示候補保持部の情報保持方法である。
【図９】ユーザによる子画面のサイズ、位置の指定に関する図である。
【図１０】動きベクトルの取得方法に関する図である。
【図１１】単位ベクトルの加算して特徴量ベクトルを算出する方法を表す図である。
【図１２】動きベクトルの方向毎の個数の集計をして特徴量ベクトルを算出する方法を表す図である。
【図１３】特徴量ベクトルを用いて子画面を表示する候補を決定する過程を表す図である。
【図１４】特徴量ベクトルと、子画面候補上の特徴量ベクトルとの類似度を用いて子画面を表示する候補を決定する過程を表す図である。
【図１５】特徴量ベクトルと、子画面候補上の特徴量ベクトルとの類似度と、現在の子画面の表示位置を用いて子画面を表示する候補を決定する過程を表す図である。
【図１６】実施例３の子画面表示位置周辺のベクトルである。
【図１７】実施例１，２を表す図である。
【図１８】実施例３の事例を表す図である。
【図１９】実施例４の事例を表す図である。
【図２０】実施例４の子画面を表示する候補を決定する過程を表す図である。
【図２１】実施例４における特徴量ベクトル算出部のフローチャートである。
【図２２】実施例４における子画面表示候補選択部のフローチャートである。
【符号の説明】
【０１４６】
１０１  メイン動画入力部
１０２  サブ動画入力部
１０３  子画面領域設定回路
１０４  画像合成部
１０５  合成画像出力部
１０６  デコーダ
１０７  チューナー
２０１  動画入力部
２０２  遅延バッファ
２０３  動きベクトル算出部
２０４  特徴量ベクトル算出部
２０５  子画面表示候補保持部
２０６  子画面表示候補選択部
２０７  子画面表示候補出力部
１７０１  親画面
１７０２  子画面
１７０３  主要素であるオブジェクト
【図１】
2009094879.tif 000004
【図２】
2009094879.tif 000005
【図３】
2009094879.tif 000006
【図４】
2009094879.tif 000007
【図５】
2009094879.tif 000008
【図６】
2009094879.tif 000009
【図７】
2009094879.tif 000010
【図８】
2009094879.tif 000011
【図９】
2009094879.tif 000012
【図１０】
2009094879.tif 000013
【図１１】
2009094879.tif 000014
【図１２】
2009094879.tif 000015
【図１３】
2009094879.tif 000016
【図１４】
2009094879.tif 000017
【図１５】
2009094879.tif 000018
【図１６】
2009094879.tif 000019
【図１７】
2009094879.tif 000020
【図１８】
2009094879.tif 000021
【図１９】
2009094879.tif 000022
【図２０】
2009094879.tif 000023
【図２１】
2009094879.tif 000024
【図２２】
2009094879.tif 000025