(57)【要約】【課題】シーケンシャルアクセスしかできない媒体を用いた場合にも、撮影場所等の静止映像を子画面に表示して視聴映像に関する理解度を高めることが可能な動画再生装置を提供する。【解決手段】親画面の動画像の静止状態を検出する映像解析部１０４と、検出された静止状態の静止映像から子画面画像を作成する子画面画像作成部１０５と、作成された子画面画像を親画面と合成する映像合成部１０６とを具備する。そして、親画面の動画像の再生中に所定時間以上連続して静止状態が検出された場合には、静止状態の静止映像から子画面画像を作成し、子画面に表示する。【選択図】図２
2009302734.tif 000002
【特許請求の範囲】
【請求項１】
親画面の上に子画面を重ねて、複数の画面を同時に表示する動画再生装置において、
前記親画面の動画像の静止状態を検出する検出手段と、前記検出された静止状態の静止映像から子画面画像を作成する作成手段と、前記作成された子画面画像を前記親画面と合成する合成手段とを有し、
前記親画面の動画像の再生中に所定時間以上連続して静止状態が検出された場合には、前記静止状態の静止映像から子画面画像を作成し、前記子画面に表示することを特徴とする動画再生装置。
【請求項２】
前記所定時間は、外部から設定されることを特徴とする請求項１に記載の動画再生装置。
【請求項３】
前記作成手段は、前記親画面の動画像が所定時間以上連続して静止している時に当該静止映像の子画面画像を作成することを特徴とする請求項１又は２に記載の動画再生装置。
【請求項４】
前記子画面に表示する静止映像は、外部からの指示或いは新たに子画面に表示する画像が検出された時に前記子画面の表示を停止することを特徴とする請求項１乃至３のいずれか１項に記載の動画再生装置。
【請求項５】
前記作成手段は、前記親画面の動画像が所定時間以上連続して静止し、且つ、当該静止映像に文字が含まれている時に前記子画面画像を作成することを特徴とする請求項１乃至４のいずれか１項に記載の動画再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、親画面上に子画面を重ねて複数の動画を同時に表示するピクチャーインピクチャー機能を有する動画再生装置に関するものである。
【背景技術】
【０００２】
近年、デジタルテレビ等の大画面化により２つの映像ソースを同時に視聴することが可能なピクチャーインピクチャー表示が一般的に行われている。例えば、親画面にはＤＶＤによる映画のコンテンツを、子画面には放送波によるテレビ番組を表示させて同時視聴を楽しむことができる。
【０００３】
また、次世代の大容量記録メディアであるブルーレイディスクやＨＤ  ＤＶＤディスクのパッケージコンテンツにおいても、メインのコンテンツ表示領域内にコンテンツ情報や出演者情報等を子画面表示する。そうすることで、インタラクティブな視聴を楽しむことができるようになってきている。
【０００４】
このような背景から小画面では楽しむことのできなかった複数画面視聴機能もテレビの大画面化によって楽しむことが可能になっている。しかし、同時に表示されている複数画面は各々独立した再生手段より表示されたもの、つまり、複数映像分の再生装置が必要であり、ユーザの選択によって操作されるものである。
【０００５】
それに対して、特許文献１にはランダムアクセスが可能な同一媒体に記録されている動画と静止画で、動画を再生中に動画撮影途中もしくは動画撮影の合間に撮影された静止画が検出された時に画面内に静止画を表示する技術が提案されている。それにより視聴映像に対する理解度を高めることが可能となる。
【特許文献１】特開平０９−２８４６９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１の方法では、別々の場所に記録されている静止画と動画を同時に表示する必要があるため、ランダムアクセス可能な記録媒体（ＤＶＤやＨＤＤ）が必須とされている。そのため、未だ多いシーケンシャルアクセスしかできない記録媒体（テープメディア）を使用しているユーザは上記特許文献の機能を享受できない。
【０００７】
また、録画機に別の第二の記録手段を設けることにより、再生時に上記特許文献の機能を実現することも可能であるが、第二の録画手段を設けるための部品点数の増加や第二の記録手段にデータを書き込む際に消費する電力の増加を招く。そのため、録画機のコスト増大や録画時間の短縮に繋がってしまう。
【０００８】
更に、静止画と動画の関連性が曖昧であるため、動画とは関連のない静止画が子画面表示される可能性があり、正確に視聴映像に関する理解度を高めることができるとは限らなかった。
【０００９】
本発明の目的は、シーケンシャルアクセスしかできない媒体を用いた場合にも、撮影場所等の静止映像を子画面に表示して視聴映像に関する理解度を高めることが可能な動画再生装置を提供することにある。
【課題を解決するための手段】
【００１０】
本発明は、親画面の上に子画面を重ねて、複数の画面を同時に表示する動画再生装置において、前記親画面の動画像の静止状態を検出する検出手段と、前記検出された静止状態の静止映像画像から子画面画像を作成する作成手段と、前記作成された子画面画像を前記親画面と合成する合成手段とを有し、前記親画面の動画像の再生中に所定時間以上連続して静止状態が検出された場合には、前記静止状態の静止映像から子画面画像を作成し、前記子画面に表示することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、親画面の動画像の再生中に所定時間以上連続して静止状態となった時にその静止映像を子画面に表示する。そのため、シーケンシャルアクセスしか出来ない記録媒体を用いた場合でも、視聴している撮影された映像に関する付加情報、例えば、旅行に行って撮影した撮影場所等の再生映像を見ながら同時に表示することによって映像の理解度を高めることができる。
【００１２】
また、静止画を撮影するために録画機に新たに記録手段を設ける必要がないため、録画機の部品点数の増加によるコスト増や、或いは消費電力の増加による録画時間の短縮を防ぐことができる。更に、親画面の映像と子画面の映像の関連性を考慮しているため、親画面映像と子画面映像の関連性が確保され、正確に視聴映像に関する理解度を高めることが可能となる。
【発明を実施するための最良の形態】
【００１３】
次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。
【００１４】
（第１の実施形態）
図１は本発明に係る動画再生装置の第１の実施形態を示すブロック図である。図中１０１は映像ソースが入力される映像入力部である。映像ソースは動画再生装置内の図示しない映像記憶手段もしくは外部に接続された映像記憶手段等から入力される。１０２は後述するように子画面を表示する際にユーザが連続静止映像時間の設定を行うための設定値入力部である。
【００１５】
図１０は連続静止映像時間を設定する設定画面の一例を示す。この設定値はユーザが表示画面を見ながら入力デバイス（リモコンやキーボード等）１０８を使って入力する。１０３は設定値入力部１０２で設定された値を記憶しておく設定値記憶部である。設定値記憶部１０３は内部メモリであり、設定値入力部１０２からユーザが設定値を入力する度に記憶値が更新される。
【００１６】
１０４は映像解析部である。映像解析部１０４は親画面の動画再生中に所定時間以上連続した静止状態を検出する。静止状態の映像かどうかを判定するには、例えば、入力された映像をデコードし、映像シーンの動きを解析し、動きベクトルの絶対値の総和が一定値以下である時に静止映像と判定する。
【００１７】
映像解析部１０４が静止状態の映像と判定した時に図示しない内部時間計測手段により時間が計測される。そして、静止状態の映像が開始されてから設定値記憶部１０３に記憶している所定時間経過した時に映像解析部１０４は所定時間以上連続した静止映像であることを検出する。
【００１８】
子画面画像作成部１０５は、映像解析部１０４で所定時間以上連続した静止映像であると検出された時に子画面に表示するための子画面画像を作成する。その際、作成する画像は表示する子画面のアスペクト比と同じ比率とする。１０９は子画面画像一時記憶部であり、キャッシュメモリを使用している。作成された子画面画像は子画面画像一時記憶部１０９に一時記憶される。
【００１９】
１０６は子画面画像作成部１０５で作成された子画面画像を親画面に合成する画像合成部である。ピクチャーインピクチャーを実現するため、子画面画像作成部１０５で作成された子画面画像を親画面上に規定された位置に重畳して出力を行う。親画面となる入力映像は映像解析部１０４から直接映像合成部１０６を経てから出力される。
【００２０】
１０７は操作指示部であり、ユーザが子画面表示を意図的に止めたい時に子画面表示停止命令を発行する。１０８は入力デバイスであり、ユーザが設定値入力部１０２や操作指示部１０７に対して入力操作を行う。入力デバイス１０８の形態としてはリモコンやキーボード等が一般的である。
【００２１】
図２は本実施形態の動作を説明するフローチャートである。まず、ステップＳ２０１で映像入力部１０１は入力された映像データを読み込む。次に、ステップＳ２０２で映像解析部１０４は読み込まれた映像データをデコードし、入力映像が静止映像かどうかを判定する。静止映像の判別方法としては、例えば、映像の動きベクトルの絶対値の総和が一定値以下の場合に静止映像と判別する方法がある。
【００２２】
ステップＳ２０２の判別結果が静止映像であった場合には、ステップＳ２０３で所定時間以上連続して静止状態であるかを判定する。即ち、静止映像開始からの経過時間が所定時間以上連続して静止状態であるかを判定する（静止状態が設定値記憶部１０３に設定された所定時間以上連続しているかを判定する）。
【００２３】
次に、ステップＳ２０４で次のフレームが静止映像でないかを判定、つまり、静止映像が最終フレームかを判定する。これは、入力された映像が静止状態から切り替わる直前のタイミングで子画面画像を作成・表示するための処理である。仮にステップＳ２０４が省かれた場合には図９に示すように表示されている静止映像上に同じ静止映像が子画面表示される可能性がある。
【００２４】
次いで、ステップＳ２０５でステップＳ２０４までで所定時間以上連続して静止状態で、且つ、静止映像の最終フレームと判断された時に子画面画像作成部１０５は子画面表示するための子画面画像を作成する。この時、作成する画像は子画面のアスペクト比と同じ比率で画像を作成する。作成した子画面画像は子画面画像一時記憶部１０９に記憶させる。子画面画像が生成される度に子画面画像一時記憶部１０９の画像が更新される。
【００２５】
一方、ステップＳ２０１で読み込まれた映像データがステップＳ２０２で静止映像ではないと判定された場合、ステップＳ２０３で静止映像が所定時間以上連続していないと判定された場合にはステップＳ２０６に進む。また、ステップＳ２０４で最終の静止映像フレームではない場合には同様にステップＳ２０６に進む。
【００２６】
ステップＳ２０６では表示すべき子画面画像が作成されているか、つまり、子画面画像一時記憶部１０９内に子画面表示する映像が存在するかを確認する。Ｓ２０６で子画面画像が存在する場合には、ステップＳ２０７でユーザによる子画面表示停止指示の有無を判定する。
【００２７】
ステップＳ２０７でユーザの停止指示がない場合には、ステップＳ２０８でステップＳ２０１にて読み込まれた入力映像に子画面画像を合成し、ステップＳ２０９で映像出力する。ユーザによる停止指示の受付は常時割り込み処理として行い、ステップＳ２０７の判定終了後に実行する。
【００２８】
また、ステップＳ２０６で表示する子画面画像が存在し、ステップＳ２０７でユーザによる停止指示があった場合には、子画面の合成を行うことなく、ステップＳ２０９でそのまま入力映像を出力する。
【００２９】
ここで、ステップＳ２０１からステップＳ２０５の処理を行い、ステップＳ２０９にて出力される映像はステップＳ２０１で読み込まれた映像そのものである。一方、ステップＳ２０１からステップＳ２０８を経由してステップ２０９で出力される映像はステップＳ２０１で読み込まれた映像に静止映像が表示された子画面画像が合成された映像である。ステップＳ２０９の処理後、ステップＳ２１０にて映像データの終了を判定し、映像データが終了したら全ての処理を終了する。
【００３０】
図３はピクチャーインピクチャー表示を行う場合の画面イメージを示す図である。３０１は表示装置の表示画面である。表示画面３０１内に親画面３０２と子画面３０３が表示されている。ピクチャーインピクチャー表示は親画面に子画面を重ねて複数の画面を同時に表示するものである。
【００３１】
次に、本発明の特徴を図４の映像ストリームと図２のフローチャートを用いて更に詳細に説明する。なお、設定値記憶部１０３には図１０に示すように静止状態の所定連続時間が３秒に設定されているものとする。
【００３２】
図４は映像ストリームの一例を示す。４０１と４０２はユーザによって撮影されたシーン１とシーン２である。図４ではユーザが「○×動物園」に出かけ、その思い出を撮影した映像を例として示す。
【００３３】
図５は４０１のシーンの内容で、ユーザは「○×動物園」に来たということを記録するため、冒頭に「○×動物園」の看板を５秒間撮影しているものとする。図６は４０２のシーンの内容で、動物園内での行動が撮影されている。
【００３４】
まず、４０１のシーンが図１の装置に読み込まれ（ステップＳ２０１）、ステップＳ２０２で静止映像と判断される。静止映像と判断された４０１のシーンのうち最初の３秒間はステップＳ２０３で所定時間以内と判断され、ステップＳ２０６に進む。ステップＳ２０６では、子画面画像が存在しないため、そのままステップＳ２０９で子画面なしの映像として出力される。
【００３５】
４０１のシーンの開始３秒以上から静止映像最終フレームの直前まではＳ２０２〜Ｓ２０３で所定時間以上の連続静止映像と判別されるが、静止映像の最終フレームではないため、ステップＳ２０４からステップＳ２０６に移行する。そして、ステップＳ２０６では子画面画像が存在しないため、そのままステップＳ２０９にて子画面なしの映像として出力される。
【００３６】
次に、４０１のシーンの静止映像の最終フレームが入力された時には、ステップＳ２０４からステップＳ２０５に進む。そして、ステップＳ２０５にて子画面画像作成部１０５は子画面画像を作成し、その後、ステップＳ２０９では入力された静止映像の最終フレームが出力される。
【００３７】
ここで、映像読み込み開始から静止状態の映像の最終フレーム直前まで表示される画面は、図５の映像、つまり、４０１と同じである。続いて、４０２がステップＳ２０１で読み込まれ、ステップＳ２０２で静止映像ではないと判定される。
【００３８】
次に、ステップＳ２０６では先に静止画の子画面画像が作成されているので、ステップ２０７に進み、ユーザの停止命令の有無を判定する。その後、ステップＳ２０８で４０２のシーンの映像に先にステップＳ２０５にて作成された子画面画像を合成し、ステップＳ２０９で出力する。
【００３９】
図７は映像読み込み開始から５秒以上経過した時に表示される画面の例を示す。７０１は表示画面である。表示画面７０１内に親画面７０２と子画面７０３が表示されている。親画面７０２には４０２の映像が表示され、子画面７０３には４０１の静止映像が表示されている。
【００４０】
本実施形態では、動画再生中に所定時間以上連続して静止画像が検出された場合、その静止映像を子画面に表示する。そのため、シーケンシャルアクセスしか出来ない記録媒体を用いた場合にも、視聴している撮影された映像に関する付加情報、例えば、旅行で撮影した撮影場所等の再生映像を見ながら同時に表示することで、映像の理解度を高めることが可能となる。例えば、図５に示すような場所情報等を子画面表示することで現在の撮影位置等が分かるようになる。
【００４１】
また、静止画を撮影するために装置内に新たに記録手段を設ける必要がないため、録画機の部品点数の増加によるコスト増や、或いは消費電力の増加による録画時間の短縮を防ぐことができる。更に、図７から分かるように親画面映像と子画面映像の関連性を考慮しているため、親画面映像と子画面映像の関連性が確保され、正確に視聴映像に関する理解度を高めることが可能となる。
【００４２】
（第２の実施形態）
第１の実施形態では所定時間以上連続する静止映像から子画面画像を作成し、子画面に表示するものである。本実施形態では、図１の構成に文字認識手段を設けて文字のある静止映像のみを子画面に表示することにより、更に視聴映像に対する理解度が増すようにするものである。
【００４３】
文字認識手段は図１の映像解析部１０４内に設けておく。図８は本実施形態のフローチャートを示す。図８では図２の処理と同一処理には同一ステップ番号を付して説明を省略する。それ以外の構成や動作は第１の実施形態と同様である。
【００４４】
図８では図２のステップＳ２０４とステップＳ２０５との間に文字認識処理をステップＳ８０１として追加している点が図２と異なる。それ以外の処理は図２のフローチャートと同様である。
【００４５】
ステップＳ８０１では所定時間以上連続した静止映像内に文字が含まれているかどうかを判定する。文字認識方法には、例えば、文字の一画の全体分布から文字認識を行う方法や、文字の特徴をベクトル解析して文字認識を行う方法がある。また、ｎ×ｎのマスクを用いてスムージングを行い、輪郭線を抽出して文字認識を行う方法等がある。更に、潰れた文字の認識手法として、文字周辺領域を小領域に分割し、それぞれの特徴量を補正してから文字を認識する手法等もある。
【００４６】
ステップＳ８０１で静止映像内に文字が存在すると判定されたら、ステップＳ２０５で子画面画像を生成して子画面画像一時記憶部１０９に一時記憶させておく。一方、ステップＳ８０１で文字が存在しないと判定されたら、ステップＳ２０６で子画面画像の存在とステップＳ２０７でユーザの停止命令を判定し、ステップＳ２０８もしくはステップＳ２０９の処理に移行して映像を出力する。
【００４７】
本実施形態では、親画面の動画再生中に所定時間以上連続する静止映像を検出し、その静止映像内に文字が存在する場合のみ子画面に表示することにより、更に視聴映像に対する理解度を増すことが可能となる。
【図面の簡単な説明】
【００４８】
【図１】本発明に係る動画再生装置の一実施形態を示す構成図である。
【図２】図１の動作を示すフローチャート図である。
【図３】ピクチャーインピクチャーを説明する図である。
【図４】映像ストリームの一例を示す図である。
【図５】図４の映像ストリームのシーン１を示す図である。
【図６】図４の映像ストリームのシーン２を示す図である。
【図７】本発明の親画面に子画面の文字列を表示する一例を示す図である。
【図８】本発明の第２の実施形態の動作を説明するフローチャートである。
【図９】図２のステップＳ２０４の役割を説明する図である。
【図１０】設定値記憶部に設定された静止入力画面の図である。
【符号の説明】
【００４９】
１０１  映像入力部
１０２  設定値入力部
１０３  設定値記憶部
１０４  映像解析部
１０５  子画面画像作成部
１０６  映像合成部
１０７  操作指示部
１０８  入力デバイス
１０９  子画面画像一時記憶部
３０１  ディスプレイ画面
３０２  親画面
３０３  子画面
４０１  ストリームのシーン１
４０２  ストリームのシーン２
７０１  ディスプレイ画面
７０２  親画面
７０３  子画面
【図１】
2009302734.tif 000003
【図２】
2009302734.tif 000004
【図３】
2009302734.tif 000005
【図４】
2009302734.tif 000006
【図５】
2009302734.tif 000007
【図６】
2009302734.tif 000008
【図７】
2009302734.tif 000009
【図８】
2009302734.tif 000010
【図９】
2009302734.tif 000011
【図１０】
2009302734.tif 000012