(57)【要約】【課題】映像の動きを滑らかに表示するとともに、所定の映像についてはほぼリアルタイムに表示することができる映像信号処理装置、映像信号処理方法、映像信号処理プログラムおよび映像信号制御回路を提供すること。【解決手段】原画フレームおよび補間フレームを生成するたびに、生成した原画フレームが特定シーンに該当するか否かを判定して、原画フレームが特定シーンである場合に、かかる原画フレームを本来出力するタイミングよりも遅延させて表示部に出力し、原画フレームが特定シーンでない場合に、かかる原画フレームを本来出力するタイミングにより表示部に出力する。【選択図】        図２
2010103711.tif 000002
【特許請求の範囲】
【請求項１】
所定の映像信号によって形成され、所定のタイミングによって所定の表示部に出力することが決められている第一の原画フレームと第二の原画フレームとの間を補間する補間フレームを生成する補間フレーム生成手段と、
前記第一の原画フレームと前記第二の原画フレームとが映像を等速で移動させるシーンである特定シーンに該当するか否かを検出する特定シーン検出手段と、
前記特定シーン検出手段によって特定シーンであると検出された場合に、前記第二の原画フレームと、前記補間フレーム生成手段によって生成された補間フレームとを、前記所定のタイミングよりも遅延させて前記表示部に出力し、前記特定シーン検出手段によって特定シーンでないと検出された場合に、前記第二の原画フレームと、前記補間フレーム生成手段によって生成された補間フレームとを、前記所定のタイミングにより前記表示部に出力する出力タイミング調整手段と
を備えたことを特徴とする映像信号処理装置。
【請求項２】
前記特定シーン検出手段は、前記第一の原画フレームと前記第二の原画フレームとの間で動きベクトルを探索し、該動きベクトルに基づいて、前記第二の原画フレームが特定シーンに該当するか否かを検出することを特徴とする請求項１に記載の映像信号処理装置。
【請求項３】
前記特定シーン検出手段は、前記第二の原画フレームにおける水平方向ごとの動きベクトルの平均値である平均動きベクトルと、前記平均動きベクトルの全ての平均値である全体平均動きベクトルとに基づいて、前記平均動きベクトルのばらつき度合いを示す動きベクトル分散を算出し、前記動きベクトル分散が所定の閾値よりも小さい場合かつ前記全体平均動きベクトルが零でない場合に、前記第二の原画フレームが特定シーンであることを検出し、前記動きベクトル分散が所定の閾値以上である場合に、前記第二の原画フレームが特定シーンでないことを検出することを特徴とする請求項２に記載の映像信号処理装置。
【請求項４】
前記第二の原画フレームが特定シーンでないことを検出したときに、出力バッファ部にクリア信号を送信すること特徴とする請求項３に記載の映像信号処理装置。
【請求項５】
映像を所定の表示部に表示する映像信号処理装置を制御する映像信号処理方法であって、
前記映像信号処理装置が、
所定の映像信号によって形成され、所定のタイミングによって前記表示部に出力することが決められている第一の原画フレームと第二の原画フレームとの間を補間する補間フレームを生成する補間フレーム生成工程と、
前記第一の原画フレームと前記第二の原画フレームとが映像を等速で移動させるシーンである特定シーンに該当するか否かを検出する特定シーン検出工程と、
前記特定シーン検出工程によって特定シーンであると検出された場合に、前記第二の原画フレームと、前記補間フレーム生成工程によって生成された補間フレームとを、前記所定のタイミングよりも遅延させて前記表示部に出力し、前記特定シーン検出工程によって特定シーンでないと検出された場合に、前記第二の原画フレームと、前記補間フレーム生成工程によって生成された補間フレームとを、前記所定のタイミングにより前記表示部に出力する出力タイミング調整工程と
を含んだことを特徴とする映像信号処理方法。
【請求項６】
所定の映像信号によって形成され、所定のタイミングによって所定の表示部に出力することが決められている第一の原画フレームと第二の原画フレームとの間を補間する補間フレームを生成する補間フレーム生成手順と、
前記第一の原画フレームと前記第二の原画フレームとが映像を等速で移動させるシーンである特定シーンに該当するか否かを検出する特定シーン検出手順と、
前記特定シーン検出手順によって特定シーンであると検出された場合に、前記第二の原画フレームと、前記補間フレーム生成手順によって生成された補間フレームとを、前記所定のタイミングよりも遅延させて前記表示部に出力し、前記特定シーン検出手順によって特定シーンでないと検出された場合に、前記第二の原画フレームと、前記補間フレーム生成手順によって生成された補間フレームとを、前記所定のタイミングにより前記表示部に出力する出力タイミング調整手順と
をコンピュータに実行させることを特徴とする映像信号処理プログラム。
【請求項７】
所定の映像信号によって形成され、所定のタイミングによって所定の表示部に出力することが決められている第一の原画フレームと第二の原画フレームとの間を補間する補間フレームを生成する補間フレーム生成手段と、
前記第一の原画フレームと前記第二の原画フレームとが映像を等速で移動させるシーンである特定シーンに該当するか否かを検出する特定シーン検出手段と、
前記特定シーン検出手段によって特定シーンであると検出された場合に、前記第二の原画フレームと、前記補間フレーム生成手段によって生成された補間フレームとを、前記所定のタイミングよりも遅延させて前記表示部に出力し、前記特定シーン検出手段によって特定シーンでないと検出された場合に、前記第二の原画フレームと、前記補間フレーム生成手段によって生成された補間フレームとを、前記所定のタイミングにより前記表示部に出力する出力タイミング調整手段と
を備えたことを特徴とする映像信号制御回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号処理装置、映像信号処理方法、映像信号処理プログラムおよび映像信号制御回路に関する。
【背景技術】
【０００２】
近年、液晶表示装置（ＬＣＤ：Liquid  Crystal  Display）などの映像を表示する映像表示装置には、実在の映像信号で形成される原画フレームの間に、補間フレームを挿入する倍速表示機能が搭載されているものがある。例えば、フレームレートが低いワンセグ放送を表示する映像表示装置に、かかる倍速表示機能が搭載される場合がある。倍速表示機能が搭載された映像表示装置は、低いフレームレートの映像信号であっても、映像の動きを滑らかに表示することが可能になる。
【０００３】
ところで、このような倍速表示機能が搭載された映像表示装置では、補間フレーム生成処理が、補間フレームを所定の表示部に出力するタイミングに間に合わない現象が発生する場合がある。この現象について、図１０を用いて具体的に説明する。図１０は、従来の映像表示装置による映像信号処理の概要を示す図である。
【０００４】
図１０に示した例において、映像表示装置は、デコード処理を行うことにより原画フレームＦ１２を生成した後に、原画フレームＦ１１と原画フレームＦ１２との間を補間する補間フレームＦ１１−１２を生成する。補間フレームＦ１１−１２は、本来、原画フレームＦ１１が出力された後のタイミングｔ１に出力される。しかし、補間フレームＦ１１−１２を生成したタイミングｔ２がタイミングｔ１よりも遅れたので、映像表示装置は、補間フレームＦ１１−１２を出力することができない。同様の理由により、映像表示装置は、補間フレームＦ１２−１３およびＦ１３−１４を出力することができない。なお、本明細書において、補間フレームＦｎ１−ｎ２と表記する場合、補間フレームＦｎ１−ｎ２は、原画フレームＦｎ１と原画フレームＦｎ２との間を補間する補間フレームであることを示す。
【０００５】
このような事象の発生を防止するための技術がいくつか提案されている。例えば、映像および音声の出力タイミングを全体的に遅延させることにより、補間フレーム生成処理を、補間フレームを出力するタイミングに間に合わせる技術が提案されている。また、例えば、補間フレーム生成処理の処理遅延を計測して、補間フレーム生成処理を早く開始する技術が提案されている。
【０００６】
【特許文献１】特開２００５−１０１８１８号公報
【特許文献２】特開２００３−９２７６１号公報
【特許文献３】特開平１０−２００８６０号公報
【特許文献４】特開２００１−１２８１７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した出力タイミングを全体的に遅延させる従来技術には、リアルタイムに表示することが要求されている映像であっても、遅延させて表示することしかできないという問題があった。このことは、例えば、時刻を知らせる映像（時報）を表示する場合、かかる従来技術が適用された映像表示装置では、遅れた時刻に時報を表示してしまうという問題を招いていた。
【０００８】
また、上述した補間フレーム生成処理を早く開始する従来技術は、映像ファイルをオフライン再生するようなケースのように映像信号を十分に蓄積できることが前提となっており、リアルタイムに表示することが要求されている映像のように映像信号を十分に蓄積できない場合には、適用することができなかった。
【０００９】
そこで、開示の技術は、上述した従来技術による問題点を解消するためになされたものであり、映像の動きを滑らかに表示するとともに、所定の映像についてはほぼリアルタイムに表示することができる映像信号処理装置、映像信号処理方法、映像信号処理プログラムおよび映像信号制御回路を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するために、本願に開示する映像信号処理装置は、所定の映像信号によって形成され、所定のタイミングによって所定の表示部に出力することが決められている第一の原画フレームと第二の原画フレームとの間を補間する補間フレームを生成する補間フレーム生成手段と、前記第一の原画フレームと前記第二の原画フレームとが映像を等速で移動させるシーンである特定シーンに該当するか否かを検出する特定シーン検出手段と、前記特定シーン検出手段によって特定シーンであると検出された場合に、前記第二の原画フレームと、前記補間フレーム生成手段によって生成された補間フレームとを、前記所定のタイミングよりも遅延させて前記表示部に出力し、前記特定シーン検出手段によって特定シーンでないと検出された場合に、前記第二の原画フレームと、前記補間フレーム生成手段によって生成された補間フレームとを、前記所定のタイミングにより前記表示部に出力する出力タイミング調整手段とを備えたことを要件とする。
【００１１】
なお、本願に開示する映像信号処理装置の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造などに適用したものも、他の態様として有効である。
【発明の効果】
【００１２】
本願に開示した映像信号処理装置によれば、映像の動きを滑らかに表示するとともに、所定の映像についてはほぼリアルタイムに表示することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１３】
以下に、本願に開示する映像信号処理装置、映像信号処理方法、映像信号処理プログラムおよび映像信号制御回路の実施例を図面に基づいて詳細に説明する。なお、この実施例により本願に開示する映像信号処理装置、映像信号処理方法、映像信号処理プログラムおよび映像信号制御回路が限定されるものではない。
【実施例】
【００１４】
まず、本実施例に係る映像信号処理装置１００による映像信号処理の概要について説明する。本実施例に係る映像信号処理装置１００は、表示する映像に含まれる各シーンのうち、フレームドロップが発生した場合に品質の劣化が目立つシーン（以下、「特定シーン」という）を検出する。具体的には、映像信号処理装置１００は、画面内を等速でスクロールするようなカメラパンやチルトなどに該当するシーンを、特定シーンとして検出する。これは、カメラパンやチルトなどに該当する映像は、フレームドロップが発生すると、映像が滑らかに表示されていないことが目立つからである。そして、映像信号処理装置１００は、特定シーンを形成する原画フレームおよび補間フレームを、本来出力するタイミングよりも遅延させて所定の表示部に出力する。
【００１５】
図１−１および図１−２を用いて具体的に説明する。図１−１および図１−２は、本実施例に係る映像信号処理装置１００による映像信号処理の概要を説明するための図である。図１−１に示した例において、映像信号処理装置１００は、デコード処理を行うことにより原画フレームＦ１２を生成した後、補間フレームＦ１１−１２を生成する。続いて、映像信号処理装置１００は、生成した補間フレームＦ１１−１２と、原画フレームＦ１２とを、所定の出力バッファに順に蓄積する。
【００１６】
このとき、映像信号処理装置１００は、原画フレームＦ１２が特定シーンに該当するか否かを判定する。具体的には、映像信号処理装置１００は、原画フレーム間（例えば、原画フレームＦ１１と原画フレームＦ１２との間）で動きベクトルを探索し、かかる動きベクトルに基づいて、原画フレームＦ１２が特定シーンに該当するか否かを判定する。ここでは、映像信号処理装置１００は、原画フレームＦ１２が特定シーンに該当しないと判定したものとする。なお、映像信号処理装置１００による特定シーン検出処理については、後に詳述する。
【００１７】
続いて、映像信号処理装置１００は、出力バッファに蓄積されている順に補間フレームＦ１１−１２と、原画フレームＦ１２とを所定の表示部に出力する。しかし、ここでは、補間フレームＦ１１−１２を生成したタイミングが、出力タイミングに間に合わなかったため、映像信号処理装置１００は、補間フレームＦ１１−１２を出力せずに破棄した後、原画フレームＦ１２を出力する。
【００１８】
続いて、映像信号処理装置１００は、デコード処理を行うことにより原画フレームＦ１３を生成した後、補間フレームＦ１２−１３を生成し、生成した補間フレームＦ１２−１３と、原画フレームＦ１３とを出力バッファに順に蓄積する。そして、映像信号処理装置１００は、原画フレームＦ１３が特定シーンに該当するか否かを判定する。ここでは、映像信号処理装置１００は、原画フレームＦ１３が特定シーンに該当すると判定したものとする。
【００１９】
かかる場合、映像信号処理装置１００は、補間フレームＦ１２−１３と、原画フレームＦ１３とを、本来出力するタイミングよりも遅延させて表示部に出力する。図１−１に示した例では、映像信号処理装置１００は、補間フレームＦ１２−１３と、原画フレームＦ１３とを、１フレーム分遅延させて出力している。
【００２０】
続いて、映像信号処理装置１００は、デコード処理を行うことにより原画フレームＦ１４を生成した後、補間フレームＦ１３−１４を生成して、出力バッファに蓄積する。そして、映像信号処理装置１００は、原画フレームＦ１４が特定シーンに該当すると判定したものとする。続いて、映像信号処理装置１００は、補間フレームＦ１３−１４と原画フレームＦ１４とを遅延させて表示部に出力する。
【００２１】
続いて、図１−２に示すように、映像信号処理装置１００は、デコード処理を行うことにより原画フレームＦ１７を生成した後、補間フレームＦ１６−１７を生成して、出力バッファに蓄積する。ここで、映像信号処理装置１００は、原画フレームＦ１７が特定シーンに該当しないと判定したものとする。
【００２２】
かかる場合、映像信号処理装置１００は、補間フレームＦ１６−１７を表示部に出力せずに破棄した後、原画フレームＦ１７を本来出力するタイミングにより出力する。同様に、映像信号処理装置１００は、原画フレームＦ１７およびＦ１８が特定シーンに該当しないと判定し、原画フレームＦ１７およびＦ１８を本来出力するタイミングにより出力する。
【００２３】
このようにして、映像信号処理装置１００は、原画フレームおよび補間フレームを生成するたびに、生成した原画フレームが特定シーンに該当するか否かを判定する。そして、映像信号処理装置１００は、特定シーンに該当する原画フレームと、かかる原画フレームの間を補間する補間フレームとを、遅延させて表示部に出力する。これにより、映像信号処理装置１００は、特定シーンに対してフレームドロップが発生した場合に品質の劣化が目立って発生することを防止することができる。その結果、映像信号処理装置１００は、特定シーンについては、映像の動きを滑らかに表示することができる。
【００２４】
また、映像信号処理装置１００は、特定シーンに該当しない原画フレームと、かかる原画フレームの間を補間する補間フレームとを、本来出力するタイミングにより出力する。これにより、映像信号処理装置１００は、フレームドロップが発生した場合であっても品質の劣化が目立たないシーンを、リアルタイムに表示することができる。
【００２５】
すなわち、映像信号処理装置１００は、リアルタイムに表示することが要求されている映像を、ほぼリアルタイムに表示することができる。具体的には、映像信号処理装置１００は、リアルタイムに表示することが要求されている映像のうち、特定シーン以外のシーンをリアルタイムに表示することができる。例えば、映像信号処理装置１００は、時報のような動きが少ないシーンを特定シーンに検出しないため、リアルタイムに表示することができる。
【００２６】
すなわち、映像信号処理装置１００は、映像の動きを滑らかに表示するとともに、所定の映像（シーン）についてはリアルタイムに表示することができる。
【００２７】
次に、本実施例に係る映像信号処理装置１００の構成について説明する。図２は、本実施例に係る映像信号処理装置１００の構成を示す図である。図２に示すように、映像信号処理装置１００は、分離部１１０と、音声デコード部１２０と、音声出力部１３０と、画像デコード部１４０と、補間フレーム生成部１５０と、画像フレーム制御部１６０と、画像表示部１７０とを有する。
【００２８】
分離部１１０は、符号化された映像データを、音声符号化データと、画像符号化データとに分離する。なお、映像信号処理装置１００は、映像データを、図示しない所定の記憶部に記憶していてもよいし、ネットワークを介して他の装置（例えば、映像配信装置）から受信してもよい。
【００２９】
音声デコード部１２０は、分離部１１０によって分離された音声符号化データを復号化（デコード）する。音声出力部１３０は、音声デコード部１２０によって復号化された音声データを出力する。なお、ここでは図示しないが、音声出力部１３０は、スピーカなどの音声出力装置を介して音声データを出力する。
【００３０】
画像デコード部１４０は、分離部１１０によって分離された画像符号化データを復号化する。具体的には、画像デコード部１４０は、画像符号化データをフレームごとに復号化して原画フレームを生成する。そして、画像デコード部１４０は、生成した原画フレームを補間フレーム生成部１５０へ出力する。図１−１および図１−２に示した例では、画像デコード部１４０は、原画フレームＦ１１〜Ｆ１９を生成する。
【００３１】
補間フレーム生成部１５０は、画像デコード部１４０によって生成された原画フレームの間を補間する補間フレームを生成する。具体的には、補間フレーム生成部１５０は、画像デコード部１４０から入力された原画フレームの原画フレーム間で動きベクトルを探索する。続いて、補間フレーム生成部１５０は、探索した動きベクトルを用いて補間画素を生成することで補間フレームを生成する。そして、補間フレーム生成部１５０は、原画フレームと、生成した補間フレームと、動きベクトル情報とを、画像フレーム制御部１６０へ出力する。
【００３２】
図１−１および図１−２に示した例では、補間フレーム生成部１５０は、原画フレーム１１と原画フレーム１２との間を補間する補間フレームＦ１１−１２を生成する。同様に、補間フレーム生成部１５０は、補間フレームＦ１２−１３、Ｆ１３−１４、Ｆ１５−１６、Ｆ１６−１７およびＦ１７−１８を生成する。
【００３３】
画像フレーム制御部１６０は、画像デコード部１４０によって生成された原画フレームと、補間フレーム生成部１５０によって生成された補間フレームとを、画像表示部１７０へ出力するタイミングを制御する。なお、画像フレーム制御部１６０の構成については、図３を用いて後に詳述する。
【００３４】
画像表示部１７０は、画像フレーム制御部１６０によって出力タイミングが制御された原画フレームと、補間フレームとを出力する。なお、ここでは図示しないが、画像表示部１７０は、液晶表示装置などの表示部を介して、原画フレームおよび補間フレームを出力する。
【００３５】
次に、図２に示した画像フレーム制御部１６０の構成について説明する。図３は、図２に示した画像フレーム制御部１６０の構成を示す図である。図３に示すように、画像フレーム制御部１６０は、特定シーン検出部１６１と、出力タイミング調整部１６２と、出力バッファ１６３とを有する。
【００３６】
特定シーン検出部１６１は、補間フレーム生成部１５０から入力された動きベクトル情報に基づいて、原画フレームが特定シーンに該当するか否かを検出する。そして、特定シーン検出部１６１は、検出結果を出力タイミング調整部１６２へ出力する。
【００３７】
ここで、図４を用いて、特定シーン検出部１６１による特定シーン検出処理について具体的に説明する。図４は、特定シーン検出部１６１による特定シーン検出処理を説明するための図である。図４に示した例において、特定シーン検出部１６１は、原画フレームＦ２０内の座標（ｘ、ｙ）における動きベクトルｍｖ（ｘ、ｙ）について、ライン方向（ｘ軸方向）Ｎｘごとの平均値を算出する。算出された平均値は、ライン方向Ｎｘごとの平均動きベクトルｍｖａｖｅを示し、以下の式（１）により表される。
【００３８】
ｍｖａｖｅ（ｉ）  ＝  Σｍｖ（ｉ、０）／Ｎｘ  ・・・  （１）
【００３９】
なお、上記式（１）における「ｉ」は、ｘ座標の値を示し、「０」〜「Ｎｘ−１」の値を取り得る。
【００４０】
続いて、特定シーン検出部１６１は、全ての平均動きベクトルｍｖａｖｅ（ｉ）の平均値を算出する。算出された平均値は、原画フレームＦ２０の全体平均動きベクトルｍｖａｖｅａｌｌを示し、以下の式（２）により表される。
【００４１】
ｍｖａｖｅａｌｌ  ＝  Σｍｖａｖｅ（ｊ）／Ｎｙ  ・・・  （２）
【００４２】
なお、上記式（２）における「ｊ」は、ｙ座標の値を示し、「０」〜「Ｎｙ−１」の値を取り得る。
【００４３】
続いて、特定シーン検出部１６１は、平均動きベクトルｍｖａｖｅ（ｉ）のばらつき度合いを示す値であるΣ｜ｍｖａｖｅ（ｉ）−ｍｖａｖｅａｌｌ｜を算出する。ここでは、このように算出されたばらつきを示す値を「動きベクトル分散」と呼ぶこととする。
【００４４】
そして、特定シーン検出部１６１は、動きベクトル分散の値が所定の閾値よりも小さく、かつ、全体平均動きベクトルｍｖａｖｅａｌｌが「０」でない場合に、原画フレームＦ２０が、特定シーンに該当することを検出する。これは、動きベクトル分散の値が十分小さい場合、ライン方向Ｎｘごとの平均動きベクトルｍｖａｖｅ（ｉ）がばらついていないため、同一方向、かつ、同一の移動量を示すからである。また、全体平均動きベクトルｍｖａｖｅａｌｌが「０」でない場合、画面内の動きが静止していないことを示すからである。
【００４５】
一方、特定シーン検出部１６１は、動きベクトル分散の値が所定の閾値以上であるか、または、全体平均動きベクトルｍｖａｖｅａｌｌが「０」である場合に、原画フレームＦ２０が、特定シーンに該当しないことを検出する。これは、動きベクトル分散の値が大きい場合、ライン方向Ｎｘごとの平均動きベクトルｍｖａｖｅ（ｉ）がばらついているため、画面内を等速でスクロールするようなシーンではないからである。また、全体平均動きベクトルｍｖａｖｅａｌｌが「０」である場合、画面内の動きが静止していることを示すからである。
【００４６】
このように、特定シーン検出部１６１は、動きベクトル分散を用いることにより、処理対象の原画フレームが１個前の原画フレームと比較して、同一方向、かつ、同一の移動量で移動している画像フレームであるか否かを判定することができる。さらに、特定シーン検出部１６１は、全体平均動きベクトルｍｖａｖｅａｌｌが「０」であるか否かを判定することにより、処理対象の原画フレームが１個前の原画フレームと比較して、画面内の動きが静止している画像フレームであるか否かを判定することができる。
【００４７】
また、特定シーン検出部１６１は、原画フレームが特定シーンでないと検出した場合、１個前の原画フレームが特定シーンであれば、出力バッファ１６３に対して、情報の一部または全てを削除させるための信号（以下、「バッファ制御信号」という）を出力する。これは、所定の原画フレームおよび補間フレームを遅延させて出力した後に、他の原画フレームおよび補間フレームを本来出力するタイミングにより出力する場合、一部の原画フレームまたは補間フレームを表示できないからである。
【００４８】
例えば、図１−２に示した例において、原画フレームＦ１６を遅延させて出力した後に、特定シーン検出部１６１は、原画フレームＦ１７が特定シーンでないことを検出している。かかる場合、映像信号処理装置１００は、原画フレームＦ１７を本来の出力タイミングにより出力しようとしても、時間的に先行する補間フレームＦ１６−１７が同一の出力タイミングを持っているため、後着となる原画フレームＦ１７を出力することができない。したがって、特定シーン検出部１６１は、出力バッファ１６３に記憶されている補間フレームＦ１６−１７を削除するために、バッファ制御信号を出力する。なお、出力バッファ１６３に記憶されている情報を削除する処理については、図６−１および図６−２を用いて後に詳述する。
【００４９】
出力タイミング調整部１６２は、特定シーン検出部１６１から入力された検出結果に基づいて、補間フレーム生成部１５０から入力された画像フレーム（原画フレームおよび補間フレーム）を表示部に出力するタイミングを調整する。
【００５０】
具体的には、出力タイミング調整部１６２は、特定シーン検出部１６１から入力された検出結果が特定シーンであることを示す場合、原画フレームと補間フレームとを表示部に出力するタイミングを遅延させるように調整する。例えば、図１−１に示した例のように、特定シーン検出部１６１から、原画フレームＦ１３が特定シーンであることを示す検出結果を入力された場合、出力タイミング調整部１６２は、補間フレームＦ１２−１３と、原画フレームＦ１３との出力タイミングを遅延させる。
【００５１】
一方、出力タイミング調整部１６２は、特定シーン検出部１６１から入力された検出結果が特定シーンでないことを示す場合、原画フレームと補間フレームとを表示部に出力するタイミングを本来出力するタイミングにより出力させるように調整する。例えば、図１−１に示した例のように、特定シーン検出部１６１から、原画フレームＦ１２が特定シーンでないことを示す検出結果を入力された場合、出力タイミング調整部１６２は、補間フレームＦ１１−１２と、原画フレームＦ１２との出力タイミングを本来出力するタイミングに調整する。出力タイミング調整部１６２は、このように出力タイミングを調整した原画フレームと補間フレームとを出力バッファ１６３へ出力する。
【００５２】
ここで、図５を用いて、出力タイミング調整部１６２による出力タイミング調整処理について具体的に説明する。図５は、出力タイミング調整部１６２による出力タイミング調整処理を説明するための図である。図５に示した原画フレームＦ２０を示す矩形のうち、上段の矩形は、原画フレームＦ２０を表示部に出力するタイミング（時刻情報）を示し、下段の矩形は、原画フレームＦ２０の画像データを示す。
【００５３】
図５に示した例において、出力タイミング調整部１６２は、特定シーン検出部１６１から、出力タイミングが「Ｔ」である原画フレームＦ２０を入力されるとともに、かかる原画フレームＦ２０が特定シーンであることを示す検出結果を入力されたものとする。かかる場合、出力タイミング調整部１６２は、原画フレームＦ２０の出力タイミングを、「Ｔ」から「Ｔ´」へ変更する。ここで、「Ｔ´」は、「Ｔ＋遅延時間（ｄｅｌａｙ）」を示す。なお、ここでいう「遅延時間」は、各フレームの出力間隔の半分以上に設定する必要があるが、どの値にするかは、システム構成に依存する。たとえば、デコードならびにフレーム補間処理がシーケンシャルに毎フレーム処理されるのと、いくつかのフレームをまとめて処理するのとでは、後者のほうがより遅延時間が必要とされる。このように、出力タイミング調整部１６２は、各フレームの出力タイミングであるタイムスタンプ（上記例では、「Ｔ」または「Ｔ´」）の設定を制御する。
【００５４】
出力バッファ１６３は、ＦＩＦＯ（First  In  First  Out）方式によりデータ管理する記憶デバイスであり、出力タイミング調整部１６２から入力された順に、原画フレームと補間フレームとを記憶する。出力バッファ１６３に記憶されている原画フレームと補間フレームとは、出力タイミング（図５に示した例における「Ｔ´」など）になった場合に、画像フレーム制御部１６０によって画像表示部１７０へ出力される。
【００５５】
また、出力バッファ１６３は、特定シーン検出部１６１からバッファ制御信号を入力された場合に、かかるバッファ制御信号に従って、記憶している情報の一部または全てを削除する。
【００５６】
ここで、図６−１および図６−２を用いて、出力バッファ１６３による情報削除処理について具体的に説明する。図６−１および図６−２は、出力バッファ１６３による情報削除処理を説明するための図である。図６−１に示した例では、出力バッファ１６３は、補間フレームＦ１６−１７、原画フレームＦ１７、補間フレームＦ１７−１８、原画フレームＦ１８の順に記憶している。図６−１では、出力バッファ１６３が特定シーン検出部１６１からバッファ制御信号を受け付けた場合に、１個のフレームを削除する例を示している。
【００５７】
具体的には、図６−１の上段に示すように、出力バッファ１６３は、バッファ制御信号を受け付けた場合に、先頭に記憶されている補間フレームＦ１６−１７を削除する。その後、図６−１の下段に示すように、出力バッファ１６３は、原画フレームＦ１７、補間フレームＦ１７−１８、原画フレームＦ１８の順に記憶する。これにより、映像信号処理装置１００は、所定の原画フレームおよび補間フレームを遅延させて出力した後に、他の原画フレームおよび補間フレームを本来出力するタイミングにより出力することができる。
【００５８】
また、出力バッファ１６３は、１個のフレームを削除するだけでなく、２個以上のフレームを削除してもよいし、全ての情報を削除してもよい。例えば、図６−２に示すように、出力バッファ１６３は、特定シーン検出部１６１からバッファ制御信号を受け付けた場合に、全ての情報を削除してもよい。
【００５９】
次に、本実施例に係る映像信号処理装置１００による映像信号処理の手順について説明する。図７は、本実施例に係る映像信号処理装置１００による映像信号処理手順を示すフローチャートである。図７に示すように、映像信号処理装置１００の分離部１１０は、符号化された所定の映像データを、音声符号化データと、画像符号化データとに分離する（ステップＳ１０１）。
【００６０】
続いて、音声デコード部１２０は、分離部１１０によって分離された音声符号化データを復号化する（ステップＳ１０２）。続いて、音声出力部１３０は、音声デコード部１２０によって復号化された音声データを、音声出力装置を介して出力する（ステップＳ１０３）。なお、音声データは、上述した画像データと同様に、出力タイミングが決められている。そして、音声出力部１３０は、かかる出力タイミングに従って、音声データを出力する。
【００６１】
続いて、画像デコード部１４０は、分離部１１０によって分離された画像符号化データを復号化する（ステップＳ１０４）。続いて、補間フレーム生成部１５０は、画像デコード部１４０によって生成された原画フレーム間を補間する補間フレームを生成する（ステップＳ１０５）。このとき、補間フレーム生成部１５０は、原画フレームと、生成した補間フレームと、動きベクトル情報とを、画像フレーム制御部１６０へ出力する。
【００６２】
続いて、画像フレーム制御部１６０の特定シーン検出部１６１は、補間フレーム生成部１５０から入力された動きベクトル情報に基づいて、特定シーン検出処理を行う（ステップＳ１０６）。なお、特定シーン検出部１６１による特定シーン検出処理については、後述する。
【００６３】
特定シーン検出部１６１によって原画フレームが特定シーンに該当すると検出された場合に（ステップＳ１０７肯定）、出力タイミング調整部１６２は、原画フレームおよび補間フレームを表示部に出力するタイミングを遅延させる（ステップＳ１０８）。
【００６４】
一方、特定シーン検出部１６１によって原画フレームが特定シーンに該当しないと検出された場合に（ステップＳ１０７否定）、出力タイミング調整部１６２は、原画フレームおよび補間フレームを表示部に出力するタイミングを変更しない（ステップＳ１０９）。すなわち、出力タイミング調整部１６２は、原画フレームおよび補間フレームを表示部に出力するタイミングを、本来の出力タイミングのままとする。
【００６５】
そして、画像表示部１７０は、原画フレームおよび補間フレームを表示部に出力する（ステップＳ１１０）。映像信号処理装置１００は、上述した映像信号処理手順を、映像データを形成する全ての画像フレームを表示部に表示するまで繰り返し行う。
【００６６】
次に、図３に示した特定シーン検出部１６１による特定シーン検出処理および検出状態管理の手順について説明する。図８−１は、図３に示した特定シーン検出部１６１による特定シーン検出処理手順を示すフローチャートである。図８−１に示すように、特定シーン検出部１６１は、補間フレーム生成部１５０から入力された動きベクトル情報に基づいて、原画フレームにおけるライン方向（ｘ軸方向）Ｎｘごとの平均動きベクトルｍｖａｖｅ（ｉ）を算出する（ステップＳ２０１）。
【００６７】
続いて、特定シーン検出部１６１は、平均動きベクトルｍｖａｖｅ（ｉ）の平均値を算出して、原画フレームの全体平均動きベクトルｍｖａｖｅａｌｌを算出する（ステップＳ２０２）。続いて、特定シーン検出部１６１は、平均動きベクトルｍｖａｖｅ（ｉ）と、全体平均動きベクトルｍｖａｖｅａｌｌとに基づいて、動きベクトル分散を算出する（ステップＳ２０３）。
【００６８】
そして、特定シーン検出部１６１は、動きベクトル分散の値が所定の閾値よりも小さく（ステップＳ２０４肯定）、かつ、全体平均動きベクトルｍｖａｖｅａｌｌが「０」でない場合に（ステップＳ２０５肯定）、原画フレームが、特定シーンに該当することを検出する（ステップＳ２０６）。
【００６９】
一方、特定シーン検出部１６１は、動きベクトル分散の値が所定の閾値以上である（ステップＳ２０４否定）場合に、原画フレームが、特定シーンに該当しないことを検出する（ステップＳ２０７）。また、全体平均動きベクトルｍｖａｖｅａｌｌが「０」である場合に（ステップＳ２０５否定）、状態を維持する（ステップＳ２０８）。
【００７０】
さらに特定シーン検出部１６１は、自身の状態（ステータス）を管理しており、特定シーン検出状態と特定シーン非検出状態とを条件に応じて遷移させる。図８−２を用いて具体的に説明する。図８−２は、図３に示した特定シーン検出部１６１によって管理される状態の遷移図である。
【００７１】
図８−２に示すように、特定シーン検出部１６１は、図８−１に示したステップＳ２０６において、特定シーン検出状態に遷移する。また、特定シーン検出部１６１は、図８−１に示したステップＳ２０７において、特定シーン非検出状態に遷移すると同時に、出力バッファ１６３に対してバッファ制御信号を出力する。かかるバッファ制御信号を受け付けた出力バッファ１６３は、記憶している情報の一部または全てを削除する。一方、特定シーン検出部１６１は、ステップＳ２０８において、状態遷移をしない。
【００７２】
上述してきたように、本実施例に係る映像信号処理装置１００は、原画フレームおよび補間フレームを生成するたびに、生成した原画フレームが特定シーンに該当するか否かを判定して、表示部へ出力するタイミングを制御する。これにより、映像信号処理装置１００は、特定シーンに対してフレームドロップが発生した場合に品質の劣化が目立って発生することを防止することができる。また、本実施例に係る映像信号処理装置１００は、動きベクトルの分散が大きくなった条件でのみバッファ制御信号を送出することで、出力タイミングを元に戻すときに発生する破棄するフレームを適切に制御することができる。
【００７３】
さらに本実施例に係る映像信号処理装置１００は、フレームドロップが発生しても品質の劣化が目立たないシーンを、本来出力するタイミングにより出力するので、リアルタイムに表示することが要求されている映像を、ほぼリアルタイムに表示することができる。すなわち、映像信号処理装置１００は、映像の動きを滑らかに表示するとともに、所定の映像（シーン）についてはリアルタイムに表示することができる。
【００７４】
なお、上記実施例では、特定シーン検出部１６１が動きベクトルに基づいて、特定シーンを検出する例を示したが、映像に含まれる各シーンのうち、特定シーンが予め決められている場合には、特定シーン検出部１６１は、特定シーン検出処理を行わなくてもよい。例えば、映像を形成する複数の原画フレームのうち、Ｎ番目からＭ番目の原画フレームが特定シーンであることが決められている場合、出力タイミング調整部１６２は、Ｎ番目からＭ番目の原画フレームと、かかる原画フレームに基づいて生成される補間フレームとを、遅延させて出力するように制御する。
【００７５】
また、上記実施例では、画像データの出力タイミングを調整する例を示したが、映像信号処理装置１００は、画像データの出力タイミングを調整するとともに、音声データの出力タイミングを調整してもよい。
【００７６】
また、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵ（Central  Processing  Unit）および当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現されてもよい。例えば、図２および図３に示した各種処理部は、１つの制御回路（例えば、映像信号制御回路）によって実現されてもよい。
【００７７】
また、図２に示した映像信号処理装置１００の構成は、要旨を逸脱しない範囲で種々に変更することができる。例えば、映像信号処理装置１００の各種処理部（分離部１１０〜画像表示部１７０）の機能をソフトウェアとして実装し、これをコンピュータで実行することにより、映像信号処理装置１００と同等の機能を実現することもできる。以下に、映像信号処理装置１００の各種処理部の機能をソフトウェアとして実装した映像信号処理プログラム１０７１を実行するコンピュータの一例を示す。
【００７８】
図９は、映像信号処理プログラム１０７１を実行するコンピュータ１０００を示す図である。このコンピュータ１０００は、各種演算処理を実行するＣＰＵ１０１０と、ユーザからのデータの入力を受け付ける入力装置１０２０と、各種情報を表示するモニタ１０３０と、記録媒体からプログラム等を読み取る媒体読取り装置１０４０と、ネットワークを介して他のコンピュータとの間でデータの授受を行うネットワークインターフェース装置１０５０と、各種情報を一時記憶するＲＡＭ（Random  Access  Memory）１０６０と、ハードディスク装置１０７０とをバス１０８０で接続して構成される。
【００７９】
そして、ハードディスク装置１０７０には、図２に示した各種処理部（分離部１１０〜画像表示部１７０）と同様の機能を有する映像信号処理プログラム１０７１が記憶される。そして、ＣＰＵ１０１０が映像信号処理プログラム１０７１をハードディスク装置１０７０から読み出してＲＡＭ１０６０に展開することにより、映像信号処理プログラム１０７１は、映像信号処理プロセス１０６１として機能するようになる。そして、映像信号処理プロセス１０６１は、各種データ処理を実行する。
【００８０】
なお、上記の映像信号処理プログラム１０７１は、必ずしもハードディスク装置１０７０に格納されている必要はなく、ＣＤ−ＲＯＭ等の記憶媒体に記憶されたこのプログラムを、コンピュータ１０００が読み出して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ（Local  Area  Network）、ＷＡＮ（Wide  Area  Network）等を介してコンピュータ１０００に接続される他のコンピュータ（またはサーバ）等にこのプログラムを記憶させておき、コンピュータ１０００がこれらからプログラムを読み出して実行するようにしてもよい。
【図面の簡単な説明】
【００８１】
【図１−１】映像信号処理装置による映像信号処理の概要を説明するための図である。
【図１−２】映像信号処理装置による映像信号処理の概要を説明するための図である。
【図２】映像信号処理装置の構成を示す図である。
【図３】図２に示した画像フレーム制御部の構成を示す図である。
【図４】特定シーン検出部による特定シーン検出処理を説明するための図である。
【図５】出力タイミング調整部による出力タイミング調整処理を説明するための図である。
【図６−１】出力バッファによる情報削除処理を説明するための図である。
【図６−２】出力バッファによる情報削除処理を説明するための図である。
【図７】映像信号処理装置による映像信号処理手順を示すフローチャートである。
【図８−１】図３に示した特定シーン検出部による特定シーン検出処理手順を示すフローチャートである。
【図８−２】図３に示した特定シーン検出部によって管理される状態の遷移図である。
【図９】映像信号処理プログラムを実行するコンピュータを示す図である。
【図１０】従来の映像表示装置による映像信号処理の概要を示す図である。
【符号の説明】
【００８２】
１００  映像信号処理装置
１１０  分離部
１２０  音声デコード部
１３０  音声出力部
１４０  画像デコード部
１５０  補間フレーム生成部
１６０  画像フレーム制御部
１６１  特定シーン検出部
１６２  出力タイミング調整部
１６３  出力バッファ
１７０  画像表示部
１０００  コンピュータ
１０１０  ＣＰＵ
１０２０  入力装置
１０３０  モニタ
１０４０  媒体読取り装置
１０５０  ネットワークインターフェース装置
１０６０  ＲＡＭ
１０６１  映像信号処理プロセス
１０７０  ハードディスク装置
１０７１  映像信号処理プログラム
１０８０  バス
【図１−１】
2010103711.tif 000003
【図１−２】
2010103711.tif 000004
【図２】
2010103711.tif 000005
【図３】
2010103711.tif 000006
【図４】
2010103711.tif 000007
【図５】
2010103711.tif 000008
【図６−１】
2010103711.tif 000009
【図６−２】
2010103711.tif 000010
【図７】
2010103711.tif 000011
【図８−１】
2010103711.tif 000012
【図８−２】
2010103711.tif 000013
【図９】
2010103711.tif 000014
【図１０】
2010103711.tif 000015