(57)【要約】【課題】記録された映像ソースに対するフレーム補間処理において、フレーム補間処理のパラメータ設定が適切でない場合に発生する絵崩れや非連続な映像と言った画質劣化の問題を解決する。【解決手段】入力映像ソースに対して、間引き処理を行った後、フレーム補間処理を行い、フレーム補間されたフレームと対応する入力映像ソースフレームとの誤差が小さくなるように、フレーム補間処理パラメータを生成する。【選択図】図１
2011216959.tif 000002
【特許請求の範囲】
【請求項１】
フレーム補間処理機能を備える映像処理装置であって、
入力映像ソースにフレーム間引き処理を行う間引き処理部と、フレーム補間処理を行うフレーム補間処理部と、前記フレーム補間処理部に与えるパラメータを生成するフレーム補間処理パラメータ生成部を有し、
前記フレーム補間処理パラメータ生成部は、前記間引き処理部でフレーム間引き処理した画像に対しフレーム補間処理を行った画像と、対応する前記入力映像ソースの画像との誤差を評価し、前記誤差が小さくなるようにフレーム補間処理パラメータを生成することを特徴とする映像処理装置。
【請求項２】
解析制御部と、保存処理部と、パラメータ選択部をさらに有し、
前記解析制御部は、パラメータ解析モードまたは視聴モードを選択し、
前記解析制御部がパラメータ解析モードを選択した場合、
前記フレーム補間処理パラメータ生成部が、前記入力映像ソースに対するフレーム補間処理パラメータを生成する処理を行い、
前記保存処理部が、前記フレーム補間処理パラメータを前記入力映像ソースに対応付けて保存し、
前記解析制御部が視聴モードを選択した場合、
前記パラメータ選択部が、パラメータ解析モード時に生成して保存した前記入力映像ソースに対応したフレーム補間処理パラメータを読み出して、前記フレーム補間処理部に設定し、前記フレーム補間処理部がフレーム補間処理を行って、視聴画像を出力することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
解析制御部と、保存処理部と、パラメータ選択部と、チャプタ探索部をさらに有し、
前記解析制御部は、パラメータ解析モードまたは視聴モードを選択し、
前記解析制御部がパラメータ解析モードを選択した場合、
前記チャプタ探索部が、入力映像ソースをチャプタに分割し、
前記フレーム補間処理パラメータ生成部は、チャプタ毎に、フレーム補間処理パラメータを生成し、
前記保存処理部は、前記フレーム補間処理パラメータを前記入力映像ソースのチャプタに対応付けて保存し、
前記解析制御部が視聴モードを選択した場合、
前記パラメータ選択部が、パラメータ解析モード時に生成して保存した前記映像ソースのチャプタに対応したフレーム補間処理パラメータを読み出して、前記フレーム補間処理部に設定し、前記フレーム補間処理部がフレーム補間処理を行って、視聴画像を出力することを特徴とする請求項１に記載の映像処理装置。
【請求項４】
前記フレーム補間処理パラメータには、補間用動きベクトルの大きさを制限するパラメータが含まれることを特徴とする請求項１乃至３いずれか１項記載の映像処理装置。
【請求項５】
映像ソースの画像から、フレーム補間画像を生成する映像処理装置におけるフレーム補間処理パラメータ生成方法であって、
フレーム補間処理パラメータを変更するステップと、
映像ソースにフレーム間引きを行う間引きステップと、
前記間引きステップでフレーム間引き処理された画像に対して、フレーム補間処理を行うステップと、
前記フレーム補間処理されたフレーム画像と、対応する映像ソースのフレーム画像との誤差を算出するステップと、
前記誤差が小さくなったかどうかを判別するステップと、
前記判別ステップで小さくなったと判別された場合に、フレーム補間処理パラメータを更新するステップと、を含むフレーム補間処理パラメータ生成方法。
【請求項６】
パラメータ解析モードまたは視聴モードをモード選択するステップを含み、前記モード選択が、パラメータ解析モードを選択した場合、
前記フレーム補間処理パラメータの生成が、入力する映像ソースに対して行われ、前記生成したフレーム補間処理パラメータを前記映像ソースに対応付けて保存するステップと、をさらに含む請求項５に記載のフレーム補間処理パラメータ生成方法。
【請求項７】
パラメータ解析モードまたは視聴モードをモード選択するステップを含み、前記モード選択が、パラメータ解析モードを選択した場合、
入力した映像ソースをチャプタに分割するステップと、
前記分割したチャプタ毎に、フレーム補間処理パラメータを生成し、前記生成したフレーム補間処理パラメータを、前記映像ソースのチャプタに対応付けて、保存するステップと、をさらに含む請求項５に記載のフレーム補間処理パラメータ生成方法。
【請求項８】
前記フレーム補間処理パラメータには、補間用動きベクトルの大きさを制限するパラメータが含まれることを特徴とする請求項５乃至７いずれか１項記載のフレーム補間処理パラメータ生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレームレートを向上する機能を備えた映像処理装置に関する。特に、記録された映像ソースに対して、フレームレートを向上させるフレーム補間処理技術を備えた映像処理装置に関する。
【背景技術】
【０００２】
液晶表示装置（以下、ＬＣＤと称する）は、薄型・軽量・省電力という利点から、近年ますます需要が増大している。ＬＣＤは、液晶に電界を印加する事により表示を行なう。ところが、液晶は電荷の保持能力が高いため、一旦電界を付加すると、次に電界が印加されるまで保持される事になる。このような表示方式をホールド型表示方式と言う。これに対して、従来の陰極線管（以下、ＣＲＴと称する）では、電子線が照射されている短時間のみ表示が行われる。このような表示方式をインパルス型表示方式と言う。ホールド型表示方式は、インパルス型表示方式と比較して、動きのある映像を表示した場合に、動き部分の輪郭がぼやけて認識されてしまうという動きぼけの問題が指摘されている。
【０００３】
そこで、ＬＣＤに代表されるホールド型表示方式の映像表示装置においても、補間フレーム画像を生成することで、フレームレートを入力映像ソースよりも高くし、表示を保持する時間を短くして、動きぼけを改善する技術が提案されている。この技術は、フレームレートコンバータと呼ばれ実用化されている。しかしながら、フレームレートコンバータは、不適切なパラメータ設定による、絵崩れや、非連続的な映像の生成が起きる虞がある。そこで、常時、最適なパラメータ設定が可能なフレームレートコンバータの必要性が高まっている。
【０００４】
特許文献１には、放送時に配信される映像から、ジャンル情報などの番組映像に関する情報を示す付加データを抽出し、付加データの内容に基づいて、パラメータを決定すると言う手法で、番組の内容に応じて適切なフレーム補間処理を行なう技術が開示されている。図２２は、従来技術における映像表示装置の機能的な構成を示すブロック図であり、特許文献１の図１を引用したものである。以下、特許文献１を引用し、図２２について説明する。
【０００５】
映像表示装置は、フロントエンド１０２、トランスポートデコーダ１０３、映像デコーダ１０４、拡大縮小処理部１０５、番組情報解析部１０６、フレーム補間処理部１０７、および、表示部１０８を備えている。また、映像表示装置は、アンテナ１０１に接続されている。映像表示装置は、アンテナ１０１で受信された放送波から得られる映像を表示部１０８に表示するものである。
【０００６】
アンテナ１０１は、放送波（放送信号）を受信し、フロントエンド１０２へ出力する。フロントエンド１０２は、アンテナ１０１で受信された放送信号を復調してトランスポートストリームを生成する。なお、フロントエンド１０２は、チューナの機能を有していてもよい。生成されたトランスポートストリームはトランスポートデコーダ１０３へ出力される。トランスポートデコーダ１０３は、フロントエンド１０２に接続されており、トランスポートストリームをデコードする。これによって、映像ストリームおよび音声ストリームが抽出（生成）されるとともに、番組特定情報（ＰＳＩ：Ｐｒｏｇｒａｍ  Ｓｐｅｃｉｆｉｃ  Ｉｎｆｏｒｍａｔｉｏｎ）や番組配列情報（ＳＩ：Ｓｅｒｖｉｃｅ  Ｉｎｆｏｒｍａｔｉｏｎ）のデータが抽出（生成）される。その他、トランスポートストリームをデコードする事によって、データ放送用のデータ（データ放送ストリーム）や字幕のデータ等が抽出される。
【０００７】
映像デコーダ１０４は、トランスポートデコーダ１０３に接続されており、上記映像ストリームをデコードする事によって、映像ストリームに含まれる各フレームの画像を生成する。生成された画像のデータは拡大縮小処理部１０５へ出力される。拡大縮小処理部１０５は、映像デコーダ１０４から出力された画像のデータに対して拡大・縮小処理を適宜行い、処理後の画像データをフレーム補間処理部１０７へ出力する。
【０００８】
一方、番組情報解析部１０６は、トランスポートデコーダ１０３に接続されており、トランスポートデコーダ１０３によって抽出されたＳＩのデータを取得する。番組情報解析部１０６は、取得したＳＩのデータを解析し、取得したＳＩのデータから番組のジャンル情報のデータを抽出する。なお、番組のジャンル情報は、ＡＲＩＢ標準規格のＳＴＤ−Ｂ１０に記載されているように、ＳＩとして送られてくるＥＩＴ（Ｅｖｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｔａｂｌｅ）に含まれるコンテント記述子を参照する事によって得られる。ジャンル情報は、例えば「スポーツ」や「映画」や「アニメ」のように、番組の大略的なジャンルを示すものでもよいし、より詳細なジャンル（例えば「スポーツ」のジャンルに関して、「サッカー」や「野球」や「ゴルフ」等のジャンル）を示すものでもよい。また、上記付加データは、番組に関する情報であればよく、ジャンル情報に代えて、例えば番組の内容を示す情報や出演者の情報を用いてもよい。ジャンル情報のデータは、フレーム補間処理部１０７の動き検出処理部１１３へ出力される。フレーム補間処理部１０７は、拡大縮小処理部１０５から出力された各フレームの画像から、補間フレームの画像を生成する処理（補間フレーム生成処理）を行う。フレーム補間処理部１０７は、補間フレーム生成部１１１、第１フレームメモリ１１２、動き検出処理部１１３、および、第２フレームメモリ１１４を備えている。
【０００９】
図２３は、従来技術の処理を示すフローチャートである。特許文献１の図２を引用したものである。以下、特許文献１を引用し、図２３について説明する。まずステップＳ１０１において、動き検出処理部１１３は、番組情報解析部１０６から番組のジャンル情報のデータを取得する。すなわち、動き検出処理部１１３は、番組情報解析部１０６に対してジャンル情報の取得要求を行う。番組情報解析部１０６は、この取得要求に応じてジャンル情報のデータを動き検出処理部１１３へ出力する。なお、番組情報解析部１０６は、トランスポートデコーダ１０３によって抽出されたＳＩのデータから抽出される最新のジャンル情報のデータを記憶しておく。そして、上記取得要求があった場合には、記憶している最新のジャンル情報のデータを出力する。
【００１０】
続くステップＳ１０２において、動き検出処理部１１３は、ステップＳ１０１で取得されたジャンル情報のデータが、「サッカー」のジャンルを示すか否かを判定する。ステップＳ１０２の判定結果が肯定の場合、ステップＳ１０３の処理が実行される。一方、ステップＳ１０２の判定結果が否定の場合、後述するステップＳ１０４の処理が実行される。
【００１１】
ステップＳ１０３において、動き検出処理部１１３は、動きベクトルの探索距離を、予め定められた所定値Ｌ１に決定する。ここで、探索距離とは、動きベクトルの探索範囲を特定する情報であり、従来技術では、類似部分を探索すべき対象となるブロックの位置を基準に当該探索距離以内の範囲が探索範囲とされる。すなわち、ステップＳ３の処理によって、動きベクトルの探索範囲が設定された事となる。なお、所定値Ｌ１は、サッカーの映像に適した探索距離の値である。ステップＳ１０３の後、後述するステップＳ１０９の処理が実行される。
【００１２】
一方、ステップＳ１０４において、動き検出処理部１１３は、ステップＳ１０１で取得されたジャンル情報のデータが、「野球」のジャンルを示すか否かを判定する。ステップＳ１０４の判定結果が肯定の場合、ステップＳ１０５の処理が実行される。一方、ステップＳ１０４の判定結果が否定の場合、後述するステップＳ１０６の処理が実行される。
【００１３】
ステップＳ１０５において、動き検出処理部１１３は、動きベクトルの探索距離を、予め定められた所定値Ｌ２に決定する。ここで、探索距離Ｌ２は、野球の映像に適した探索距離の値である。したがって、ステップＳ１０５の場合（ジャンルが野球である場合）には、ステップＳ１０３の場合（ジャンルがサッカーである場合）とは異なる探索範囲が設定される。ステップＳ１０５の後、後述するステップＳ１０９の処理が実行される。
【００１４】
一方、ステップＳ１０６において、動き検出処理部１１３は、ステップＳ１０１で取得されたジャンル情報のデータが、「ゴルフ」のジャンルを示すか否かを判定する。ステップＳ１０６の判定結果が肯定の場合、ステップＳ１０７の処理が実行される。一方、ステップＳ１０６の判定結果が否定の場合、後述するステップＳ１０８の処理が実行される。
【００１５】
ステップＳ１０７において、動き検出処理部１１３は、動きベクトルの探索距離を、予め定められた所定値Ｌ３に決定する。ここで、探索距離Ｌ３は、ゴルフの映像に適した探索距離の値である。したがって、ステップＳ１０７の場合（ジャンルがゴルフである場合）には、ステップＳ１０３およびステップＳ１０５の場合（ジャンルがサッカーおよび野球である場合）とは異なる探索範囲が設定される。ステップＳ７の後、後述するステップＳ１０９の処理が実行される。
【００１６】
一方、ステップＳ１０８において、動き検出処理部１１３は、動きベクトルの探索距離を、予め定められた所定値Ｌ４に決定する。ここで、探索距離Ｌ４は、上記サッカー、野球、およびゴルフ以外の一般的な番組の映像に用いられる、標準的な探索距離の値である。このとき、ステップＳ１０８の場合（ジャンルがサッカー、野球、およびゴルフ以外である場合）、ステップＳ１０３，Ｓ１０５およびＳ１０７の場合（ジャンルがサッカー、野球、およびゴルフである場合）とは異なる探索範囲が設定される。ステップＳ１０８の後、後述するステップＳ１０９の処理が実行される。
【００１７】
ステップＳ１０９において、動き検出処理部１１３は、ステップＳ１０３、Ｓ１０５、Ｓ１０７又はＳ１０８で設定された探索範囲内で動きベクトルを算出する。これによって、番組のジャンルに応じて異なる探索範囲に従って動きベクトルが算出される事となる。なお、動き検出処理部１１３は、ステップＳ１０３、Ｓ１０５、Ｓ１０７又はＳ１０８で決定された探索範囲に従って動きベクトルを算出する他は、番組のジャンルによらず同じ処理を行ってもよい。ステップＳ１０９において算出された動きベクトルのデータは、補間フレーム生成部１１１に出力される。
【００１８】
以上のように動きベクトルが算出されると、補間フレーム生成部１１１は、拡大縮小処理部１０５から出力される各フレームの画像データと、動き検出処理部１１３から出力された動きベクトルを示すデータとを用いて、当該各フレームの補間フレームの画像データを生成する。なお、連続する２つのフレーム間に挿入される補間フレームの数はいくつであってもよい。表示部１０８は、拡大縮小処理部１０５から出力された各フレームの画像データ、および、生成された補間フレームの画像データを補間フレーム生成部１１１から入力し、各画像データにより示される画像を表示する。
【００１９】
映像表示装置は、放送信号に含まれるＳＩのデータから番組のジャンル情報のデータを取得する（ステップＳ１０１）ことにより、番組のジャンルを特定する。そして、番組のジャンルが「サッカー」、「野球」、「ゴルフ」、およびその他のうちのいずれであるかに応じて、動きベクトルの探索範囲を異なる大きさに決定する（ステップＳ１０２〜Ｓ１０８）。そのため、映像表示装置は、番組のジャンルの違いに応じて適切な探索範囲で動きベクトルを算出する事ができ、番組の内容が画像の動きが激しいものであるかどうかをジャンル情報から推測する事によって、番組の内容が画像の動きが激しいものであるかそうでないかに応じて適切なフレーム補間処理を行う事ができる。
【先行技術文献】
【特許文献】
【００２０】
【特許文献１】特開２００９−０７１８０９号公報
【特許文献２】特開２００５−００６２７５号公報
【発明の概要】
【発明が解決しようとする課題】
【００２１】
以下の分析は、本発明により与えられる。
【００２２】
映像処理装置へ入力される映像ソースの内容は様々であり、動きの激しさに代表される映像特性は、映像毎に異なる。全ての映像ソースに対して同じフレームレートコンバータ処理を行なった場合、フレームレートコンバータ処理内容の想定する映像特性と、処理対象の映像ソースの映像特性が異なる場合、絵崩れや非連続的な映像と言った現象に代表される画像劣化を伴い、不適切なフレームレートコンバータ処理を行なってしまう問題が発生する。
【００２３】
そのため、フレームレートコンバータ処理を行なう場合においては、処理対象映像ソースの映像特性に従って、フレームレートコンバータ処理の内容を適切なものに変更する必要がある。近年の映像処理装置では、多様な映像ソースに対応するために、動作の内容をパラメータによって変更できるような構成にしておき、使用時にパラメータを変更することで、多岐に渡る映像ソースに対応するのが一般的である。このような構成は、フレームレートコンバータ処理においても同様であり、パラメータによってフレームレートコンバータ処理の内容を変更する事が可能である。このように、フレームレートコンバータ処理の内容を適切なものに変更するためには、適切なパラメータ設定を行うことが重要となる。
【００２４】
一方、近年、インターネットによる動画配信やビデオレコーダなどのように、一端、映像ソースを保存して蓄積しておき、好きな時に視聴するというユーザが増えてきている。今後、ますます、そのような視聴形態は増えることが予想される。また、前述のように、近年、ＬＣＤ表示装置が増えてきていることから、動きぼけの問題を解決するために、フレームレートコンバータの必要性は高まっている状況がある。そのような状況の中で、記録された映像ソースに対して、フレームレートコンバータ処理を映像ソースの特長に沿ったパラメータで行うことにより、絵崩れや非連続な映像と言った画像劣化の問題を回避して高画質化することが求められている。
【課題を解決するための手段】
【００２５】
本発明の第１の側面による映像処理装置は、フレーム補間処理機能を備える映像処理装置であって、入力映像ソースにフレーム間引き処理を行う間引き処理部と、フレーム補間処理を行うフレーム補間処理部と、前記フレーム補間処理部に与えるパラメータを生成するフレーム補間処理パラメータ生成部を有し、前記フレーム補間処理パラメータ生成部は、前記間引き処理部でフレーム間引き処理した画像に対しフレーム補間処理を行った画像と、対応する前記入力映像ソースの画像との誤差を評価し、前記誤差が小さくなるようにフレーム補間処理パラメータを生成する。
【００２６】
また、本発明の第２の側面によるフレーム補間処理におけるパラメータ生成方法は、映像ソースの画像から、フレーム補間画像を生成する映像処理装置におけるフレーム補間処理パラメータ生成方法であって、フレーム補間処理パラメータを変更するステップと、映像ソースにフレーム間引きを行う間引きステップと、前記間引きステップでフレーム間引き処理された画像に対して、フレーム補間処理を行うステップと、前記フレーム補間処理されたフレーム画像と、対応する映像ソースのフレーム画像との誤差を算出するステップと、前記誤差が小さくなったかどうかを判別するステップと、前記判別ステップで小さくなったと判別された場合に、フレーム補間処理パラメータを更新するステップと、を含む。
【発明の効果】
【００２７】
本発明によれば、記録された映像ソースに対してフレームレートを向上させるフレーム補間処理を行う際に、映像ソースの特長に沿ったフレーム補間処理パラメータを解析して設定することが可能になり、絵崩れ、非連続な映像と言った画像劣化の問題を回避したフレーム補間処理が可能な高画質な映像処理装置を提供することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明の第１の実施形態を示すブロック図である。
【図２】本発明の第１の実施形態を説明するための図である。
【図３】本発明の第１の実施形態を説明するための図である。
【図４】本発明の第２の実施形態を示すブロック図である。
【図５】本発明の第３の実施形態を示すブロック図である。
【図６】本発明の第５の実施形態を示すフローチャートである。
【図７】本発明の第６の実施形態を示すフローチャートである。
【図８】本発明の第７の実施形態を示すフローチャートである。
【図９】本発明の実施例１を説明するための図である。
【図１０】本発明の実施例１を説明するためのフローチャートである。
【図１１】本発明の実施例２を説明するための図である。
【図１２】本発明の実施例２を説明するためのフローチャートである。
【図１３】本発明のフレーム補間処理を説明するための図である。
【図１４】本発明のフレーム補間処理を説明するための図である。
【図１５】本発明の間引き処理前後の動きベクトルの変化を示す図である。
【図１６】本発明の実施例１におけるフレーム補間処理パラメータファイルの一例である。
【図１７】本発明の実施例１におけるフレーム補間処理パラメータファイルの一例である。
【図１８】本発明の実施例１におけるフレーム補間処理パラメータファイルの一例である。
【図１９】本発明の実施例２におけるフレーム補間処理パラメータファイルの一例である。
【図２０】本発明の実施例２におけるフレーム補間処理パラメータファイルの一例である。
【図２１】本発明の実施例２におけるフレーム補間処理パラメータファイルの一例である。
【図２２】従来の映像表示装置の機能的な構成を示すブロック図である。本図は、特許文献１の図１を引用している。
【図２３】従来の動き検出処理部における処理の流れを示すフローチャートである。本図は、特許文献１の図２を引用している。
【発明を実施するための形態】
【００２９】
本発明の実施形態について、必要に応じて図面を参照して説明する。なお、実施形態の説明において引用する図面及び図面の符号は実施形態の一例として示すものであり、それにより本発明による実施形態のバリエーションを制限するものではない。
【００３０】
本発明による第１の実施形態の映像処理装置１は、図１に示すように、フレーム補間処理機能を備えた映像処理装置であって、入力した映像ソースＥ１にフレーム間引き処理を行う間引き処理部３と、フレーム補間処理を行うフレーム補間処理部４と、フレーム補間処理部４に与えるパラメータを生成するフレーム補間処理パラメータ生成部５を有し、フレーム補間処理パラメータ生成部５は、間引き処理部３でフレーム間引き処理した画像に対しフレーム補間処理を行った画像Ｅ２と、対応する入力映像ソースの画像Ｅ１との誤差を評価し、誤差が小さくなるようなフレーム補間処理パラメータを求める。フレーム補間処理パラメータが確定すると、フレーム補間処理部４のパラメータが書き換えられる。また、視聴時には間引き処理部３、フレーム補間パラメータ生成部５は不要であり、間引き処理部３はバイパスされ、フレーム補間パラメータ生成部５はフレーム補間処理部４から遮断される。視聴時には映像処理装置１の処理後の画像信号は、不図示の表示装置に与えられ、画像が表示される。
【００３１】
次に、第１の実施形態の映像処理装置１について、以下に、より詳細に説明する。
図２は、フレーム補間処理部４を詳細に示したブロック図であり、動き検出部６と補間フレーム生成部７で構成される。動き検出の結果を使用して、フレーム補間処理を行う方法は、例えば、特許文献２の図５３に、従来技術として開示されている。以下に、そこで述べられている技術内容について、簡単に説明する。まず、２枚の画像フレームである基準フレームと参照フレームとに基づいて動きベクトルＭＶ０を検出する。具体的には、基準フレームを構成する画像ブロックの動きベクトルＭＶ０は、基準フレームの画像ブロックと参照フレームの画素領域をマッチングして検出される。ここで、検出された動きベクトルＭＶ０を、フレーム間の補間枚数に応じて内分する。例えば、フレームレートを２倍に上げる場合には、１枚の補間フレームを補間するため、動きベクトルの方向を変えずに大きさを２分の１にして、補間用動きベクトルＭＶとする。導出された補間用動きベクトルＭＶと基準フレームの画像ブロックとから、補間フレームが作成される。以上が、特許文献２で示された動き検出結果を用いた補間フレーム生成方法の概要である。  
【００３２】
第１の実施形態では、シーンに応じたフレーム補間処理を行うために、補間用動きベクトルの大きさＭＶを図３に示すような変換特性により、ＭＶ’に変換する。変換特性は、補間用動きベクトルの大きさを制限するパラメータＬＩＭＩＴ＿ＭＶ＿ＭＡＸで規定される。ここで、変換特性は図３の（ａ）、（ｂ）のいずれも可能であるが、滑らかな特性を持つ（ｂ）のほうが、望ましい。
【００３３】
ここで、動きの激しいシーンの場合には、ＬＩＭＩＴ＿ＭＶ＿ＭＡＸの値を大きくして、動き検出の結果をできるだけ反映させるようにして動きのある映像が非連続にならないようにし、逆に、動きの少ないシーンの場合には、ＬＩＭＩＴ＿ＭＶ＿ＭＡＸの値を小さくして、動き検出結果に制限をかけ、動きベクトルの誤検出に起因する絵崩れを抑えるようにする。
【００３４】
次に、第１の実施形態において、フレーム補間処理パラメータ生成部４は、間引き処理部２でフレーム間引き処理した画像に対しフレーム補間処理を行った画像Ｅ２と、対応する入力映像ソースの画像Ｅ１との誤差を評価し、誤差が小さくなるようにフレーム補間処理パラメータを生成する。これについて、図１３、図１４を用いて、以下により詳細に説明する。
【００３５】
図１３は、第１の実施形態の映像処理装置１において、視聴時の処理を示したものであり、６０フレーム／秒の映像ソースから、視聴時の１２０フレーム／秒にフレーム補間処理を行った状態を示している。Ｆ０〜Ｆ６は、フレーム補間処理前の元の映像ソースの各フレームであり、Ｆ０１、Ｆ１２、Ｆ２３、Ｆ３４、Ｆ４５、Ｆ５６は、フレーム補間処理部３によって補間されたフレーム、Ｔ０〜Ｔ６は、それぞれＦ０〜Ｆ６の存在する時間である。
【００３６】
図１４は、第１の実施形態の映像処理装置１において、フレーム補間処理パラータ生成時の処理を示したものである。間引き処理部３によって、入力映像ソースを１／２間引きし、３０フレーム／秒のフレーム画像を生成する。具体的には、図１４において、間引き処理後に、Ｆ１、Ｆ３、Ｆ５のフレームが除去されている。次に間引き処理後のフレームから、２倍のフレームレートになるように、フレーム補間処理部４で、フレーム補間処理を行う。具体的には、図１４において、Ｆ０とＦ２からＦ０２のフレームを生成、Ｆ２とＦ４からＦ２４のフレームを生成、Ｆ４とＦ６からＦ４６のフレームを生成する。その結果、フレーム補間処理後の映像ソースは、Ｆ０、Ｆ０２、Ｆ２、Ｆ２４、Ｆ４、Ｆ４６、Ｆ６からなる６０フレーム／秒の映像信号となる。ここで、図１４に示すように、得られた６０フレーム／秒の映像信号において、フレーム補間処理されたフレームＦ０２、Ｆ２４、Ｆ４６は、元の入力ソースのフレームＦ１、Ｆ３、Ｆ５がそれぞれ対応していることがわかる。フレームＦ１、Ｆ３、Ｆ５は、実際に存在した自然現象をそのまま記録した映像である。そこで、フレームＦ１、Ｆ３、Ｆ５をフレーム補間処理の目標値とし、フレーム補間処理されたフレームＦ０２、Ｆ２４、Ｆ４６との誤差を計算して、誤差が小さくなるように、フレーム補間処理のパラメータＬＩＭＩＴ＿ＭＶ＿ＭＡＸを生成するように構成している。
【００３７】
次に、本発明の第２の実施形態の映像処理装置８は、図４に示すようにフレーム補間処理機能を備える映像処理装置であって、第１の実施形態に加えて、さらに、解析制御部１０と、保存処理部１１と、パラメータ選択部９をさらに有し、解析制御部１０は、パラメータ解析モード、視聴モードのモード選択を行い、解析制御部１０がパラメータ解析モードを選択した場合、フレーム補間処理パラメータ生成部５が、入力した映像ソースＥ１に対するフレーム補間処理パラメータを生成する処理を行った後、保存処理部１１が、フレーム補間処理パラメータを映像ソースＥ１に対応付けて保存し、解析制御部１０が視聴モードを選択した場合、パラメータ選択部９が、パラメータ解析モード時に生成して保存した映像ソースに対応したフレーム補間処理パラメータを読み出して、フレーム補間処理部４に設定し、フレーム補間処理部４がフレーム補間処理を行って、視聴画像を出力する。
【００３８】
次に、本発明の第３の実施形態の映像処理装置１３は、図５に示すように、フレーム補間処理を備える映像処理装置であって、入力した映像ソースをチャプタ分割したＥ３にフレーム間引き処理を行う間引き処理部３と、フレーム補間処理を行うフレーム補間処理部４と、フレーム補間処理部４に与えるパラメータを生成するフレーム補間処理パラメータ生成部５を有し、フレーム補間処理パラメータ生成部５は、間引き処理部３でフレーム間引き処理した画像に対しフレーム補間処理を行った画像Ｅ４と、対応する入力映像ソースのチャプタ画像Ｅ３との誤差を評価し、誤差が小さくなるようにフレーム補間処理パラメータを生成する。さらに、第３の実施形態の映像処理装置１３は、解析制御部１０と、保存処理部１１と、パラメータ選択部９と、チャプタ探索部１２をさらに有し、解析制御部１０は、パラメータ解析モード、視聴モードのモード選択を行い、解析制御部１０がパラメータ解析モードを選択した場合、チャプタ探索部１２が、入力した映像ソースをチャプタに分割し、フレーム補間処理パラメータ生成部５は、チャプタ毎に、フレーム補間処理パラメータを生成し、保存処理部１１は、フレーム補間処理パラメータを映像ソースのチャプタに対応付けて保存し、解析制御部１０が視聴モードを選択した場合、パラメータ選択部９が、パラメータ解析モード時に生成して保存した映像ソースのチャプタに対応したフレーム補間処理パラメータを読み出して、フレーム補間処理部４に設定し、フレーム補間処理部４がフレーム補間処理を行って、視聴画像を出力する。
【００３９】
次に、本発明の第４の実施形態の映像処理装置は、第１の実施形態において、フレーム補間処理パラメータが、補間用動きベクトルの大きさを制限するパラメータとなっている。
【００４０】
次に、本発明による第５の実施形態のフレーム補間処理におけるパラメータ生成方法は、図６に示すように、映像ソースの画像から、フレーム補間画像を生成するフレーム補間処理パラメータ生成方法であって、フレーム補間処理パラメータを変更するステップＳ１と、映像ソースにフレーム間引きを行う間引きステップＳ２と、間引きステップＳ２でフレーム間引き処理された画像に対して、フレーム補間処理を行うステップＳ３と、前記フレーム補間処理されたフレーム画像と、対応する映像ソースのフレーム画像との誤差を算出するステップＳ４と、前記誤差が小さくなったかどうかを判別するステップＳ５と、前記判別ステップで小さくなったと判別された場合に、フレーム補間処理パラメータを更新するステップＳ６と、を含む。
【００４１】
次に、本発明の第５の実施形態のフレーム補間処理におけるパラメータ生成方法を、図６、図１４を用いて、以下により詳細に説明する。
【００４２】
ステップＳ１のパラメータ変更処理において、繰り返し処理の１回目には、初期値を与える。ここで、初期値は、ディフォルトパラメータに相当する値とするのが望ましい。
【００４３】
ステップＳ２における間引き処理は、図１４に示すように、元の映像ソースからフレームを間引く処理である。
【００４４】
ステップＳ３におけるフレーム補間処理は、図１４に示すように、間引いたフレームから、元の映像ソースのフレームレートにフレーム補間する処理である。
【００４５】
ステップＳ４における誤差算出処理は、第１の実施形態の説明において図１４で説明したように、フレーム補間処理で生成したフレームと、対応する元の映像ソースのフレームとの誤差を算出する処理である。誤差の算出は、ここでは、差の絶対値を平均する方法で例示するが、他にも様々な方法が考えられ、これに限定されるものではない。
【００４６】
2011216959.tif 000003
2011216959.tif 000004
2011216959.tif 000005
図１４におけるＦ０２とＦ１の間の誤差をｅ１、Ｆ２４とＦ３の間の誤差をｅ３、Ｆ４６とＦ５の間の誤差をｅ５とすると、式（１）、式（２）、式（３）で表される。
式(１)、式（２）、式（３）における（ｉ，ｊ）は、画素がｉ行、ｊ列であることを示している。また、１つのフレーム画像は、Ｍ×Ｎ画素であるとしている。次にフレーム補間処理で生成された全てのフレームの平均を求めて、誤差ｅとする。誤差ｅは式（４）で表される。
2011216959.tif 000006
ここで、ＮＦは、フレーム補間処理で生成されたフレームの総数である。
【００４７】
前回までの繰り返し処理で得られている最小の誤差をｅ０、そのときのフレーム補間処理のパラメータＬＩＭＩＴ＿ＭＶ＿ＭＡＸ０は、前回までの繰り返し処理で保存されている。ステップＳ５において、誤差ｅ０と今回の誤差ｅを比較し、今回の誤差ｅのほうが、小さい場合（すなわち、ＹＥＳが選択）には、ステップＳ６おいて、今回の誤差ｅと今回のフレーム補間処理パラメータで、上書きする。
【００４８】
次に、ステップＳ７において、終了条件を満たしているかどうかを判定する。終了条件は、予め設定された誤差の目標値よりも今回の誤差ｅが小さい場合、または、繰り返し回数が、所定の最大繰り返し回数を超えた場合であり、その条件が満たされると、処理は終了となる（すなわち、ＹＥＳが選択）。一方、ＮＯが選択された場合には、ステップＳ１に戻り、ステップＳ１〜ステップＳ６の処理が繰り返される。
【００４９】
次に、本発明による第６の実施形態のフレーム補間処理におけるパラメータ生成方法は、図７に示すように、映像ソースの画像から、フレーム補間画像を生成するフレーム補間処理パラメータ生成方法であって、パラメータ解析モード、視聴モードを選択するモード選択を行うステップＳ８を含み、モード選択が、パラメータ解析モードを選択した場合、フレーム補間処理パラメータの生成が、入力する映像ソースに対して行われる。そのフレーム補間処理パラメータの生成には、フレーム補間処理パラメータを変更するステップＳ１と、映像ソースにフレーム間引きを行う間引きステップＳ２と、間引きステップＳ２でフレーム間引き処理された画像に対して、フレーム補間処理を行うステップＳ３と、前記フレーム補間処理されたフレーム画像と、対応する映像ソースのフレーム画像との誤差を算出するステップＳ４と、前記誤差が小さくなったかどうかを判別するステップＳ５と、前記判別ステップで小さくなったと判別された場合に、フレーム補間処理パラメータを更新するステップＳ６と、を含む。さらに、生成したフレーム補間処理パラメータを映像ソースに対応付けて保存するステップＳ９を含む。
【００５０】
次に、本発明による第７の実施形態のフレーム補間処理におけるパラメータ生成方法は、図８に示すように、映像ソースの画像から、フレーム補間画像を生成するフレーム補間処理パラメータ生成方法であって、パラメータ解析モード、視聴モードを選択するモード選択を行うステップＳ８と、モード選択が、パラメータ解析モードを選択した場合、入力した映像ソースをチャプタに分割するステップＳ１０と、分割したチャプタ毎に、フレーム補間処理パラメータを生成する。そのフレーム補間処理パラメータを生成には、フレーム補間処理パラメータを変更するステップＳ１と、チャプタ分割した映像ソースにフレーム間引きを行う間引きステップＳ２と、間引きステップＳ２でフレーム間引き処理された画像に対して、フレーム補間処理を行うステップＳ３と、前記フレーム補間処理されたフレーム画像と、対応するチャプタ分割した映像ソースのフレーム画像との誤差を算出するステップＳ４と、前記誤差が小さくなったかどうかを判別するステップＳ５と、前記判別ステップで小さくなったと判別された場合に、フレーム補間処理パラメータを更新するステップＳ６と、を含む。さらに、生成したフレーム補間処理パラメータを、映像ソースのチャプタに対応付けて、保存するステップＳ９を含む。
【００５１】
次に、本発明による第８の実施形態のフレーム補間処理におけるパラメータ生成方法は、第５の実施形態において、フレーム補間処理パラメータが、補間用動きベクトルの大きさを制限するパラメータとなっている。
【００５２】
以下、実施例について、図面を参照して詳しく説明する。
【実施例１】
【００５３】
［実施例１の構成］
図９は、本発明の実施例１による映像処理装置のブロック図である。記憶装置２は、ハードディスクドライブであり、インターネット配信された動画が記録される。映像処理装置２３が接続された不図示の上位のコンピュータは、インターネットに接続され、ユーザが指示してダウンロードした動画が、記憶装置２に保存されるように構成されている。映像処理装置２３において、記憶装置２から読み出された映像ソースは、様々なフォーマットで符号化されているので、読み出し後、すぐに、不図示のデコーダで、フレーム画像にデコードされる。
【００５４】
映像処理装置２３は、ユーザが動画を視聴する視聴モードと、パラメータ解析モードからなるモードと、動作待ち状態であるアイドリングモードを持つ。モード選択は解析制御部１０が行い、解析制御部１０はモード選択結果を映像処理装置２３内の他の必要なユニットに与えるように構成されている。視聴モードの時には、フレーム補間処理部４は、必要に応じて入力映像ソースのフレームレートを上げる処理を行い、映像表示部２２で表示信号に変換された後、映像表示部２２に接続された不図示のＬＣＤ表示装置に映像表示される。
【００５５】
一方、パラメータ解析モードの時には、間引き処理部３で入力映像ソースのフレームが、間引き処理された後、フレーム補間処理部４でフレーム補間処理を行い、フレーム補間した画像と、対応するフレームの入力画像を、フレーム補間処理パラメータ生成部５に与え、それらの誤差を算出し、誤差が小さくなったかどうかを判定するようにしている。
ここで、一点鎖線で示されるフレーム補間処理部４は、フレーム補間制御部１５、補間フレーム生成部１６、動き検出部１７により構成されている。フレーム補間処理パラメータ生成部５で誤差評価を行い、終了判定結果が条件に満たない場合には、フレーム補間制御部１５のパラメータを変更して、フレーム補間処理部４のフレーム補間処理を繰り返し行うように構成されている。また、フレーム補間処理部４は、動き検出部１７で、動きベクトルを算出し、算出された動きベクトルに基づいて補間フレーム生成部１６で、補間フレームを生成するように構成されている。
【００５６】
また、一点鎖線で示されるフレーム補間パラメータ生成部５は、誤差算出部１８、結果比較部１９、結果保持部２０、終了判定部２１からなる。誤差算出部１８は、フレーム補間処理した画像と、対応する間引き処理前の画像との誤差を算出する。また、結果保持部２０は、前回までの繰り返し演算で得られた最小誤差と、そのときのパラメータを保持している。結果比較部１９では、誤差算出部１８で算出した今回の誤差が、結果保持部２０に保持された前回までの最小誤差値より小さければ、結果保持部２０の誤差とパラメータを更新する。また、終了判定部２１には、目標誤差値、最大繰り返し回数などが保持されており、目標誤差値より小さい値が得られた場合、または、最大繰り返し回数を超えてしまった場合には、繰り返し処理が終了する。また、繰り返し演算を高速化するために、演算量を削減することが有効であるが、全ての映像ソースデータを使用すると演算時間がかかるため、ソース抽出部１４により、パラメータ解析モード時に使用する入力ソースを一部に絞ることで、解析時間と解析精度のトレードオフを選択することを可能にしている。但し、解析時間に十分余裕がある場合には、ソース抽出部はバイパスしてもよい。
【００５７】
終了判定部２１で終了判定した後に、フレーム補間パラメータ生成部で生成したパラメータは、保存処理部１１に渡され、パラメータ解析モードにおけるパラメータを、視聴モードにおけるパラメータに補正する処理を行った後、映像ソースに対応付けて、パラメータファイルに保存する処理を行う。実施例１では、パラメータファイルは、映像ソースが保存されているのと同じ記憶装置２に保存するように例示しているが、それに限定されず、例えば、映像処理装置２３内のフレーム補間処理を行う演算用メモリの一部を使用するなど、他の方法も考えられる。
【００５８】
視聴モードの時には、パラメータ選択部９が、記憶装置に保存したパラメータファイルを読み出し、映像ソースに対応したフレーム補間処理パラメータが解析済みであれば、そのフレーム補間処理パラメータを選択して、フレーム補間制御部１５に渡す。一方、映像ソースに対応したフレーム補間処理パラメータが未解析の場合には、未解析であることをフレーム補間制御部１５に伝え、フレーム補間制御部１５が保持しているディフォルトのパラメータを使用する。
［実施例１の動作］
次に、実施例１の動作について説明する。記憶装置２に、４つの映像ソースｍｏｖｉｅ1.ｍｐｇ、ｍｏｖｉｅ２.ａｖｉ、ｍｏｖｉｅ３.ｍｐｇ、ｍｏｖｉｅ４.ｍｐｇが保存されている場合を例に、実施例１の動作について説明する。拡張子ｍｐｇは、ＭＰＥＧ−１フォーマット、拡張子ａｖｉは、ａｖｉフォーマットであることを示す。これらの４つの映像ソースは、ジャンル情報で分類すると、どれも、『スポーツ（０ｘ１）』−『マラソン・陸上・水泳（０ｘ７）』に属する映像ソースである。解析制御部１０は、ＣＰＵで構成され、記憶装置２の状態を定期的に監視し、記憶装置２に存在している映像ソースのファイル情報を得て、パラメータファイルを生成する。図１６は、生成された直後のパラメータファイルの状態である。パラメータファイルの１列目は、記憶装置２に存在する映像ソースのファイル名であり、解析制御部１０が、４つの映像ソースファイルを検知したことがわかる。パラメータファイルの２列目は、入力ソースのフレームレート（単位はフレーム／秒）であり、入力ソースファイルのヘッダ情報から取得したものである。パラメータファイルの３列目は、視聴時のフレームレートであり、１２０フレーム／秒とする。すなわち、この映像処理装置は、全ての映像ソースのフレームレートを１２０フレーム／秒に変換した後に、映像表示がなされるように設定がなされているとする。パラメータファイルの４列目は、解析フラグであり、フレーム補間処理パラメータの解析ステータスを表している。解析フラグが０のときは、未解析であることを示し、解析フラグが１のときは、解析済みであることを示し、解析フラグが２のときは、フレーム補間処理が不要であることを示している。ｍｏｖｉｅ２.ａｖｉは、入力ソースが既に、１２０フレーム／秒で、フレーム補間処理を行う必要がないため、解析フラグは最初から２に設定されている。その他の３つのファイルは、未解析のため、解析フラグは０に設定される。パラメータファイルの５列目は、フレーム補間処理パラメータＬＩＭＩＴ＿ＭＶ＿ＭＡＸであり、この時点では、ｍｏｖｉｅ1.ｍｐｇ、ｍｏｖｉｅ３.ｍｐｇ、ｍｏｖｉｅ４.ｍｐｇは未解析であるため、パラメータには空白を示すｎｕｌ文字が書かれる。また、ｍｏｖｉｅ２.ａｖｉはフレーム補間処理が不要なため、ｎｕｌ文字が書かれる。
【００５９】
次に、パラメータファイルが図１６の状態の時の視聴モードの動作を、図９のブロック図および図１０のフローチャートで説明する。ユーザが、映像処理装置２３と接続された上位のコンピュータにおける不図示のユーザインターフェース部において、映像ソースｍｏｖｉｅ１．ｍｐｇの視聴を指示した場合、図９において、解析制御部１０は視聴モードを選択し、視聴モードを選択したことをパラメータ選択部９、ソース抽出部１４、間引き処理部３、フレーム補間処理部４のフレーム補間制御部１５、フレーム補間パラメータ生成部５の誤差算出部１８に伝える。ここで、視聴モードの場合、ソース抽出部１４、間引き処理部３、フレーム補間パラメータ生成部５は、機能する必要がないため、ソース抽出部１４と間引き処理部３はバイパスされ、フレーム補間パラメータ生成部５は、フレーム補間処理部４から遮断する。次に、パラメータ選択部９は、図１６で示したパラメータファイルの中から、映像ソースｍｏｖｉｅ１．ｍｐｇに関するパラメータを選択し、読み込み、フレーム補間制御部１５に与える。以降の動作は、図１０のフローチャートで説明する。フレーム補間制御部１５は、ステップＳ１２の解析済み判定において、映像ソースｍｏｖｉｅ１．ｍｐｇの解析フラグが０であることから、ＮＯと判別され、ステップＳ１５では、フレーム補間制御部１５が保持しているＬＩＭＩＴ＿ＭＶ＿ＭＡＸのディフォルトパラメータである値２０が、適用される。ここで、ＬＩＭＩＴ＿ＭＶ＿ＭＡＸのディフォルトパラメータは、中間的な動きベクトルを持った動画シーンを想定した場合に好適なパラメータである。次に、ステップＳ１６に示すフレーム補間処理が行われた後、ステップＳ１７に示す表示処理が行われる。
【００６０】
ユーザが映像ソースｍｏｖｉｅ３．ｍｐｇ、ｍｏｖｉｅ４．ｍｐｇの視聴を指示した場合も同様の動作となる。また、ｍｏｖｉｅ２．ａｖｉの場合は、解析フラグが２であるため、ステップＳ１６のフレーム補間処理はバイパスされる。
【００６１】
一方、解析制御部１０が、フレーム補間パラメータファイルの中に、解析フラグが０のファイルがあり、パラメータ解析を行う必要があることを検知した場合で、さらに、映像処理装置２３が、アイドリングモードにある場合に、パラメータ解析モードを選択する。解析制御部１０は、パラメータ解析モードを選択したことをパラメータ選択部９、ソース抽出部１４、間引き処理部３、フレーム補間処理部４のフレーム補間制御部１５、フレーム補間パラメータ生成部５の誤差算出部１８に伝える。
【００６２】
解析制御部１０は、解析フラグが０である最初のファイルｍｏｖｉｅ１．ｍｐｇのパラメータ解析を行う。ソース抽出部１４は、ｍｏｖｉｅ１．ｍｐｇをデコードした後、パラメータ解析に使用する予め指定された領域のフレーム画像を切り出して、次段の間引き処理部３にパラメータ解析用の入力画像として渡す。
【００６３】
以下、ソース抽出部１４で切り出したフレーム画像によるパラメータ解析の動作を、図７のフローチャートで説明する。ステップＳ８において、パラメータ解析モードであるかどうかを判定し、ＹＥＳの場合、以下のパラメータ解析に進む。まず、ステップＳ１のパラメータ変更処理において、フレーム補間処理のパラメータをある初期値に設定する。
【００６４】
次に、ステップＳ２の間引き処理において、設定する間引き率１/ｎを、式（５）により演算する。ｍｏｖｉｅ１．ｍｐｇの場合、式（５）は、６０／１２０＝１／２となり、ステップＳ２の間引き処理は、一つおきに、フレームを間引く処理を行う。また、間引き処理後のフレームレートは、式（６）で表わされ、ｍｏｖｉｅ１．ｍｐｇの場合、６０×（１／２）＝３０フレーム／秒となる。
１／ｎ  ＝  映像ソースのフレームレート／視聴時のフレームレート        式（５）
間引き処理後のフレームレート＝映像ソースのフレームレート×（１／ｎ）  式（６）
【００６５】
次に、ステップＳ３のフレーム補間処理において、フレームレートを、間引き処理後のフレームレートから映像ソースのフレームレートに上げるフレーム補間処理を行う。
【００６６】
次に、ステップＳ４の誤差算出処理において、フレーム補間処理で生成されたフレーム画像と、対応する入力画像のフレームとの誤差を算出する。ここで、対応する入力画像のフレームは、フレーム補間処理の目標値であるので、誤差が小さいほうが、フレーム補間処理が精度よく行われていることを示している。
【００６７】
次に、ステップＳ５において、今回の誤差を、結果保持部２０に保持された繰り返し処理における前回までの最小誤差と比較し、今回の誤差のほうが小さければＹＥＳに判別する。但し、フレーム補間処理パラメータとして初期値を与えた１回目の処理では、結果保持部にデータは保持されていないため、その場合は、今回の誤差が小さいとし、ＹＥＳの判別を行うこととする。ＹＥＳの判別の場合、ステップＳ６において、結果保持部２０の値を、今回の誤差とフレーム補間処理パラメータで上書き処理する。
【００６８】
次に、ステップＳ７において、繰り返し処理の終了条件の判定を行う。終了条件は、予め決めておいた誤差の目標値より今回の誤差が小さくなったか、あるいは、繰り返し処理の回数が、予め決めておいた上限値を超えた場合に、条件判定が満足されるとする。終了条件判定で、ＮＯの場合、ステップＳ１に戻り、パラメータ変更処理を行い、ステップＳ１〜Ｓ６を繰り返し処理する。ここで、２回目以降のステップＳ１におけるパラメータの変更処理方法は、種々の方法が考えられるが、ランダムに変化させる方法、事前に用意されたテーブルの値に従って変化させる方法、最急降下法などの最適化問題適用のアルゴリズムに従って変化させる手法がある。演算時間が問題になる場合は、最急降下法などを用いて、できるだけ早く目標誤差に到達させることが望ましい。
【００６９】
ステップＳ７の終了条件の判定で、ＹＥＳになった場合には、ステップＳ９の保存処理に進む。ここでは、生成したパラメータを保存する前に、パラメータ解析モードと、視聴モード間のフレームレート差によって生じるパラメータの補正を行うことが必要である。図１５は、間引き処理の前後で動きベクトルの変化を示した図である。左から右へと、１ＭＶ／フレームのスピードでボールが移動するシーンを想定している。図１５−（Ａ）は間引き処理前を示した図であり、視聴モード時のフレーム補間処理の入力に相当する。図１５−（Ｂ）は、間引き処理後を示した図であり、パラメータ解析モード時のフレーム補間処理の入力に相当する。間引き処理前は、フレーム間の動きベクトルは、Ｆ０とＦ１の間はＭＶ＝１、Ｆ１とＦ２の間はＭＶ＝１である。間引き処理後では、Ｆ１が除去されるため、フレーム間の動きベクトルは、Ｆ０とＦ２間のＭＶ＝２となる。よって、パラメータ解析モードでは、視聴モードに対し、動きベクトルの大きさが２倍になることがわかる。一般的には、パラメータ解析モードのパラメータを、ＬＩＭＩＴ＿ＭＶ＿ＭＡＸ＿ａｎａｌｙｓｉｓとすると、これを視聴モードのフレーム補間処理パラメータに補正するには、式（７）、式（８）により変換を行えばよい。ｍｏｖｉｅ１．ｍｐｇの場合、ＬＩＭＩＴ＿ＭＶ＿ＭＡＸは、ＬＩＭＩＴ＿ＭＶ＿ＭＡＸ＿ａｎａｌｙｓｉｓ／２になる。
ＬＩＭＩＴ＿ＭＶ＿ＭＡＸ  ＝  ＬＩＭＩＴ＿ＭＶ＿ＭＡＸ＿ａｎａｌｙｓｉｓ／Ｋ
式（７）
Ｋ  ＝  （視聴時のフレームレート／パラメータ解析モード時のフレームレート）                                                                        式（８）
【００７０】
そして、以上の補正を行った後、記憶装置２のパラメータファイルのｍｏｖｉｅ１．ｍｐｇの解析フラグを解析済みであることを示す値１に、パラメータＬＩＭＩＴ＿ＭＶ＿ＭＡＸを、算出した値に書き換えて保存する。
【００７１】
ところで、ステップＳ１のパラメータ変更処理において、繰り返し処理の初期値は、ディフォルトパラメータに相当する値であることが望ましい。何故なら、パラメータが未解析の場合、ディフォルトパラメータが設定されるので、繰り返し処理の過程でディフォルトパラメータを初期状態として誤差を小さくなるようにしていくことは、未解析状態よりも誤差を小さくしていくことを意味し、都合がよいからである。パラメータ解析モードのパラメータの初期値は、パラメータ解析モードと、視聴モード間のフレームレート差を考慮することにより、式（９）で表わされる。式（９）におけるＫは、式（８）で定義されたものである。ｍｏｖｉｅ１．ｍｐｇの場合は、パラメータの初期値は、視聴時のディフォルトパラメータ×２となる。例えば、視聴時のディフォルトパラメータが２０の場合、パラメータの初期値は４０になる。
パラメータの初期値＝視聴モード時のディフォルトパラメータ×Ｋ      式（９）
【００７２】
最初の映像ソースに対するパラメータ解析が終了した後、パラメータファイルの中に、解析フラグが０のファイルがある場合には、ｍｏｖｉｅ１．ｍｐｇに関して説明したのと同様の方法により、パラメータ解析を行う。図１６のパラメータファイルの場合は、ｍｏｖｉｅ３．ｍｐｇ、ｍｏｖｉｅ４．ｍｐｇに対して同様のパラメータ解析処理が行われる。全ての映像ソースの解析が終了し、解析フラグが０のものがなくなった場合、解析制御部１０は、モード選択をパラメータ解析モードからアイドリングモードに変更する。また、パラメータ解析モードにおいてパラメータ解析の演算中に、ユーザによる視聴指示があった場合は、ユーザの指示を優先し、パラメータ解析を中断する。解析途中のパラメータは更新せず、解析フラグは０のままとし、解析制御部は、パラメータ解析モードを視聴モードに変更する。
【００７３】
また、ファイルｍｏｖｉｅ４．ｍｐｇの場合、映像ソースのフレームレートと、視聴時のフレームレートの比が整数でない場合には、視聴モード時のステップＳ３のフレーム補間処理、パラメータ解析モード時のステップＳ２の間引き処理、ステップＳ３のフレーム補間処理は、以下のようになる。ｎ＝１２０／５０＝２．４、１／ｎ＝１／２．４となる。ここで、２．４倍のフレーム補間処理は、２倍のフレーム補間、すなわち元のフレーム間に１つのフレームを生成する場合と、３倍のフレーム補間、すなわち元のフレーム間に２つのフレームを生成する場合を、適切な比率で分配すればよい。一方、１／２．４間引きは、１／２間引きと、１／３間引きを、適切な比率で分配すればよい。すなわち、フレーム補間処理の倍率が整数でない場合、または、間引き処理の間引き率が、整数分の１でない場合に対しても、適用可能である。
【００７４】
次に、パラメータファイルが図１７の状態の時の視聴モードの動作を、図９のブロック図および図１０のフローチャートで説明する。パラメータファイルが図１６の状態の時の視聴モードの動作は前述の通りであり、パラメータファイルが図１６から図１７になったことで動作が変わる点についてのみ説明する。ユーザが、ユーザインターフェース部において、映像ソースｍｏｖｉｅ１．ｍｐｇの視聴を指示した場合、パラメータ選択部９は、図１７示したパラメータファイルの中から、映像ソースｍｏｖｉｅ１．ｍｐｇに関するパラメータを選択し、読み込み、フレーム補間制御部１５に与える。
【００７５】
以降の動作は、図１０のフローチャートで説明する。フレーム補間制御部１５は、ステップＳ１２の解析済み判定において、解析フラグが１であることにより、ＹＥＳと判定される。ステップＳ１３では、映像ソースに対応するパラメータＬＩＭＩＴ＿ＭＶ＿ＭＡＸ＝３０がパラメータファイルから読み込まれる。ステップＳ１４では、そのパラメータがフレーム補間制御部に与えられる。次に、ステップＳ１６でフレーム補間処理が行われた後、ステップＳ１７で表示処理が行われる。
【００７６】
図１７は、映像ソースに対して解析が、完了した状態のパラメータファイルを示している。ここで、映像ソースのシーン内容と、得られたフレーム補間処理のパラメータの値について、特許文献１の従来技術と比較しながら考察する。
【００７７】
特許文献１に記載の従来技術では、放送時に配信される、ジャンル情報などの番組映像に関する情報を示す付加データを抽出し、付加データの内容に基づいて、パラメータを決定すると言う手法で、この問題の解決を試みているが、個々の映像ソースの映像特性を表現するには、ジャンル情報では不十分であり、映像特性を正確に示せるものではない問題がある。従来技術で用いている付加データの１つであるジャンル情報の分類数は有限数で、例えば、現在のＡＲＩＢの規格では最大２５６分類にすぎず、映像特性の種類の数と比較して分類数は極端に少ない。このことから、ジャンル情報は個々の映像ソースの映像特性を、大雑把には示すことができるものの、正確に示せるものにはなっていない。
【００７８】
４つの映像ソースｍｏｖｉｅ１．ｍｐｇ、ｍｏｖｉｅ２．ａｖｉ、ｍｏｖｉｅ３．ｍｐｇ、ｍｏｖｉｅ４．ｍｐｇが属するジャンル情報である『スポーツ（０ｘ１）』−『マラソン・陸上・水泳（０ｘ７）』の中には「１００ｍ競走」のように、動きのスピードが速い映像であったり、「５００００ｍ競歩」のように、動きのスピードが遅い映像であったり、「砲丸投げ」のように、一部のみが動く映像であったり、「マラソン」のように、背景が大きく動く映像であったり、と、様々な映像特性が同一のジャンル内に混在している。また、同じ「１００ｍ競走」であっても、「アマチュア大会」なのか「国際大会」なのかによっても、映像特性が異なってくる事になる。従来技術では、これらの映像特性の異なる映像は、全て同じジャンルに属するため、該当ジャンル向けの１つの中間的なパラメータで処理を行うことになる。例えば、フレーム補間処理パラメータとして、ＬＩＭＩＴ＿ＭＶ＿ＭＡＸを使用した場合、中間的なパラメータＬＩＭＩＴ＿ＭＶ＿ＭＡＸ＝２０を設定することになる。中間的なパラメータは、未解析時のディフォルトパラメータとして設定されている値でもある。
【００７９】
映像ソースｍｏｖｉｅ１．ｍｐｇは、１００ｍ走を含んだ映像であり、動きベクトルの値が大きいフレームの頻度が高く、パラメータ解析結果は、ＬＩＭＩＴ＿ＭＶ＿ＭＡＸ＝３０で、最大の値を算出している。中間的なパラメータである２０を使用した場合、映像が非連続に表示される感じがあったが、パラメータ解析後に３０が設定された場合には、滑らかに表示されるように改善された。
【００８０】
映像ソースｍｏｖｉｅ３．ｍｐｇは、５００００ｍ競歩を含んだ動きが非常に少ない映像であり、動きベクトルの値は小さいフレームの頻度が高く、パラメータ解析結果は、ＬＩＭＩＴ＿ＭＶ＿ＭＡＸ＝１０で、最小の値を算出している。中間的なパラメータである２０を使用した場合、時折、映像の中に絵崩れが発生する現象が見られたが、パラメータ解析後に１０が設定された場合には、絵崩れの発生はなくなった。
【００８１】
映像ソースｍｏｖｉｅ４．ｍｐｇは、標準的な動きベクトルを持った動画シーンであったため、パラメータ解析結果は、ディフォルトパラメータと同じＬＩＭＩＴ＿ＭＶ＿ＭＡＸ＝２０となった。すなわち、この映像ソースの場合、パラメータ解析前後で表示される映像は同じになった。
【００８２】
次に、記憶装置２に新たな映像ソースｍｏｖｉｅ５．ｍｐｇが書き込まれた場合、解析制御部１０は、記憶装置２の状態を定期的に監視しており、記憶装置２に存在している新たな映像ソースの存在を検知して、図１８のようにパラメータファイルを更新する。ここでは、パラメータは未解析の状態なので、解析フラグは０、パラメータＬＩＭＩＴ＿ＭＶ＿ＭＡＸは、ｎｕｌ文字が書き込まれている。ここで、解析制御部１０が、アイドリングモードにある場合、パラメータ解析モードを選択し、新たな映像ソースｍｏｖｉｅ５．ｍｐｇに対するパラメータ解析を行い、新たな映像ソースに対して得られたパラメータがパラメータファイルに書き込まれる。このようにして新しく書き込まれた映像ソースに対して、パラメータ解析が行われていく。
【００８３】
以上のように、実施例１の映像処理装置２３は、記録された映像ソースに対して、ソース毎のシーン内容に沿ったフレーム補間処理パラメータを生成して、フレーム補間処理するので、映像が、非連続になったり、絵崩れが発生したりすることがなく、ジャンル情報に基づきパラメータを設定する場合に比べて、高画質な動画を視聴することが可能である。また、シーン内容に関する番組情報を使用する必要性がないため、記録された全ての映像ソースに適用が可能である。
【実施例２】
【００８４】
［実施例２の構成］
図１１は、本発明の実施例２による映像処理装置のブロック図である。
【００８５】
図１１において、実施例２の映像処理装置２５は、実施例１の映像装置２３に対して、チャプタ探索部２４が追加されている。実施例２では、一つの映像ソースをチャプタに分割し、チャプタ毎に別のフレーム補間処理パラメータを設定することにより、より高精度なフレーム補間処理を実現している。チャプタの分割方法には、種々の方法が考えられる。一つの方法は、映像ソースを所定の時間間隔で分割するものであり、別の方法は、変化の大きなフレーム境界を検出して、分割するものである。実施例２では、時間間隔で分割する方法を例示することにするが、それに限定されるものではない。チャプタ探索部２４で分割された映像ソースは、ソース抽出部１４以降に与えられ、パラメータ解析モード時に、映像ソースのチャプタ毎に、パラメータ解析を行うように構成されている。生成されたパラメータは、視聴モードにおけるパラメータに補正した後、映像ソースのチャプタに対応付けて、パラメータファイルに保存する処理を行う。
【００８６】
[実施例２の動作]
次に、実施例２の映像処理装置における動作について、図１１のブロック図、図８のフローチャート、図１２のフローチャートを用いて説明する。
記憶装置２に、４つの映像ソースｍｏｖｉｅ６．ｍｐｇ、ｍｏｖｉｅ７．ａｖｉ、ｍｏｖｉｅ８．ｍｐｇ、ｍｏｖｉｅ９．ｍｐｇが保存されている場合を例に説明する。解析制御部１０は、記憶装置２の状態を定期的に監視し、記憶装置２に存在している映像ソースのファイル情報を得て、パラメータファイルを生成する。図１９は、生成された直後のパラメータファイルの状態である。パラメータファイルの１列目は、記憶装置２に存在する映像ソースのファイル名であり、解析制御部１０が、４つの映像ソースファイルを検知したことがわかる。パラメータファイルの２列目は映像ソースのフレームレート、３列目は、視聴時のフレームレートである。４列目は、各映像ソースのチャプタ番号である。映像装置２のチャプタ探索部２４は、例えば、１分間隔にチャプタ分割するように設定されているとする。パラメータファイルの５列目は、各チャプタの開始フレームと終了フレームである。映像ソースのフレームレートに応じて、１分間のフレーム数が変わるので、解析制御部がソースのフレームレートに応じて、開始フレームと終了フレームを設定している。各ソースの最終チャプタは、端数を含むようにしているので、１分間以上の長さになっている。初期状態では、解析フラグは０、パラメータＬＩＭＩＴ＿ＭＶ＿ＭＡＸには、ｎｕｌ文字を書き込んでいる。また、２番目のソースファイルｍｏｖｉｅ７．ａｖｉは、フレーム補間が不要なため、チャプタ分割は行わない。
【００８７】
次に、パラメータファイルが、図１９の状態の時の視聴モードの動作を、図１１のブロック図および図１２のフローチャートで説明する。ユーザが、ユーザインターフェース部において、映像ソースｍｏｖｉｅ６．ｍｐｇの視聴を指示した場合、図１１において、解析制御部１０は視聴モードを選択し、視聴モードを選択したことをパラメータ選択部９、チャプタ探索部２４、ソース抽出部１４、間引き処理部３、フレーム補間処理部４のフレーム補間制御部１５、フレーム補間パラメータ生成部５の誤差算出部１８に伝える。ここで、視聴モードの場合、ソース抽出部１４、間引き処理部３、フレーム補間パラメータ生成部５は、機能する必要がないため、ソース抽出部１４と間引き処理部３はバイパスされ、フレーム補間パラメータ生成部５は、フレーム補間処理部４から遮断される。次に、パラメータ選択部９は、図１９で示したパラメータファイルの中から、映像ソースｍｏｖｉｅ６．ｍｐｇに関するチャプタ毎のパラメータを選択し、読み込み、フレーム補間制御部１５に与える。以降の動作は、図１２のフローチャートで説明する。フレーム補間制御部１５は、ステップＳ１８における対象チャプタ解析済み判定において、どのチャプタにおいても、解析フラグが０であるため、ＮＯと判別され、ステップＳ１５では、フレーム補間制御部１５が保持しているＬＩＭＩＴ＿ＭＶ＿ＭＡＸのディフォルトパラメータである値２０が、適用される。次に、ステップＳ１６でフレーム補間処理が行われ、ステップＳ１７で表示処理が行われる。
【００８８】
一方、解析制御部１０が、パラメータファイルの中に、解析フラグが０のチャプタがあり、パラメータ解析をする必要があることを検知した場合で、さらに、映像処理装置２５が、アイドリングモードである場合に、パラメータ解析モードを選択する。図８は、実施例２のパラメータ解析モード時のフローチャートであり、実施例１のパラメータ解析モード時のフローチャートである図７に対して、ステップＳ１０のチャプタ探索処理と、全チャプタ処理が完了したかどうかを判別するステップＳ１１とが追加されている。ステップＳ１０のチャプタ探索処理は、パラメータファイルに書き込んである開始フレームと終了フレームを読み込んで、その範囲のフレームを切り出す処理を行う。チャプタのパラメータを生成する動作は、実施例１において、映像ソース単位でパラメータを生成する動作と同じなので、説明は省略する。未解析の最初の映像ソースファイルｍｏｖｉｅ６．ｍｐｇの各チャプタのパラメータ解析が完了すると、ステップＳ９の保存処理により、パラメータファイルのｍｏｖｉｅ６．ｍｐｇのチャプタ番号１の解析フラグは１に書き換えられ、生成されたパラメータを視聴モードに補正したパラメータＬＩＭＩＴ＿ＭＶ＿ＭＡＸが書き込まれる。図２０は、全ての映像ソースの全チャプタに対する解析が完了した状態のパラメータファイルを示している。
【００８９】
次に、パラメータファイルが図２０の状態の時の視聴モードの動作を、図１１のブロック図および図１２のフローチャートで説明する。パラメータファイルが図１９の状態の時の視聴モードの動作に関しては前述の通りであり、パラメータファイルが図１９から図２０になったことで動作が変わる点についてのみ説明する。パラメータ選択部９は、図２０に示したパラメータファイルの中から、映像ソースｍｏｖｉｅ６．ｍｐｇのチャプタ１に関するパラメータを選択し、読み込み、フレーム補間制御部１５に与える。
【００９０】
以降の動作は、図１２のフローチャートで説明する。フレーム補間制御部１５は、ステップＳ１８の対象チャプタ解析済み判定において、解析フラグが１であるため、ＹＥＳと判定される。ステップＳ１３では、映像ソースに対応するパラメータＬＩＭＩＴ＿ＭＶ＿ＭＡＸ＝１２がパラメータファイルから読み込まれる。ステップＳ１４では、そのパラメータがフレーム補間制御部１５に与えられる。次に、ステップＳ１６において、ｍｏｖｉｅ６．ｍｐｇのチャプタ１の開始フレームから終了フレームまでに対して、フレーム補間処理が行われた後、ステップＳ１７に示す表示処理が行われる。
ステップＳ１９において、全チャプタの処理が完了したかどうかを判定し、ＮＯの場合は、全チャプタに対して処理されるまで、ステップ１８と、ステップＳ１３からステップＳ１７が繰り返し処理される。
【００９１】
ここで、映像ソースｍｏｖｉｅ６．ｍｐｇに関し、各チャプタのシーン内容と、得られたフレーム補間処理のパラメータの値について、考察する。
【００９２】
映像ソースｍｏｖｉｅ６．ｍｐｇは、実施例１におけるｍｏｖｉｅ１．ｍｐｇと類似の映像で、１００ｍ走を含んだ映像である。しかし、映像全体に渡って、動きの激しい映像が続いているわけではない。チャプタ１は、走る前の動きの少ない映像であり、チャプタ２，３は、１００ｍ走の走っているシーンを含む映像であり、チャプタ１０は、走り終わった後の動きの少ない映像になっている。そのため、解析結果は、チャプタ２、３では動きの激しい映像に適したフレーム補間処理のパラメータ値として最大の３０が算出され、チャプタ１，１０では動きの少ない映像に適したフレーム補間処理のパラメータとして小さな値が算出されている。図２０のパラメータファイルでｍｏｖｉｅ６．ｍｐｇを視聴した場合、１００ｍ走を走っているシーンの映像は滑らかに再現されており、しかも、走る前後のシーンにおいても、絵崩れのない高画質な映像が得られている。一方、ｍｏｖｉｅ６．ｍｐｇに対して、全チャプタのパラメータを３０に書き換えて視聴した場合、走っているシーンの映像は、滑らかに再現されているものの、走っている前後のシーンで、時折、絵崩れが見られた。このように、一つの映像ソースの中で、映像の特性が変化した場合、実施例２は、実施例１に比べて、より高精度なフレーム補間処理を実現することが可能である。
【００９３】
次に、記憶装置２に新たな映像ソースｍｏｖｉｅ１０．ｍｐｇが書き込まれた場合、解析制御部１０は、記憶装置２の状態を定期的に監視しており、新たな映像ソースの存在を検知して、図２１のようにパラメータファイルを更新する。ここでは、ｍｏｖｉｅ１０．ｍｐｇのパラメータは未解析の状態なので、ｍｏｖｉｅ１０．ｍｐｇの各チャプタの解析フラグには０、パラメータＬＩＭＩＴ＿ＭＶ＿ＭＡＸには、ｎｕｌ文字が書き込まれている。
【００９４】
ここで、解析制御部１０が、アイドリングモードにある場合、パラメータ解析モードを選択し、新たな映像ソースｍｏｖｉｅ１０．ｍｐｇの各チャプタに対するパラメータ解析を行い、新たな映像ソースの各チャプタに対するパラメータがパラメータファイルに書き込まれる。このようにして新しく書き込まれた映像ソースに対して、チャプタ分割を行い、チャプタごとのパラメータ解析が行われていく。
【００９５】
以上のように、実施例２の映像処理装置２５は、一つの映像ソースの中で、シーンが変化した場合、シーンの変化に沿った最適なパラメータで、フレーム補間処理を行うので、映像が、非連続になったり、絵崩れが発生したりすることがさらに少なくなり、実施例１に比べて、さらに、高画質な動画を視聴することが可能である。
【００９６】
実施例１、実施例２において、フレーム補間処理パラメータとして、補間用動きベクトルの大きさを制限するパラメータであるＬＩＭＩＴ＿ＭＶ＿ＭＡＸを使用した場合について例示したが、これに限定されず、あらゆるパラメータが適用可能である。他の一例として、特許文献１で使用されている動きベクトル算出処理における探索距離をフレーム補間処理パラメータとし、パラメータ解析を行うようにしてもよい。
【産業上の利用可能性】
【００９７】
本発明は、記録された映像ソースに対して、映像ソース毎に最適なフレーム補間処理パラメータによりフレーム補間処理することが可能なので、特に、ビデオレコーダ、レコーダ機能搭載テレビ、インターネット配信画像の視聴装置などに対して有効である。
【００９８】
なお、本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
【符号の説明】
【００９９】
１、８、１３、２３、２５  映像処理装置
２          記憶装置
３          間引き処理部
４          フレーム補間処理部
５          フレーム補間パラメータ生成部
６、１７    動き検出部
７          補間フレーム生成部
９          パラメータ選択部
１０        解析制御部
１１        保存処理部
１２        チャプタ探索部
１４        ソース抽出部
１５        フレーム補間制御部
１６        補間フレーム生成部
１８        誤差算出部
１９        結果比較部
２０        結果保持部
２１        終了判定部
２２        映像表示部
２４        チャプタ探索部
１０１      アンテナ
１０２      フロントエンド
１０３      トランスポートデコーダ
１０４      映像デコーダ
１０５      拡大縮小処理部
１０６      番組情報解析部
１０７      フレーム補間処理部
１０８      表示部
１１１      補間フレーム生成部
１１２      第１フレームメモリ
１１３      動き検出処理部
１１４      第２フレームメモリ
【図１】
2011216959.tif 000007
【図２】
2011216959.tif 000008
【図３】
2011216959.tif 000009
【図４】
2011216959.tif 000010
【図５】
2011216959.tif 000011
【図６】
2011216959.tif 000012
【図７】
2011216959.tif 000013
【図８】
2011216959.tif 000014
【図９】
2011216959.tif 000015
【図１０】
2011216959.tif 000016
【図１１】
2011216959.tif 000017
【図１２】
2011216959.tif 000018
【図１３】
2011216959.tif 000019
【図１４】
2011216959.tif 000020
【図１５】
2011216959.tif 000021
【図１６】
2011216959.tif 000022
【図１７】
2011216959.tif 000023
【図１８】
2011216959.tif 000024
【図１９】
2011216959.tif 000025
【図２０】
2011216959.tif 000026
【図２１】
2011216959.tif 000027
【図２２】
2011216959.tif 000028
【図２３】
2011216959.tif 000029