(57)【要約】【課題】無駄なコピー処理を不要にしてフレーム補間処理の処理効率を大幅に向上させるとともに、メモリ消費を最小限に抑える。【解決手段】入力フレーム及び中間フレームを混在状態で保持可能な共有メモリ３と、所定のフレームレートで入力された入力フレームを、各入力フレームの再生時刻を表すタイムスタンプと共に共有メモリ３に格納する入力処理４と、共有メモリ３に格納された前後の入力フレームから中間フレームを生成するとともに、生成した中間フレームを、前後の入力フレームのタイムスタンプから求めた中間のタイムスタンプと共に共有メモリ３に格納するフレーム補間処理５と、共有メモリ３に格納された入力フレーム及び中間フレームを、各フレームのタイムスタンプにもとづいて決定されるタイミングで順次出力する表示処理６と、を備える。【選択図】図２
2010109685.tif 000002
【特許請求の範囲】
【請求項１】
所定のフレームレートで入力される入力フレームと、連続する前後の入力フレームからフレーム補間処理により生成される中間フレームとを記憶する共有メモリと、
前記共有メモリに格納される各入力フレームに、当該入力フレームの再生時刻を表すタイムスタンプを設定して前記共有メモリに格納する入力処理手段と、
前記共有メモリに格納された連続する前後の入力フレームから中間フレームを生成するとともに、生成した中間フレームに、前後の入力フレームのタイムスタンプから求めた中間のタイムスタンプを設定して前記共有メモリに格納するフレーム補間処理手段と、
前記共有メモリに格納された入力フレーム及び中間フレームを、各フレームのタイムスタンプにもとづいて決定されるタイミングで順次出力する表示処理手段と、を備える
ことを特徴とする動画像フレーム補間処理装置。
【請求項２】
前記フレーム補間処理手段は、
前記共有メモリに格納された前後の入力フレームから生成した中間フレームに、前後の入力フレームのタイムスタンプの平均値から求めたタイムスタンプを設定して前記共有メモリに格納する請求項１記載の動画像フレーム補間処理装置。
【請求項３】
前記入力処理手段に現在時刻情報を入力するクロック手段を備え、
前記入力処理手段は、
所定のフレームレートで入力された入力フレームに、前記クロック手段から入力される現在時刻情報に基づいて、各入力フレームの入力時刻を前記タイムスタンプとして設定する請求項１又は２記載の動画像フレーム補間処理装置。
【請求項４】
前記表示処理手段は、
前記共有メモリに格納された入力フレーム及び中間フレームを、現在時刻から予め定められた遅延値を減算した時刻よりも後のタイムスタンプを持つフレームから順次出力する請求項１乃至３のいずれか一項記載の動画像フレーム補間処理装置。
【請求項５】
前記遅延値は、
入力フレームのフレームレートにもとづいて予め定められる、入力フレームの入力間隔のＸ倍以上、Ｙ倍未満の値に設定される請求項５記載の動画像フレーム補間処理装置。
【請求項６】
前記表示処理手段は、
前記タイムスタンプにもとづいて順次出力したフレームを、前記共有メモリから削除する請求項１乃至５のいずれか一項記載の動画像フレーム補間処理装置。
【請求項７】
前記フレーム補間処理手段は、
前記共有メモリに格納された前後の入力フレームのタイムスタンプを比較し、両タイムスタンプが予め定められた設定値以上離れた値の場合にフレーム補間処理を行わない請求項１乃至６のいずれか一項記載の動画像フレーム補間処理装置。
【請求項８】
前記フレーム補間処理手段は、
前記共有メモリの空き領域が所定以下となった場合に、フレーム補間処理を停止、及び／又は、生成する中間フレームの数を減少させる請求項１乃至７のいずれか一項記載の動画像フレーム補間処理装置。
【請求項９】
所定のフレームレートで入力される各入力フレームに、当該入力フレームの再生時刻を表すタイムスタンプを設定して共有メモリに格納する入力処理ステップと、
前記共有メモリに格納された連続する前後の入力フレームから中間フレームを生成するとともに、生成された中間フレームに、前後の入力フレームのタイムスタンプから求めた中間のタイムスタンプを設定して前記共有メモリに格納するフレーム補間処理ステップと、
前記共有メモリに格納された入力フレーム及び中間フレームを、各フレームのタイムスタンプにもとづいて決定されるタイミングで順次出力する表示処理ステップと、を備える
ことを特徴とする動画像フレーム補間処理方法。
【請求項１０】
前記フレーム補間処理ステップにおいて、
前記共有メモリに格納された前後の入力フレームから生成した中間フレームに、前後の入力フレームのタイムスタンプの平均値から求めたタイムスタンプを設定して前記共有メモリに格納する請求項９記載の動画像フレーム補間処理方法。
【請求項１１】
連続する前後の入力フレームからフレーム補間処理によって中間フレームを生成して動画像の再生を行うコンピュータを、
所定のフレームレートで入力される各入力フレームに、当該入力フレームの再生時刻を表すタイムスタンプを設定して共有メモリに格納する入力処理手段、
前記共有メモリに格納された連続する前後の入力フレームから中間フレームを生成するとともに、生成された中間フレームに、前後の入力フレームのタイムスタンプから求めた中間のタイムスタンプを設定して前記共有メモリに格納するフレーム補間処理手段、
前記共有メモリに格納された入力フレーム及び中間フレームを、各フレームのタイムスタンプにもとづいて決定されるタイミングで順次出力する表示処理手段、
として機能させることを特徴とする動画像フレーム補間処理プログラム。
【請求項１２】
前記フレーム補間処理手段が、
前記共有メモリに格納された前後の入力フレームから生成した中間フレームに、前後の入力フレームのタイムスタンプの平均値から求めたタイムスタンプを設定して前記共有メモリに格納する請求項１１記載の動画像フレーム補間処理プログラム。
【請求項１３】
所定のフレームレートで入力される入力フレームと、連続する前後の入力フレームからフレーム補間処理により生成される中間フレームとを記憶する記憶領域を備え、
所定のフレームレートで入力される各入力フレームに、当該入力フレームの再生時刻を表すタイムスタンプを設定して格納するとともに、
格納された連続する前後の入力フレームから中間フレームを生成し、
生成した中間フレームに、前後の入力フレームのタイムスタンプから求めた中間のタイムスタンプを設定して格納し、
格納された入力フレーム及び中間フレームを、各フレームのタイムスタンプにもとづいて決定されるタイミングで順次出力する
ことを特徴とする動画像フレーム補間処理用共有メモリ。
【請求項１４】
格納された前後の入力フレームから生成した中間フレームに、前後の入力フレームのタイムスタンプの平均値から求めたタイムスタンプを設定して格納する請求項１３記載の動画像フレーム補間処理用共有メモリ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、前後の入力フレームからフレーム補間処理によって中間フレームを生成し、滑らかな動画再生を可能にする動画像フレーム補間処理装置、動画像フレーム補間処理方法及び動画像フレーム補間処理プログラムに関する。
【背景技術】
【０００２】
所定のフレームレートで入力された入力フレームと、前後の入力フレームからフレーム補間処理によって生成した中間フレームを記憶保持し、これらのフレームを順次出力して動画像の再生を行う動画像フレーム補間処理装置が知られている（例えば、特許文献１〜４参照）。
【０００３】
図９は、一般的な動画像フレーム補間処理装置の処理構成を示すブロック図である。
この図に示すように、一般的な動画像フレーム補間処理装置は、処理構成として、バッファ１、フレーム補間処理、バッファ２及び表示処理を備えている。
【０００４】
バッファ１は、入力信号が格納されるメモリ領域（入力用バッファ）であり、複数枚のフレームが格納できるＦＩＦＯ（ファーストイン・ファーストアウト）構造を持つ。なお、入力信号は、動画像のデコーダなどから供給される。
フレーム補間処理は、前後の入力フレームから画像処理によって中間フレームを生成する処理である。具体的には、バッファ１から２枚の連続した入力フレーム（仮に、Ａ、Ｂ）を入力して中間フレーム（仮に、Ｃ）を生成した後、これらのフレームをＡ、Ｃ、Ｂの順で出力する。
【０００５】
バッファ２は、フレーム補間が完了した動画像（入力フレーム及び中間フレーム）が格納される記憶領域（出力用バッファ）であり、複数枚のフレームが格納できるＦＩＦＯ構造を持つ。
表示処理は、動画像をＬＣＤなどの表示装置に送出する処理であり、バッファ２に格納された入力フレーム及び中間フレームを順次出力する。
以上のように構成された動画像フレーム補間処理装置によれば、入力フレームのみを再生する場合に比べ、滑らかな動画再生が可能になる。
【０００６】
【特許文献１】特開２００１−２５６５０８号公報
【特許文献２】特開２００５−００６２７５号公報
【特許文献３】特開２００８−０１１４３９号公報
【特許文献４】特開２００８−１０７８１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
図９に示す動画像フレーム補間処理装置は、処理構成が単純であるという利点を有するが、処理効率が劣るだけでなく、大量のメモリ領域が必要になるという問題がある。
すなわち、図９に示す動画像フレーム補間処理装置では、フレーム補間処理を行うにあたり、入力フレームがバッファ１からバッファ２へコピーされるので、多量のコピー処理が発生し、処理効率が低下してしまう。
また、図９に示す動画像フレーム補間処理装置では、２つのバッファを構成するので、大量のメモリ領域を必要とする。
【０００８】
本発明は、上記の事情にかんがみなされたものであり、１つのメモリ領域を入力用バッファ及び出力用バッファとして共有することにより、無駄なコピー処理を不要にしてフレーム補間処理の処理効率を大幅に向上させることができるとともに、メモリ消費を最小限に抑えることができる動画像フレーム補間処理装置、動画像フレーム補間処理方法及び動画像フレーム補間処理プログラムの提供を目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため本発明の動画像フレーム補間処理装置は、所定のフレームレートで入力される入力フレームと、連続する前後の入力フレームからフレーム補間処理により生成される中間フレームとを記憶する共有メモリと、共有メモリに格納される各入力フレームに、当該入力フレームの再生時刻を表すタイムスタンプを設定して共有メモリに格納する入力処理手段と、共有メモリに格納された連続する前後の入力フレームから中間フレームを生成するとともに、生成した中間フレームに、前後の入力フレームのタイムスタンプから求めた中間のタイムスタンプを設定して共有メモリに格納するフレーム補間処理手段と、共有メモリに格納された入力フレーム及び中間フレームを、各フレームのタイムスタンプにもとづいて決定されるタイミングで順次出力する表示処理手段とを備える構成としてある。
【００１０】
また、上記目的を達成するため本発明の動画像フレーム補間処理方法は、所定のフレームレートで入力される各入力フレームに、当該入力フレームの再生時刻を表すタイムスタンプを設定して共有メモリに格納する入力処理ステップと、共有メモリに格納された連続する前後の入力フレームから中間フレームを生成するとともに、生成された中間フレームに、前後の入力フレームのタイムスタンプから求めた中間のタイムスタンプを設定して共有メモリに格納するフレーム補間処理ステップと、共有メモリに格納された入力フレーム及び中間フレームを、各フレームのタイムスタンプにもとづいて決定されるタイミングで順次出力する表示処理ステップとを備える方法としてある。
【００１１】
また、上記目的を達成するため本発明の動画像フレーム補間処理プログラムは、連続する前後の入力フレームからフレーム補間処理によって中間フレームを生成して動画像の再生を行うコンピュータを、所定のフレームレートで入力される各入力フレームに、当該入力フレームの再生時刻を表すタイムスタンプを設定して共有メモリに格納する入力処理手段、共有メモリに格納された連続する前後の入力フレームから中間フレームを生成するとともに、生成された中間フレームに、前後の入力フレームのタイムスタンプから求めた中間のタイムスタンプを設定して共有メモリに格納するフレーム補間処理手段、共有メモリに格納された入力フレーム及び中間フレームを、各フレームのタイムスタンプにもとづいて決定されるタイミングで順次出力する表示処理手段として機能させる構成としてある。
【００１２】
さらに、上記目的を達成するため本発明の動画像フレーム補間処理用共有メモリは、所定のフレームレートで入力される入力フレームと、連続する前後の入力フレームからフレーム補間処理により生成される中間フレームとを記憶する記憶領域を備え、所定のフレームレートで入力される各入力フレームに、当該入力フレームの再生時刻を表すタイムスタンプを設定して格納するとともに、格納された連続する前後の入力フレームから中間フレームを生成し、生成した中間フレームに、前後の入力フレームのタイムスタンプから求めた中間のタイムスタンプを設定して格納し、格納された入力フレーム及び中間フレームを、各フレームのタイムスタンプにもとづいて決定されるタイミングで順次出力する構成としてある。
【発明の効果】
【００１３】
本発明によれば、所定のフレームレートで入力された入力フレームと、前後の入力フレームからフレーム補間処理によって生成した中間フレームを記憶保持し、これらのフレームを順次出力して動画像の再生を行うものでありながら、１つのメモリ領域を入力用バッファ及び出力用バッファとして共有することにより、無駄なコピー処理を不要にしてフレーム補間処理の処理効率を大幅に向上させることができるとともに、メモリ消費を最小限に抑えることができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の好ましい実施形態について、図面を参照して説明する。
［第一実施形態］
図１は、本発明の実施形態に係る動画像フレーム補間処理装置の基本的構成を示すブロック図である。
図２は、本発明の実施形態に係る動画像フレーム補間処理装置の処理構成の詳細を示すブロック図である。
これらの図に示すように、本発明の実施形態に係る動画像フレーム補間処理装置１は、処理構成として、クロック２、共有メモリ３、入力処理（入力処理手段）４、フレーム補間処理（フレーム補間処理手段）５及び表示処理（表示処理手段）６を備えている。
【００１５】
クロック２は、入力処理手段４に現在時刻情報を入力するためのクロック手段であり、具体的には、現在時刻を保持するタイマにより構成されている。
共有メモリ３は、所定のフレームレートで入力される入力フレームと、連続する前後の入力フレームからフレーム補間処理により生成される中間フレームとを記憶する記憶領域を備えた記憶手段である。
具体的には、本実施形態の共有メモリ３は、入力フレームと、前後の入力フレームからフレーム補間処理により生成された中間フレームを混在して保持するランダムアクセスメモリにより構成されている。
共有メモリ３内には、動画を構成する複数の画像１〜Ｎ（入力フレーム及び中間フレーム）を保持することができ、各画像１〜Ｎには、その再生時刻を表すタイムスタンプが付加される。
【００１６】
入力処理４は、所定のフレームレートで入力された入力フレームに、各入力フレームの再生時刻を表すタイムスタンプを設定し、このタイムスタンプと共に入力フレームを共有メモリ３に格納する入力処理手段である。
具体的には、入力処理４は、入力した入力フレームを共有メモリ３に格納する毎に、クロック２から現在時刻を取得し、これをタイムスタンプとして入力フレームに付加・設定する。
【００１７】
フレーム補間処理５は、共有メモリ３に格納された前後の入力フレームから中間フレームを生成するとともに、生成した中間フレームを、前後の入力フレームのタイムスタンプから求めた中間のタイムスタンプと共に共有メモリ３に格納するフレーム補間処理手段である。
具体的には、フレーム補間処理５は、生成した中間フレームに、前後の入力フレームのタイムスタンプの平均値から求めたタイムスタンプを設定し、このタイムスタンプと共に中間フレームを共有メモリ３に格納する。
【００１８】
表示処理６は、共有メモリ３に格納された入力フレーム及び中間フレームを、各フレームのタイムスタンプにもとづいて決定されるタイミングで順次出力する表示処理手段である。
具体的には、共有メモリ３に格納された入力フレーム及び中間フレームを、現在時刻から予め定められた遅延値（想定遅延）を減算した時刻よりも後のタイムスタンプを持つフレームから順次出力する。
また、表示処理６は、出力したフレームを共有メモリ３から削除する。
【００１９】
つぎに、本発明の実施形態に係る動画像フレーム補間処理装置１の動作について説明する。
入力処理４は、入力フレームのフレームレートに基づいて、各入力フレームをタイムスタンプと共に共有メモリ３に格納する。例えば、入力フレームのフレームレートが１５ｆｐｓであった場合、それぞれの入力フレームを、０／３０、２／３０、４／３０・・・といったタイムスタンプと共に共有メモリ３に格納する。
フレーム補間処理５は、共有メモリ３上の入力フレームを順次検索し、隣接する前後の入力フレームから中間フレームを生成後、生成した中間フレームを、使用した前後の入力フレームのタイムスタンプの平均値から求めたタイムスタンプと共に共有メモリ３に格納する。
上記の例では、０／３０、２／３０、４／３０・・・といったタイムスタンプを持つ入力フレームから、１／３０、３／３０、５／３０・・・といったタイムスタンプを持つ中間フレームを生成し、共有メモリ３に格納する。
【００２０】
表示処理６は、共有メモリ３上の入力フレーム及び中間フレームを、現在時刻から遅延値分だけ減算したタイムスタンプを持つフレームから順次出力し、共有メモリ３から削除する。
例えば、想定遅延が４／３０秒であれば、現在時刻が４／３０となった時点で０／３０のタイムスタンプを持つフレーム出力する。つまり、本発明の再生方式では、入力フレームが最低でも遅延値の分だけ共有メモリ３に留まった後、再生される。
【００２１】
上記のように動作する動画像フレーム補間処理装置１は、前後の入力フレームからフレーム補間処理によって中間フレームを生成し、滑らかな動画再生を可能にするものであるが、１つのメモリ領域（共有メモリ３）を入力用バッファ及び出力用バッファとして共有することができるので、無駄なコピー処理を不要にしてフレーム補間処理の処理効率を大幅に向上させることができるとともに、メモリ消費を最小限に抑えることができる。
【００２２】
また、フレーム補間処理に何らかのトラブルが発生しても、入力フレームのみを入力時の間隔で順次出力し、動画再生を継続することができるので、障害に強い構成となる。
例えば、予め定められた遅延値（想定遅延）を超えて入力フレームの入力が遅れた場合、共有メモリ３の入力フレームが全て削除されているため、フレーム補間処理はスキップされるが、入力フレームのみによる動画再生は継続できる。また、演算量が多い等の理由でフレーム補間処理が規定時間内に完了しなかった場合であっても、入力フレームのみによる動画再生は継続できる。これにより、障害に強い構成とすることができる。
【００２３】
ここで、遅延値は、入力フレームのフレームレートにもとづいて予め定められるものであり、入力フレームの入力間隔のＸ倍以上で、かつＹ倍未満とすることが好ましい。
例えば、１５ｆｐｓの動画を３０ｆｐｓに補間して再生するケースでは、入力フレームの入力間隔（２／３０秒）の２倍である４／３０秒などの値が採用される。
このようにすると、十分なフレーム補間処理時間を確保しつつ、不自然なフレーム補間による再生品質の低下を防止することができる。つまり、遅延値が入力フレームの入力間隔のＸ倍未満である場合には、フレーム補間処理時間が不足してフレーム補間が安定的に行われない可能性があり、また、遅延値が入力フレームの入力間隔のＹ倍以上である場合には、時間的に離れた前後の入力フレームから不自然な中間フレームが作成され、再生品質が低下する可能性がある。
【００２４】
なお、上記入力間隔のＸ、Ｙの値は、本発明を適用するシステムのパラメータにより以下のように計算することができる。
Ｘ＝フレーム最小間隔×（１−１÷フレームレート倍率)
Ｙ＝フレーム最大間隔×（１−１÷フレームレート倍率)
上記フレーム最小間隔は、最大ｆｐｓから計算することができる。なお、Ｘは、システムを成立させるための絶対条件となるものである。
また、上記フレーム最大間隔は、想定される最低ｆｐｓから計算することができる。
但し、上記Ｙの値が大き過ぎると、例えば、(1)画像が共有メモリにとどまる時間が長くなり、結果的に共有メモリの必要容量が増加し、メモリ消費抑制効果（上記００２１参照）が失われる、(2)入力されてから出力されるまでの遅延時間が長くなり、結果的に音声とのタイミングズレなどを引き起こす、等の問題が発生するおそれがある。
そこで、上記Ｙの値については適切な値を選択することが望ましい。一般に、フレーム最大間隔÷フレーム最小間隔＝４となる程度の値を選択することが望ましい（従って、その場合、フレームレート倍率＝２のシステムではフレーム最小間隔の２倍程度となる。）。
【００２５】
また、上記計算式の根拠は以下の通りである。
例えば、２つの隣接したフレームの時刻をｔ０，ｔ１とし(ｔ１−ｔ０＝フレーム間隔)、フレームレート倍率をｒとおくと、一番タイムスタンプが小さい中間フレームはｔ０＋（１／ｒ）（ｔ１−ｔ０）というタイムスタンプを持つ。
遅延時間をｄとすると、中間フレームが出力される時刻は、ｔ０＋（１／ｒ）（ｔ１−ｔ０）＋ｄとなる。
システムが正常に機能しかつ遅延時間が最小となるには、中間フレームの生成が完了する時刻（ｔ１）に中間フレーム出力時刻を迎えることが最適なので、ｔ１＝ｔ０＋（１／ｒ）（ｔ１−ｔ０）＋ｄとなる。
これをｄについて整理すると、ｄ＝（１−１／ｒ）（ｔ１−ｔ０）となり、上記の式が導かれる。
【００２６】
つぎに、本発明の実施形態に係る動画像フレーム補間処理装置１の具体的な処理手順について、図３〜図６を参照して説明する。
図３は、本発明の実施形態に係る動画像フレーム補間処理装置の全体的な処理手順を示すフローチャートであり、図４は、本発明の実施形態に係る動画像フレーム補間処理装置の入力処理手順を示すフローチャート、図５は、本発明の実施形態に係る動画像フレーム補間処理装置のフレーム補間処理手順を示すフローチャート、さらに、図６は、本発明の実施形態に係る動画像フレーム補間処理装置の表示処理手順を示すフローチャートである。
【００２７】
まず、図３に示すように、動画像フレーム補間処理装置１は、入力処理Ｓ１、フレーム補間処理Ｓ２及び表示処理Ｓ３を繰り返し実行する。
入力処理Ｓ１は、入力フレームの入力を判断し（Ｓ１１）、この判断結果がＹＥＳの場合は、クロック２から現在時刻を取得するとともに（Ｓ１２）、現在時刻をタイムスタンプとして入力フレームに付加し、共有メモリ３に格納する（Ｓ１３）。
【００２８】
フレーム補間処理Ｓ２は、共有メモリ３に格納された前後の入力フレームを検索し、中間フレームが作成されていない前後の入力フレームがあった場合は（Ｓ２１）、前後の入力フレームから中間フレームを生成するとともに（Ｓ２２）、前後の入力フレームのタイムスタンプの平均値からタイムスタンプを求める（Ｓ２３）。
その後、生成した中間フレームにタイムスタンプを付加して共有メモリ３に格納する（Ｓ２４）。
【００２９】
表示処理Ｓ３は、現在時刻から予め定められた遅延値（想定遅延）を減算した時刻を求めるとともに（Ｓ３１）、共有メモリ３に格納された入力フレーム及び中間フレームから該当時刻のタイムスタンプを持つフレームを検索する（Ｓ３２）。
そして、該当時刻のタイムスタンプを持つフレームを出力するとともに（Ｓ３３）、出力したフレームを共有メモリ３から削除する（Ｓ３４）。
【００３０】
以上のように構成された本実施形態の動画像フレーム補間処理装置１によれば、所定のフレームレートで入力された入力フレームと、前後の入力フレームからフレーム補間処理によって生成した中間フレームを記憶保持し、これらのフレームを順次出力して動画像の再生を行うにあたり、入力フレーム及び中間フレームを混在状態で保持可能な共有メモリ３と、所定のフレームレートで入力された入力フレームを、各入力フレームの再生時刻を表すタイムスタンプと共に共有メモリ３に格納する入力処理４と、共有メモリ３に格納された前後の入力フレームから中間フレームを生成するとともに、生成した中間フレームを、前後の入力フレームのタイムスタンプから求めた中間のタイムスタンプと共に共有メモリ３に格納するフレーム補間処理５と、共有メモリ３に格納された入力フレーム及び中間フレームを、各フレームのタイムスタンプにもとづいて決定されるタイミングで順次出力する表示処理６と、を備えるので、１つのメモリ領域（共有メモリ３）を入力用バッファ及び出力用バッファとして共有することができる。
これにより、無駄なコピー処理を不要にしてフレーム補間処理の処理効率を大幅に向上させることができるとともに、メモリ消費を最小限に抑えることができる。
【００３１】
また、入力処理４は、所定のフレームレートで入力された入力フレームを、各入力フレームの入力時刻から求めたタイムスタンプと共に共有メモリ３に格納し、フレーム補間処理５は、共有メモリ３に格納された前後の入力フレームから中間フレームを生成するとともに、生成した中間フレームを、前後の入力フレームのタイムスタンプの平均値から求めたタイムスタンプと共に共有メモリ３に格納し、表示処理６は、共有メモリ３に格納された入力フレーム及び中間フレームを、現在時刻から予め定められた遅延値を減算した時刻よりも後のタイムスタンプを持つフレームから順次出力するとともに、出力したフレームを共有メモリ３から削除するので、フレーム補間処理に何らかのトラブルが発生しても、入力フレームのみを入力時の間隔で順次出力し、動画再生を継続することができる。
【００３２】
例えば、予め定められた遅延値（想定遅延）を超えて入力フレームの入力が遅れた場合、共有メモリ３の入力フレームが全て削除されているため、フレーム補間処理はスキップされるが、入力フレームのみによる動画再生は継続できる。
また、演算量が多い等の理由でフレーム補間処理が規定時間内に完了しなかった場合であっても、入力フレームのみによる動画再生は継続できる。
これにより、障害に強い構成とすることができる。
【００３３】
また、遅延値は、入力フレームのフレームレートにもとづいて予め定められるものであり、入力フレームの入力間隔のＸ倍以上、Ｙ倍未満とすることにより、十分なフレーム補間処理時間を確保しつつ、不自然なフレーム補間による再生品質の低下を防止することができる。
つまり、遅延値が入力フレームの入力間隔のＸ倍未満である場合には、フレーム補間処理時間が不足してフレーム補間が安定的に行われない可能性があり、また、遅延値が入力フレームの入力間隔のＹ倍以上である場合には、時間的に離れた前後の入力フレームから不自然な中間フレームが作成され、再生品質が低下する可能性がある。
【００３４】
［第二実施形態］
つぎに、本発明の第二実施形態に係る動画像フレーム補間処理装置について、図７及び図８を参照して説明する。
図７は、本発明の第二実施形態に係る動画像フレーム補間処理装置のフレーム補間処理手順を示すフローチャートである。
この図に示されるフレーム補間処理では、共有メモリ３に格納された前後の入力フレームを検索し、中間フレームが作成されていない前後の入力フレームがあった場合に、直ちに前後の入力フレームから中間フレームを生成するのではなく、共有メモリ３に格納された前後の入力フレームのタイムスタンプを比較し、両者が予め定められた設定値以上離れた時刻を持つと判断した場合は（Ｓ２５）、フレーム補間処理を行わない点が第一実施形態と相違している。
このようにすると、時間的に離れた前後の入力フレームから不自然な中間フレームが作成され、再生品質が低下するという問題を解消することができる。
しかも、上記の設定値は、前述した遅延値とは別に定めることができるので、大きな遅延値を設定する必要がある場合であっても、上記設定値の最適化により、不自然なフレーム補間を確実に防止することができる。
【００３５】
図８は、本発明の第二実施形態に係る動画像フレーム補間処理装置のフレーム補間処理手順を示すフローチャートである。
この図に示されるフレーム補間処理では、まず、共有メモリ３の空き領域を判断し（Ｓ２６）、共有メモリ３の空き領域が所定以下となった場合に、フレーム補間処理を停止する点が前記実施形態と相違している。このようにすると、共有メモリ３の溢れを防止することができる。
なお、図８に示すフレーム補間処理では、共有メモリ３の空き領域が所定以下となった場合に、フレーム補間処理を停止するが、生成する中間フレームの数を減少させるようにしても、共有メモリ３の溢れを防止することができる。
【００３６】
以上、本発明に係る動画像フレーム補間処理装置の好ましい実施形態について説明したが、本発明に係る動画像フレーム補間処理装置は上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
また、本発明は、動画像フレーム補間処理方法や動画像フレーム補間処理プログラム、動画像フレーム補間処理用共有メモリとしても実施することができる。
【産業上の利用可能性】
【００３７】
本発明は、前後の入力フレームからフレーム補間処理によって中間フレームを生成し、滑らかな動画再生を可能にする動画像フレーム補間処理装置、動画像フレーム補間処理方法及び動画像フレーム補間処理プログラムに適用することができる。具体的には、動画像の再生が行われるテレビ、パーソナルコンピュータ、携帯電話などに好適に用いることができる。
【図面の簡単な説明】
【００３８】
【図１】本発明の実施形態に係る動画像フレーム補間処理装置の基本構成を示すブロック図である。
【図２】本発明の実施形態に係る動画像フレーム補間処理装置の処理構成の詳細を示すブロック図である。
【図３】本発明の実施形態に係る動画像フレーム補間処理装置の全体的な処理手順を示すフローチャートである。
【図４】本発明の実施形態に係る動画像フレーム補間処理装置の入力処理手順を示すフローチャートである。
【図５】本発明の実施形態に係る動画像フレーム補間処理装置のフレーム補間処理手順を示すフローチャートである。
【図６】本発明の実施形態に係る動画像フレーム補間処理装置の表示処理手順を示すフローチャートである。
【図７】本発明の他の実施形態に係る動画像フレーム補間処理装置のフレーム補間処理手順を示すフローチャートである。
【図８】本発明の他の実施形態に係る動画像フレーム補間処理装置のフレーム補間処理手順を示すフローチャートである。
【図９】一般的な動画像フレーム補間処理装置の処理構成を示すブロック図である。
【符号の説明】
【００３９】
１  動画像フレーム補間処理装置
２  クロック
３  共有メモリ
４  入力処理
５  フレーム補間処理
６  表示処理
【図１】
2010109685.tif 000003
【図２】
2010109685.tif 000004
【図３】
2010109685.tif 000005
【図４】
2010109685.tif 000006
【図５】
2010109685.tif 000007
【図６】
2010109685.tif 000008
【図７】
2010109685.tif 000009
【図８】
2010109685.tif 000010
【図９】
2010109685.tif 000011