(57)【要約】【課題】動画の滑らかさを失わず、且つ、演算量を増やさずにフレーム周波数変換方法を行なう。【解決手段】ある入力フレームでコマ落とし又はコマ挿入が必要であると判断されたならば、それから複数フレームに亘りコマ落とし処理又はコマ挿入処理を行ない、その後、コマ落とし処理又はコマ挿入処理を休止する時間を設ける。【選択図】図３
2007166530.tif 000002
【特許請求の範囲】
【請求項１】
第１のフレーム周波数の入力動画像を基に、第２のフレーム周波数の出力動画像を生成するフレーム周波数変換方法において、
前記入力動画像の各フレーム毎にコマ落とし処理又はコマ挿入処理の開始が必要であるか否かを判断する開始判断ステップと、
前記開始判断ステップで前記コマ落とし処理又は前記コマ挿入処理の開始が必要であると判断された場合に、前記入力動画像の複数フレームに亘る前記コマ落とし処理又は前記コマ挿入処理を行なう処理実行ステップと、
を備え、
前記コマ落とし処理又は前記コマ挿入処理が終了したならば、継続して行なわれている前記開始判断ステップで、前記コマ落とし処理又は前記コマ挿入処理の開始が再度必要であると判断されるまで、前記コマ落とし処理又は前記コマ挿入処理を休止することを特徴とするフレーム周波数変換方法。
【請求項２】
請求項１に記載のフレーム周波数変換方法において、
前記開始判断ステップでは、前記入力動画像のフレーム同期信号と前記出力動画像のフレーム信号との時間差を基に、前記コマ落とし処理又は前記コマ挿入処理の開始が必要であるか否かを判断することを特徴とするフレーム周波数変換方法。
【請求項３】
請求項１に記載のフレーム周波数変換方法において、
前記開始判断ステップでは、前記第１のフレーム周波数に従って、前記入力動画像のデータがそこに書き込まれ、前記第２のフレーム周波数に従って、前記出力動画像のデータがそこから読み出される表示用メモリに一時蓄積された動画像データの量が所定値以上となることにより、前記入力動画像のデータの前記表示用メモリへの書込みが待たされる時間が所定値以上となった場合に、前記コマ落とし処理の開始が必要であると判断することを特徴とするフレーム周波数変換方法。
【請求項４】
請求項１に記載のフレーム周波数変換方法において、
前記入力動画像の複数フレームに亘る前記コマ落とし処理又は前記コマ挿入処理は、
前記入力動画像の或るフレームで、重み変数を、前記コマ落とし処理又は前記コマ挿入処理を行なうフレームの数に対応する値に初期化するステップと、
前記入力動画像の各フレーム毎に前記重み変数を変化させるステップと、
前記入力動画像の各フレーム毎に変化した前記重み変数を利用して、前記入力動画像の複数のフレーム信号を重み付け加算することにより、出力動画像のフレーム信号を生成するステップと、
を備えることを特徴とするフレーム周波数変換方法。
【請求項５】
請求項１に記載のフレーム周波数変換方法において、
前記開始判断ステップで前記コマ落とし処理又は前記コマ挿入処理の開始が必要であると判断された場合に、前記コマ落とし処理又は前記コマ挿入処理の開始フレームが、動画フレームであるのか静止画フレームであるのかを判断する静止画／動画判断ステップを更に備え、
静止画／動画判断ステップで前記コマ落とし処理又は前記コマ挿入処理の開始フレームが動画フレームであると判断された場合にのみ、前記入力動画像の複数フレームに亘る前記コマ落とし処理又は前記コマ挿入処理を行ない、
静止画／動画判断ステップで前記コマ落とし処理又は前記コマ挿入処理の開始フレームが静止画フレームであると判断された場合には、他のコマ落とし処理又は他のコマ挿入処理を行なうことを特徴とするフレーム周波数変換方法。
【請求項６】
請求項５に記載のフレーム周波数変換方法において、
前記他のコマ落とし処理又は前記他のコマ挿入処理は、それぞれ、入力動画像の或るフレームを廃棄する処理又は入力動画像の或るフレームを重複させる処理であることを特徴とするフレーム周波数変換方法。
【請求項７】
請求項１に記載のフレーム周波数変換方法において、
前記開始判断ステップで前記コマ落とし処理又は前記コマ挿入処理の開始が必要であると判断される入力フレームの間隔に応じて、前記入力動画像の複数フレームに亘る前記コマ落とし処理又は前記コマ挿入処理におけるパラメータを調整するパラメータ調整ステップを更に備えることを特徴とするフレーム周波数変換方法。
【請求項８】
請求項７に記載のフレーム周波数変換方法において、
前記パラメータ調整ステップでは、前記入力動画像の複数フレームに亘る前記コマ落とし処理又は前記コマ挿入処理の対象となるフレーム数を調整することを特徴とするフレーム周波数変換方法。
【請求項９】
請求項８に記載のフレーム周波数変換方法において、
前記パラメータ調整ステップでは、前記入力動画像の複数フレームに亘る前記コマ落とし処理又は前記コマ挿入処理の対象となるフレーム数が、前記コマ落とし処理又は前記コマ挿入処理の開始が必要であると判断される入力フレームの間隔以下となるような調整をすることを特徴とするフレーム周波数変換方法。
【請求項１０】
請求項８に記載のフレーム周波数変換方法において、
前記パラメータ調整ステップでは、前記入力動画像の複数フレームに亘る前記コマ落とし処理又は前記コマ挿入処理の対象となるフレーム数が、前記コマ落とし処理又は前記コマ挿入処理の開始が必要であると判断される入力フレームの間隔未満となるような調整をし、これにより、前記コマ落とし処理又は前記コマ挿入処理を休止する期間を設けることを特徴とするフレーム周波数変換方法。
【請求項１１】
第１のフレーム周波数の入力動画像を基に、第２のフレーム周波数の出力動画像を生成するフレーム周波数変換装置において、
前記入力動画像の各フレーム毎にコマ落とし処理又はコマ挿入処理の開始が必要であるか否かを判断する開始判断手段と、
前記開始判断手段で前記コマ落とし処理又は前記コマ挿入処理の開始が必要であると判断された場合に、前記入力動画像の複数フレームに亘る前記コマ落とし処理又は前記コマ挿入処理を行なう処理実行手段と、
を備え、
前記処理実行手段は、前記コマ落とし処理又は前記コマ挿入処理が終了したならば、継続して動作している前記開始判断手段で、前記コマ落とし処理又は前記コマ挿入処理の開始が再度必要であると判断されるまで、前記コマ落とし処理又は前記コマ挿入処理を休止することを特徴とするフレーム周波数変換装置。
【請求項１２】
請求項１１に記載のフレーム周波数変換装置において、
前記開始判断手段は、前記入力動画像のフレーム同期信号と前記出力動画像のフレーム信号との時間差を基に、前記コマ落とし処理又は前記コマ挿入処理の開始が必要であるか否かを判断することを特徴とするフレーム周波数変換装置。
【請求項１３】
請求項１１に記載のフレーム周波数変換装置において、
前記開始判断手段は、前記第１のフレーム周波数に従って、前記入力動画像のデータがそこに書き込まれ、前記第２のフレーム周波数に従って、前記出力動画像のデータがそこから読み出される表示用メモリに一時蓄積された動画像データの量が所定値以上となることにより、前記入力動画像のデータの前記表示用メモリへの書込みが待たされる時間が所定値以上となった場合に、前記コマ落とし処理の開始が必要であると判断することを特徴とするフレーム周波数変換装置。
【請求項１４】
請求項１１に記載のフレーム周波数変換装置において、
前記処理実行手段は、
前記入力動画像の或るフレームで、重み変数を、前記コマ落とし処理又は前記コマ挿入処理を行なうフレームの数に対応する値に初期化する手段と、
前記入力動画像の各フレーム毎に前記重み変数を変化させる手段と、
前記入力動画像の各フレーム毎に変化した前記重み変数を利用して、前記入力動画像の複数のフレーム信号を重み付け加算することにより、出力動画像のフレーム信号を生成する手段と、
を備えることを特徴とするフレーム周波数変換装置。
【請求項１５】
請求項１１に記載のフレーム周波数変換装置において、
前記開始判断手段で前記コマ落とし処理又は前記コマ挿入処理の開始が必要であると判断された場合に、前記コマ落とし処理又は前記コマ挿入処理の開始フレームが、動画フレームであるのか静止画フレームであるのかを判断する静止画／動画判断手段を更に備え、
静止画／動画判断手段で前記コマ落とし処理又は前記コマ挿入処理の開始フレームが動画フレームであると判断された場合にのみ、前記処理実行手段は、前記入力動画像の複数フレームに亘る前記コマ落とし処理又は前記コマ挿入処理を行ない、
静止画／動画判断手段で前記コマ落とし処理又は前記コマ挿入処理の開始フレームが静止画フレームであると判断された場合に、他のコマ落とし処理又は他のコマ挿入処理を行なう手段を更に備えることを特徴とするフレーム周波数変換装置。
【請求項１６】
請求項１５に記載のフレーム周波数変換装置において、
前記他のコマ落とし処理又は前記他のコマ挿入処理は、それぞれ、入力動画像の或るフレームを廃棄する処理又は入力動画像の或るフレームを重複させる処理であることを特徴とするフレーム周波数変換装置。
【請求項１７】
請求項１１に記載のフレーム周波数変換装置において、
前記開始判断手段で前記コマ落とし処理又は前記コマ挿入処理の開始が必要であると判断される入力フレームの間隔に応じて、前記入力動画像の複数フレームに亘る前記コマ落とし処理又は前記コマ挿入処理におけるパラメータを調整するパラメータ調整手段を更に備えることを特徴とするフレーム周波数変換装置。
【請求項１８】
請求項１７に記載のフレーム周波数変換装置において、
前記パラメータ調整手段は、前記入力動画像の複数フレームに亘る前記コマ落とし処理又は前記コマ挿入処理の対象となるフレーム数を調整することを特徴とするフレーム周波数変換装置。
【請求項１９】
請求項１８に記載のフレーム周波数変換装置において、
前記パラメータ調整手段は、前記入力動画像の複数フレームに亘る前記コマ落とし処理又は前記コマ挿入処理の対象となるフレーム数が、前記コマ落とし処理又は前記コマ挿入処理の開始が必要であると判断される入力フレームの間隔以下となるような調整をすることを特徴とするフレーム周波数変換装置。
【請求項２０】
請求項１８に記載のフレーム周波数変換装置において、
前記パラメータ調整手段は、前記入力動画像の複数フレームに亘る前記コマ落とし処理又は前記コマ挿入処理の対象となるフレーム数が、前記コマ落とし処理又は前記コマ挿入処理の開始が必要であると判断される入力フレームの間隔未満となるような調整をし、これにより、前記コマ落とし処理又は前記コマ挿入処理を休止する期間を設けることを特徴とするフレーム周波数変換装置。
【請求項２１】
コンピュータに請求項１乃至１０の何れか１項に記載のフレーム周波数変換方法を行なわせるためのフレーム周波数変換プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、第１のフレーム周波数の入力動画像を基に、第２のフレーム周波数の出力動画像を生成するフレーム周波数変換方法、フレーム周波数変換装置及びフレーム周波数変換プログラムに関する。
【背景技術】
【０００２】
近年、パーソナルコンピュータにもテレビチューナが内蔵されたり接続されるようになり、パーソナルコンピュータは、テレビチューナが受信したテレビ放送を表示したり、録画したり、再生したりすることができるようになってきている。
【０００３】
日本やその他のいくつかの国では、テレビ放送のためにＮＴＳＣ方式を採用している。ＮＴＳＣ方式では、色副搬送波の周波数との調整を図るために、フィールド周波数が６０Ｈｚではなく、約５９．９４Ｈｚ（＝６０×（１０００／１００１）Ｈｚ）となっている。従って、フレーム周波数は、３０Ｈｚではなく、約２９．９７Ｈｚ（＝３０×（１０００／１００１）Ｈｚ）となっている。また、ＮＴＳＣチューナが出力する信号に対してＩＰ(Interlace/Progressive)変換処理を行なうことにより得られた動画像のフレーム周波数は、５９．９４Ｈｚである。ここで、ＩＰ変換処理とは、インターレスの動画像をプログレッシブの動画像に変換する処理のことである。
【０００４】
他方、パーソナルコンピュータのテレビモニタの代表的なリフレッシュレート（フレーム周波数に対応する。）は、丁度６０Ｈｚである。また、他のリフレッシュレートも設定できるようになっているパーソナルコンピュータも多い。
【０００５】
そうすると、表示するテレビ画像のフレーム周波数とテレビモニタのリフレッシュレートが異なるため、パーソナルコンピュータは、この違いを解決するための処理をする必要がある。
【０００６】
従来、このための処理として、一部のフレームの間引きや２度表示を行なっているものもある（例えば、特許文献１参照）。
【特許文献１】特開２００４−８０３２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、一部のフレームの間引きや２度表示を行なうことにより、フレーム周波数の調整をする場合には、間引きの前後や２度表示の部分で動画像の滑らかさが失われ、不自然となる。
【０００８】
また、これを解決するために、全てのフレームに亘り、フレーム周波数変換を行なうと、演算量が増えるため、例えば、これをマルチタスクのオペレーティングシステム上で行なうと、他のタスクに割り当てられる時間やコンピュータ資源が減少してしまい、他のタスクにおけるユーザへの反応時間等が長くなってしまう。
【０００９】
そこで、本発明は、動画の滑らかさを失わずに、第１のフレーム周波数の入力動画像を基に、第２のフレーム周波数の出力動画像を生成すると共に、そのための演算量が少ないフレーム周波数変換方法、フレーム周波数変換装置及びフレーム周波数変換プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明によれば、第１のフレーム周波数の入力動画像を基に、第２のフレーム周波数の出力動画像を生成するフレーム周波数変換方法において、前記入力動画像の各フレーム毎にコマ落とし処理又はコマ挿入処理の開始が必要であるか否かを判断する開始判断ステップと、前記開始判断ステップで前記コマ落とし処理又は前記コマ挿入処理の開始が必要であると判断された場合に、前記入力動画像の複数フレームに亘る前記コマ落とし処理又は前記コマ挿入処理を行なう処理実行ステップと、を備え、前記コマ落とし処理又は前記コマ挿入処理が終了したならば、継続して行なわれている前記開始判断ステップで、前記コマ落とし処理又は前記コマ挿入処理の開始が再度必要であると判断されるまで、前記コマ落とし処理又は前記コマ挿入処理を休止することを特徴とするフレーム周波数変換方法が提供される。
【００１１】
上記のフレーム周波数変換方法において、前記開始判断ステップでは、前記入力動画像のフレーム同期信号と前記出力動画像のフレーム信号との時間差を基に、前記コマ落とし処理又は前記コマ挿入処理の開始が必要であるか否かを判断するようにしてもよい。
【００１２】
上記のフレーム周波数変換方法において、前記開始判断ステップでは、前記第１のフレーム周波数に従って、前記入力動画像のデータがそこに書き込まれ、前記第２のフレーム周波数に従って、前記出力動画像のデータがそこから読み出される表示用メモリに一時蓄積された動画像データの量が所定値以上となることにより、前記入力動画像のデータの前記表示用メモリへの書込みが待たされる時間が所定値以上となった場合に、前記コマ落とし処理の開始が必要であると判断するようにしてもよい。
【００１３】
上記のフレーム周波数変換方法において、前記入力動画像の複数フレームに亘る前記コマ落とし処理又は前記コマ挿入処理は、前記入力動画像の或るフレームで、重み変数を、前記コマ落とし処理又は前記コマ挿入処理を行なうフレームの数に対応する値に初期化するステップと、前記入力動画像の各フレーム毎に前記重み変数を変化させるステップと、前記入力動画像の各フレーム毎に変化した前記重み変数を利用して、前記入力動画像の複数のフレーム信号を重み付け加算することにより、出力動画像のフレーム信号を生成するステップと、を備えるようにしてもよい。
【００１４】
上記のフレーム周波数変換方法において、前記開始判断ステップで前記コマ落とし処理又は前記コマ挿入処理の開始が必要であると判断された場合に、前記コマ落とし処理又は前記コマ挿入処理の開始フレームが、動画フレームであるのか静止画フレームであるのかを判断する静止画／動画判断ステップを更に備え、静止画／動画判断ステップで前記コマ落とし処理又は前記コマ挿入処理の開始フレームが動画フレームであると判断された場合にのみ、前記入力動画像の複数フレームに亘る前記コマ落とし処理又は前記コマ挿入処理を行ない、静止画／動画判断ステップで前記コマ落とし処理又は前記コマ挿入処理の開始フレームが静止画フレームであると判断された場合には、他のコマ落とし処理又は他のコマ挿入処理を行なうようにしてもよい。
【００１５】
上記のフレーム周波数変換方法において、前記他のコマ落とし処理又は前記他のコマ挿入処理は、それぞれ、入力動画像の或るフレームを廃棄する処理又は入力動画像の或るフレームを重複させる処理であるようにしてもよい。
【００１６】
上記のフレーム周波数変換方法において、前記開始判断ステップで前記コマ落とし処理又は前記コマ挿入処理の開始が必要であると判断される入力フレームの間隔に応じて、前記入力動画像の複数フレームに亘る前記コマ落とし処理又は前記コマ挿入処理におけるパラメータを調整するパラメータ調整ステップを更に備えるようにしてもよい。
【００１７】
上記のフレーム周波数変換方法において、前記パラメータ調整ステップでは、前記入力動画像の複数フレームに亘る前記コマ落とし処理又は前記コマ挿入処理の対象となるフレーム数を調整するようにしてもよい。
【００１８】
上記のフレーム周波数変換方法において、前記パラメータ調整ステップでは、前記入力動画像の複数フレームに亘る前記コマ落とし処理又は前記コマ挿入処理の対象となるフレーム数が、前記コマ落とし処理又は前記コマ挿入処理の開始が必要であると判断される入力フレームの間隔以下となるような調整をするようにしてもよい。
【００１９】
上記のフレーム周波数変換方法において、前記パラメータ調整ステップでは、前記入力動画像の複数フレームに亘る前記コマ落とし処理又は前記コマ挿入処理の対象となるフレーム数が、前記コマ落とし処理又は前記コマ挿入処理の開始が必要であると判断される入力フレームの間隔未満となるような調整をし、これにより、前記コマ落とし処理又は前記コマ挿入処理を休止する期間を設けるようにしてもよい。
【発明の効果】
【００２０】
本発明によれば、第１のフレーム周波数の入力動画像を基に、第２のフレーム周波数の出力動画像を生成するフレーム周波数変換方法において、前記入力動画像の各フレーム毎にコマ落とし処理又はコマ挿入処理の開始が必要であるか否かを判断する開始判断ステップと、前記開始判断ステップで前記コマ落とし処理又は前記コマ挿入処理の開始が必要であると判断された場合に、前記入力動画像の複数フレームに亘る前記コマ落とし処理又は前記コマ挿入処理を行なう処理実行ステップと、を備え、前記コマ落とし処理又は前記コマ挿入処理が終了したならば、継続して行なわれている前記開始判断ステップで、前記コマ落とし処理又は前記コマ挿入処理の開始が再度必要であると判断されるまで、前記コマ落とし処理又は前記コマ挿入処理を休止する。
【００２１】
従って、複数フレームに亘る前記コマ落とし処理又は前記コマ挿入処理により、動画の滑らかさが失われないようにでき、また、前記コマ落とし処理又は前記コマ挿入処理を休止する期間を設けることにより、変換のための演算量を減らすことができる。
【発明を実施するための最良の形態】
【００２２】
以下、図面を参照して本発明を実施するための最良の形態について詳細に説明する。
【００２３】
［実施形態１］
図１は、本発明の実施形態１によるフレーム周波数変換装置を含むシステムの構成を示すブロック図である。
【００２４】
図１を参照すると、このシステムは、ＮＴＳＣデコーダ１０１、画像データ書込部１０３、フレームバッファ群１０５、出力処理部１０７、表示用メモリ１２５、モニタ１２７及びパラメータ指定部１２９を備える。
【００２５】
フレームバッファ群１０５は、第１のフレームバッファ１０５−１、第２のフレームバッファ１０５−２及び第３のフレームバッファ１０５−３を備える。
【００２６】
出力処理部１０７は、画像データ読出部１０９、ＩＰ変換処理部１１１、コマ落とし／コマ挿入判定部１１５、合成処理部１１７、一時保存メモリ１１９、フォーマット変換部１２１、表示処理部１２３を備える。
【００２７】
ＮＴＳＣデコーダ１０１は、入力したＮＴＳＣ信号をデコードして、ベースバンドの動画像信号を出力する。
【００２８】
画像データ書込部１０３は、ＮＴＳＣデコーダ１０１から入力した動画像信号の各フレームをフレームバッファ群１０５の各フレームバッファ１０５−１〜１０５−３に書き込む。例えば、画像データ書込部１０３は、第１のフレームバッファ１０５−１、第２のフレームバッファ１０５−２及び第３のフレームバッファ１０５−３をリングバッファのようにして扱って、循環的にこれらのバッファに動画像信号の各フレームを書き込むようにしてもよい。また、フレームバッファの数は３枚に限ったものではなく、より多くてもよい。
【００２９】
出力処理部１０７は、例えば、ＮＴＳＣデコーダ１０１から出力されるＮＴＳＣ信号の各フィールド垂直同期信号をトリガとして、ＮＴＳＣ信号の各フィールド毎に出力処理を行なう。出力処理部１０７は、ハードウェアによって実現することもできるが、コンピュータを出力処理部１０７として機能させるためのプログラムをコンピュータが読み込んで実行することによっても実現することができる。
【００３０】
出力処理部１０７は、出力処理の結果得られる動画像信号を表示用メモリ１２５に書き込む。
【００３１】
表示用メモリ１２５に書き込まれた動画像信号は、モニタ１２７の垂直同期信号（例えば、フレームリフレッシュ信号等）を垂直同期信号として読み出され、これに基づいた動画像がモニタ１２７に表示される。
【００３２】
出力処理部１０７の各部について説明すると、画像データ読出部１０９は、入力動画像信号の各フレームをフレームバッファ群１０５の各フレームバッファ１０５−１〜１０５−３から読み出す。例えば、画像データ読出部１０９は、第１のフレームバッファ１０５−１、第２のフレームバッファ１０５−２及び第３のフレームバッファ１０５−３をリングバッファのようにして扱って、循環的にこれらのバッファから入力動画像信号の各フレームを読み出すようにしてもよい。
【００３３】
ＩＰ変換処理部１１１は、ＩＰ変換処理を行なう。パラメータ指定部１２９は、ＩＰ変換処理部１１１によるＩＰ変換処理で利用するパラメータを指定する。例えば、ＩＰ変換処理部１１１が図１９に示すような構成を有する場合には、しきい値保持部５１９に格納されるべきしきい値を指定する。
【００３４】
コマ落とし／コマ挿入判定部１１５は、入力動画像の現在のフィールド（これは、ＩＰ変換後のフレームに対応する。）に関連して、コマ落とし又はコマ挿入が必要であるか否かを判断する。
【００３５】
合成処理部１１７は、ＩＰ変換処理部１１１から入力するプログレッシブ入力動画像を基に、出力動画像を合成する。具体的には、合成処理部１１７は、１乃至複数の入力フレームを基に、各出力フレームを合成する。これにより、複数フレームに亘るコマ落とし処理又はコマ挿入処理が実現される。
【００３６】
一時保存メモリ１１９は、合成処理部１１７が合成処理を行なうために利用するものであり、プログレッシブ入力動画像に含まれる１フレームを一時保存する。
【００３７】
フォーマット変換部１２１は、合成処理部１１７から入力するプログレッシブ出力動画像のフォーマットを変換する。例えば、フォーマット変換部１２１は、ＹＵＶデータの配列を、ＩＰ変換処理部１１１の出力のものから表示用メモリ１２５を含むグラフィックボード等に適したものに変換する。
【００３８】
表示処理部１２３は、フォーマット変換部１２１から入力するフォーマット変換済みの出力動画像を表示メモリ１２５に書き込む。
【００３９】
次に、出力処理部１０７により行なわれる出力処理について説明する。出力処理部１０７は、モニタ１２７のフレーム周波数（以下、「出力フレーム周波数」という。）が入力ＮＴＳＣ信号のフィールド周波数（ＩＰ変換後の入力フレーム周波数であり、以下「入力フレーム周波数」という。）よりも低い場合には、複数フレームに亘ってコマ落とし処理をすることにより、入力フレーム周波数と出力フレーム周波数のずれを吸収し、また、出力フレーム周波数が入力フレーム周波数よりも高い場合には、複数フレームに亘ってコマ挿入処理をすることにより、入力フレーム周波数と出力フレーム周波数のずれを吸収する。
【００４０】
まず、出力フレーム周波数が入力フレーム周波数よりも低い場合に出力処理部１０７により行なわれる出力処理について図２等を参照して説明する。
【００４１】
まず、ＩＰ変換処理部１１１は、ＩＰ変換処理を行なう（ステップＳ２０１）。このＩＰ変換処理の詳細については後述する。
【００４２】
次に、コマ落とし／コマ挿入判定部１１５は、例えば、ＮＴＳＣデコーダ１０１から入力するフィールド同期信号（これは、入力フレーム周波数を有する。）とモニタ１２７から入力するリフレッシュ信号（これは、出力フレーム周波数を有する。）を基に、コマ落とし開始処理開をする必要があるか否かを判断する（ステップＳ２０３）。
【００４３】
コマ落とし／コマ挿入判定部１１５によりコマ落とし開始処理をする必要があると判断された場合には（ステップＳ２０３でＹＥＳ）、合成処理部１１７は、ステップＳ２０１で得られた現在の入力フレームを一時保存メモリ１１９に格納し（ステップＳ２０５）、変数であるカウンタを３０に初期化する（ステップＳ２０７）。ここで、初期値である３０は、一例であり、初期値として他の値を利用してもよい。この初期値は、コマ落とし処理を継続するフレーム数に対応する。例えば、その初期値を、コンピュータの負荷状況に応じて変化させてもよい。負荷が高ければ、初期値を小さくすることにより、コマ落とし処理の演算量を減らすことができ、逆に、負荷が低ければ、初期値を大きくすることにより、コマ落とし処理が行なわれるフレーム数を増やすことができ、画質を向上させることができる。コマ落とし／コマ挿入判定部１１５によりコマ落とし処理を開始する必要があると判断された場合には（ステップＳ２０３でＹＥＳ）、その入力フレームにおいて、フォーマット変換処理（ステップＳ２１７）及び表示処理（ステップＳ２１９）が省略されるため、出力フレームを１つ減らすことができる。
【００４４】
コマ落とし／コマ挿入判定部１１５によりコマ落とし開始処理をする必要がないと判断された場合には（ステップＳ２０３でＮＯ）、合成処理部１１７は、カウンタの値がゼロを超えるか否かを判断する（ステップＳ２０９）。
【００４５】
カウンタの値がゼロを超える場合には（ステップＳ２０９でＹＥＳ）、これは、現在のフレームがコマ落とし処理をするべき複数のフレームに属することを意味するので、コマ落とし処理をするために、ステップＳ２１１に進む。
【００４６】
他方、カウンタの値がゼロを超えない場合には（ステップＳ２０９でＮＯ）、これは、現在のフレームがコマ落とし処理をするべき複数のフレームに属さない（すなわち、前回のコマ落とし処理が既に終了していること）ことを意味するので、コマ落とし処理を省略するために、ステップＳ２２１に進む。
【００４７】
ステップＳ２１１では、合成処理部１１７は、入力フレームと一時保存フレームを基に、出力フレームを合成する。入力フレームとは、現在の出力処理におけるＩＰ変換処理（ステップＳ２０１）で生成された入力フレームのことであり、簡単に言えば、現在の入力フレームである。一時保存フレームとは、現在の出力処理よりも前の出力処理において、ＩＰ変換処理（ステップＳ２０１）で生成され、ステップＳ２０５又はＳ２１３で一時保存メモリ１１９に一時保存された入力フレームのことであり、簡単に言えば、１つ前の入力フレームである。
【００４８】
合成においては、例えば、出力フレームｍの第ｉ行第ｊ列にある各画素ｙ（ｍ、ｉ、ｊ）を下式に従って算出する。
【００４９】
ｙ（ｍ、ｉ、ｊ）＝ｗ×ｘ（ｎ−１、ｉ、ｊ）＋（１−ｗ）×ｘ（ｎ、ｉ、ｊ）
ここで、ｗは、重みを表し、ｘ（ｎ−１、ｉ、ｊ）は、保存フレームの第ｉ行第ｊ列にある画素を表し、ｘ（ｎ、ｉ、ｊ）は、入力フレームの第ｉ行第ｊ列にある画素を表す。また、ｗは、下式に従って算出されたものである。
【００５０】
ｗ＝カウンタ／３０
但し、分母の３０は、ステップＳ２０７での初期化であり、この初期値が他の値ならば、分母もその値に変化する。
【００５１】
ステップＳ２１１の次に、合成処理部１１７は、ステップＳ２０１で得られた現在の入力フレームを一時保存メモリ１１９に格納し（ステップＳ２１３）、カウンタを１だけ減らす（ステップＳ２１５）。
【００５２】
他方、ステップＳ２２１では、合成処理部１１７は、入力フレームそのものを出力フレームとする。
【００５３】
ステップＳ２１５又はステップＳ２２１の次に、フォーマット変換処理部１２１が、フォーマット変換処理を行い（ステップＳ２１７）、表示処理部１２３が、表示処理を行なう（ステップＳ２１９）。
【００５４】
図３に、動作例を示す。
【００５５】
図３を参照すると、第４０番目の入力フレームにおいて、コマ落とし処理が必要であると判断される。ステップＳ２０１、ステップＳ２０５及びステップＳ２０７が実行され、第４０番目の入力フレームのみに対応した出力フレームは生成されない。
【００５６】
第４１番目から第７０番目の入力フレームにおいて、コマ落とし処理が継続して行なわれる。ステップＳ２０１、ステップＳ２１１、ステップＳ２１３、ステップＳ２１５、ステップＳ２１７及びステップＳ２１９が各入力フレームで実行される。カウンタは、図３に示すように、各入力フレーム毎に１だけ減少していく。また、重みは、図３に示すように、１から０．０３になるまで、直線的に減少する。図３の出力フレームの列には、入力フレームのフレーム番号により出力フレームの位置を示している。また、図３の差分の列には、各出力フレームのその前の出力フレームとの差分を示している。
【００５７】
従来例のように、単純に１コマ落とすような方法でコマ落としをすれば、コマ落としが必要であると判断されたフレームで出力フレームの間隔が２になってしまい、出力動画像が飛んで不連続となってしまう。
【００５８】
これに対し、本実施形態では、コマ落としが必要であると判断されたフレームで出力フレームの間隔が２となるようなことはない。また、コマ落としが行なわれている期間では、各出力フレームのその前の出力フレームとの差分が１．０３となる。この値は、通常の差分１と大きな違いはない。従って、本実施形態では、コマ落とし処理を行なっても、動画の滑らかさを失うことを避けることができる。また、コマ落とし処理を行なう期間がステップＳ２０７でカウンタに設定された値に対応したフレーム数に対応した期間のみであり、その期間が経過すれば、その後、ステップＳ２０３でコマ落とし処理が再度必要であると判断されるフレームが到来するまで、コマ落とし処理を休止できるので、演算量を減らすことができる。従って、例えば、コマ落とし処理に必要な演算量が多いとしても、コマ落とし処理を休止している期間には、これが不要となるため、コマ落とし処理を休止している期間にコンピュータの資源の利用を他のタスクに譲ることが可能となる。
【００５９】
次に、出力フレーム周波数が入力フレーム周波数よりも高い場合に出力処理部１０７により行なわれる出力処理について図４等を参照して説明する。
【００６０】
まず、ＩＰ変換処理部１１１は、ＩＰ変換処理を行なう（ステップＳ２５１）。このＩＰ変換処理の詳細については後述する。
【００６１】
次に、コマ落とし／コマ挿入判定部１１５は、例えば、ＮＴＳＣデコーダ１０１から入力するフィールド同期信号（これは、入力フレーム周波数を有する。）とモニタ１２７から入力するリフレッシュ信号（これは、出力フレーム周波数を有する。）を基に、コマ挿入開始処理をする必要があるか否かを判断する（ステップＳ２５３）。
【００６２】
コマ落とし／コマ挿入判定部１１５によりコマ挿入開始処理をする必要があると判断された場合には（ステップＳ２５３でＹＥＳ）、合成処理部１１７は、ステップＳ２５１で得られた現在の入力フレームを一時保存メモリ１１９に格納し（ステップＳ２５５）、変数であるカウンタを３０に初期化する（ステップＳ２５７）。ここで、初期値である３０は、一例であり、初期値として他の値を利用してもよい。ステップＳ２５７からはステップＳ２６１に進む。
【００６３】
コマ落とし／コマ挿入判定部１１５によりコマ挿入開始処理をする必要がないと判断された場合には（ステップＳ２５３でＮＯ）、合成処理部１１７は、カウンタの値がゼロを超えるか否かを判断する（ステップＳ２５９）。
【００６４】
カウンタの値がゼロを超える場合には（ステップＳ２５９でＹＥＳ）、これは、現在のフレームがコマ挿入処理をするべき複数のフレームに属することを意味するので、コマ挿入処理をするために、ステップＳ２６１に進む。
【００６５】
他方、カウンタの値がゼロを超えない場合には（ステップＳ２５９でＮＯ）、これは、現在のフレームがコマ挿入処理をするべき複数のフレームに属さないこと（すなわち、前回のコマ挿入処理が既に終了していること）を意味するので、コマ挿入処理を省略するために、ステップＳ２８１に進む。
【００６６】
ステップＳ２６１では、合成処理部１１７は、入力フレームと一時保存フレームを基に、出力フレームを合成する。入力フレームとは、現在の出力処理におけるＩＰ変換処理（ステップＳ２５１）で生成された入力フレームのことであり、簡単に言えば、現在の入力フレームである。一時保存フレームとは、現在の出力処理よりも前の出力処理において、ＩＰ変換処理（ステップＳ２５１）で生成され、ステップＳ２５５又はＳ２６３で一時保存メモリ１１９に一時保存された入力フレームのことであり、簡単に言えば、１つ前の入力フレームである。
【００６７】
合成においては、例えば、出力フレームｍの第ｉ行第ｊ列にある各画素ｙ（ｍ、ｉ、ｊ）を下式に従って算出する。
【００６８】
ｙ（ｍ、ｉ、ｊ）＝（１−ｗ）×ｘ（ｎ−１、ｉ、ｊ）＋ｗ×ｘ（ｎ、ｉ、ｊ）
ここで、ｗは、重みを表し、ｘ（ｎ−１、ｉ、ｊ）は、保存フレームの第ｉ行第ｊ列にある画素を表し、ｘ（ｎ、ｉ、ｊ）は、入力フレームの第ｉ行第ｊ列にある画素を表す。コマ落としの場合と比べると、重みが逆になっている。また、ｗは、下式に従って算出されたものである。
【００６９】
ｗ＝カウンタ／３０
ステップＳ２６１の次に、合成処理部１１７は、ステップＳ２５１で得られた現在の入力フレームを一時保存メモリ１１９に格納し（ステップＳ２６３）、カウンタを１だけ減らす（ステップＳ２６５）。
【００７０】
他方、ステップＳ２８１では、合成処理部１１７は、入力フレームそのものを出力フレームとする。
【００７１】
ステップＳ２６５又はステップＳ２８１の次に、フォーマット変換処理部１２１が、フォーマット変換処理を行い（ステップＳ２６７）、表示処理部１２３が、表示処理を行なう（ステップＳ２７９）。
【００７２】
次に、合成処理部１１７は、カウンタの値がゼロであるか否かを判断する（ステップＳ２７１）。
【００７３】
カウンタの値がゼロであると判断された場合には（ステップＳ２７１でＹＥＳ）、カウンタをゼロ未満の値（例えば、「−１」）にする（ステップＳ２７２）。こうすることにより、次回のコマ落とし処理の終了時まで、ステップＳ２７１においてＹＥＳと判断されないようにする。次に、合成処理部１１７が、入力フレームそのものを出力フレームとして（ステップＳ２７３）、フォーマット変換処理部１２１が、フォーマット変換処理を行い（ステップＳ２７５）、表示処理部１２３が、表示処理を行なう（ステップＳ２７９）。
【００７４】
コマ落とし／コマ挿入判定部１１５によりコマ挿入処理を開始する必要があると判断された場合には（ステップＳ２５３でＹＥＳ）、その入力フレームにおいて、ステップＳ２６１で合成された出力フレームがフォーマット変換処理（ステップＳ２１７）及び表示処理（ステップＳ２１９）により出力されるので、コマ落とし処理とは異なり、１フレーム減ることがない。また、カウンタの値がゼロである判断された場合には、出力合成処理（ステップＳ２６１）、フォーマット変換処理（ステップＳ２６７）及び表示処理（ステップＳ２６９）に加え、出力フレーム生成処理（ステップＳ２７３）、フォーマット変換処理（ステップＳ２７５）及び表示処理（ステップＳ２７９）が実行されるため、出力フレームを１つ増やすことができる。
【００７５】
図５に、動作例を示す。
【００７６】
図５を参照すると、第４０番目の入力フレームにおいて、コマ挿入処理が必要であると判断される。ステップＳ２５１、ステップＳ２５５、ステップＳ２５７、ステップＳ２６１、ステップＳ２６３、ステップＳ２６５、ステップＳ２６７、ステップＳ２６９及びステップＳ２７１が実行され、１つの出力フレームが生成される。
【００７７】
第４１番目から第６９番目の入力フレームにおいて、コマ挿入処理が継続して行なわれる。ステップＳ２５１、ステップＳ２５５、ステップＳ２６１、ステップＳ２６３、ステップＳ２６５、ステップＳ２６７、ステップＳ２６９及びステップＳ２７１が各入力フレームで実行される。カウンタは、図５に示すように、各入力フレーム毎に１だけ減少していく。また、重みは、図５に示すように、１から０．０３になるまで、直線的に減少する。図５の出力フレームの列には、入力フレームのフレーム番号により出力フレームの位置を示している。また、図５の差分の列には、各出力フレームのその前の出力フレームとの差分を示している。
【００７８】
単純に１コマを２回連続させるような方法でコマ落としをすれば、コマ挿入が必要であると判断されたフレームで出力フレームの間隔が０になってしまい、出力動画像が滞り不連続となってしまう。
【００７９】
これに対し、本実施形態では、コマ挿入が必要であると判断されたフレームで出力フレームの間隔が０となるようなことはない。また、コマ挿入が行なわれている期間では、各出力フレームのその前の出力フレームとの差分が０．９７となる。この値は、通常の差分１と大きな違いはない。従って、本実施形態では、コマ挿入処理を行なっても、動画の滑らかさを失うことを避けることができる。また、コマ挿入処理を行なう期間がステップＳ２５７でカウンタに設定された値に対応したフレーム数に対応した期間のみであり、その期間が経過すれば、その後、ステップＳ２５３でコマ挿入処理が再度必要であると判断されるフレームが到来するまで、コマ挿入処理を休止できるので、演算量を減らすことができる。従って、例えば、コマ挿入処理に必要な演算量が多いとしても、コマ挿入処理を休止している期間には、これが不要となるため、コマ挿入処理を休止している期間にコンピュータの資源の利用を他のタスクに譲ることが可能となる。
【００８０】
以上、出力処理部１０７の動作を、出力フレーム周波数が入力フレーム周波数よりも低い場合と高い場合に分けて説明した。実際には、潜在的に何れの場合にも対応するように場合分けされた処理が実現される。しかし、実際には、モニタ１２７をどのモニタにするかにより、リフレッシュレートが変動することがあるが、一度モニタ１２７及びその動作モードを決めてしまえば、そのモニタのリフレッシュレートが変動するようなことはあまりなく、例え、変動するとしても長期変動であるので、実際には、図２等を参照して説明した処理又は図４等を参照して説明した処理が長期間継続される。
【００８１】
［実施形態２］
実施形態１では、ＩＰ変換処理部１１１でＩＰ変換処理を行なった後に、その後段にある合成処理部１１７が、必要に応じて、コマ落とし処理又はコマ挿入処理を行なう。
【００８２】
これに対し、実施形態２では、２つのＩＰ変換処理部（すなわち、第１のＩＰ変換処理部１１１Ｂ及び第２のＩＰ変換処理部１１１Ｃ）を設け、合成処理部１１７を省略する。
【００８３】
片方のＩＰ変換処理部（すなわち、第１のＩＰ変換処理部１１１Ｂ）が通常のＩＰ変換処理（すなわち、コマ落とし処理及びコマ挿入処理を含まないＩＰ変換処理）を行ない、必要に応じて、他方のＩＰ変換処理部（すなわち、第２のＩＰ変換処理部１１１Ｃ）がコマ落とし処理又はコマ挿入処理を含んだＩＰ変換処理を行なう。従って、実施形態２の第１のＩＰ変換処理部１１１Ｂは、実施形態１のＩＰ変換処理部１１１と同様なものである。
【００８４】
図６は、本発明の実施形態２によるフレーム周波数変換装置を含むシステムの構成を示すブロック図である。
【００８５】
図６を参照すると、このシステムは、ＮＴＳＣデコーダ１０１、画像データ書込部１０３Ｂ、フレームバッファ群１０５Ｂ、出力処理部１０７Ｂ、表示用メモリ１２５、モニタ１２７及びパラメータ指定部１２９を備える。
【００８６】
フレームバッファ群１０５Ｂは、第１のフレームバッファ１０５−１、第２のフレームバッファ１０５−２、第３のフレームバッファ１０５−３及び第４のフレームバッファ１０５−４を備える。
【００８７】
出力処理部１０７Ｂは、画像データ読出部１０９Ｂ、第１のスイッチ１３１、第１のＩＰ変換処理部１１１Ｂ、第２のＩＰ変換処理部１１１Ｃ、コマ落とし／コマ挿入判定部１１５、第２のスイッチ１３３、フォーマット変換部１２１、表示処理部１２３及び制御部１３５を備える。
【００８８】
実施形態２のＮＴＳＣデコーダ１０１、表示用メモリ１２５、モニタ１２７及びパラメータ指定部１２９は、実施形態１のそれらと同様なものであるので、重複する説明を省略する。
【００８９】
画像データ書込部１０３Ｂは、ＮＴＳＣデコーダ１０１から入力した動画像信号の各フレームをフレームバッファ群１０５の各フレームバッファ１０５−１〜１０５−４に書き込む。例えば、画像データ書込部１０３Ｂは、第１のフレームバッファ１０５−１、第２のフレームバッファ１０５−２、第３のフレームバッファ１０５−３及び第４のフレームバッファ１０５−４をリングバッファのようにして扱って、循環的にこれらのバッファに動画像信号の各フレームを書き込むようにしてもよい。また、フレームバッファの数は４枚に限ったものではなく、より多くてもよい。
【００９０】
出力処理部１０７Ｂは、例えば、ＮＴＳＣデコーダ１０１から出力されるＮＴＳＣ信号の各フィールド垂直同期信号をトリガとして、ＮＴＳＣ信号の各フィールド毎に出力処理を行なう。出力処理部１０７Ｂは、ハードウェアによって実現することもできるが、コンピュータを出力処理部１０７Ｂとして機能させるためのプログラムをコンピュータが読み込んで実行することによっても実現することができる。
【００９１】
出力処理部１０７Ｂは、出力処理の結果得られる動画像信号を表示用メモリ１２５に書き込む。
【００９２】
出力処理部１０７Ｂの各部について説明すると、画像データ読出部１０９Ｂは、入力動画像信号の各フレームをフレームバッファ群１０５の各フレームバッファ１０５−１〜１０５−４から読み出す。例えば、画像データ読出部１０９は、第１のフレームバッファ１０５−１、第２のフレームバッファ１０５−２、第３のフレームバッファ１０５−３及び第４のフレームバッファ１０５−４をリングバッファのようにして扱って、循環的にこれらのバッファから入力動画像信号の各フレームを読み出すようにしてもよい。
【００９３】
コマ落とし／コマ挿入判定部１１５は、入力動画像の現在のフィールド（これは、ＩＰ変換後のフレームに対応する。）に関連して、コマ落とし又はコマ挿入が必要であるか否かを判断する。
【００９４】
制御部１３５は、コマ落とし／コマ挿入判定部１１５による判断結果に基づいて、第１のＩＰ変換処理部１１１Ｂ及び第２のＩＰ変換処理部１１１ＣのうちのどちらがＩＰ変換処理を行なうべきであるのかを判断する。
【００９５】
第１のスイッチ１３１及び第２のスイッチ１３３は制御部１３５による判断結果に基づいて、画像データ読出部１０９Ｂからフォーマット変換部１２１までの画像信号の経路を切り換える。
【００９６】
フォーマット変換部１２１は、第２のスイッチ１３３から入力するプログレッシブ出力動画像のフォーマットを実施形態１と同様に変換する。
【００９７】
表示処理部１２３は、フォーマット変換部１２１から入力するフォーマット変換済みの出力動画像を表示メモリ１２５に書き込む。
【００９８】
次に、出力処理部１０７Ｂにより行なわれる出力処理について説明する。出力処理部１０７Ｂは、出力フレーム周波数が入力フレーム周波数よりも低い場合には、コマ落とし処理をすることにより、入力フレーム周波数と出力フレーム周波数のずれを吸収し、また、出力フレーム周波数が入力フレーム周波数よりも高い場合には、コマ挿入処理をすることにより、入力フレーム周波数と出力フレーム周波数のずれを吸収する。
【００９９】
まず、出力フレーム周波数が入力フレーム周波数よりも低い場合に出力処理部１０７Ｂにより行なわれる出力処理について図７等を参照して説明する。
【０１００】
まず、コマ落とし／コマ挿入判定部１１５は、例えば、ＮＴＳＣデコーダ１０１から入力するフィールド同期信号（これは、入力フレーム周波数を有する。）とモニタ１２７から入力するリフレッシュ信号（これは、出力フレーム周波数を有する。）を基に、コマ落とし開始処理開をする必要があるか否かを判断する（ステップＳ３０１）。
【０１０１】
コマ落とし／コマ挿入判定部１１５によりコマ落とし開始処理をする必要があると判断された場合には（ステップＳ３０１でＹＥＳ）、制御部１３５は、変数であるカウンタを３０に初期化する（ステップＳ３０５）。ここで、初期値である３０は、一例であり、初期値として他の値を利用してもよい。コマ落とし／コマ挿入判定部１１５によりコマ落とし処理を開始する必要があると判断された場合には（ステップＳ３０１でＹＥＳ）、その入力フレームにおいて、フォーマット変換処理（ステップＳ３１３）及び表示処理（ステップＳ３１５）が省略されるため、出力フレームを１つ減らすことができる。
【０１０２】
コマ落とし／コマ挿入判定部１１５によりコマ落とし開始処理をする必要がないと判断された場合には（ステップＳ３０１でＮＯ）、制御部１３５は、カウンタの値がゼロを超えるか否かを判断する（ステップＳ３０７）。
【０１０３】
カウンタの値がゼロを超える場合には（ステップＳ３０７でＹＥＳ）、これは、現在のフレームがコマ落とし処理をするべき複数のフレームに属することを意味するので、画像データ読出部１０９Ｂからフォーマット変換部１２１までの間に第２のＩＰ変換処理部１１１Ｃが入るように、第１のスイッチ１３１及び第２のスイッチ１３３を切り換え、第２のＩＰ変換処理部１１１Ｃは、コマ落とし処理を含んだＩＰ変換処理を行なう（ステップＳ３０９）。次に、制御部１３５は、カウンタを１だけ減らす（ステップＳ３１１）。
【０１０４】
なお、第２のＩＰ変換処理部１１１Ｃにより行なわれるコマ落とし処理を含んだＩＰ変換処理においても、重みｗを
ｗ＝カウンタ／３０
に従って算出し、これを利用してフレーム合成を行なう。
【０１０５】
他方、カウンタの値がゼロを超えない場合には（ステップＳ３０７でＮＯ）、これは、現在のフレームがコマ落とし処理をするべき複数のフレームに属さないこと（すなわち、前回のコマ落とし処理が既に終了していること）を意味するので、コマ落とし処理を省略するために、ステップＳ３１７に進む。
【０１０６】
ステップＳ３１７では、制御部１３５は、画像データ読出部１０９Ｂからフォーマット変換部１２１までの間に第１のＩＰ変換処理部１１１Ｂが入るように、第１のスイッチ１３１及び第２のスイッチ１３３を切り換え、第１のＩＰ変換処理部１１１Ｂは、通常のＩＰ変換処理を行なう。
【０１０７】
ステップＳ３１７又はステップＳ３０９の次に、第１のＩＰ変換処理部１１１Ｂにより行なわれる通常のＩＰ変換処理（ステップＳ３１７）により得られた入力動画像又は第２のＩＰ変換処理部１１１Ｃにより行なわれるコマ落とし処理を含んだＩＰ変換処理（ステップＳ３０９）により得られた入力動画像に対して、フォーマット変換処理部１２１が、フォーマット変換処理を行い（ステップＳ３１３）、表示処理部１２３が、表示処理を行なう（ステップＳ３１５）。
【０１０８】
実施形態２のコマ落とし処理の動作例及びこれを参照して説明した効果は、実施形態１の図３に示すもの及びこれを参照して説明した効果と同様である。
【０１０９】
次に、出力フレーム周波数が入力フレーム周波数よりも高い場合に出力処理部１０７Ｂにより行なわれる出力処理について図８等を参照して説明する。
【０１１０】
まず、コマ落とし／コマ挿入判定部１１５は、例えば、ＮＴＳＣデコーダ１０１から入力するフィールド同期信号（これは、入力フレーム周波数を有する。）とモニタ１２７から入力するリフレッシュ信号（これは、出力フレーム周波数を有する。）を基に、コマ挿入開始処理をする必要があるか否かを判断する（ステップＳ３５１）。
【０１１１】
コマ落とし／コマ挿入判定部１１５によりコマ挿入開始処理をする必要があると判断された場合には（ステップＳ３５１でＹＥＳ）、制御部１３５は、変数であるカウンタを３０に初期化する（ステップＳ３５５）。ここで、初期値である３０は、一例であり、初期値として他の値を利用してもよい。ステップＳ３５５からはステップＳ３５９に進む。
【０１１２】
コマ落とし／コマ挿入判定部１１５によりコマ挿入開始処理をする必要がないと判断された場合には（ステップＳ３５１でＮＯ）、制御部１３５は、カウンタの値がゼロを超えるか否かを判断する（ステップＳ３５７）。
【０１１３】
カウンタの値がゼロを超える場合には（ステップＳ３５７でＹＥＳ）、これは、現在のフレームがコマ挿入処理をするべき複数のフレームに属することを意味するので、コマ挿入処理を含んだＩＰ変換処理をするために、ステップＳ３５９に進む。
【０１１４】
他方、カウンタの値がゼロを超えない場合には（ステップＳ３５７でＮＯ）、これは、現在のフレームがコマ挿入処理をするべき複数のフレームに属さない（すなわち、前回のコマ挿入処理が既に終了していること）ことを意味するので、通常のＩＰ変換処理を行い、コマ挿入処理を省略するために、ステップＳ３７９に進む。
【０１１５】
ステップＳ３５９では、制御部１３５は、画像データ読出部１０９Ｂからフォーマット変換部１２１までの間に第２のＩＰ変換処理部１１１Ｃが入るように、第１のスイッチ１３１及び第２のスイッチ１３３を切り換え、第２のＩＰ変換処理部１１１Ｃは、コマ挿入処理を含んだＩＰ変換処理を行なう。
【０１１６】
なお、第２のＩＰ変換処理部１１１Ｃにより行なわれるコマ挿入処理を含んだＩＰ変換処理においても、重みｗを
ｗ＝カウンタ／３０
に従って算出し、これを利用してフレーム合成を行なう。
【０１１７】
ステップＳ３５９の次に、制御部１３５は、カウンタを１だけ減らす（ステップＳ３６３）。
【０１１８】
ステップＳ３７９では、制御部１３５は、画像データ読出部１０９Ｂからフォーマット変換部１２１までの間に第１のＩＰ変換処理部１１１Ｂが入るように、第１のスイッチ１３１及び第２のスイッチ１３３を切り換え、第１のＩＰ変換処理部１１１Ｂは、通常のＩＰ変換処理を行なう。
【０１１９】
ステップＳ３７９又はステップＳ３５９の次に、第１のＩＰ変換処理部１１１Ｂにより行なわれる通常のＩＰ変換処理（ステップＳ３７９）により得られた入力動画像又は第２のＩＰ変換処理部１１１Ｃにより行なわれるコマ挿入処理を含んだＩＰ変換処理（ステップＳ３５９）により得られた入力動画像に対して、フォーマット変換処理部１２１が、フォーマット変換処理を行い（ステップＳ３６５）、表示処理部１２３が、表示処理を行なう（ステップＳ３６７）。
【０１２０】
次に、制御部１３５は、カウンタの値がゼロであるか否かを判断する（ステップＳ３６９）。
【０１２１】
カウンタの値がゼロであると判断された場合には（ステップＳ３６９でＹＥＳ）、カウンタをゼロ未満の値（例えば、「−１」）にする（ステップＳ３７０）。こうすることにより、次回のコマ落とし処理の終了時まで、ステップＳ３６９においてＹＥＳと判断されないようにする。次に、制御部１３５は、画像データ読出部１０９Ｂからフォーマット変換部１２１までの間に第１のＩＰ変換処理部１１１Ｂが入るように、第１のスイッチ１３１及び第２のスイッチ１３３を切り換え、第１のＩＰ変換処理部１１１Ｂは、通常のＩＰ変換処理を行なう（ステップＳ３７１）。次に、第１のＩＰ変換処理部１１１Ｂにより行なわれる通常のＩＰ変換処理（ステップＳ３７１）により得られた入力動画像に対して、フォーマット変換処理部１２１が、フォーマット変換処理を行い（ステップＳ３７３）、表示処理部１２３が、表示処理を行なう（ステップＳ３７５）。
【０１２２】
コマ落とし／コマ挿入判定部１１５によりコマ挿入処理を開始する必要があると判断された場合には（ステップＳ３５１でＹＥＳ）、その入力フレームにおいて、第２のＩＰ変換処理（すなわち、コマ挿入処理を含むＩＰ変換処理）（ステップＳ３５９）で生成された出力フレームがフォーマット変換処理（ステップＳ３６５）及び表示処理（ステップＳ３６７）により出力されるので、コマ落とし処理とは異なり、１フレーム減ることがない。また、カウンタの値がゼロである判断された場合には、第２のＩＰ変換処理（すなわち、コマ挿入処理を含むＩＰ変換処理）（ステップＳ３５９）、フォーマット変換処理（ステップＳ３６５）及び表示処理（ステップＳ３６７）に加え、第１のＩＰ変換処理（すなわち、通常のＩＰ変換処理）（ステップＳ３７１）、フォーマット変換処理（ステップＳ２３７３）及び表示処理（ステップＳ３７５）が実行されるため、出力フレームを１つ増やすことができる。
【０１２３】
実施形態２のコマ挿入処理の動作例及びこれを参照して説明した効果は、実施形態１の図５に示すもの及びこれを参照して説明した効果と同様である。
【０１２４】
［実施形態３］
本発明の目的は、上述したように、動画の滑らかさを失わないことであり、更に、動画の滑らかさを失わないための処理を行なっても演算量が大きく増えないようにすることである。他方、入力動画像は、一般には動画像であるが、静止画像のフレームも含む。コマ落とし処理又はコマ挿入処理が必要であると判断された入力フレームが静止画フレームである場合には、そのフレームを単に廃棄することによりコマ落としを実現したり、そのフレームを重複させることによりコマ挿入処理を実現しても、静止画像である画像の滑らかさは失われない。また、コマ落とし処理又はコマ挿入処理が必要であると判断された入力フレーム（対象フレーム）及びその近傍の入力フレームが全て静止画フレームである場合には、その対象フレームを単に廃棄することによりコマ落としを実現したり、そのフレームを重複させることによりコマ挿入処理を実現しても、静止画像である画像の滑らかさは失われない程度は更に増す。
【０１２５】
そこで、実施形態３では、コマ落とし処理又はコマ挿入処理が必要であると判断された時に、現在の入力フレームが動画フレームであるか否かを判断する。そして、現在の入力フレームが動画フレームであると判断された場合には、実施形態１又は２で説明したようなコマ落とし処理又はコマ挿入処理を行ない、現在の入力フレームが静止画フレームであると判断された場合には、実施形態１又は２で説明したようなコマ落とし処理又はコマ挿入処理よりも演算量が少ないコマ落とし処理又はコマ挿入処理を行なう。
【０１２６】
実施形態１又は２で説明したようなコマ落とし処理又はコマ挿入処理よりも演算量が少ないコマ落とし処理又はコマ挿入処理とは、それぞれ、例えば、対象フレームを単に廃棄することによるコマ落とし処理又は対象フレームを単に重複させることによるコマ挿入処理である。
【０１２７】
また、現在の入力フレームが動画フレームであるか否かを判断する代わりに、現在の入力フレーム及びその近傍にある入力フレームが全て動画フレームであるか否かを判断してもよい。
【０１２８】
実施形態３は、実施形態１を修正することにより、上記の機能を追加するものである。従って、実施形態３によるシステムの構成及びその動作は、実施形態１と基本的には同一である。そこで、実施形態３の実施形態１と相違する点を中心にして説明をする。
【０１２９】
図９は、実施形態３による出力処理部１０７Ｃの構成を示す。次に、図１に示す実施形態１による出力処理部１０７と相違する点のみを説明する。
【０１３０】
ＩＰ変換処理部１１１には、動画素／静止画素判定部１４１が含まれている。また、動画フレーム／静止画フレーム判定部１４３、第１のスイッチ１４５、静止画フレーム用コマ落とし／コマ挿入処理部１４７、第２のスイッチ１４９及び制御部１５１が追加されている。
【０１３１】
動画素／静止画素判定部１４１は、現在ＩＰ変換処理部１１１が合成しようとするフレームの各画素が動画部に含まれる画素であるのか静止画部に含まれる画素であるのかを判断する。ここで動画部と静止画部は、空間的には、画素を単位とするものであってもよいし、複数画素のブロックを単位とするものであってもよいし、画像により表される物体を単位とするものであってもよい。また、動画部と静止画部は、時間的には、動画部であるのか又は静止画部であるのかを、各１フレーム毎に判断されたものであってもよいし、複数フレームに亘って判断されたものであってもよい。また、各画素が動画部に含まれる画素であるのか静止画部に含まれる画素であるのかは、二値で表されていてもよいし、その程度が多値や連続値で表されていてもよい。ＩＰ変換処理部１１１が図１９に示すような構成を有する場合には、差分計算部５０９、差分補正部５１１、補正値保持部５１３、差分累積部５１５、累積動き量メモリ５１７、しきい値保持部５１９及び動き量計算部５２１を動画素／静止画素判定部１４１として利用してもよい。
【０１３２】
動画フレーム／静止画フレーム判定部１４３は、動画素／静止画素判定部１４１から入力した現在のフレームの各画素が動画部に含まれる画素であるのか静止画部に含まれる画素であるのかに関する情報に基づいて、現在のフレームが動画フレームであるのか又は静止画フレームであるのかを判断する。例えば、各画素が動画部に含まれる画素であるのか静止画部に含まれる画素であるのかが、その画素が動画像に含まれる画素である可能性が大きいほど大きくなるような多値で表されている場合には、その値が第１の閾値以下である全ての画素が当該フレームを占める割合が第２の所定値以上である場合に、当該フレームが静止画フレームであると判断するようにしてもよい。また、その多値を当該フレーム内の全ての画素について足し合わせて得た値が第３の所定値以下である場合に、当該フレームが静止画フレームであると判断するようにしてもよい。また、それらの閾値を、現在のＣＰＵ負荷に基づいて変化させるようにしてもよい。
【０１３３】
制御部１５１は、コマ落とし／コマ挿入判定部１１５が、コマ落とし処理又はコマ挿入処理が必要であると判断した時に、更に、現在ＩＰ変換処理部１１１が出力するフレームが動画フレームであるのか静止画フレームであるのかを動画フレーム／静止画フレーム判定部１４３から入力する信号により判断する。
【０１３４】
そして、制御部１５１は、コマ落とし処理又はコマ挿入処理が現在必要であると判断され、且つ、現在ＩＰ変換処理部１１１が出力するフレームが動画フレームであると判断された場合には、それから複数のフレームに亘り合成処理部１１７が、その動画フレームに対応したコマ落とし処理又はコマ挿入処理を複数のフレームに亘り行なうべきであると判断する。そのために、制御部１５１は、ＩＰ変換処理部１１１からフォーマット変換部１２１までの間に合成処理部１１７が入るように、第１のスイッチ１４５及び第２のスイッチ１４９を切り換える。そして、合成処理部１１７は、その複数のフレームに亘り、実施形態１で説明したような、動画像フレームに対応したコマ落とし処理又はコマ挿入処理を行なう。
【０１３５】
他方、制御部１５１は、コマ落とし処理又はコマ挿入処理が現在必要であると判断され、且つ、現在ＩＰ変換処理部１１１が出力するフレームが静止画フレームであると判断された場合には、静止画フレーム用コマ落とし／コマ挿入処理部１４７が静止画フレームに対応したコマ落とし処理又はコマ挿入処理を行なうべきであると判断する。そのために、制御部１５１は、ＩＰ変換処理部１１１からフォーマット変換部１２１までの間に静止画フレーム用コマ落とし／コマ挿入処理部１４７が入るように、第１のスイッチ１４５及び第２のスイッチ１４９を切り換える。そして、静止画フレーム用コマ落とし／コマ挿入処理部１４７は、静止画フレームに対応したコマ落とし処理又はコマ挿入処理を行なう。但し、表示処理部１２３が、フォーマット変換部１２１から入力した信号を複数回表示するための処理（表示用メモリへの複数回書込み）を行なうことにより、静止画フレームに対応したコマ挿入を実現してもよい。
【０１３６】
また、制御部１５１は、コマ落とし処理又はコマ挿入処理が現在必要でないと判断された場合には、ＩＰ変換処理部１１１からフォーマット変換部１２１までの間に合成処理部１１７も静止画フレーム用コマ落とし／コマ挿入処理部１４７も入らないように、第１のスイッチ１４５及び第２のスイッチ１４９を切り換える。但し、合成処理部１１７又は静止画フレーム用コマ落とし／コマ挿入処理部１４７が入るようにして、それらの部分が、バイパス処理を行なってもよい。
【０１３７】
次に、出力フレーム周波数が入力フレーム周波数よりも低い場合に出力処理部１０７Ｃにより行なわれる出力処理について説明する。
【０１３８】
この処理は、図１０に示すフローチャートにより表される。図２に示す実施形態１の対応するフローチャートとの相違点のみを説明する。ステップＳ２２３がステップＳ２０３とステップＳ２０５の間に挿入される。ステップＳ２２３では、現在のフレームが動画フレームであるのか否かが判断される。現在のフレームが動画フレームである場合には（ステップＳ２２３でＹＥＳ）、実施形態１と同様に、ステップＳ２０５に進む。現在のフレームが静止画フレームである場合には（ステップＳ２２３でＮＯ）、ステップＳ２０５及びステップＳ２０７がスキップされる。
【０１３９】
従って、コマ落とし処理が必要であると判断され（ステップＳ２０３でＹＥＳ）、且つ、現在のフレームが静止画フレームであると判断された（ステップＳ２２３でＮＯ）場合には、フォーマット変換処理（ステップＳ２１７）も表示処理（ステップＳ２１９）も行なわれないので、１フレームのコマ落としがされる。また、ステップＳ２０７もスキップされるので、カウンタが３０に初期化されない。従って、次からの入力フレームに対する出力処理では、コマ落とし開始処理が必要でないと判断された後（ステップＳ２０３でＮＯ）、カウンタがゼロであるため（ステップＳ２０９でＮＯ）、入力フレームをそのまま出力フレームとすることとなる（ステップＳ２２１）。従って、単純な１コマ落としが実現され、出力フレーム合成処理（ステップＳ２１１）を省略することができる。
【０１４０】
次に、出力フレーム周波数が入力フレーム周波数よりも高い場合に出力処理部１０７Ｃにより行なわれる出力処理について説明する。
【０１４１】
この処理は、図１１に示すフローチャートにより表される。図４に示す実施形態１の対応するフローチャートとの相違点のみを説明する。ステップＳ２８５がステップＳ２５３とステップＳ２５５の間に挿入される。ステップＳ２８５では、現在のフレームが動画フレームであるのか否かが判断される。現在のフレームが動画フレームである場合には（ステップＳ２８５でＹＥＳ）、実施形態１と同様に、ステップＳ２５５に進む。
【０１４２】
現在のフレームが静止画フレームである場合には（ステップＳ２８５でＮＯ）、入力フレームそのものを出力フレームとして（ステップＳ２８７）、フォーマット変換処理部１２１が、フォーマット変換処理を行い（ステップＳ２８９）、表示処理部１２３が、ステップＳ２８９で得られた信号の表示処理を２度行なう（ステップＳ２９１、ステップＳ２９３）。つまり、ステップＳ２８９で得られた１フレーム分の信号を表示用メモリ１２５に２度書き込む。
【０１４３】
従って、コマ挿入処理が必要であると判断され（ステップＳ２５３でＹＥＳ）、且つ、現在のフレームが静止画フレームであると判断された（ステップＳ２８５でＮＯ）場合には、フォーマット変換処理（ステップＳ２８９）で生成されたフレームが２度表示される（ステップＳ２９１、ステップＳ２９３）ので、１フレームの２度表示がされる。また、ステップＳ２７５がスキップされるので、カウンタが３０に初期化されない。従って、次からの入力フレームに対する出力処理では、コマ挿入開始処理が必要でないと判断された後（ステップＳ２５３でＮＯ）、カウンタがゼロであるため（ステップＳ２５９でＮＯ）、入力フレームをそのまま出力フレームとすることとなる（ステップＳ２８１）。従って、単純な１コマ挿入が実現され、出力フレーム合成処理（ステップＳ２６１）を省略することができる。
【０１４４】
［実施形態４］
実施形態４は、実施形態２を修正することにより、実施形態３の導入部で説明した機能を追加するものである。従って、実施形態４によるシステムの構成及びその動作は、実施形態２と基本的には同一である。そこで、実施形態４の実施形態２と相違する点を中心にして説明をする。
【０１４５】
図１２は、実施形態４による出力処理部１０７Ｄの構成を示す。次に、図６に示す実施形態２による出力処理部１０７Ｂと相違する点のみを説明する。
【０１４６】
第１のＩＰ変換処理部１１１Ｂには、動画素／静止画素判定部１４１が含まれている。なお、動画素／静止画素判定部１４１は、第２のＩＰ変換処理部１１１Ｃに含まれていてもよいし、第１のＩＰ変換処理部１１１Ｂ及び第２のＩＰ変換処理部１１１Ｃにより共用されるものであってもよい。また、動画フレーム／静止画フレーム判定部１４３が追加されている。制御部１３５は、制御部１３５Ｂに変更されている。
【０１４７】
動画素／静止画素判定部１４１及び動画フレーム／静止画フレーム判定部１４３は、実施形態３のものと同様なものであるので、重複する説明を省略する。
【０１４８】
制御部１３５Ｂは、コマ落とし／コマ挿入判定部１１５が、コマ落とし処理又はコマ挿入処理が必要であると判断した時に、更に、現在第１のＩＰ変換処理部１１１Ｂが出力するフレームが動画フレームであるのか静止画フレームであるのかを動画フレーム／静止画フレーム判定部１４３から入力する信号により判断する。
【０１４９】
そして、制御部１３５Ｂは、コマ落とし処理又はコマ挿入処理が現在必要であると判断され、且つ、現在第１のＩＰ変換処理部１１１Ｂが出力するフレームが動画フレームであると判断された場合には、それから複数のフレームに亘り第２のＩＰ変換処理部１１１Ｃが、その動画フレームに対応したコマ落とし処理又はコマ挿入処理を含んだＩＰ変換処理を行なうべきであると判断する。そのために、制御部１３５Ｂは、画像データ読出部１０９Ｂからフォーマット変換部１２１までの間に第２のＩＰ変換処理部１１１Ｃが入るように、第１のスイッチ１３１及び第２のスイッチ１３３を切り換える。そして、第２のＩＰ変換処理部１１１Ｃは、その複数のフレームに亘り、実施形態２で説明したような、動画像フレームに対応したコマ落とし処理又はコマ挿入処理を含んだＩＰ変換処理を行なう。
【０１５０】
他方、制御部１３５Ｂは、コマ落とし処理又はコマ挿入処理が現在必要であると判断され、且つ、現在第１のＩＰ変換処理部１１１Ｂが出力するフレームが静止画フレームであると判断された場合には、第１のＩＰ変換処理部１１１Ｂが静止画フレームに対応したコマ落とし処理又はコマ挿入処理を含んだＩＰ変換処理を行なうべきであると判断する。そのために、制御部１３５Ｂは、画像データ読出部１０９Ｂからフォーマット変換部１２１までの間に第１のＩＰ変換処理部１１１Ｂが入るように、第１のスイッチ１３１及び第２のスイッチ１３３を切り換える。そして、第１のＩＰ変換処理部１１１Ｂは、静止画フレームに対応したコマ落とし処理又はコマ挿入処理を含んだＩＰ変換処理を行なう。但し、表示処理部１２３が、フォーマット変換部１２１から入力した信号を複数回表示するための処理（表示用メモリへの複数回書込み）を行なうことにより、静止画フレームに対応したコマ挿入を実現してもよい。
【０１５１】
また、制御部１３５Ｂは、コマ落とし処理又はコマ挿入処理が現在必要でないと判断された場合には、第１のＩＰ変換処理部１１１Ｂが通常のＩＰ変換処理を行なうべきであると判断する。そのために、制御部１３５Ｂは、画像データ読出部１０９Ｂからフォーマット変換部１２１までの間に第１のＩＰ変換処理部１１１Ｂが入るように、第１のスイッチ１３１及び第２のスイッチ１３３を切り換える。そして、第１のＩＰ変換処理部１１１Ｂは、通常のＩＰ変換処理を行なう。
【０１５２】
次に、出力フレーム周波数が入力フレーム周波数よりも低い場合に出力処理部１０７Ｄにより行なわれる出力処理について説明する。
【０１５３】
この処理は、図１３に示すフローチャートにより表される。図７に示す実施形態１の対応するフローチャートとの相違点のみを説明する。ステップＳ３１９がステップＳ３０１とステップＳ３０５の間に挿入される。ステップＳ３１９では、現在のフレームが動画フレームであるのか否かが判断される。現在のフレームが動画フレームである場合には（ステップＳ３１９でＹＥＳ）、実施形態２と同様に、ステップＳ３０５に進む。現在のフレームが静止画フレームである場合には（ステップＳ３１９でＮＯ）、ステップＳ３０５がスキップされる。
【０１５４】
従って、コマ落とし処理が必要であると判断され（ステップＳ３０１でＹＥＳ）、且つ、現在のフレームが静止画フレームであると判断された（ステップＳ３１９でＮＯ）場合には、フォーマット変換処理（ステップＳ３１３）も表示処理（ステップＳ３１５）も行なわれないので、１フレームのコマ落としがされる。また、ステップＳ３０５もスキップされるので、カウンタが３０に初期化されない。従って、次からの入力フレームに対する出力処理では、コマ落とし開始処理が必要でないと判断された後（ステップＳ３０１でＮＯ）、カウンタがゼロであるため（ステップＳ３０７でＮＯ）、通常のＩＰ変換処理（第１のＩＰ変換処理）が行なわれることとなる（ステップＳ３１７）。従って、単純な１コマ落としが実現され、第２のＩＰ変換処理（ステップＳ３０９）を省略することができる。
【０１５５】
次に、出力フレーム周波数が入力フレーム周波数よりも高い場合に出力処理部１０７Ｄにより行なわれる出力処理について説明する。
【０１５６】
この処理は、図１４に示すフローチャートにより表される。図８に示す実施形態２の対応するフローチャートとの相違点のみを説明する。ステップＳ３７７がステップＳ３５１とステップＳ３５５の間に挿入される。ステップＳ３７７では、現在のフレームが動画フレームであるのか否かが判断される。現在のフレームが動画フレームである場合には（ステップＳ３７７でＹＥＳ）、実施形態２と同様に、ステップＳ３５５に進む。
【０１５７】
現在のフレームが静止画フレームである場合には（ステップＳ３７７でＮＯ）、第１のＩＰ変換処理部１１１Ｂが、通常のＩＰ変換処理を行い（ステップＳ３７９）、フォーマット変換処理部１２１が、フォーマット変換処理を行い（ステップＳ３８１）、表示処理部１２３が、ステップＳ２８９で得られた信号の表示処理を２度行なう（ステップＳ３８３、ステップＳ３８５）。つまり、ステップＳ３８３で得られた１フレーム分の信号を表示用メモリ１２５に２度書き込む。
【０１５８】
従って、コマ挿入処理が必要であると判断され（ステップＳ３５１でＹＥＳ）、且つ、現在のフレームが静止画フレームであると判断された（ステップＳ３７７でＮＯ）場合には、通常のＩＰ変換処理（ステップＳ３７９）で生成されたフレームが２度表示される（ステップＳ３８３、ステップＳ３８５）ので、１フレームの２度表示がされる。また、ステップＳ３５５がスキップされるので、カウンタが３０に初期化されない。従って、次からの入力フレームに対する出力処理では、コマ挿入開始処理が必要でないと判断された後（ステップＳ３５５でＮＯ）、カウンタがゼロであるため（ステップＳ３５７でＮＯ）、第２のＩＰ変換処理（ステップＳ３５９）の代わりに第１のＩＰ変換処理（ステップＳ３７５）が行なわれることとなる。従って、単純な１コマ挿入が実現される。第１のＩＰ変換処理（ステップＳ３７５）を第２のＩＰ変換処理（ステップＳ３５９）よりも演算量が少ないものとすることにより、コマ挿入処理が必要であると判断され（ステップＳ３５１でＹＥＳ）、且つ、現在のフレームが静止画フレームであると判断された（ステップＳ３７７でＮＯ）場合には、コマ挿入処理が必要であると判断され（ステップＳ３５１でＹＥＳ）、且つ、現在のフレームが動画フレームであると判断された（ステップＳ３７７でＹＥＳ）場合に比べ、演算量を減らすことができる。
【０１５９】
［実施形態５］
実施形態１及び実施形態２においては、カウンタの初期値を３０に設定することにより、約３０フレームに亘りコマ落とし処理又はコマ挿入処理を行なうようにしていた。カウンタの初期値を他の値に設定することも可能である。しかし、カウンタの初期値が大きすぎると演算量削減の効果が薄れてしまい、逆に、カウンタの初期値が小さすぎると、動きを滑らかにする効果が薄れてしまう。３０という値は両者を考慮した上で決定した値である。
【０１６０】
出力フレーム周波数が入力フレーム周波数よりも僅かに低い場合には、カウンタの初期値を３０に設定すれば、コマ落とし処理を継続する時間の全体の時間に占める割合を必要な程度に低くすることができる。
【０１６１】
しかし、出力フレーム周波数が入力フレーム周波数よりもかなり低い場合には、或るフレームでコマ落としが要求され、それから始まった一連のフレームに亘るコマ落とし処理が終了する前に、次のコマ落とし要求が発生してしまうことがありうる。このような場合には、現在の一連のフレームに亘るコマ落とし処理を中断して、中断したフレームから始まる一連のフレームに亘る次のコマ落とし処理に入ることとなる。そうすると、それらの間で、出力フレームが不連続となってしまい、動きの滑らかさを失わないという効果が薄れてしまう。
【０１６２】
実施形態５では、このような問題点を解消するものである。そのために、コマ落とし要求の間隔に応じて、カウンタの初期値をダイナミックに変化させる。
【０１６３】
実施形態５のシステムの基本的構成は、実施形態１のものと同様であるので、説明を省略する。
【０１６４】
実施形態５では、図２に示される出力処理が図１５に示される出力処理に変更される。
【０１６５】
図１５に示す「合成カウンタ」は、実施形態１の「カウンタ」に相当するものであり、出力フレーム合成（ステップＳ４０９）で重み付けのために利用される。「合成カウンタ」は、コマ落とし開始処理（ステップＳ４０５）で、ダイナミックに初期化される。
【０１６６】
「Ｎカウンタ」は、大雑把に言えば、コマ落とし要求が生ずるフレームの間隔を反映するものである。
【０１６７】
図１５を参照すると、まず、ＩＰ変換処理部１１１は、ＩＰ変換処理を行なう（ステップＳ４０１）。このＩＰ変換処理の詳細については後述する。
【０１６８】
次に、コマ落とし／コマ挿入判定部１１５は、ＮＴＳＣデコーダ１０１から入力するフィールド同期信号（これは、入力フレーム周波数を有する。）とモニタ１２７から入力するリフレッシュ信号（これは、出力フレーム周波数を有する。）を基に、コマ落とし開始処理開をする必要があるか否かを判断する（ステップＳ４０３）。
【０１６９】
コマ落とし／コマ挿入判定部１１５によりコマ落とし開始処理をする必要があると判断された場合には（ステップＳ４０３でＹＥＳ）、合成処理部１１７は、コマ落とし開始処理（ステップＳ４０５）を行なう。これについては後述する。
【０１７０】
コマ落とし開始処理（ステップＳ４０５）は、実施形態１のステップＳ２０５及びステップＳ２０７から置き換わったものである。
【０１７１】
従って、コマ落とし／コマ挿入判定部１１５によりコマ落とし処理を開始する必要があると判断された場合には（ステップＳ４０３でＹＥＳ）、その入力フレームにおいて、フォーマット変換処理（ステップＳ４１７）及び表示処理（ステップＳ４１９）が省略されるため、出力フレームを１つ減らすことができる。
【０１７２】
コマ落とし／コマ挿入判定部１１５によりコマ落とし開始処理をする必要がないと判断された場合には（ステップＳ４０３でＮＯ）、合成処理部１１７は、「合成カウンタ」の値がゼロを超えるか否かを判断する（ステップＳ４０７）。
【０１７３】
「合成カウンタ」の値がゼロを超える場合には（ステップＳ４０７でＹＥＳ）、これは、現在のフレームがコマ落とし処理をするべき複数のフレームに属することを意味するので、コマ落とし処理をするために、ステップＳ４０９に進む。
【０１７４】
他方、「合成カウンタ」の値がゼロを超えない場合には（ステップＳ４０７でＮＯ）、これは、現在のフレームがコマ落とし処理をするべき複数のフレームに属さないこと（すなわち、前回のコマ落とし処理が既に終了していること）を意味するので、コマ落とし処理を省略するために、ステップＳ４２１に進む。
【０１７５】
ステップＳ４０９では、合成処理部１１７は、入力フレームと一時保存フレームを基に、出力フレームを合成する。入力フレームとは、現在の出力処理におけるＩＰ変換処理（ステップＳ４０１）で生成された入力フレームのことであり、簡単に言えば、現在の入力フレームである。一時保存フレームとは、現在の出力処理よりも前の出力処理において、ＩＰ変換処理（ステップＳ４０１）で生成され、ステップＳ４０５（より詳細には、ステップＳ４０５−１３）又はＳ４１１で一時保存メモリ１１９に一時保存された入力フレームのことであり、簡単に言えば、１つ前の入力フレームである。
【０１７６】
合成においては、例えば、出力フレームｍの第ｉ行第ｊ列にある各画素ｙ（ｍ、ｉ、ｊ）を下式に従って算出する。
【０１７７】
ｙ（ｍ、ｉ、ｊ）＝ｗ×ｘ（ｎ−１、ｉ、ｊ）＋（１−ｗ）×ｘ（ｎ、ｉ、ｊ）
ここで、ｗは、重みを表し、ｘ（ｎ−１、ｉ、ｊ）は、保存フレームの第ｉ行第ｊ列にある画素を表し、ｘ（ｎ、ｉ、ｊ）は、入力フレームの第ｉ行第ｊ列にある画素を表す。また、ｗは、下式に従って算出されたものである。下式における「合成カウンタ初期値」については後述する。
【０１７８】
ｗ＝合成カウンタ／合成カウンタ初期値
ステップＳ４０９の次に、合成処理部１１７は、ステップＳ４０１で得られた現在の入力フレームを一時保存メモリ１１９に格納し（ステップＳ４１１）、「合成カウンタ」を１だけ減らし（ステップＳ４１３）、「Ｎカウンタ」を１だけ増やす（ステップＳ４１５）。
【０１７９】
他方、ステップＳ４２１では、合成処理部１１７は、入力フレームそのものを出力フレームとする。
【０１８０】
ステップＳ４１５又はステップＳ４２１の次に、フォーマット変換処理部１２１が、フォーマット変換処理を行い（ステップＳ４１７）、表示処理部１２３が、表示処理を行なう（ステップＳ４１９）。
【０１８１】
次に、ステップＳ４０５の詳細について図１６を参照して説明する。
【０１８２】
図１６に示す「合成カウンタ初期値」は、その字が示す如く「合成カウンタ」の初期値として利用される値である。また、これは、ダイナミックに変化する。
【０１８３】
まず、「Ｎカウンタ」が３０以上であるか否かを判断する（ステップＳ４０５−１）。ここで、３０は、実施形態１の「カウンタ」の初期値が３０であることに対応して、例としてあげられた数字であり、「Ｎカウンタ」を他の値と比較してもよい。但し、ステップＳ４０５−１で「Ｎカウンタ」と比較される値は、一連のコマ落とし処理が継続されるフレーム数の最大値を規定する。
【０１８４】
「Ｎカウンタ」が３０以上である場合には（ステップＳ４０５−１でＹＥＳ）、数値３０を「合成カウンタ初期値」に代入する（ステップＳ４０５−３）。ここでの数値３０は、ステップＳ４０５−１での３０に合わせたものであり、ステップＳ４０５−１での３０を別の値に変えた場合には、数値３０もその値に変化する。
【０１８５】
「Ｎカウンタ」が３０以上でない場合には（ステップＳ４０５−１でＮＯ）、「Ｎカウンタ」が「合成カウンタ初期値」よりも大きいか否かを判断する（ステップＳ４０５−５）。
【０１８６】
「Ｎカウンタ」が「合成カウンタ初期値」よりも大きい場合には（ステップＳ４０５−５でＹＥＳ）、「合成カウンタ初期値」を１だけ増やす（ステップＳ４０５−７）。
【０１８７】
「Ｎカウンタ」が「合成カウンタ初期値」よりも大きくない場合には（ステップＳ４０５−５でＮＯ）、「Ｎカウンタ」が「合成カウンタ初期値」よりも小さいか否かを判断する（ステップＳ４０５−９）。
【０１８８】
「Ｎカウンタ」が「合成カウンタ初期値」よりも小さい場合には（ステップＳ４０５−９でＹＥＳ）、「Ｎカウンタ」の値から１だけ引いて得られる値を「合成カウンタ初期値」に代入する（ステップＳ４０５−１１）。
【０１８９】
「Ｎカウンタ」が「合成カウンタ初期値」よりも小さくない場合（ステップＳ４０５−９でＮＯ）は、「Ｎカウンタ」が３０以下であり、且つ、「Ｎカウンタ」と「合成カウンタ初期値」が等しい場合を意味する。
【０１９０】
ステップＳ４０５−１、ステップＳ４０５−１、ステップＳ４０５−１の次には、ステップＳ４０５−１３に進む。また、ステップＳ４０５−９でＮＯである場合にもステップＳ４０５−１３に進む。
【０１９１】
ステップＳ４０５−１３では、合成処理部１１７は、ステップＳ４０１で得られた現在の入力フレームを一時保存メモリ１１９に格納する。
【０１９２】
次に、「合成カウンタ初期値」を「合成カウンタ」に代入する（ステップＳ４０５−１５）。
【０１９３】
最後に、「Ｎカウンタ」をゼロで初期化する（ステップＳ４０５−１７）。
【０１９４】
図１７に、動作例を示す。この動作例は、１０フレーム毎にコマ落とし処理が必要であると判断され、これに従って、最終的には「合成カウンタ初期値」が９に収束し、「合成カウンタ」は、１０フレームに亘り９から０までを１ずつカウントすることとなる。そして、１０フレームに１フレームの割合でコマ落としが連続的に行なわれることとなる。
【０１９５】
図１７を参照すると、第４０番目の入力フレームにおいて、コマ落とし処理が必要であると判断される。「Ｎカウンタ」＞３０である（ステップＳ４０５−１でＹＥＳ）ため、「合成カウンタ」は、３０に初期化される。
【０１９６】
第５０番目の入力フレームにおいて、コマ落とし処理が必要であると判断される。「合成カウンタ初期値」は３０であり、「Ｎカウンタ」は９である。従って、「Ｎカウンタ」＞３０ではなく（ステップＳ４０５−１でＮＯ）、「Ｎカウンタ」＞「合成カウンタ初期値」ではなく（ステップＳ４０５−５でＮＯ）、「Ｎカウンタ」＜「合成カウンタ初期値」である（ステップＳ４０５−９でＹＥＳ）。従って、「合成カウンタ初期値」は、「Ｎカウンタ」−１＝９−１＝８に初期化される（ステップＳ４０５−１１）。
【０１９７】
第６０番目の入力フレームにおいて、コマ落とし処理が必要であると判断される。「合成カウンタ初期値」は８であり、「Ｎカウンタ」は９である。従って、「Ｎカウンタ」＞３０ではなく（ステップＳ４０５−１でＮＯ）、「Ｎカウンタ」＞「合成カウンタ初期値」である（ステップＳ４０５−５でＹＥＳ）。従って、「合成カウンタ初期値」は、１だけ増加して９となる（ステップＳ４０５−７）。
【０１９８】
第７０番目の入力フレームにおいて、コマ落とし処理が必要であると判断される。「合成カウンタ初期値」は９であり、「Ｎカウンタ」は９である。従って、「Ｎカウンタ」＞３０ではなく（ステップＳ４０５−１でＮＯ）、「Ｎカウンタ」＞「合成カウンタ初期値」ではなく（ステップＳ４０５−５でＮＯ）、「Ｎカウンタ」＜「合成カウンタ初期値」でない（ステップＳ４０５−９でＮＯ）。従って、「合成カウンタ初期値」は９のままである。この時から、定常状態に入っている。
【０１９９】
第８０番目の入力フレームにおける動作は、第７０番目の入力フレームにおける動作と同様である。
【０２００】
図１８に図１７に示す値のうち、「Ｎカウンタ」（菱形で示す）、「合成カウンタ初期値」（四角で示す）及び「合成カウンタ」（△で示す）の変化の様子を示す。「Ｎカウンタ」は、コマ落とし要求がある度にリセットされ、その後、１フレーム毎に１増える。「合成カウンタ初期値」は、最初は変動するが、最終的に９に収束する。「合成カウンタ」は、コマ落とし要求がある度に、初期化され、１フレーム毎に１減る。収束状態では、「合成カウンタ」は、コマ落とし要求がある度に、収束している「合成カウンタ初期値」に初期化され、１フレーム毎に１減る。
【０２０１】
上述した動作例では、「合成カウンタ」の初期値を調整することにより、「合成カウンタ」の初期値に対応した数のフレームに亘るコマ落とし処理が終了する前に、次のコマ落とし処理が開始することを避けることができる。
【０２０２】
しかし、このように「合成カウンタ」の初期値を調整した場合、２つの一連のコマ落とし処理の境界で画面の滑らかさが失われることを避けることができるが、演算量を減らすことができない。
【０２０３】
これを解決して、演算量を減らすためには、例えば、ステップＳ４０５−９でＮＯと判断されることが所定回数以上続いた場合には、変数である「合成カウンタ初期値」が安定し、これ以上変化することはないと予測し、ステップＳ４０５−１５で、「合成カウンタ初期値」を「合成カウンタ」に代入する代わりに、「合成カウンタ初期値」に、コマ落とし処理をするフレームの割合を示す係数（ゼロを超え、１未満の数）を乗じて得た値を「合成カウンタ」に代入するようにしてもよい。また、この係数を、コンピュータの負荷状況に応じて変化させてもよい。安定化の判断のためには、例えば、安定度を示す変数を導入し、ステップＳ４０５−３、ステップＳ４０５−７、ステップＳ４０５−１１で、この変数をリセットし、ステップＳ４０５−９でＮＯであった場合に、この変数を増やす。ステップＳ４０５−１５では、この変数が所定値以上である場合に、「合成カウンタ初期値」に、コマ落とし処理をするフレームの割合を示す係数（ゼロを超え、１未満の数）を乗じて得た値を「合成カウンタ」に代入する。
【０２０４】
コマ落とし開始処理の度に「合成カウンタ初期値」が「Ｎカウンタ」とほぼ等しくなるような状態に入った時には、安定状態に入っている。従って、このような安定状態に入ったならば、ステップＳ４０５−１５で、「合成カウンタ初期値」を「合成カウンタ」に代入する代わりに、「合成カウンタ初期値」に、コマ落とし処理をするフレームの全体のフレームに占める割合を示す係数Ｒ（ゼロを超え、１未満の数、例えば、０．３）を乗じて得た値を「合成カウンタ」に代入するようにしてもよい。また、この係数を、コンピュータの負荷状況に応じて変化させてもよい。安定状態を判定するためには、例えば、安定度を示す変数「安定度カウンタ」を導入する。
【０２０５】
例えば、図１６に示すようなコマ落とし開始処理を図１９に示すようなものに変更する。
【０２０６】
ステップＳ４０５−３の次のステップＳ４０５−２１で「安定度カウンタ」をゼロにリセットする。
【０２０７】
また、ステップＳ４０５−７又はステップＳ４０５−１１の次のステップＳ４０５−２３で、
「Ｎカウンタ」−Ａ＜「合成カウンタ」＜「Ｎカウンタ」＋Ａ
が成立しているか否かを判断する。成立していない場合には（ステップＳ４０５−２３でＮＯ）、「安定度カウンタ」をゼロにリセットする（ステップＳ４０５−２５）。成立している場合には（ステップＳ４０５−２３でＹＥＳ）、「安定度カウンタ」を１だけ増加させる（ステップＳ４０５−２７）。
【０２０８】
こうすることにより、安定状態に入った場合にのみ、ステップＳ４０５−２７が連続して実行され、「安定度カウンタ」が増加し続けることとなる。なお、ステップＳ４０５−２３で利用するＡは、ゼロでもよいが、揺らぎを考慮して、１又は２程度の値をとってもよい。
【０２０９】
ステップＳ４０５−１５に入る前に、ステップＳ４０５−２９を設け、ここで、「安定度カウンタ」がＭを超えるか否かを判断する。
【０２１０】
超えない場合には（ステップＳ４０５−２９でＮＯ）、安定状態に入っていないので、図１６の場合と同様に、「合成カウンタ初期値」を「合成カウンタ」に代入する（ステップＳ４０５−１５）。
【０２１１】
超える場合には（ステップＳ４０５−２９でＹＥＳ）、安定状態に入っているので、図１６の場合と異なり、上述したように、「合成カウンタ初期値」に、コマ落とし処理をするフレームの全体のフレームに占める割合を示す係数Ｒ（ゼロを超え、１未満の数、例えば、０．３）を乗じて得た値を「合成カウンタ」に代入する（ステップＳ４０５−３１）。
【０２１２】
次に、「安定度カウンタ」が増加し続けることを避けるために、「安定度カウンタ」をＭに初期化する（ステップＳ４０５−３３）。
【０２１３】
また、図１６のコマ落とし開始処理の代わりに図１９のコマ落とし開始処理をする場合には、図１５のステップＳ４０９で利用する重みを下式に従って算出する。
【０２１４】
ｗ＝合成カウンタ／（Ｒ×合成カウンタ初期値）
［通常のＩＰ変換処理］
次に、ＩＰ変換処理部１１１又は第１のＩＰ変換処理部１１１Ｂの構成及びこれが行なう通常のＩＰ変換処理（コマ落とし処理及びコマ挿入処理を含まないＩＰ変換処理）について説明する。
【０２１５】
図２０は、ＩＰ変換処理部１１１又は第１のＩＰ変換処理部１１１Ｂ及びその周辺部の構成を示すブロック図である。
【０２１６】
第１のフィールド・メモリ５０１−１は、処理対象となっているフィールドの１つ先のフィールドの画像データを格納する。第２のフィールド・メモリ５０１−２は、処理対象となっているフィールドの画像データを格納する。第３のフィールド・メモリ５０１−３は、処理対象となっているフィールドの１つ前のフィールドの画像データを格納する。
【０２１７】
なお、第１のフィールド・メモリ５０１−１乃至第３のフィールド・メモリ５０１−３は、図１に示すフレームバッファ群１０５又は図６に示すフレームバッファ群１０５Ｂに含まれているものであり、２つのフィールド・メモリが１つのフレームバッファに対応する。また、図２０では、図１に示す画像データ読出部１０９又は図６に示す画像データ読出部１０９Ｂ及び第１のスイッチ１３１が省略されている。
【０２１８】
画像データ書込部１０３は、第１乃至第３のフィールド・メモリ５０１−１、５０１−２及び５０１−３に画像データを書き込む。なお、第１乃至第３のフィールド・メモリ５０１−１、５０１−２及び５０１−３をリング・バッファ構成とし、循環的に、３つのフィールドの画像データをこれらのフィールド・メモリに格納するようにしても良い。
【０２１９】
動画補間画素生成部５０５は、第２のフィールド・メモリ５０１−２に格納されている画像データを基に、動画補間画素を生成する。
【０２２０】
動画補間画素生成部５０５は、基本的には、例えば、現在処理の対象となっているフィールドの番号をｎ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の垂直方向位置をｉ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の水平方向位置をｊとした場合、式（１）に従って、動画補間画素Ａ（ｎ，ｉ，ｊ）を生成する。ここで、ｉは、実在する走査線と補間するべき走査線とを合わせて数えた場合の位置である。
【０２２１】
【数１】
2007166530.tif 000003
【０２２２】
ここで、ｘ（ｎ，ｉ−１，ｊ）は、処理の対象となっているフィールドの処理の対象となっている画素の１つ上の画素の値であり、ｘ（ｎ，ｉ＋１，ｊ）は、処理の対象となっているフィールドの処理の対象となっている画素の１つ下の画素の値である。上記では、これらの２つの画素の値の平均値を処理の対象となっている画素の値としているが、これらの２つの画素のうちの１つの画素の値を処理の対象となっている画素の値としてもよい。また、処理の対象となっているフィールドの画素のうちの処理の対象となっている画素の所定の近傍の画素の値の加重平均を処理の対象となっている画素の値としてもよい。
【０２２３】
静止画補間画素生成部５０７は、第１のフィールド・メモリ５０１−１に格納されている画素データ及び第３のフィールド・メモリ５０１−３に格納されている画素データを基に、静止画画素を生成する。例えば、現在処理の対象となっているフィールドの番号をｎ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の垂直方向位置をｉ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の水平方向位置をｊとした場合、式（２）に従って、動画補間画素Ｂ（ｎ，ｉ，ｊ）を生成する。
【０２２４】
【数２】
2007166530.tif 000004
【０２２５】
ここで、ｘ（ｎ−１，ｉ，ｊ）は、処理の対象となっているフィールドの１つ前のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値であり、ｘ（ｎ＋１，ｉ，ｊ）は、処理の対象となっているフィールドの１つ後のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値である。上記では、これらの２つの画素の値の平均値を処理の対象となっている画素の値としているが、これらの２つの画素のうちの１つの画素の値を処理の対象となっている画素の値としてもよい。また、処理の対象となっているフィールドの近傍のフィールドの画素のうちの処理の対象となっている画素と同一の位置にある画素の値の加重平均を処理の対象となっている画素の値としてもよい。
【０２２６】
差分計算部５０９は、処理の対象となっているフィールドの処理の対象となっている画素についての差分Ｃ（ｎ，ｉ，ｊ）を式（３）に従って求める。
【０２２７】
【数３】
2007166530.tif 000005
【０２２８】
ここで、ｘ（ｎ−１，ｉ，ｊ）は、処理の対象となっているフィールドの１つ前のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値であり、ｘ（ｎ＋１，ｉ，ｊ）は、処理の対象となっているフィールドの１つ後のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値である。差分Ｃ（ｎ，ｉ，ｊ）は、動き量の基本となる。
【０２２９】
差分補正部５１１は、式（４）に従って、Ｃを補正することにより、補正された差分Ｄ（ｎ，ｉ，ｊ）を求める。
【０２３０】
【数４】
2007166530.tif 000006
【０２３１】
ここで、Δｃの値は、ノイズのレベル等により決定され、補正値保持部５１３に格納されている。
【０２３２】
差分累積部５１５は、累積動き量メモリ５１７に格納されている累積動き量ｍ（ｉ，ｊ）を式（５）に従って更新する。
【０２３３】
【数５】
2007166530.tif 000007
【０２３４】
ここで、ＴＨの値は、視覚特性等により決定され、しきい値保持部５１９に格納されている。ＴＨの値は、例えば、１６である。
【０２３５】
上式に従って、累積動き量ｍ（ｉ，ｊ）を計算することにより、あるフィールドである量の動きが検出された場合には、そのフィールドでは、累積動き量ｍ（ｉ，ｊ）は、その前のフィールドでの累積動き量にその動きの量を加算してから１引いた値又は、動き量が大きい場合には、しきい値ＴＨとなり、それから１フィールド経過する度に１ずつ減少する。こうすることにより、動き検出は、尾を引くこととなる。これにより、動きがあった後に動画部が間違って静止画部であると判断される可能性を低くすることができる。動画部が間違って静止画部であると判断された場合には、動画部として正しく処理された時に算出される補間値とは全く異なった補間値が算出され、視覚上問題となる。一方、静止画部が間違って動画部であると判断された場合には、解像度が落ちるだけであり、視覚上問題とはならない。特に、実際に動きが検出された部分の周辺の静止画部は、動画部であると間違って判断されたとしても、その部分の解像度の低下は実際に動きがある部分によるマスキング効果により視覚されない。従って、式（５）を導入して、動画部が間違って静止画部と判断される可能性を低くすることの長所は、静止画部が間違って動画部と判断される可能性が増える欠点を上回るので、式（５）を導入することは、全体として、画質改善に役立つ。また、文字が固定されているテロップ部等の多くの静止画部は、その部分から動きが検出されることがないので、式（５）を導入しても、間違って、動画部であると判断されることはない。
【０２３６】
動き量計算部５２１は、式（６）に従って動き量Ｍ（ｉ，ｊ）を算出する。
【０２３７】
【数６】
2007166530.tif 000008
【０２３８】
合成補間画素生成部５２３は、式（７）に従って合成補間画素ｘ’（ｎ，ｉ，ｊ）を計算する。
【０２３９】
【数７】
2007166530.tif 000009
【０２４０】
選択部５２５は、ライン毎に実在画素ｘ（ｎ，ｉ，ｊ）と補間画素ｘ’（ｎ，ｉ，ｊ）を切り換えて、プログレッシブ走査の画像データを出力する。
【０２４１】
なお、図２０にその構成を示すＩＰ変換処理部１０１は、ハードウェアによって実現することもできるが、コンピュータを図２０にその構成を示すＩＰ変換処理部１０１として機能させるためのプログラムをコンピュータが記録媒体から読み込んで実行することによっても実現することができる。
【０２４２】
次に、式（６）に従って動き量Ｍ（ｉ，ｊ）を計算することの効果について説明する。
【０２４３】
図２１に示すように、白い平坦な背景上を黒い縦線が右に移動する場合を想定する。また、考察を容易にするために、動き累積量ｍ（ｉ，ｊ）を式（８）に従って計算するものとする。
【０２４４】
【数８】
2007166530.tif 000010
【０２４５】
そうすると、式（６）を用いずに、仮に、式（９）に従って、動き量Ｍ（ｉ，ｊ）を計算することとすると、図２１に示すように、動きが検出されずに、静止画補間画素により補間が行われることとなり、コーミングが発生する。
【０２４６】
【数９】
2007166530.tif 000011
【０２４７】
すなわち、図２１において、四角の画素は元々ある画素であり、丸の画素は補完するべき画素である。例えば、画素１３４と画素３３４との差分の絶対値が画素２３４の動き量となるが、この値はゼロであるため、画素２３４は、静止画画素であると間違って判断される。そうすると、画素１３４と画素３３４の平均値が画素２３４の補間値となり、画素２３４は白となってしまう。画素２１４、２５４についても同様である。そうすると、画素２２４、２４４、２６４が正しく黒であるのに対し、画素２１４、２３４、２５４は間違って白となってしまい、コーミングが発生する。
【０２４８】
一方、本発明に従って、式（６）に従って、動き量Ｍ（ｉ，ｊ）を計算することとすると、図２２に示すように、正しく動きが検出され、動画補間画素により補間が行われることとなり、コーミングが発生しない。
【０２４９】
すなわち、図２２において、図２１の場合と同様に、四角の画素は元々ある画素であり、丸の画素は補完するべき画素である。例えば、画素１３４と画素３３４との差分の絶対値に画素０４４と画素２４４との差分の絶対値の和としきい値ＴＨのうちの大きい方が画素２３４の動き量となるが、この大きい方の値はしきい値ＴＨであるため、画素２３４は、動画画素であると正しく判断される。そうすると、画素２２４と画素２４４の平均値が画素２３４の補間値となり、画素２３４は黒となる。画素２１４、２５４についても同様である。そうすると、画素２２４、２４４、２６４が正しく黒であり、且つ、画素２１４、２３４、２５４も正しく黒であるため、コーミングは発生しない。
【０２５０】
このように、式（６）に従って動き量Ｍ（ｉ，ｊ）を計算することにより、動画画素が間違って静止画画素であると判断されることを回避することができる。
【０２５１】
また、式（６）において、番号ｎに対応した入力フィールドが偶数フィールドである場合には、ｍ（ｉ，ｊ）は、偶数フィールドから検出された動き量であり、ｍ（ｉ＋１、ｊ）は、奇数フィールドから検出された動き量である。同様に、式（６）において、番号ｎに対応した入力フィールドが奇数フィールドである場合には、ｍ（ｉ，ｊ）は、奇数フィールドから検出された動き量であり、ｍ（ｉ＋１、ｊ）は、偶数フィールドから検出された動き量である。すなわち、偶数フィールドと奇数フィールドのうちの一方のフィールドから検出することができなかった動きを他方のフィールドから検出することができる場合があることを利用して動き量Ｍ（ｉ、ｊ）を用いることとしている。
【０２５２】
次に、図２０にその構成を示すＩＰ変換処理部１０１により行われるインターレス／プログレッシブ変換方法について説明する。
【０２５３】
図２３を参照すると、まず、動画補間画素生成部５０５は、式（１）に従って、動画補間画素を生成する（ステップＳ５８１）。次に、静止画補間画素生成部５０７は、式（２）に従って、静止画補間画素を生成する（ステップＳ５８３）。次に、差分計算部３０９は、式（３）に従って、差分を計算する（ステップＳ５８５）。次に、差分補正部５１１は、式（４）に従って、差分を補正する（ステップＳ５８７）。次に、差分累積部５１５は、式（５）に従って、累積動き量を更新する（ステップＳ５８９）。次に、動き量計算部５２１は、式（６）に従って、動き量を計算する（ステップＳ５９１）。次に、合成補間画素生成部５２３は、式（７）に従って、合成補間画素を生成する（ステップＳ５９５）。
【０２５４】
なお、ＩＰ変換処理部１１１又は第１のＩＰ変換処理部１１１Ｂは、他の構成のものであってもよい。
【０２５５】
［コマ落とし処理又はコマ挿入処理を含んだＩＰ変換処理］
次に、第２のＩＰ変換処理部１１１Ｃの構成及びこれが行なうコマ落とし処理及びコマ挿入処理を含んだＩＰ変換処理について説明する。
【０２５６】
図１７を参照すると、出力フレームの列には、各出力フレームの時間的な位置が、入力フレームの番号を基準として、示されている。コマ落とし処理及びコマ挿入処理を含んだＩＰ変換処理では、複数の入力フィールドのデータを利用して、これらの位置にある出力フレームを合成する。
【０２５７】
図２４及び図２５を参照して、この原理について説明する。図２４及び図２５は、時間軸を横にとり、画面の垂直軸を縦にとって、入力フィールドｆ（ｎ−１）、ｆ（ｎ）、ｆ（ｎ＋１）、ｆ（ｎ＋２）と出力フレームＦ（ｍ）の或る水平方向位置における断面を示している。また、出力フレームにおいて二重丸で示しているのは、現在生成しようとしている画素（対象画素）ｙ（ｍ、ｉ、ｊ）である。ここで、ｉは、フレーム内でのライン番号であり、ｊはライン内での画素番号である。また、入力フィールドｆ（ｎ）は、出力フレームＦ（ｍ）の直前のフィールドであり、入力フィールドｆ（ｎ＋１）は、入力フィールドｆ（ｎ）の直後の入力フィールドである。
【０２５８】
図２４（ａ）は、入力フィールドｆ（ｎ）に対象画素ｙ（ｍ、ｉ、ｊ）と空間的に同一位置の画素ｘ（ｎ、ｉ、ｊ）がある場合において、対象画素ｙ（ｍ、ｉ、ｊ）についての動画補間画素ｙｍ（ｍ、ｉ、ｊ）を生成する方法の一例を示している。入力フィールドｆ（ｎ）において、対象画素ｙ（ｍ、ｉ、ｊ）に空間的に最も近い画素は画素ｘ（ｎ、ｉ、ｊ）であり、入力フィールドｆ（ｎ＋１）において、対象画素ｙ（ｍ、ｉ、ｊ）に空間的に最も近い画素はｘ（ｎ＋１、ｉ−１、ｊ）とｘ（ｎ＋１、ｉ＋１、ｊ）である。
【０２５９】
出力フレームＦ（ｍ）の時刻をｔｏｕｔ、入力フィールドｆ（ｎ）の時刻をｔｉｎ１、入力フィールドｆ（ｎ＋１）の時刻をｔｉｎ２とした場合、動画補間画素ｙｍ（ｍ、ｉ、ｊ）を生成するための加重加算における重みｗ１、ｗ２を下に示す式（１２）により算出する。
【０２６０】
【数１０】
2007166530.tif 000012
【０２６１】
そして、動画補間画素ｙｍ（ｍ、ｉ、ｊ）を下に示す式（１３）により算出する。
【０２６２】
【数１１】
2007166530.tif 000013
【０２６３】
但し、実施形態２との対応関係を説明すると、コマ落とし処理では、入力フィールドｆ（ｎ）は、実施形態２における１つ前の入力フィールドであり、入力フィールドｆ（ｎ＋１）は、実施形態２における現在の入力フィールドであり、ｗ１は、実施形態２における重みｗであり、ｗ２は、実施形態３における（１−ｗ）である。ここで、重みｗは、カウンタ／３０である。
【０２６４】
また、コマ挿入処理では、入力フィールドｆ（ｎ）は、実施形態２における１つ前の入力フィールドであり、入力フィールドｆ（ｎ＋１）は、実施形態２における現在の入力フィールドであり、ｗ１は、実施形態２における（１−ｗ）であり、ｗ２は、実施形態３における重みｗである。
【０２６５】
すなわち、実施形態２では、カウンタを利用して出力フレームの位置を近似的に表し、この出力フレームの位置の近似値を利用して、重みｗ１、ｗ２を近似的に表している。
【０２６６】
上記の対応関係は、下記の説明にも当てはまる。
【０２６７】
但し、動画補間画素ｙｍ（ｍ、ｉ、ｊ）を下に示す式（１４）又は式（１５）により算出してもよい。
【０２６８】
【数１２】
2007166530.tif 000014
【０２６９】
【数１３】
2007166530.tif 000015
【０２７０】
また、重みｗ１＞ｗ２の場合に、式（１４）を利用し、そうでない場合に、式（１５）を利用するようにしてもよい。
【０２７１】
また、式（１３）、式（１４）、式（１５）に現れる入力画素以外の入力画素（例えば、フィールドｆ（ｎ）やｆ（ｎ＋１）の位置（ｉ、ｊ）の近傍の画素）も用いて動画補間画素ｙｍ（ｍ、ｉ、ｊ）を算出してもよい。
【０２７２】
図２４（ｂ）は、入力フィールドｆ（ｎ＋１）に対象画素ｙ（ｍ、ｉ’、ｊ）と空間的に同一位置の画素ｘ（ｎ、ｉ’、ｊ）がある場合において、対象画素ｙ（ｍ、ｉ’、ｊ）についての動画補間画素ｙｍ（ｍ、ｉ’、ｊ）を生成する方法の一例を示している。入力フィールドｆ（ｎ＋１）において、対象画素ｙ（ｍ、ｉ’、ｊ）に空間的に最も近い画素は画素ｘ（ｎ＋１、ｉ’、ｊ）であり、入力フィールドｆ（ｎ）において、対象画素ｙ（ｍ、ｉ’、ｊ）に空間的に最も近い画素はｘ（ｎ、ｉ’−１、ｊ）とｘ（ｎ、ｉ’＋１、ｊ）である。
【０２７３】
出力フレームＦ（ｍ）の時刻をｔｏｕｔ、入力フィールドｆ（ｎ）の時刻をｔｉｎ１、入力フィールドｆ（ｎ＋１）の時刻をｔｉｎ２とした場合、動画補間画素ｙｍ（ｍ、ｉ’、ｊ）を生成するための加重加算における重みｗ１、ｗ２を上に示す式（１２）により算出する。
【０２７４】
そして、動画補間画素ｙｍ（ｍ、ｉ’、ｊ）を下に示す式（１６）により算出する。
【０２７５】
【数１４】
2007166530.tif 000016
【０２７６】
但し、動画補間画素ｙｍ（ｍ、ｉ’、ｊ）を下に示す式（１７）又は式（１８）により算出してもよい。
【０２７７】
【数１５】
2007166530.tif 000017
【０２７８】
【数１６】
2007166530.tif 000018
【０２７９】
また、重みｗ１＞ｗ２の場合に、式（１７）を利用し、そうでない場合に、式（１８）を利用するようにしてもよい。
【０２８０】
また、式（１６）、式（１７）、式（１８）に現れる入力画素以外の入力画素（例えば、フィールドｆ（ｎ）やｆ（ｎ＋１）の位置（ｉ、ｊ）の近傍の画素）も用いて動画補間画素ｙｍ（ｍ、ｉ’、ｊ）を算出してもよい。
【０２８１】
図２５（ａ）は、入力フィールドｆ（ｎ）に対象画素ｙ（ｍ、ｉ、ｊ）と空間的に同一位置の画素ｘ（ｎ、ｉ、ｊ）がある場合において、対象画素ｙ（ｍ、ｉ、ｊ）についての静止画補間画素ｙｓ（ｍ、ｉ、ｊ）を生成する方法の一例を示している。基本的には、静止画補間画素ｙｓ（ｍ、ｉ、ｊ）は、出力フレームＦ（ｍ）の近くにある１以上の入力フレームの画素のうち、静止画補間画素ｙｓ（ｍ、ｉ、ｊ）と空間的に同一位置にある画素を基にして生成する。入力フィールドｆ（ｎ）において、空間的に対象画素ｙ（ｍ、ｉ、ｊ）と同一の位置にある画素は画素ｘ（ｎ、ｉ、ｊ）であり、入力フィールドｆ（ｎ＋２）において、空間的に対象画素ｙ（ｍ、ｉ、ｊ）と同一位置にある画素はｘ（ｎ＋２、ｉ、ｊ）である。
【０２８２】
出力フレームＦ（ｍ）の時刻をｔｏｕｔ、入力フィールドｆ（ｎ）の時刻をｔｉｎ１、入力フィールドｆ（ｎ＋２）の時刻をｔｉｎ２とした場合、静止画補間画素ｙｓ（ｍ、ｉ、ｊ）を生成するための加重加算における重みｗ１、ｗ２を上に示す式（１２）により算出する。
【０２８３】
そして、静止画補間画素ｙｓ（ｍ、ｉ、ｊ）を下に示す式（１９）により算出する。
【０２８４】
【数１７】
2007166530.tif 000019
【０２８５】
但し、静止画補間画素ｙｓ（ｍ、ｉ、ｊ）を下に示す式（２０）又は式（２１）により算出してもよい。
【０２８６】
【数１８】
2007166530.tif 000020
【０２８７】
【数１９】
2007166530.tif 000021
【０２８８】
また、重みｗ１＞ｗ２の場合に、式（２０）を利用し、そうでない場合に、式（２１）を利用するようにしてもよい。
【０２８９】
また、式（１９）、式（２０）、式（２１）に現れる入力画素以外の入力画素（例えば、ｘ（ｎ−２、ｉ、ｊ）、ｘ（ｎ＋４、ｉ、ｊ））も用いて静止画補間画素ｙｓ（ｍ、ｉ、ｊ）を算出してもよい。
【０２９０】
図２５（ｂ）は、入力フィールドｆ（ｎ＋１）に対象画素ｙ（ｍ、ｉ’、ｊ）と空間的に同一位置の画素ｘ（ｎ＋１、ｉ’、ｊ）がある場合において、対象画素ｙ（ｍ、ｉ’、ｊ）についての静止画補間画素ｙｓ（ｍ、ｉ’、ｊ）を生成する方法の一例を示している。基本的には、静止画補間画素ｙｓ（ｍ、ｉ’、ｊ）は、出力フレームＦ（ｍ）の近くにある１以上の入力フレームの画素のうち、静止画補間画素ｙｓ（ｍ、ｉ’、ｊ）と空間的に同一位置にある画素を基にして生成する。入力フィールドｆ（ｎ−１）において、空間的に対象画素ｙ（ｍ、ｉ’、ｊ）と同一の位置にある画素は画素ｘ（ｎ−１、ｉ’、ｊ）であり、入力フィールドｆ（ｎ＋１）において、空間的に対象画素ｙ（ｍ、ｉ’、ｊ）と同一位置にある画素はｘ（ｎ＋１、ｉ’、ｊ）である。
【０２９１】
出力フレームＦ（ｍ）の時刻をｔｏｕｔ、入力フィールドｆ（ｎ−１）の時刻をｔｉｎ１、入力フィールドｆ（ｎ＋１）の時刻をｔｉｎ２とした場合、静止画補間画素ｙｓ（ｍ、ｉ’、ｊ）を生成するための加重加算における重みｗ１、ｗ２を上に示す式（１２）により算出する。
【０２９２】
そして、静止画補間画素ｙｓ（ｍ、ｉ’、ｊ）を下に示す式（２２）により算出する。
【０２９３】
【数２０】
2007166530.tif 000022
【０２９４】
但し、静止画補間画素ｙｓ（ｍ、ｉ’、ｊ）を下に示す式（２３）又は式（２４）により算出してもよい。
【０２９５】
【数２１】
2007166530.tif 000023
【０２９６】
【数２２】
2007166530.tif 000024
【０２９７】
また、重みｗ１＞ｗ２の場合に、式（２３）を利用し、そうでない場合に、式（２４）を利用するようにしてもよい。
【０２９８】
また、式（２２）、式（２３）、式（２４）に現れる入力画素以外の入力画素（例えば、ｘ（ｎ−３、ｉ、ｊ）、ｘ（ｎ＋３、ｉ、ｊ））も用いて静止画補間画素ｙｓ（ｍ、ｉ’、ｊ）を算出してもよい。
【０２９９】
このようにして、対象画素についての動画補間画素ｙｍ（ｍ、ｉ、ｊ）と静止画補間画素ｙｓ（ｍ、ｉ、ｊ）を算出する。ここで、ｉはｉ及びｉ’を代表して表している。
【０３００】
そして、対象画素についての動き量Ｍ（ｉ、ｊ）を求め、動き量に基づいた重みで動画補間画素ｙｍ（ｍ、ｉ、ｊ）と静止画補間画素ｙｓ（ｍ、ｉ、ｊ）とを加重加算することにより対象画素ｙ（ｍ、ｉ、ｊ）を生成する。
【０３０１】
動き量Ｍ（ｉ，ｊ）の算出方法及び対象画素ｙ（ｍ、ｉ、ｊ）を生成するための加重加算の方法としては、通常のＩＰ変換処理と同様なものを利用することができる。以下、これらについて説明する。
【０３０２】
入力フィールドｆ（ｎ）に対象画素ｙ（ｍ、ｉ、ｊ）と空間的に同一位置の画素ｘ（ｎ、ｉ、ｊ）がある場合には、対象画素についての差分Ｃ（ｍ、ｉ、ｊ）を下に示す式（２５）に従って求める。
【０３０３】
【数２３】
2007166530.tif 000025
【０３０４】
入力フィールドｆ（ｎ＋１）に対象画素ｙ（ｍ、ｉ’、ｊ）と空間的に同一位置の画素ｘ（ｎ＋１、ｉ’、ｊ）がある場合には、対象画素についての差分Ｃ（ｍ、ｉ’、ｊ）を下に示す式（２６）に従って求める。
【０３０５】
【数２４】
2007166530.tif 000026
【０３０６】
差分Ｃ（ｍ，ｉ，ｊ）又はＣ（ｍ，ｉ’，ｊ）は、動き量の基本となる。
【０３０７】
次に、下に示す式（２７）に従ってＣ（ｍ、ｉ、ｊ）を補正することにより、補正された差分Ｄ（ｍ，ｉ，ｊ）を求める。ここで、ｉは、ｉ及びｉ’を代表するが、これは以下同様である。
【０３０８】
【数２５】
2007166530.tif 000027
【０３０９】
ここで、Δｃの値は、ノイズのレベル等により決定された値である。
【０３１０】
次に、メモリに格納されている累積動き量ｍ（ｉ，ｊ）を下に示す式（２８）に従って更新する。
【０３１１】
【数２６】
2007166530.tif 000028
【０３１２】
ここで、ＴＨの値は、視覚特性等により決定された値である。ＴＨの値は、例えば、１６である。
【０３１３】
上に示す式（２８）に従って、累積動き量ｍ（ｉ，ｊ）を計算することの効果は通常のＩＰ変換処理に関連して説明したとおりである。
【０３１４】
次に、下に示す式（２９）に従って動き量Ｍ（ｉ，ｊ）を算出する。
【０３１５】
【数２７】
2007166530.tif 000029
【０３１６】
式（２９）において、ｍ（ｉ、ｊ）とｍ（ｉ＋１、ｊ）のうちの何れか一方は入力偶数フィールドから検出された累積動き量であり、他方は入力奇数フィールドから検出された累積動き量である。
【０３１７】
次に、下に示す式（３０）に従って対象画素ｙ（ｍ，ｉ，ｊ）を算出する。
【０３１８】
【数２８】
2007166530.tif 000030
【０３１９】
次に、第２のＩＰ変換処理部１１１Ｃ及びその周辺部の構成について図２６を参照して説明する。
【０３２０】
図２６を参照すると、画像データ書込部１０３は、ＮＴＳＣデコーダ１０１から出力されたインターレス走査の動画像を入力し、各フィールドを第１から第４のフィールドメモリ６０１−１〜６０１−４に書き込む。更に、各フィールドが偶数フィールドであるのか奇数フィールドであるのかを、例えば、入力動画像の同期信号等から検出し、或いは、ＮＴＳＣデコーダ１０１から入力し、それに関する情報もフィールドメモリに書き込む。フィールドメモリの数を増やして、出力フレーム時間が変動した場合であっても、何れかのフィールドメモリに確実に入力フィールドｆ（ｎ−１）、ｆ（ｎ）、ｆ（ｎ＋１）、ｆ（ｎ＋２）が格納されるようにしてもよい。
【０３２１】
なお、第１のフィールド・メモリ６０１−１乃至第４のフィールド・メモリ５０１−４は、図６に示すフレームバッファ群１０５Ｂに含まれているものであり、２つのフィールド・メモリが１つのフレームバッファに対応する。また、図２６では、図６に示す画像データ読出部１０９Ｂ及び第１のスイッチ１３１が省略されている。
【０３２２】
偶奇フィールド参照部６３７は、第１から第４のフィールドメモリ６０１−１−〜６０１−４からフィールドｆ（ｎ−１）、ｆ（ｎ）、ｆ（ｎ＋１）及びｆ（ｎ＋２）がそれぞれ偶数フィールドであるのか奇数フィールドであるのかに関する情報を取得する。
【０３２３】
重み算出部６３９は、制御部１３５から入力する重みｗ及びフィールドｆ（ｎ−１）、ｆ（ｎ）、ｆ（ｎ＋１）及びｆ（ｎ＋２）がそれぞれ偶数フィールドであるのか奇数フィールドであるのかに関する情報に基づいて、出力フレームＦ（ｍ）の各画素ｙ（ｍ、ｉ、ｊ）についての動画補間画素ｙｍ（ｍ、ｉ、ｊ）及び静止画補間画素ｙｓ（ｍ、ｉ、ｊ）を生成するための重みを算出する。
【０３２４】
つまり、例えば、動画補間画素ｙｍ（ｍ、ｉ、ｊ）を式（１３）に基づいて算出するのか又は式（１６）に基づいて算出するのかを、入力フィールドｆ（ｎ）が偶数フィールドであるのか又は奇数フィールドであるのかに関する情報と対象画素ｙ（ｍ、ｉ、ｊ）のライン番号ｉが偶数であるのか奇数であるのかに関する情報に基づいて、決定し、更に、それぞれの場合の加重加算における重みを重みｗに基づいて算出する。なお、上述したように、式（１３）の代わりに式（１４）又は式（１５）を固定的又は適応的に利用したり、式（１６）の代わりに式（１７）又は式（１８）を固定的又は適応的に利用するための重みを算出してもよい。
【０３２５】
また、例えば、静止画補間画素ｙｓ（ｍ、ｉ、ｊ）を式（１９）に基づいて算出するのか又は式（２２）に基づいて算出するのかを、入力フィールドｆ（ｎ）が偶数フィールドであるのか又は奇数フィールドであるのかに関する情報と対象画素ｙ（ｍ、ｉ、ｊ）のライン番号ｉが偶数であるのか奇数であるのかに関する情報に基づいて、決定し、更に、それぞれの場合の加重加算における重みを重みｗに基づいて算出する。なお、上述したように、式（１９）の代わりに式（２０）又は式（２１）を固定的又は適応的に利用したり、式（２２）の代わりに式（２３）又は式（２４）を固定的又は適応的に利用するための重みを算出してもよい。
【０３２６】
動画補間画素生成部６０５は、各対象画素ｙ（ｍ、ｉ、ｊ）についての動画補間画素ｙｍ（ｍ、ｉ、ｊ）を生成するために必要な重みを重み算出部３２９から入力し、その重みに基づいて、必要な画素を第２から第３のフィールドメモリ６０１−２〜６０１−３から読み出し、入力した重みと読み出した画素に基づいて静止画補間画素ｙｍ（ｍ、ｉ、ｊ）を生成する。
【０３２７】
静止画補間画素生成部６０７は、各対象画素ｙ（ｍ、ｉ、ｊ）についての静止画補間画素ｙｓ（ｍ、ｉ、ｊ）を生成するために必要な重みを重み算出部３２９から入力し、その重みに基づいて、必要な画素を第１から第４のフィールドメモリ６０１−１〜６０１−４から読み出し、入力した重みと読み出した画素に基づいて静止画補間画素ｙｓ（ｍ、ｉ、ｊ）を生成する。
【０３２８】
差分計算部６０９は、フィールドｆ（ｎ）が偶数フィールドであるのか又は奇数フィールドであるのかに関する情報と対象画素ｙ（ｍ、ｉ、ｊ）のライン番号ｉが偶数であるのか奇数であるのかに関する情報に基づいて、どのフィールドのどの画素を基に差分計算をするべきであるのかを判断し、その結果に基づいて必要な画素を第１のフィールドメモリ６０１−１及び第３のフィールドメモリ６０１−３又は第２のフィールドメモリ６０１−２及び第４のフィールドメモリ６０１−４から読み出し、読み出した画素を基に、式（２５）又は式（２６）に基づいて差分Ｃ（ｍ、ｉ、ｊ）を算出する。
【０３２９】
差分補正部６１１は、式（２７）に従って、Ｃを補正することにより、補正された差分Ｄ（ｍ，ｉ，ｊ）を求める。
【０３３０】
ここで、Δｃの値は、ノイズのレベル等により決定され、補正値保持部６１３に格納されている。
【０３３１】
差分累積部６１５は、累積動き量メモリ６１７に格納されている累積動き量ｍ（ｉ，ｊ）を式（２８）に従って更新する。
【０３３２】
ここで、ＴＨの値は、視覚特性等により決定され、しきい値保持部６１９に格納されている。ＴＨの値は、例えば、１６である。
【０３３３】
動き量計算部６２１は、式（２９）に従って動き量Ｍ（ｉ，ｊ）を算出する。
【０３３４】
合成補間画素生成部６２３は、式（３０）に従って合成補間画素ｙ（ｍ，ｉ，ｊ）を算出する。合成補間画素ｙ（ｍ、ｉ、ｊ）は、表示メモリ１０５−１に書き込まれる。
【０３３５】
なお、図２６にその構成を示す第２のＩＰ変換処理部１１１Ｃは、ハードウェアによって実現することもできるが、コンピュータを図２６にその構成を示す第２のＩＰ変換処理部１１１Ｃとして機能させるためのプログラムをコンピュータが記録媒体から読み込んで実行することによっても実現することができる。
【０３３６】
また、第１のＩＰ変換処理部１１１Ｂと第２のＩＰ変換処理部１１１Ｃは、共通な構成要素を多数含み、また、動き量の計算は、第１のＩＰ変換処理と第２のＩＰ変換処理の区別なく、連続して行なう必要がある。従って、差分計算部５０９、差分補正部５１１、補正値保持部５１３、差分累積部５１５、累積動き量メモリ５１７、しきい値保持部５１９及び動き量計算部５２１を、それぞれ、差分計算部６０９、差分補正部６１１、補正値保持部６１３、差分累積部６１５、累積動き量メモリ６１７、しきい値保持部６１９及び動き量計算部６２１と共用する形態もある。また、図７と図１３の動作で、第１のＩＰ変換処理と第２のＩＰ変換処理の双方が省略された場合であっても、動き量の計算の部分は、動作する。
【０３３７】
［コマ落とし判定処理（１）］
実施形態１では、コマ落とし／コマ挿入処理機能を有さないＩＰ変換処理部１１１から出力された画像信号は、その後段にある合成処理部１１７で必要に応じてコマ落とし処理又はコマ挿入処理にかけられ、その後、フォーマット変換部１２１及び表示処理部１２３を経由して、表示用メモリ１２５に書き込まれる。ＩＰ変換処理部１１１から出力された画像信号は、入力ＮＴＳＣ信号のフィールド周波数をフレーム周波数として表示用メモリ１２５に書き込まれる。
【０３３８】
他方、モニタのフレーム周波数（リフレッシュレートに等しい。）をフレーム周波数として表示用メモリ１２５から画像信号が読み出され、その画像信号による画像がモニタ１２７に表示される。
【０３３９】
従って、表示用メモリ１２５への書込みのフレーム周波数は、入力ＮＴＳＣ信号のフィールド周波数であり、表示用メモリ１２５からの読出しのフレーム周波数は、モニタのフレーム周波数である。
【０３４０】
表示用メモリ１２５に画像信号を書き込もうとする時、表示用メモリに格納されている画像信号の量が所定以上である場合には、書込みが待たされ、その画像信号の量が所定値未満となった時に、書き込もうとしていた画像信号を書き込むことが可能となる。従って、画像信号を書き込もうことをすることを示す書込み要求信号と書込みを許可する書込み許可信号との時間差により、書込みが待たされている時間（待ち時間）を検出することができる。
【０３４１】
この待ち時間が所定値以上となった時に、コマ落としが必要であると判断する。
【０３４２】
また、実施形態２では、第１のＩＰ変換処理部１１１Ｂ又は第２のＩＰ変換処理部１１１Ｃから出力された画像信号は、第２のスイッチ１３３、フォーマット変換部１２１及び表示処理部１２３を経由して、表示用メモリ１２５に書き込まれる。第１のＩＰ変換処理部１１１Ｂ又は第２のＩＰ変換処理部１１１Ｃから出力された画像信号は、入力ＮＴＳＣ信号のフィールド周波数をフレーム周波数として表示用メモリ１２５に書き込まれる。
【０３４３】
従って、実施形態２でも、上述した待ち時間が所定値以上となった時に、コマ落としが必要であると判断する。
【０３４４】
［コマ落とし判定処理（２）及びコマ挿入判定処理］
入力ＮＴＳＣ信号の各フィールド同期信号を入力フレーム同期信号として検出し、モニタ１２７の各フレーム同期信号を出力フレーム同期信号として検出する。フレーム周波数が入力ＮＴＳＣ信号のフィールド周波数よりも高いモニタ１２７を接続した場合には、各入力フレーム同期信号に対して、それに対応する出力フレーム同期信号が徐々に遅れていく。そこで、各入力フレーム同期信号に対して、それに対応する出力フレーム同期信号の遅れが所定値（例えば、入力フレーム周期が１６．７ミリ秒（１／６０秒）であれば、１５ミリ秒）以上となった時に、コマ挿入が必要であると判断する。
【０３４５】
また、フレーム周波数が入力ＮＴＳＣ信号のフィールド周波数よりも低いモニタ１２７を接続した場合には、各入力フレーム同期信号に対して、それに対応する出力フレーム同期信号が徐々に進んでいきく。そこで、各入力フレーム同期信号に対して、それに対応する出力フレーム同期信号の進みが所定値（例えば、入力フレーム周期が１６．７ミリ秒（１／６０秒）であれば、２ミリ秒）以上となった時に、コマ落としが必要であると判断する。
【０３４６】
なお、第２のＩＰ変換処理部１１１Ｃは、他の構成のものであってもよい。
【図面の簡単な説明】
【０３４７】
【図１】本発明の実施形態１によるフレーム周波数変換装置を含むシステムの構成を示すブロック図である。
【図２】出力フレーム周波数が入力フレーム周波数よりも低い場合に図１に示す出力処理部により行なわれる出力処理を説明するためのフローチャートである。
【図３】本発明の実施形態１によるフレーム周波数変換装置によりコマ落とし処理が行なわれた場合の動作例を説明するための表である。
【図４】出力フレーム周波数が入力フレーム周波数よりも高い場合に図１に示す出力処理部により行なわれる出力処理を説明するためのフローチャートである。
【図５】本発明の実施形態１によるフレーム周波数変換装置によりコマ挿入処理が行なわれた場合の動作例を説明するための表である。
【図６】本発明の実施形態２によるフレーム周波数変換装置を含むシステムの構成を示すブロック図である。
【図７】出力フレーム周波数が入力フレーム周波数よりも低い場合に図６に示す出力処理部により行なわれる出力処理を説明するためのフローチャートである。
【図８】出力フレーム周波数が入力フレーム周波数よりも高い場合に図６に示す出力処理部により行なわれる出力処理を説明するためのフローチャートである。
【図９】本発明の実施形態３による出力処理部の構成を示すブロック図である。
【図１０】出力フレーム周波数が入力フレーム周波数よりも低い場合に図９に示す出力処理部により行なわれる出力処理を説明するためのフローチャートである。
【図１１】出力フレーム周波数が入力フレーム周波数よりも高い場合に図９に示す出力処理部により行なわれる出力処理を説明するためのフローチャートである。
【図１２】本発明の実施形態４による出力処理部の構成を示すブロック図である。
【図１３】出力フレーム周波数が入力フレーム周波数よりも低い場合に図１２に示す出力処理部により行なわれる出力処理を説明するためのフローチャートである。
【図１４】出力フレーム周波数が入力フレーム周波数よりも高い場合に図１２に示す出力処理部により行なわれる出力処理を説明するためのフローチャートである。
【図１５】本発明の実施形態５において、出力フレーム周波数が入力フレーム周波数よりも低い場合に図１に示す出力処理部により行なわれる出力処理を説明するためのフローチャートである。
【図１６】図１５に示すコマ落とし開始処理の一例の詳細を示すフローチャートである。
【図１７】本発明の実施形態５によるフレーム周波数変換装置によりコマ落とし処理が行なわれた場合の動作例を説明するための表である。
【図１８】本発明の実施形態５によるフレーム周波数変換装置によりコマ落とし処理が行なわれた場合の動作例を説明するためのグラフである。
【図１９】図１５に示すコマ落とし開始処理の他の一例の詳細を示すフローチャートである。
【図２０】図１に示すＩＰ変換処理部又は図６に示す第１のＩＰ変換処理部の構成例を示すブロック図である。
【図２１】図２０に示す構成を有するＩＰ変換処理部により得られる効果を説明するための第１の図である。
【図２２】図２０に示す構成を有するＩＰ変換処理部により得られる効果を説明するための第２の図である。
【図２３】図２０に示す構成を有するＩＰ変換処理部により行なわれるＩＰ変換処理を説明するためのフローチャートである。
【図２４】図６に示す第２のＩＰ変換処理部により行なわれるＩＰ変換処理の原理を説明するための第１の図である。
【図２５】図６に示す第２のＩＰ変換処理部により行なわれるＩＰ変換処理の原理を説明するための第２の図である。
【図２６】図６に示す第２のＩＰ変換処理部の構成例を示すブロック図である。
【符号の説明】
【０３４８】
１０１  ＮＴＳＣデコーダ
１０３  画像データ書込部
１０５  フレームバッファ群
１０７  出力処理部
１０９  画像データ読出部
１１１  ＩＰ変換処理部
１１１Ｂ  第１のＩＰ変換処理部
１１１Ｃ  第２のＩＰ変換処理部
１１５  コマ落とし／コマ挿入判定部
１１７  合成処理部
１１９  一時保存メモリ
１２１  フォーマット変換部
１２３  表示処理部
１２５  表示用メモリ
１２７  モニタ
１３５  制御部
【図１１】
2007166530.tif 000031
【図１４】
2007166530.tif 000032
【図１９】
2007166530.tif 000033
【図１】
2007166530.tif 000034
【図２】
2007166530.tif 000035
【図３】
2007166530.tif 000036
【図４】
2007166530.tif 000037
【図５】
2007166530.tif 000038
【図６】
2007166530.tif 000039
【図７】
2007166530.tif 000040
【図８】
2007166530.tif 000041
【図９】
2007166530.tif 000042
【図１０】
2007166530.tif 000043
【図１２】
2007166530.tif 000044
【図１３】
2007166530.tif 000045
【図１５】
2007166530.tif 000046
【図１６】
2007166530.tif 000047
【図１７】
2007166530.tif 000048
【図１８】
2007166530.tif 000049
【図２０】
2007166530.tif 000050
【図２１】
2007166530.tif 000051
【図２２】
2007166530.tif 000052
【図２３】
2007166530.tif 000053
【図２４】
2007166530.tif 000054
【図２５】
2007166530.tif 000055
【図２６】
2007166530.tif 000056