(57)【要約】【課題】  インターレス画像データをプログレッシブ画像データに変換する方法において、動画部分が静止画部分として判断されてしまうことを防止する。【解決手段】  対象となっているフィールドの補間をするべき画素について第１の動き量を算出するステップと、対象となっているフィールドと隣接するフィールドの画素のうちの、前記対象となっているフィールドの補間をするべき画素から垂直方向に離れた画素について第２の動き量を算出するステップと、前記第１の動き量と前記第２の動き量を基に、第３の動き量を算出するステップと、前記第３の動き量を基に、対象となっているフィールドの補間をするべき画素の値を算出するステップと、を備える。【選択図】        図３
2006238000.tif 000002
【特許請求の範囲】
【請求項１】
インターレス画像データをプログレッシブ画像データに変換する方法において、
対象となっているフィールドの補間をするべき画素について第１の動き量を算出するステップと、
対象となっているフィールドと隣接するフィールドの画素のうちの、前記対象となっているフィールドの補間をするべき画素から垂直方向に離れた画素について第２の動き量を算出するステップと、
前記第１の動き量と前記第２の動き量を基に、第３の動き量を算出するステップと、
前記第３の動き量を基に、対象となっているフィールドの補間をするべき画素の値を算出するステップと、
を備えることを特徴とする方法。
【請求項２】
請求項１に記載のインターレス画像データをプログレッシブ画像データに変換する方法において、
対象となっているフィールドの補間をするべき画素について第１の動き量を算出するステップは、
対象となっているフィールドと異なった第１のフィールドの画素のうちの、対象となっているフィールドの補間をするべき画素と同一位置にある画素と、対象となっているフィールドと異なった第２のフィールドの画素のうちの、対象となっているフィールドの補間をするべき画素と同一の位置にある画素とを基に、前記第１の動き量を算出するステップを備えることを特徴とする方法。
【請求項３】
請求項１に記載のインターレス画像データをプログレッシブ画像データに変換する方法において、
前記第１のフィールドは、対象となっているフィールドの前のフィールドであり、前記第２のフィールドは、対象となっているフィールドの後のフィールドであることを特徴とする方法。
【請求項４】
請求項１に記載のインターレス画像データをプログレッシブ画像データに変換する方法において、
前記第１のフィールドは、対象となっているフィールドの３つ前のフィールドであり、前記第２のフィールドは、対象となっているフィールドの１つ前のフィールドであることを特徴とする方法。
【請求項５】
請求項１に記載のインターレス画像データをプログレッシブ画像データに変換する方法において、
前記第１の動き量と前記第２の動き量を基に、第３の動き量を算出するステップは、
前記第１の動き量と前記第２の動き量の和を前記第３の動き量とするステップを備えることを特徴とする方法。
【請求項６】
請求項５に記載のインターレス画像データをプログレッシブ画像データに変換する方法において、
前記第１の動き量と前記第２の動き量を基に、第３の動き量を算出するステップは、
前記第１の動き量と前記第２の動き量の和が所定のしきい値より大きい場合には、前記所定のしきい値を前記第３の動き量にするステップを更にそなえることを特徴とする方法。
【請求項７】
請求項１に記載のインターレス画像データをプログレッシブ画像データに変換する方法において、
前記第３の動き量を基に、対象となっているフィールドの補間をするべき画素の値を算出するステップは、
前記第３の動き量を基に、累積動き量を更新するステップと、
累積動き量を基に、対象となっているフィールドの補間をするべき画素の値を算出するステップと、
を備えることを特徴とする方法。
【請求項８】
請求項７に記載のインターレス画像データをプログレッシブ画像データに変換する方法において、
前記第３の動き量を基に、累積動き量を更新するステップは、
現在の累積動き量に第３の動き量を加算し、その結果得られる和から所定の値を減算し、その結果得られる差を新たな累積動き量とするステップを備えることを特徴とする方法。
【請求項９】
請求項８に記載のインターレス画像データをプログレッシブ画像データに変換する方法において、
前記第３の動き量を基に、累積動き量を更新するステップは、
前記差が所定のしきい値より大きい場合には、前記所定のしきい値を新たな累積動き量にするステップを更に備えることを特徴とする方法。
【請求項１０】
請求項７に記載のインターレス画像データをプログレッシブ画像データに変換する方法において、
前記第３の動き量を基に、累積動き量を更新するステップは、
現在の累積動き量に、第３の動き量から所定値を差し引いた値を加算し、その結果得られる和から所定の値を減算し、その結果得られる差を新たな累積動き量とするステップを備えることを特徴とする方法。
【請求項１１】
請求項１に記載のインターレス画像データをプログレッシブ画像データに変換する方法において、
対象となっているフィールドの補間をするべき画素について静止画補間画素を生成するステップと、
対象となっているフィールドの補間をするべき画素について動画補間画素を生成するステップと、
を更に備え、
前記第３の動き量を基に、対象となっているフィールドの補間をするべき画素の値を算出するステップは、
前記第３の動き量に応じた重みで、前記静止画像補間画素と前記動画補間画素とを加重加算するステップを備えることを特徴とする方法。
【請求項１２】
請求項１１に記載のインターレス画像データをプログレッシブ画像データに変換する方法において、
対象となっているフィールドの補間をするべき画素について静止画補間画素を生成するステップは、
対象となっているフィールドと異なった第１のフィールドの画素のうちの、対象となっているフィールドの補間をするべき画素と同一位置にある画素と、対象となっているフィールドと異なった第２のフィールドの画素のうちの、対象となっているフィールドの補間をするべき画素と同一の位置にある画素とを基に、前記静止画補間画素を生成するステップを備えることを特徴とする方法。
【請求項１３】
請求項１１に記載のインターレス画像データをプログレッシブ画像データに変換する方法において、
対象となっているフィールドの補間をするべき画素について静止画補間画素を生成するステップは、
対象となっているフィールドと異なったフィールドの画素のうちの、対象となっているフィールドの補間をするべき画素と同一位置にある画素を基に、前記静止画補間画素を生成するステップを備えることを特徴とする方法。
【請求項１４】
請求項１１に記載のインターレス画像データをプログレッシブ画像データに変換する方法において、
対象となっているフィールドの補間をするべき画素について動画補間画素を生成するステップは、
対象となっているフィールドの補間をするべき画素から垂直方向に離れた１以上の画素を基に、前記動画補間画素を生成するステップを備えることを特徴とする方法。
【請求項１５】
請求項１１に記載のインターレス画像データをプログレッシブ画像データに変換する方法において、
シーンチェンジを検出するステップを更に備え、
前記第３の動き量を基に、対象となっているフィールドの補間をするべき画素の値を算出するステップは、
前記シーンチェンジが検出された場合には、対象となっているフィールドの補間をするべき画素の値を前記動画補間画素の値とするステップを更に備えることを特徴とする方法。
【請求項１６】
請求項１に記載のインターレス画像データをプログレッシブ画像データに変換する方法において、
平坦部のノイズを除去するステップを更に備えることを特徴とする方法。
【請求項１７】
請求項１６に記載のインターレス画像データをプログレッシブ画像データに変換する方法において、
前記平坦部のノイズを除去するステップは、
注目画素の周辺部の画素の加重平均値を求めるステップと、
前記加重平均値を所定のしきい値と比較するステップと、
前記注目画素の値と前記加重平均値との差分の絶対値が前記所定のしきい値よりも小さい場合には、前記注目画素の値を前記加重平均値に置き換えるステップと、
を備えることを特徴とする方法。
【請求項１８】
タイミング制御部が、書込部に対し、書込み要求を出力するステップと、
前記書込部が、現在書込みフレーム・メモリに、読出部によりまだ読み出されていない画像データが残っている場合には、読出部による画像データの表示フレーム・メモリからの読出しが終了した時に、前記タイミング制御部に対し、前記書込み要求に対する肯定応答を返し、現在書込みフレーム・メモリに、読出部によりまだ読み出されていない画像データが残っていない場合には、書込み要求を入力してから遅滞なく、前記タイミング制御部に対し、前記書込要求に対する肯定応答を返すステップと、
前記タイミング制御部が、前記肯定応答を前記書込部から入力した時から、画像処理部は、画像処理を行い、書込部は、該画像処理により得られた画像データを書込みフレームに書き込むステップと、
前記タイミング制御部が、前記画像処理及び書込みが終了した時刻を参照時刻と比較し、該比較の結果により、間隔パラメータを更新するステップと、
前記タイミング制御部が、前記参照時刻に前記間隔パラメータを加算した時刻を次回の参照時刻とするステップと、
前記タイミング制御部が、前回、書込部に対し、書込み要求を出力した時刻から、前記間隔パラメータを加算した時刻において、再度、書込部に対し、書込み要求を出力するステップとし、上記の動作を繰り返すステップと、
を備えることを特徴とするレンダリング方法。
【請求項１９】
請求項１８に記載のレンダリング方法において、前記画像処理は、インターレス／プログレッシブ変換処理であることを特徴とするレンダリング方法。
【請求項２０】
請求項１９に記載のレンダリング方法において、
前記インターレス／プログレッシブ変換処理は、請求項１乃至１７の何れか１項に記載の方法によるものであることを特徴とするレンダリング方法。
【請求項２１】
請求項１８に記載のレンダリング方法において、
前記画像処理及び書込みが終了した時刻を参照時刻と比較し、該比較の結果により、間隔パラメータを更新するステップは、
前記参照時刻が前記書込みが終了した時刻よりも所定値以上早い場合には、間隔パラメータを増加させるステップと、
前記参照時間が前記書込が終了した時刻よりも所定値以上遅い場合には、間隔パラメータを減少させるステップと、
その他の場合には、間隔パラメータを変化させないステップと、
を備えることを特徴とするレンダリング方法。
【請求項２２】
請求項１８に記載のレンダリング方法において、
前記参照時刻が、次回に前記画像処理の対象となる画像データをバッファ・メモリに書き込んだ時刻よりも所定時間以上遅い場合には、前記バッファ・メモリに書き込まれている画像データを廃棄するステップを更に備えることを特徴とするレンダリング方法。
【請求項２３】
フィルム画像から生成された画像データを再生する場合に、所定の周期で繰り返すパターン・カウントが表示のための所定値となったフィールドでそのフィールドとそれに隣接するフィールドを基にフレームを合成し出力する画像表示方法において、
各フィールド毎に、２フィールド前の画像データと現在のフィールドの画像データが同一であるか否かを判断するステップと、
２フィールド前の画像データと現在のフィールドの画像データが同一である場合に、更に、前記パターン・カウントが初期化のための所定値であるならば、前記パターン・カウントを初期値に初期化するステップと、
２フィールド前の画像データと現在のフィールドの画像データが同一でない場合であっても、前記パターン・カウントが初期化のための所定値であり、且つ、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数の値が初期化許可のための所定値以上であるならば、前記パターン・カウントを初期値に初期化するステップと、
を備えることを特徴とする画像表示方法。
【請求項２４】
請求項２３に記載の画像表示方法において、
所定の周期で繰り返す前記パターン・カウントが前記表示のための所定値となるフィールドとは、所定の周期で繰り返す前記パターン・カウントが第１の表示のための所定値となるフィールド及び所定の周期で繰り返す前記パターン・カウントが第２の表示のための所定値となるフィールドであることを特徴とする画像表示方法。
【請求項２５】
請求項２３に記載の画像表示方法において、
前記パターン・カウントが前記表示のための所定値となったフィールドであっても、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数の値が表示可能のための所定値未満であるならば、他の画像処理をすることによりフレームを合成し出力することを特徴とする画像表示方法。
【請求項２６】
請求項２５に記載の画像表示方法において、
前記他の画像処理とは、インターレス／プログレッシブ変換処理であることを特徴とする画像表示方法。
【請求項２７】
請求項２６に記載の画像表示方法において、
前記インターレス／プログレッシブ変換処理は、請求項１乃至１７の何れか１項に記載の方法によるものであることを特徴とする画像表示方法。
【請求項２８】
請求項２３に記載の画像表示方法において、
２フィールド前の画像データと現在のフィールドの画像データが同一である場合に、更に、前記パターン・カウントが初期化のための所定値であるならば、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数を増加させるステップと、
２フィールド前の画像データと現在のフィールドの画像データが同一でない場合に、更に、前記パターン・カウントが初期化のための所定値であるならば、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数を減少させるステップと、
２フィールド前の画像データと現在のフィールドの画像データが同一でない場合に、更に、前記パターン・カウントが初期化のための所定値でないならば、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数を増加させるステップと、
を更にそなえることを特徴とする画像表示方法。
【請求項２９】
インターレス画像データをプログレッシブ画像データに変換する装置において、
対象となっているフィールドの補間をするべき画素について第１の動き量を算出する手段と、
対象となっているフィールドと隣接するフィールドの画素のうちの、前記対象となっているフィールドの補間をするべき画素から垂直方向に離れた画素について第２の動き量を算出する手段と、
前記第１の動き量と前記第２の動き量を基に、第３の動き量を算出する手段と、
前記第３の動き量を基に、対象となっているフィールドの補間をするべき画素の値を算出する手段と、
を備えることを特徴とする装置。
【請求項３０】
請求項２９に記載のインターレス画像データをプログレッシブ画像データに変換する装置において、
対象となっているフィールドの補間をするべき画素について第１の動き量を算出する手段は、
対象となっているフィールドと異なった第１のフィールドの画素のうちの、対象となっているフィールドの補間をするべき画素と同一位置にある画素と、対象となっているフィールドと異なった第２のフィールドの画素のうちの、対象となっているフィールドの補間をするべき画素と同一の位置にある画素とを基に、前記第１の動き量を算出する手段を備えることを特徴とする装置。
【請求項３１】
請求項２９に記載のインターレス画像データをプログレッシブ画像データに変換する装置において、
前記第１のフィールドは、対象となっているフィールドの前のフィールドであり、前記第２のフィールドは、対象となっているフィールドの後のフィールドであることを特徴とする装置。
【請求項３２】
請求項２９に記載のインターレス画像データをプログレッシブ画像データに変換する装置において、
前記第１のフィールドは、対象となっているフィールドの３つ前のフィールドであり、前記第２のフィールドは、対象となっているフィールドの１つ前のフィールドであることを特徴とする装置。
【請求項３３】
請求項２９に記載のインターレス画像データをプログレッシブ画像データに変換する装置において、
前記第１の動き量と前記第２の動き量を基に、第３の動き量を算出する手段は、
前記第１の動き量と前記第２の動き量の和を前記第３の動き量とする手段を備えることを特徴とする装置。
【請求項３４】
請求項３３に記載のインターレス画像データをプログレッシブ画像データに変換する装置において、
前記第１の動き量と前記第２の動き量を基に、第３の動き量を算出する手段は、
前記第１の動き量と前記第２の動き量の和が所定のしきい値より大きい場合には、前記所定のしきい値を前記第３の動き量にする手段を更にそなえることを特徴とする装置。
【請求項３５】
請求項２９に記載のインターレス画像データをプログレッシブ画像データに変換する装置において、
前記第３の動き量を基に、対象となっているフィールドの補間をするべき画素の値を算出する手段は、
前記第３の動き量を基に、累積動き量を更新する手段と、
累積動き量を基に、対象となっているフィールドの補間をするべき画素の値を算出する手段と、
を備えることを特徴とする装置。
【請求項３６】
請求項３５に記載のインターレス画像データをプログレッシブ画像データに変換する装置において、
前記第３の動き量を基に、累積動き量を更新する手段は、
現在の累積動き量に第３の動き量を加算し、その結果得られる和から所定の値を減算し、その結果得られる差を新たな累積動き量とする手段を備えることを特徴とする装置。
【請求項３７】
請求項３６に記載のインターレス画像データをプログレッシブ画像データに変換する装置において、
前記第３の動き量を基に、累積動き量を更新する手段は、
前記差が所定のしきい値より大きい場合には、前記所定のしきい値を新たな累積動き量にする手段を更に備えることを特徴とする装置。
【請求項３８】
請求項３５に記載のインターレス画像データをプログレッシブ画像データに変換する装置において、
前記第３の動き量を基に、累積動き量を更新する手段は、
現在の累積動き量に、第３の動き量から所定値を差し引いた値を加算し、その結果得られる和から所定の値を減算し、その結果得られる差を新たな累積動き量とする手段を備えることを特徴とする装置。
【請求項３９】
請求項２９に記載のインターレス画像データをプログレッシブ画像データに変換する装置において、
対象となっているフィールドの補間をするべき画素について静止画補間画素を生成する手段と、
対象となっているフィールドの補間をするべき画素について動画補間画素を生成する手段と、
を更に備え、
前記第３の動き量を基に、対象となっているフィールドの補間をするべき画素の値を算出する手段は、
前記第３の動き量に応じた重みで、前記静止画像補間画素と前記動画補間画素とを加重加算する手段を備えることを特徴とする装置。
【請求項４０】
請求項３９に記載のインターレス画像データをプログレッシブ画像データに変換する装置において、
対象となっているフィールドの補間をするべき画素について静止画補間画素を生成する手段は、
対象となっているフィールドと異なった第１のフィールドの画素のうちの、対象となっているフィールドの補間をするべき画素と同一位置にある画素と、対象となっているフィールドと異なった第２のフィールドの画素のうちの、対象となっているフィールドの補間をするべき画素と同一の位置にある画素とを基に、前記静止画補間画素を生成する手段を備えることを特徴とする装置。
【請求項４１】
請求項３９に記載のインターレス画像データをプログレッシブ画像データに変換する装置において、
対象となっているフィールドの補間をするべき画素について静止画補間画素を生成する手段は、
対象となっているフィールドと異なったフィールドの画素のうちの、対象となっているフィールドの補間をするべき画素と同一位置にある画素を基に、前記静止画補間画素を生成する手段を備えることを特徴とする装置。
【請求項４２】
請求項３９に記載のインターレス画像データをプログレッシブ画像データに変換する装置において、
対象となっているフィールドの補間をするべき画素について動画補間画素を生成する手段は、
対象となっているフィールドの補間をするべき画素から垂直方向に離れた１以上の画素を基に、前記動画補間画素を生成する手段を備えることを特徴とする装置。
【請求項４３】
請求項３９に記載のインターレス画像データをプログレッシブ画像データに変換する装置において、
シーンチェンジを検出する手段を更に備え、
前記第３の動き量を基に、対象となっているフィールドの補間をするべき画素の値を算出する手段は、
前記シーンチェンジが検出された場合には、対象となっているフィールドの補間をするべき画素の値を前記動画補間画素の値とする手段を更に備えることを特徴とする装置。
【請求項４４】
請求項２９に記載のインターレス画像データをプログレッシブ画像データに変換する装置において、
平坦部のノイズを除去する手段を更に備えることを特徴とする装置。
【請求項４５】
請求項４４に記載のインターレス画像データをプログレッシブ画像データに変換する装置において、
前記平坦部のノイズを除去する手段は、
注目画素の周辺部の画素の加重平均値を求める手段と、
前記加重平均値を所定のしきい値と比較する手段と、
前記注目画素の値と前記加重平均値との差分の絶対値が前記所定のしきい値よりも小さい場合には、前記注目画素の値を前記加重平均値に置き換える手段と、
を備えることを特徴とする装置。
【請求項４６】
タイミング制御部が、書込部に対し、書込み要求を出力する手段と、
前記書込部が、現在書込みフレーム・メモリに、読出部によりまだ読み出されていない画像データが残っている場合には、読出部による画像データの表示フレーム・メモリからの読出しが終了した時に、前記タイミング制御部に対し、前記書込み要求に対する肯定応答を返し、現在書込みフレーム・メモリに、読出部によりまだ読み出されていない画像データが残っていない場合には、書込み要求を入力してから遅滞なく、前記タイミング制御部に対し、前記書込要求に対する肯定応答を返す手段と、
前記タイミング制御部が、前記肯定応答を前記書込部から入力した時から、画像処理部は、画像処理を行い、書込部は、該画像処理により得られた画像データを書込みフレームに書き込む手段と、
前記タイミング制御部が、前記画像処理及び書込みが終了した時刻を参照時刻と比較し、該比較の結果により、間隔パラメータを更新する手段と、
前記タイミング制御部が、前記参照時刻に前記間隔パラメータを加算した時刻を次回の参照時刻とする手段と、
前記タイミング制御部が、前回、書込部に対し、書込み要求を出力した時刻から、前記間隔パラメータを加算した時刻において、再度、書込部に対し、書込み要求を出力する手段とし、上記の動作を繰り返す手段と、
を備えることを特徴とするレンダリング装置。
【請求項４７】
請求項４６に記載のレンダリング装置において、前記画像処理は、インターレス／プログレッシブ変換処理であることを特徴とするレンダリング装置。
【請求項４８】
請求項４７に記載のレンダリング装置において、
前記インターレス／プログレッシブ変換処理は、請求項２９乃至４５の何れか１項に記載の装置によるものであることを特徴とするレンダリング装置。
【請求項４９】
請求項４６に記載のレンダリング装置において、
前記画像処理及び書込みが終了した時刻を参照時刻と比較し、該比較の結果により、間隔パラメータを更新する手段は、
前記参照時刻が前記書込みが終了した時刻よりも所定値以上早い場合には、間隔パラメータを増加させる手段と、
前記参照時間が前記書込が終了した時刻よりも所定値以上遅い場合には、間隔パラメータを減少させる手段と、
その他の場合には、間隔パラメータを変化させない手段と、
を備えることを特徴とするレンダリング装置。
【請求項５０】
請求項４６に記載のレンダリング装置において、
前記参照時刻が、次回に前記画像処理の対象となる画像データをバッファ・メモリに書き込んだ時刻よりも所定時間以上遅い場合には、前記バッファ・メモリに書き込まれている画像データを廃棄する手段を更に備えることを特徴とするレンダリング装置。
【請求項５１】
フィルム画像から生成された画像データを再生する場合に、所定の周期で繰り返すパターン・カウントが表示のための所定値となったフィールドでそのフィールドとそれに隣接するフィールドを基にフレームを合成し出力する画像表示装置において、
各フィールド毎に、２フィールド前の画像データと現在のフィールドの画像データが同一であるか否かを判断する手段と、
２フィールド前の画像データと現在のフィールドの画像データが同一である場合に、更に、前記パターン・カウントが初期化のための所定値であるならば、前記パターン・カウントを初期値に初期化する手段と、
２フィールド前の画像データと現在のフィールドの画像データが同一でない場合であっても、前記パターン・カウントが初期化のための所定値であり、且つ、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数の値が初期化許可のための所定値以上であるならば、前記パターン・カウントを初期値に初期化する手段と、
を備えることを特徴とする画像表示装置。
【請求項５２】
請求項５１に記載の画像表示装置において、
所定の周期で繰り返す前記パターン・カウントが前記表示のための所定値となるフィールドとは、所定の周期で繰り返す前記パターン・カウントが第１の表示のための所定値となるフィールド及び所定の周期で繰り返す前記パターン・カウントが第２の表示のための所定値となるフィールドであることを特徴とする画像表示装置。
【請求項５３】
請求項５１に記載の画像表示装置において、
前記パターン・カウントが前記表示のための所定値となったフィールドであっても、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数の値が表示可能のための所定値未満であるならば、他の画像処理をすることによりフレームを合成し出力することを特徴とする画像表示装置。
【請求項５４】
請求項５３に記載の画像表示装置において、
前記他の画像処理とは、インターレス／プログレッシブ変換処理であることを特徴とする画像表示装置。
【請求項５５】
請求項５４に記載の画像表示装置において、
前記インターレス／プログレッシブ変換処理は、請求項２９乃至４５の何れか１項に記載の装置によるものであることを特徴とする画像表示装置。
【請求項５６】
請求項５１に記載の画像表示装置において、
２フィールド前の画像データと現在のフィールドの画像データが同一である場合に、更に、前記パターン・カウントが初期化のための所定値であるならば、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数を増加させる手段と、
２フィールド前の画像データと現在のフィールドの画像データが同一でない場合に、更に、前記パターン・カウントが初期化のための所定値であるならば、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数を減少させる手段と、
２フィールド前の画像データと現在のフィールドの画像データが同一でない場合に、更に、前記パターン・カウントが初期化のための所定値でないならば、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数を増加させる手段と、
を更にそなえることを特徴とする画像表示装置。
【請求項５７】
コンピュータに請求項１乃至２８の何れか１項に記載の方法を行わせるためのプログラム。
【請求項５８】
請求項５７に記載のプログラムを記録した、コンピュータ読取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インターレス画像データをプログレッシブ画像データに変換する方法、その装置及びそのプログラムに関する。
【背景技術】
【０００２】
従来、パーソナルコンピュータで、テレビを視聴する場合、ＮＴＳＣ(National Television Standards Committee)方式、ＰＡＬ(Phase Alternation by Line)方式又はＳＥＣＡＭ(SEquential Couleur A Memoire)方式の映像信号をパーソナルコンピュータのノンインターレス（プログレッシブ）・モニタに表示するために、偶数フィールド及び奇数フィールドをインターリーブ合成して作成したフレームにコーミング(combing)除去処理を施していた。
【特許文献１】特開２００１−３３９６９４号公報
【特許文献２】特開２００２−１８５９３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記処理をした場合、１秒間に表示されるフレーム数は、約３０又は約２５であるため、処理前の画像に比べ、動きの滑らかさが劣る問題があった。また、コーミング除去方法によっては、映像全体がぼやけたり、映像のディテイル(detail)が潰れてしまう問題があった。
【０００４】
このような、問題を改善するための方法として、例えば、ＮＴＳＣ信号の各フィールドをそれぞれ１つのフレームに変換して、１秒間に約６０フレーム表示できるようにするインターレス／プログレッシブ変換方法がある。このインターレス／プログレッシブ変換方法では、インターレス信号の各フィールドについて画素単位で映像の動きを判定し、その画素が動き部分のものであるのか静止部分のものであるかにより補間方法を適応的に切り換える。
【０００５】
特許文献１には、高速スクロールの画面に対しインターレス／プログレッシブ変換を行う際に発生する動き検出の破綻を軽減することを目的とした発明が記載されているが、この発明によれば、動き検出のためのしきい値を可変とするので、１フレーム分余計なバッファ・メモリが必要となる。
【０００６】
特許文献２には、動き補正を伴うインターレス／プログレッシブ変換における動き検出の精度を向上させることを目的とした発明が記載されているが、１フィールド前、２フィールド前、３フィールド前及び６フィールド前のフィールドデータを利用する必要があり、このために、４フィールド分の余分なバッファ・メモリが必要となる。
【０００７】
また、インターレス／プログレッシブ変換方法においては、動きの判定が正しくできないために、動画部分が静止画部分と判断され、これにより、その部分に静止画用の補間処理が適用される場合があった。そして、動画部分に対し静止画用の補間処理が適用されると、映像にゴミ状のノイズが含まれることとなる。このようなノイズは視覚上目立ってしまう。
【０００８】
そこで、本発明は、インターレス画像データをプログレッシブ画像データに変換する方法において、動画部分が静止画部分として判断されてしまうことを防止することを１つの目的とする。
【課題を解決するための手段】
【０００９】
本発明の第１の観点によれば、インターレス画像データをプログレッシブ画像データに変換する方法において、対象となっているフィールドの補間をするべき画素について第１の動き量を算出するステップと、対象となっているフィールドと隣接するフィールドの画素のうちの、前記対象となっているフィールドの補間をするべき画素から垂直方向に離れた画素について第２の動き量を算出するステップと、前記第１の動き量と前記第２の動き量を基に、第３の動き量を算出するステップと、前記第３の動き量を基に、対象となっているフィールドの補間をするべき画素の値を算出するステップと、を備えることを特徴とする方法が提供される。
【００１０】
上記のインターレス画像データをプログレッシブ画像データに変換する方法において、対象となっているフィールドの補間をするべき画素について第１の動き量を算出するステップは、対象となっているフィールドと異なった第１のフィールドの画素のうちの、対象となっているフィールドの補間をするべき画素と同一位置にある画素と、対象となっているフィールドと異なった第２のフィールドの画素のうちの、対象となっているフィールドの補間をするべき画素と同一の位置にある画素とを基に、前記第１の動き量を算出するステップを備えるようにしてもよい。
【００１１】
上記のインターレス画像データをプログレッシブ画像データに変換する方法において、前記第１のフィールドは、対象となっているフィールドの前のフィールドであり、前記第２のフィールドは、対象となっているフィールドの後のフィールドであるようにしてもよい。
【００１２】
上記のインターレス画像データをプログレッシブ画像データに変換する方法において、前記第１のフィールドは、対象となっているフィールドの３つ前のフィールドであり、前記第２のフィールドは、対象となっているフィールドの１つ前のフィールドであるようにしてもよい。
【００１３】
上記のインターレス画像データをプログレッシブ画像データに変換する方法において、前記第１の動き量と前記第２の動き量を基に、第３の動き量を算出するステップは、前記第１の動き量と前記第２の動き量の和を前記第３の動き量とするステップを備えるようにしてもよい。
【００１４】
上記のインターレス画像データをプログレッシブ画像データに変換する方法において、前記第１の動き量と前記第２の動き量を基に、第３の動き量を算出するステップは、前記第１の動き量と前記第２の動き量の和が所定のしきい値より大きい場合には、前記所定のしきい値を前記第３の動き量にするステップを更にそなえるようにしてもよい。
【００１５】
上記のインターレス画像データをプログレッシブ画像データに変換する方法において、前記第３の動き量を基に、対象となっているフィールドの補間をするべき画素の値を算出するステップは、前記第３の動き量を基に、累積動き量を更新するステップと、累積動き量を基に、対象となっているフィールドの補間をするべき画素の値を算出するステップと、を備えるようにしてもよい。
【００１６】
上記のインターレス画像データをプログレッシブ画像データに変換する方法において、前記第３の動き量を基に、累積動き量を更新するステップは、現在の累積動き量に第３の動き量を加算し、その結果得られる和から所定の値を減算し、その結果得られる差を新たな累積動き量とするステップを備えるようにしてもよい。
【００１７】
上記のインターレス画像データをプログレッシブ画像データに変換する方法において、前記第３の動き量を基に、累積動き量を更新するステップは、前記差が所定のしきい値より大きい場合には、前記所定のしきい値を新たな累積動き量にするステップを更に備えるようにしてもよい。
【００１８】
上記のインターレス画像データをプログレッシブ画像データに変換する方法において、前記第３の動き量を基に、累積動き量を更新するステップは、現在の累積動き量に、第３の動き量から所定値を差し引いた値を加算し、その結果得られる和から所定の値を減算し、その結果得られる差を新たな累積動き量とするステップを備えるようにしてもよい。
【００１９】
上記のインターレス画像データをプログレッシブ画像データに変換する方法において、対象となっているフィールドの補間をするべき画素について静止画補間画素を生成するステップと、対象となっているフィールドの補間をするべき画素について動画補間画素を生成するステップと、を更に備え、前記第３の動き量を基に、対象となっているフィールドの補間をするべき画素の値を算出するステップは、前記第３の動き量に応じた重みで、前記静止画像補間画素と前記動画補間画素とを加重加算するステップを備えるようにしてもよい。
【００２０】
上記のインターレス画像データをプログレッシブ画像データに変換する方法において、対象となっているフィールドの補間をするべき画素について静止画補間画素を生成するステップは、対象となっているフィールドと異なった第１のフィールドの画素のうちの、対象となっているフィールドの補間をするべき画素と同一位置にある画素と、対象となっているフィールドと異なった第２のフィールドの画素のうちの、対象となっているフィールドの補間をするべき画素と同一の位置にある画素とを基に、前記静止画補間画素を生成するステップを備えるようにしてもよい。
【００２１】
上記のインターレス画像データをプログレッシブ画像データに変換する方法において、対象となっているフィールドの補間をするべき画素について静止画補間画素を生成するステップは、対象となっているフィールドと異なったフィールドの画素のうちの、対象となっているフィールドの補間をするべき画素と同一位置にある画素を基に、前記静止画補間画素を生成するステップを備えるようにしてもよい。
【００２２】
上記のインターレス画像データをプログレッシブ画像データに変換する方法において、対象となっているフィールドの補間をするべき画素について動画補間画素を生成するステップは、対象となっているフィールドの補間をするべき画素から垂直方向に離れた１以上の画素を基に、前記動画補間画素を生成するステップを備えるようにしてもよい。
【００２３】
上記のインターレス画像データをプログレッシブ画像データに変換する方法において、シーンチェンジを検出するステップを更に備え、前記第３の動き量を基に、対象となっているフィールドの補間をするべき画素の値を算出するステップは、前記シーンチェンジが検出された場合には、対象となっているフィールドの補間をするべき画素の値を前記動画補間画素の値とするステップを更に備えるようにしてもよい。
【００２４】
上記のインターレス画像データをプログレッシブ画像データに変換する方法において、平坦部のノイズを除去するステップを更に備えるようにしてもよい。
【００２５】
上記のインターレス画像データをプログレッシブ画像データに変換する方法において、前記平坦部のノイズを除去するステップは、注目画素の周辺部の画素の加重平均値を求めるステップと、前記加重平均値を所定のしきい値と比較するステップと、前記注目画素の値と前記加重平均値との差分の絶対値が前記所定のしきい値よりも小さい場合には、前記注目画素の値を前記加重平均値に置き換えるステップと、を備えるようにしてもよい。
【００２６】
本発明の第２の観点によれば、タイミング制御部が、書込部に対し、書込み要求を出力するステップと、前記書込部が、現在書込みフレーム・メモリに、読出部によりまだ読み出されていない画像データが残っている場合には、読出部による画像データの表示フレーム・メモリからの読出しが終了した時に、前記タイミング制御部に対し、前記書込み要求に対する肯定応答を返し、現在書込みフレーム・メモリに、読出部によりまだ読み出されていない画像データが残っていない場合には、書込み要求を入力してから遅滞なく、前記タイミング制御部に対し、前記書込要求に対する肯定応答を返すステップと、前記タイミング制御部が、前記肯定応答を前記書込部から入力した時から、画像処理部は、画像処理を行い、書込部は、該画像処理により得られた画像データを書込みフレームに書き込むステップと、前記タイミング制御部が、前記画像処理及び書込みが終了した時刻を参照時刻と比較し、該比較の結果により、間隔パラメータを更新するステップと、前記タイミング制御部が、前記参照時刻に前記間隔パラメータを加算した時刻を次回の参照時刻とするステップと、前記タイミング制御部が、前回、書込部に対し、書込み要求を出力した時刻から、前記間隔パラメータを加算した時刻において、再度、書込部に対し、書込み要求を出力するステップとし、上記の動作を繰り返すステップと、を備えることを特徴とするレンダリング方法が提供される。
【００２７】
上記のレンダリング方法において、前記画像処理は、インターレス／プログレッシブ変換処理であるようにしてもよい。
【００２８】
上記のレンダリング方法において、前記インターレス／プログレッシブ変換処理は、上記のインターレス画像データをプログレッシブ画像データに変換する方法によるものであるようにしてもよい。
【００２９】
上記のレンダリング方法において、前記画像処理及び書込みが終了した時刻を参照時刻と比較し、該比較の結果により、間隔パラメータを更新するステップは、前記参照時刻が前記書込みが終了した時刻よりも所定値以上早い場合には、間隔パラメータを増加させるステップと、前記参照時間が前記書込が終了した時刻よりも所定値以上遅い場合には、間隔パラメータを減少させるステップと、その他の場合には、間隔パラメータを変化させないステップと、を備えるようにしてもよい。
【００３０】
上記のレンダリング方法において、前記参照時刻が、次回に前記画像処理の対象となる画像データをバッファ・メモリに書き込んだ時刻よりも所定時間以上遅い場合には、前記バッファ・メモリに書き込まれている画像データを廃棄するステップを更に備えるようにしてもよい。
【００３１】
本発明の第３の観点によれば、フィルム画像から生成された画像データを再生する場合に、所定の周期で繰り返すパターン・カウントが表示のための所定値となったフィールドでそのフィールドとそれに隣接するフィールドを基にフレームを合成し出力する画像表示方法において、各フィールド毎に、２フィールド前の画像データと現在のフィールドの画像データが同一であるか否かを判断するステップと、２フィールド前の画像データと現在のフィールドの画像データが同一である場合に、更に、前記パターン・カウントが初期化のための所定値であるならば、前記パターン・カウントを初期値に初期化するステップと、２フィールド前の画像データと現在のフィールドの画像データが同一でない場合であっても、前記パターン・カウントが初期化のための所定値であり、且つ、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数の値が初期化許可のための所定値以上であるならば、前記パターン・カウントを初期値に初期化するステップと、を備えることを特徴とする画像表示方法が提供される。
【００３２】
上記の画像表示方法において、所定の周期で繰り返す前記パターン・カウントが前記表示のための所定値となるフィールドとは、所定の周期で繰り返す前記パターン・カウントが第１の表示のための所定値となるフィールド及び所定の周期で繰り返す前記パターン・カウントが第２の表示のための所定値となるフィールドであるようにしてもよい。
【００３３】
上記の画像表示方法において、前記パターン・カウントが前記表示のための所定値となったフィールドであっても、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数の値が表示可能のための所定値未満であるならば、他の画像処理をすることによりフレームを合成し出力するようにしてもよい。
【００３４】
上記の画像表示方法において、前記他の画像処理とは、インターレス／プログレッシブ変換処理であるようにしてもよい。
【００３５】
上記の画像表示方法において、前記インターレス／プログレッシブ変換処理は、上記のインターレス画像データをプログレッシブ画像データに変換する方法によるものであるようにしてもよい。
【００３６】
上記の画像表示方法において、２フィールド前の画像データと現在のフィールドの画像データが同一である場合に、更に、前記パターン・カウントが初期化のための所定値であるならば、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数を増加させるステップと、２フィールド前の画像データと現在のフィールドの画像データが同一でない場合に、更に、前記パターン・カウントが初期化のための所定値であるならば、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数を減少させるステップと、２フィールド前の画像データと現在のフィールドの画像データが同一でない場合に、更に、前記パターン・カウントが初期化のための所定値でないならば、現在のフィールドがフィルム画像から生成されたフィールドである可能性を示す変数を増加させるステップと、を更にそなえるようにしてもよい。
【発明の効果】
【００３７】
本発明によれば、対象となっているフィールドの補間をするべき画素について第１の動き量を算出するステップと、対象となっているフィールドと隣接するフィールドの画素のうちの、前記対象となっているフィールドの補間をするべき画素から垂直方向に離れた画素について第２の動き量を算出するステップと、前記第１の動き量と前記第２の動き量を基に、第３の動き量を算出するステップと、前記第３の動き量を基に、対象となっているフィールドの補間をするべき画素の値を算出するステップと、を備えるので、動画部分が静止画部分として判断されてしまうことを防止することができる。
【発明を実施するための最良の形態】
【００３８】
以下、図面を参照して本発明を実施するための最良の形態について詳細に説明する。
【００３９】
［実施形態１］
図１は、本発明の実施形態１によるインターレス／プログレッシブ変換装置の構成を示すブロック図である。
【００４０】
第１のフィールド・メモリ１０１−１は、処理対象となっているフィールドの１つ先のフィールドの画像データを格納する。第２のフィールド・メモリ１０１−２は、処理対象となっているフィールドの画像データを格納する。第３のフィールド・メモリ１０１−３は、処理対象となっているフィールドの１つ前のフィールドの画像データを格納する。
【００４１】
画像データ書込部１０３は、第１乃至第３のフィールド・メモリ１０１−１、１０１−２及び１０１−３に画像データを書き込む。なお、第１乃至第３のフィールド・メモリ１０１−１、１０１−２及び１０１−３をリング・バッファ構成とし、循環的に、３つのフィールドの画像データをこれらのフィールド・メモリに格納するようにしても良い。
【００４２】
動画補間画素生成部１０５は、第２のフィールド・メモリ１０１−２に格納されている画像データを基に、動画補間画素を生成する。例えば、現在処理の対象となっているフィールドの番号をｎ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の水平方向位置をｉ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の垂直方向位置をｊとした場合、式（１）に従って、動画補間画素Ａ（ｎ，ｉ，ｊ）を生成する。
【００４３】
【数１】
2006238000.tif 000003
ここで、ｘ（ｎ，ｉ−１，ｊ）は、処理の対象となっているフィールドの処理の対象となっている画素の１つ上の画素の値であり、ｘ（ｎ，ｉ＋１，ｊ）は、処理の対象となっているフィールドの処理の対象となっている画素の１つ下の画素の値である。上記では、これらの２つの画素の値の平均値を処理の対象となっている画素の値としているが、これらの２つの画素のうちの１つの画素の値を処理の対象となっている画素の値としてもよい。また、処理の対象となっているフィールドの画素のうちの処理の対象となっている画素の所定の近傍の画素の値の加重平均を処理の対象となっている画素の値としてもよい。
【００４４】
静止画補間画素生成部１０７は、第１のフィールド・メモリ１０１−１に格納されている画素データ及び第３のフィールド・メモリ１０１−３に格納されている画素データを基に、静止画画素を生成する。例えば、現在処理の対象となっているフィールドの番号をｎ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の水平方向位置をｉ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の垂直方向位置をｊとした場合、式（２）に従って、動画補間画素Ｂ（ｎ，ｉ，ｊ）を生成する。
【００４５】
【数２】
2006238000.tif 000004
ここで、ｘ（ｎ−１，ｉ，ｊ）は、処理の対象となっているフィールドの１つ前のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値であり、ｘ（ｎ＋１，ｉ，ｊ）は、処理の対象となっているフィールドの１つ後のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値である。上記では、これらの２つの画素の値の平均値を処理の対象となっている画素の値としているが、これらの２つの画素のうちの１つの画素の値を処理の対象となっている画素の値としてもよい。また、処理の対象となっているフィールドの近傍のフィールドの画素のうちの処理の対象となっている画素と同一の位置にある画素の値の加重平均を処理の対象となっている画素の値としてもよい。
【００４６】
差分計算部１０９は、処理の対象となっているフィールドの処理の対象となっている画素についての差分Ｃ（ｎ，ｉ，ｊ）を式（３）に従って求める。
【００４７】
【数３】
2006238000.tif 000005
ここで、ｘ（ｎ−１，ｉ，ｊ）は、処理の対象となっているフィールドの１つ前のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値であり、ｘ（ｎ＋１，ｉ，ｊ）は、処理の対象となっているフィールドの１つ後のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値である。差分Ｃ（ｎ，ｉ，ｊ）は、動き量の基本となる。
【００４８】
差分補正部１１１は、式（４）に従って、補正された差分Ｄ（ｎ，ｉ，ｊ）を求める。
【００４９】
【数４】
2006238000.tif 000006
ここで、Δｃの値は、ノイズのレベル等により決定され、補正値保持部１１３に格納されている。
【００５０】
差分累積部１１５は、累積動き量メモリ１１７に格納されている累積動き量ｍ（ｉ，ｊ）を式（５）に従って更新する。
【００５１】
【数５】
2006238000.tif 000007
ここで、ＴＨの値は、視覚特性等により決定され、しきい値保持部１１９に格納されている。ＴＨの値は、例えば、１６である。
【００５２】
上式に従って、累積動き量ｍ（ｉ，ｊ）を計算することにより、あるフィールドである量の動きが検出された場合には、そのフィールドでは、累積動き量ｍ（ｉ，ｊ）は、その前のフィールドでの累積動き量にその動きの量を加算してから１引いた値又は、動き量が大きい場合には、しきい値ＴＨとなり、それから１フィールド経過する度に１ずつ減少する。こうすることにより、動き検出は、尾を引くこととなる。これにより、動きがあった後に動画部が間違って静止画部であると判断される可能性を低くすることができる。動画部が間違って静止画部であると判断された場合には、動画部として正しく処理された時に算出される補間値とは全く異なった補間値が算出され、視覚上問題となる。一方、静止画部が間違って動画部であると判断された場合には、解像度が落ちるだけであり、視覚上問題とはならない。特に、実際に動きが検出された部分の周辺の静止画部は、動画部であると間違って判断されたとしても、その部分の解像度の低下は実際に動きがある部分によるマスキング効果により視覚されない。従って、式（５）を導入して、動画部が間違って静止画部と判断される可能性を低くすることの長所は、静止画部が間違って動画部と判断される可能性が増える欠点を上回るので、式（５）を導入することは、全体として、画質改善に役立つ。また、文字が固定されているテロップ部等の多くの静止画部は、式（５）を導入しても、間違って、動画部であると判断されることはない。
【００５３】
動き量計算部１２１は、式（６）に従って動き量Ｍ（ｉ，ｊ）を算出する。
【００５４】
【数６】
2006238000.tif 000008
合成補間画素生成部１２３は、式（７）に従って合成補間画素ｘ’（ｎ，ｉ，ｊ）を計算する。
【００５５】
【数７】
2006238000.tif 000009
選択部１２５は、ライン毎に実在画素ｘ（ｎ，ｉ，ｊ）と補間画素ｘ’（ｎ，ｉ，ｊ）を切り換えて、プログレッシブ走査の画像データを出力する。
【００５６】
なお、図１に示すインターレス／プログレッシブ変換装置は、ハードウェアによって実現することもできるが、コンピュータを図１に示すインターレス／プログレッシブ変換装置として機能させるためのプログラムをコンピュータが読み込んで実行することによっても実現することができる。
【００５７】
次に、式（６）に従って動き量Ｍ（ｉ，ｊ）を計算することの効果について説明する。
【００５８】
図２に示すように、白い平坦な背景上を黒い縦線が右に移動する場合を想定する。また、考察を容易にするために、動き累積量ｍ（ｉ，ｊ）を式（８）に従って計算するものとする。
【００５９】
【数８】
2006238000.tif 000010
そうすると、式（６）を用いずに、仮に、式（９）に従って、動き量Ｍ（ｉ，ｊ）を計算することとすると、図２に示すように、動きが検出されずに、静止画補間画素により補間が行われることとなり、コーミングが発生する。
【００６０】
【数９】
2006238000.tif 000011
すなわち、図２において、四角の画素は元々ある画素であり、丸の画素は補完するべき画素である。例えば、画素１３４と画素３３４との差分の絶対値が画素２３４の動き量となるが、この値はゼロであるため、画素２３４は、静止画画素であると間違って判断される。そうすると、画素１３４と画素３３４の平均値が画素２３４の補間値となり、画素２３４は白となってしまう。画素２１４、２５４についても同様である。そうすると、画素２２４、２４４、２６４が正しく黒であるのに対し、画素２１４、２３４、２５４は間違って白となってしまい、コーミングが発生する。
【００６１】
一方、本発明に従って、式（６）に従って、動き量Ｍ（ｉ，ｊ）を計算することとすると、図３に示すように、正しく動きが検出され、動画補間画素により補間が行われることとなり、コーミングが発生しない。
【００６２】
すなわち、図３において、図２の場合と同様に、四角の画素は元々ある画素であり、丸の画素は補完するべき画素である。例えば、画素１３４と画素３３４との差分の絶対値に画素０４４と画素２４４との差分の絶対値の和としきい値ＴＨのうちの大きい方が画素２３４の動き量となるが、この値はしきい値ＴＨであるため、画素２３４は、動画画素であると正しく判断される。そうすると、画素２２４と画素２４４の平均値が画素２３４の補間値となり、画素２３４は黒となる。画素２１４、２５４についても同様である。そうすると、画素２２４、２４４、２６４が正しく黒であり、且つ、画素２１４、２３４、２５４も正しく黒であるため、コーミングは発生しない。
【００６３】
このように、式（６）に従って動き量Ｍ（ｉ，ｊ）を計算することにより、動画画素が間違って静止画画素であると判断されることを回避することができる。
【００６４】
次に、図１に示すインターレス／プログレッシブ変換装置により行われるインターレス／プログレッシブ変換方法について説明する。
【００６５】
図４を参照すると、まず、動画補間画素生成部１０５は、式（１）に従って、動画補間画素を生成する（ステップＳ２０１）。次に、静止画補間画素生成部１０７は、式（２）に従って、静止画補間画素を生成する（ステップＳ２０３）。次に、差分計算部１０９は、式（３）に従って、差分を計算する（ステップＳ２０５）。次に、差分補正部１１１は、式（４）に従って、差分を補正する（ステップＳ２０７）。次に、差分累積部１１５は、式（５）に従って、累積動き量を更新する（ステップＳ２０９）。次に、動き量計算部１２１は、式（６）に従って、動き量を計算する（ステップＳ２１１）。次に、合成補間画素生成部１２３は、式（７）に従って、合成補間画素を生成する（ステップＳ２１３）。
【００６６】
［実施形態２］
実施形態１の構成でインターレス／プログレッシブ変換を行うと、動画像に付随する音声に対して動画像のタイミングが遅れてしまう場合がある。実施形態２は、音声に対して動画像のタイミングが遅れないようにするものである。このために、将来のフィールドの画像データを用いずに処理を行う。
【００６７】
図５は、本発明の実施形態２によるインターレス／プログレッシブ変換装置の構成を示すブロック図である。
【００６８】
第１のフィールド・メモリ１３１−１は、処理対象となっているフィールドの画像データを格納する。第２のフィールド・メモリ１３１−２は、処理対象となっているフィールドの１つ前のフィールドの画像データを格納する。第３のフィールド・メモリ１３１−３は、処理対象となっているフィールドの２つ前のフィールドの画像データを格納する。第４のフィールド・メモリ１３１−４は、処理対象となっているフィールドの３つ前のフィールドの画像データを格納する。
【００６９】
画像データ書込部１３３は、第１乃至第４のフィールド・メモリ１３１−１、１３１−２、１３１−３及び１３１−４に画像データを書き込む。なお、第１乃至第４のフィールド・メモリ１３１−１、１３１−２、１３１−３及び１３１−３をリング・バッファ構成とし、循環的に、４つのフィールドの画像データをこれらのフィールド・メモリに格納するようにしても良い。
【００７０】
動画補間画素生成部１０５は、第１のフィールド・メモリ１３１−１に格納されている画像データを基に、動画補間画素を生成する。例えば、現在処理の対象となっているフィールドの番号をｎ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の水平方向位置をｉ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の垂直方向位置をｊとした場合、式（１０）に従って、動画補間画素Ａ（ｎ，ｉ，ｊ）を生成する。
【００７１】
【数１０】
2006238000.tif 000012
ここで、ｘ（ｎ，ｉ−１，ｊ）は、処理の対象となっているフィールドの処理の対象となっている画素の１つ上の画素の値であり、ｘ（ｎ，ｉ＋１，ｊ）は、処理の対象となっているフィールドの処理の対象となっている画素の１つ下の画素の値である。上記では、これらの２つの画素の値の平均値を処理の対象となっている画素の値としているが、これらの２つの画素のうちの１つの画素の値を処理の対象となっている画素の値としてもよい。また、処理の対象となっているフィールドの画素のうちの処理の対象となっている画素の所定の近傍の画素の値の加重平均を処理の対象となっている画素の値としてもよい。
【００７２】
静止画補間画素生成部１３７は、第２のフィールド・メモリ１３１−２に格納されている画素データを基に、静止画画素を生成する。例えば、現在処理の対象となっているフィールドの番号をｎ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の水平方向位置をｉ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の垂直方向位置をｊとした場合、式（１１）に従って、動画補間画素Ｂ（ｎ，ｉ，ｊ）を生成する。
【００７３】
【数１１】
2006238000.tif 000013
ここで、ｘ（ｎ−１，ｉ，ｊ）は、処理の対象となっているフィールドの１つ前のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値である。但し、処理の対象となっているフィールドの過去の近傍のフィールドの画素のうちの処理の対象となっている画素と同一の位置にある画素の値の加重平均を処理の対象となっている画素の値としてもよい。
【００７４】
差分計算部１３９は、処理の対象となっているフィールドの処理の対象となっている画素についての差分Ｃ（ｎ，ｉ，ｊ）を式（１２）に従って求める。
【００７５】
【数１２】
2006238000.tif 000014
ここで、ｘ（ｎ−３，ｉ，ｊ）は、処理の対象となっているフィールドの３つ前のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値であり、ｘ（ｎ−１，ｉ，ｊ）は、処理の対象となっているフィールドの１つ前のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値である。差分Ｃ（ｎ，ｉ，ｊ）は、動き量の基本となる。
【００７６】
差分補正部１４１は、式（１３）に従って、補正された差分Ｄ（ｎ，ｉ，ｊ）を求める。
【００７７】
【数１３】
2006238000.tif 000015
ここで、Δｃの値は、ノイズのレベル等により決定され、補正値保持部１１３に格納されている。
【００７８】
差分累積部１４５は、累積動き量メモリ１４７に格納されている累積動き量ｍ（ｉ，ｊ）を式（１４）に従って更新する。
【００７９】
【数１４】
2006238000.tif 000016
ここで、ＴＨの値は、視覚特性等により決定され、しきい値保持部１４９に格納されている。ＴＨの値は、例えば、１６である。
【００８０】
上式に従って、累積動き量ｍ（ｉ，ｊ）を計算することにより、あるフィールドである量の動きが検出された場合には、そのフィールドでは、累積動き量ｍ（ｉ，ｊ）は、その前のフィールドでの累積動き量にその動きの量を加算してから１引いた値又は、動き量が大きい場合には、しきい値ＴＨとなり、１フィールド経過する度に１ずつ減少する。こうすることにより、動き検出は、尾を引くこととなる。これにより、動きがあった後に動画部が間違って静止画部であると判断される可能性を低くすることができる。
【００８１】
動き量計算部１５１は、式（１５）に従って動き量Ｍ（ｉ，ｊ）を算出する。
【００８２】
【数１５】
2006238000.tif 000017
合成補間画素生成部１５３は、式（１６）に従って合成補間画素ｘ’（ｎ，ｉ，ｊ）を計算する。
【００８３】
【数１６】
2006238000.tif 000018
選択部１５５は、ライン毎に実在画素ｘ（ｎ，ｉ，ｊ）と補間画素ｘ’（ｎ，ｉ，ｊ）を切り換えて、プログレッシブ走査の画像データを出力する。
【００８４】
なお、図５に示すインターレス／プログレッシブ変換装置は、ハードウェアによって実現することもできるが、コンピュータを図５に示すインターレス／プログレッシブ変換装置として機能させるためのプログラムをコンピュータが読み込んで実行することによっても実現することができる。
【００８５】
［実施形態３］
実施形態１の構成に従った場合、図６に示すように、シーンチェンジの境界の前後のフィールド（図６の例では、フィールドＢ２とフィールドＡ３）では、全ての補間画素について動画補間（フィールド内補間）をするべきである。しかし、画像データの内容によっては、一部の補間画素について静止画補間が行われる可能性がある。そこで、実施形態３では、各フィールド毎にシーンチェンジを検出し、シーンチェンジの境界の前後のフィールドでは、全ての補間画素について強制的に動画補間（フィールド内補間）を行う。
【００８６】
図７は、本発明の実施形態３によるインターレス／プログレッシブ変換装置の構成を示すブロック図である。
【００８７】
図７と図１を比較すると明らかなように、実施形態３によるインターレス／プログレッシブ変換装置は、実施形態１によるインターレス／プログレッシブ変換装置と比較すると、シーンチェンジ検出部１６１が追加されている点のみが異なる。従って、シーンチェンジ検出部１６１及びその周辺部のみについて説明する。
【００８８】
図６を参照すると、フィールドＢ２について処理を行っている時には、フィールドＢ２の直前のフィールドであるフィールドＡ２とフィールドＢ２の直後のフィールドであるフィールドＡ３が異なったシーンに属するものであることを検出すればよい。同様に、フィールドＡ３について処理を行っている時には、フィールドＡ３の直前のフィールドであるフィールドＢ２とフィールドＡ３の直後のフィールドであるフィールドＢ３が異なったシーンに属するものであることを検出すればよい。従って、処理しているフィールドの直前のフィールドと直後のフィールドが異なったシーンに属するものであることを検出すればよい。異なったシーンに属するものであるかを検出するためには、例えば、両フィールドの間の相互相関値がしきい値以下であるか否かを判断したり、両フィールドの間の相互相関値が急に変化したか否かを判断すればよい。
【００８９】
このために、シーンチェンジ検出部１６１は、第１のフィールド・メモリ１０１−１から現在のフィールドの１つ後のフィールドの画像データを入力し、第３のフィールド・メモリ１０１−３から現在のフィールドの１つ前のフィールドの画像データを入力し、両画像データの間の相互相関値等を計算することにより、シーンチェンジを検出する。シーンチェンジ検出部１６１は、シーンチェンジを検出した場合には、累積動き量メモリ１１７に格納されている全ての累積動き量をしきい値ＴＨに設定する。こうすることにより、フィールド内の全ての補間画素は、動画補間画素となる。
【００９０】
なお、図７に示すインターレス／プログレッシブ変換装置は、ハードウェアによって実現することもできるが、コンピュータを図７に示すインターレス／プログレッシブ変換装置として機能させるためのプログラムをコンピュータが読み込んで実行することによっても実現することができる。
【００９１】
［実施形態４］
実施形態４では、画像データ書込部１３３の前段にノイズ除去フィルタを配置する。このノイズ除去フィルタにより平坦部のノイズを除去する。
【００９２】
図８にノイズ除去フィルタの構成例を示す。図８を参照すると、このノイズ除去フィルタは、遅延回路１７１−１〜１７１−６、掛算器１７２−１〜１７２−７、加算器１７３、比較器１７４及びセレクタ１７５を備える。
【００９３】
遅延回路１７１−１〜１７１−６は、１画素単位で画素を遅延させる。掛算器１７２−１〜１７２−７と加算器１７３は積和回路を構成する。掛算器１７２−１〜１７２−７の係数を適切に選ぶことにより（例えば、１／８、１／８、１／８、２／８、１／８、１／８、１／８）、遅延回路１７１−１〜１７１−６、掛算器１７２−１〜１７２−７及び加算器１７３を低域通過フィルタにする。比較器１７４は、加算器１７３の出力データの値が、遅延回路１７１−３の出力データの値から所定値を減算した値と遅延回路１７１−３の出力データの値に所定値を加算した値との間にあるか否かを判断する。セレクタ１７５は、加算器１７３の出力データの値が、遅延回路１７１−３の出力データの値から所定値を減算した値と遅延回路１７１−３の出力データの値に所定値を加算した値との間にある場合には、加算器１７３の出力データを選択し、そうでない場合には、遅延回路１７１−３の出力データを選択する。こうすることにより、平坦部のノイズを除去することが可能となる。
【００９４】
なお、図８に示すノイズ除去フィルタは、ハードウェアによって実現することもできるが、コンピュータを図８に示すノイズ除去フィルタとして機能させるためのプログラムをコンピュータが読み込んで実行することによっても実現することができる。
【００９５】
［実施形態５］
実施形態１から実施形態４では、レンダラを考慮していなかったが、図９に示すように、インターレス／プログレッシブ変換装置の最終段にはレンダラ１９１が存在する。レンダラ１９１は、画像データをモニタのクロック周波数、水平同期周波数及びフレーム周波数でモニタに出力する機能を持つ。
【００９６】
図９を参照すると、レンダラ１９１は、書込部１９２、Ａフレーム・メモリ１９３、Ｂフレーム・メモリ１９４及び読出部１９５を備える。Ａフレーム・メモリ１９３及びＢフレーム・メモリ１９４は、交互に、相補的に、書込みフレーム・メモリ及び表示フレーム・メモリとなる。
【００９７】
書込部１９２は、Ａフレーム・メモリ１９３とＢフレーム・メモリ１９４のうち現在書込みフレーム・メモリとなっているものに画像データを書き込む。読出部１９５は、Ａフレーム・メモリ１９３とＢフレーム・メモリ１９４のうち現在表示フレーム・メモリとなっているものから画像データを読み出し、それをモニタに供給する。
【００９８】
図９に示すフィールド・メモリ群１０１（又は１３１）は、例えば、図１の例でいうと、フィールド・メモリ１０１−１〜１０１−３の群である。画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８２Ｃ）は、例えば、図１の例でいうと、図１の符号１８２Ａの枠で囲まれたブロック群を含む。書込み時刻メモリ１８１には、画像データ書込部１０３（又は１３３）が、画像データをフィールド・メモリ群１０１（又は１３１）に書き込む時刻を格納する。タイミング制御部１８３は、画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８２Ｃ）が画像データの読出し及び補間を行い、その結果得られたプログレッシブの画像データを書込部１９２に供給し、書込部１９２がＡフレーム・メモリ１９３とＢフレーム・メモリ１９４のうち現在書込みフレーム・メモリとなっているものに画像データを書き込むためのタイミングを制御する。
【００９９】
次に、図１０を参照して、特に、タイミング制御部１８３により行われるタイミング制御を説明する。
【０１００】
図１０を参照すると、画像データ書込部１０３（又は１３３）が、最初に、画像データをフィールド・メモリ１０１（又は１３１）に書き込む時刻をＴ−Ｉｎ（１）とする。時刻Ｔ−Ｉｎ（１）は、書込み時刻メモリ１８１に書き込まれる。以降、画像データ書込部１０３（又は１３３）が、画像データをフィールド・メモリ１０１（又は１３１）に書き込む度に、書き込み時刻Ｔ−Ｉｎ（２）、Ｔ−Ｉｎ（３）、Ｔ−Ｉｎ（４）、・・・が書込み時刻メモリ１８１に書き込まれる。
【０１０１】
時刻Ｔ−Ｉｎ（１）において、タイミング制御部１８３は、書込部１９２に対し、書き込み要求を出力する。図１０では、ＶＲＡＭ取得の短冊の左端が書込み要求を出力する時刻である。この時、書込みフレーム・メモリであるＢフレーム・メモリ１９４に既に画像データが書き込まれている（Ｂフレーム・メモリ１９４の画像データはまだ読み出されていない）ので、読出部１９５によるＡフレーム・メモリ１８３からの画像データの読み出しの処理が完了してＡフレーム・メモリ１９３が空く時刻Ｔ−Ｒ（１）まで待ちが発生し、時刻Ｔ−Ｒ（１）に書込部１９２は、タイミング制御部１８３に肯定応答（ＡＣＫ）を返す。図１０では、ＶＲＡＭ取得の短冊の右端が肯定応答を返す時刻である。従って、ＶＲＡＭ取得の短冊の幅は、タイミング制御部１８３が書き込み要求を書込部１９２に出力してから書込部１９２が肯定応答をタイミング制御部１８３に返すまでの待ち期間を表す。
【０１０２】
そして、時刻Ｔ−Ｒ（１）から画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８３Ｃ）は、インターレス／プログレッシブ変換の処理を開始する。インターレス／プログレッシブ変換の処理と並行して、書込部１９２は、変換後の画像データをＡフレーム・メモリ１９３に書き込む。図１０では、処理の短冊で表される部分がインターレス／プログレッシブ変換の処理及び書込みを行っている期間である。
【０１０３】
そして、画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８３Ｃ）がインターレス／プログレッシブ変換の処理を終了したならば、タイミング制御部１８３は、次に述べるように、ｄｉｆｆ（２）及びＴ−Ｏｕｔ（２）の計算等を行う。図１０では、計算の短冊の部分がこの計算等を行う期間である。まず、インターレス／プログレッシブ変換の処理及び書込みの終了の時刻を、時刻Ｔ−Ｉｎ（１）から所定のオフセット時間ΔＴだけ遅れた時刻Ｔ−Ｏｕｔ（１）と比較する。この例では、前者が後者よりも遅いので、「遅れ」が発生していると判断する。そして、この例では、その「遅れ」が所定値以上である。この場合、タイミング制御部１８３は、Ｄｉｆｆ（２）＝Ｄｉｆｆ（１）＋α１にする。ここで、Ｄｉｆｆ（１）は、Ｄｉｆｆ（ｉ）の初期値である。ｄｉｆｆ（ｉ）は、Ｔ−Ｏｕｔ（ｉ）からＴ−Ｏｕｔ（ｉ＋１）までの時間差である。従って、Ｔ−Ｏｕｔ（ｉ＋１）＝Ｔ−Ｏｕｔ（ｉ）＋ｄｉｆｆ（ｉ）となる。また、タイミング制御部１８３が、ｉ回目に、書込部１９２に対し、書き込み要求を出力する時刻は、常に、時刻Ｔ−Ｏｕｔ（ｉ）からオフセット時間ΔＴだけ先行した時刻である。従って、タイミング制御部１８３が、（ｉ＋１）回目に、書込部１９２に対し、書き込み要求を出力する時刻は、タイミング制御部１８３が、ｉ回目に、書込部１９２に対し、書き込み要求を出力する時刻からｄｉｆｆ（ｉ）だけ遅れた時刻となる。
【０１０４】
タイミング制御部１８３が、１回目に、書込部１９２に対し、書き込み要求を出力する時刻は、Ｔ−Ｉｎ（１）であるので、タイミング制御部１８３が、２回目に、書込部１９２に対し、書き込み要求を出力する時刻は、Ｔ−Ｉｎ（１）＋ｄｉｆｆ（１）である。タイミング制御部１８３が、２回目に、書込部１９２に対し、書き込み要求を出力する時刻でも、書込みフレーム・メモリであるＡフレーム・メモリ１９３に既に画像データが書き込まれている（Ａフレーム・メモリ１８３に書き込まれている画像データはまだ読み出されていない）ので、読出部１９５によるＢフレーム・メモリ１９４からの画像データの読み出しの処理が完了してＢフレーム・メモリ１９４が空く時刻Ｔ−Ｒ（２）まで待ちが発生し、時刻Ｔ−Ｒ（２）に書込部１９２は、タイミング制御部１８３に肯定応答（ＡＣＫ）を返す。そして、時刻Ｔ−Ｒ（２）から画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８３Ｃ）は、インターレス／プログレッシブ変換の処理を開始する。インターレス／プログレッシブ変換の処理と並行して、書込部１９２は、変換後の画像データをＢフレーム・メモリ１９３に書き込む。
【０１０５】
そして、画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８３Ｃ）がインターレス／プログレッシブ変換の処理を終了したならば、タイミング制御部１８３は、終了の時刻を、時刻Ｔ−Ｏｕｔ（２）と比較する。但し、上述したようにＴ−Ｏｕｔ（ｉ＋１）＝Ｔ−Ｏｕｔ（ｉ）＋ｄｉｆｆ（ｉ）であるので、時刻Ｔ−Ｏｕｔ（２）＝Ｔ−ｏｕｔ（１）＋ｄｉｆｆ（１）である。この例では、インターレス／プログレッシブ変換の処理の終了の時刻が時刻Ｔ−Ｏｕｔ（２）よりも遅いので、「遅れ」が発生していると判断する。そして、この例では、その「遅れ」が所定値未満である。この場合、タイミング制御部１８３は、Ｄｉｆｆ（３）＝Ｄｉｆｆ（２）にする。
【０１０６】
タイミング制御部１８３が、３回目に、書込部１９２に対し、書き込み要求を出力する時刻は、Ｔ−Ｉｎ（１）＋ｄｉｆｆ（１）＋ｄｉｆｆ（２）である。タイミング制御部１８３が、３回目に、書込部１９２に対し、書き込み要求を出力する時刻では、書込みフレーム・メモリであるＢフレーム・メモリ１９４に既に画像データが書き込まれているので、読出部１９５による読み出しの処理が完了してＡフレーム・メモリ１９４が空く時刻Ｔ−Ｒ（３）まで待ちが発生し、時刻Ｔ−Ｒ（３）に書込部１９２は、タイミング制御部１８３に肯定応答（ＡＣＫ）を返す。そして、時刻Ｔ−Ｒ（３）から画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８３Ｃ）は、インターレス／プログレッシブ変換の処理を開始する。インターレス／プログレッシブ変換の処理と並行して、書込部１９２は、変換後の画像データをＡフレーム・メモリ１９３に書き込む。
【０１０７】
そして、画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８３Ｃ）がインターレス／プログレッシブ変換の処理を終了したならば、タイミング制御部１８３は、終了の時刻を、時刻Ｔ−Ｏｕｔ（３）と比較する。但し、上述したようにＴ−Ｏｕｔ（ｉ＋１）＝Ｔ−Ｏｕｔ（ｉ）＋ｄｉｆｆ（ｉ）であるので、時刻Ｔ−Ｏｕｔ（３）＝Ｔ−ｏｕｔ（２）＋ｄｉｆｆ（２）である。この例では、インターレス／プログレッシブ変換の処理の終了の時刻が時刻Ｔ−Ｏｕｔ（３）よりも早いので、「進み」が発生していると判断する。そして、この例では、その「進み」が所定値以上である。この場合、タイミング制御部１８３は、Ｄｉｆｆ（４）＝Ｄｉｆｆ（３）−α２にする。
【０１０８】
タイミング制御部１８３が、４回目に、書込部１９２に対し、書き込み要求を出力する時刻は、Ｔ−Ｉｎ（１）＋ｄｉｆｆ（１）＋ｄｉｆｆ（２）＋ｄｉｆｆ（３）である。タイミング制御部１８３が、４回目に、書込部１９２に対し、書き込み要求を出力する時刻では、書込みフレーム・メモリであるＢフレーム・メモリ１９４が空いているので、待ちが発生せず、その時刻の直後に書込部１９２は、タイミング制御部１８３に肯定応答（ＡＣＫ）を返す。そして、肯定応答（ＡＣＫ）の返信の直後から画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８３Ｃ）は、インターレス／プログレッシブ変換の処理を開始する。インターレス／プログレッシブ変換の処理と並行して、書込部１９２は、変換後の画像データをＡフレーム・メモリ１９３に書き込む。
【０１０９】
そして、画像データ読出し／補間部１８２Ａ（又は１８２Ｂ又は１８３Ｃ）がインターレス／プログレッシブ変換の処理を終了したならば、タイミング制御部１８３は、終了の時刻を、時刻Ｔ−Ｏｕｔ（４）と比較する。但し、上述したようにＴ−Ｏｕｔ（ｉ＋１）＝Ｔ−Ｏｕｔ（ｉ）＋ｄｉｆｆ（ｉ）であるので、時刻Ｔ−Ｏｕｔ（４）＝Ｔ−ｏｕｔ（３）＋ｄｉｆｆ（３）である。この例では、インターレス／プログレッシブ変換の処理の終了の時刻が時刻Ｔ−Ｏｕｔ（４）よりも早いので、「進み」が発生していると判断する。そして、この例では、その「進み」が所定値以上である。この場合、タイミング制御部１８３は、Ｄｉｆｆ（５）＝Ｄｉｆｆ（４）−α２にする。
【０１１０】
以下、同様なことが繰り返される。このようにして、ｄｉｆｆの値が進み又は遅れかにより更新されていき、次回の書き込み要求を出力する時刻は、今回の書込み要求を出力する時刻にｄｉｆｆを加算した時刻となり、次回のインターレス／プログレッシブ変換処理を終了した時刻は、今回の時刻Ｔ−ｏｕｔにｄｉｆｆを加算した時刻と比較され、再度、ｄｉｆｆの値が進み又は遅れかにより更新されていく。この結果、Ａフレーム・メモリ１９３又はＢフレーム・メモリの何れかが空いている期間に、インターレス／プログレッシブ変換処理及び空いているフレーム・メモリへの画像データの書込みが行われる。収束状態においては、図１０に示すように、ｄｉｆｆの値は振動する。
【０１１１】
また、レンダラの動作周波数が遅い場合には、書込み時刻Ｔ−Ｉｎの周期が読出し時刻Ｔ−Ｏｕｔの周期と比べて短くなることがある。このような場合、タイミング制御部１８３は、書込み時刻メモリ１８１に書き込まれている最後の時刻Ｔ−Ｉｎから今回の時刻Ｔ−Ｏｕｔまでの時間が所定時間以上である場合には、最後の時刻Ｔ−Ｉｎに書き込まれた画像データを破棄する。この様子を図１１に示す。
【０１１２】
なお、図９に示すレンダラ１９１及びタイミング制御部１８３は、ハードウェアによって実現することもできるが、コンピュータを図９に示すレンダラ１９１及びタイミング制御部１８３として機能させるためのプログラムをコンピュータが読み込んで実行することによっても実現することができる。
【０１１３】
［実施形態６］
実施形態６は、２４ｆｐｓのフィルム画像データから作成された約６０ｆｐｓのインターレス画像データを、元の２４ｆｐｓのフィルム画像データとして表示するものである。
【０１１４】
図１２を参照すると、まず、２フィールド前の画像データと現在のフィールドの画像データが同一であるか否かを判断する（ステップＳ２２１）。この判断のためには、例えば、画素毎の差分の絶対値を求め、その絶対値がフィールドの全部又は一部の画素についてしきい値以下であるか否かを判断する。
【０１１５】
同一である（変化がない）と判断した場合には（ステップＳ２２１で「変化なし」）、変数である「パターン・カウント」がゼロであるか否かを判断する（ステップＳ２２２）。「パターン・カウント」は、フィルム画像から作成された画像データを表示している期間は、５、４，３、２、１、５、４、３、２、１、５・・・と変化し、フィルム画像から作成されたのでない画像を表示している期間は、ゼロである。
【０１１６】
「パターン・カウント」がゼロである場合には（ステップＳ２２２で「＝０」）、「パターン・カウント」を５に初期化し、また、変数である「２４ｆｐｓ可能性」を１増加させる（ステップＳ２２４）。ステップＳ２２４で「パターン・カウント」を５に初期化することにより、「パターン・カウント」の位相が初期化される。「２４ｆｐｓ可能性」は、現在のフィールドがフィルム画像から得られたものである可能性を示すものであり、この値が大きいほど、その可能性が高い。
【０１１７】
「パターン・カウント」がゼロでない場合には（ステップＳ２２２で「≠０」）、ステップＳ２２４をスキップする。これは、静止画である場合、又は、変化があるのに間違って変化がないと判断された場合に生じる。
【０１１８】
２フィールド前の画像データと現在のフィールドの画像データが同一でない（変化がある）と判断した場合には（ステップＳ２２１で「変化あり」）、「パターン・カウント」がゼロであるか否かを判断する（ステップＳ２２３）。
【０１１９】
「パターン・カウント」がゼロでない場合には（ステップＳ２２３で「≠０」）、「２４ｆｐｓ可能性」を１だけ増加させる（ステップＳ２２６）。但し、「２４ｆｐｓ可能性」の上限値を、一例として、１１とする。従って、１だけ増加させて１２になる場合には、１１とする。フィルム画像から得られたフィールドのうち、重複しないフィールドを処理している時には、ステップＳ２２６を実行することとなる。
【０１２０】
「パターン・カウント」がゼロである場合には（ステップＳ２２３で「＝０」）、「２４ｆｐｓ可能性」を１だけ減少させ、また、「２４ｆｐｓ可能性」が１０以上である場合には、「パターン・カウント」を５に初期化する（ステップＳ２２５）。但し、「２４ｆｐｓ可能性」を１だけ減少させる場合には、「２４ｆｐｓ可能性」の下限値を、一例として、ゼロとする。従って、１だけ減少させて−１になる場合には、ゼロとする。フィルム画像から得られたフィールドのうち重複しているフィールドを処理しているのに、ステップＳ２２１で、誤って、「変化あり」と判断した場合に、ステップＳ２２５を実行することとなる。また、フィルム画像から得られたのではないフィールドを処理する場合にも、ステップＳ２２５を実行することとなる。
【０１２１】
ステップＳ２２４で「≠０」である場合にステップＳ２２７に進む。また、ステップＳ２２４、Ｓ２２５又はＳ２２６からもステップＳ２２７に進む。
【０１２２】
ステップＳ２２７では、「パターン・カウント」がゼロであるか否かを判断する。「パターン・カウント」がゼロであるとは、現在のフィールドが、フィルム画像から得られたものではないことを意味するので、このような場合には（ステップＳ２２７で「＝０」）、インターレス／プログレッシブ変換処理を行い、これにより得られた画像を表示する（ステップＳ２３１）。インターレス／プログレッシブ変換処理のためには、実施形態１乃至４を利用する。
【０１２３】
「パターン・カウント」がゼロでない場合には（ステップＳ２２７で「≠０」）、「パターン・カウント」を１だけ減少させる（ステップＳ２２８）。これにより、フィルム画像から得られたフィールドが連続している場合に、各フィールド毎に「パターン・カウント」が１だけ減少するようになる。
【０１２４】
次に、「２４ｆｐｓ可能性」が５以上であるか否かを判断する（ステップＳ２２９）。
【０１２５】
「２４ｆｐｓ可能性」が５未満である場合には（ステップＳ２２９で「＜５」）、「パターン・カウント」がゼロではなくても、現在のフィールドがフィルム画像から得られたものではない可能性が高いので、インターレス／プログレッシブ変換処理を行い、これにより得られた画像を表示する（ステップＳ２３１）。
【０１２６】
「２４ｆｐｓ可能性」が５以上である場合には（ステップＳ２２９で「＞＝５」）、「パターン・カウント」が２又は０であるか否かを判断する（ステップＳ２３０）。
【０１２７】
「パターン・カウント」が２又は０である場合には、２フィールド前の画像データと現在のフィールドの画像データが同一であると判断されたフィールドから２フィールド後又は４フィールド後のフィールドを現在扱っていることを意味する。このようなフィールドは、重複したフィールドを除いて考えると、フィルム画像から得られた２つのフィールドのうちの後半部のフィールドである。従って、このような場合には（ステップＳ２３０で「＝２または＝０」）、１つ前のフィールドと現在のフィールドを合わせてフレームを作成し、このフレームを表示する（ステップＳ２３２）。１つ前のフィールドと現在のフィールドを合わせてフレームを作成するためには、インターレス／プログレッシブ変換処理装置において、現在のフレームの全ての領域が静止画領域であるとして扱った上で処理を行えばよい。
【０１２８】
「パターン・カウント」が２でも０でもない場合には、最後のフレームの画像データをそのまま再度表示する（ステップＳ２３３）。
【０１２９】
ステップＳ２２７で「＝０」である場合、及びステップＳ２２９で「＜５」である場合には、インターレス／プログレッシブ変換処理を行い、その結果得られるフレームを表示する（ステップＳ２３１）。
【０１３０】
ステップＳ２２１での判断ミスが全くない場合の動作を図１３及び図１４に示す。また、図１３及び図１４に示す処理を行った後にステップＳ２２１での第１種の判断ミスが１回生じた場合の動作を図１５に示す。更に、図１３及び図１４に示す処理を行った後にステップＳ２２１で第２種の判断ミスが３回生じた場合の動作を図１６に示す。図１５及び図１６に示すように、ステップＳ２２１で判断ミスが生じた場合であっても、正しい処理が最終的に選択されることが分かる。
【０１３１】
なお、図１２に示す表示方法は、ハードウェアによって実現することもできるが、コンピュータを図１２に示す表示方法を行わせるためのプログラムをコンピュータが読み込んで実行することによっても実現することができる。
【図面の簡単な説明】
【０１３２】
【図１】本発明の実施形態１によるインターレス／プログレッシブ変換装置の構成を示すブロック図である。
【図２】本発明の実施形態１の効果を説明するための第１の図である。
【図３】本発明の実施形態１の効果を説明するための第２の図である。
【図４】図１に示すインターレス／プログレッシブ変換装置により行われるインターレス／プログレッシブ変換方法について説明するためのフロー・チャートである。
【図５】本発明の実施形態２によるインターレス／プログレッシブ変換装置の構成を示すブロック図である。
【図６】本発明の実施形態３によるインターレス／プログレッシブ変換装置の動作を説明するためのタイミング図である。
【図７】本発明の実施形態３によるインターレス／プログレッシブ変換装置の構成を示すブロック図である。
【図８】本発明の実施形態４によるノイズ除去フィルタの構成例を示すブロック図である。
【図９】本発明の実施形態５による、レンダラを含んだインターレス／プログレッシブ変換装置の構成を示すブロック図である。
【図１０】図９に示すインターレス／プログレッシブ変換装置の動作を説明するための第１のタイミング図である。
【図１１】図９に示すインターレス／プログレッシブ変換装置の動作を説明するための第２のタイミング図である。
【図１２】本発明の実施形態６による、フィルム画像変換機能を有するインターレス／プログレッシブ変換装置の動作を説明するためのフロー・チャートである。
【図１３】本発明の実施形態６による、フィルム画像変換機能を有するインターレス／プログレッシブ変換装置の動作を説明するための第１のタイミング図である。
【図１４】本発明の実施形態６による、フィルム画像変換機能を有するインターレス／プログレッシブ変換装置の動作を説明するための第２のタイミング図である。
【図１５】本発明の実施形態６による、フィルム画像変換機能を有するインターレス／プログレッシブ変換装置の動作を説明するための第３のタイミング図である。
【図１６】本発明の実施形態６による、フィルム画像変換機能を有するインターレス／プログレッシブ変換装置の動作を説明するための第４のタイミング図である。
【符号の説明】
【０１３３】
１０１−１〜１０１−３  フィールド・メモリ
１０３  画像データ書込部
１０５  動画補間画素生成部
１０７  静止画補間画素生成部
１０９  差分計算部
１１１  差分補正部
１１３  補正値保持部
１１５  差分累積部
１１７  累積動き量メモリ
１１９  しきい値保持部
１２１  動き量計算部
１２３  合成補間画素生成部
１２５  選択部
【図１】
2006238000.tif 000019
【図２】
2006238000.tif 000020
【図３】
2006238000.tif 000021
【図４】
2006238000.tif 000022
【図５】
2006238000.tif 000023
【図６】
2006238000.tif 000024
【図７】
2006238000.tif 000025
【図８】
2006238000.tif 000026
【図９】
2006238000.tif 000027
【図１０】
2006238000.tif 000028
【図１１】
2006238000.tif 000029
【図１２】
2006238000.tif 000030
【図１３】
2006238000.tif 000031
【図１４】
2006238000.tif 000032
【図１５】
2006238000.tif 000033
【図１６】
2006238000.tif 000034
【手続補正書】
【提出日】平成17年8月30日(2005.8.30)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
動画補間画素生成部１０５は、第２のフィールド・メモリ１０１−２に格納されている画像データを基に、動画補間画素を生成する。例えば、現在処理の対象となっているフィールドの番号をｎ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の垂直方向位置をｉ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の水平方向位置をｊとした場合、式（１）に従って、動画補間画素Ａ（ｎ，ｉ，ｊ）を生成する。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
静止画補間画素生成部１０７は、第１のフィールド・メモリ１０１−１に格納されている画素データ及び第３のフィールド・メモリ１０１−３に格納されている画素データを基に、静止画画素を生成する。例えば、現在処理の対象となっているフィールドの番号をｎ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の垂直方向位置をｉ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の水平方向位置をｊとした場合、式（２）に従って、動画補間画素Ｂ（ｎ，ｉ，ｊ）を生成する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００７０
【補正方法】変更
【補正の内容】
【００７０】
動画補間画素生成部１０５は、第１のフィールド・メモリ１３１−１に格納されている画像データを基に、動画補間画素を生成する。例えば、現在処理の対象となっているフィールドの番号をｎ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の垂直方向位置をｉ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の水平方向位置をｊとした場合、式（１０）に従って、動画補間画素Ａ（ｎ，ｉ，ｊ）を生成する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００７２
【補正方法】変更
【補正の内容】
【００７２】
静止画補間画素生成部１３７は、第２のフィールド・メモリ１３１−２に格納されている画素データを基に、静止画画素を生成する。例えば、現在処理の対象となっているフィールドの番号をｎ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の垂直方向位置をｉ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の水平方向位置をｊとした場合、式（１１）に従って、動画補間画素Ｂ（ｎ，ｉ，ｊ）を生成する。