(57)【特許請求の範囲】
【請求項１】
インタレース映像信号をプログレッシブ映像信号に変換する画像処理装置において、
前記インタレース映像信号を構成する連続した第１乃至第３のフィールド画像のうち、垂直方向にフィルタリングされた前記第２および第３のフィールド画像に対応するブロック単位のフィールド間動きベクトルを検出するとともに、前記第２および第３のフィールド画像に対応するブロック単位の水平方向に限定したフィールド間水平方向動きベクトルを検出するフィールド間動きベクトル検出手段と、
前記フィールド間水平方向動きベクトルに基づき、前記第１のフィールド画像を水平方向に移動する水平移動手段と、
前記水平移動手段によって移動された前記第１のフィールド画像と前記第３のフィールド画像との対応するブロック単位の水平方向に限定した水平方向移動量を検出する水平方向移動量検出手段と、
前記フィールド間動きベクトルの信頼度を示す第１の評価値と、前記水平方向移動量の信頼度を示す第２の評価値とを比較する比較手段と、
前記比較手段の比較結果が、前記水平方向移動量の方が前記フィールド間動きベクトルよりも信頼度が高いことを示す場合、前記フィールド間水平方向動きベクトルを最終的な動きベクトルに決定し、前記比較手段の比較結果が、前記水平方向移動量の方が前記フィールド間動きベクトルよりも信頼度が高いことを示さない場合、前記フィールド間動きベクトルを最終的な動きベクトルに決定する決定手段と
を含むことを特徴とする画像処理装置。
【請求項２】
前記比較手段は、１ライン毎に水平動きブロックの数をカウントし、前記水平動きブロックの数に対応して前記第１の評価値をオフセットした後、前記第２の評価値と比較する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記水平移動手段は、
１ライン分の画素を記憶する１以上のバッファメモリと、
前記バッファメモリの書き込みアドレスおよび読み出しアドレスを発生するアドレス発生手段と
を含み、
前記アドレス発生手段は、前記書き込みアドレスとしてシリアルな値を発生するとともに、発生した前記書き込みアドレスに前記フィールド間水平方向動きベクトルを２倍した値および所定のオフセット値を加算することによって前記読み出しアドレスを発生する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第３のフィールド画像に対応する補間ラインの画素をフィールド内補間によって生成するフィールド内補間手段と、
前記最終的な動きベクトルに基づき、前記第２のフィールド画像を平行移動する平行移動手段と、
前記フィールド内補間手段によって生成された前記補間ラインの画素に、前記平行移動手段によって平行移動された前記第２のフィールド画像の対応する画素を混合する混合手段と
をさらに含むことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記第３のフィールド画像に存在する水平エッジを検出する水平エッジ検出手段と、
前記平行移動手段によって平行移動された前記第２のフィールド画像の画素のうち、前記水平エッジ検出手段によって検出された前記水平エッジに隣接する画素を修正する修正手段と
をさらに含むことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記水平方向移動量が０ではなく、かつ、前記水平方向移動量の方が前記フィールド間動きベクトルよりも信頼度が高いことを示す場合のみ有効とされる１／２画素動きフラグが有効である場合、前記修正手段の出力を前記補間ラインのブロック単位の画素として選択し、前記１／２画素動きフラグが有効ではない場合、前記混合手段の出力を前記補間ラインのブロック単位の画素として選択する選択手段を
さらに含むことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
インタレース映像信号をプログレッシブ映像信号に変換する画像処理装置の画像処理方法において、
前記インタレース映像信号を構成する連続した第１乃至第３のフィールド画像のうち、垂直方向にフィルタリングされた前記第２および第３のフィールド画像に対応するブロック単位のフィールド間動きベクトルを検出するとともに、前記第２および第３のフィールド画像に対応するブロック単位の水平方向に限定したフィールド間水平方向動きベクトルを検出するフィールド間動きベクトル検出ステップと、
前記フィールド間水平方向動きベクトルに基づき、前記第１のフィールド画像を水平方向に移動する水平移動ステップと、
前記水平移動ステップの処理で移動された前記第１のフィールド画像と前記第３のフィールド画像との対応するブロック単位の水平方向に限定した水平方向移動量を検出する水平方向移動量検出ステップと、
前記フィールド間動きベクトルの信頼度を示す第１の評価値と、前記水平方向移動量の信頼度を示す第２の評価値とを比較する比較ステップと、
前記比較ステップの比較結果が、前記水平方向移動量の方が前記フィールド間動きベクトルよりも信頼度が高いことを示す場合、前記フィールド間水平方向動きベクトルを最終的な動きベクトルに決定し、前記比較手段の比較結果が、前記水平方向移動量の方が前記フィールド間動きベクトルよりも信頼度が高いことを示さない場合、前記フィールド間動きベクトルを最終的な動きベクトルに決定する決定ステップと
を含むことを特徴とする画像処理方法。
【請求項８】
インタレース映像信号をプログレッシブ映像信号に変換する画像処理装置の制御用のプログラムであって、
前記インタレース映像信号を構成する連続した第１乃至第３のフィールド画像のうち、垂直方向にフィルタリングされた前記第２および第３のフィールド画像に対応するブロック単位のフィールド間動きベクトルを検出するとともに、前記第２および第３のフィールド画像に対応するブロック単位の水平方向に限定したフィールド間水平方向動きベクトルを検出するフィールド間動きベクトル検出ステップと、
前記フィールド間水平方向動きベクトルに基づき、前記第１のフィールド画像を水平方向に移動する水平移動ステップと、
前記水平移動ステップの処理で移動された前記第１のフィールド画像と前記第３のフィールド画像との対応するブロック単位の水平方向に限定した水平方向移動量を検出する水平方向移動量検出ステップと、
前記フィールド間動きベクトルの信頼度を示す第１の評価値と、前記水平方向移動量の信頼度を示す第２の評価値とを比較する比較ステップと、
前記比較ステップの比較結果が、前記水平方向移動量の方が前記フィールド間動きベクトルよりも信頼度が高いことを示す場合、前記フィールド間水平方向動きベクトルを最終的な動きベクトルに決定し、前記比較手段の比較結果が、前記水平方向移動量の方が前記フィールド間動きベクトルよりも信頼度が高いことを示さない場合、前記フィールド間動きベクトルを最終的な動きベクトルに決定する決定ステップと
を含む処理をコンピュータに実行させるプログラムが記録されていることを特徴とする記録媒体。
【請求項９】
インタレース映像信号をプログレッシブ映像信号に変換する画像処理装置の制御用のプログラムであって、
前記インタレース映像信号を構成する連続した第１乃至第３のフィールド画像のうち、垂直方向にフィルタリングされた前記第２および第３のフィールド画像に対応するブロック単位のフィールド間動きベクトルを検出するとともに、前記第２および第３のフィールド画像に対応するブロック単位の水平方向に限定したフィールド間水平方向動きベクトルを検出するフィールド間動きベクトル検出ステップと、
前記フィールド間水平方向動きベクトルに基づき、前記第１のフィールド画像を水平方向に移動する水平移動ステップと、
前記水平移動ステップの処理で移動された前記第１のフィールド画像と前記第３のフィールド画像との対応するブロック単位の水平方向に限定した水平方向移動量を検出する水平方向移動量検出ステップと、
前記フィールド間動きベクトルの信頼度を示す第１の評価値と、前記水平方向移動量の信頼度を示す第２の評価値とを比較する比較ステップと、
前記比較ステップの比較結果が、前記水平方向移動量の方が前記フィールド間動きベクトルよりも信頼度が高いことを示す場合、前記フィールド間水平方向動きベクトルを最終的な動きベクトルに決定し、前記比較手段の比較結果が、前記水平方向移動量の方が前記フィールド間動きベクトルよりも信頼度が高いことを示さない場合、前記フィールド間動きベクトルを最終的な動きベクトルに決定する決定ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、例えば、インタレース方式の映像信号をプログレッシブ方式の映像信号に変換する場合に好適な画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
テレビジョン放送による映像信号、ビデオカセットやDVD(Digital Versatile Disc)などの記録メディアに録画されている映像信号などは、ODDフィールド画像とEVENフィールド画像が交互に配置されたインタレース方式である。
【０００３】
インタレース方式に対し、フィールド画像の２倍の垂直解像度を有するフレーム画像が連続的に配置された映像信号は、プログレッシブ方式と称される。
【０００４】
従来、より垂直解像度が高い高画質な映像を表示することを目的として、インタレース方式の映像信号（以下、インタレース映像信号と記述する）を、プログレッシブ方式の映像信号（以下、プログレッシブ映像信号と記述する）に変換してから表示させるテレビジョン受像機、DVDプレーヤなどが存在する。
【０００５】
図１は、そのようなテレビジョン受像機、DVDプレーヤなどに搭載される、インタレース映像信号をプログレッシブ映像信号に変換する（換言すれば、フィールド画像をフレーム画像に変換する）従来の回路（以下、第１の従来回路と記述する）の構成の一例を示している。
【０００６】
第１の従来回路において、入力端子１から入力されるフィールド画像Ｆtは、フィールドメモリ２、および動きベクトル検出回路５に供給される。フィールドメモリ２は、入力されたフィールド画像Ｆtを１フィールド周期だけ遅延して、フィールド内補間回路３、およびフィールドメモリ４に出力する。以下、フィールド画像Ｆtに対して１フィールド以前のフィールド画像を、フィールド画像Ｆt-1と記述する。
【０００７】
フィールド内補間回路３は、入力されたフィールド画像Ｆt-1に存在しないライン（例えば、フィールド画像Ｆt-1がODDフィールド画像である場合、EVENラインを指す。以下、補間ラインと記述する）の画素を、存在するラインの画素を用いて補間することにより、補間されたフィールド画像Ｆ’t-1を生成して混合回路８に出力する。補間の方法は、例えば、フィールド画像Ｆt-1がODDフィールド画像である場合、補間ラインであるEVENラインの画素として、その上下にそれぞれ存在するODDラインの２画素の平均値を適用する。
【０００８】
フィールドメモリ４は、入力されたフィールド画像Ｆt-1を１フィールド周期だけ遅延して、動きベクトル検出回路５、および水平垂直移動回路６に出力する。以下、フィールド画像Ｆtに対して２フィールド以前のフィールド画像を、フィールド画像Ｆt-2と記述する。
【０００９】
動きベクトル検出回路５は、ブロックマッチング法により、入力された２フィールド周期分だけ間隔が空いたフィールド画像Ｆt，Ｆt-2の画面上における被写体のフレーム間動きベクトルを算出し、算出したフレーム間動きベクトルの信頼度を示すブロック差分値とともに水平垂直移動回路６に出力する。また、動きベクトル検出回路５は、フレーム間動きベクトルの信頼度を示すブロック差分値を混合比判定回路７にも出力する。
【００１０】
水平垂直移動回路６は、動きベクトル検出回路５から入力されたフレーム間動きベクトルの１／２（すなわち、１フィールド周期分に相当する動きベクトル）だけ、フィールドメモリ４から入力されたフィールド画像Ｆt-2を平行移動して混合回路８に出力する。
【００１１】
混合比判定回路７は、動きベクトル検出回路５から入力された、フレーム間動きベクトルの信頼度を示すブロック差分値に基づき、混合回路８における、補間されたフィールド画像Ｆ’t-1と平行移動されたフィールド画像Ｆt-2との同一座標に位置する画素のブロック単位の混合比を決定して混合回路８に出力する。例えば、ブロック差分値に基づき、フレーム間動きベクトルの信頼度が高いと判定できる場合、フィールド画像Ｆt-2の画素を混合する割合が多く、補間されたフィールド画像Ｆ’t-1の画素を混合する画素の割合が少なくなるように混合比を決定する。反対に、動きベクトルの信頼度が低いと判定できる場合、フィールド画像Ｆt-2の画素を混合する割合が少なく、補間されたフィールド画像Ｆ’t-1の画素を混合する割合が多くなるように混合比を決定する。
【００１２】
混合回路８は、混合比判定回路７から入力された混合比に基づき、補間されたフィールド画像Ｆ’t-1と平行移動されたフィールド画像Ｆt-2との同一座標に位置する画素を混合することにより、フィールド画像Ｆt-1に対応する補間ラインを生成して倍速変換回路９に出力する。倍速変換回路９は、フィールドメモリ２から出力されたフィールド画像Ｆt-1に実在するラインと、混合回路８から入力された、フィールド画像Ｆt-1に対応する補間ラインとを、入力時の２倍の水平走査周期で交互に出力することによってフレーム画像（順次走査画像）Ｈt-1を生成し、出力端子１０を介して後段に出力する。
【００１３】
次に、図１に示した第１の従来回路の問題点について説明する。第１の従来回路では、フィールド画像Ｆt，Ｆt-2のフレーム間動きベクトルを検出し、それをフィールド画像Ｆt-1に対応する補間ラインを生成する過程において利用しているので、例えば、１フレーム期間内において、被写体の動きが隣接するブロックを飛び越えて移動するほど速い場合、生成されるフレーム画像に画質の劣化が生じてしまうことがある。
【００１４】
例えば、図２Ａ乃至図２Ｃにそれぞれ示すフィールド画像Ｆt-2乃至Ｆtのように、フィールド画像Ｆt-2においてはブロック（２−ｂ）の存在した円形物体が、フィールド画像Ｆt-1においてはブロック（２−ｃ）に移動し、フィールド画像Ｆtにおいてはブロック（２−ｄ）に移動したような場合、フィールド画像Ｆt-1のブロック（２−ｃ）に対応するフレーム間動きベクトルは、フィールド画像Ｆt-2のブロック（２−ｃ）とフィールド画像Ｆtのブロック（２−ｃ）とに基づいて検出されるので、いまの場合、ブロック（２−ｃ）のフレーム間動きベクトルは高い信頼度で０と検出される。
【００１５】
したがって、混合回路８が出力するフィールド画像Ｆt-1に対応する補間ラインは、水平垂移動回路６からの直実質的には平行移動されていないフィールド画像Ｆt-2の画素が高い割合で混合されて生成されたものとなるので、倍速変換回路９から出力されるフレーム画像Ｈt-1は、図３に示すように、移動する円形物体に水平方向の隙間が生じてしまう問題がある。
【００１６】
このような、被写体の移動速度が速い場合に生じ得る問題を解決する方法として、例えば、図４に示すような回路（以下、第２の従来回路と記述する）が存在する。
【００１７】
第２の従来回路において、入力端子２１から入力されるフィールド画像Ｆtは、フィールド内補間回路２１、垂直フィルタ２２、フィールドメモリ２３、および倍速変換回路２９に供給される。
【００１８】
フィールド内補間回路２１は、入力されたフィールド画像Ｆtの補間ラインの画素を、存在するラインの画素を用いて補間することにより、補間されたフィールド画像Ｆ’tを生成して混合回路８に出力する。補間の方法は、例えば、フィールド画像ＦtがODDフィールド画像である場合、補間ラインであるEVENラインの画素ｄ１として、その上下に存在するODDラインの画素ｄ０，ｄ２の平均値を適用する。
【００１９】
垂直フィルタ２２は、入力されたフィールド画像Ｆtに対して垂直方向にフィルタリングして、具体的には、例えば図５Ａに示すように、フィールド画像Ｆtに実在しない水平ライン上（図中におけるline０乃至line４）の画素を、その上下にそれぞれ実在するラインの画素を加重平均演算（例えば、上の画素×３／４＋下の画素×１／４）することによって算出して、動きベクトル検出回路２５に出力する。
【００２０】
フィールドメモリ２３は、入力されたフィールド画像Ｆtを１フィールド周期だけ遅延したフィールド画像Ｆt-1を、垂直フィルタ２４、および水平垂直移動回路２６に出力する。
【００２１】
垂直フィルタ２４は、入力されたフィールド画像Ｆt-1に対して垂直方向にフィルタリングして、具体的には、垂直フィルタ２２と同様、例えば図５Ａに示すように、フィールド画像Ｆt-1に実在しない水平ライン上（図中におけるline０乃至４）の画素を、その上下にそれぞれ実在するラインの画素を加重平均演算（例えば、上の画素×１／４＋下の画素×３／４）することによって算出して、動きベクトル検出回路２５に出力する。
【００２２】
動きベクトル検出回路２５は、ブロックマッチング法により、垂直方向にフィルタリングされているフィールド画像Ｆt，Ｆt-1の画面上における被写体のフィールド間動きベクトルを算出し、算出したフィールド間動きベクトルの信頼度を示すブロック差分値とともに水平垂直移動回路２６に出力する。また、動きベクトル検出回路２５は、フレーム間動きベクトルの信頼度を示すブロック差分値を混合比判定回路２７にも出力する。
【００２３】
水平垂直移動回路２６は、動きベクトル検出回路５から入力されたフィールド間動きベクトルだけ、フィールドメモリ２３から入力されたフィールド画像Ｆt-1を平行移動して混合回路２８に出力する。
【００２４】
混合比判定回路２７は、動きベクトル検出回路２５から入力された、フィールド間動きベクトルの信頼度を示すブロック差分値に基づき、混合回路２８における、補間されたフィールド画像Ｆ’tと平行移動されたフィールド画像Ｆt-1との同一座標に位置する画素のブロック単位の混合比を決定して混合回路８に出力する。例えば、ブロック差分値に基づき、フィールド間動きベクトルの信頼度が高いと判定できる場合、フィールド画像Ｆt-1の画素を混合する割合が多く、補間されたフィールド画像Ｆ’tの画素を混合する画素の割合が少なくなるように混合比を決定する。反対に、フィールド動きベクトルの信頼度が低いと判定できる場合、フィールド画像Ｆt-1の画素を混合する割合が少なく、補間されたフィールド画像Ｆ’tの画素を混合する割合が多くなるように混合比を決定する。
【００２５】
混合回路２８は、混合比判定回路７から入力された混合比に基づき、補間されたフィールド画像Ｆ’tと平行移動されたフィールド画像Ｆt-1との同一座標に位置する画素を混合することにより、フィールド画像Ｆtに対応する補間ラインを生成して倍速変換回路２９に出力する。倍速変換回路２９は、入力端子２１からのフィールド画像Ｆtのラインと、混合回路２８から入力された、フィールド画像Ｆtに対応する補間ラインとを、２倍の水平走査周期で交互に出力することによってフレーム画像（順次走査画像）Ｈtを生成し、出力端子３０を介して後段に出力する。
【００２６】
以上のように、第２の従来回路では、フィールド画像Ｆt，Ｆt-1のフィールド間動きベクトルを検出し、それをフィールド画像Ｆt-1に対応する補間ラインを生成する過程において利用しているので、例えば、１フレーム期間内において、隣接するブロックを飛び越えて移動するほど速い被写体の動きにも対応して、動きベクトルを検出することが可能である。しかしながら、垂直方向にフィルタリングしたフィールド画像Ｆt，Ｆt-1に基づいて、フィールド間動きベクトルを検出することに起因して、動きベクトルの垂直成分を誤検出してしまう可能性が存在する。
【００２７】
具体的に説明する。例えば、被写体に２ライン幅の横線パターンを有する被写体が静止して存在している場合、図５Ａに示すようにフィールド画像Ｆt-1に横線パターンの下側が現れ、フィールド画像Ｆtに横線パターンの上側が現れる状態（以下、phase１と記述する）と、図６Ａに示すようにフィールド画像Ｆt-1に横線パターンの上側が現れ、フィールド画像Ｆtに横線パターンの下側が現れる状態（以下、phase２と記述する）が発生し得る。なお、各画素の横の数値（１００，２００など）は、各画素の信号レベルを示している。
【００２８】
phase１において、垂直フィルタ２２，２４からそれぞれ出力される、垂直方向にフィルタリングされたフィールド画像Ｆt，Ｆt-1は、図５Ｂに示すとおりである。
【００２９】
すなわち、例えば、フィールド画像Ｆt-1のline１の画素は１２５（＝実在する上の画素（２００）×１／４＋実在する下の画素（１００）×３／４）と算出され、フィールド画像Ｆt-1のline２の画素は１７５（＝実在する上の画素（１００）×１／４＋実在する下の画素（２００）×３／４）と算出され、フィールド画像Ｆt-1のline３の画素は２００（＝実在する上の画素（２００）×１／４＋実在する下の画素（２００）×３／４）と算出される。
【００３０】
また例えば、フィールド画像Ｆtのline１の画素は１２５（＝実在する上の画素（１００）×３／４＋実在する下の画素（２００）×１／４）と算出され、フィールド画像Ｆtのline２の画素は２００（＝実在する上の画素（２００）×３／４＋実在する下の画素（２００）×１／４）と算出され、フィールド画像Ｆtのline３の画素は２００（＝実在する上の画素（２００）×３／４＋実在する下の画素（２００）×１／４）と算出される。
【００３１】
同様に、phase１において、垂直フィルタ２２，２４からそれぞれ出力される、垂直方向にフィルタリングされたフィールド画像Ｆt，Ｆt-1は、図６Ｂに示すとおりである。
【００３２】
すなわち、例えば、フィールド画像Ｆt-1のline１の画素は１２５（＝実在する上の画素（２００）×１／４＋実在する下の画素（１００）×３／４）と算出され、フィールド画像Ｆt-1のline２の画素は１７５（＝実在する上の画素（１００）×１／４＋実在する下の画素（２００）×３／４）と算出され、フィールド画像Ｆt-1のline３の画素は２００（＝実在する上の画素（２００）×１／４＋実在する下の画素（２００）×３／４）と算出される。
【００３３】
また例えば、フィールド画像Ｆtのline１の画素は１７５（＝実在する上の画素（２００）×３／４＋実在する下の画素（１００）×１／４）と算出され、フィールド画像Ｆtのline２の画素は１２５（＝実在する上の画素（１００）×３／４＋実在する下の画素（２００）×１／４）と算出され、フィールド画像Ｆtのline３の画素は２００（＝実在する上の画素（２００）×３／４＋実在する下の画素（２００）×１／４）と算出される。
【００３４】
ここで、垂直方向にフィルタリングされたフィールド画像Ｆtの３ライン（line１乃至line３）を１つのブロックとして、ブロックマッチング法を用いる場合を考慮すると、phase１においては、フィールド画像Ｆtの３ライン（line１乃至line３）に対して最も相関が高いブロックとしてフィールド画像Ｆt-1のline１乃至line３が検出される。したがって、phase１において、当該ブロックのフィールド間動きベクトルの垂直成分は誤検出されることなく０と検出される。
【００３５】
それに対して、phase２においては、フィールド画像Ｆtの３ライン（line１乃至line３）に対して最も相関が高いブロックとしてフィールド画像Ｆt-1のline０乃至line２が検出される。したがって、phase２において、当該ブロックのフィールド間動きベクトルの垂直成分とはされず、誤検出されることなる。
【００３６】
【発明が解決しようとする課題】
このような第２の従来回路の問題点を解決する方法として、例えば特開平８−１６３５７３号公報には、画像データの圧縮処理に用いることを目的として、フィールド間動きベクトルを検出した後、フィールド間動きベクトルの検出処理で求められた移動位置を中心として、さらにフレーム間ベクトルを検出することにより、動きベクトル検出の正確性を高めるようにした技術（以下、先願技術と記述する）が存在する。
【００３７】
しかしながら、先願技術のように、フィールド間動きベクトルとフレーム間動きベクトルの両方を検出する方法は、処理に時間がかかることや回路規模が大きくなるという課題があった。
【００３８】
また、先願技術では、画面上を水平方向に移動する字幕などを含む画像を処理した場合、画質劣化が目立ってしまう課題があった。
【００３９】
本発明はこのような状況に鑑みてなされたものであり、インタレース映像信号をプログレッシブ映像信号に変換するに際し、画面上を水平方向に移動する字幕などを含む画像の画質劣化を抑止できるようにすることを目的とする。
【００４０】
【課題を解決するための手段】
本発明の画像処理装置は、インタレース映像信号を構成する連続した第１乃至第３のフィールド画像のうち、垂直方向にフィルタリングされた第２および第３のフィールド画像に対応するブロック単位のフィールド間動きベクトルを検出するとともに、第２および第３のフィールド画像に対応するブロック単位の水平方向に限定したフィールド間水平方向動きベクトルを検出するフィールド間動きベクトル検出手段と、フィールド間水平方向動きベクトルに基づき、第１のフィールド画像を水平方向に移動する水平移動手段と、水平移動手段によって移動された第１のフィールド画像と第３のフィールド画像との対応するブロック単位の水平方向に限定した水平方向移動量を検出する水平方向移動量検出手段と、フィールド間動きベクトルの信頼度を示す第１の評価値と、水平方向移動量の信頼度を示す第２の評価値とを比較する比較手段と、比較手段の比較結果が、水平方向移動量の方がフィールド間動きベクトルよりも信頼度が高いことを示す場合、フィールド間水平方向動きベクトルを最終的な動きベクトルに決定し、比較手段の比較結果が、水平方向移動量の方がフィールド間動きベクトルよりも信頼度が高いことを示さない場合、フィールド間動きベクトルを最終的な動きベクトルに決定する決定手段とを含むことを特徴とする。
【００４１】
前記比較手段は、１ライン毎に水平動きブロックの数をカウントし、水平動きブロックの数に対応して第１の評価値をオフセットした後、第２の評価値と比較するようにすることができる。
【００４２】
前記水平移動手段は、１ライン分の画素を記憶する１以上のバッファメモリと、バッファメモリの書き込みアドレスおよび読み出しアドレスを発生するアドレス発生手段とを含むようにすることができ、前記アドレス発生手段は、書き込みアドレスとしてシリアルな値を発生するとともに、発生した書き込みアドレスにフィールド間水平方向動きベクトルを２倍した値および所定のオフセット値を加算することによって読み出しアドレスを発生するようにすることができる。
【００４３】
本発明の画像処理装置は、第３のフィールド画像に対応する補間ラインの画素をフィールド内補間によって生成するフィールド内補間手段と、最終的な動きベクトルに基づき、第２のフィールド画像を平行移動する平行移動手段と、フィールド内補間手段によって生成された補間ラインの画素に、平行移動手段によって平行移動された第２のフィールド画像の対応する画素を混合する混合手段とをさらに含むことができる。
【００４４】
本発明の画像処理装置は、第３のフィールド画像に存在する水平エッジを検出する水平エッジ検出手段と、平行移動手段によって平行移動された第２のフィールド画像の画素のうち、水平エッジ検出手段によって検出された水平エッジに隣接する画素を修正する修正手段とをさらに含むことができる。
【００４５】
本発明の画像処理装置は、水平方向移動量が０ではなく、かつ、水平方向移動量の方がフィールド間動きベクトルよりも信頼度が高いことを示す場合のみ有効とされる１／２画素動きフラグが有効である場合、修正手段の出力を補間ラインのブロック単位の画素として選択し、１／２画素動きフラグが有効ではない場合、混合手段の出力を補間ラインのブロック単位の画素として選択する選択手段をさらに含むことができる。
【００４６】
本発明の画像処理方法は、インタレース映像信号を構成する連続した第１乃至第３のフィールド画像のうち、垂直方向にフィルタリングされた第２および第３のフィールド画像に対応するブロック単位のフィールド間動きベクトルを検出するとともに、第２および第３のフィールド画像に対応するブロック単位の水平方向に限定したフィールド間水平方向動きベクトルを検出するフィールド間動きベクトル検出ステップと、フィールド間水平方向動きベクトルに基づき、第１のフィールド画像を水平方向に移動する水平移動ステップと、水平移動ステップの処理で移動された第１のフィールド画像と第３のフィールド画像との対応するブロック単位の水平方向に限定した水平方向移動量を検出する水平方向移動量検出ステップと、フィールド間動きベクトルの信頼度を示す第１の評価値と、水平方向移動量の信頼度を示す第２の評価値とを比較する比較ステップと、比較ステップの比較結果が、水平方向移動量の方がフィールド間動きベクトルよりも信頼度が高いことを示す場合、フィールド間水平方向動きベクトルを最終的な動きベクトルに決定し、比較手段の比較結果が、水平方向移動量の方がフィールド間動きベクトルよりも信頼度が高いことを示さない場合、フィールド間動きベクトルを最終的な動きベクトルに決定する決定ステップとを含むことを特徴とする。
【００４７】
本発明の記録媒体のプログラムは、インタレース映像信号を構成する連続した第１乃至第３のフィールド画像のうち、垂直方向にフィルタリングされた第２および第３のフィールド画像に対応するブロック単位のフィールド間動きベクトルを検出するとともに、第２および第３のフィールド画像に対応するブロック単位の水平方向に限定したフィールド間水平方向動きベクトルを検出するフィールド間動きベクトル検出ステップと、フィールド間水平方向動きベクトルに基づき、第１のフィールド画像を水平方向に移動する水平移動ステップと、水平移動ステップの処理で移動された第１のフィールド画像と第３のフィールド画像との対応するブロック単位の水平方向に限定した水平方向移動量を検出する水平方向移動量検出ステップと、フィールド間動きベクトルの信頼度を示す第１の評価値と、水平方向移動量の信頼度を示す第２の評価値とを比較する比較ステップと、比較ステップの比較結果が、水平方向移動量の方がフィールド間動きベクトルよりも信頼度が高いことを示す場合、フィールド間水平方向動きベクトルを最終的な動きベクトルに決定し、比較手段の比較結果が、水平方向移動量の方がフィールド間動きベクトルよりも信頼度が高いことを示さない場合、フィールド間動きベクトルを最終的な動きベクトルに決定する決定ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００４８】
本発明のプログラムは、インタレース映像信号を構成する連続した第１乃至第３のフィールド画像のうち、垂直方向にフィルタリングされた第２および第３のフィールド画像に対応するブロック単位のフィールド間動きベクトルを検出するとともに、第２および第３のフィールド画像に対応するブロック単位の水平方向に限定したフィールド間水平方向動きベクトルを検出するフィールド間動きベクトル検出ステップと、フィールド間水平方向動きベクトルに基づき、第１のフィールド画像を水平方向に移動する水平移動ステップと、水平移動ステップの処理で移動された第１のフィールド画像と第３のフィールド画像との対応するブロック単位の水平方向に限定した水平方向移動量を検出する水平方向移動量検出ステップと、フィールド間動きベクトルの信頼度を示す第１の評価値と、水平方向移動量の信頼度を示す第２の評価値とを比較する比較ステップと、比較ステップの比較結果が、水平方向移動量の方がフィールド間動きベクトルよりも信頼度が高いことを示す場合、フィールド間水平方向動きベクトルを最終的な動きベクトルに決定し、比較手段の比較結果が、水平方向移動量の方がフィールド間動きベクトルよりも信頼度が高いことを示さない場合、フィールド間動きベクトルを最終的な動きベクトルに決定する決定ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００４９】
本発明においては、インタレース映像信号を構成する連続した第１乃至第３のフィールド画像のうち、垂直方向にフィルタリングされた第２および第３のフィールド画像に対応するブロック単位のフィールド間動きベクトルが検出されるとともに、第２および第３のフィールド画像に対応するブロック単位の水平方向に限定したフィールド間水平方向動きベクトルが検出され、フィールド間水平方向動きベクトルに基づき、第１のフィールド画像が水平方向に移動される。また、移動された第１のフィールド画像と第３のフィールド画像との対応するブロック単位の水平方向に限定した水平方向移動量が検出され、フィールド間動きベクトルの信頼度を示す第１の評価値と、水平方向移動量の信頼度を示す第２の評価値とが比較されて、その比較結果が、水平方向移動量の方がフィールド間動きベクトルよりも信頼度が高いことを示す場合、フィールド間水平方向動きベクトルが最終的な動きベクトルに決定され、その比較結果が、水平方向移動量の方がフィールド間動きベクトルよりも信頼度が高いことを示さない場合、フィールド間動きベクトルが最終的な動きベクトルに決定される。
【００５０】
【発明の実施の形態】
本発明の一実施の形態である順次走査線変換装置の構成例について、図７を参照して説明する。この順次走査線変換装置は、入力されるインタレース映像信号をプログレッシブ映像信号に変換するものである。
【００５１】
入力端子４１は、順次入力されるインタレース映像信号を構成するフィールド画像Ｆtを、フィールドメモリ４２、垂直フィルタ４４、水平動きベクトル検出回路４８、フィールド内補間回路４９、水平エッジ検出回路５２、および倍速変換回路５８に供給する。
【００５２】
フィールドメモリ４２は、入力端子４１からのフィールド画像Ｆtを１フィールド周期だけ遅延して、フィールドメモリ４３、垂直フィルタ４５、および水平垂直移動回路５１に出力する。フィールドメモリ４３は、フィールドメモリ４２から入力されるフィールド画像Ｆt-1を１フィールド周期だけ遅延して、水平移動回路４７に出力する。
【００５３】
垂直フィルタ４４は、図４の垂直フィルタ２２と同様に、入力端子４１からのフィールド画像Ｆtに対し、垂直方向のフィルタリング処理を施して動きベクトル検出回路４６に出力する。同様に、垂直フィルタ４５は、フィールドメモリ４２からのフィールド画像Ｆt-1に対し、垂直方向のフィルタリング処理を施して動きベクトル検出回路４６に出力する。
【００５４】
動きベクトル検出回路４６は、垂直フィルタ４４からの垂直方向にフィルタリングされたフィールド画像Ｆtに、座標（ｘ，ｙ）を中心とする水平Ｐ画素、垂直Ｑラインの基準ブロックを設定するとともに、垂直フィルタ４５からの垂直方向にフィルタリングされたフィールド画像Ｆt-1に、基準ブロックと同サイズであって座標（ｘ＋ｍｘ，ｙ＋ｍｙ）を中心とする参照ブロックを設定し、ブロックマッチング法により、垂直方向にフィルタリングされているフィールド画像Ｆt，Ｆt-1の画面上における被写体のフィールド間動きベクトルｍｖ１を検出する。このとき、探索範囲を示すｍｘ，ｍｙは、それぞれ、−ＭＸ乃至＋ＭＸ、または−ＭＹ乃至＋ＭＹの範囲で変動される。
【００５５】
動きベクトル検出回路４６は、検出したフィールド間動きベクトルｍｖ１とともに、その信頼度を示すブロック差分値ｄｆ１をベクトル判定回路５０に出力する。ここで、ブロック差分値とは、基準ブロックと参照ブロックとの対応する画素同士の差分のブロック単位の積算値を指し、ブロック差分値ｄｆ１は、その最小値を指す。
【００５６】
さらに、動きベクトル検出回路４６は、垂直フィルタ４５からの垂直方向にフィルタリングされたフィールド画像Ｆt-1に、基準ブロックと同サイズであって座標（ｘ＋ｍｘ，ｙ）を中心とする参照ブロックを設定し、ブロックマッチング法により、垂直方向にフィルタリングされているフィールド画像Ｆt，Ｆt-1の画面上における被写体の水平方向のフィールド間動きベクトルｍｖ２を検出し、水平移動回路４７およびベクトル判定回路５０に出力する。なお、実際には、フィールド間動きベクトルｍｖ２を改めて検出する必要はなく、フィールド間動きベクトルｍｖ１を検出する過程の結果を流用する。
【００５７】
水平移動回路４７は、フィールドメモリ４３からのフィールド画像Ｆt-2を、動きベクトル検出回路４６からの水平方向のフィールド間動きベクトルｍｖ２の２倍だけ移動して水平動きベクトル検出回路４８に出力する。
【００５８】
図８は、例えば水平８画素×垂直４ラインを１ブロックとした場合における水平移動回路４７の構成例を示している。
【００５９】
水平移動回路４７は、動きベクトル検出回路４６から入力される水平方向のフィールド間動きベクトルｍｖ２を２倍する乗算回路６１、水平移動量（２・ｍｖ２）に基づき、書き込みアドレスおよび読み出しアドレスを発生するアドレス発生回路６２、上段から入力されるフィールド画像Ｆt-1の１ライン分の画素を１ライン周期だけ遅延して後段に出力するラインバッファ６４，６６、および６８、並びに、入力される１ライン分の画素を、アドレス発生回路６２によって発生された読み出しアドレスに書き込み、またアドレス発生回路６２によって発生された読み出しアドレスから水平８画素単位で読み出すバッファメモリ６３，６５，６７、および６９から構成される。
【００６０】
図９は、アドレス発生回路６２によって発生される書き込みアドレスおよび読み出しアドレスの一例を示している。例えば、バッファメモリ６３，６５，６７、および６９のそれぞれに入力される１ライン分の各画素に対しては、図９Ａに示すように、１ずつインクリメントした書き込みアドレス（図９の場合、１３乃至２７）が発生される。このとき順次入力された水平８画素×垂直４ラインのブロックの水平移動量が、図９Ｂに示すように０，−４，４である場合、次式に基づいて読み出しアドレスが発生される。
読み出しアドレス＝書き込みアドレス＋水平移動量−オフセット値
【００６１】
図９の場合、１ずつインクリメントして発生された書き込みアドレス１３乃至２７に対応し、書き込みアドレス５乃至７、４乃至１１、２０乃至２３が発生される。ただし、いまの場合、オフセット値は８とされている。
【００６２】
水平移動回路４７においては、バッファメモリ６３，６５，６７、および６９がアドレス発生回路６２によって発生された読み出しアドレスに従って画素を書き込み、その後、アドレス発生回路６２によって発生された読み出しアドレスに従って画素を読み出すので、フィールドメモリ４３から入力されるフィールド画像Ｆt-2を、ブロック単位で速やかに水平方向の移動することが可能である。
【００６３】
図７に戻る。水平動きベクトル検出回路４８は、入力端子４１からのフィールド画像Ｆtに、座標（ｘ，ｙ）を中心とする水平方向がＰ画素、垂直方向がＱラインの基準ブロックを設定するとともに、水平移動回路４７から入力される、水平方向に移動されたフィールド画像Ｆt-2に、基準ブロックと同サイズであって座標（ｘ＋ｍｘ，ｙ）を中心とする参照ブロックを設定し、ブロックマッチング法により、水平方向移動量ｄｍｖ２（以下、フレーム間動きベクトルｄｍｖ２とも記述する）を検出する。このとき、探索範囲を示すｍｘは、広範囲で変動させる必要はなく、例えば、−３乃至＋３程度の範囲で変動させる。
【００６４】
このように、ｍｘの探索範囲を−３乃至＋３程度の狭い範囲とすることは、水平動きベクトル検出回路４８の回路規模を削減できるだけでなく、水平方向に限定したフレーム間動きベクトルｄｍｖ２が、水平方向のフィールド間動きベクトルｍｖ２に比較して著しく大きな値として誤検出されることを抑止することができる。
【００６５】
水平動きベクトル検出回路４８は、検出した水平方向のフレーム間動きベクトルｄｍｖ２とともに、その信頼度を示すブロック差分値ｄｆ２をベクトル判定回路５０に出力する。
【００６６】
フィールド内補間回路４９は、入力端子４１からのフィールド画像Ｆtに対応する補間ラインの画素を、存在するラインの画素を用いて補間することにより、補間されたフィールド画像Ｆ’tを生成してエッジ処理回路５５に出力する。補間の方法は、例えば、フィールド画像ＦtがODDフィールド画像である場合、補間ラインであるEVENラインの画素として、その上下にそれぞれ存在するODDラインの２画素の平均値を適用する。
【００６７】
ベクトル判定回路５０は、動きベクトル検出回路４６からのフィールド間動きベクトルｍｖ１および水平方向のフィールド間動きベクトルｍｖ２の一方を最終的なフィールド間動きベクトルに選択して水平垂直移動回路５１に出力するとともに、ブロック差分値ｄｆ１，ｄｆ２の一方を相関レベル信号として混合比判定回路５３に出力し、さらに、１／２画素動きフラグを生成してセレクタ５６に出力する。
【００６８】
図１０は、ベクトル判定回路５０の構成例を示している。ベクトル判定回路５０において、計数回路８１は、１ライン上のブロック（水平Ｐ画素）のうち、対応する比較回路８９（後述）の比較結果が０であるもの（以下、水平動きブロック）を計数して保持回路８３に出力する。計数回路８２は、１ライン上に存在するブロック（水平Ｐ画素）を計数して保持回路８５に出力する。乗算回路８４は、保持回路８３に保持されている、１ライン上に存在する水平動きブロックの数に所定数ｎを乗算して比較回路８６に出力する。比較回路８６は、水平動きブロックの数に所定数ｎが乗算された値と、保持回路８５に保持されている、１ライン上に存在する全ブロック数を比較して、その比較結果をセレクタ８７に出力する。
【００６９】
セレクタ８７は、比較回路８６からの比較結果に基づき、所定のオフセット値ofst１または０を加算回路８８に出力する。具体的には、比較回路８６の比較結果が、「１ライン上に存在する全ブロック数の方が小さい」である場合、所定のオフセット値ofst１を加算回路８８に出力し、比較回路８６の比較結果が、「１ライン上に存在する全ブロック数の方が小さい」ではない場合、０を加算回路８８に出力する。
【００７０】
加算回路８８は、動きベクトル検出回路４６からのブロック差分値ｄｆ１に、セレクタ８７の出力（所定のオフセット値ofst１、または０）を加算し、ブロック差分値ｄｆ３として比較回路８９に出力する。比較回路８９は、水平動きベクトル検出回路４８からのブロック差分値ｄｆ２と、加算回路８８からのブロック差分値ｄｆ３を比較し、ブロック差分値ｄｆ２の方が小さいと判定された場合には１を発生し、ブロック差分値ｄｆ２の方が小さいと判定されなかった場合には０を発生して、比較結果として計数回路８１、セレクタ９０、およびアンド回路９３に出力する。
【００７１】
セレクタ９０は、比較回路８９からの比較結果に基づき、動きベクトル検出回路４６からのブロック差分値ｄｆ１、または水平動きベクトル検出回路４８からのブロック差分値ｄｆ２を、相関レベル信号として混合比判定回路５３に出力する。具体的には、比較回路８９からの比較結果が１である場合、ブロック差分値ｄｆ２を相関レベル信号として出力し、比較回路８９からの比較結果が０である場合、ブロック差分値ｄｆ１を相関レベル信号として出力する。また、セレクタ９０は、比較回路８９からの比較結果をセレクタ９１に供給する。
【００７２】
セレクタ９１は、比較回路８９の比較結果に基づき、動きベクトル検出回路４６からのフィールド間動きベクトルｍｖ１または水平方向のフィールド間動きベクトルｍｖ２を、最終的なフィールド間動きベクトルとして水平垂直移動回路５１に出力する。具体的には、比較回路８９の比較結果が１である場合、水平方向のフィールド間動きベクトルｍｖ２を最終的なフィールド間動きベクトルとして出力し、比較回路８９の比較結果が０である場合、フィールド間動きベクトルｍｖ１を最終的なフィールド間動きベクトルとして出力する。
【００７３】
不一致判定回路９２は、水平動きベクトル検出回路４８からの水平方向のフレーム間動きベクトルｄｍｖ２が０であるか否かを判定し、水平方向のフレーム間動きベクトルｄｍｖ２が０ではない場合、１をアンド回路９３に出力する。反対に、水平方向のフレーム間動きベクトルｄｍｖ２が０である場合、０をアンド回路９３に出力する。
【００７４】
アンド回路９３は、比較回路８９からの比較結果と、不一致判定回路９２からの出力との論理積を、１／２画素フラグとしてセレクタ５６に出力する。
【００７５】
すなわち、１／２画素フラグが１とされる場合は、水平方向のフレーム間動きベクトルｄｍｖ２が０ではなく、−３，−２，−１，１，２，３のいずれかである。水平方向のフレーム間動きベクトルｄｍｖ２が−３，−１，１、または３である場合には、対応するフィールド間での画素の実際の動きは−１．５，−０．５，０．５、または１．５であるが、対応するフィールド間動きベクトルｍｖ２は整数単位で算出されるので、フィールド間動きベクトルｍｖ２と実際の動きとの間には１／２画素だけずれが存在することになる。１／２画素フラグが１とされる場合は、このずれが発生していることを示すことになる。
【００７６】
なお、水平方向のフレーム間動きベクトルｄｍｖ２が−２または２である場合には、水平方向のフィールド間動きベクトルｍｖ２と実際の動きとの間にずれは存在しないが、水平方向のフィールド間動きベクトルｍｖ２の精度が落ちていると考えられるので、１／２画素フラグが１とされる。
【００７７】
図７に戻る。水平垂直移動回路５１は、フィールドメモリ４２からのフィールド画像Ｆt-1を、ベクトル判定回路５０からの最終的なフィールド間動きベクトルの分だけ平行移動して混合回路５４に出力する。
【００７８】
水平エッジ検出回路５２は、入力端子４１からのフィールド画像Ｆtに存在する被写体の垂直方向に伸びた辺（以下、水平エッジと記述する）を検出し、水平エッジの座標情報をエッジ処理回路５５およびセレクタ５６に出力する。
【００７９】
図１１は、水平エッジ検出回路５２の構成例を示している。水平エッジ検出回路５２は、入力されるフィールド画像Ｆtの全ラインのうちの２ラインを順次１ラインずつずらして処理対象とする。
【００８０】
水平エッジ検出回路５２において、処理対象の２ラインのうち、上のラインに存在する画素は、保持回路１１１および減算回路１１２に順次入力され、下のラインに存在する画素は、保持回路１１４および減算回路１１５に順次入力される。
【００８１】
保持回路１１１は、所定の周期で順次入力される上のラインの画素を、１周期だけ遅延して減算回路１１２に出力する。減算回路１１２は、同時に入力される２画素（すなわち、上のラインにおいて隣接する２画素）の差分を演算し、絶対値回路１１３に出力する。絶対値回路１１３は、隣接する２画素の差分の絶対値を最大値選択回路１１７に出力する。
【００８２】
保持回路１１４は、所定の周期で順次入力される下のラインの画素を、１周期だけ遅延して減算回路１１５に出力する。減算回路１１５は、同時に入力される２画素（すなわち、下のラインにおいて隣接する２画素）の差分を演算し、絶対値回路１１６に出力する。絶対値回路１１６は、隣接する２画素の差分の絶対値を最大値選択回路１１７に出力する。
【００８３】
最大値選択回路１１７は、絶対値回路１１３，１１６から同時に入力される、上のラインにおいて隣接する２画素の差分の絶対値と、下のラインにおいて隣接する２画素の差分の絶対値との大きい方の値を選択し、右方向エッジレベルED_Rとして保持回路１１８および判定回路１１９に出力する。保持回路１１８は、所定の周期で最大値選択回路１１７から順次入力される右方向エッジレベルED_Rを１周期だけ遅延し、左方向エッジレベルED_Lとして判定回路１１９に出力する。
【００８４】
判定回路１１９は、最大値選択回路１１７および保持回路１１８から同時に入力される、右方向エッジレベルED_Rと左方向エッジレベルED_Lを、所定のエッジ判定閾値ed_thと比較して、ED_R＞ED_L＞ed_thと判定した場合、隣接する２画素の中間に右方向のエッジがある（２画素の中間より右側に信号レベルが高い被写体がある）と判定する。また、ED_L＞ED_R＞ed_thと判定した場合、隣接する２画素の中間に左方向のエッジがある（２画素の中間より左側に信号レベルが高い被写体のエッジがある）と判定する。
【００８５】
さらに、判定回路１１９は、判定結果に対応して、隣接する２画素の中間にエッジがあるか否かを示すエッジフラグと、そのエッジの方向を示すエッジ方向フラグを生成して座標情報生成回路１２０に出力する。
【００８６】
座標情報生成回路１２０は、判定回路１１９から入力されるエッジフラグおよびエッジ方向フラグに基づき、フィールド画像Ｆtに存在する水平エッジの座標情報（エッジの方向を含む）を生成してエッジ処理回路５５およびセレクタ５６に出力する。
【００８７】
図７に戻る。混合比判定回路５３は、ベクトル判定回路５０からの相関レベル信号に基づき、混合回路５４における、フィールド内補間回路４９からの補間されたフィールド画像Ｆ’tと、水平垂直移動回路５１からの平行移動されたフィールド画像Ｆt-1との同一座標に位置する画素のブロック単位の混合比を決定して混合回路５４に出力する。
【００８８】
例えば、相関レベル信号（すなわち、ブロック差分値ｄｆ１またはｄｆ２）が小さければ小さいほど、動きベクトル判定回路５０で算出された最終的なフィールド間動きベクトルの信頼度が高いと判断できるので、その場合、水平垂直移動回路５１からの平行移動されたフィールド画像Ｆt-1の画素を混合する割合ｓが多く、補間されたフィールド画像Ｆ’tの画素を混合する画素の割合（１−ｓ）が少なくなるように混合比を決定する。
【００８９】
混合回路５４は、混合比判定回路５３からの混合比に基づき、フィールド内補間回路４９からの補間されたフィールド画像Ｆ’tと、水平垂直移動回路５１からの平行移動されたフィールド画像Ｆt-1との同一座標に位置する画素を、（平行移動されたフィールド画像Ｆt-1の画素）×ｓ＋（補間されたフィールド画像Ｆ’tの画素）×（１−ｓ）の演算によって混合し、セレクタ５６に出力する。
【００９０】
エッジ処理回路５５は、水平エッジ検出回路５２からの水平エッジの座標情報、およびフィールド内補間回路４９からの補間されたフィールド画像Ｆ’tに基づき、水平垂直移動回路５１からの平行移動されたフィールド画像Ｆt-1の画素のうち、水平エッジに隣接する画素を修正して、セレクタ５６に出力する。
【００９１】
エッジ処理回路５５の処理について、図１２を参照して具体的に説明する。例えばエッジ処理回路５５には、図１２Ａに示すように、フィールド内補間回路４９からのフィールド画像Ｆtに存在するライン（実際には、補間されたフィールド画像Ｆt’の全てのラインのうちの補間ラインではないもの）と、水平垂直移動回路５１からの平行移動されたフィールド画像Ｆt-1が入力される。
【００９２】
ここで、水平エッジ検出回路５２からの水平エッジの座標情報が、図１２Ａに示すように、画素Ｐｅ，Ｐｄの境と画素Ｐｏ，Ｐｐの境を結ぶように水平エッジが存在することを示している場合、平行移動されたフィールド画像Ｆt-1の画素のうち、水平エッジに隣接する画素Ｐｉ，Ｐｊを、近傍の画素を用いて生成した画素ＰＸ，ＰＹ（図１２Ｂ）に置換する。
【００９３】
具体的には、水平エッジの左側に位置する画素Ｐｉと置換する画素ＰＸには、当該画素Ｐｉ、その上下の画素Ｐｃ，Ｐｏ、およびその左隣の画素Ｐｈの４画素の平均値が用いられる。また、水平エッジの右側に位置する画素Ｐｊと置換する画素ＰＹには、当該画素Ｐｊ、その上下の画素Ｐｄ，Ｐｐ、およびその右隣の画素Ｐｋの４画素の平均値が用いられる。
【００９４】
このようなエッジ処理回路５５の処理により、図１２Ａに示したように、平行移動されたフィールド画像Ｆt-1が、フィールド画像Ｆtに存在するラインとずれていて水平ラインがギザギザ状になった場合（この場合、ベクトル判定回路５０によって１／２画素フラグが１とされる）でも、図１２Ｂに示すように当該ギザギザ状の部分はぼかされて目立たないものとなる。したがって、画面上の水平方向に移動する字幕などの画像劣化が抑止される。
【００９５】
図３に戻る。セレクタ５６は、ベクトル判定回路５０からの１／２画素フラグが１であるブロックについては、エッジ処理回路５５から入力される、平行移動されて水平エッジ付近の画素が修正されたフィールド画像Ｆt-1の対応するブロックを採用し、反対に、ベクトル判定回路５０からの１／２画素フラグが０であるブロックについては、混合回路５４からの混合された画素から成るフィールド画像Ｆｔ−１の対応するブロックを採用して、後段に出力するフィールド画像Ｆ’’t-1を生成する。
【００９６】
倍速変換回路５７は、入力端子４１からのフィールド画像Ｆtのラインと、セレクタ５６からのフィールド画像Ｆ’’t-1のラインとを、入力時の２倍の水平走査周期で交互に出力することによってフレーム画像（順次走査画像）Ｈtを生成し、出力端子５８を介して後段に出力する。
【００９７】
次に、図７の順次走査線変換装置による、インタレース映像信号をプログレッシブ映像信号に変換する変換処理について、図１３を参照して説明する。なお、順次走査線変換装置には、インタレース映像信号を構成するフィールド画像が入力端子４１を介して順次入力されているものとする。
【００９８】
ステップＳ１において、フィールド内補間回路４９は、入力端子４１を介して入力されたフィールド画像Ｆtに対応する補間ラインの画素を、存在するラインの画素を用いて補間することにより、補間されたフィールド画像Ｆ’tを生成してエッジ処理回路５５に出力する。
【００９９】
ステップＳ２において、垂直フィルタ４４は、入力端子４１を介して入力されたフィールド画像Ｆtに対し、垂直方向のフィルタリング処理を施して動きベクトル検出回路４６に出力する。垂直フィルタ４５は、フィールドメモリ４２から入力されたフィールド画像Ｆt-1に対し、垂直方向のフィルタリング処理を施して動きベクトル検出回路４６に出力する。
【０１００】
ステップＳ３において、動きベクトル検出回路４６は、垂直方向フィルタリング処理が施されたフィールド画像Ｆt，Ｆt-1のブロック単位のフィールド間動きベクトルｍｖ１を検出し、その信頼度を示すブロック差分値ｄｆ１とともにベクトル判定回路５０に出力する。さらに、動きベクトル検出回路４６は、水平方向のフィールド間動きベクトルｍｖ２を検出し、水平移動回路４７およびベクトル判定回路５０に出力する。
【０１０１】
ステップＳ４において、水平移動回路４７は、フィールドメモリ４３から入力されたフィールド画像Ｆt-2を、動きベクトル検出回路４６から入力された水平方向のフィールド間動きベクトルｍｖ２の２倍だけ移動して水平動きベクトル検出回路４８に出力する。水平動きベクトル検出回路４８は、入力端子４１を介して入力されたフィールド画像Ｆtと、水平移動回路４７によって水平方向に移動されたフィールド画像Ｆt-2との水平方向に限定したフレーム間動きベクトルｄｍｖ２を検出し、その信頼度を示すブロック差分値ｄｆ２とともにベクトル判定回路５０に出力する。
【０１０２】
ステップＳ５において、ベクトル判定回路５０は、動きベクトル検出回路４６から入力されたフィールド間動きベクトルｍｖ１、それに対応するブロック差分値ｄｆ１、および水平方向のフィールド間動きベクトルｍｖ２、並びに水平動きベクトル検出回路４８から入力された水平方向のフレーム間動きベクトルｄｍｖ２、およびそれに対応するブロック差分値ｄｆ２に基づき、最終的なフィールド間動きベクトルを算出して水平垂直移動回路５１に出力するとともに、ブロック差分値ｄｆ１，ｄｆ２の一方を相関レベル信号として混合比判定回路５３に出力し、さらに、１／２画素動きフラグを生成してセレクタ５６に出力する。
【０１０３】
ステップＳ６において、水平垂直移動回路５１は、フィールドメモリ４２から入力されたフィールド画像Ｆt-1を、ベクトル判定回路５０から入力された最終的なフィールド間動きベクトルの分だけ平行移動して混合回路５４に出力する。混合回路５４は、混合比判定回路５３からの混合比に基づき、フィールド内補間回路４９から入力された、補間されたフィールド画像Ｆ’tと、水平垂直移動回路５１から入力された、平行移動されたフィールド画像Ｆt-1との同一座標に位置する画素を、混合比判定回路５３によって判定された混合比に従って混合し、セレクタ５６に出力する。
【０１０４】
ステップＳ６において、水平エッジ検出回路５２は、入力端子４１を介して入力されたフィールド画像Ｆtに存在する水平エッジを検出し、その座標情報をエッジ処理回路５５およびセレクタ５６に出力する。ステップＳ７において、エッジ処理回路５５は、水平エッジ検出回路５２からの水平エッジの座標情報、およびフィールド内補間回路４９からの補間されたフィールド画像Ｆ’tに基づき、水平垂直移動回路５１からの平行移動されたフィールド画像Ｆt-1の画素のうち、水平エッジに隣接する画素を修正して、セレクタ５６に出力する。
【０１０５】
ステップＳ８において、セレクタ５６は、ベクトル判定回路５０からの１／２画素フラグが１であるブロックについては、エッジ処理回路５５から入力された、平行移動されて水平エッジ付近の画素が修正されたフィールド画像Ｆt-1の対応するブロックを採用し、反対に、ベクトル判定回路５０からの１／２画素フラグが０であるブロックについては、混合回路５４から入力された、混合された画素から成るフィールド画像Ｆｔ−１の対応するブロックを採用して、後段に出力するフィールド画像Ｆ’’t-1を生成する。
【０１０６】
ステップＳ９において、倍速変換回路５７は、入力端子４１を介して入力されたフィールド画像Ｆtのラインと、セレクタ５６から入力されたフィールド画像Ｆ’’t-1のラインとを、入力時の２倍の水平走査周期で交互に出力することによってフレーム画像（順次走査画像）Ｈtを生成し、出力端子５８を介して後段に出力する。
【０１０７】
以上説明したように、インタレース映像信号を構成するフィールド画像Ｆtが、直前の２枚のフィールド画像Ｆt-1，Ｆt-2に基づき、プログレッシブ映像信号を構成するフレーム画像Ｈtに変換される。
【０１０８】
なお、図７に示した順次走査線変換装置においてエッジ処理回路５５は、水平垂直移動回路５１から入力される、平行移動されたフィールド画像Ｆt-1の画素のうち、水平エッジに隣接する全ての画素を修正するようにしているが、エッジ処理回路５５に対し、ベクトル判定回路５０からの１／２画素フラグを入力するようにして、エッジ処理回路５５が、平行移動されたフィールド画像Ｆt-1の画素のうち、１／２画素フラグが１であるブロックに属する画素であって、かつ、水平エッジに隣接する画素だけを修正するようにてもよい。このようにすれば、エッジ処理回路５５による処理量を削減することが可能となる。
【０１０９】
次に、図１４は、本発明を適用した順次走査線変換装置の他の構成例を示している。図７に示した構成例との違いは、図７のフィールドメモリ４２，４３に相当するフィールドメモリ１２１，１２２の配置と、水平移動回路１２３である。
【０１１０】
図１４の構成例において、入力端子４１からのフィールド画像Ｆtはフィールドメモリ１２１、および水平移動回路１２３に入力される。フィールドメモリ１２１からのフィールド画像Ｆt-1は、垂直フィルタ４４、フィールド内補間回路４９、水平エッジ検出回路５２、倍速変換回路５７、およびフィールドメモリ１２２に入力される。フィールドメモリ１２２からのフィールド画像Ｆt-2は、水平動きベクトル検出回路４８、および水平垂直移動回路５１、および垂直フィルタ４５に入力される。
【０１１１】
水平移動回路１２３は、入力端子４１からのフィールド画像Ｆtを、動きベクトル検出回路４６からの水平方向のフィールド間動きベクトルｍｖ２の−２倍だけ移動して水平動きベクトル検出回路４８に出力する。
【０１１２】
その他の構成回路は共通であり、同一の番号を付しているので、その説明は省略する。
【０１１３】
なお、図１４の構成例の場合、フィールド画像Ｆtの入力に対し、１フィールド周期前のフレーム画像Ｈt-1が処理結果として出力される。
【０１１４】
ところで、本発明を適用した順次走査線変換装置は、ハードウェアにより実現することもできるが、ソフトウェアにより実現することもできる。ソフトウェアにより実現させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１１５】
図１５は、専用のソフトウェアを実行することによって順次走査線変換装置として動作するパーソナルコンピュータの構成例を示している。
【０１１６】
このパーソナルコンピュータは、CPU(Central Processing Unit)１４１を内蔵している。CPU１４１にはバス１４４を介して、入出力インタフェース１４５が接続されている。バス１４４には、ROM(Read Only Memory１４２およびRAM(Random Access Memory)１４３が接続されている。
【０１１７】
入出力インタフェース１４５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる操作入力部１４６、処理結果を表示するCRT(Cathode Ray Tube)またはLCD(Liquid Crystal Display)等よりなる表示部１４７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１４８、インタネットに代表されるネットワークを介してデータ等を通信する通信部１４９、および磁気ディスク１５１乃至半導体メモリ１５４などの記録媒体に対してデータを読み書きするドライブ１５０が接続されている。
【０１１８】
このパーソナルコンピュータに順次走査線変換装置としての動作を実行させるプログラムは、磁気ディスク１５１（フレキシブルディスクを含む）、光ディスク１５２（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク１５３（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリ１５４に格納された状態でパーソナルコンピュータに供給され、ドライブ１５０によって読み出されて記憶部１４８に内蔵されるハードディスクドライブにインストールされている。記憶部１４８にインストールされているプログラムは、操作入力部１４６に入力されるユーザからのコマンドに対応するCPU１４１の指令によって、記憶部１４８からRAM１４３にロードされて実行される。
【０１１９】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１２０】
【発明の効果】
以上のように、本発明によれば、インタレース映像信号をプログレッシブ映像信号に変換するに際し、画面上を水平方向に移動する字幕などを含む画像の画質劣化を抑止することが可能となる。
【図面の簡単な説明】
【図１】インタレース映像信号をプログレッシブ映像信号に変換する従来回路の一例を示すブロック図である。
【図２】図１の従来回路の問題点を説明するための図である。
【図３】図１の従来回路の問題点を説明するための図である。
【図４】インタレース映像信号をプログレッシブ映像信号に変換する従来回路の一例を示すブロック図である。
【図５】図４の従来回路の問題点を説明するための図である。
【図６】図４の従来回路の問題点を説明するための図である。
【図７】本発明を適用した順次走査線変換装置の第１の構成例を示すブロック図である。
【図８】図７の水平移動回路４７の構成例を示すブロック図である。
【図９】図８のアドレス発生回路６２を説明するための図である。
【図１０】図７のベクトル判定回路５０の構成例を示すブロック図である。
【図１１】図７の水平エッジ検出回路５２の構成例を示すブロック図である。
【図１２】図７のエッジ処理回路５５を説明するための図である。
【図１３】本発明を適用した順次走査線変換装置による変換処理を説明するフローチャートである。
【図１４】本発明を適用した順次走査線変換装置の第２の構成例を示すブロック図である。
【図１５】所定のソフトウェアを実行することによって順次走査線変換装置として動作するパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
４２，４３  フィールドメモリ，  ４４，４５  垂直フィルタ，  ４６  動き検出回路  ，  ４７  水平移動回路，  ４８  水平動きベクトル検出回路，  ４９  フィールド内補間回路，  ５０  ベクトル判定回路，  ５１  水平垂直移動回路，  ５２  水平エッジ検出回路，  ５３  混合比判定回路，  ５４  混合回路，  ５５  エッジ処理回路，  ５６  セレクタ，  ５７  倍速変換回路，  ６２  アドレス発生回路，  １４１  CPU，  １５１  磁気ディスク，  １５２  光ディスク，  １５３  光磁気ディスク，  １５４  半導体メモリ
【図１】
0004032785.tif 000002
【図２】
0004032785.tif 000003
【図３】
0004032785.tif 000004
【図４】
0004032785.tif 000005
【図５】
0004032785.tif 000006
【図６】
0004032785.tif 000007
【図７】
0004032785.tif 000008
【図８】
0004032785.tif 000009
【図９】
0004032785.tif 000010
【図１０】
0004032785.tif 000011
【図１１】
0004032785.tif 000012
【図１２】
0004032785.tif 000013
【図１３】
0004032785.tif 000014
【図１４】
0004032785.tif 000015
【図１５】
0004032785.tif 000016