(57)【特許請求の範囲】
【請求項１】
連続したフィールド画像間のフィールド間動きベクトルを検出する動きベクトル検出部と、
フレーム間の画素の動きを所定の閾値と比較することにより検出するフレーム間動き検出部と、
前記フレーム間動き検出部の検出結果に応じ、フィールド画像上に存在しない補間すべき画素のうち、動きのある部分に属する位置の画素を、前記フィールド画像上に存在する複数の画素を用いた補間演算によって生成し、静止している部分に属する位置の画素を、前記フィールド画像と連続したフィールド画像上に存在する画素を流用して補間する第１の補間部と、
同一フレームを構成する連続したフィールド画像間の動きを所定の閾値と比較することにより検出するフレーム内動き検出部と、
前記フレーム内動き検出部の検出結果に応じ、フィールド画像上に存在しない補間すべき画素のうち、動きのある部分に属する位置の画素を、前記フィールド画像上に存在する複数の画素を用いた補間フィルタ処理によって生成し、静止している部分に属する位置の画素を、前記フィールド画像と連続したフィールド画像上に存在する画素を流用して補間する第２の補間部と、
画素ごとに、前記第１の補間部の補間結果を選択するか、または前記第２の補間部の補間結果を選択するかを選択する選択部とを備え、
前記選択部は、
前記動きベクトル検出部の検出結果により、動きベクトルが０ではなく、かつ、その評価値が所定の閾値以上であって、動きのある部分に属すると判定した画素に対しては、前記第２の補間部の補間結果を選択し、
前記動きのある部分ではなく、前記動きベクトル検出部の検出結果により、動きベクトルが０であって、かつ、その評価値が所定の閾値以上であり、前記フレーム間動き検出部の検出結果によって静止している部分に属すると判定した画素に対しては、前記第１の補間部の補間結果を選択し、
前記動きのある部分ではなく、前記動きベクトル検出部の検出結果により、動きベクトルが０であって、かつ、その評価値が所定の閾値以上であり、前記フレーム間動き検出部の検出結果によって静止している部分に属さないと判定した画素に対しては、前記第２の補間部の補間結果を選択し、
前記動きのある部分ではなく、前記動きベクトル検出部の検出結果により、動きベクトルが０ではない、またはその評価値が所定の閾値以上ではないと判定した画素に対しては、前記第１の補間部の補間結果を選択する
ことを特徴とする画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置に関し、例えば、インタレース方式の映像信号をプログレッシブ方式の映像信号に変換する場合に用いて好適な画像処理装置に関する。
【０００２】
【従来の技術】
テレビジョン放送による映像信号、ビデオカセットやDVD(Digital Versatile Disc)などの記録メディアに録画されている映像信号などは、ODDフィールド画像とEVENフィールド画像が交互に配置されたインタレース方式である。
【０００３】
インタレース方式に対し、フィールド画像の２倍の垂直解像度を有するフレーム画像が連続的に配置された映像信号は、プログレッシブ方式と称される。
【０００４】
従来、より垂直解像度が高い高画質な映像を表示することを目的として、インタレース方式の映像信号（以下、インタレース映像信号と記述する）をプログレッシブ方式の映像信号（以下、プログレッシブ映像信号と記述する）に変換してから表示させるテレビジョン受像機、DVDプレーヤなどが存在する。
【０００５】
インタレース映像信号をプログレッシブ映像信号に変換する場合、画像内の静止している部分は前後する２枚のフィールド画像が用いられ、動きのある部分は１枚のフィールド画像が用いられる。
【０００６】
【発明が解決しようとする課題】
したがって、変換されたプログレッシブ映像信号は、動きのある部分の解像度が、静止している部分の解像度に比較して低下している画像となってしまう課題があった。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、変換されたプログレッシブ映像信号の動きのある部分と静止している部分の解像度の差を少なくすることを目的とする。
【０００８】
【課題を解決するための手段】
本発明の画像処理装置は、連続したフィールド画像間のフィールド間動きベクトルを検出する動きベクトル検出部とフレーム間の画素の動きを所定の閾値と比較することにより検出するフレーム間動き検出部と、フレーム間動き検出部の検出結果に応じ、フィールド画像上に存在しない補間すべき画素のうち、動きのある部分に属する位置の画素を、フィールド画像上に存在する複数の画素を用いた補間演算によって生成し、静止している部分に属する位置の画素を、フィールド画像と連続したフィールド画像上に存在する画素を流用して補間する第１の補間部と、同一フレームを構成する連続したフィールド画像間の動きを所定の閾値と比較することにより検出するフレーム内動き検出部と、フレーム内動き検出部の検出結果に応じ、フィールド画像上に存在しない補間すべき画素のうち、動きのある部分に属する位置の画素を、フィールド画像上に存在する複数の画素を用いた補間フィルタ処理によって生成し、静止している部分に属する位置の画素を、フィールド画像と連続したフィールド画像上に存在する画素を流用して補間する第２の補間部と、画素ごとに、第１の補間部の補間結果を選択するか、または第２の補間部の補間結果を選択するかを選択する選択部とを備え、選択部は、動きベクトル検出部の検出結果により、動きベクトルが０ではなく、かつ、その評価値が所定の閾値以上であって、動きのある部分に属すると判定した画素に対しては、第２の補間部の補間結果を選択し、動きのある部分ではなく、動きベクトル検出部の検出結果により、動きベクトルが０であって、かつ、その評価値が所定の閾値以上であり、フレーム間動き検出部の検出結果によって静止している部分に属すると判定した画素に対しては、第１の補間部の補間結果を選択し、動きのある部分ではなく、動きベクトル検出部の検出結果により、動きベクトルが０であって、かつ、その評価値が所定の閾値以上であり、フレーム間動き検出部の検出結果によって静止している部分に属さないと判定した画素に対しては、第２の補間部の補間結果を選択し、動きのある部分ではなく、動きベクトル検出部の検出結果により、動きベクトルが０ではない、またはその評価値が所定の閾値以上ではないと判定した画素に対しては、第１の補間部の補間結果を選択することを特徴とする。
【０００９】
本発明の画像処理装置においては、フィールド画像の画素の動きベクトルが検出され、フレーム間の画素の動きが所定の閾値と比較することにより検出され、この検出結果に応じ、フィールド画像上に存在しない補間すべき画素のうち、動きのある部分に属する位置の画素が、フィールド画像上に存在する複数の画素を用いた補間演算によって生成され、静止している部分に属する位置の画素が、フィールド画像と連続したフィールド画像上に存在する画素を流用して補間される補間処理が第１の補間として行われる。また、フレーム内の動きが所定の閾値と比較することにより検出され、この検出結果に応じ、フィールド画像上に存在しない補間すべき画素のうち、動きのある部分に属する位置の画素が、フィールド画像上に存在する複数の画素を用いた補間フィルタ処理によって生成され、静止している部分に属する位置の画素が、フィールド画像と連続したフィールド画像上に存在する画素を流用して補間される補間処理が第２の補間として行われる。そして、画素ごとに、前記第１の補間処理の補間結果を選択するか、または前記第２の補間処理の補間結果を選択するかが選択される。この選択は、動きベクトル検出部の検出結果により、動きベクトルが０ではなく、かつ、その評価値が所定の閾値以上であって、動きのある部分に属すると判定した画素に対しては、第２の補間部の補間結果が選択される。また、動きのある部分ではなく、動きベクトル検出部の検出結果により、動きベクトルが０であって、かつ、その評価値が所定の閾値以上であり、フレーム間動き検出部の検出結果によって静止している部分に属すると判定した画素に対しては、第１の補間部の補間結果が選択される。また、動きのある部分ではなく、動きベクトル検出部の検出結果により、動きベクトルが０であって、かつ、その評価値が所定の閾値以上であり、フレーム間動き検出部の検出結果によって静止している部分に属さないと判定した画素に対しては、第２の補間部の補間結果が選択される。また、動きのある部分ではなく、動きベクトル検出部の検出結果により、動きベクトルが０ではない、またはその評価値が所定の閾値以上ではないと判定した画素に対しては、第１の補間部の補間結果が選択される。
【００１４】
【発明の実施の形態】
本発明を適用したDVDプレーヤの構成例について、図１を参照して説明する。このDVDプレーヤ１は、DVD２に記録されているインタレース映像信号を読み出し、プログレッシブ映像信号に変換して、ディスプレイ３に出力するものである。なお、以下においては、DVD２に記録されている音声に関するデータについては言及せず、映像に関するデータにだけ言及する。
【００１５】
DVDプレーヤ１は、DVD２に記録されている、例えばMPEG２方式で符号化された符号化データを読み出す読み出し部１１、読み出された符号化データをデコードしてインタレース映像信号を生成するMPEGデコード部１２、インタレース映像信号を構成するフィールド画像を用いた補間により、新たなフィールド画像を生成する補間処理部１３、新たなフィールド画像と、実在するフィールド画像を用いてフレーム画像を生成するプログレッシブ変換部１４、および生成されたフレーム画像からなるプログレッシブ映像信号をディスプレイ３に出力する信号出力部１５から構成される。
【００１６】
ディスプレイ３は、入力されるプログレッシブ映像信号に対応する映像を表示する。
【００１７】
図２は、補間処理部１３の構成例を示している。以下、MPEGデコード部１２から補間処理部１３に入力されるインタレース映像信号を構成する、連続する３枚のフィールド画像のうち、基準とするフィールド画像をＦtと記述し、フィールド画像Ｆtの１フィールド前のフィールド画像をＦt-1と記述し、フィールド画像Ｆt-1の１フィールド前のフィールド画像をＦt-2と記述する。フィールド画像Ｆtとフィールド画像Ｆt-1は同位相であり、フィールド画像Ｆt-1とフィールド画像Ｆt-2は異位相である。
【００１８】
また、１フィールド間隔が空いた同位相のフィールド画像Ｆtとフィールド画像Ｆt-2との関係をフレーム間とも記述する。また、連続した異位相のフィールド画像Ｆt-1とフィールド画像Ｆt-2との関係をフィールド間とも記述する。
【００１９】
MPEGデコード部１２から順次出力されるフィールド画像Ｆtは、フィールドメモリ２１、およびフレーム間動き検出部２４に入力される。フィールドメモリ２１は、入力されるフィールド画像Ｆtを１フィールド周期だけ遅延し、フィールド画像Ｆt-1として、フィールドメモリ２２、動きベクトル検出部２３、第１補間部２７、フレーム内動き検出部２８、および第２補間部２９に供給する。また、フィールドメモリ２１は、フィールド画像Ｆt-1をプログレッシブ変換部１４にも供給する。
【００２０】
フィールドメモリ２２は、入力されるフィールド画像Ｆt-1を１フィールド周期だけ遅延し、フィールド画像Ｆt-2として、動きベクトル検出部２３、フレーム間動き検出部２４、第１補間部２７、フレーム内動き検出部２８、および第２補間部２９に供給する。
【００２１】
動きベクトル検出部２３は、入力される連続した異位相のフィールド画像Ｆt-1，Ｆt-2に基づき、例えばブロックマッチング法を適用して、フィールド画像Ｆt-2の画素毎（または所定の領域毎）に対する動きベクトルを検出して、当該動きベクトルの確かさを示す評価値ととともに選択制御部２６に出力する。
【００２２】
フレーム間動き検出部２４は、入力される１フィールド間隔が空いた同位相のフィールド画像Ｆt，Ｆt-2の対応する画素対の差分を算出し、算出結果をメモリ２５に保持させ、保持させた数フィールド分の算出結果に基づき、各画素対の座標が動きのある部分に属するのか、静止している部分に属するのかを判定し、判定結果を選択制御部２６および第１補間部２７に出力する。
【００２３】
フレーム間動き検出部２４によるフレーム間動き判定処理について、図３を参照して具体的に説明する。例えば、図３に示すように、フィールド画像Ｆtの画素ｚとＦt-2の対応する画素ｈの画素対の座標の動きを判定する場合、算出したフィールド画像Ｆt，Ｆt-2の対応する画素対の差分のうちの画素対ｚ，ｈの差分、並びに１フィールド周期前に算出してメモリ２５に保持させている、画素対ｅ，ｘの差分、および画素対ｋ，ｙの差分に着目する。そして、着目した３つの差分がそれぞれ所定の閾値以下であるか否かを判断し、着目した３つの差分がそれぞれ所定の閾値以下であると判断した場合、画素対ｚ，ｈの座標は静止している部分に属すると判定する。反対に、着目した３つの差分のうちにずれかが所定の閾値以下ではないと判断した場合、画素対ｚ，ｈの座標は動きのある部分に属すると判定する。
【００２４】
図２に戻る。選択制御部２６は、動きベクトル検出部２３の検出結果、およびフレーム間動き検出部２４の判定結果に基づき、選択部３０の出力を制御する。なお、フレーム内動き判定２８の判定結果にも基づいて、選択部３０の出力を制御するようにしてもよい。
【００２５】
第１補間部２７は、フレーム間動き検出部２４の判定結果に基づき、フィールド画像Ｆt-1上に実在しない画素を補間して選択部３０に出力する。具体的には、動きのある部分に属すると判定された座標の画素に対しては、フィールド画像Ｆt-1内に実在する近傍の複数の画素を用いた補間演算を行う。静止している部分に属する画素に対しては、フィールド画像Ｆt-2内に実在する画素を流用する。
【００２６】
例えば、フレーム間動き検出部２４において、画素対ｚ，ｈの座標は静止している部分に属すると判定された場合、フィールド画像Ｆt-1上の実在しない画素ｈ’として、フィールド画像Ｆt-2の画素ｈを流用する。反対に、画素対ｚ，ｈの座標は動きのある部分に属すると判定された場合、フィールド画像Ｆt-1上の実在しない画素ｈ’を、フィールド画像Ｆt-1の画素ｅ，ｋを用いて補間する。
【００２７】
フレーム内動き検出部２８は、図４に示すように、入力される連続した異位相のフィールド画像Ｆt-1，Ｆt-2の画素を組み合わせてフレーム画像を生成し、生成したフレーム画像の各画素の座標に対し、動きのある部分に属するのか、静止している部分に属するのかを判定して、判定結果を第２補間部２９に出力する。
【００２８】
例えば、画素ｈの座標が動きのある部分に属するのか、静止している部分に属するのかを判定する場合、垂直方向に隣接する画素ｂ，ｅ，ｈ，ｋ，ｎを用いて、フィールド画像Ｆt-1，Ｆt-2の相関を３回判断し、相関が低いと２回以上判断した場合、動きのある部分に属すると判定する。
【００２９】
まず、画素ｂ，ｅ，ｈに着目し、画素ｂと画素ｅとの差分（ｂ−ｅ）、および画素ｅと画素ｈとの差分（ｅ−ｂ）を算出する。両者の符号が異なり、かつ、両者の乗算値が所定の閾値以上である場合、画素ｂ，ｈが存在していたフィールド画像Ｆt-2と、画素ｅが存在していたフィールド画像Ｆt-1との相関が低いと判断する。
【００３０】
次に、画素ｅ，ｈ，ｋに着目し、画素ｅと画素ｈとの差分（ｅ−ｈ）、および画素ｈと画素ｋとの差分（ｈ−ｋ）を算出する。両者の符号が異なり、かつ、両者の乗算値が所定の閾値以上である場合、画素ｅ，ｋが存在していたフィールド画像Ｆt-1と、画素ｈが存在していたフィールド画像Ｆt-2との相関が低いと判断する。
【００３１】
さらに、画素ｈ，ｋ，ｎに着目し、画素ｈと画素ｋとの差分（ｈ−ｋ）、および画素ｋと画素ｎとの差分（ｋ−ｎ）を算出する。両者の符号が異なり、かつ、両者の乗算値が所定の閾値以上である場合、画素ｈ，ｎが存在していたフィールド画像Ｆt-2と、画素ｋが存在していたフィールド画像Ｆt-1との相関が低いと判断する。
【００３２】
以上のような３回の判断のうち、２回以上相関が低いと判断した場合、画素ｈの座標を動きのある部分に属すると判定する。
【００３３】
なお、フィールド画像Ｆt-1，Ｆt-2の相関の判断には、さらに、画素ｂ，ｅ，ｈ，ｋ，ｎの横方向に隣接する画素を用いてもよい。
【００３４】
また、画素ｅ，ｋの平均値と、画素ｈとの差分が所定の閾値以上である場合、画素ｈの座標を動きのある部分に属すると判定するようにしてもよい。また上記判断を組み合わせてもよい。さらに、画素ｈの斜め方向に隣接する複数の画素を用い、上述した垂直方向に隣接する画素を用いた判断と同様に、フィールド画像Ｆt-1，Ｆt-2の相関を判断するようにすれば、画素ｈの座標の動き検出の精度を高めることが可能である。
【００３５】
図２に戻る。第２補間部２９は、フレーム内動き検出部２８の判定結果に基づき、フィールド画像Ｆt-1上に存在しない画素を補間して選択部３０に出力する。具体的には、動きのある部分に属する画素に対しては、フィールド画像Ｆt-1内に実在する近傍の複数の画素を用いた補間フィルタ処理を行う。静止している部分に属する画素に対しては、フィールド画像Ｆt-2内に実在する画素を流用する。
【００３６】
例えば、図４に示すフィールド画像Ｆt-1上の画素ｅと画素ｋの中間に位置する画素を補間する場合、フレーム内動き検出部２８の判定結果が「画素ｈの座標は動きのある部分に属する」であるならば、フィールド画像Ｆt-1内の画素ｄ，ｅ，ｆ，ｊ，ｋ，ｌなどを用いた補間フィルタ処理を行う。反対に、フレーム内動き検出部２８の判定結果が「画素ｈの座標は静止している部分に属する」であるならば、フィールド画像Ｆt-2内に実在する画素ｈを流用する。
【００３７】
選択部３０は、選択制御部２６からの制御に基づき、画素毎に、第１補間部２７または第２補間部２９からの入力を選択することによって、フィールド画像Ｆt-1と異位相のフィールド画像Ｆ’t-1を生成し、プログレッシブ変換部１４に出力する。
【００３８】
なお、選択部３０において、選択制御部２６からの制御に基づき、画素毎に、第１補間部２７または第２補間部２９からの入力を混合することによって、フィールド画像Ｆ’t-1を生成するようにしてもよい。
【００３９】
また、さらに、フィールド画像Ｆ’t-1の周囲の画素と比較して孤立点となっている画素に対して補正するようにしてもよい。
【００４０】
制御部３１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどからなる記録媒体３２に記録されている制御用プログラムを読み出し、読み出した制御用プログラムに基づいて、補間処理部１３の各部を制御する。なお、図２においては、制御部３１から各部に対する制御線の図示を省略している。
【００４１】
次に、補間処理部１３による補間処理について、図５のフローチャートを参照して説明する。この補間処理は、動きベクトル検出部２３において動きベクトルが検出された画素（または所定の領域）を順次処理対象として実行される。なお、動きベクトル検出部２３、フレーム間動き検出部２４、第１補間部２７、フレーム内動き検出部２８、および第２補間部２９は、既に、上段からの入力に対してそれぞれの処理を実行しているものとする。
【００４２】
ステップＳ１において、選択制御部２６は、動きベクトル検出部２３の検出結果に基づき、処理対象の画素の座標が動きのある部分に属するのか否かを判定する。具体的には、処理対象の画素の動きベクトルが０ではなく、かつ、その評価値が所定の閾値以上である場合にだけ、処理対象の画素の座標が動きのある部分に属すると判定されて、処理はステップＳ２に進む。
【００４３】
ステップＳ２において、選択部３０は、選択制御部２６からの制御に基づき、処理対象の画素として、第２補間部２９からの入力を選択する。すなわち、この場合、フレーム内動き検出判定部２８の判定結果に基づいて補間された画素が、選択部３０で生成されるフィールド画像Ｆ’t-1の画素に採用される。この後、処理対象の画素（または所定の領域）が変更されて、ステップＳ１の処理が繰り返される。
【００４４】
ステップＳ１において、処理対象の画素の座標が動きのある部分に属さないと判定された場合、処理はステップＳ３に進む。ステップＳ３において、選択制御部２６は、動きベクトル検出部２３の検出結果に基づき、処理対象の画素の座標が静止している部分に属するか否かを判定する。具体的には、処理対象の画素の動きベクトルが０であり、かつ、その評価値が所定の閾値以上である場合にだけ、処理対象の画素の座標が静止している部分に属すると判定されて、処理はステップＳ４に進む。
【００４５】
ステップＳ４において、選択制御部２６は、フレーム間動き検出部２４の判定結果に基づき、処理対象の画素の座標が静止している部分に属するのか否かを判定し、静止している部分に属すると判定した場合、処理はステップＳ５に進む。ステップＳ５において、選択部３０は、選択制御部２６からの制御に基づき、処理対象の画素として、第１補間部２４からの入力を選択する。すなわち、この場合、フレーム間動き検出判定部２４の判定結果に基づいて補間された画素が、選択部３０で生成されるフィールド画像Ｆ’t-1の画素に採用される。この後、処理対象の画素（または所定の領域）が変更されて、ステップＳ１の処理が繰り返される。
【００４６】
なお、ステップＳ４において、処理対象の画素の座標が静止している部分に属さないと判定された場合、処理はステップＳ２に進む。
【００４７】
また、ステップＳ３において、処理対象の画素の座標が静止している部分に属さないと判定された場合、ステップＳ４の処理はスキップされる。
【００４８】
以上説明した補間処理が、動きベクトル検出部２３において動きベクトルが検出された画素（または所定の領域）を順次処理対象として実行されることにより、選択部３０からフィールド画像Ｆ’t-1がプログレッシブ変換部１４に供給されることになる。
【００４９】
このフィールド画像Ｆ't-1は、動きのある部分がフィールド画像Ｆt-1内に実在する画素を用いたフィルタ処理によって補間されており、静止している部分がフィールド画像Ｆt-2の画素を流用したものであり、動きのある部分と静止している部分はともに１枚のフィールド画像を利用したものであるので、両者に解像度の違いは生じない。したがって、プログレッシブ変換部１４において、このフィールド画像'Ｆt-1と、フィールド画像Ｆt-1とを利用して生成されるフレーム画像においても、動きのある部分と静止している部分に解像度の違いは生じない。
【００５０】
なお、本発明は、DVDプレーヤに限らず、例えば、テレビジョン受像機、ビデオテープレコーダ、ハードディスクレコーダなどの、インタレース方式の映像信号をプログレッシブ方式の映像信号に変換する映像関連機器に適用することが可能である。
【００５１】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、図２の記録媒体３２などからインストールされる。
【００５２】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００５３】
【発明の効果】
以上のように、本発明によれば、変換後のプログレッシブ映像信号の動きのある部分と静止している部分の解像度の差を少なくすることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したDVDプレーヤの構成例を示すブロック図である。
【図２】図１の補間処理部１３の構成例を示すブロック図である。
【図３】フレーム間動き検出部２４の処理、および第１補間部２７の処理を説明するための図である。
【図４】フレーム内動き検出部２８の処理、および第２補間部２９の処理を説明するための図である。
【図５】補間処理部１３による補間処理を説明するための図である。
【符号の説明】
１  DVDプレーヤ，  １３  補間処理部，  １４  プログレッシブ変換部，２１，２２  フィールドメモリ，  ２３  動きベクトル検出部，  ２４  フレーム間動き検出部，  ２６  選択制御部，  ２７  第１補間部，  ２８  フレーム内動き検出部，  ２９  第２補間部，  ３０  選択部，  ３１  制御部，  ３２記録媒体
【図１】
0004117527.tif 000002
【図２】
0004117527.tif 000003
【図３】
0004117527.tif 000004
【図４】
0004117527.tif 000005
【図５】
0004117527.tif 000006