(57)【要約】【課題】任意のプルダウンシーケンスの入力信号を適切にIP変換する。【解決手段】フィールド差分算出部は、インターレース信号における連続するフィールドの差分であるフィールド差分を算出し、フィールド解像度算出部は、インターレース信号におけるフィールドの解像度であるフィールド解像度を算出し、フィールド相関判定部は、フィールド差分およびフィールド解像度に基づいて、連続するフィールドの相関を判定し、補間ペア決定部は、フィールド相関判定部による判定結果に基づいて、プログレッシブ信号を得るための補間処理に用いるフィールドを決定する。本技術は、IP変換を行う画像処理装置に適用することができる。【選択図】図５
2012244333.tif 000002
【特許請求の範囲】
【請求項１】
インターレース信号をプログレッシブ信号に変換する画像処理装置において、
前記インターレース信号における連続するフィールドの差分であるフィールド差分を算出するフィールド差分算出部と、
前記インターレース信号における前記フィールドの解像度であるフィールド解像度を算出するフィールド解像度算出部と、
前記フィールド差分および前記フィールド解像度に基づいて、連続する前記フィールドの相関を判定するフィールド相関判定部と、
前記フィールド相関判定部による判定結果に基づいて、前記プログレッシブ信号を得るための補間処理に用いる前記フィールドを決定する補間画像決定部と
を備える画像処理装置。
【請求項２】
前記フィールド差分算出部は、注目している注目フィールドと、前記注目フィールドより時間的に前の前フィールドとの前記フィールド差分を算出し、
前記フィールド解像度算出部は、前記注目フィールドの前記フィールド解像度を算出し、
前記フィールド相関判定部は、前記フィールド差分および前記フィールド解像度に基づいて、前記注目フィールドと前記前フィールドとの相関を判定し、
前記補間画像決定部は、前記相関が所定の閾値より高いと判定された場合、前記注目フィールドと前記前フィールドとを前記補間処理に用いる前記フィールドに決定し、前記相関が所定の閾値より高くないと判定された場合、前記注目フィールドと、前記注目フィールドより時間的に後の後フィールドとを前記補間処理に用いる前記フィールドに決定する
請求項１に記載の画像処理装置。
【請求項３】
前記フィールド相関判定部による判定結果に基づいて、前記インターレース信号が所定のシーケンスでプルダウンされたプルダウン信号であるか否かを判定する信号判定部と、
前記信号判定部によって前記インターレース信号が前記プルダウン信号であると判定された場合、前記補間画像決定部によって決定された前記フィールドを用いた補間処理によって得られた前記プログレッシブ信号を出力する信号出力部とをさらに備える
請求項１に記載の画像処理装置。
【請求項４】
インターレース信号をプログレッシブ信号に変換する画像処理装置の画像処理方法において、
前記画像処理装置が、
前記インターレース信号における連続するフィールドの差分であるフィールド差分を算出し、
前記インターレース信号における前記フィールドの解像度であるフィールド解像度を算出し、
前記フィールド差分および前記フィールド解像度に基づいて、連続する前記フィールドの相関を判定し、
前記フィールドの相関の判定結果に基づいて、前記プログレッシブ信号を得るための補間処理に用いる前記フィールドを決定する
ステップを含む画像処理方法。
【請求項５】
インターレース信号をプログレッシブ信号に変換する処理をコンピュータに実行させるプログラムにおいて、
前記インターレース信号における連続するフィールドの差分であるフィールド差分を算出するフィールド差分算出ステップと、
前記インターレース信号における前記フィールドの解像度であるフィールド解像度を算出するフィールド解像度算出ステップと、
前記フィールド差分および前記フィールド解像度に基づいて、連続する前記フィールドの相関を判定するフィールド相関判定ステップと、
前記フィールド相関判定ステップの処理による判定結果に基づいて、前記プログレッシブ信号を得るための補間処理に用いる前記フィールドを決定する補間画像決定ステップと
を含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および方法、並びにプログラムに関し、特に、任意のプルダウンシーケンスの入力信号を適切にIP変換することができるようにする画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、テレシネ変換されたテレシネ画像のプルダウンシーケンスとして、２−２プルダウンや２−３プルダウンのプルダウンシーケンスを検出する技術がある（例えば、特許文献１，２参照）。
【０００３】
このような技術によって、プルダウンシーケンスが検出されることで、プルダウン逆変換が正しく行われるようになる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−７２８６３号公報
【特許文献２】特開平８−２８９１９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した技術においては、プルダウンシーケンスを解析するための大容量のバッファが必要になるため、予め与えられたプルダウンシーケンスが繰り返されるという仮定の下で、プルダウンシーケンスを検出するようにしていた。
【０００６】
一方で、近年、様々なプルダウンシーケンスの画像信号が存在する。
【０００７】
このような画像信号に対してプルダウン逆変換を行う場合でもプルダウンシーケンスを検出する必要があるが、上述した技術では、２−２プルダウンや２−３プルダウン以外のプルダウンシーケンスを検出することはできなかった。
【０００８】
また、プルダウン逆変換後の画像を補間する際の補間ペアを決定する場合、テレシネ変換においては、フレーム差分に基づいて補間ペアを決定することができる。しかしながら、インターレース信号をプログレッシブ信号に変換するIP変換においては、第１および第２フィールドを補間ペアとする必要があり、フィールド差分に基づいて補間ペアを決定しようとしても、インターレース固有の位相差の影響を強く受け、適切に補間ペアを決定することができなった。
【０００９】
本技術は、このような状況に鑑みてなされたものであり、任意のプルダウンシーケンスの入力信号を適切にIP変換することができるようにするものである。
【課題を解決するための手段】
【００１０】
本技術の一側面の画像処理装置は、インターレース信号をプログレッシブ信号に変換する画像処理装置であって、前記インターレース信号における連続するフィールドの差分であるフィールド差分を算出するフィールド差分算出部と、前記インターレース信号における前記フィールドの解像度であるフィールド解像度を算出するフィールド解像度算出部と、
前記フィールド差分および前記フィールド解像度に基づいて、連続する前記フィールドの相関を判定するフィールド相関判定部と、前記フィールド相関判定部による判定結果に基づいて、前記プログレッシブ信号を得るための補間処理に用いる前記フィールドを決定する補間画像決定部とを備える。
【００１１】
前記フィールド差分算出部には、注目している注目フィールドと、前記注目フィールドより時間的に前の前フィールドとの前記フィールド差分を算出させ、前記フィールド解像度算出部には、前記注目フィールドの前記フィールド解像度を算出させ、前記フィールド相関判定部には、前記フィールド差分および前記フィールド解像度に基づいて、前記注目フィールドと前記前フィールドとの相関を判定させ、前記補間画像決定部には、前記相関が所定の閾値より高いと判定された場合、前記注目フィールドと前記前フィールドとを前記補間処理に用いる前記フィールドに決定させ、前記相関が所定の閾値より高くないと判定された場合、前記注目フィールドと、前記注目フィールドより時間的に後の後フィールドとを前記補間処理に用いる前記フィールドに決定させることができる。
【００１２】
前記画像処理装置には、前記フィールド相関判定部による判定結果に基づいて、前記インターレース信号が所定のシーケンスでプルダウンされたプルダウン信号であるか否かを判定する信号判定部と、前記信号判定部によって前記インターレース信号が前記プルダウン信号であると判定された場合、前記補間画像決定部によって決定された前記フィールドを用いた補間処理によって得られた前記プログレッシブ信号を出力する信号出力部とをさらに設けることができる。
【００１３】
本技術の一側面の画像処理方法は、インターレース信号をプログレッシブ信号に変換する画像処理装置の画像処理方法であって、前記画像処理装置が、前記インターレース信号における連続するフィールドの差分であるフィールド差分を算出し、前記インターレース信号における前記フィールドの解像度であるフィールド解像度を算出し、前記フィールド差分および前記フィールド解像度に基づいて、連続する前記フィールドの相関を判定し、前記フィールドの相関の判定結果に基づいて、前記プログレッシブ信号を得るための補間処理に用いる前記フィールドを決定するステップを含む。
【００１４】
本技術の一側面のプログラムは、インターレース信号をプログレッシブ信号に変換する処理をコンピュータに実行させるプログラムであって、前記インターレース信号における連続するフィールドの差分であるフィールド差分を算出するフィールド差分算出ステップと、前記インターレース信号における前記フィールドの解像度であるフィールド解像度を算出するフィールド解像度算出ステップと、前記フィールド差分および前記フィールド解像度に基づいて、連続する前記フィールドの相関を判定するフィールド相関判定ステップと、前記フィールド相関判定ステップの処理による判定結果に基づいて、前記プログレッシブ信号を得るための補間処理に用いる前記フィールドを決定する補間画像決定ステップとを含む処理をコンピュータに実行させる。
【００１５】
本技術の一側面においては、インターレース信号における連続するフィールドの差分であるフィールド差分が算出され、インターレース信号におけるフィールドの解像度であるフィールド解像度が算出され、フィールド差分およびフィールド解像度に基づいて、連続するフィールドの相関が判定され、フィールドの相関の判定結果に基づいて、プログレッシブ信号を得るための補間処理に用いるフィールドが決定される。
【発明の効果】
【００１６】
本技術の一側面によれば、任意のプルダウンシーケンスの入力信号を適切にIP変換することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】IP変換の概要について説明する図である。
【図２】通常のIP変換について説明する図である。
【図３】本技術によるIP変換について説明する図である。
【図４】プルダウンシーケンスに応じた注目フィールドに対する補間ペアについて説明する図である。
【図５】本技術を適用した画像処理装置の一実施の形態の機能構成例を示すブロック図である。
【図６】IP変換処理について説明するフローチャートである。
【図７】フィールド差分およびフィールド解像度について説明する図である。
【図８】フィールド相関に基づいた補間ペアの決定について説明する図である。
【図９】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、本技術の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．IP変換の概要
２．通常のIP変換
３．本技術によるIP変換
４．本技術を適用した画像処理装置の構成
５．IP変換処理
【００１９】
＜１．IP変換の概要＞
まず、図１を参照して、IP変換の概要について説明する。IP変換は、インターレース信号をプログレッシブ信号に変換する処理である。
【００２０】
IP変換処理においては、図１の左側に示されるように、入力されたインターレース信号の３枚のフィールド、すなわち、０フィールド目、１フィールド目、および２フィールド目（以下、０Ｆ、１Ｆ、および２Ｆという）から、１Ｆの補間ライン（０ライン）を生成することで、図１の左下側に示されるプログレッシブ信号のフレームが生成される。具体的には、１Ｆの０ラインの画素（画素値）は、図１の右側に示されるように、０Ｆおよび２Ｆの０ラインの画素と、１Ｆの＋１ラインおよび−１ラインの画素とに基づいて生成される。
【００２１】
＜２．通常のIP変換＞
次に、図２を参照して、通常のIP変換の例について説明する。
【００２２】
図２は、２−３プルダウンされたインターレース信号をプログレッシブ信号に変換する例を示している。
【００２３】
図２においては、フレーム周波数が24Hzである映画が、フィールド周波数が60Hzであるインターレース信号（以下、適宜、インターレース画像という）であるテレビジョン画像に２−３プルダウンされ、そのテレビジョン画像が、フレーム周波数が60Hzのプログレッシブ信号の画像（以下、適宜、プログレッシブ画像という）にIP変換されている。
【００２４】
具体的には、映画の１フレーム目である画像「Ａ」からテレビジョン画像の１，２フィールド目が生成され、映画の２フレーム目である画像「Ｂ」からテレビジョン画像の３，４，５フィールド目が生成され、映画の３フレーム目である画像「Ｃ」からテレビジョン画像の６，７フィールド目が生成される。
【００２５】
また、テレビジョン画像の１，２，３フィールド目からプログレッシブ画像の１フレーム目が生成され、テレビジョン画像の２，３，４フィールド目からプログレッシブ画像の２フレーム目が生成され、テレビジョン画像の３，４，５フィールド目からプログレッシブ信号の３フレーム目が生成され、以降、同様にしてプログレッシブ画像のフレームが生成される。
【００２６】
しかしながら、上述したIP変換によって得られるプログレッシブ画像のフレームには、異なる映画のフレームから生成されたインターレース画像のフィールドが混ざってしまう。具体的には、例えば、図２におけるプログレッシブ画像の１フレーム目は、映画の１フレーム目の画像「Ａ」から生成されたフィールドと、画像「Ｂ」から生成されたフィールドとから生成されてしまう。
【００２７】
したがって、このようにして得られたプログレッシブ画像の画質は、決して良好なものとは言えなかった。
【００２８】
＜３．本技術によるIP変換＞
次に、図３を参照して、本技術のIP変換の例について説明する。
【００２９】
図３は、図２同様、２−３プルダウンされたインターレース信号をプログレッシブ信号に変換する例を示している。
【００３０】
ただし、図３においては、テレビジョン画像の１，２フィールド目からプログレッシブ画像の１フレーム目が生成され、テレビジョン画像の３，４フィールド目からプログレッシブ画像の２フレーム目および３フレーム目が生成され、テレビジョン画像の４，５フィールド目からプログレッシブ画像の４フレーム目が生成され、テレビジョン画像の６，７フィールド目からプログレッシブ画像の５フレーム目が生成される。
【００３１】
すなわち、図３に示されるIP変換においては、図１の１Ｆを注目フィールドとすると、その注目フィールドに対応するプログレッシブ画像のフレームは、１Ｆと、０Ｆ（すなわち、時間的に後のフィールド）または２Ｆ（時間的に前のフィールド）のいずれか一方とが補間されて生成されている。
【００３２】
具体的には、図３に示されるIP変換においては、注目フィールドを１フィールド目からシフトさせたときの注目フィールド（１Ｆ）は、２フィールド目のときに２Ｆと、３フィールド目のときに０Ｆと、４フィールド目のときに２Ｆと、５フィールド目のときに２Ｆと、６フィールド目のときに０Ｆと補間され、以降、これが繰り返される。
【００３３】
このように、２−３プルダウンされたインターレース画像において、注目フィールド（１Ｆ）との補間ペアは、２Ｆ、０Ｆ、２Ｆ、２Ｆ、０Ｆの順で変化し、これが繰り返される。
【００３４】
図４は、プルダウンシーケンスに応じた、入力画像の注目フィールドに対する補間ペアについて説明する図である。図４においては、上から順に、２−３プルダウンの場合、２−２プルダウンの場合、５−５プルダウンの場合、８−７プルダウンの場合の入力画像の注目フィールドに対する補間ペアを示している。
【００３５】
図４に示されるように、２−３プルダウンの場合、図３を参照して説明した通り、入力画像に対する補間ペアは、２Ｆ、０Ｆ、２Ｆ、２Ｆ、０Ｆの順で変化し、これが繰り返される。２−２プルダウンの場合、入力画像に対する補間ペアは、２Ｆ、０Ｆの順で変化し、これが繰り返される。５−５プルダウンの場合、入力画像に対する補間ペアは、Ｘ、Ｘ、Ｘ、２Ｆ、０Ｆの順で変化し、これが繰り返される。８−７プルダウンの場合、入力画像に対する補間ペアは、Ｘ、Ｘ、Ｘ、Ｘ、Ｘ、Ｘ、２Ｆ、０Ｆ、Ｘ、Ｘ、Ｘ、Ｘ、Ｘ、２Ｆ、０Ｆの順で変化し、これが繰り返される。なお、「Ｘ」は、０Ｆおよび２Ｆのどちらでもよいことを示している。
【００３６】
このようにして補間ペアが決定されて得られるプログレッシブ画像のフレームには、異なる映画のフレームから生成されたフィールドが混ざることがないので、そのプログレッシブ画像の画質は、良好なものとなる。
【００３７】
しかしながら、プルダウンシーケンスが、上述した２−３プルダウンや２−２プルダウン等、予めわかっている場合には、注目フィールドとの補間ペアを図４のように決定することができるが、プルダウンシーケンスが予めわからない場合には、注目フィールドとの補間ペアを図４のように決定することができない。
【００３８】
そこで、本技術においては、フィールド差分に着目して注目フィールドとの補間ペアを決定する。
【００３９】
図４においては、どのプルダウンシーケンスの場合であっても、注目フィールドと次フィールドとのフィールド差分が大きい場合の、次の注目フィールドの補間ペアは、必ず０Ｆとなっている。
【００４０】
すなわち、プルダウンシーケンスが予めわからない場合であっても、注目フィールドと次フィールドとのフィールド差分に基づいて、次の注目フィールドの補間ペアが決定される。言い換えると、今注目している注目フィールドの補間ペアは、その注目フィールドと、時間的に前のフィールドとのフィールド差分に基づいて決定される。
【００４１】
しかしながら、フィールド差分は、例えば、図１のインターレース信号の０Ｆと１Ｆとを比較してもわかるように、インターレース信号固有の位相差の影響を強く受け、同一の画像（フレーム）から生成された連続するフィールドであっても異なる画像となる。特に、垂直解像度が高い（プログレッシブ画像でナイキスト周波数の１／２付近の）場合、フィールド差分は大きくなる傾向がある。
【００４２】
そこで、本技術においては、フィールド画像の垂直解像度（以下、フィールド解像度という）に応じたフィールド差分に基づいて、注目フィールドの補間ペアを決定する。
【００４３】
＜４．本技術を適用した画像処理装置の構成＞
図５は、本技術を適用した画像処理装置の一実施の形態の構成を示している。
【００４４】
図５の画像処理装置１１は、インターレース信号としての入力画像に対して、IP変換処理を施し、プログレッシブ信号としての出力画像を出力する。
【００４５】
図５の画像処理装置１１は、フィールド差分算出部３１、フィールド解像度算出部３２、フィールド相関判定部３３、補間ペア決定部３４、補間処理部３５、補間処理部３６、非ビデオ信号判定部３７、および信号選択部３８から構成される。
【００４６】
フィールド差分算出部３１は、入力されたインターレース信号の連続するフィールド間のフィールド差分を算出し、フィールド相関判定部３３に供給する。
【００４７】
フィールド解像度算出部３２は、入力されたインターレース信号のフィールドのフィールド解像度を算出し、フィールド相関判定部３３に供給する。
【００４８】
フィールド相関判定部３３は、フィールド差分算出部３１からのフィールド差分と、フィールド解像度算出部３２からのフィールド解像度とに基づいて、連続するフィールド間の相関を表すフィールド相関の高低を判定し、その判定結果を補間ペア決定部３４に供給するとともに、フィールド差分およびフィールド解像度を非ビデオ信号判定部３７に供給する。
【００４９】
補間ペア決定部３４は、フィールド相関判定部３３からの判定結果に基づいて、注目フィールドとの補間ペアを決定し、その補間ペアを示す補間ペア情報を補間処理部３５に供給する。
【００５０】
補間処理部３５は、入力されたインターレース信号のフィールドを、補間ペア決定部３４からの補間ペア情報に基づいて補間し、得られたプログレッシブ信号を信号選択部３８に供給する。
【００５１】
補間処理部３６は、入力されたインターレース信号の注目フィールドを、その前後のフィールドに基づいて補間し、得られたプログレッシブ信号を信号選択部３８に供給する。具体的には、補間処理部３６は、注目フィールドにおける補間ラインの画素を、注目フィールドの前後のフィールドにおける補間ラインの画素と、注目フィールドにおける補間ライの上下ラインの画素とに基づいて補間する。補間処理部３６においては、図２を参照して説明したIP変換による補間（以下、ビデオ補間という）が行われ、プルダウン処理されていない、等間隔の時間で撮影されたインターレース信号（以下、ビデオ信号ともいう）であれば適切にプログレッシブ信号に変換される。
【００５２】
非ビデオ信号判定部３７は、フィールド相関判定部３３からのフィールド差分およびフィールド解像度に基づいて、インターレース信号がビデオ信号であるか否かを判定し、その判定結果を信号選択部３８に供給する。
【００５３】
信号選択部３８は、非ビデオ信号判定部３７からの判定結果に基づいて、補間処理部３５からのプログレッシブ信号と、補間処理部３６からのプログレッシブ信号のいずれを出力するかを選択する。
【００５４】
＜５．IP変換処理＞
次に、図６を参照して、画像処理装置１１によるIP変換処理について説明する。
【００５５】
ステップＳ１１において、フィールド差分算出部３１は、入力されてくるインターレース信号における注目フィールドと、時間的に前のフィールド（以下、前フィールドという）とのフィールド差分を算出し、フィールド相関判定部３３に供給する。
【００５６】
具体的には、図７に示されるように、０Ｆを注目フィールドとすると、０Ｆにおける注目画素（画素値。以下、画素は画素値を示すものとする）をy0、前フィールド（１Ｆ）において注目画素y0に対応する画素をyip、画素yipの１ライン上の画素をy1up、画素yipの１ライン下の画素をy1とすると、注目フィールドについてのフィールド差分は、以下の式（１）で与えられる。
【００５７】
（フィールド差分）＝Σ｜yip−y0｜＝Σ｜y1up−２y0＋y1｜／２  ・・・（１）
【００５８】
ステップＳ１２において、フィールド解像度算出部３２は、入力されてくるインターレース信号における注目フィールド（０Ｆ）の垂直解像度であるフィールド解像度を算出し、フィールド相関判定部３３に供給する。
【００５９】
具体的には、図７に示されるように、注目フィールド（０Ｆ）における注目画素y0の２ライン上の画素をy0up、注目画素y0の２ライン下の画素をy0down、画素y0upと画素y0downとから求められる画素をy0lpfすると、注目フィールドについてのフィールド解像度は、以下の式（２）で与えられる。
【００６０】
（フィールド解像度）＝Σ｜y0lpf−y0｜＝Σ｜y0up−２y0＋y0down｜／２
・・・（２）
【００６１】
ステップＳ１３において、フィールド相関判定部３３は、フィールド差分算出部３１からのフィールド差分と、フィールド解像度算出部３２からのフィールド解像度とに基づいて、注目フィールド（０Ｆ）と前フィールド（１Ｆ）とのフィールド相関を求め、その高低を判定する。
【００６２】
ここで、上述の式（１）で与えられるフィールド差分は、注目フィールドに対応するプログレッシブ画像における、注目画素と、注目画素の１ライン分上下それぞれの画素とについての（−１，２，−１）フィルタとなる。また、上述の式（２）で与えられるフィールド解像度は、注目フィールドに対応するプログレッシブ画像における、注目画素と、注目画素の２ライン分上下それぞれの画素および１ライン分上下それぞれの画素とについての（−１，０，２，０，−１）フィルタとなる。
【００６３】
すなわち、フィールド相関判定部３３は、このような垂直帯域通過フィルタによるフィルタリング結果の相関を求めることになる。
【００６４】
具体的には、フィールド相関判定部３３は、以下の式（３）を満たすとき、フィールド相関が高いと判定する。
【００６５】
（フィールド差分）＜（フィールド解像度）／２＋register        ・・・（３）
【００６６】
式（３）によれば、「（フィールド解像度）／２」を閾値として、その閾値よりフィールド差分が小さい場合に、フィールド相関が高いと判定される。ここで、registerは、ノイズ変動に対して、理論値である閾値「（フィールド解像度）／２」を調整するための値である。
【００６７】
フィールド相関判定部３３は、判定した結果、すなわちフィールド相関の高低を補間ペア決定部３４に供給するとともに、フィールド差分およびフィールド解像度を非ビデオ信号判定部３７に供給する。
【００６８】
ステップＳ１４において、補間ペア決定部３４は、フィールド相関判定部３３からのフィールド相関の高低に基づいて、補間ペアを決定する。
【００６９】
ここで、図８を参照して、フィールド相関の高低に基づいた補間ペアの決定について説明する。
【００７０】
図８の上側は、注目フィールド（０Ｆ）と前フィールド（１Ｆ）とのフィールド相関が高い場合の補間ペアの決定について示している。すなわち、図８の上側においては、０Ｆと１Ｆは、それぞれ画像「Ｂ」についてのフィールドであるので、フィールド相関が高いと判定される。そして、次のフィールドのタイミングで、対応する１Ｆと２Ｆが補間ペアに決定される。すなわち、フィールド相関が高いと判定された場合、次のフィールドのタイミングの注目フィールド（０Ｆ）から２フィールド分遅延したフィールド（２Ｆ）と、１フィールド分遅延したフィールド（１Ｆ）とが補間ペアとなることが、１フィールド遅延して決定される。
【００７１】
一方、図８の下側は、注目フィールド（０Ｆ）と前フィールド（１Ｆ）とのフィールド相関が低い場合の補間ペアの決定について示している。すなわち、図８の下側においては、０Ｆと１Ｆは、それぞれ画像「Ｂ」、「Ａ」についてのフィールドであるので、フィールド相関は低いと判定される。そして、次のフィールドのタイミングでは、０Ｆと１Ｆがそれぞれ画像「Ｂ」についてのフィールドとなり、０Ｆと１Ｆ（注目フィールドと、注目フィールドより時間的に後の後フィールド）が補間ペアに決定される。すなわち、フィールド相関が低いと判定された場合、次のフィールドのタイミングの注目フィールド（０Ｆ）から０フィールド分遅延したフィールド（０Ｆ）と、１フィールド分遅延したフィールド（１Ｆ）とが補間ペアとなることが、１フィールド遅延して決定される。
【００７２】
なお、以上においては、同一のフィールドが２枚以上連続していることが前提となる。
【００７３】
このようにして、次のフィールドのタイミングでの補間ペアがリアルタイムに決定され、その補間ペアを表す補間ペア情報が、補間処理部３５に供給される。
【００７４】
図６のフローチャートに戻り、ステップＳ１５において、補間処理部３５は、補間ペア決定部３４からの補間ペア情報に基づいて、補間ペア決定部３４によって決定された補間ペアでフィールドを補間し、得られたプログレッシブ画像のフレームを、信号選択部３８に供給する。
【００７５】
このとき並行して、補間処理部３６は、入力されたインターレース信号に対してビデオ補間を行い、得られたプログレッシブ画像のフレームを、信号選択部３８に供給する。
【００７６】
ステップＳ１６において、非ビデオ信号判定部３７は、フィールド相関判定部３３からのフィールド差分およびフィールド解像度に基づいて、インターレース信号が非ビデオ信号であるか否か、言い換えると、インターレース信号が所定のプルダウンシーケンスでプルダウンされたプルダウン信号であるか否かを判定する。
【００７７】
例えば、非ビデオ信号判定部３７は、インターレース信号の０Ｆ、１Ｆ、２Ｆの３フィールドの間のフィールド相関に基づいて、インターレース信号がビデオ信号であるか否かを判定する。
【００７８】
ここで、時刻ｔにおけるフィールドについてのフィールド相関の値を表す相関値をfield_crl(t)としたとき、時刻ｔにおける相関値field_crl(t)は、以下の式（４）で表わされる。
【００７９】
field_crl(t)＝（フィールド差分）−（フィールド解像度）／２    ・・・（４）
【００８０】
なお、式（４）におけるフィールド差分およびフィールド解像度は、それぞれ時刻ｔにおけるフィールドについてのものである。
【００８１】
上述したように、ビデオ信号は等間隔の時間で撮影されているため、インターレース信号がビデオ信号である場合、０Ｆと１Ｆとのフィールド差分と、１Ｆと２Ｆとのフィールド差分との比は略１：１となり、相関値field_crl(t)と相関値field_crl(t-1)との比もまた略１：１となる。
【００８２】
そこで、非ビデオ信号判定部３７は、３フィールドの間の相関値の比を表す値Ｒが所定の閾値より小さい場合に、インターレース信号がビデオ信号でないと判定する。ここで、Ｒは、field_crl(t)＜field_crl(t-1)である場合、field_crl(t)／field_crl(t-1)で表わされ、field_crl(t)＞field_crl(t-1)である場合、field_crl(t-1)／field_crl(t)で表わされる。
【００８３】
なお、非ビデオ信号判定部３７は、この判定を所定フィールド分継続して行い、その間の判定結果が同一であったときに、その判定結果を出力する。なお、判定に用いられる閾値や判定を継続する期間は、適宜設定されるようにしてもよい。
【００８４】
また、非ビデオ信号判定部３７は、インターレース信号がビデオ信号であるか否かを判定できればよく、上述のようにフィールド相関に基づいて判定する他、フィールド差分を直接比較することで判定する等、その他の方法でインターレース信号がビデオ信号であるか否かを判定してもよい。
【００８５】
さて、ステップＳ１６において、インターレース信号が非ビデオ信号であると判定された場合、非ビデオ信号判定部３７は、その旨の判定結果を信号選択部３８に供給し、処理はステップＳ１７に進む。
【００８６】
ステップＳ１７において、信号選択部３８は、非ビデオ信号判定部３７からの判定結果に基づいて、補間処理部３５からのプログレッシブ信号、すなわち、インターレース信号が補間ペアで補間されたフレームを出力する。
【００８７】
一方、ステップＳ１６において、インターレース信号が非ビデオ信号でないと判定された場合、非ビデオ信号判定部３７は、その旨の判定結果を信号選択部３８に供給し、処理はステップＳ１８に進む。
【００８８】
ステップＳ１８において、信号選択部３８は、非ビデオ信号判定部３７からの判定結果に基づいて、補間処理部３６からのプログレッシブ信号、すなわち、インターレース信号がビデオ補間されたフレームを出力する。
【００８９】
以上の処理によれば、フィールド差分とフィールド解像度とに基づいて、フィールド相関を求め、フィールド相関の高低に応じて補間ペアを決定するようにしたので、インターレース信号固有の位相差の影響を抑えつつ、現存しないプルダウンシーケンスを含めた任意のプルダウンシーケンスの入力信号を適切にIP変換することが可能となる。これにより、より良好な画質のプログレッシブ画像を得ることができるようになる。
【００９０】
また、プルダウンシーケンスを解析するためのバッファを必要とせず、また、プルダウンシーケンス毎の処理を行う必要もなくリアルタイムに補間ペアの決定を行うことができるので、回路規模を小さくするとともに、処理の即時性を高めることができるようになる。
【００９１】
以上においては、本技術をIP変換を行う画像処理装置に適用するようにしたが、全てのフィールド差分を利用してケーデンス判定を行う構成や、フレームレート変換を行う構成等にも適用することができる。
【００９２】
上述した一連の処理の一部または全部は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【００９３】
図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【００９４】
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【００９５】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
【００９６】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【００９７】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【００９８】
そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【００９９】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１００】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１０１】
さらに、本技術は以下のような構成をとることができる。
（１）  インターレース信号をプログレッシブ信号に変換する画像処理装置において、
前記インターレース信号における連続するフィールドの差分であるフィールド差分を算出するフィールド差分算出部と、
前記インターレース信号における前記フィールドの解像度であるフィールド解像度を算出するフィールド解像度算出部と、
前記フィールド差分および前記フィールド解像度に基づいて、連続する前記フィールドの相関を判定するフィールド相関判定部と、
前記フィールド相関判定部による判定結果に基づいて、前記プログレッシブ信号を得るための補間処理に用いる前記フィールドを決定する補間画像決定部と
を備える画像処理装置。
（２）  前記フィールド差分算出部は、注目している注目フィールドと、前記注目フィールドより時間的に前の前フィールドとの前記フィールド差分を算出し、
前記フィールド解像度算出部は、前記注目フィールドの前記フィールド解像度を算出し、
前記フィールド相関判定部は、前記フィールド差分および前記フィールド解像度に基づいて、前記注目フィールドと前記前フィールドとの相関を判定し、
前記補間画像決定部は、前記相関が所定の閾値より高いと判定された場合、前記注目フィールドと前記前フィールドとを前記補間処理に用いる前記フィールドに決定し、前記相関が所定の閾値より高くないと判定された場合、前記注目フィールドと、前記注目フィールドより時間的に後の後フィールドとを前記補間処理に用いる前記フィールドに決定する
（２）に記載の画像処理装置。
（３）  前記フィールド相関判定部による判定結果に基づいて、前記インターレース信号が所定のシーケンスでプルダウンされたプルダウン信号であるか否かを判定する信号判定部と、
前記信号判定部によって前記インターレース信号が前記プルダウン信号であると判定された場合、前記補間画像決定部によって決定された前記フィールドを用いた補間処理によって得られた前記プログレッシブ信号を出力する信号出力部とをさらに備える
（１）または（２）に記載の画像処理装置。
（４）  インターレース信号をプログレッシブ信号に変換する画像処理装置の画像処理方法において、
前記画像処理装置が、
前記インターレース信号における連続するフィールドの差分であるフィールド差分を算出し、
前記インターレース信号における前記フィールドの解像度であるフィールド解像度を算出し、
前記フィールド差分および前記フィールド解像度に基づいて、連続する前記フィールドの相関を判定し、
前記フィールド相関判定ステップの処理による判定結果に基づいて、前記プログレッシブ信号を得るための補間処理に用いる前記フィールドを決定する
ステップを含む画像処理方法。
（５）  インターレース信号をプログレッシブ信号に変換する処理をコンピュータに実行させるプログラムにおいて、
前記インターレース信号における連続するフィールドの差分であるフィールド差分を算出するフィールド差分算出ステップと、
前記インターレース信号における前記フィールドの解像度であるフィールド解像度を算出するフィールド解像度算出ステップと、
前記フィールド差分および前記フィールド解像度に基づいて、連続する前記フィールドの相関を判定するフィールド相関判定ステップと、
前記フィールド相関判定ステップの処理による判定結果に基づいて、前記プログレッシブ信号を得るための補間処理に用いる前記フィールドを決定する補間画像決定ステップと
を含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０１０２】
１１  画像処理装置，  ３１  フィールド差分算出部，  ３２  フィールド解像度算出部，  ３３  フィールド相関判定部，  ３４  補間ペア決定部，  ３５  補間処理部，  ３６  補間処理部，  ３７  非ビデオ信号判定部，  ３８  信号選択部
【図１】
2012244333.tif 000003
【図２】
2012244333.tif 000004
【図３】
2012244333.tif 000005
【図４】
2012244333.tif 000006
【図５】
2012244333.tif 000007
【図６】
2012244333.tif 000008
【図７】
2012244333.tif 000009
【図８】
2012244333.tif 000010
【図９】
2012244333.tif 000011