(57)【要約】【課題】  精度が向上されたＩＰ変換処理技術を提供する。【解決手段】  注目フィールドに含まれる注目画素における画素値の変化予測値を算出する変化予測値算出装置は、順次入力されるフィールドを保持する複数のフィールドメモリと、注目フィールドと、該注目フィールドに隣接するフィールドと、の少なくともいずれかに基づいて、注目画素における画素値の補正前の変化予測値を算出する変化予測値算出器と、複数のフィールドと、入力中のフィールドと、のうち、フィールド間隔が２となる２つのフィールドに基づいてフレーム間差分係数を算出する、フレーム間差分係数算出部と、フレーム間差分係数にもとづいて変化予測値の補正値を算出する補正値算出部と、変化予測値算出器において算出された補正前の変化予測値を、補正値算出部において算出された補正値に基づいて補正し、補正後の変化予測値を出力する変化予測値補正部と、を備える。【選択図】  図４
2008182476.tif 000002
【特許請求の範囲】
【請求項１】
インタレース映像信号からプログレッシブ映像信号を生成する際の、注目フィールドに含まれる注目画素における画素値の変化予測値を算出する変化予測値算出装置であって、
順次入力されるフィールドをそれぞれ１つずつ保持する複数のフィールドメモリと、
前記注目フィールドと、該注目フィールドに隣接する前記複数のフィールドメモリのいずれかに格納されたフィールドと、の少なくともいずれかに基づいて、前記注目画素における画素値の補正前の変化予測値を算出する変化予測値算出器と、
前記複数のフィールドメモリに格納された複数のフィールドと、入力中のフィールドと、のうち、フィールド間隔が２となる２つのフィールドのいずれかに基づいてフレーム間差分係数をそれぞれ算出する、１以上のフレーム間差分係数算出部と、
前記フレーム間差分係数算出部において算出された前記フレーム間差分係数にもとづいて変化予測値の補正値を算出する補正値算出部と、
前記変化予測値算出器において算出された補正前の変化予測値を、前記補正値算出部において算出された前記補正値に基づいて補正し、補正後の変化予測値を出力する変化予測値補正部と、
を備えることを特徴とする変化予測値算出装置。
【請求項２】
前記フィールドメモリは、前記注目フィールドと、前記注目フィールドに先行するフィールドと、前記注目フィールドに後行するフィールドと、のいずれかを保持する
ことを特徴とする請求項１に記載の変化予測値算出装置。
【請求項３】
前記変化予測値算出器は、
前記注目フィールドに含まれる、前記注目画素に隣接する２つのラインに含まれる画素の画素値と、前記フィールドメモリに保持された前記注目フィールドに隣接するフィールドに含まれる、前記注目画素における画素値と、の少なくともいずれかに基づいて、前記補正前の変化予測値を算出する
ことを特徴とする請求項１又は２に記載の変化予測値算出装置。
【請求項４】
前記フレーム間差分係数算出部は、
前記フィールド間隔が２となる２つのフィールドの間において、前記注目画素を中心とする予め定められた領域に含まれる各画素の、互いに同じ位置に存在するもの同士の画素値の差分に基づいて前記フレーム間差分係数を算出する
ことを特徴とする請求項１乃至３のいずれか１項に記載の変化予測値算出装置。
【請求項５】
シーンチェンジを判定するシーンチェンジ判定部を更に備え、
前記補正値算出部は、更に、前記シーンチェンジ判定部におけるシーンチェンジ判定に基づいて前記補正値を算出する
ことを特徴とする請求項１乃至４のいずれか１項に記載の変化予測値算出装置。
【請求項６】
インタレース映像信号を入力し、プログレッシブ映像信号を生成して出力するＩＰ変換処理装置であって、
請求項１乃至５のいずれか１項に記載の変化予測値算出装置と、
前記注目フィールドと、当該注目フィールドに隣接するフィールドと、前記変化予測値算出装置において算出された前記補正後の変化予測値と、に基づいて、該注目フィールドに含まれるライン間に補間すべき補間画素値を作成する補間画素作成部と、
を備えることを特徴とするＩＰ変換処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インタレース映像信号からプログレッシブ映像信号を生成する技術に関し、特に、変化予測値算出装置及びＩＰ変換処理装置に関する。
【背景技術】
【０００２】
現行のカラーテレビジョン信号方式には、ＮＴＳＣ（Ｎａｔｉｏｎａｌ  Ｔｅｌｅｖｉｓｉｏｎ  Ｓｙｓｔｅｍ  Ｃｏｍｍｉｔｔｅｅ）方式やＰＡＬ（Ｐｈａｓｅ  Ａｌｔｅｒｎａｔｉｏｎ  ｂｙ  Ｌｉｎｅ）方式などが知られている。これらは、インタレース走査を特徴とした信号方式である（このような信号方式における映像信号をインタレース映像信号という）。
【０００３】
インタレース走査とは、飛び越し走査とも呼ばれ、１本ずつ走査線を飛び越して走査する方式である。ＮＴＳＣ信号の場合は、１枚の画像を５２５本の走査線で表現しているので、これをインタレース走査のために２６２．５本の線に分解していることになる。ここで小数点未満の０．５本という端数が存在することで、１回の走査を行なって、元に戻って走査するときに、その戻る位置が０．５だけずれることになる。これにより、１回目に走査が行なわれる絵素と２回目に走査が行なわれる絵素は位置的にズレており、これらを合わせることで５２５本の線として映し出されることになる。このときの２６２．５本の走査線からなる画像をフィールドと呼び、２回の垂直走査で伝送される５２５本の画像をフレームと呼ぶ。このように、フィールドは１枚ずつ交互にずれた画像となり、一般的には偶数番目のフィールドを偶数フィールド（イーブンフィールド）、奇数番目のフィールドを奇数フィールド（オッドフィールド）と呼ぶ。
【０００４】
一方、カラーテレビジョン信号方式において一般的に用いられているＮＴＳＣやＰＡＬなどのインタレース走査とは異なる走査方式として、プログレッシブ走査が知られている。このような信号方式における映像信号をプログレッシブ映像信号という。プログレッシブ走査は、順次走査とも呼ばれており、画像を順次走査して表示する。例えば、ＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）およびＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）などの画像表示パネルにおいては、プログレッシブ走査が行われている。
【０００５】
ここで、カラーテレビジョン信号をＰＤＰ、ＬＣＤ、ＬＥＤなどに表示させるためには、インタレース走査の信号をプログレッシブ走査の信号に変換する処理が必要となる。この処理のことを一般にＩＰ変換（Interlace to Progressive conversion）処理と呼ぶ。
【０００６】
ＩＰ変換処理の手法は様々なものが知られている。特に、最近では高画質化のために、フィールド間の画素データの違いから画像の動きを検出し、動画か静止画かに応じて適応的にラインデータを生成する動き適応型ＩＰ変換手法が多く用いられている。
【０００７】
この手法では、動画はフィールド内補間、静止画はフィールド間補間を行なう。具体的には、ラインデータを生成すべきフィールド内の画像から補間して、動画に適した画像データを生成するとともに、ラインを生成すべきフィールドを含む２つのフィールド間の画像から補間して、静止画に適した画像データを生成する。以下、この生成された動画に適した画像データを動画用補間データといい、静止画に適した画像データを静止画用補間データという。動き適応型ＩＰ変換手法においては、動画用補間データと静止画用補間データとを、フィールドに含まれる画素の変化に基づき適応的に混合して新たなラインの画像データを生成する。
【０００８】
動画用及び静止画用の補間データを混合して画像データを生成するＩＰ変換方式は、動画用補間データと静止画用補間データの混合比を何に基づいて決定するかによって、フィールド差分動き適応型ＩＰ変換とフレーム差分動き適応型ＩＰ変換とに分類できる。
【０００９】
フィールド差分動き適応型ＩＰ変換は、補間する画素を含むフィールドと前後いずれかのフィールドの差分に基づいて混合比を決定する方式である（特許文献１）。この方式では、差分が大きいときは動画用補間データの混合比を高くし、小さいときは静止画用補間データの混合比を高くする。
【００１０】
これに対して、フレーム差分動き適応型ＩＰ変換は、補間する画素の前後フィールドのフレーム差分に基づいて混合比を決定する方式である（特許文献２）。この方式においても、差分が大きいときは動画用補間データの混合比を高くし、小さいときは静止画用補間データの混合比を高くする。
【００１１】
これらのフィールド差分動き適応型ＩＰ変換およびフレーム差分動き適応型ＩＰ変換は、ＩＰ変換処理を行なうために必要なフィールド数を少なくできる利点がある。即ち、フィールド差分動き適応型ＩＰ変換で必要とするフィールド数は２フィールドであり、フレーム差分動き適応型ＩＰ変換で必要とするフィールド数は３フィールドである。このため、ＩＰ変換処理回路を実装するときに、フィールドメモリを少なくでき、回路規模を小さくできるため、実装を安価に行なうことができるという利点がある。
【００１２】
また、フィールド差分動き適応型ＩＰ変換は、補間する画素を含むフィールドと前後いずれかのフィールドを用いたアルゴリズムであるため、フレーム差分動き適応型ＩＰ変換と比べて時間分解能が高い。このため、フィールド差分動き適応型ＩＰ変換は、時間方向に高精度にＩＰ変換処理を行なえるという特長を有している。
【特許文献１】特開２００６−４１６１９号公報
【特許文献２】特開２００２−１８５９３３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
動き適応型ＩＰ変換においては、動画用補間データと静止画用補間データとの混合比を決める際に、動画用補完データの比率が静止画用補間データより高い場合には、動画用補間が同じフィールド内での処理であるため画面に大きな破綻は生じない。これに対し、動画を誤って静止画と判定すると、動きに応じて異なったデータとなった２枚のフィールドから１枚の画面を作成することになる。このため、像の輪郭がギザギザとなり、あるいは横筋が目立ち、場合によっては画像が二重に見えるなど絵として破綻してしまう。このため、従来の動き適応型ＩＰ変換では、動画用補完データの比率を静止画用補間データより高くする傾向になっていた。
【００１４】
フィールド差分動き適応型ＩＰ変換は、このような動き適応型ＩＰ変換におけるアルゴリズムの特性を継承しているが、さらに特殊な対応が必要となる。フィールド差分動き適応型ＩＰ変換においては、差分を取るフィールドの一方には空間的に対応する画素が存在しないため、補間位置の周辺画素を用いて作成される仮の画素を用いて差分値を算出する。このため、差分値が大きくなりやすく、絵としての破綻を防止するために、動画用補完データの比率を静止画用補間データより高くする傾向になっていた。しかし、静止画を正しく静止画と判定しないと変換後の画像は垂直解像度が低いものになってしまう。
【００１５】
また、既存のＩＰ変換処理は、用いるフィールドの数を特定しており、ＩＰ変換処理精度と、ＩＰ変換処理のアルゴリズムを処理回路として実装する際の回路規模との最適化が難しいという課題がある。混合比を決める際に用いるフィールドの数を増やすことで、ＩＰ変換処理の精度向上を図ることができる。しかし、用いるフィールドの数を増やすと処理回路を実装する際にその規模が増大する傾向がある。これは、処理回路の開発コストが増大したり、処理回路が物理的に大きくなったりすることにつながるため、一般的に望ましくない。このため、用いるフィールド数を適応的に変更して、ＩＰ変換処理精度と回路規模の最適化を行なう必要がある。しかしながら、既存のＩＰ変換処理においては用いるフィールドの数が特定されており、最適化することが困難だった。
【００１６】
また、用いるフィールド間差分データを増やすことは、基本的にはＩＰ変換処理の精度を向上させるが、補間する画素を含むフィールドの前後フィールドが明らかに別の画像の場合は、逆に精度を低下させる場合がある。用いるフィールド間差分データを増やしたときに、ＩＰ変換処理の精度が低下する場合としては、例えば、映像場面のシーンチェンジが挙げられる。補間する画素を含むフィールドの前後のフィールドでシーンチェンジが発生している場合に混合比の補正を行なうのは好ましくない。
【００１７】
本発明は上記課題に鑑みなされたものであり、精度が向上されたＩＰ変換処理技術を提供することを目的とする。
【課題を解決するための手段】
【００１８】
上記目的を達成するため、本発明による変化予測値算出装置は以下の構成を備える。即ち、
インタレース映像信号からプログレッシブ映像信号を生成する際の、注目フィールドに含まれる注目画素における画素値の変化予測値を算出する変化予測値算出装置であって、
順次入力されるフィールドをそれぞれ１つずつ保持する複数のフィールドメモリと、
前記注目フィールドと、該注目フィールドに隣接する前記複数のフィールドメモリのいずれかに格納されたフィールドと、の少なくともいずれかに基づいて、前記注目画素における画素値の補正前の変化予測値を算出する変化予測値算出器と、
前記複数のフィールドメモリに格納された複数のフィールドと、入力中のフィールドと、のうち、フィールド間隔が２となる２つのフィールドのいずれかに基づいてフレーム間差分係数をそれぞれ算出する、１以上のフレーム間差分係数算出部と、
前記フレーム間差分係数算出部において算出された前記フレーム間差分係数にもとづいて変化予測値の補正値を算出する補正値算出部と、
前記変化予測値算出器において算出された補正前の変化予測値を、前記補正値算出部において算出された前記補正値に基づいて補正し、補正後の変化予測値を出力する変化予測値補正部と、
を備える。
【００１９】
また、上記目的を達成するため、本発明によるＩＰ変換処理装置は以下の構成を備える。即ち、
インタレース映像信号を入力し、プログレッシブ映像信号を生成して出力するＩＰ変換処理装置であって、
上記の変化予測値算出装置と、
前記注目フィールドと、当該注目フィールドに隣接するフィールドと、前記変化予測値算出装置において算出された前記補正後の変化予測値と、に基づいて、該注目フィールドに含まれるライン間に補間すべき補間画素値を作成する補間画素作成部と、
を備える。
【発明の効果】
【００２０】
本発明によれば、精度が向上されたＩＰ変換処理技術を提供することができる。
【発明を実施するための最良の形態】
【００２１】
以下、添付図面を参照して本発明に係る実施の形態を詳細に説明する。ただし、この実施の形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。
【００２２】
＜＜実施形態１＞＞
（予測値算出装置）
まず、本実施形態に係る動き予測値算出装置（変化予測値算出装置）の構成について図１を参照して説明する。図１は本実施形態に係る動き予測値算出装置の構成を模式的に示すブロック図である。この動き予測値算出装置は、インタレース映像信号からプログレッシブ映像信号を生成する際の、注目フィールドに含まれる注目画素における画素値の変化予測値を算出する。
【００２３】
図１において、１０１、１０２はフィールドメモリであり、入力画像について、それぞれ１フィールド分の画像データを順次記憶する。図１において、フィールドメモリ１０１には新たなフィールドが順次入力される。後述するように、フィールドメモリは、注目フィールドと、注目フィールドに先行するフィールドと、注目フィールドに後行するフィールドと、のいずれかを保持する。
【００２４】
１２１は動き予測値算出器（変化予測値算出器）であり、入力画像とフィールドメモリ１０１に記憶（格納）されたフィールド画像に基づいて、動き予測値（変化予測値）を算出する動き予測値算出器である。１１１はフレーム間差分係数算出部であり、入力画像とフィールドメモリ１０２に記憶されたフィールド画像に基づいてフレーム間差分係数を算出する。後述するように、フレーム間差分係数算出部１１１は、フィールドメモリに格納された複数のフィールドと、入力中のフィールドと、のうち、フィールド間隔が２となる２つのフィールドのいずれかに基づいてフレーム間差分係数算出する。
【００２５】
１２２は補正値算出部であり、フレーム間差分係数算出部１１１から出力されるフレーム間差分係数に基づいて、動き予測値算出器１２１において算出される動き予測値に対する補正値を算出する。１２３は動き予測値補正部（変化予測値補正部）であり、動き予測値算出器１２１において算出される動き予測値と、補正値算出部１２２において算出される補正値を入力して、動き予測値を補正する。
【００２６】
ここで、動き予測値とは注目画素位置における画素値の変化（変化の度合い）、即ち、動きの度合いを示すパラメータである。動き予測値が取りうる値の範囲は、０以上１以下であり、１に近い値を取るほど注目画素位置において動きがあると予測され、動画用補間データを用いて補間画素が作成される。また、０に近い値を取るほど注目画素位置において静止状態であると予測され、静止画用補間データを用いて補間画素が作成される。
【００２７】
（動き予測値補正動作の概要）
上記のように構成された動き予測値算出装置における動き予測値補正動作の概要について、説明する。
【００２８】
まず、処理に先立ち、フィールドメモリ１０１、１０２の内容は全て０にリセットされる。１フィールド分の画像データが動き予測値算出装置に入力されると、入力画像は、フィールドメモリ１０１に入力され、記憶される。次に、次のフィールド画像データが入力されるとフィールドメモリ１０１の入力はフィールドメモリ１０２に記憶され、新しいフィールド画像がフィールドメモリ１０１に記憶される。更に、新しいフィールド画像とフィールドメモリ１０２で遅延されたフィールド画像がフレーム間差分係数算出部１１１に入力される。
【００２９】
（動き予測値の算出）
次に、動き予測値算出器１２１における動き予測値を算出するための具体的な処理について説明する。動き予測値算出器１２１は、以下の少なくともいずれかに基づいて、補正前の動き予測値を算出する。
・注目フィールドに含まれる、注目画素に隣接する２つのラインに含まれる画素。
・フィールドメモリに保持された注目フィールドに隣接するフィールドに含まれる、注目画素の位置に存在する画素。
以下、このような処理を行う動き予測値算出器１２１の構成の一例を説明する。
【００３０】
図２は、本実施形態に係る動き予測値算出装置が有する、動き予測値算出器１２１の構成を模式的に示すブロック図である。動き予測値算出器１２１は入力画像とフィールドメモリ１０１に記憶されたフィールド画像とから、動き予測値を算出する。
【００３１】
図２において、２０２はラインメモリであり、入力画像の１ライン分の画像データを順次記憶する。２０３はライン間パラメータ算出部であり、入力画像と、ラインメモリ２０２によって１ライン期間遅延された数ラインの画像データと、フィールドメモリ１０１に記憶されたフィールド画像とからライン間パラメータを算出する。２０４、２０５は減算器である。減算器２０４は、フィールドメモリ１０１に記憶されたフィールド画像と、ライン間パラメータ算出部２０３において算出されたライン間パラメータとを用いて減算値を出力する。減算器２０５は、入力画像と、ラインメモリ２０２によって１ライン期間遅延された画像データとを用いて減算値を出力する。２０６は動き予測値算出部であり、減算器２０４から出力される減算値と、減算器２０５から出力される減算値とを受けて動き予測値を算出する。
【００３２】
上記のように構成された動き予測値算出器１２１における動き予測値算出動作を以下で説明する。まず、処理に先立ち、ラインメモリ２０２の内容は全て０にリセットされる。ラインメモリ２０２は入力画像から図１０に示すように１ラインを順次記憶する。ただし、図１０はインタレース信号形式の走査順序を示す図である。ラインの走査順は入力画像の左上からでも左下からでも構わない。
【００３３】
（ライン間パラメータの算出）
次に、ライン間パラメータ算出部２０３におけるライン間パラメータＤの算出処理について図３を用いて説明する。図３はフィールドデータの時系列変化を模式的に示す図である。図３において、フィールドデータ（ｔ）は、動き予測値算出装置によって作成される補間画素位置Ｐを含む入力画像データの模式図である。フィールドデータ（ｔ−１）は、フィールドデータ（ｔ）に隣接する１時刻前のフィールドデータの模式図である。フィールドデータ（ｔ−２）は、フィールドデータ（ｔ−１）に隣接する１時刻前のフィールドデータの模式図である。フィールドデータ（ｔ−３）は、フィールドデータ（ｔ−２）に隣接する１時刻前のフィールドデータ（ｔ−３）の模式図である。
ライン間パラメータは、以下の情報を用いて算出される。
・入力画像。
・ラインメモリ２０２によって遅延された１ラインに存在する、横補間画素位置Ｐの上下ラインに存在する画素。
・フィールドデータ（ｔ−１）に存在する補間画素位置Ｐに空間的に対応する画素ｕＥ１およびその近傍画素。
【００３４】
ここで、ラインメモリ２０２によって遅延された１ラインに存在する、横補間画素位置Ｐの上下ラインに存在する画素としては、例えば、図３中のｔＡ１〜ｔＡ５およびｔＢ１〜ｔＢ５が該当する。また、フィールドデータ（ｔ−１）に存在する補間画素位置Ｐに空間的に対応する画素ｕＥ１およびその近傍画素としては、例えば、図３中のｕＥ２〜ｕＥ５、ｕＦ１〜ｕＦ５、ｕＧ１〜ｕＧ５、ｕＨ１〜ｕＨ５、ｕＩ１〜ｕＩ５が該当する。
【００３５】
これらの画素は１つ以上を組み合わせて用いることができる。以下に具体的なライン間パラメータ算出処理を例示的に示す。ただし、この算出処理は一例であり、入力画像、フィールド画像、及び、ラインメモリ２０２からの出力の少なくともいずれかに基づいてライン間パラメータを算出するのであればどのような手法を用いてもよい。
【００３６】
ライン間パラメータの具体的な算出処理は以下のとおりである。第１の処理として、画素Ａ、ＢおよびＥを用いて、
ＩＦ（｜ｔＡ１−ｕＥ１｜  ＜  ｜ｔＢ１−ｕＥ１｜）    Ｄ＝ｔＡ１;
ＥＬＳＥ                                              Ｄ＝ｔＢ１;        （１）
とすることができる。即ち、ｔＡ１とｔＢ１のうちよりｕＥ１と画素値が近い方をライン間パラメータに採用することができる。
【００３７】
第２の処理として、画素ｔＡ１、ｔＢ１を用いて、
Ｄ＝ＡＶＥＲＡＧＥ２(ｔＡ１，ｔＢ１);                                    （２）
とし、ｔＡ１とｔＢ１の平均値をライン間パラメータに採用してもよい。なお、ＡＶＥＲＡＧＥ２（ｐａｒａｍｅｔｅｒ１，ｐａｒａｍｅｔｅｒ２）は以下の式で表わされるように、２つの画素の平均値Ｅを返す関数である。
Ｅ＝（ｐａｒａｍｅｔｅｒ１＋ｐａｒａｍｅｔｅｒ２）／２                   （３）
【００３８】
第３の処理として、画素ｔＡ１〜ｔＡ５、ｔＢ１〜ｔＢ５、ｕＥ１を用いて、以下のようにＤを算出することができる。
Ｖ＝ＡＶＥＲＡＧＥ５(ｔＡ１，ｔＡ２，ｔＡ３，ｔＡ４，ｔＡ５);。
Ｗ＝ＡＶＥＲＡＧＥ５(ｔＢ１，ｔＢ２，ｔＢ３，ｔＢ４，ｔＢ５);。
ＩＦ（｜Ｖ−ｕＥ１｜  ＜  ｜Ｗ−ｕＥ１｜）    Ｄ＝Ｖ;。
ＥＬＳＥ                                      Ｄ＝Ｗ;                    （４）
この手法では、上側ラインの画素平均値と下側ラインの画素平均値のうちよりｕＥ１と画素値が近い方をライン間パラメータに採用する。
【００３９】
なお、ＡＶＥＲＡＧＥ５（ｐａｒａｍｅｔｅｒ１，ｐａｒａｍｅｔｅｒ２，ｐａｒａｍｅｔｅｒ３，ｐａｒａｍｅｔｅｒ４，ｐａｒａｍｅｔｅｒ５）は以下の式で表わされるように、５つの画素の平均値Ｅを返す関数である。
Ｅ＝（ｐａｒａｍｅｔｅｒ１＋ｐａｒａｍｅｔｅｒ２＋ｐａｒａｍｅｔｅｒ３＋ｐａｒａｍｅｔｅｒ４＋ｐａｒａｍｅｔｅｒ５）／５                                 （５）
【００４０】
減算器２０４は、ライン間パラメータＤと、フィールドデータ（ｔ−１）に存在する補間画素位置Ｐに空間的に対応する画素ｕＥ１およびその近傍画素の入力とに基づいて、その差分値（フィールド間動き量）Ｆを出力する。ただし、画素ｕＥ１の近傍画素には、例えば、図３中のｕＥ２〜ｕＥ５、ｕＦ１〜ｕＦ５、ｕＧ１〜ｕＧ５、ｕＨ１〜ｕＨ５、ｕＩ１〜ｕＩ５が含まれる。減算器２０４による算出の具体的な一例として、
Ｆ＝｜Ｄ−ｕＥ１｜;                                                      （６）
とすることができる。
【００４１】
減算器２０５は、補間画素位置Ｐの上下ラインに存在する画素を用いて、その差分値（フィールド内動き量）Ｇを出力する。具体的な一例としては、
Ｇ＝｜ｔＡ１−ｔＢ１｜;                                                  （７）
があげられる。なお、フィールド内動き量Ｇの算出の具体的な処理は、入力画像とラインメモリ２０２とに基づいて行なうのであれば、ここに例示したものに限られない。
【００４２】
動き予測値算出部２０６は、減算器２０４から出力されるフィールド間動き量Ｆと、減算器２０５から出力されるフィールド内動き量Ｇを用いて動き予測値Ｘを出力する。具体的な処理の一例として、以下のように予測値Ｘを求めることができる。
ＩＦ（Ｇ＝０）                  Ｘ＝１；
ＥＬＳＥ  ＩＦ（Ｆ＝０）        Ｘ＝０；
ＥＬＳＥ                        Ｘ＝Ｆ／Ｇ；                             （８）
【００４３】
なお、動き予測値は０〜１の範囲で与えられ、その値は以下のように補間される画素の状態を表わす。
Ｘ＝０                  完全静止状態
Ｘ＝１                  完全動き状態
０＜Ｘ＜１              静止と動きが混ざった状態                         （９）
このようにして算出された動き予測値は動き予測値補正部１２３に入力される。
【００４４】
（フレーム間差分係数の算出）
次に、フレーム間差分係数算出部１１１における、フレーム間差分係数の算出処理を説明する。フレーム間差分係数算出部１１１は、フィールド間隔が２となる２つのフィールドの間において、注目画素の位置を中心とする予め定められた領域に含まれる各画素の、互いに同じ位置に存在するもの同士の差分に基づいてフレーム間差分係数を算出する。上述のように、図３において、フィールド（ｔ）は、入力される画像データである。フィールド（ｔ−１）は、フィールドメモリ１０１に保持された画像データである。フィールド（ｔ−２）は、フィールドメモリ１０２に保持された画像データである。フィールド（ｔ−３）は、フィールドメモリ１０２に保持された画像データに対して１フィールド過去の画像データである。
【００４５】
フレーム間差分係数は、フィールド（ｔ）に存在する補間画素位置Ｐの近傍の画素と、フィールド（ｔ−２）に存在する補間画素位置Ｐの近傍の画素とを用い、フィールド（ｔ）とフィールド（ｔ−２）との空間対応画素対の差分値を画素ごとに求める。ここで、フィールド（ｔ）に存在する補間画素位置Ｐの近傍の画素としては、例えば、図３の補間画素位置Ｐの直上のラインのｔＡ１〜ｔＡ５、直下のラインのｔＢ１〜ｔＢ５、２ライン前のｔＣ１〜ｔＣ５、２ライン後のｔＤ１〜ｔＤ５の２０画素が該当する。また、フィールド（ｔ−２）に存在する補間画素位置Ｐの近傍の画素としては、例えば、図３のｖＡ１〜ｖＡ５、ｖＢ１〜ｖＢ５、ｖＣ１〜ｖＣ５およびｖＤ１〜ｖＤ５の２０画素が該当する。また、空間対応画素対とは、ｔＡ１とｖＡ１の対、ｔＢ２とｖＢ２の対のように、２つのフィールドの座標が等しいところに位置する画素の対のことである。
【００４６】
フレーム間差分係数算出部１１１は、求められたそれぞれの空間対応画素対の差分値について、閾値ｔｈ１による判定、即ち、閾値ｔｈ１との大小関係を判定する。そして、差分値の個数Ｊと、閾値ｔｈ１に対して有値である個数、即ち、差分値の大きさが閾値ｔｈ１以上である差分値の個数Ｋとをフレーム間差分係数として出力する。
【００４７】
なお、フィールド（ｔ）に存在する補間画素位置Ｐの近傍の画素は上記以外の組合せから取得しても構わない。また、フィールド（ｔ−２）に存在する補間画素位置Ｐの近傍の画素も上記以外の組合せから取得しても構わない。これらの画素同士を用いて複数個（例えば、２０個）の空間対応画素対が取得できればよい。
【００４８】
なお、上記では、入力画像とフィールドメモリ１０２から得られるフィールド画像を用いることで、フィールド間隔が２となるフィールドデータの対が取得可能なので、フィールド（ｔ）とフィールド（ｔ−２）を用いてフレーム間差分係数を算出している。しかしながら、用いるフィールドデータはフィールド間隔が２になればよく、例えばフィールド（ｔ−１）とフィールド（ｔ−３）を用いてもよい。
【００４９】
なお、上記の説明ではフィールド（ｔ）とフィールド（ｔ−２）は、フィールド（ｔ）とのフィールド間隔が偶数であるため、２０画素を用いてフレーム間差分係数を算出している。しかし、フィールド（ｔ）とのフィールド間隔が奇数である場合は、２５画素を用いてフレーム間差分係数を算出する。以下ではフィールド（ｔ−１）とフィールド（ｔ−３）を用いて、フィールド（ｔ）とのフィールド間隔が奇数である場合のフレーム間差分係数の算出処理を説明する。
【００５０】
フィールド（ｔ−１）に存在する補間画素位置Ｐの近傍の２５画素と、フィールド（ｔ−３）に存在する補間画素位置Ｐの近傍の２５画素を用い、フィールド（ｔ−１）とフィールド（ｔ−３）との空間対応画素対の差分値を画素ごとに求める。フィールド（ｔ−１）に存在する補間画素位置Ｐの近傍の画素としては、例えば、図３のｕＥ１〜ｕＥ５、ｕＦ１〜ｕＦ５、ｕＧ１〜ｕＧ５、ｕＨ１〜ｕＨ５およびｕＩ１〜ｕＩ５を用いることができる。また、フィールド（ｔ−３）に存在する補間画素位置Ｐの近傍の画素としては、例えば、図３のｗＥ１〜ｗＥ５、ｗＦ１〜ｗＦ５、ｗＧ１〜ｗＧ５、ｗＨ１〜ｗＨ５およびｗＩ１〜ｗＩ５を用いることができる。
【００５１】
求められたそれぞれの空間対応画素対の差分値について閾値ｔｈ１との大小判定を行なう。そして、差分値の個数Ｊと、閾値ｔｈ１に対して有値である個数、即ち、差分値の大きさが閾値ｔｈ１以上である差分値の個数Ｋとをフレーム間差分係数として出力する。このようにして求められたフレーム間差分係数は補正値算出部１２２に入力される。
【００５２】
（補正値の算出）
次に、補正値算出部１２２における、補正値の算出処理を説明する。補正値Ｌは、入力されるフレーム間差分係数全てを用い、以下のようにフレーム間差分係数のＪとＫの比で表わされる。
2008182476.tif 000003
ただし、式（１０）においてｎは、フレーム間差分係数算出部１１１において算出するフレーム間差分係数（Ｊ，Ｋ）の個数を示している。本実施形態では、フレーム間差分係数算出部１１１において算出するフレーム間差分係数（Ｊ，Ｋ）の個数は、各画素について１つであるため、ｎ＝１である。
【００５３】
なお、実施形態１では補正値算出部１２２に入力されるフレーム間差分係数は１つである。しかしながら、補正値算出部に入力されるフレーム間差分係数の個数は１つ以上であればよい。即ち、複数のフレーム間差分係数が入力されてもよい。
【００５４】
（動き予測値の補正）
次に動き予測値補正部１２３における、補正後動き予測値の算出処理（動き予測値の補正処理）を説明する。動き予測値補正部１２３は、補正値算出部１２２から出力される補正値を用いて、動き予測値算出器１２１から出力される動き予測値を補正し、補正後動き予測値を出力する。動き予測値の補正は、
Ｍ’＝Ｌ×Ｍ                                                          （１１）
（但し、Ｍ’：補正後動き予測値、Ｍ：動き予測値、Ｌ：補正値）
とすることができる。なお、動き予測値の取り得る値の範囲は、
０≦Ｍ≦１                                                            （１２）
である。
【００５５】
以上のように、本実施形態に係る動き予測値算出装置は、まず、入力されるフィールドとフィールドメモリ１０１に保持されているフィールドを用いて、注目画素位置と同じ位置の予測画素における動き予測値を動き予測値算出器１２１が算出する。そして、算出した動き予測値を、周辺のフィールド対（入力されるフィールドとフィールドメモリ１０２に保持されているフィールド）を用いてフィールド間差分係数を算出する。そして、当該フィールド間差分係数をもとに動き予測値に対する補正値を算出して、動き予測値を補正する。
【００５６】
このように、本実施形態に係る構成においては、基本的なフィールド差分動き適応型ＩＰ変換処理を発展させて、補間する画素を含むフィールドと前後いずれかのフィールドに加え、それらの周辺のフィールドを用いる。これらのフィールドからフィールド間差分データをより多く用いて、混合比を補正することでＩＰ変換処理の精度を向上させることが可能となる。
【００５７】
なお、本実施形態では、フィールドメモリに保持される画像情報は、ＹＣＣ色空間における輝度信号であることを前提に述べたが、色差信号でもよく、また、ＲＧＢ色空間における各色情報でもよい。
【００５８】
＜＜実施形態２＞＞
図４は本実施形態に係る動き予測値算出装置の構成を模式的に示すブロック図である。図４において実施形態１の図１と同様の機能を果たす部分に関しては同じ符号を付与し、説明を省略する。
【００５９】
図４において４０３と４０４はフィールドメモリであり、入力画像をそれぞれ１フィールド分の画像データを順次記憶する。４１２と４１３はフレーム間差分係数算出部である。フレーム間差分係数算出部４１２は、フィールドメモリ１０１に記憶されたフィールド画像とフィールドメモリ４０３に記憶されたフィールド画像を入力し、フレーム間差分係数を算出する。フレーム間差分係数算出部４１３は、フィールドメモリ１０２に記憶されたフィールド画像とフィールドメモリ４０４に記憶されたフィールド画像を入力し、フレーム間差分係数を算出する。
【００６０】
上記のように構成された動き予測値算出装置における動き予測値補正動作を以下で説明する。まず、処理に先立ち、フィールドメモリ１０１、１０２、４０３、４０４の内容は全て０にリセットされる。動き予測値算出装置に１フィールド分の画像データが入力されると、フィールドメモリ１０１に当該画像データが入力され、記憶される。
【００６１】
さらに、次のフィールド画像データが入力されると
・フィールドメモリ１０１に記憶されたフィールド画像はフィールドメモリ１０２に記憶される。
・新しいフィールド画像はフィールドメモリ１０１に記憶される。
【００６２】
さらに、次のフィールド画像データが入力されると
・フィールドメモリ１０２に記憶されたフィールド画像はフィールドメモリ４０３に記憶される。
・フィールドメモリ１０１に記憶されたフィールド画像はフィールドメモリ１０２に記憶される。
・新しいフィールド画像はフィールドメモリ１０１に記憶される。
【００６３】
さらに、次のフィールド画像データが入力されると
・フィールドメモリ４０３に記憶されたフィールド画像はフィールドメモリ４０４に記憶される。
・フィールドメモリ１０２に記憶されたフィールド画像はフィールドメモリ４０３に記憶される。
・フィールドメモリ１０１に記憶されたフィールド画像はフィールドメモリ１０２に記憶される。
・新しいフィールド画像はフィールドメモリ１０１に記憶される。
【００６４】
一方、新しいフィールド画像とフィールドメモリ１０２で遅延されたフィールド画像がフレーム間差分係数算出部１１１に入力される。また、フィールドメモリ１０１で遅延されたフィールド画像とフィールドメモリ４０３で遅延されたフィールド画像がフレーム間差分係数算出部４１２に入力される。また、フィールドメモリ１０２で遅延されたフィールド画像とフィールドメモリ４０４で遅延されたフィールド画像がフレーム間差分係数算出部４１３に入力される。
【００６５】
例えば、新たに入力されるフィールド画像をフィールド（ｔ）とする。この場合、フィールドメモリ１０１、１０２、４０３、４０４に記憶されているフィールド画像は、それぞれ、フィールド（ｔ−１）、フィールド（ｔ−２）、フィールド（ｔ−３）、フィールド（ｔ−４）である。従って、フレーム間差分係数算出部１１１は、フィールド（ｔ）、フィールド（ｔ−２）に基づいてフレーム間差分係数Ｊ（ｔ）、Ｋ（ｔ）を求める。ただし、Ｊ（ｔ）、Ｋ（ｔ）は、フィールド（ｔ）及びフィールド（ｔ−２）に基づいて算出されるフレーム間差分係数Ｊ，Ｋである。
【００６６】
同様に、フレーム間差分係数算出部４１２は、フィールド（ｔ−１）、フィールド（ｔ−３）に基づいてフレーム間差分係数Ｊ（ｔ−１）、Ｋ（ｔ−１）を求める。フレーム間差分係数算出部４１３は、フィールド（ｔ−２）、フィールド（ｔ−４）に基づいてフレーム間差分係数Ｊ（ｔ−２）、Ｋ（ｔ−２）を求める。
【００６７】
補正値算出部１２２は、フレーム間差分係数算出部１１１、４１２、４１３で算出されたフレーム間差分係数Ｊ（ｔ）、Ｋ（ｔ）、Ｊ（ｔ−１）、Ｋ（ｔ−１）、Ｊ（ｔ−２）、Ｋ（ｔ−２）に基づいて式（１０）により補正値Ｌを算出する。つまり、補正値Ｌは、
Ｌ＝（Ｋ（ｔ）＋Ｋ（ｔ−１）＋Ｋ（ｔ−２））／（Ｊ（ｔ）＋Ｊ（ｔ−１）＋Ｊ（ｔ−２））
により算出することができる。なお、補正値Ｌは、動き予測値補正部１２３における動き予測値の補正に用いられる。
【００６８】
以上のように、本実施形態で述べた動き予測値算出装置は、動き予測値算出器１２１が算出した動き予測値について、４（単位）時刻前から現時刻までの５つのフィールド画像に基づいて補正値を算出する。そして、当該補正値を用いて動き予測値を補正する。このため、本実施形態に係る構成においては、補正値を算出するときに５つのフィールド画像を用いるため、より高い精度で補正値を算出することが可能である。
【００６９】
より詳細には、本実施形態に係る動き予測値算出装置は、注目画素位置と同じ位置の予測画素における動き予測値を、周辺のフィールド対を用いて算出したフィールド間差分係数をもとに動き予測値に対する補正値を算出して、動き予測値を補正する。ただし、注目画素位置と同じ位置の予測画素における動き予測値は、フィールド（ｔ）とフィールド（ｔ−１）を用いて動き予測値算出器１２１が算出したものである。また、この周辺のフィールド対には以下が含まれる。
・入力されるフィールドとフィールドメモリ１０２に保持されているフィールドの対。
・フィールドメモリ１０１に保持されているフィールドとフィールドメモリ４０３に保持されているフィールドの対。
フィールドメモリ１０２に保持されているフィールドとフィールドメモリ４０４に保持されているフィールドの対。
このように本実施形態ではより多くのフィールドの情報を用いて補正値を算出し、動き予測値を補正するため、より精度の高い動き予測値を算出可能である。
【００７０】
なお、本実施形態では、フィールドメモリに保持される画像情報は、ＹＣＣ色空間における輝度信号であることを前提に述べたが、これに限られない。例えば、色差信号でもよく、また、ＲＧＢ色空間における各色情報でもよい。
【００７１】
＜＜実施形態３＞＞
図５は、本実施形態に係るＩＰ変換処理装置の構成を模式的に示すブロック図である。図５において実施形態１の図１および実施形態２の図４と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。図５において５２４は補間画素作成部であり、入力画像と、フィールドメモリ１０１から出力されるフィールド画像と、動き予測値補正部１２３から出力される補正後動き予測値とを用いて補間画素値を作成する。
【００７２】
上記のように構成されたＩＰ変換処理装置におけるＩＰ変換処理動作を以下で説明する。まず、補間画素作成部５２４の補間画素の作成処理を説明する。図３に示されるフィールド（ｔ−１）にあるｕＥ１を用いて静止判定用画素Ｎを算出する。また、フィールド（ｔ）にある補間対象画素Ｐの上下ラインにある画素（ｔＡ１〜ｔＡ５およびｔＢ１〜ｔＢ５）を用いて動き判定用画素Ｑを算出する。これは、以下に示す式（１３）を用いて算出する。
Ｑ＝ＡＶＥＲＡＧＥ２（ｔＡ１，ｔＢ１）；                               （１３）
静止判定用画素Ｎ、動き判定用画素Ｑおよび補正後動き予測値Ｍ’を用いて以下のように補間画素Ｐ’を作成する。
Ｐ’＝Ｑ×Ｍ’＋Ｎ×（１−Ｍ’）                                       （１４）
【００７３】
以上のように、本実施形態で述べた動き予測値算出装置は、まず、フィールド（ｔ）とフィールド（ｔ−１）を用いて動き予測値算出器１２１が、注目画素位置と同じ位置の予測画素における動き予測値を算出する。また、周辺のフィールド対を用いて算出したフィールド間差分係数をもとに動き予測値に対する補正値を算出して、動き予測値を補正する。ただし、周辺のフィールド対には、以下が含まれる。
・入力されるフィールドとフィールドメモリ１０２に保持されているフィールドの対。
・フィールドメモリ１０１に保持されているフィールドとフィールドメモリ４０３に保持されているフィールドの対。
・フィールドメモリ１０２に保持されているフィールドとフィールドメモリ４０４に保持されているフィールドの対。
【００７４】
このため、さらに精度の高い補間画素の作成が可能である。
【００７５】
また、実施形態１〜３を通して、補正値を算出するために必要となるフレーム間差分係数の個数は、用いるフィールドメモリの数によって変更できることがわかる。フィールドメモリの数を増やすことでＩＰ変換の精度は向上する傾向にあるが、一方で回路規模は増大する。本実施形態では、動き予測値を算出する機能と動き予測値を補正する機能が明確に分離されている。このため、用途に応じて用いるフィールドメモリの数を２から無限大の範囲で容易に変更することができる。言い換えると、本実施形態に係る構成は、混合比を補正するために用いるフィールド間差分データの個数を適応的に変えることを容易にするブロック構造を取っている。即ち、用いるフィールドの数は可変であり、算出されるフレーム間差分係数の数も可変である。このため、ＩＰ変換処理の精度と回路規模の大きさの最適化を容易に行なうことが可能となる。
【００７６】
なお、本実施形態では、フィールドメモリに保持される画像情報は、ＹＣＣ色空間における輝度信号であることを前提に述べたが、色差信号でもよく、また、ＲＧＢ色空間における各色情報でもよい。
【００７７】
＜＜実施形態４＞＞
図６は、本実施形態に係る動き予測値算出装置の構成を模式的に示すブロック図である。図６において実施形態１の図１と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。図６において、６２５はシーンチェンジ判定部であり、シーンチェンジ判定を行ない、その判定結果を補正値算出部１２２へ出力する。
【００７８】
実施形態４が実施形態１と異なる点は、シーンチェンジ判定部６２５がシーンチェンジ判定を行ない、その判定結果により補正値算出部１２２の補正値の算出処理が制御される点である。シーンチェンジ判定部への入力は、フィールド間隔が２となるフィールドメモリ対であることがあり得るが、これに限定されるものではない。例えば、予め外部メモリに記憶されたシーン番号などでもよい。
【００７９】
シーンチェンジ判定部６２５は、シーンチェンジ判定を行ない、その判定結果を補正値算出部１２２へ出力する。判定結果の書式は、”判定結果：判定結果算出フィールド対と動き予測値算出フィールド対との距離”と表わされる。
【００８０】
次にシーンチェンジ判定部６２５より出力される判定結果を用いた補正値算出部１２２の補正値算出処理について説明する。補正値算出部１２２は、シーンチェンジ判定部６２５より得られる判定結果とフレーム間差分係数算出部１１１より得られるフレーム間差分係数とを用いて補正値を出力する。
【００８１】
図７は、シーンチェンジ判定部６２５より得られる判定結果とフレーム間差分係数算出部１１１より得られるフレーム間差分係数とを用いた、補正値算出部１２２による補正値の算出手順を示したフローチャートである。なお、補正値算出部１２２はＣＰＵ（Central Processing Unit）等の演算装置を備えており、補正値算出部１２２は当該ＣＰＵの制御に基づいて図７の処理を実行する。
【００８２】
図７において、補正値算出部１２２はステップＳ７０１より処理を開始する。ステップＳ７０１の処理後に、補正値算出部１２２はステップＳ７０２の処理を行なう。ステップＳ７０２では、シーンチェンジ判定部６２５より出力される判定結果を取得する。ステップＳ７０２の処理後に、補正値算出部１２２はステップＳ７０３の処理を行なう。ステップＳ７０３では、フレーム間差分係数の個数のカウンタを０で初期化する。
【００８３】
ステップＳ７０３の処理後に、補正値算出部１２２はステップＳ７０４の処理を行なう。ステップＳ７０４では、フレーム間差分係数の個数が上限に達したかを判断する。上限に達したら（ステップＳ７０４でＹＥＳ）ステップＳ７０９の処理を行ない、そうでなければ（ステップＳ７０４でＮＯ）ステップＳ７０５の処理を行なう。
【００８４】
ステップＳ７０５では、補正値算出部１２２は判定結果が誤り（false）か否かを判断する。誤りであるならば（ステップＳ７０５でＹＥＳ）ステップＳ７０８の処理を行ない、そうでなければ（ステップＳ７０５でＮＯ）ステップＳ７０６の処理を行なう。
【００８５】
ステップＳ７０６では、フレーム間差分係数を算出するために用いたフィールド対と判定結果を出力するために用いたフィールド対のうち、どちらが動き予測値を算出するのに用いたフィールド対よりもフレーム間隔が離れているか判断する。判定結果を出力するために用いたフィールド対の方が離れているならば（ステップＳ７０６でＹＥＳ）ステップＳ７０８の処理を行ない、そうでなければ（ステップＳ７０６でＮＯ）ステップＳ７０７の処理を行なう。
【００８６】
ステップＳ７０７では、フレーム間差分係数を０クリアする。ステップＳ７０７の処理後に、補正値算出部１２２はステップＳ７０８の処理を行なう。ステップＳ７０８では、フレーム間差分係数の個数のカウンタを１つ更新する。ステップＳ７０８の処理後にステップＳ７０４の処理を行なう。
【００８７】
ステップＳ７０９では、ＢＵＦ１とＢＵＦ２を０で初期化する。ステップＳ７０９の処理後に、補正値算出部１２２はステップＳ７１０の処理を行なう。ステップＳ７１０では、補正値算出部１２２はフレーム間差分係数の個数が上限に達したかを判断する。上限に達したら（ステップＳ７１０でＹＥＳ）ステップＳ７１３の処理を行ない、そうでなければ（ステップＳ７１０でＮＯ）ステップＳ７１１の処理を行なう。
【００８８】
ステップＳ７１１では、ＢＵＦ１にフレーム間差分係数のＫを加算し、ＢＵＦ２にフレーム間差分係数のＪを加算する。ステップＳ７１１の処理後に、補正値算出部１２２はステップＳ７１２の処理を行なう。ステップＳ７１２では、フレーム間差分係数の個数のカウンタを１つ更新する。
【００８９】
ステップＳ７１２の処理後に、補正値算出部１２２はステップＳ７１０の処理を行なう。ステップＳ７１３では、ＢＵＦ２が０であるかどうかを判断する。０ならば（ステップＳ７１３でＹＥＳ）ステップＳ７１５の処理を行ない、そうでなければ（ステップＳ７１３でＮＯ）ステップＳ７１４の処理を行なう。
【００９０】
ステップＳ７１４では、ＢＵＦ２でＢＵＦ１を割ることで補正値Ｌを求める。ステップＳ７１４の処理後に、補正値算出部１２２はステップＳ７１６の処理を行なう。ステップＳ７１５では、補正値Ｌを１に設定する。ステップＳ７１５の処理後に、補正値算出部１２２はステップＳ７１６の処理を行なう。ステップＳ７１６では処理を終了する。
【００９１】
以上のように、本実施形態では、シーンチェンジを判定して、好適なフィールド間差分データを用いて混合比を補正する。このため、ＩＰ変換処理の精度をさらに向上させることが可能である。
【００９２】
より具体的には、本実施形態に係る予測値算出装置は、動き予測値算出器１２１によって算出された動き予測値が、シーンチェンジの発生によって、補正するための画像情報として不適当なものとなるようなフィールドが存在する場合は次のような処理を行う。即ち、シーンチェンジ判定部６２５によってシーンチェンジが起こったフィールド対を特定し、補正値算出部がシーンチェンジ判定を用いて補正に不適当なフィールドをもとに算出されたフレーム間差分係数を用いずに補正値を算出する。このため、より精度の高い動き予測値を算出可能である。
【００９３】
なお、本実施形態では、フィールドメモリに保持される画像情報は、ＹＣＣ色空間における輝度信号であることを前提に述べたが、色差信号でもよく、また、ＲＧＢ色空間における各色情報でもよい。
【００９４】
＜＜実施形態５＞＞
図８は本実施形態に係るＩＰ変換処理装置の構成を模式的に示すブロック図である。図８において、実施形態１の図１、実施形態２の図４、実施形態３の図５、及び、実施形態４の図６と同様の機能を果たす部分に関しては同じ符号を付与し、説明を省略する。図８において８０５と８０６はフィールドメモリであり、入力画像をそれぞれ１フィールド分の画像データを順次記憶する。
【００９５】
８１４及び８１５はフレーム間差分係数算出部である。フレーム間差分係数算出部８１４は、入力画像とフィールドメモリ８０６に記憶されたフィールド画像とに基づいてフレーム間差分係数を算出する。フレーム間差分係数算出部８１５は、フィールドメモリ８０５に記憶されたフィールド画像とフィールドメモリ１０１に記憶されたフィールド画像とに基づいてフレーム間差分係数を算出する。シーンチェンジ判定部６２５は、入力画像とフィールドメモリ８０５に記憶されたフィールド画像とに基づいてシーンチェンジ判定を行ない、その判定結果を補正値算出部１２２へ出力する。
【００９６】
上記のように構成されたＩＰ変換処理装置におけるＩＰ変換処理動作を以下で説明する。まず、処理に先立ち、フィールドメモリ８０５、８０６、１０１、１０２の内容は全て０にリセットされる。
【００９７】
１フィールド分の画像データが入力されると、当該画像データはフィールドメモリ８０５に入力され、記憶される。また、次のフィールド画像データが入力されるとフィールドメモリ８０５に記憶されたフィールド画像がフィールドメモリ８０６に記憶され、新しいフィールド画像がフィールドメモリ８０５に記憶される。
【００９８】
次のフィールド画像データが入力されると、以下の処理が順次実行される。
・フィールドメモリ８０６に記憶されたフィールド画像がフィールドメモリ１０１に記憶される。
・フィールドメモリ８０５に記憶されたフィールド画像がフィールドメモリ８０６に記憶される。
・新しいフィールド画像がフィールドメモリ８０５に記憶される。
【００９９】
次のフィールド画像データが入力されると、以下の処理が順次実行される。
・フィールドメモリ１０１に記憶されたフィールド画像がフィールドメモリ１０２に記憶される。
・フィールドメモリ８０６に記憶されたフィールド画像がフィールドメモリ１０１に記憶される。
・フィールドメモリ８０５に記憶されたフィールド画像がフィールドメモリ８０６に記憶される。
・新しいフィールド画像がフィールドメモリ８０５に記憶される。
【０１００】
次のフィールド画像データが入力されると、以下の処理が順次実行される。
・フィールドメモリ１０２に記憶されたフィールド画像がフィールドメモリ４０３に記憶される。
・フィールドメモリ１０１に記憶されたフィールド画像がフィールドメモリ１０２に記憶される。
・フィールドメモリ８０６に記憶されたフィールド画像がフィールドメモリ１０１に記憶される。
・フィールドメモリ８０５に記憶されたフィールド画像がフィールドメモリ８０６に記憶される。
・新しいフィールド画像がフィールドメモリ８０５に記憶される。
【０１０１】
さらに、以下の処理が実行される。
・新しいフィールド画像とフィールドメモリ８０６で遅延されたフィールド画像がフレーム間差分係数算出部８１４に入力される。
・フィールドメモリ８０５で遅延されたフィールド画像とフィールドメモリ１０１で遅延されたフィールド画像がフレーム間差分係数算出部８１５に入力される。
・フィールドメモリ８０６で遅延されたフィールド画像とフィールドメモリ１０２で遅延されたフィールド画像がフレーム間差分係数算出部１１１に入力される。
・フィールドメモリ１０１で遅延されたフィールド画像とフィールドメモリ４０３で遅延されたフィールド画像がフレーム間差分係数算出部４１２に入力される。
【０１０２】
また、新しいフィールド画像とフィールドメモリ８０５で遅延されたフィールド画像がシーンチェンジ判定部６２５に入力される。
【０１０３】
次にシーンチェンジ判定部６２５よるシーンチェンジ判定処理を説明する。新しいフィールド画像とフィールドメモリ８０５で遅延されたフィールド画像が入力されると、シーンチェンジ判定部６２５は入力されたフィールド対に存在する全ての空間対応画素間の差分値を逐次求める。そして、差分値が閾値ｔｈ２に対して有値である、即ち、差分値の大きさが閾値ｔｈ２以上であるかどうかを判定する。
Ｃm,n＝｜Ａm,n−Ｂm,n｜
ＩＦ（Ｃm,n≧ｔｈ２）      Ｄ＝Ｄ＋１;                      （１５）
有値である個数Ｄが全判定結果閾値ｔｈ３に対して有値であるかどうかを判定し、有値である場合は判定結果をＴＲＵＥにし、有値でない場合は判定結果をＦＡＬＳＥにする。
【０１０４】
図９は補正値算出部１２２が補正値を算出する際に、シーンチェンジ判定を用いてフレーム間差分係数を棄却するパターンの経時変化を示した図である。ここで、フレーム間差分係数算出部８１４から出力されるフィールド間差分係数をＫ１：Ｊ１とし、フレーム間差分係数算出部８１５から出力されるフィールド間差分係数をＫ２：Ｊ２とする。そして、フレーム間差分係数算出部１１１から出力されるフィールド間差分係数をＫ３：Ｊ３とし、フレーム間差分係数算出部４１２から出力されるフィールド間差分係数をＫ４：Ｊ４とする。
【０１０５】
時刻(ｔ)においてシーンチェンジ判定部からシーンチェンジ判定が補正値算出部１２２に出力される。補正値算出部１２２は以下の式で補正値Ｌ１を算出する。
Ｌ１＝（Ｋ２＋Ｋ３＋Ｋ４）／（Ｊ２＋Ｊ３＋Ｊ４）;                      （１６）
【０１０６】
時刻(ｔ+１)において、補正値算出部１２２は以下の式で補正値Ｌ２を算出する。
Ｌ２＝（Ｋ３＋Ｋ４）／（Ｊ３＋Ｊ４）;                                  （１７）
【０１０７】
時刻(ｔ+２)において、補正値算出部１２２は以下の式で補正値Ｌ３を算出する。
Ｌ３＝１;                                                              （１８）
【０１０８】
時刻(ｔ+３)において、補正値算出部１２２は以下の式で補正値Ｌ４を算出する。
Ｌ４＝（Ｋ１＋Ｋ２）／（Ｊ１＋Ｊ２）;                                  （１９）
【０１０９】
時刻(ｔ+４)において、補正値算出部１２２は以下の式で補正値Ｌ５を算出する。
Ｌ５＝（Ｋ１＋Ｋ２＋Ｋ３）／（Ｊ１＋Ｊ２＋Ｊ３）;                      （２０）
【０１１０】
以上の算出処理は、動き予測値を算出するのに用いたフィールドとシーンが異なるフィールドは補正値の算出に含めないことを示している。このような処理は、実施形態４で説明した図７を鑑みていも妥当であることが理解できる。ただし、図７は、シーンチェンジ判定部６２５より得られる判定結果とフレーム間差分係数算出部８１４、８１５、１１１および４１２より得られるフレーム間差分係数を用いた補正値の算出処理を示したフローチャートである。
【０１１１】
以上のように、本実施形態では、シーンチェンジを判定して、好適なフィールド間差分データを用いて混合比を補正する。このため、ＩＰ変換処理の精度をさらに向上させることが可能である。
【０１１２】
より具体的には、本実施形態に係る予測値算出装置は、動き予測値算出器１２１によって算出された動き予測値が、シーンチェンジの発生によって、補正するための画像情報として不適当なものとなるようなフィールドが存在する場合は次のような処理を行う。即ち、シーンチェンジ判定部６２５によってシーンチェンジが起こったフィールド対を特定し、補正値算出部がシーンチェンジ判定を用いて補正に不適当なフィールドをもとに算出されたフレーム間差分係数を用いずに補正値を算出する。このため、より精度の高い動き予測値を算出可能である。
【０１１３】
なお、本実施形態では、フィールドメモリに保持される画像情報は、ＹＣＣ色空間における輝度信号であることを前提に述べたが、色差信号でもよく、また、ＲＧＢ色空間における各色情報でもよい。
【図面の簡単な説明】
【０１１４】
【図１】動き予測値算出装置の構成を模式的に示すブロック図である。
【図２】動き予測値算出装置が有する、動き予測値算出器の構成を模式的に示すブロック図である。
【図３】フィールドデータの時系列変化を模式的に示す図である。
【図４】動き予測値算出装置の構成を模式的に示すブロック図である。
【図５】ＩＰ変換処理装置の構成を模式的に示すブロック図である。
【図６】動き予測値算出装置の構成を模式的に示すブロック図である。
【図７】補正値算出部による補正値の算出手順を示したフローチャートである。
【図８】ＩＰ変換処理装置の構成を模式的に示すブロック図である。
【図９】シーンチェンジ判定を用いてフレーム間差分係数を棄却するパターンの経時変化を示した図である。
【図１０】インタレース信号形式の走査順序を示す図である。
【図１】
2008182476.tif 000004
【図２】
2008182476.tif 000005
【図３】
2008182476.tif 000006
【図４】
2008182476.tif 000007
【図５】
2008182476.tif 000008
【図６】
2008182476.tif 000009
【図７】
2008182476.tif 000010
【図８】
2008182476.tif 000011
【図９】
2008182476.tif 000012
【図１０】
2008182476.tif 000013