(57)【要約】【課題】メモリアクセスの増加を最小限に抑え、かつ、画質劣化の少ない画像処理装置を提供する。【解決手段】画像処理装置１００は、インターレース画像をプログレッシブ画像に変換して出力する画像処理装置であって、補間画素それぞれについて、第１状態又は第２状態を示す補間情報を生成する補間情報生成部１１０と、補間情報を用いて補間画素の画素値を生成する補間部１２０と、生成された画素値でインターレース画像を補間することによりプログレッシブ画像を生成する切り替え部１３０とを備え、補間情報生成部１１０は、インターレース画像のうち、等速領域に含まれる補間画素を第１状態とし、非等速領域に含まれる補間画素を第２状態とし、補間部１２０は、補間情報が第２状態とされた補間画素の画素値を面内補間することで生成し、補間情報が第１状態とされた補間画素の画素値を面間補間することで生成する。【選択図】図１
2014011690.tif 000002
【特許請求の範囲】
【請求項１】
ｋ（ｋは１より大きい自然数）番目のインターレース画像であって、偶数画素行及び奇数画素行の一方で構成される第ｋインターレース画像をプログレッシブ画像に変換して出力する画像処理装置であって、
前記第ｋインターレース画像の偶数画素行及び奇数画素行の他方に位置する補間画素それぞれについて、第１状態又は第２状態を示す補間情報を生成する補間情報生成部と、
生成された補間情報を用いて、前記補間画素の画素値を生成する補間部と、
生成された画素値で前記第ｋインターレース画像を補間することにより前記プログレッシブ画像を生成する合成部とを備え、
前記補間情報生成部は、
前記第ｋインターレース画像のうち、等速に移動している等速領域に含まれる補間画素を前記第１状態とし、非等速に移動している非等速領域に含まれる補間画素を前記第２状態とし、
前記補間部は、
前記補間情報が前記第２状態とされた補間画素の画素値を前記第ｋインターレース画像を用いて面内補間することで生成し、前記補間情報が前記第１状態とされた補間画素の画素値を（ｋ−１）番目のインターレース画像である第（ｋ−１）インターレース画像と（ｋ＋１）番目のインターレース画像である第（ｋ＋１）インターレース画像とを用いて面間補間することで生成する
画像処理装置。
【請求項２】
前記補間情報生成部は、
前記第ｋインターレース画像を構成する領域ごとに対応する代表動きベクトルを推定する動きベクトル推定部と、
当該領域に含まれる各補間画素の動きベクトルが前記代表動きベクトルと一致する場合に有効であることを示し、一致しない場合に無効であることを示す第ｋ有効性情報を生成する有効性生成部と、
第（ｋ−１）インターレース画像の補間画素それぞれに対応する動きベクトルについて有効又は無効を示す第（ｋ−１）有効性情報を用いて前記第ｋ有効性情報を補正することにより、前記補間情報を生成する有効性補正部とを備え、
前記有効性補正部は、補正後の前記第ｋ有効性情報が有効となっている領域を前記非等速領域と判断して当該領域に含まれる補間画素を前記第２状態に対応付け、補正後の前記第ｋ有効性情報が無効となっている領域を前記等速領域と判断して当該領域に含まれる補間画素を前記第１状態に対応付ける
請求項１記載の画像処理装置。
【請求項３】
前記有効性生成部は、
前記動きベクトル推定部で推定された前記代表動きベクトルを用いて、前記第（ｋ−１）インターレース画像を構成する各画素の画素値と、前記第（ｋ＋１）インターレース画像において対応する画素の画素値とを比較し、
画素値の差分が予め定められた第１閾値以下の場合、当該画素に対応する補間画素の動きベクトルが前記代表動きベクトルと一致すると判断し、画素値の差分が前記第１閾値を超えた場合、当該画素に対応する補間画素の動きベクトルが前記代表動きベクトルと一致しないと判断する
請求項２記載の画像処理装置。
【請求項４】
前記有効性補正部は、
前記第ｋ有効性情報において、前記第（ｋ−１）有効性情報が無効とされた前記第（ｋ−１）フィールドの補間画素を含む所定の第１領域に対応する前記第ｋインターレース画像の前記補間画素を無効と補正する
請求項２又は３記載の画像処理装置。
【請求項５】
前記有効性補正部は、
前記第ｋインターレース画像の所定の第２領域の前記代表動きベクトルと前記第（ｋ−１）インターレース画像の対応する領域の代表動きベクトルとの差分が、予め定められた第２閾値を超えるか否かを判定し、
前記第２閾値を超える場合、前記第２領域に含まれる前記補間画素を無効と補正する
請求項２〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記動きベクトル推定部は、
前記ｋインターレース画像を構成する複数の画素を一ブロックとする複数のブロックの各々について前記代表動きベクトルを推定し、
前記第２領域は各ブロックである
請求項５記載の画像処理装置。
【請求項７】
請求項２〜６のいずれか１項に記載の画像処理装置を含む集積回路と、
前記第ｋ有効性情報及び前記第（ｋ−１）有効性情報を保持するためのメモリと、
前記画像処理装置から出力されたプログレッシブ画像を表示する表示装置とを備える
画像処理システム。
【請求項８】
前記有効性生成部は、
前記合成部が前記第（ｋ−１）インターレース画像を補間することにより当該画像に対応するプログレッシブ画像を生成しているときに、前記第（ｋ−１）有効性情報を前記メモリに格納し、
前記合成部が前記第ｋインターレース画像を補間することにより当該画像に対応するプログレッシブ画像を生成しているときに、前記メモリから前記第（ｋ−１）有効性情報を読み出す
請求項７記載の画像処理システム。
【請求項９】
ｋ（ｋは２より大きい自然数）番目のインターレース画像であって、偶数画素行及び奇数画素行の一方で構成される第ｋインターレース画像をプログレッシブ画像に変換して出力する画像処理装置であって、
前記第ｋインターレース画像は、等速に移動している等速領域の画像と、非等速に移動している非等速領域の画像とからなり、
前記第ｋインターレース画像に対応するプログレッシブ画像を構成する複数の画素のうち、前記第ｋインターレース画像の偶数画素行及び奇数画素行の他方に位置する補間画素であって、
前記非等速領域に含まれる補間画素それぞれの画素値は、前記第ｋインターレース画像を用いた面内補間により生成され、
前記等速領域に含まれる補間画素それぞれの画素値は、（ｋ−１）番目のインターレース画像である第（ｋ−１）インターレース画像と第（ｋ＋１）番目のインターレース画像である第（ｋ＋１）インターレース画像とを用いた面間補間により生成されている
画像処理装置。
【請求項１０】
前記等速領域に含まれる画素それぞれの画素値と、（ｋ−２）番目のインターレース画像のうち当該画素に対応する画素の画素値との差分は、第１閾値以下であり、
前記第（ｋ−１）インターレース画像のうち前記等速領域に対応する領域に含まれる画素それぞれの画素値と、第（ｋ＋１）インターレース画像のうち前記等速領域に対応する領域に含まれる画素それぞれの画素値との差分は、前記第１閾値以下であり、
前記非等速領域に含まれる画素それぞれの画素値と、前記（ｋ−２）番目のインターレース画像のうち当該画素に対応する画素の画素値との差分は、前記第１閾値を超え、
前記（ｋ−１）インターレース画像のうち前記非等速領域に対応する領域に含まれる画素それぞれの画素値と、前記第（ｋ＋１）インターレース画像のうち前記非等速領域に対応する領域に含まれる画素それぞれの画素値との差分は、前記第１閾値以下である
請求項９記載の画像処理装置。
【請求項１１】
前記等速領域に対応する動きベクトルと前記第（ｋ−１）インターレース画像のうち前記等速領域に対応する領域の動きベクトルとの差分は、予め定められた第２閾値以下であり、
前記非等速領域に対応する動きベクトルと前記第（ｋ−１）インターレース画像のうち前記非等速領域に対応する領域の動きベクトルとの差分は、前記第２閾値を超える
請求項９記載の画像処理装置。
【請求項１２】
前記非等速領域に含まれる補間画素それぞれの画素値は、当該補間画素に隣接する複数の画素の画素値から生成され、
前記等速領域に含まれる補間画素それぞれの画素値は、前記第（ｋ−１）インターレース画像の当該補間画素に対応する画素の画素値と、前記第（ｋ＋１）インターレース画像の当該補間画素に対応する画素の画素値とから生成される
請求項９〜１１のいずれか１項に記載の画像処理装置。
【請求項１３】
ｋ（ｋは１より大きい自然数）番目のインターレース画像であって、偶数画素行及び奇数画素行の一方で構成される第ｋインターレース画像をプログレッシブ画像に変換して出力する画像処理方法であって、
前記第ｋインターレース画像の偶数画素行及び奇数画素行の他方に位置する補間画素それぞれについて、第１状態又は第２状態を示す補間情報を生成する補間情報生成ステップと、
生成された補間情報を用いて、前記補間画素の画素値を生成する補間ステップと、
生成された画素値で前記第ｋインターレース画像を補間することにより前記プログレッシブ画像を生成する合成ステップとを含み、
前記補間情報生成ステップでは、
前記第ｋインターレース画像のうち、等速に移動している等速領域に含まれる補間画素を前記第１状態とし、非等速に移動している非等速領域に含まれる補間画素を前記第２状態とし、
前記補間ステップでは、
前記補間情報が前記第２状態とされた補間画素の画素値を前記第ｋインターレース画像を用いて面内補間することで生成し、前記補間情報が前記第１状態とされた補間画素の画素値を（ｋ−１）番目のインターレース画像である第（ｋ−１）インターレース画像と（ｋ＋１）番目のインターレース画像である第（ｋ＋１）インターレース画像とを用いて面間補間することで生成する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インターレース画像をプログレッシブ画像に変換する画像処理装置に関する。
【背景技術】
【０００２】
デジタルテレビ放送などの映像信号はインターレース信号である。一方、液晶ディスプレイ等の表示装置ではプログレッシブ信号を表示するものが主流となっているため、インターレース信号として取得した映像を表示するためには、インターレース信号をプログレッシブ信号に変換する必要がある。
【０００３】
インターレース信号は、１ラインおきのラインデータを持つ画像（フィールド）を互いに上下に１ラインずらした画像列により構成される。
【０００４】
一方、プログレッシブ信号はすべてのライン信号が含まれる画像（フレーム）により構成される。
【０００５】
したがって、ＩＰ（Interlace to Progressive）変換ではインターレース画像のデータが存在しないラインのデータを補間する必要がある。
【０００６】
この補間方法は、大きく分けて、補間対象のフィールドと時間的に隣接するフィールドを参照する面間補間と、補間対象のフィールド内の画素を用いて補間を行う面内補間とがある。
【０００７】
面間補間は、補間を行う画素位置に対し、時間的に隣接するフィールドの値を参照して用いる補間（静止画補間）が多く行われる。さらに、画像間の動きを推定し、補間を行う画素が時間的に隣接するフィールド上のどの位置と対応するかを推定し、推定した位置の画素を用いて補間を行う場合（動き補償）もある。
【０００８】
一方、面内補間では補間する画素の上下の平均値を用いるなど、補間対象のフィールド内の近傍画素を用いて補間を行う。
【０００９】
ここで、面間補間では、精細なプログレッシブ画像が再現できるが、画像の変形などがある場合には正しい画素値が求まらず不自然な画像となる副作用がある。
【００１０】
一方、面内補間では、補間を行うことによる副作用は発生しないが、全体として垂直周波数解像度が劣化したぼけた画像となる。
【００１１】
そこで、時間的な変化の少ない領域では面間補間を行い、変化の多い領域では面内補間を行うなど、領域により適応的に処理を変更する動き適応処理が行われている。
【００１２】
この動き適応処理では、画像の時間的な変化を検出する必要があるが、時間的に隣接するフィールドでは同じ画素位置の画素が存在しないため、時間的に２フィールド離れたフィールドの同じ位置の画素を比較して変化を検出するのが一般的である。
【００１３】
なお、動き補償を行う場合でも、時間的に隣接する画像の画素で補間を行う場合には、時間的に隣接する画像同士では対応する画素が存在しないため、２フィールド離れた画像を比較することにより画像の時間的な変化の検出を行うことが多い。
【００１４】
しかし、時間的に２フィールド離れた画像で動きを検出した場合には、比較に用いる２フィールドに対して時間的に挟まれた１フィールドのみに変化がある場合には時間的な変化が検出されないという問題がある。
【００１５】
１フィールドのみに発生する変化には、フラッシュなど変化が一瞬だけ発生した場合、高速に動く物体や影などが通過した場合などがあり、このような場合に変化が検出されず、変化のあった部分がライン毎に変化前の画像と変化後の画像が切り替わる縞模様（コーミングノイズ）が発生し、画質を大きく劣化させる要因になる。
【００１６】
また、物体や影などの動きが一定ではない場合には、２フィールド離れた画像を比較して推定した動きベクトルと、補間に用いる時間的に隣接する画像間の動きとが一致しないため、推定した動きベクトルを用いて動き補償を行うと補間画素位置にずれが生じることにより画質の劣化が発生する。
【００１７】
これに対し、動き適応処理での動き検出の精度を高め、画質の劣化を抑える手法として、特許文献１から４の手法が提案されている。
【００１８】
特許文献１では、面間補間により生成した画像パターンを解析し、コーミングノイズに特有の縞模様が検出された場合には、面内補間に切り替えることにより画質の劣化を抑える。
【００１９】
特許文献２では、２フィールド離れた画像間で求めた動きベクトルに加えて、隣接する画像間でも動きベクトルを求め、両者を比較することにより時間的な変化の検出を行っている。
【００２０】
特許文献３では、時間的に２フィールド離れた画像を比較して求めた時間的な変化量を画素毎に保存する。そして、補間画素上下の画素位置に対して１フィールド前に求めた変化量を参照し、補間位置での画像の変化を複数フィールドにわたる変化量を用いて判定することにより時間的な変化の検出精度を高めている。
【００２１】
特許文献４では、時間的に連続する４フィールドの画像を用い、画像の時間的な変化を複数のフィールドで検出することにより検出精度を高めている。
【先行技術文献】
【特許文献】
【００２２】
【特許文献１】特開２００６−１７４１２３号公報
【特許文献２】特開２００４−２６６３９５号公報
【特許文献３】特開２００２−１１２２０２号公報
【特許文献４】特開２００５−１６００７１号公報
【発明の概要】
【発明が解決しようとする課題】
【００２３】
しかし、特許文献１の手法では、画像変化による劣化及び面内補間による画質の劣化を満足に抑えることができない。具体的には、縦に隣接する画素値の差分がもともと大きい画像では、補間すべき画素の画素値と当該画素の上下画素の画素値との差分が大きくなる。その結果、特許文献１の手法では、時間的な変化が大きい画像と、縦に隣接する画素値の差分が大きい画像との区別をすることができず、画像変化による劣化と面内補間による画質の劣化がトレードオフの関係になり、双方の劣化を満足に抑えることができない。
【００２４】
特許文献２の手法では、時間的に隣接するインターレース画像では画素値を持つラインがずれているため、正確な動きベクトルを推定することが困難となり、結果として面間補間ができない場合が多くなる。よって、面間補間による画質の向上が十分に得られなくなる。
【００２５】
特許文献３の手法では、画像全体が平行移動している場合には、時間的な変化を検出する位置も画像全体の動きと共に移動するため、同じ画素位置での変化量を複数用いても画像変化の判定精度を高めることはできず、画質の劣化が発生する。
【００２６】
特許文献４の手法では、参照すべき画像数が増加するため、画像を格納したメモリに対するアクセス量が増加することになり、画素数が多い場合には、システムコストが大きくなる。
【００２７】
本発明は、かかる事情に鑑みてなされたものであり、メモリアクセスの増加を最小限に抑え、かつ、画質劣化の少ない画像処理装置を提供することにある。
【課題を解決するための手段】
【００２８】
上記目的を達成するため、本発明の一態様に係る画像処理装置は、ｋ（ｋは１より大きい自然数）番目のインターレース画像であって、偶数画素行及び奇数画素行の一方で構成される第ｋインターレース画像をプログレッシブ画像に変換して出力する画像処理装置であって、前記第ｋインターレース画像の偶数画素行及び奇数画素行の他方に位置する補間画素それぞれについて、第１状態又は第２状態を示す補間情報を生成する補間情報生成部と、生成された補間情報を用いて、前記補間画素の画素値を生成する補間部と、生成された画素値で前記第ｋインターレース画像を補間することにより前記プログレッシブ画像を生成する合成部とを備え、前記補間情報生成部は、前記第ｋインターレース画像のうち、等速に移動している等速領域に含まれる補間画素を前記第１状態とし、非等速に移動している非等速領域に含まれる補間画素を前記第２状態とし、前記補間部は、前記補間情報が前記第２状態とされた補間画素の画素値を前記第ｋインターレース画像を用いて面内補間することで生成し、前記補間情報が前記第１状態とされた補間画素の画素値を（ｋ−１）番目のインターレース画像である第（ｋ−１）インターレース画像と（ｋ＋１）番目のインターレース画像である第（ｋ＋１）インターレース画像とを用いて面間補間することで生成する。
【００２９】
なお、本発明は、装置として実現できるだけでなく、その装置を構成する処理手段をステップとする方法として実現することもできる。
【発明の効果】
【００３０】
これにより、メモリに対するアクセス量の増加を抑え、画質劣化の少ない画像処理装置を実現できる。
【図面の簡単な説明】
【００３１】
【図１】実施の形態１に係る画像処理装置の構成の一例を示すブロック図である。
【図２】インターレース画像、有効性情報及び補間情報の一例を示す図である。
【図３】画像処理装置の処理動作の概要の一例を示すフローチャートである。
【図４】補間情報生成部の詳細な処理動作の一例を示すフローチャートである。
【図５】有効性情報生成部の詳細な処理動作の一例を示すフローチャートである。
【図６】有効性情報補正部の詳細な処理動作の一例を示すフローチャートである。
【図７】補間部の詳細な処理動作の一例を示すフローチャートである。
【図８Ａ】理想的なプログレッシブ画像の一例である。
【図８Ｂ】実施の形態１の画像処理装置により生成されたプログレッシブ画像の一例である。
【図８Ｃ】比較例として面間補間により生成されたプログレッシブ画像の一例である。
【図９】実施の形態２に係る画像処理装置の構成の一例を示すブロック図である。
【図１０】インターレース画像、有効性情報及び補間情報の一例を示す図である。
【図１１】有効性情報補正部の詳細な処理動作の一例を示すフローチャートである。
【図１２Ａ】理想的なプログレッシブ画像の一例である。
【図１２Ｂ】実施の形態２の画像処理装置により生成されたプログレッシブ画像の一例である。
【図１２Ｃ】比較例として面間補間により生成されたプログレッシブ画像の一例である。
【図１３】本実施の形態に係るＴＶシステムの構成の一例を示すブロック図である。
【図１４】ＴＶ装置の一例を示す外観図である。
【発明を実施するための形態】
【００３２】
上述した問題を解決するために、本発明の一態様に係る画像処理装置は、ｋ（ｋは１より大きい自然数）番目のインターレース画像であって、偶数画素行及び奇数画素行の一方で構成される第ｋインターレース画像をプログレッシブ画像に変換して出力する画像処理装置であって、前記第ｋインターレース画像の偶数画素行及び奇数画素行の他方に位置する補間画素それぞれについて、第１状態又は第２状態を示す補間情報を生成する補間情報生成部と、生成された補間情報を用いて、前記補間画素の画素値を生成する補間部と、生成された画素値で前記第ｋインターレース画像を補間することにより前記プログレッシブ画像を生成する合成部とを備え、前記補間情報生成部は、前記第ｋインターレース画像のうち、等速に移動している等速領域に含まれる補間画素を前記第１状態とし、非等速に移動している非等速領域に含まれる補間画素を前記第２状態とし、前記補間部は、前記補間情報が前記第２状態とされた補間画素の画素値を前記第ｋインターレース画像を用いて面内補間することで生成し、前記補間情報が前記第１状態とされた補間画素の画素値を（ｋ−１）番目のインターレース画像である第（ｋ−１）インターレース画像と（ｋ＋１）番目のインターレース画像である第（ｋ＋１）インターレース画像とを用いて面間補間することで生成する。
【００３３】
これにより、メモリに対するアクセス量の増加を抑え、画質の劣化を抑制できる。
【００３４】
具体的には、補間部は、補間情報に応じて面内補間と面間補間とを切り替えるため、入力された第ｋインターレース画像に適した補間を行うことが可能となる。つまり、例えばフラッシュや映像中の物体の加速などといった第ｋインターレース画像のみに突発的に変化が生じた場合に、変化の生じた領域の補間画素の画素値を面内補間することにより生成し、変化の生じていない領域の補間画素の画素値を面間補間することにより生成する。これにより、変化の生じた領域を面間補間した場合に生じるコーミングノイズといったノイズの発生を抑制し、かつ、変化の生じていない領域は面間補間することにより高い周波数解像度を実現できる。
【００３５】
また、補間部は、インターレース画像を構成する全ての画素の画素値を用いて面間補間と面内補間とを切り替えるのではなく、全ての画素の画素値のデータ量と比較して少ないデータ量で構成可能な補間情報を用いて面間補間と面内補間とを切り替える。これにより、補間情報がメモリに記憶されている場合であってもメモリアクセス量を抑えることができる。
【００３６】
また、前記補間情報生成部は、前記第ｋインターレース画像を構成する領域ごとに対応する代表動きベクトルを推定する動きベクトル推定部と、当該領域に含まれる各補間画素の動きベクトルが前記代表動きベクトルと一致する場合に有効であることを示し、一致しない場合に無効であることを示す第ｋ有効性情報を生成する有効性生成部と、第（ｋ−１）インターレース画像の補間画素それぞれに対応する動きベクトルについて有効又は無効を示す第（ｋ−１）有効性情報を用いて前記第ｋ有効性情報を補正することにより、前記補間情報を生成する有効性補正部とを備え、前記有効性補正部は、補正後の前記第ｋ有効性情報が有効となっている領域を前記非等速領域と判断して当該領域に含まれる補間画素を前記第２状態に対応付け、補正後の前記第ｋ有効性情報が無効となっている領域を前記等速領域と判断して当該領域に含まれる補間画素を前記第１状態に対応付けてもよい。
【００３７】
これにより、（ｋ−１）番目以前のインターレース画像及び（ｋ＋１）番目以降のインターレース画像には変化がなく、ｋ番目のインターレース画像のみに変化があるような映像が画像処理装置に入力されている場合に、画像劣化を低減することができる。
【００３８】
また、前記有効性生成部は、前記動きベクトル推定部で推定された前記代表動きベクトルを用いて、前記第（ｋ−１）インターレース画像を構成する各画素の画素値と、前記第（ｋ＋１）インターレース画像において対応する画素の画素値とを比較し、画素値の差分が予め定められた第１閾値以下の場合、当該画素に対応する補間画素の動きベクトルが前記代表動きベクトルと一致すると判断し、画素値の差分が前記第１閾値を超えた場合、当該画素に対応する補間画素の動きベクトルが前記代表動きベクトルと一致しないと判断してもよい。
【００３９】
このように、（ｋ−１）番目のインターレース画像を構成する各画素の画素値と、（ｋ＋１）番目のインターレース画像を構成する各画素の画素値との差分が閾値を越えた場合に、第ｋ有効性情報において当該画素に対応する補間画素を無効とする。これにより、例えば、カメラのフラッシュがｋ番目のインターレース画像のみで光ったような場合に、フラッシュが光った領域の補間画素の画素値を面内補間することにより生成し、それ以外の領域の補間画素の画素値を面間補間することにより生成できる。その結果、フラッシュが光った領域におけるノイズの発生を抑制できる。
【００４０】
また、前記有効性補正部は、前記第ｋ有効性情報において、前記第（ｋ−１）有効性情報が無効とされた前記第（ｋ−１）フィールドの補間画素を含む所定の第１領域に対応する前記第ｋインターレース画像の前記補間画素を無効と補正してもよい。
【００４１】
これにより、第（ｋ−１）有効性情報が無効となっている画素を含む所定の第１領域に含まれる補間画素については、補正情報を無効とできる。つまり、ｋ番目のインターレース画像のみに画像に変化があるような画像が入力された場合に、変化の大きい画素では面内補間をし、変化の小さい画素では面間補間をすることができる。その結果、変化の大きい画素では面内補間することにより、不自然な画像となることがなく、変化の小さい画素では面間補間することにより、動き補償した高画質な画像を実現できる。
【００４２】
また、前記有効性補正部は、前記第ｋインターレース画像の所定の第２領域の前記代表動きベクトルと前記第（ｋ−１）インターレース画像の対応する領域の代表動きベクトルとの差分が、予め定められた第２閾値を超えるか否かを判定し、前記第２閾値を超える場合、前記第２領域に含まれる前記補間画素を無効と補正してもよい。
【００４３】
これにより、ｋ番目のインターレース画像中に加速変化している物体がある場合に、当該物体に位置する画素では面内補間することにより画素値を生成する。その結果、例えばコーミングノイズといった不自然な画像が生成されることを防止できる。
【００４４】
また、前記動きベクトル推定部は、前記ｋインターレース画像を構成する複数の画素を一ブロックとする複数のブロックの各々について前記代表動きベクトルを推定し、前記第２領域は各ブロックであってもよい。
【００４５】
これにより、動きベクトル推定部で推定された代表動きベクトルを画像処理装置に接続された外部メモリに記憶させる場合に、必要とするメモリ領域とメモリアクセス量とを削減できる。
【００４６】
また、本発明は、装置として実現できるだけでなく、その装置を含む画像処理システムとして実現することもできる。
【００４７】
本発明の一態様に係る画像処理システムは、上記画像処理装置を含む集積回路と、前記第ｋ有効性情報及び前記第（ｋ−１）有効性情報を保持するためのメモリと、前記画像処理装置から出力されたプログレッシブ画像を表示する表示装置とを備える。
【００４８】
また、前記有効性生成部は、前記合成部が前記第（ｋ−１）インターレース画像を補間することにより当該画像に対応するプログレッシブ画像を生成しているときに、前記第（ｋ−１）有効性情報を前記メモリに格納し、前記合成部が前記第ｋインターレース画像を補間することにより当該画像に対応するプログレッシブ画像を生成しているときに、前記メモリから前記第（ｋ−１）有効性情報を読み出してもよい。
【００４９】
これにより、第（ｋ−１）有効性情報は、（ｋ−１）番目のインターレース画像をプログレッシブ画像に変換する際に既に生成されているので、ｋ番目のインターレース画像をプログレッシブ画像に変換する際に、新たに生成する必要がない。つまり、補間対象のインターレース画像を補間する際には、当該インターレース画像に対応する有効性情報と、当該インターレース画像の直前のインターレース画像に対応する有効性情報とを用いるが、このうち、直前のインターレース画像に対応する有効性情報は直前のインターレース画像を補間する際に生成されたものを利用する。従って、補間対象のインターレース画像を補間する際に直前のインターレース画像に対応する有効性情報を新たに生成する必要がなく、画像処理装置の処理量を低減できる。
【００５０】
また、本発明の他の一態様に係る画像処理装置は、ｋ（ｋは２より大きい自然数）番目のインターレース画像であって、偶数画素行及び奇数画素行の一方で構成される第ｋインターレース画像をプログレッシブ画像に変換して出力する画像処理装置であって、前記第ｋインターレース画像は、等速に移動している等速領域の画像と、非等速に移動している非等速領域の画像とからなり、前記第ｋインターレース画像に対応するプログレッシブ画像を構成する複数の画素のうち、前記第ｋインターレース画像の偶数画素行及び奇数画素行の他方に位置する補間画素であって、前記非等速領域に含まれる補間画素それぞれの画素値は、前記第ｋインターレース画像を用いた面内補間により生成され、前記等速領域に含まれる補間画素それぞれの画素値は、（ｋ−１）番目のインターレース画像である第（ｋ−１）インターレース画像と第（ｋ＋１）番目のインターレース画像である第（ｋ＋１）インターレース画像とを用いた面間補間により生成されている。
【００５１】
また、前記等速領域に含まれる画素それぞれの画素値と、（ｋ−２）番目のインターレース画像のうち当該画素に対応する画素の画素値との差分は、第１閾値以下であり、前記第（ｋ−１）インターレース画像のうち前記等速領域に対応する領域に含まれる画素それぞれの画素値と、第（ｋ＋１）インターレース画像のうち前記等速領域に対応する領域に含まれる画素それぞれの画素値との差分は、前記第１閾値以下であり、前記非等速領域に含まれる画素それぞれの画素値と、前記（ｋ−２）番目のインターレース画像のうち当該画素に対応する画素の画素値との差分は、前記第１閾値を超え、前記（ｋ−１）インターレース画像のうち前記非等速領域に対応する領域に含まれる画素それぞれの画素値と、前記第（ｋ＋１）インターレース画像のうち前記非等速領域に対応する領域に含まれる画素それぞれの画素値との差分は、前記第１閾値以下であってもよい。
【００５２】
また、前記等速領域に対応する動きベクトルと前記第（ｋ−１）インターレース画像のうち前記等速領域に対応する領域の動きベクトルとの差分は、予め定められた第２閾値以下であり、前記非等速領域に対応する動きベクトルと前記第（ｋ−１）インターレース画像のうち前記非等速領域に対応する領域の動きベクトルとの差分は、前記第２閾値を超えてもよい。
【００５３】
また、前記非等速領域に含まれる補間画素それぞれの画素値は、当該補間画素に隣接する複数の画素の画素値から生成され、前記等速領域に含まれる補間画素それぞれの画素値は、前記第（ｋ−１）インターレース画像の当該補間画素に対応する画素の画素値と、前記第（ｋ＋１）インターレース画像の当該補間画素に対応する画素の画素値とから生成されてもよい。
【００５４】
なお、本発明は、装置や、その装置を含む画像処理システムとして実現できるだけでなく、その装置を構成する処理手段をステップとする画像処理方法として実現することもできる。また、これらの全般的及び具体的な態様は、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【００５５】
以下、本発明の実施の形態に係る画像処理装置及び画像処理システムについて、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される構成要素等は、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００５６】
（実施の形態１）
本実施の形態に係る画像処理装置は、偶数画素行及び奇数画素行の一方で構成されるインターレース画像をプログレッシブ画像に変換して出力する画像処理装置であって、インターレース画像のうち等速に移動している等速領域に含まれる補間画素の画素値を面間補間により生成し、インターレース画像のうち非等速に移動している非等速領域に含まれる補間画素の画素値を面内補間により生成する。具体的には、本実施の形態では、等速領域とは、時間的に連続した複数のインターレース画像のうち、等速に移動している領域で、かつ、画素値に大きな変化がない領域であり、非等速領域とは、時間的に連続した複数のインターレース画像のうちの１つのインターレース画像のみに画素値に大きな変化がある領域である。
【００５７】
これにより、時間的に連続する複数のインターレース画像のうち、１つのインターレース画像のみに画素値に大きな変化がある場合、例えばフラッシュ等が発生した場合、であっても、コーミングノイズの発生を抑制し、画質の劣化を低減できる。
【００５８】
図１は、実施の形態１に係る画像処理装置の構成の一例を示すブロック図である。
【００５９】
同図に示す画像処理装置１００は、インターレース画像をプログレッシブ画像に変換して出力する画像処理装置であって、補間情報生成部１１０と、補間部１２０と、切り替え部１３０とを備え、入力された連続する３つの入力インターレース画像１０１、１０２及び１０３を用いて、入力インターレース画像１０２に対応するプログレッシブ画像信号を生成する。
【００６０】
入力インターレース画像１０１、１０２及び１０３は、時間的に連続したフィールドの画像信号であり、入力インターレース画像１０１が最も過去の画像信号であり、入力インターレース画像１０３が最新の画像信号である。具体的には、入力インターレース画像１０２は、偶数画素行及び奇数画素行の一方で構成される画像信号であり、入力インターレース画像１０１及び入力インターレース画像１０３は、偶数画素行及び奇数画素行の他方で構成される画像信号である。つまり、例えば、入力インターレース画像１０２が奇数画素行で構成される奇数フィールドの場合、入力インターレース画像１０１及び１０３は偶数画素行で構成される偶数フィールドである。一方、入力インターレース画像１０２が偶数画素行で構成される偶数フィールドの場合、入力インターレース画像１０１及び１０３は奇数画素行で構成される奇数フィールドである。
【００６１】
なお、以下、本明細書では、画像と画像信号とを特に区別せず、画像と記載する。
【００６２】
補間情報生成部１１０は、入力された入力インターレース画像１０２の偶数画素行及び奇数画素行の他方に位置する補間画素それぞれについて、有効又は無効を示す補間情報を生成する。
【００６３】
この補間情報は、入力インターレース画像１０２の補間画素それぞれの動きベクトルが最終的に有効であるか無効であるかを示す情報であり、例えば、入力インターレース画像１０２に対応づけられてマッピングされた情報である。ここで、補間情報が有効とされた補間画素は、入力インターレース画像１０２の等速領域に含まれているとみなされて、補間部１２０で面間補間により画素値が生成される。一方、補間情報が無効とされた補間画素は、入力インターレース画像１０２の非等速領域に含まれているとみなされて、補間部１２０で面内補間により画素値が生成される。なお、補間情報が有効の状態は本発明の第１状態に相当し、補間情報が無効の状態は本発明の第２状態に相当する。
【００６４】
補間情報生成部１１０は、動きベクトル推定部１１１と、有効性情報生成部１１２と、遅延バッファ１１３と、前フィールド位置算出部１１４と、有効性情報補正部１１５とを備える。
【００６５】
動きベクトル推定部１１１は、入力された入力インターレース画像１０１と入力インターレース画像１０３とを用い、画素ごとの動きベクトルを推定する。具体的には、動きベクトル推定部１１１は、入力インターレース画像１０２を構成する領域ごとに対応する代表動きベクトルを推定し、当該領域に含まれる全ての画素の動きベクトルは当該領域の代表ベクトルと同じであると推定する。
【００６６】
この、動きベクトル推定の方法については、特許文献３に記載されたブロックマッチングを用いるが、本発明では動きベクトルの推定方法についてはこれに限らない。
【００６７】
また、このとき推定する動きベクトルの縦方向の動きを偶数に制限することにより、面間補間時に補間対象のフィールドの前後のフィールドのインターレース画像で補間することができる。
【００６８】
有効性情報生成部１１２は、本発明の一態様に係る有効性生成部に相当し、動きベクトル推定部１１１で動きベクトルを推定した領域ごとに、当該領域に含まれる各補間画素の動きベクトルが当該領域の代表動きベクトルと一致する場合に有効であることを示し、一致しない場合に無効であることを示す有効性情報を生成する。
【００６９】
動きベクトルの有効性の評価方法としては、ブロックマッチングでのマッチング誤差が一定値を超える場合と、推定した動きベクトルに従い補償したフィールドの画素の差分絶対値が一定値を超える場合とに、動きベクトルを無効と判定する。つまり、有効性情報生成部１１２は、動きベクトル推定部１１１で推定された代表動きベクトルを用いて、入力インターレース画像１０３を構成する各画素の画素値と、入力インターレース画像１０１において対応する画素の画素値とを比較し、画素値の差分が予め定められた閾値以下の場合、当該画素に対応する補間画素の動きベクトルが代表動きベクトルと一致する（つまり、動きベクトルが有効）と判断し、画素値の差分が閾値を超えた場合、当該画素に対応する補間画素の動きベクトルが代表動きベクトルと一致しない（つまり、動きベクトルが無効）と判断する。また、有効性情報生成部１１２は、動きベクトル推定部１１１においてブロックマッチング時にマッチング誤差が一定値を超える場合、当該領域に含まれる全ての補間画素の動きベクトルを無効とする。
【００７０】
ここで、有効性情報生成部１１２により動きベクトルが有効又は無効と判断される基準となる閾値は、例えば、入力インターレース画像１０１及び１０３の画素値の最大値と最小値との差分の５パーセント以内であり、特定的には３パーセント以内であり、より特定的には１パーセント以内である。
【００７１】
なお、動きベクトルの有効性の評価方法は上記に限定されるものではなく、周辺画素で求めた動きベクトルとの一致性により判定するなどの他の手法を用いても良いし、複数の手法を組み合わせて用いても良い。
【００７２】
遅延バッファ１１３は、有効性情報生成部１１２により生成された直前のフィールドに対応する動きベクトルの有効性情報を保持している。この遅延バッファ１１３は、有効性情報生成部１１２で生成された有効性情報が書き込まれるバッファと、前フィールド位置算出部１１４に読み出し対象が指示されることにより情報が読み出されるバッファとの２フィールド分のバッファを持ち、画像処理装置１００に入力されるインターレース画像の切り替わり毎に使用するバッファ領域を切り替える。
【００７３】
具体的には、遅延バッファ１１３は、補間対象の入力インターレース画像１０２に対応する有効性情報と、当該画像の直前のフィールドの画像である入力インターレース画像１０１に対応する有効性情報とを保持している。このうち、入力インターレース画像１０１に対応する有効性情報は、補間情報生成部１１０が入力インターレース画像１０１の補間情報を生成しているとき、つまり、有効性情報生成部１１２が入力インターレース画像１０１の１つ前のフィールドのインターレース画像と入力インターレース画像１０２とを用いて入力インターレース画像１０１に対応する有効性情報を生成しているときに遅延バッファ１１３に書き込まれる。書き込まれた入力インターレース画像１０１の有効性情報は、前フィールド位置算出部１１４の指示に応じて、有効性情報補正部１１５に出力される。
【００７４】
前フィールド位置算出部１１４は、動きベクトル推定部１１１で推定された動きベクトルを用いて、入力インターレース画像１０２の各補間画素が入力インターレース画像１０１において存在した位置を推定し、推定した位置の近傍位置（例えば、上下の画素位置）を示す情報を遅延バッファ１１３に指示する。これにより、遅延バッファ１１３は、入力インターレース画像１０１において指示された画素位置の動きベクトルの有効又は無効を示す情報を有効性情報補正部１１５に出力する。
【００７５】
具体的には、例えば動きベクトル推定部１１１で推定された動きベクトル出力が＋２（右方向２ピクセル）と推定された補間画素に対しては、前フィールド位置算出部１１４は、当該補間画素位置の２ピクセル左の位置を、当該補間画素が前のフィールドにおいて存在した位置であると推定する。そして、前のフィールドのインターレース画像１０１において、当該補間画素の２ピクセル左かつ１ピクセル上に位置する画素の動きベクトルの有効又は無効を示す情報と、当該補間画素の２ピクセル左かつ１ピクセル下に位置する補間画素の有効又は無効を示す情報とを有効性情報補正部１１５に出力する。
【００７６】
なお、動きベクトルの縦方向の大きさを偶数に制限している場合、前フィールド位置算出部１１４の指示する位置は、前フィールドでのピクセルが存在しない位置となるため、近傍位置として上下ピクセル位置の情報を選択する。
【００７７】
また、近傍位置として、上下画素に限定するものではなく３画素以上の情報を用いても良いし、ブロック単位の情報を用いる場合には、指示したピクセル位置を含むブロックの情報を用いることもできる。
【００７８】
有効性情報補正部１１５は、有効性情報生成部１１２で生成された入力インターレース画像１０２の有効性情報と、前フィールド位置算出部１１４の指示に従って遅延バッファ１１３から出力された入力インターレース画像１０１の有効性情報とを用い、すべてのベクトル有効性情報が有効を示す場合のみ有効と判定し、無効を示す情報が存在する場合には無効と判定し、判定した結果を示す補間情報を生成する。つまり、有効性情報補正部１１５は、入力インターレース画像１０１の有効性情報を用いて入力インターレース画像１０２の有効性情報を補正することにより、入力インターレース画像１０２の補間画素それぞれの動きベクトルが最終的に有効であるか無効であるかを示す補間情報を生成する。
【００７９】
言い換えると、有効性情報補正部１１５は、本発明の一態様に係る有効性補正部に相当し、入力インターレース画像１０１の補間画素それぞれに対応する動きベクトルについて有効又は無効を示す有効性情報を用いて、入力インターレース画像１０２に対応する有効性情報を補正することにより、補間情報を生成する。ここで、有効性情報補正部１１５は、補正後の入力インターレース画像１０２に対応する有効性情報が有効となっている領域を非等速領域と判断して、補間情報において当該領域に含まれる補間画素を無効に対応付け、補正後の入力インターレース画像１０２が無効となっている領域を等速領域と判断して、補間情報において当該領域に含まれる補間画素を有効に対応付ける。
【００８０】
具体的には、有効性情報補正部１１５は、入力インターレース画像１０２の有効性情報において、入力インターレース画像１０１の有効性情報が無効とされた入力インターレース画像１０１の補間画素を含む所定の第１領域に対応する入力インターレース画像１０２の補間画素の動きベクトルを無効と補正する。つまり、有効性情報補正部１１５は、有効性情報生成部１１２により生成された入力インターレース画像１０２の有効性情報の補間画素ごとに、当該補間画素が入力インターレース画像１０１において位置する画素の上及び下に位置する補間画素の有効性情報が無効であるか否かを判定し、無効である場合、入力インターレース画像１０２の有効性情報において、当該画素の動きベクトルを無効と補正し、補正した入力インターレース画像１０２の有効性情報を入力インターレース画像１０２の補間情報として補間部１２０へ出力する。
【００８１】
補間部１２０は、補間情報生成部１１０で生成された補間情報を用いて、入力インターレース画像１０２の各補間画素の画素値を生成し、具体的には、面内補間部１２１と、面間補間部１２２と、選択部１２３とを備える。
【００８２】
面内補間部１２１は、入力された入力インターレース画像１０２の入力インターレース画像１０２において補間画素位置の上下に位置する画素の平均値を補間画素の画素値とする。
【００８３】
なお、面内補間の画素値を求める方法としては、上述した方式に限定するものではなく、上下のそれぞれ複数の画素を用いたフィルタや、相関の強い斜め方向の画素の平均を用いるなどの方法を用いても良い。
【００８４】
面間補間部１２２は、動きベクトル推定部１１１で推定された動きベクトルを用いて補間対象フィールドである入力インターレース画像１０２の前後のフィールド（入力インターレース画像１０１及び入力インターレース画像１０３）の画素を動き補償し、双方の画素値の平均値を求めることにより、補間画素値を生成する。
【００８５】
選択部１２３は有効性情報補正部１１５の出力が無効を示す場合には面内補間部１２１から出力された画素値を選択し、有効性情報補正部１１５の出力が有効を示す場合には面間補間部１２２から出力された画素値を選択する。
【００８６】
なお、選択部１２３による補間画素の画素値の生成方法は、上記の方法に限るものではなく、有効性情報補正部１１５の出力を複数段階の信頼性を示す情報とし、面内補間部１２１の出力値と面間補間部１２２の出力値とを信頼性に応じて混合するなどの方法も考えられる。つまり、面内補間により生成された画素値と面間補間により生成された画素値とを信頼性に応じて重み付けして混合してもよい。
【００８７】
切り替え部１３０は、本発明の一態様に係る合成部に相当し、画像処理装置１００に入力された入力インターレース画像１０２に画素値を持つラインは、入力インターレース画像１０２をそのまま出力し、値を持たないラインは補間部１２０により生成された画素値を出力することにより、入力インターレース画像１０２に対応するプログレッシブ画像を生成して出力する。つまり、入力インターレース画像１０２が奇数画素行で構成された画像である場合、奇数画素行では入力インターレース画像１０２の画素値を出力し、偶数画素行では補間部１２０により生成された画素値を出力することにより、奇数画素行と偶数画素行との両方で構成されたプログレッシブ画像を生成する。
【００８８】
次に、実施の形態１における画像処理装置１００の処理動作を具体的な入力例を用いて説明する。
【００８９】
図２は、画像処理装置１００に入力されたインターレース画像と、有効性情報生成部１１２で生成された有効性情報と、有効性情報補正部１１５で生成された補間情報との一例を示す図である。
【００９０】
同図の画像（Ａ）、（Ｂ）、（Ｃ）及び（Ｄ）は、入力となる連続するインターレース画像の同じ領域の画素を示しており、画像（Ａ）が時間的に最も古く画像（Ｄ）が最も新しい画像を示している。具体的には、画像（Ａ）〜（Ｄ）は連続する４つのインターレース画像であって、画像（Ａ）が（ｋ−２）番目のインターレース画像（ｋは２より大きい自然数）であり、画像（Ｂ）が（ｋ−１）番目のインターレース画像であり、（Ｃ）がｋ番目のインターレース画像であり、画像（Ｄ）が（ｋ＋１）番目のインターレース画像である。以下、画像（Ａ）〜（Ｄ）を（ｋ−２）〜（ｋ＋１）番目の画像と記載する場合がある。また、画像（Ａ）〜（Ｄ）を単に（Ａ）〜（Ｄ）と記載する場合がある。また、補間画素及び画素を特に区別せず、画素、点又はピクセルとして記載している場合がある。
【００９１】
また、入力はインターレース画像であるため各画像は１ラインおきに画素値を持っており、時間的に隣り合う画像の画素位置は上下にずれている。具体的には、（ｋ−２）番目のインターレース画像とｋ番目のインターレース画像とは、奇数画素行で構成され、（ｋ−１）番目のインターレース画像と（ｋ＋１）番目のインターレース画像とは、偶数画素行で構成されている。
【００９２】
画像処理装置１００は、連続する３枚のインターレース画像を入力としている。そこで、まず、第１の画像変換処理では、画像（Ａ）、（Ｂ）及び（Ｃ）の３枚のインターレース画像を入力インターレース画像１０１、１０２及び１０３として処理を行い、第１の画像変換処理の直後の第２の画像変換処理では、画像（Ｂ）、（Ｃ）及び（Ｄ）の３枚のインターレース画像を入力インターレース画像１０１、１０２及び１０３として処理を行うことになる。つまり、第１の画像変換処理では、（ｋ−２）〜ｋ番目のインターレース画像を入力として（ｋ−１）番目のインターレース画像に対応する有効性情報を生成し、第２の画像変換処理では、（ｋ−１）〜（ｋ＋１）番目のインターレース画像を入力としてｋ番目のインターレース画像に対応するプログレッシブ画像を生成する。
【００９３】
まず、第１の画像変換処理について述べる。
【００９４】
画像（Ａ）、（Ｂ）及び（Ｃ）を入力インターレース画像１０１、１０２及び１０３とする第１の画像変換処理では、動きベクトル推定部１１１により画像（Ｂ）に対して補間する各点に対する動きベクトルを推定する。つまり、動きベクトル推定部１１１は、（ｋ−１）番目のインターレース画像を構成する領域ごと（例えば、補間画素ごと）に対応する代表動きベクトルを推定する。
【００９５】
ここで、図２の入力例では、動きベクトル推定部１１１で画像（Ａ）と画像（Ｃ）とを用いたブロックマッチング等の手法により、（ｋ−１）番目のインターレース画像である画像（Ｂ）のすべての補間画素に対して、代表動きベクトルが右方向２ピクセルとして推定されたものとする。
【００９６】
このとき、有効性情報生成部１１２は、画像（Ｂ）の補間画素それぞれの動きベクトルについて有効又は無効を判定し、判定結果を示す有効性情報を生成する。具体的には、有効性情報生成部１１２は、動きベクトル推定部１１１で推定された代表動きベクトルを用いて、画像（Ａ）を構成する各画素の画素値と、画像（Ｃ）において対応する画素の画素値とを比較し、画素値の差分が予め定められた第１閾値以下の場合、当該画素に対応する補間画素の動きベクトルが代表動きベクトルと一致すると判断し、画素値の差分が第１閾値を超えた場合、当該画素に対応する補間画素の動きベクトルが代表動きベクトルと一致しないと判断する。つまり、画素値の差分が予め定められた第１閾値以下の場合、当該画素の動きベクトルは有効と判定し、画素値の差分が第１閾値を超えた場合、当該画素の動きベクトルは無効と判定する。
【００９７】
例えば、有効性情報生成部１１２は、画像（Ｂ）の補間画素Ｂ−1に関しては、画像（Ａ）及び（Ｃ）上の対応する点Ａ−１と点Ｃ−１との画素値が一致するため、動きベクトルは有効と判定する。ここで、例えば点Ａ−１とは画像（Ａ）の点１を示し、補間画素Ｂ−１とは画像（Ｂ）の点１を示す。以下、このように画像と点との組み合わせを用いて記載する場合がある。
【００９８】
一方、画像（Ｂ）の補間画素Ｂ−２に関しては、画像（Ａ）及び（Ｃ）上の対応する点Ａ−２及び点Ｃ−２との画素値の差分が大きいため、動きベクトルは無効と判定する。
【００９９】
このように有効性情報生成部１１２で判定された結果を示す有効性情報は、遅延バッファ１１３に保持される。つまり、第１の画像変換処理で、（ｋ−１）番目のインターレース画像に対応する有効性情報は遅延バッファ１１３に保持される。
【０１００】
上述したような第１の画像変換処理に続き、画像処理装置１００は、画像（Ｂ）、（Ｃ）及び（Ｄ）を入力インターレース画像１０１、１０２及び１０３として、第２の画像変換処理を行う。
【０１０１】
図２の（Ｘ）及び（Ｙ）は、有効性情報生成部１１２により生成された有効性情報の一例を示す図であり、（Ｘ）は、画像（Ａ）、（Ｂ）及び（Ｃ）を入力インターレース画像１０１、１０２及び１０３とする第１の画像変換処理で生成された有効性情報、（Ｙ）は画像（Ｂ）、（Ｃ）及び（Ｄ）を入力インターレース画像１０１、１０２及び１０３とする第２の画像変換処理で生成された有効性情報である。
【０１０２】
図２の（Ｘ）は、画像（Ｂ）の各補間画素に対して動きベクトルが有効か無効かを判定した結果であり、二重丸は動きベクトルを有効と判定した補間画素、中が×の丸は動きベクトルを無効と判定した補間画素を表している。
【０１０３】
なお、図２の例では、周囲の点を示していないため、図からは比較結果を求めることができない画素も含んでいるが、実際には周囲の画素が存在し、有効と判定されたものとして示している。
【０１０４】
また、図２の例には示していないが、動きベクトルが推定できない点に対しては、画素値が一致するか否かによらず無効と判定する。
【０１０５】
次に、画像（Ｂ）、（Ｃ）及び（Ｄ）の３つの画像が入力された場合に、第１の画像変換処理で保存した動きベクトルの有効性情報（Ｘ）を用いてプログレッシブ画像を生成する動作を簡単に説明する。
【０１０６】
画像（Ｂ）、（Ｃ）及び（Ｄ）を入力とする第２の画像変換処理では、動きベクトル推定部１１１及び有効性情報生成部１１２により、画像（Ｂ）と画像（Ｄ）とを比較し、第１の画像変換処理と同様にベクトルの推定とベクトルが有効か無効かの判定と、判定結果の保存を行う。
【０１０７】
ここでは、ｋ番目のインターレース画像である画像（Ｃ）を構成するすべての補間画素位置に対し右方向に２ピクセルの動きベクトルとして推定されたとすると、画像（Ｃ）の各補間画素に対応する画像（Ｂ）上の点の画素値と画像（Ｄ）上の点の画素値とで一致するため、判定結果は図２の有効性情報（Ｙ）のようにすべての点で有効と判定される。
【０１０８】
次に、ベクトルが有効と判定された画素に対し、前の画像の処理で求めた判定結果を参照して有効性情報補正部１１５により補正を行う。
【０１０９】
図２の（Ｚ）は、有効性情報補正部１１５により図２の有効性情報（Ｙ）に補正を行った結果を示しており、図２の有効性情報（Ｙ）に対し、一部が動きベクトル無効という判定に補正されている。つまり、補正後の有効性情報である図２の（Ｚ）は、有効性情報補正部１１５で生成される補間情報である。
【０１１０】
判定結果の補正では、まず画像（Ｃ）上の補間点に対する前の画像での位置を、推定した代表動きベクトルを用いて前フィールド位置算出部１１４により求め、その上下位置の前の画像でのベクトル判定結果を遅延バッファ１１３に保存された有効性情報から参照する。
【０１１１】
動きベクトルは右方向２ピクセルであるため、図２の画像（Ｃ）の点３の前画像での位置は２ピクセル左の位置となり、その上下位置（図２の画像（Ｂ）の点１及び４）に対して前の画像で求めた判定結果（図２の（Ｘ）の点１及び４）を参照する。
【０１１２】
有効性情報補正部１１５では、参照した２点が双方とも有効を示しているため、点（Ｂ）−３の動きベクトルに対する最終的な判定は有効と判定する。つまり、補間情報（Ｚ）の点３を有効とする。
【０１１３】
同様に、画像（Ｃ）の動きベクトルは右方向２ピクセルであるため、図２の画像（Ｃ）の点５の前画像での位置は２ピクセル左の位置となる。しかし、点５に対する前画像Ｂでの推定位置の上下位置（図２の画像（Ｂ）の点２及び６）に対して、前の画像で求めた判定結果（図２の（Ｘ）の点２及び６）の判定は無効を示している。
【０１１４】
有効性情報補正部１１５では、参照した２点が双方とも無効を示しているため、点（Ｂ）―５の動きベクトルに対する最終的な判定は無効と判定する。つまり、補間情報（Ｚ）の点５を無効とする。
【０１１５】
このように生成された補間情報（図２の（Ｚ））を用いて、補間部１２０は補間画素の画素値を生成する。具体的には、補間部１２０は、補間情報が無効とされた補間画素の画素値を面内補間することで生成し、補間情報が有効とされた補間画素の画素値を面間補間することで生成する。これにより、画像処理装置１００はプログレッシブ画像を出力できる。
【０１１６】
以上、画像処理装置１００の処理動作について、簡単に説明した。
【０１１７】
上述の処理動作について、第１の画像変換処理に続く、画像（Ｂ）、（Ｃ）及び（Ｄ）を入力インターレース画像１０１〜１０３とする第２の画像変換処理に着目しながら、図２及びフローチャートを用いて説明する。具体的には、第１の画像変換処理において遅延バッファ１１３に保持された図２の（Ｘ）に示す有効性情報を用いて、ｋ番目のインターレース画像に対応するプログレッシブ画像を生成する動作を説明する。
【０１１８】
まず、画像処理装置１００の処理動作の概要について述べる。
【０１１９】
図３は、実施の形態１に係る画像処理装置１００の処理動作の概要の一例を示すフローチャートである。
【０１２０】
まず、画像処理装置１００は、（ｋ＋１）番目のインターレース画像を取得する（ステップＳ１０１）。つまり、画像処理装置１００は、（ｋ−１）番目のインターレース画像である画像（Ｂ）を入力インターレース画像１０１、ｋ番目のインターレース画像である画像（Ｃ）を入力インターレース画像１０２、（ｋ＋１）番目のインターレース画像である画像（Ｄ）を入力インターレース画像１０３として取得する。
【０１２１】
次に、補間情報生成部１１０は、ｋ番目のインターレース画像の補間画素それぞれについて、有効又は無効を示す補間情報を生成する（ステップＳ１０２）。
【０１２２】
そして、補間部１２０は、補間情報生成部１１０で生成された補間情報を用いて、ｋ番目のインターレース画像の補間画素それぞれの画素値を生成する（ステップＳ１０３）。
【０１２３】
次に、切り替え部１３０は、生成された画素値で構成される画素行と、画像処理装置１００に入力されたｋ番目のインターレース画像を構成する画素行とを合成する（ステップＳ１０４）。つまり、切り替え部１３０は、補間部１２０で生成された画素値で、ｋ番目のインターレース画像を補間することによりｋ番目のプログレッシブ画像を生成する。
【０１２４】
最後に、切り替え部１３０は、合成したｋ番目のプログレッシブ画像を出力する（ステップＳ１０５）。具体的には、奇数画素行で構成されているｋ番目のインターレース画像を構成する画素の画素値と、偶数画素行に位置する補間画素の画素値とを、行ごとに切り替えて出力することにより、ｋ番目のプログレッシブ画像を生成する。
【０１２５】
次に、画像処理装置１００の処理動作について詳細に説明する。
【０１２６】
図４は、補間情報を生成する処理（ステップＳ１０２）における、補間情報生成部１１０の詳細な処理動作の一例を示すフローチャートである。
【０１２７】
まず、動きベクトル推定部１１１が、（ｋ−１）番目のインターレース画像と（ｋ＋１）番目のインターレース画像とを用いたブロックマッチングの手法により、ｋ番目のインターレース画像の補間画素それぞれの動きベクトルを推定する（ステップＳ２０１）。ここで、図２の入力例では、すべての補間画素に対し右方向に２ピクセルの動きベクトルとして推定されたものとする。
【０１２８】
次に、有効性情報生成部１１２が、動きベクトル推定部１１１で推定されたｋ番目のインターレース画像の補間画素それぞれに対応する動きベクトルについて有効又は無効を判定し、判定結果を示す、ｋ番目のインターレース画像に対応する有効性情報を生成する（ステップＳ２０２）。
【０１２９】
図５は、ｋ番目のインターレース画像に対応する有効性情報を生成する処理（ステップＳ２０２）における、有効性情報生成部１１２の詳細な処理動作の一例を示すフローチャートである。
【０１３０】
まず、有効性情報生成部１１２は、（ｋ−１）番目のインターレース画像を構成する最初の画素（例えば、第１行第１列目の画素又は第２行第１列目の画素）の画素値と、（ｋ＋１）番目のインターレース画像において対応する画素の画素値との差分が、予め定められた閾値以下か否かを判定する（ステップＳ３０１）。具体的には、動きベクトル推定部１１１で推定された、ｋ番目のインターレース画像の補間画素それぞれについて対応する動きベクトルを用いて、（ｋ−１）番目のインターレース画像を構成する各画素の画素値と、（ｋ＋１）番目のインターレース画像において対応する画素の画素値とを比較する。
【０１３１】
そして、画素値の差分が予め定められた閾値（所定値）以下の場合（ステップＳ３０１でＹｅｓ）、当該画素に対応するｋ番目のインターレース画像の補間画素を有効とし（ステップＳ３０２）、画素値の差分が閾値を超えた場合（ステップＳ３０１でＮｏ）、当該画素に対応するｋ番目のインターレース画像の補間画素を無効とする（ステップＳ３０３）。
【０１３２】
例えば、上述したように、図２の入力例では、ｋ番目のインターレース画像の全ての補間画素に対応する動きベクトルは、右方向に２ピクセルと推定されている。そこで、有効性情報生成部１１２は、画像（Ｃ）の補間画素Ｃ−３に関しては、画像（Ｂ）及び（Ｄ）上の対応する画素である、点Ｂ−３の画素値と、点Ｃ−１の画素値とを比較する。その結果、点Ｂ−３の画素値と、点Ｃ−１の画素値とが一致するため、補間画素Ｃ−３の動きベクトルを有効と判定する。つまり、ｋ番目のインターレース画像である画像（Ｃ）の補間画素Ｃ−３の動きベクトルは有効と判定する。
【０１３３】
同様に、画像（Ｃ）の補間画素Ｃ−５に関しては、画像（Ｂ）及び（Ｄ）上の対応する画素である、点Ｂ−５の画素値と、点Ｄ−５の画素値とを比較する。その結果、点Ｂ−５の画素値と、点Ｄ−５の画素値とが一致するため、補間画素Ｃ−５の動きベクトルも有効と判定する。つまり、ｋ番目のインターレース画像である画像（Ｃ）のは補間画素Ｃ−５の動きベクトルは有効と判定する。
【０１３４】
有効性情報生成部１１２は、ｋ番目のインターレース画像の全ての補間画素について、上記処理（ステップＳ３０１〜Ｓ３０３）が終了したか否かを判定し（ステップＳ３０４）、終了した場合（ステップＳ３０４でＹｅｓ）、ｋ番目のインターレース画像である画像（Ｃ）に対応する有効性情報を生成する処理を終了する。一方、上記処理（ステップＳ３０１〜Ｓ３０３）が終了していない補間画素がある場合（ステップＳ３０４でＮｏ）、当該画素に対して、上記処理（ステップＳ３０１〜Ｓ３０３）を繰り返す。
【０１３５】
このように、第（ｋ−１）番目のインターレース画像を構成する各画素の画素値と、（ｋ＋１）番目のインターレース画像を構成する各画素の画素値との差分が閾値を越えた場合に、第ｋ有効性情報において当該画素に対応する補間画素を無効とする。これにより、例えば、カメラのフラッシュがｋ番目のインターレース画像のみで光ったような場合に、フラッシュが光った領域の補間画素の画素値を面内補間することにより生成し、それ以外の領域の補間画素の画素値を面間補間することにより生成できる。その結果、フラッシュが光った領域におけるノイズの発生を抑制できる。
【０１３６】
以上のように、ｋ番目のインターレース画像である画像（Ｃ）の全ての補間画素に対して動きベクトルが有効か否かを判定することによって、図３の有効性情報（Ｙ）で示される、ｋ番目のインターレース画像の補間画素それぞれに対応する有効性情報が生成される。ここでは、同図に示すように、画像（Ｃ）のすべての補間画素で動きベクトルが有効であることを示す有効性情報が生成される。
【０１３７】
このように生成された、ｋ番目のインターレース画像に対応する有効性情報を用いて、有効性情報補正部１１５が、有効性情報生成部１１２により動きベクトルが有効と判定された補間画素に対し、前の画像の処理で求めた判定結果を参照して補正を行う。つまり、有効性情報補正部１１５は、遅延バッファ１１３に保持されている（ｋ−１）番目のインターレース画像に対応する有効性情報を用いて、ｋ番目のインターレース画像に対応する有効性情報を補正する（図４のステップＳ２０３）。
【０１３８】
図６は、ｋ番目のインターレース画像に対応する有効性情報を補正する処理（ステップＳ２０３）における、有効性情報補正部１１５の詳細な処理動作の一例を示すフローチャートである。この処理により、図２の補間情報（Ｚ）に示すような、図２の有効性情報（Ｙ）に対し、一部の動きベクトルが無効と補正された補間情報を生成する。
【０１３９】
まず、有効性情報補正部１１５は、遅延バッファ１１３から（ｋ−１）番目のインターレース画像の有効性情報を取得する（ステップＳ４０１）。具体的には、有効性情報補正部１１５は、前フィールド位置算出部１１４の指示に従って遅延バッファ１１３から出力された（ｋ−１）番目のインターレース画像の有効性情報を取得する。
【０１４０】
次に、取得した（ｋ−１）番目のインターレース画像の有効性情報が無効であるか否かを判定する（ステップＳ４０２）。
【０１４１】
（ｋ−１）番目のインターレース画像の有効性情報が無効であった場合（ステップＳ４０２でＹｅｓ）、ｋ番目のインターレース画像の有効性情報のうち、（ｋ−１）番目の有効性情報が無効とされた（ｋ−１）フィールドの補間画素の上下の画素に対応するｋ番目のインターレース画像の補間画素を無効とする（ステップＳ４０３）。
【０１４２】
つまり、ｋ番目のインターレース画像の有効性情報の補正では、まず画像（Ｃ）上の補間点に対する前の画像での位置を、動きベクトル推定部１１１で推定された動きベクトルを用いて前フィールド位置算出部１１４により求める。つまり、ｋ番目のインターレース画像の各補間画素に対応する（ｋ−１）番目のインターレース画像における位置を、動きベクトル推定部１１１で推定された動きベクトルを用いて求める。そして、前フィールド位置算出部１１４は、（ｋ−１）番目のインターレース画像の有効性情報のうち、求めた位置の上下の位置の判定結果を遅延バッファ１１３から有効性情報補正部１１５へ取り出す。
【０１４３】
例えば、上述したように、ｋ番目のインターレース画像の動きベクトルは右方向２ピクセルと推定されている。
【０１４４】
そこで、図２の画像（Ｃ）の補間画素Ｃ−３に対応する前の画像での位置は２ピクセル左の位置となり、その上下の位置（図２の画像（Ｂ）の補間画素Ｂ−１及び補間画素Ｂ−４）に対して最初の画像変換処理で求めた（ｋ−１）番目の有効性情報の判定結果（図２の（Ｘ）の点Ｘ−１及び点Ｘ−４）を参照する。参照した結果、図２の（Ｘ）の点Ｘ−１及び点Ｘ−４のいずれも有効であるとされていることがわかる。
【０１４５】
これにより、ｋ番目のインターレース画像である画像（Ｃ）の補間画素Ｃ−３については、参照した２点が双方とも有効を示しているため、最終的な判定（図２の（Ｚ）―３）も有効とする。つまり、ｋ番目のインターレース画像の補間情報において、補間画素Ｃ−３は有効とする。
【０１４６】
一方、図２の画像（Ｃ）の補間画素Ｃ−５に対応する前の画像での位置は、同様に２ピクセル左の位置となり、その上下の位置（図２の画像（Ｂ）の補間画素Ｂ−２及び補間画素Ｂ−６）に対して最初の画像変換処理で求めた（ｋ−１）番目の有効性情報の判定結果（図２の（Ｘ）の点Ｘ−２及び点Ｘ−６）を参照する。参照した結果、図２の（Ｘ）の点Ｘ−２及び点Ｘ−６のいずれも無効であるとされていることがわかる。
【０１４７】
これにより、ｋ番目のインターレース画像である画像（Ｃ）の補間画素Ｃ−５については、参照した２点が双方とも無効を示しているため、最終的な判定（図２の（Ｚ）−５）は無効とする。つまり、ｋ番目のインターレース画像の補間情報において、補間画素Ｃ−５は無効とする。
【０１４８】
有効性情報補正部１１５は、ｋ番目のインターレース画像の全ての補間画素について、上記処理（ステップＳ４０１〜Ｓ４０３）が終了したか否かを判定し（ステップＳ４０４）、終了した場合（ステップＳ４０４でＹｅｓ）、補正後のｋ番目のインターレース画像の有効性情報を補間情報とし（ステップＳ４０５）、ｋ番目のインターレース画像の有効性情報を補正する処理を終了する。一方、上記処理（ステップＳ４０１〜Ｓ４０３）が終了していない補間画素がある場合（ステップＳ４０４でＮｏ）、当該画素に対して、上記処理（ステップＳ４０１〜Ｓ４０３）を繰り返す。
【０１４９】
以上のように、有効性情報補正部１１５は、ｋ番目のインターレース画像に対応する有効性情報（図２の（Ｙ））のうち、（ｋ−１）番目のインターレース画像に対応する有効性情報（図２の（Ｘ））が無効とされた補間画素の上下の画素位置に位置するｋ番目のインターレース画像の補間画素を無効と補正する。
【０１５０】
これにより、ｋ番目のインターレース画像のみに画像に変化があるような画像が入力された場合に、変化の大きい画素では面内補間をし、変化の小さい画素では面間補間をすることができる。その結果、変化の大きい画素では面内補間することにより、不自然な画像となることがなく、変化の小さい画素では面間補間することにより、動き補償した高画質な画像を実現できる。
【０１５１】
なお、無効と補正する補間画素は、（ｋ−１）番目のインターレース画像に対応する有効性情報（図２の（Ｘ））が無効とされた補間画素の上下の位置に限らず、無効とされた補間画素を含む所定の領域（例えば、上下左右の点を含む点）に対応するｋ番目のインターレース画像の補間画素であってもよい。
【０１５２】
以上のように、有効性情報補正部１１５は、図２の補間情報（Ｚ）に示すような、図２の有効性情報（Ｙ）に対して一部が無効と補正された補間情報を生成する。つまり、ｋ番目のインターレース画像の補間画素ごとに対応する動きベクトルを推定し、推定した動きベクトルを用いて（ｋ−１）番目のインターレース画像の各画素の画素値と（ｋ＋１）番目のインターレース画像の対応する画素の画素値とを比較し、一致する場合に動きベクトルが有効であることを示し、一致しない場合に動きベクトルが無効であることを示す有効性情報（図２の（Ｙ））を生成する。そして、（ｋ−１）番目のインターレース画像の補間画素それぞれに対応する動きベクトルについて有効又は無効を示す有効性情報（図２の（Ｘ））を用いてｋ番目のインターレース画像に対応する有効性情報（図２の（Ｙ））を補正することにより、補間情報（図２の（Ｚ））を生成する。
【０１５３】
具体的には、補正後のｋ番目のインターレース画像に対応する有効性情報が有効となっている領域を非等速領域と判断して当該領域に含まれる補間画素を無効に対応付け、補正後のｋ番目のインターレース画像に対応する有効性情報が無効となっている領域を等速領域と判断して当該領域に含まれる補間画素を無効に対応付ける。
【０１５４】
これにより、（ｋ−１）番目以前のインターレース画像及び第（ｋ＋１）番目以降のインターレース画像には変化がなく、ｋ番目のインターレース画像のみに変化があるような映像が画像処理装置１００に入力されている場合に、画像劣化を低減することができる。
【０１５５】
次に、このように生成された補間情報を用いて、ｋ番目のインターレース画像の補間画素それぞれの画素値を生成する処理（図３のステップＳ１０３）について詳細に述べる。
【０１５６】
図７は、補間画素の画素値を生成する処理における、補間部１２０の詳細な処理動作の一例を示すフローチャートである。
【０１５７】
まず、選択部１２３は、ｋ番目のインターレース画像の最初の補間画素について、補間情報が有効であるか無効であるかを判断する（ステップＳ５０１）。補間情報が有効である場合（ステップＳ５０１で有効）、選択部１２３は、面間補間部１２２で生成された当該補間画素に対応する画素値を選択する（ステップＳ５０２）。一方、補間情報が無効である場合（ステップＳ５０１で無効）、選択部１２３は、面内補間部１２１で生成された当該補間画素に対応する画素値を選択する（ステップＳ５０３）。そして、全ての補間画素について上記処理（ステップＳ５０１〜Ｓ５０３）が終了したか否かを判定し（ステップＳ５０４）、終了した場合（ステップＳ５０４でＹｅｓ）、補間画像の生成処理を終了し、終了していない場合（ステップＳ５０４でＮｏ）、次の補間画素に対して上記処理（ステップＳ５０１〜Ｓ５０３）を繰り返す。
【０１５８】
これにより、ｋ番目のインターレース画像の全ての補間画素の画素値が生成される。
【０１５９】
画像処理装置１００は、以上のように生成された補間画素の画素値を用いてｋ番目のインターレース画像を補間することにより、ｋ番目のインターレース画像が補間されたプログレッシブ画像を生成する。
【０１６０】
次に、このような画像処理装置１００により生成されたプログレッシブ画像について説明する。
【０１６１】
図８Ａは理想的なプログレッシブ画像の一例であり、図８Ｂは本実施の形態の画像処理装置１００により生成されたプログレッシブ画像の一例であり、図８Ｃは、比較例として面間補間により生成されたプログレッシブ画像の一例である。
【０１６２】
具体的には、図８Ａは、図２の画像（Ｃ）の補間画素を理想的な画素値で補間することにより生成された画像であり、図８Ｂは、図２の画像（Ａ）〜（Ｄ）が入力された場合のｋ番目のインターレース画像に対応して画像処理装置１００で生成された画像であり、図８Ｃは、図２の画像（Ｂ）及び（Ｄ）を用いて面間補間することで生成された画像である。
【０１６３】
つまり、図８Ｂは、有効性情報補正部１１５により生成された補間情報を用いて補間を行った結果を示している。ここで、動きベクトルが有効と判定された点は選択部１２３により面間補間部１２２で求めた面間補間の画素値が選択され、動きベクトルが無効と判定された画素は、面内補間部１２１で求めた面内補間の画素値が選択されることにより補間画素の画素値が求められる。このように、求められた補間画素と、画像（Ｃ）とを切り替え部１３０によりラインごとに切り替えて補間して出力している。
【０１６４】
図８Ｂと図８Ｃとを比較すると、図８Ｃの８０１で発生している垂直方向に白⇒黒⇒白と切り替わる不自然な画像が、図８Ｂでは面内補間で補間されることにより解消されていることがわかる。
【０１６５】
以上のように、本実施の形態に係る画像処理装置１００では、補間対象のインターレース画像の前のインターレース画像に対応して、遅延バッファ１１３に保存した有効性情報を用いることにより、図２の画像（Ｃ）にのみ表れた図形の近傍では面内補間を選択することにより、不自然な縞模様を発生することなくインターレースプログレッシブ変換を行うことができる。
【０１６６】
言い換えると、ｋ番目のインターレース画像（図２の（Ｃ））は、等速に移動している等速領域の画像と、非等速に移動している非等速領域の画像とからなり、ｋ番目のインターレース画像に対応するプログレッシブ画像を構成する複数の画素のうち、ｋ番目のインターレース画像の偶数画素行及び奇数画素行の他方に位置する補間画素であって、非等速領域に含まれる補間画素それぞれの画素値は、ｋ番目のインターレース画像（図２の（Ｃ））を用いた面内補間により生成され、等速領域に含まれる補間画素それぞれの画素値は、（ｋ−１）番目のインターレース画像(図２の（Ｂ）)と第（ｋ＋１）番目のインターレース画像（図２の（Ｄ））とを用いた面間補間により生成されている。
【０１６７】
具体的には、等速領域に含まれる画素それぞれの画素値と、（ｋ−２）番目のインターレース画像（図２の（Ａ））のうち当該画素に対応する画素の画素値とは一致し、（ｋ−１）番目のインターレース画像（図２の（Ｂ））のうち等速領域に対応する領域に含まれる画素それぞれの画素値と、（ｋ＋１）番目のインターレース画像（図２の（Ｄ））のうち等速領域に対応する領域に含まれる画素それぞれの画素値とは一致し、非等速領域に含まれる画素それぞれの画素値と、（ｋ−２）番目のインターレース画像（図２の（Ａ））のうち当該画素に対応する画素の画素値とは異なり、（ｋ−１）番目のインターレース画像（図２の（Ｂ））のうち非等速領域に対応する領域に含まれる画素それぞれの画素値と、（ｋ＋１）番目のインターレース画像（図２の（Ｄ））のうち非等速領域に対応する領域に含まれる画素それぞれの画素値とは一致する。
【０１６８】
より具体的には、非等速領域に含まれる補間画素それぞれの画素値は、当該補間画素に隣接する複数の画素（例えば、上下の画素）の画素値から生成され、等速領域に含まれる補間画素それぞれの画素値は、（ｋ−１）番目のインターレース画像（図２の（Ｂ））の当該補間画素に対応する画素の画素値と、（ｋ＋１）番目のインターレース画像（図２の（Ｄ））の当該補間画素に対応する画素の画素値とから生成される。
【０１６９】
以上のように、本実施の形態に係る画像処理装置１００は、ｋ番目のインターレース画像であって、偶数画素行及び奇数画素行の一方で構成されるｋ番目のインターレース画像をプログレッシブ画像に変換して出力する画像処理装置であって、ｋ番目のインターレース画像の偶数画素行及び奇数画素行の他方に位置する補間画素それぞれについて、有効又は無効を示す補間情報を生成する補間情報生成部１１０と、生成された補間情報を用いて、補間画素の画素値を生成する補間部１２０と、生成された画素値でｋ番目のインターレース画像を補間することによりプログレッシブ画像を生成する切り替え部１３０とを備え、補間情報生成部１１０は、ｋ番目のインターレース画像のうち、等速領域に含まれる補間画素を有効とし、非等速領域に含まれる補間画素を無効とし、補間部１２０は、補間情報が無効とされた補間画素の画素値をｋ番目のインターレース画像を用いて面内補間することで生成し、補間情報が無効とされた補間画素の画素値を（ｋ−１）番目のインターレース画像と（ｋ＋１）番目のインターレース画像とを用いて面間補間することで生成する。
【０１７０】
これにより、画像処理装置１００は、メモリに対するアクセス量の増加を抑え、画質の劣化を抑制できる。具体的には、補間部１２０が、補間情報に応じて面内補間と面間補間とを切り替えるため、入力された第ｋインターレース画像に適した補間を行うことが可能となる。つまり、例えばフラッシュや映像中の物体の加速などといった第ｋインターレース画像のみに突発的に変化が生じた場合に、変化の生じた領域の補間画素の画素値は面内補間することにより生成し、変化の生じていない領域の補間画素の画素値は面間補間することにより生成する。これにより、変化の生じた領域を面間補間した場合に生じるコーミングノイズといったノイズの発生を抑制し、かつ、変化の生じていない領域は面間補間することにより高い周波数解像度を実現できる。
【０１７１】
また、補間部１２０は、インターレース画像を構成する全ての画素の画素値を用いて面間補間と面内補間とを切り替えるのではなく、全ての画素の画素値のデータ量と比較して少ないデータ量で構成可能な補間情報を用いて面間補間と面内補間とを切り替える。これにより、補間情報がメモリに記憶されている場合であってもメモリアクセス量を抑えることができる。
【０１７２】
（実施の形態２）
次に、実施の形態２として、有効性情報として動きベクトルが有効か否かという情報に加えてブロック毎に推定した動きベクトルの大きさと方向を保存し、保存した動きベクトルの大きさと方向を用いて動きベクトルの有効性判定を補正する画像処理装置について説明する。つまり、本実施の形態に係る画像処理装置は、実施の形態１に係る画像処理装置１００と比較して、さらに、ｋ番目のインターレース画像の所定の第２領域の動きベクトルが、（ｋ−１）番目のインターレース画像の対応する領域の動きベクトルと一致するか否かを判定し、一致しない場合、ｋ番目のインターレース画像に対応する有効性情報のうち当該第２領域に含まれる補間画素を無効と補正する。
【０１７３】
言い換えると、本実施の形態に係る画像処理装置は、偶数画素行及び奇数画素行の一方で構成されるインターレース画像をプログレッシブ画像に変換して出力する画像処理装置であって、インターレース画像のうち等速に移動している等速領域に含まれる補間画素の画素値を面間補間により生成し、インターレース画像のうち非等速に移動している非等速領域に含まれる補間画素の画素値を面内補間により生成する。具体的には、本実施の形態では、等速領域とは、時間的に連続した複数のインターレース画像のうち、等速に移動している領域、かつ、画素値に大きな変化がない領域であり、非等速領域とは、時間的に連続した複数のインターレース画像のうちの１つのインターレース画像のみに画素値に大きな変化がある領域、又は、一のインターレース画像より前のインターレース画像の速度と、当該画像以降のインターレース画像の速度とが大きく異なる領域である。
【０１７４】
これにより、本実施の形態に係る画像処理装置は、実施の形態１に係る画像処理装置１００と比較して、さらに、時間的に連続した複数のインターレース画像のうち、一のインターレース画像より前のインターレース画像の速度と、一のインターレース画像以降のインターレース画像の速度とが大きく異なる場合であっても、コーミングノイズの発生を抑制し、画質の劣化を低減できる。
【０１７５】
以下、実施の形態２に係る画像処理装置について、実施の形態１と異なる点を中心に述べる。
【０１７６】
図９は、本実施の形態に係る画像処理装置の構成の一例を示すブロック図である。
【０１７７】
同図に示す画像処理装置２００は、図１に示した画像処理装置１００と比較して、補間情報生成部１１０に代わり補間情報生成部２１０を備え、補間情報生成部２１０は、動きベクトル推定部１１１、遅延バッファ１１３及び有効性情報補正部１１５に代わり、動きベクトル推定部２１１、遅延バッファ２１３及び有効性情報補正部２１５を備える。
【０１７８】
動きベクトル推定部２１１は、動きベクトル推定部１１１とほぼ同じであるが、動きベクトル推定部１１１では、画素ごとに動きベクトルを推定していたのに対して、複数の画素により構成されるブロックごとに動きベクトルを推定する点が異なる。つまり、動きベクトル推定部２１１は、ブロックごとに推定した代表動きベクトルを当該ブロックの動きベクトルとして推定する。
【０１７９】
遅延バッファ２１３は、遅延バッファ１１３と比較してさらに、動きベクトル推定部２１１により生成された直前のインターレース画像に対応する動きベクトル情報を保持している点が異なる。つまり、この遅延バッファ２１３は、遅延バッファ１１３と比較して、さらに、動きベクトル推定部２１１で生成された動きベクトルが書き込まれるバッファと、有効性情報補正部２１５により読み出されるバッファとを備える。ここで、動きベクトル情報とは、入力インターレース画像１０２を構成するブロックごとに対応する動きベクトルを示す情報であり、例えば入力インターレース画像１０２に対応付けられてマッピングされた情報である。
【０１８０】
有効性情報補正部２１５は、有効性情報補正部１１５と比較して、さらに、入力インターレース画像１０２を構成する各ブロックの動きベクトルが、入力インターレース画像１０１の対応するブロックの動きベクトルと一致するか否かを判定し、一致しない場合、代表動きベクトルが一致しないブロックに含まれる補間画素を無効と補正する。
【０１８１】
次に、実施の形態２における画像処理装置２００の処理動作を具体的な入力例を用いて説明する。
【０１８２】
図１０は、画像処理装置２００に入力された入力インターレース画像と、有効性情報生成部１１２で生成された有効性情報と、動きベクトル推定部２１１で推定された動きベクトルを示す情報である動きベクトル情報と、有効性情報補正部２１５で生成された補間情報との一例を示す図である。
【０１８３】
同図の（Ａ）、（Ｂ）、（Ｃ）及び（Ｄ）は、入力となる連続するインターレース画像の同じ位置の画素を示しており、画像（Ａ）が時間的に最も古く画像（Ｄ）が最も新しい画像を示している。具体的には、画像（Ａ）〜（Ｄ）は連続する４つのインターレース画像であって、画像（Ａ）が（ｋ−２）番目のインターレース画像であり、画像（Ｂ）が（ｋ−１）番目のインターレース画像であり、画像（Ｃ）がｋ番目のインターレース画像であり、画像（Ｄ）が（ｋ＋１）番目のインターレース画像である。
【０１８４】
画像処理装置２００は、画像処理装置１００と同様に、第１の画像変換処理では、画像（Ａ）、（Ｂ）及び（Ｃ）の３枚のインターレース画像を入力インターレース画像１０１、１０２及び１０３として処理を行い、第１の画像変換処理の直後の第２の画像変換処理では、画像（Ｂ）、（Ｃ）及び（Ｄ）の３枚のインターレース画像を入力インターレース画像１０１、１０２及び１０３として処理を行う。
【０１８５】
画像（Ａ）、（Ｂ）及び（Ｃ）を入力インターレース画像１０１、１０２及び１０３とする第１の画像変換処理では、まず動きベクトル推定部２１１において画像（Ｂ）に対して補間する各点に対する動きベクトルを推定する。つまり、動きベクトル推定部２１１は、（ｋ−１）番目のインターレース画像を構成するブロックごとに対応する代表動きベクトルを推定し、推定した動きベクトルを当該ブロックの動きベクトルとする。
【０１８６】
図１０の（Ｘ’）及び（Ｙ’）は動きベクトル推定部２１１による動きベクトルの推定結果を表す図である。
【０１８７】
このとき、有効性情報生成部１１２は、動きベクトル推定部２１１で推定された（ｋ−１）番目のインターレース画像の補間画素それぞれに対応する動きベクトルについて有効又は無効を判定し、判定結果を示す有効性情報を生成する。
【０１８８】
図１０の（Ｘ）及び（Ｙ）は有効性情報生成部１１２による動きベクトルの有効性の判定結果を示している。
【０１８９】
このように動きベクトル推定部２１１で推定された代表動きベクトルのマップ及び有効性情報生成部１１２で生成された有効性情報とは、遅延バッファ２１３に保存される。
【０１９０】
図１０において、有効性情報（Ｘ）及び動きベクトル情報（Ｘ’）は、画像（Ａ）、（Ｂ）及び（Ｃ）を入力インターレース画像とする第１の画像変換処理での結果、有効性情報（Ｙ）及び動きベクトル情報（Ｙ’）は、画像（Ｂ）、（Ｃ）及び（Ｄ）を入力インターレース画像とする第２の画像変換処理での結果である。
【０１９１】
図１０の入力例では、第１の画像変換処理では、画像（Ａ）と画像（Ｃ）とを用いたブロックマッチング等の手法により、図１０の動きベクトル情報（Ｘ’）のように各ブロックでの代表動きベクトルを推定する。
【０１９２】
ここで、動きベクトル推定部２１１は、縦４画素横４画素の合計１６画素を含む領域をひとつのブロックとし、ブロック毎に代表動きベクトルを推定している。
【０１９３】
なお、図１０の動きベクトル情報（Ｘ’）における“＋２”は右方向に１フレームあたり２画素動くベクトルとして推定していることを示しており、図１０の動きベクトル情報（Ｘ’）では上半分と下半分とで異なる動きが推定されている。
【０１９４】
なお、ここでは簡単のため横方向の動きのみ示しているが、縦方向の動きを含むこともできることはいうまでもない。
【０１９５】
また、動きベクトルの推定を画素毎に行い、画素毎の動きベクトルを用いることも可能であることはいうまでもないが、本実施の形態のようにブロック毎に動きベクトルの推定を行うことにより、有効性情報のデータ量を削減し、必要とするメモリ領域とメモリアクセス量とを削減することができる。
【０１９６】
図１０の有効性情報（Ｘ）は実施の形態１と同様に、推定した代表動きベクトルに対して画素ごとに動きベクトルが有効か否かの判定を行った結果であり、ここではすべての画素で動きベクトルは有効と判定されている。
【０１９７】
つまり、有効性情報生成部１１２は、動きベクトル推定部２１１で推定された代表動きベクトルを用いて、画像（Ａ）を構成する各画素の画素値と、画像（Ｃ）において対応する画素の画素値とを比較し、画素値の差分が予め定められた第１閾値以下の場合、当該画素に対応する補間画素の動きベクトルが代表動きベクトルと一致すると判断し、画素値の差分が第１閾値を超えた場合、当該画素に対応する補間画素の動きベクトルが代表動きベクトルと一致しないと判断する。つまり、画素値の差分が予め定められた第１閾値以下の場合、当該画素の動きベクトルは有効と判定し、画素値の差分が第１閾値を超えた場合、当該画素の動きベクトルは無効と判定する。以下、代表動きベクトルをブロックの動きベクトル又は動きベクトルと記載する場合がある。
【０１９８】
次に、画像（Ｂ）、（Ｃ）及び（Ｄ）の３つの画像が入力された場合に、第１の画像変換処理で保存した動きベクトルの有効性情報（Ｘ）を用いてプログレッシブ画像を生成する動作を、画像（Ｂ）、（Ｃ）及び（Ｄ）の３つの画像が入力インターレース画像１０１、１０２及び１０３として入力された場合について説明する。
【０１９９】
画像（Ｂ）、（Ｃ）及び（Ｄ）を入力とする第２の画像変換処理では、画像（Ｂ）と画像（Ｄ）とを比較し、第１の画像変換処理と同様に動きベクトル推定部２１１及び有効性情報生成部１１２により動きベクトルの推定と各補間画素の動きベクトルが有効か無効かの判定とを行う。
【０２００】
図１０の動きベクトル情報（Ｙ’）は、推定した動きベクトルの結果であり、図１０の有効性情報（Ｙ）は画素毎に動きベクトルが有効か否かを判定した結果である。
【０２０１】
次に、有効性情報補正部２１５により、動きベクトルが有効と判定された画素に対し、前の画像の処理で求めたベクトル有効性情報を参照して補正を行う。
【０２０２】
図１０の（Ｚ）は、全ての点に対して同様の処理を行った判定結果を示す図である。つまり、図１０の（Ｚ）は、有効性情報補正部２１５により図１０の有効性情報（Ｙ）に補正を行った結果である補間情報を示している。
【０２０３】
判定結果の補正では、前フィールド位置算出部１１４により、画像（Ｃ）上の補間点に対する前の画像での位置を、推定した代表動きベクトルを用いて求め、求めた位置を含むブロックの前の画像での代表動きベクトルと、その上下位置の前の画像でのベクトル判定の有効結果を遅延バッファ２１３に保存された有効性情報（図１０の（Ｘ））から参照する。
【０２０４】
図１０の画像（Ｃ）の点１を含むブロック（図１０の（Ｙ’）の点１を含むブロック）の動きベクトルは右方向３ピクセルであるため、画像（Ｃ）の点１の前の画像（Ｂ）での位置は３ピクセル左の位置（図１０の画像（Ｂ）の点１）となり、当該位置を含むブロック（図１０の（Ｘ）の点１を含むブロック）に対し前の画像で求めた動きベクトル情報（Ｘ’）を参照する。ここでは、画像（Ｂ）の点１を含むブロックの動きベクトルは右方向３ピクセルである。
【０２０５】
このとき、双方の動きベクトルの値が右方向３ピクセルと右方向１ピクセルとで異なるため、有効性情報補正部２１５は動きベクトルを無効と判定し、点１の動きベクトルに対する最終的な判定（図１０の（Ｚ）の点１）は無効と判定する。つまり、補間情報（Ｚ）の点１を無効とする。
【０２０６】
一方、図１０の画像（Ｃ）の点２に対しては、求めた代表動きベクトルに従って求めた画像での位置は２ピクセル左の位置となり、当該位置を含むブロックの前画像での代表動きベクトルの値は一致し、かつ、上下位置の判定（図１０の（Ｘ）の点３及び点４）も有効を示しているため、図１０の画像（Ｃ）の点２に対する動きベクトルに対する最終的な判定は有効のままとする。つまり、補間情報（Ｚ）の点２を有効とする。
【０２０７】
このように生成された補間情報（図１０の（Ｚ））を用いて、補間部１２０は補間画素の画素値を生成する。これにより、画像処理装置２００はプログレッシブ画像を生成して出力できる。
【０２０８】
次に、本実施の形態に係る画像処理装置２００における、有効性情報補正部２１５の詳細な処理動作について説明する。この処理は、図４で示すｋ番目のインターレース画像に対応する有効性情報を補正する処理（ステップＳ２０３）に相当する。
【０２０９】
図１１は、有効性情報補正部２１５の詳細な処理動作の一例を示すフローチャートである。なお、実施の形態１における有効性情報補正部２１５の詳細な処理動作のステップと同じ処理については、図４のステップと同じ符号とし、詳細な説明は省略する。
【０２１０】
有効性情報補正部２１５は、ｋ番目のインターレース画像の有効性情報のうちの、対応画素を含む領域を無効とした(ステップＳ４０３）後に、ｋ番目のインターレース画像の当該画素を含むブロックの代表動きベクトルが、（ｋ−１）番目のインターレース画像の対応するブロックの代表動きベクトルと一致するか否かを判定する(ステップＳ８０１)。
【０２１１】
代表動きベクトルが一致しない場合、ｋ番目のインターレース画像のうち、代表動きベクトルが一致しないと判定されたブロックの補間画素を無効とし（ステップＳ８０２）、全画素について上記処理（ステップＳ４０１〜Ｓ８０２）が終了したか否かを判定する（ステップＳ４０５）。一方、動きベクトルが一致する場合には、補間画素を無効とする処理（ステップＳ８０２）は行わず、全画素について処理が終了したか否かを判定する（ステップＳ４０５）。
【０２１２】
例えば、図１０の画像（Ｃ）の点１に対しては、点１を含むブロックの代表動きベクトルは、動きベクトル推定部２１１により図１０の動きベクトル情報（Ｙ’）で示すように＋３と推定されている。この代表動きベクトルを用いて図１０の画像（Ｃ）の点１の前の画像（Ｂ）における位置を特定する。その結果、点１の位置は、画像（Ｂ）中に示す位置に特定される。このとき、画像（Ｂ）の点１に対しては、点１を含むブロックの代表動きベクトルは、図１０の（Ｘ’）に示すように＋１と推定されている。
【０２１３】
よって、画像（Ｃ）の点１を含むブロックの代表動きベクトルと、画像（Ｂ）の点１を含むブロックの代表動きベクトルとが一致しないので、有効性情報補正部２１５は、画像（Ｃ）の点１の動きベクトルに対する最終的な判定を無効とする。
【０２１４】
一方、図１０の画像（Ｃ）の点２に対しては、点２を含むブロックの代表動きベクトルは、動きベクトル推定部２１１により図１０の動きベクトル情報（Ｙ’）で示すように＋２と推定されている。この代表動きベクトルを用いて図１０の画像（Ｃ）の点２の前の画像（Ｂ）における位置を特定する。その結果、点１の位置は、画像（Ｂ）中に示す位置に特定される。このとき、画像（Ｂ）の点１に対しては、点１を含むブロックの代表動きベクトルは、図１０の（Ｘ’）に示すように＋２と推定されている。
【０２１５】
よって、画像（Ｃ）の点２を含むブロックの代表動きベクトルと、画像（Ｂ）の点２を含むブロックの代表動きベクトルとが一致するので、有効性情報補正部２１５は、画像（Ｃ）の点２に対する判定を有効とする。
【０２１６】
結果として、図１０の補間情報（Ｚ）に示すように、図１０の有効性情報（Ｙ）に対し動きベクトルが一致しない上半分に対しては、動きベクトルが無効という判定に補正される。
【０２１７】
つまり、本実施の形態に係る画像処理装置２００は、実施の形態１に係る画像処理装置１００と比較して、有効性情報補正部１１５に代わり有効性情報補正部２１５を備え、有効性情報補正部２１５は、有効性情報補正部１１５と比較してさらに、ｋ番目のインターレース画像（図１０の（Ｃ））の各ブロックの代表動きベクトル（図１０の（Ｙ’））が、（ｋ−１）番目のインターレース画像（図１０の（Ｂ））の対応する領域の代表動きベクトル（図１０の（Ｘ’））と一致するか否かを判定し、一致しない場合、ｋ番目のインターレース画像（図１０の（Ｂ））に対応する有効性情報（図１０の（Ｙ））において、当該ブロックに含まれる補間画素を無効と補正する。言い換えると、一致しない場合、ｋ番目のインターレース画像に対応する有効性情報の、当該ブロックに含まれる補間画素に対する判定を無効とする。
【０２１８】
これにより、ｋ番目のインターレース画像（図１０の（Ｃ））中に加速変化している物体がある場合に、当該物体に位置する画素では面内補間することにより画素値を生成する。その結果、例えばコーミングノイズといった不自然な画像が生成されることを防止できる。
【０２１９】
また、動きベクトル推定部２１１は、ｋ番目のインターレース画像（図１０の（Ｃ））を構成する複数の画素を一ブロックとする複数のブロックの各々について代表動きベクトルを推定する。
【０２２０】
これにより、遅延バッファ２１３のメモリ領域とメモリアクセス量とを削減できる。つまり、遅延バッファ２１３が画像処理装置２００の外部メモリに実装されて実現されている場合に、必要とするメモリ領域とメモリアクセス量とを削減できる。
【０２２１】
なお、本実施の形態では、縦４画素横４画素の合計１６画素を含む領域をひとつのブロックとしたが、ブロックのサイズはこれに限らず、例えば縦２画素横２画素の合計４画素であっても構わない。
【０２２２】
次に、このような画像処理装置２００により生成されたプログレッシブ画像について説明する。
【０２２３】
図１２Ａは理想的なプログレッシブ画像の一例であり、図１２Ｂは本実施の形態の画像処理装置２００により生成されたプログレッシブ画像の一例であり、図１２Ｃは、比較例として面間補間により生成されたプログレッシブ画像の一例である。
【０２２４】
具体的には、図１２Ａは、図１０の（Ｃ）の補間画素を理想的な画素値で補間することにより生成された画像であり、図１２Ｂは、図１０の（Ａ）〜（Ｄ）が入力された場合のｋ番目のインターレース画像に対応して画像処理装置２００で生成された画像であり、図１２Ｃは、図１０の（Ｂ）及び（Ｄ）を用いて面間補間することで生成された画像である。
【０２２５】
つまり、図１２Ｂは、有効性情報補正部１１５により生成された補間情報を用いて補間を行った結果を示している。ここで、ベクトルが有効と判定された点は、選択部１２３により面間補間部１２２で求めた面間補間の画素値が選択され、無効と判定された画素は面内補間部１２１で求めた面内補間の画素値が選択されることにより補間画素の画素値が求められる。このように、求められた補間画素と、画像（Ｃ）とを切り替え部１３０によりラインごとに切り替えて補間して出力している。
【０２２６】
１２Ｂと図１２Ｃとを比較すると、図１２Ｃの９０１で発生している不自然な出っ張りを持った図形が、図１２Ｂでは面内補間で補間されることにより解消していることがわかる。
【０２２７】
言い換えると、ｋ番目のインターレース画像（図１０の（Ｃ））は、等速に移動している等速領域の画像と、非等速に移動している非等速領域の画像とからなり、ｋ番目のインターレース画像に対応するプログレッシブ画像を構成する複数の画素のうち、ｋ番目のインターレース画像の偶数画素行及び奇数画素行の他方に位置する補間画素であって、非等速領域に含まれる補間画素それぞれの画素値は、ｋ番目のインターレース画像（図１０の（Ｃ））を用いた面内補間により生成され、等速領域に含まれる補間画素それぞれの画素値は、（ｋ−１）番目のインターレース画像(図１０の（Ｂ）)と第（ｋ＋１）番目のインターレース画像（図１０の（Ｄ））とを用いた面間補間により生成されている。
【０２２８】
具体的には、代表動きベクトル（図１０の（Ｙ’））のうち等速領域に対応する動きベクトルと、第（ｋ−１）インターレース画像の代表動きベクトル（図１０の（Ｘ’））のうち等速領域に対応する領域の動きベクトルとは一致し、代表動きベクトル（図１０の（Ｙ’））のうち非等速領域に対応する動きベクトルと、第（ｋ−１）インターレース画像の代表動きベクトル（図１０の（Ｘ’））のうち非等速領域に対応する領域の動きベクトルとは異なる。
【０２２９】
以上のように、本実施の形態に係る画像処理装置２００では、補間対象のインターレース画像の前のインターレース画像に対応して、遅延バッファ２１３に保存した代表動きベクトルを用い、推定される動きが時間的に変化している領域を検出して面内補間を選択することにより、不自然な図形を発生することなくインターレースプログレッシブ変換を行うことができる。
【０２３０】
なお、上記説明では、ｋ番目のインターレース画像の各ブロックの代表動きベクトルが、（ｋ−１）番目のインターレース画像の対応する領域の代表動きベクトルと一致しない場合、ｋ番目のインターレース画像に対応する有効性情報において、当該ブロックに含まれる補間画素を無効と補正したが、無効と補正する条件はこれに限らない。具体的には、有効性情報補正部２１５は、ｋ番目のインターレース画像の各ブロックの代表動きベクトルと、（ｋ−１）番目のインターレース画像の対応する領域の代表動きベクトルとの差分が予め定められた閾値を超える場合、ｋ番目のインターレース画像に対応する有効性情報において、当該ブロックに含まれる補間画素を無効と補正してもよい。この閾値は、例えば２ピクセル以内でよく、特定的には１ピクセルでよい。
【０２３１】
（実施の形態３）
本実施の形態に係るＴＶシステムは、実施の形態１に係る画像処理装置１００を含む集積回路と、補間情報生成部１１０により生成された補間情報を保持するメモリと、画像処理装置１００から出力されたプログレッシブ画像を表示する表示部とを備える。
【０２３２】
図１３は、本実施の形態に係るＴＶシステムの一例を示した図である。
【０２３３】
図１３において、ＬＳＩ５０１は、メモリ５０２とアンテナ５０３と表示装置５０４とに接続されている。つまり、同図に示すＴＶシステム５００は、本発明の一態様の画像処理システムに相当し、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）５０１と、メモリ５０２と、アンテナ５０３と、表示装置５０４とを備える。
【０２３４】
ＬＳＩ５０１は、実施の形態1に説明したインターレースプログレッシブ変換を行う回路と、アンテナからの入力の選局を行うチューナー回路、画像信号に変換するデコーダ回路などを含み、アンテナから受け取った入力の選択・デコード・インターレースプログレッシブ変換を行い、作成したプログレッシブ画像信号を表示装置に出力する。つまり、ＬＳＩ５０１は、実施の形態１に係る画像処理装置１００のうち、遅延バッファ１１３以外の各処理部を備える。
【０２３５】
ＬＳＩ５０１に含まれるインターレースプログレッシブ変換回路は、プログレッシブ画像生成時に有効性情報をメモリ５０２に書き込み、次のプログレッシブ画像生成時に書き込んだ有効性情報をメモリ５０２から読み出す。つまり、ＬＳＩ５０１は、（ｋ−１）番目のインターレース画像（図２の（Ｂ））に対応するプログレッシブ画像を生成するときに、（ｋ−１）番目のインターレース画像の有効性情報（図２の（Ｘ））をメモリ５０２に格納し、ｋ番目のインターレース画像（図２の（Ｃ））に対応するプログレッシブ画像を生成するときに、メモリ５０２に格納されている（ｋ−１）番目のインターレース画像の有効性情報（図２の（Ｘ））を読み出す。これにより、ＬＳＩ５０１は、第（ｋ−１）有効性情報（図２の（Ｘ））を、（ｋ−１）番目のインターレース画像（図２の（Ｂ））をプログレッシブ画像に変換する際に既に生成しているので、ｋ番目のインターレース画像（図２の（Ｃ））をプログレッシブ画像に変換する際に、新たに生成する必要がない。つまり、補間対象のインターレース画像を補間する際には、当該インターレース画像に対応する有効性情報と、当該インターレース画像の直前のインターレース画像に対応する有効性情報とを用いるが、このうち、直前のインターレース画像に対応する有効性情報は直前のインターレース画像を補間する際に生成されたものを利用する。従って、補間対象のインターレース画像を補間する際に直前のインターレース画像に対応する有効性情報を新たに生成する必要がなく、ＬＳＩ５０１の処理量を低減できる。
【０２３６】
なお、メモリ５０２は、有効性情報に限らず、チューナー回路で選局された映像ストリームや、画像デコーダで用いる中間データなどを保存することもできることはいうまでもない。
【０２３７】
また、実際のシステムではクロック生成回路や電源回路なども必要となるが、これらの一般的な要素については説明を省略する。
【０２３８】
以上の構成によると、図１３に示したシステムはアンテナ５０３から入力される信号を、選局、デコードした後、実施の形態１に示したインターレースプログレッシブ変換を行うことにより、表示装置５０４に高画質な映像を表示することができる。つまり、本実施の形態に係るＴＶシステム５００は、アンテナ５０３を介してＬＳＩ５０１に入力された入力インターレース画像を、実施の形態１に係る画像処理装置１００によりプログレッシブ画像に変換して、表示装置５０４に表示する。
【０２３９】
これにより、本実施の形態に係るＴＶシステム５００は、メモリ５０２に対するアクセス量の増加を抑え、表示装置５０４に表示される画質の劣化を抑制できる。
【０２４０】
また、このようなＴＶシステム５００は、例えば図１４に示すＴＶ装置として実現できる。
【０２４１】
なお、本発明は上記のＴＶシステムに限定されるものではなく、ネットワークや他のＬＳＩの出力などを入力としてもよく、また他のＬＳＩやハードディスクなどの記録装置を出力先とするシステムも考えられる。
【０２４２】
以上、本発明の部品実装方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【０２４３】
例えば、遅延バッファ１１３に保持されている有効性情報としては、動きベクトルが有効か無効かを示す画素毎の１ビットの情報でも良いし、動きベクトルの有効性を多段階の信頼性であらわした値でも良い。
【０２４４】
また、有効性情報は、動きベクトルの方向及び大きさを含んでもよい。この場合には、各有効性情報のベクトルの方向及び大きさが一致しない場合にも動きベクトルを無効と判定することもできる。
【０２４５】
また、有効性情報として複数段階の信頼性情報を用い、各有効性情報の中で最も信頼性の低い値を用いることにしても良い。
【０２４６】
また、動きベクトルの推定を複数の画素で構成されるブロック毎に行う場合には、保存する情報を画素毎に限定する必要はなく、ブロック毎の情報として保存しておくこともできる。
【０２４７】
また、上記実施の形態２では、時間的に連続した複数のインターレース画像のうちの１つのインターレース画像のみに画素値に大きな変化がある領域、又は、一のインターレース画像より前のインターレース画像の速度と、当該画像以降のインターレース画像の速度とが大きく異なる領域に含まれる補間画素の画素値を面内補間により生成したが、一のインターレース画像より前のインターレース画像の速度と、当該画像以降のインターレース画像の速度とが大きく異なる領域に含まれる補間画素の画素値のみ面内補間により生成してもよい。
【０２４８】
また、上記実施の形態において、各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０２４９】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０２５０】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【０２５１】
また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像処理装置などを実現するソフトウェアは、次のようなプログラムである。
【０２５２】
すなわち、このプログラムは、ｋ（ｋは１より大きい自然数）番目のインターレース画像であって、偶数画素行及び奇数画素行の一方で構成される第ｋインターレース画像をプログレッシブ画像に変換するプログラムであって、前記第ｋインターレース画像の偶数画素行及び奇数画素行の他方に位置する補間画素それぞれについて、第１状態又は第２状態を示す補間情報を生成する補間情報生成ステップと、生成された補間情報を用いて、前記補間画素の画素値を生成する補間ステップと、生成された画素値で前記第ｋインターレース画像を補間することにより前記プログレッシブ画像を生成する合成ステップとを含み、前記補間情報生成ステップでは、前記第ｋインターレース画像のうち、等速に移動している等速領域に含まれる補間画素を前記第１状態とし、非等速に移動している非等速領域に含まれる補間画素を前記第２状態とし、前記補間ステップでは、前記補間情報が前記第２状態とされた補間画素の画素値を前記第ｋインターレース画像を用いて面内補間することで生成し、前記補間情報が前記第１状態とされた補間画素の画素値を（ｋ−１）番目のインターレース画像である第（ｋ−１）インターレース画像と（ｋ＋１）番目のインターレース画像である第（ｋ＋１）インターレース画像とを用いて面間補間することで生成する処理をコンピュータに実行させる。
【産業上の利用可能性】
【０２５３】
本発明に係る画像処理装置は、インターレースプログレッシブ変換する装置、例えばデジタルテレビなどで有用である。
【符号の説明】
【０２５４】
１００、２００  画像処理装置
１０１  （２フィールド前）入力インターレース画像
１０２  （１フィールド前）入力インターレース画像
１０３  （最新フィールド）入力インターレース画像
１１０、２１０  補間情報生成部
１１１、２１１  動きベクトル推定部
１１２  有効性情報生成部
１１３、２１３  遅延バッファ
１１４  前フィールド位置算出部
１１５、２１５  有効性情報補正部
１２０  補間部
１２１  面内補間部
１２２  面間補間部
１２３  選択部
１３０  切り替え部
５００  ＴＶシステム
５０１  ＬＳＩ
５０２  メモリ
５０３  アンテナ
５０４  表示装置
【図１】
2014011690.tif 000003
【図２】
2014011690.tif 000004
【図３】
2014011690.tif 000005
【図４】
2014011690.tif 000006
【図５】
2014011690.tif 000007
【図６】
2014011690.tif 000008
【図７】
2014011690.tif 000009
【図８Ａ】
2014011690.tif 000010
【図８Ｂ】
2014011690.tif 000011
【図８Ｃ】
2014011690.tif 000012
【図９】
2014011690.tif 000013
【図１０】
2014011690.tif 000014
【図１１】
2014011690.tif 000015
【図１２Ａ】
2014011690.tif 000016
【図１２Ｂ】
2014011690.tif 000017
【図１２Ｃ】
2014011690.tif 000018
【図１３】
2014011690.tif 000019
【図１４】
2014011690.tif 000020