(57)【要約】【課題】画像データに対するインタレース・プログレッシブ変換及びフレームレート変換のための処理回路の縮小、及びそれら変換処理の効率を向上させる。【解決手段】インタレース方式からプログレッシブ方式への変換用の動きベクトルの検出と、フレームレート変換用の動きベクトルの検出とを同期的に行う。このとき、インタレース方式からプログレッシブ方式への変換用の候補ベクトル毎に求めた評価値をフレームレート変換用の候補ベクトルに流用する。これにより、フレームレート変換用の候補ベクトル毎に評価値を計算する演算回路を持つ必要がなくなり、全体の回路規模を小さくすることができる。【選択図】図１
2013125978.tif 000002
【特許請求の範囲】
【請求項１】
インタレース画像データフレームをその前後のインタレース画像データフレームを用いた補間演算によってプログレッシブ画像データフレームに変換するインタレース・プログレッシブ変換と、前後のインタレース画像データフレームを用いた補間演算によってフレームレートを高くするフレームレート変換と、を行う半導体画像データ処理装置であって、
前記インタレース・プログレッシブ変換に係る補間画素位置で候補ベクトル毎の第１の評価値を演算すると共に、前記フレームレート変換に係る補間画素位置で候補ベクトル毎に、対応する前記インタレース・プログレッシブ変換用の候補ベクトルに係る第１の評価値を利用して第２の評価値を演算する評価値演算部と、
演算された前記第１の評価値を用いて、補間画素位置毎に前記インタレース・プログレッシブ変換用の候補ベクトルの中から補間画素を形成するための第１の動きベクトルを探索すると共に、前記第２の評価値を用いて、補間画素位置毎に前記フレームレート変換用の候補ベクトルの中から補間画素を形成するための第２の動きベクトルを探索する探索部と、
前記インタレース・プログレッシブ変換による補間画素を前記第１の動きベクトルを用いて形成し、前記フレームレート変換による補間画素を前記第２の動きベクトルを用いて形成する補間演算部と、を有する半導体画像データ処理装置。
【請求項２】
請求項１において、前記評価値演算部は、前記インタレース・プログレッシブ変換により補間画素が形成されるターゲットフレームとその前のフレームとの間で補間画素位置毎に所定範囲のブロックマッチングを行うための第１の候補ベクトル毎に第１の値を演算すると共に、前記第１の候補ベクトル毎に、前記インタレース・プログレッシブ変換により補間画素が形成されるターゲットフレームの前後のフレーム間で所定範囲のブロックマッチングを行うための第２の値を演算し、前記第１の値と第２の値の和を前記第１の評価値として用い、前記第１の値を前記第２の評価値として用い、
前記探索部は、前記インタレース・プログレッシブ変換に係る補間画素位置毎の候補ベクトルの中から、前記第１の評価値が最も小さな候補ベクトルを探索して第１の動きベクトルとする第１の探索部と、前記フレームレート変換に係る補間画素位置毎の候補ベクトルの中から、前記第２の評価値が最も小さな候補ベクトルを探索して第２の動きベクトルとする第２の探索部とを有し、
前記補間演算部は、前記第１の探索部で探索された第１の動きベクトルを用いて前記インタレース・プログレッシブ変換による補間画素を形成し、第２の探索部で探索された第２の動きベクトルを用いて前記フレームレート変換による補間画素を形成する、半導体画像データ処理装置。
【請求項３】
請求項２において、前記評価値演算部は、前記第２の評価値として用いる第１の値を、同じ補間画素位置を通る夫々のインタレース・プログレッシブ変換に係る候補ベクトルの内で前記フレームレート変換に係る候補ベクトルと同一又は平行な候補ベクトルに係る第１の値とする、半導体画像データ処理装置。
【請求項４】
請求項３において、前記第１探索部と第２探索部は、それぞれ前記第１の評価値と前記第２の評価値を並列的に入力して、それぞれ前記第１の動きベクトルと前記第２の動きベクトルとを探索する、半導体画像データ処理装置。
【請求項５】
請求項２において、前記評価値演算部は、前記第２の評価値として用いる第１の値を、既に評価値が形成されている複数の補間画素位置を通る夫々のインタレース・プログレッシブ変換に係る候補ベクトルの内で前記フレームレート変換に係る候補ベクトルと同じ又は平行な候補ベクトルに係る第１の値とする、半導体画像データ処理装置。
【請求項６】
請求項５において、既に評価値が形成されている前記複数の補間画素位置は、データフレームにおける水平方向の位置が異なる画素位置である、半導体画像データ処理装置。
【請求項７】
請求項５において、既に評価値が形成されている前記複数の補間画素位置は、データフレームにおける垂直方向の位置が異なる画素位置である、半導体画像データ処理装置。
【請求項８】
請求項２において、前記評価値演算部は、前記第２の評価値として用いる第１の値を、既に評価値が形成されている複数の補間画素位置を通る夫々のインタレース・プログレッシブ変換に係る候補ベクトルの内で前記フレームレート変換に係る候補ベクトルに一致する候補ベクトルに係る第１の値とする、半導体画像データ処理装置。
【請求項９】
請求項１において、前記評価値はＳＡＤ（Sum of Absolute Differences）値に基づく値である、半導体画像データ処理装置。
【請求項１０】
テレビ放送を受信するテレビチューナと、
前記テレビチューナで受信されたインタレース画像データに対して、インタレース画像データフレームをその前後のインタレース画像データフレームを用いた補間演算によってプログレッシブ画像データフレームに変換するインタレース・プログレッシブ変換と、前後のインタレース画像データフレームを用いた補間演算によってフレームレートを高くするフレームレート変換と、を行う画像データ処理装置と、
前記画像データ処理装置によるインタレース・プログレッシブ変換とフレームレート変換に用いる画像データを格納するフレームバッファメモリと、を有する画像データ処理システムであって、
前記画像データ処理装置は、前記インタレース・プログレッシブ変換に係る補間画素位置で候補ベクトル毎の第１の評価値を演算すると共に、前記フレームレート変換に係る補間画素位置で候補ベクトル毎に、対応する前記インタレース・プログレッシブ変換用の候補ベクトルに係る第１の評価値を利用して第２の評価値を演算する評価値演算部と、  演算された前記第１の評価値を用いて、補間画素位置毎に前記インタレース・プログレッシブ変換用の候補ベクトルの中から補間画素を形成するための第１の動きベクトルを探索すると共に、前記第２の評価値を用いて、補間画素位置毎に前記フレームレート変換用の候補ベクトルの中から補間画素を形成するための第２の動きベクトルを探索する探索部と、
前記インタレース・プログレッシブ変換による補間画素を前記第１の動きベクトルを用いて形成し、前記フレームレート変換による補間画素を前記第２の動きベクトルを用いて形成する補間演算部と、を有する画像データ処理システム。
【請求項１１】
請求項１０において、前記評価値演算部は、前記インタレース・プログレッシブ変換により補間画素が形成されるターゲットフレームとその前のフレームとの間で補間画素位置毎に所定範囲のブロックマッチングを行うための第１の候補ベクトル毎に第１の値を演算すると共に、前記第１の候補ベクトル毎に、前記インタレース・プログレッシブ変換により補間画素が形成されるターゲットフレームの前後のフレーム間で所定範囲のブロックマッチングを行うための第２の値を演算し、前記第１の値と第２の値の和を前記第１の評価値として用い、前記第１の値を前記第２の評価値として用い、
前記探索部は、前記インタレース・プログレッシブ変換に係る補間画素位置毎の候補ベクトルの中から、前記第１の評価値が最も小さな候補ベクトルを探索して第１の動きベクトルとする第１の探索部と、前記フレームレート変換に係る補間画素位置毎の候補ベクトルの中から、前記第２の評価値が最も小さな候補ベクトルを探索して第２の動きベクトルとする第２の探索部とを有し、
前記補間演算部は、前記第１の探索部で探索された第１の動きベクトルを用いて前記インタレース・プログレッシブ変換による補間画素を形成し、第２の探索部で探索された第２の動きベクトルを用いて前記フレームレート変換による補間画素を形成する、画像データ処理システム。
【請求項１２】
請求項１１において、前記評価値演算部は、前記第２の評価値として用いる第１の値を、同じ補間画素位置を通る夫々のインタレース・プログレッシブ変換に係る候補ベクトルの内で前記フレームレート変換に係る候補ベクトルと同一又は平行な候補ベクトルに係る第１の値とする、画像データ処理システム。
【請求項１３】
請求項１２において、前記第１探索部と第２探索部は、それぞれ前記第１の評価値と前記第２の評価値を並列的に入力して、それぞれ前記第１の動きベクトルと前記第２の動きベクトルとを探索する、画像データ処理システム。
【請求項１４】
請求項１１において、前記評価値演算部は、前記第２の評価値として用いる第１の値を、既に評価値が形成されている複数の補間画素位置を通る夫々のインタレース・プログレッシブ変換に係る候補ベクトルの内で前記フレームレート変換に係る候補ベクトルと同じ又は平行な候補ベクトルに係る第１の値とする、画像データ処理システム。
【請求項１５】
請求項１４において、既に評価値が形成されている前記複数の補間画素位置は、データフレームにおける水平方向の位置が異なる画素位置である、画像データ処理システム。
【請求項１６】
請求項１４において、既に評価値が形成されている前記複数の補間画素位置は、データフレームにおける垂直方向の位置が異なる画素位置である、画像データ処理システム。
【請求項１７】
請求項１１において、前記評価値演算部は、前記第２の評価値として用いる第１の値を、既に評価値が形成されている複数の補間画素位置を通る夫々のインタレース・プログレッシブ変換に係る候補ベクトルの内で前記フレームレート変換に係る候補ベクトルに一致する候補ベクトルに係る第１の値とする、画像データ処理システム。
【請求項１８】
請求項１０において、前記評価値はＳＡＤ値に基づく値である、画像データ処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データに対してインタレース・プログレッシブ変換とフレームレート変換の双方のフォーマット変換を行う半導体画像データ処理装置及び画像データ処理システムに関し、例えば、テレビ受像機、録画再生機、並びにテレビ受信機能や録画再生機能を備えた携帯機器、車載機器、及び業務用機器に適用して有効な技術に関する。
【背景技術】
【０００２】
テレビ放送による画像信号や記録メディアに記録された画像信号などはトップフィールド（奇数フィールド）画像とボトムフィールド（偶数フィールド）画像とが交互に配置されたインタレース（飛び越し走査）方式とされる。これに対してフィールド画像の２倍の垂直解像度を有するフレーム画像が連続的に配置された画像信号はプログレッシブ（順次走査）方式とされる。インタレース方式の画像信号に対して垂直解像度の高い画像表示を行う場合にはプログレッシブ方式の画像信号に変換してから表示することが必要なる。インタレース方式の画像信号をプログレッシブ方式の画像像信号に変換するインタレース・プログレッシブ変換では、対象とする画像データフレームの前後の画像データフレームを用いて画素の補間が行われ、補間に用いる画素を特定するにはブロックマッチングにより動きベクトルを検出する操作が行われる。
【０００３】
また、入力画像信号のフレームレートを表示用のフレームレートに変換するにはフレームレート変換を行わなければならないが、このフレームレート変換において、前後の画像データフレームの間に画素の補間によって補間フレームを形成する場合にも、補間に用いる画素を特定するためにブロックマッチングによる動きベクトルの検出が行われる。
【０００４】
特許文献１にはインタレース・プログレッシブ変換やフレームレート変換に用いる動きベクトルの信頼度を判定して映像処理による画質劣化を低減するための技術について記載される。これによれば、動きベクトルの検出方法が異なる複数の動きベクトル検出結果を評価して最適な結果を採用するものであり、フレームレート変換の場合だけでなく、インタレース・プログレッシブ変換の場合にも適用可能であることが記載されている。
【０００５】
特許文献２には、入力動画映像に対応するＮＴＳＣやＰＡＬなどの映像規格を検出して入力動画映像を共通の信号処理形式に変換するする映像信号変換部について記載がある。映像信号変換部は、入力動画映像がインタレース走査の動画映像である場合に、インタレース解除部を用いてインタレース走査信号をプログレッシブ走査に変換し、その後、フレームレート変換部を用いてプログレッシブ走査信号を表示用のフレームレートに変換する。特に、インタレース解除部で用いられた動きベクトルをメモリに格納し、フレームレート変換に用いることが示唆されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２４４６８６号公報
【特許文献２】特開２００５−２０８６１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記特許文献１，２に記載のように、画像データに対するインタレース・プログレッシブ変換やフレームレート変換のための画素の補間にはそれぞれ動きベクトルが用いられ、特許文献２にはインタレース・プログレッシブ変換に用いた動きベクトルをメモリに格納しておいてフレームレート変換に用いることが示唆されているが、具体的にどのようにしてインタレース・プログレッシブ変換に用いた動きベクトルをフレームレート変換に用いるかについて、具体的に示されているわけではない。
【０００８】
しかしながら、それでは、インタレース・プログレッシブ変換とフレームレート変換の双方の処理で動きベクトルを流用することは実現し難く、双方の処理では補間すべき画素が相違するから、それぞれ別々に動きベクトルを検出するとき、新たな観点によって動きベクトルの検出処理を効率化しなければ、双方の変換処理の効率化、さらには回路規模の増大を抑えることができない。すなわち、画像の動きベクトルを検出する回路は、様々な候補ベクトルの評価を行って動きベクトルを決定する必要があるため、回路規模が大きいので、インタレース・プログレッシブ変換とフレームレート変換をそれぞれ行う回路で動きベクトル検出回路を部分的にでも共用化しなければ、全体の回路規模を縮小することができない。
【０００９】
本発明の目的は、画像データに対するインタレース・プログレッシブ変換及びフレームレート変換のための処理回路の縮小、及びそれら変換処理の効率を向上させることにある。
【００１０】
本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１１】
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。
【００１２】
すなわち、インタレース方式からプログレッシブ方式への変換用の動きベクトルの検出と、フレームレート変換用の動きベクトルの検出とを同期的に行う。このとき、インタレース方式からプログレッシブ方式への変換用の候補ベクトル毎に求めた評価値をフレームレート変換用の候補ベクトルに流用する。これにより、フレームレート変換用の候補ベクトル毎に評価値を計算する演算回路を持つ必要がなくなり、全体の回路規模を小さくすることができる。
【発明の効果】
【００１３】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記のとおりである。
【００１４】
すなわち、画像データに対するインタレース・プログレッシブ変換及びフレームレート変換のための処理回路の縮小、及びそれら変換処理の効率を向上させることができる。
【図面の簡単な説明】
【００１５】
【図１】図１は本発明の一実施の形態にかかる画像データ処理システムを例示するブロック図である。
【図２】図２は候補ベクトル毎の評価値を演算するときの補間画素と候補ベクトルの関係を例示する説明図である。
【図３】図３は同一または平行な候補ベクトルに係るＩＰＣの評価値をＦＲＣに流用する時の画像データの画素の時間的及び垂直方向の空間的位置関係を例示する説明図である。
【図４】図４は同一または平行な候補ベクトルに係るＩＰＣの評価値をＦＲＣに流用する時の画像データの画素の時間的及び水平方向の空間的位置関係を例示する説明図である。
【図５】図５はＩＰＣとＦＰＣの処理手順を例示するフローチャートである。
【図６】図６は既に評価値が形成されている複数の補間画素位置を時間的及び水平方向の空間的位置関係によって例示する説明図である。
【図７】図７は図６の処理手順を例示するフローチャートである。
【図８】図８は既に評価値が形成されている複数の補間画素位置を時間的及び垂直方向の空間的位置関係によって例示する説明図である。
【図９】図９は図８の処理手順を例示するフローチャートである。
【発明を実施するための形態】
【００１６】
１．実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。
【００１７】
〔１〕＜ＩＰ変換用に求めた評価値をＦＲ変換に逐次利用する＞
本発明の代表的な実施の形態に係る半導体画像データ処理装置（３）は、インタレース画像データフレームをその前後のインタレース画像データフレームを用いた補間演算によってプログレッシブ画像データフレームに変換するインタレース・プログレッシブ変換と、前後のインタレース画像データフレームを用いた補間演算によってフレームレートを高くするフレームレート変換と、を行う。この半導体画像データ処理装置は、前記インタレース・プログレッシブ変換に係る補間画素位置で候補ベクトル毎の第１の評価値（１０１（ＳＡＤ１＋ＳＡＤ２））を演算すると共に、前記フレームレート変換に係る補間画素位置で候補ベクトル毎に、対応する前記インタレース・プログレッシブ変換用の候補ベクトルに係る第１の評価値を利用して第２の評価値（１０２（ＳＡＤ１））を演算する評価値演算部（１２）を有する。さらに、演算された前記第１の評価値を用いて、補間画素位置毎に前記インタレース・プログレッシブ変換用の候補ベクトルの中から補間画素を形成するための第１の動きベクトル（ＭＶ１）を探索すると共に、前記第２の評価値を用いて、補間画素位置毎に前記フレームレート変換用の候補ベクトルの中から補間画素を形成するための第２の動きベクトル（ＭＶ２）を探索する探索部（１３，１４）を有する。そして、前記インタレース・プログレッシブ変換による補間画素を前記第１の動きベクトルを用いて形成し、前記フレームレート変換による補間画素を前記第２の動きベクトルを用いて形成する補間演算部（１５，１６）、を有する。
【００１８】
これによれば、インタレース・プログレッシブ変換用の動きベクトルの検出と、フレームレート変換用の動きベクトルの検出とを同期的に行うとき、インタレース方式からプログレッシブ方式への変換用の候補ベクトル毎に求めた評価値をフレームレート変換用の候補ベクトルに流用するから、フレームレート変換用の候補ベクトル毎に評価値を計算する演算回路を持つ必要がなくなり、全体の回路規模を小さくすることができる。
【００１９】
〔２〕＜第１の評価値を形成する第１の値と第２の値のうち前者を流用して第２の評価値とする＞
項１において、前記評価値演算部は、前記インタレース・プログレッシブ変換により補間画素が形成されるターゲットフレームとその前のフレームとの間で補間画素位置毎に所定範囲のブロックマッチングを行うための第１の候補ベクトル毎に第１の値（ＳＡＤ１）を演算すると共に、前記第１の候補ベクトル毎に、前記インタレース・プログレッシブ変換により補間画素が形成されるターゲットフレームの前後のフレーム間で所定範囲のブロックマッチングを行うための第２の値（ＳＡＤ２）を演算し、前記第１の値と第２の値の和を前記第１の評価値（１０１）として用い、前記第１の値を前記第２の評価値（１０２）として用いる。前記探索部は、前記インタレース・プログレッシブ変換に係る補間画素位置毎の候補ベクトルの中から、前記第１の評価値が最も小さな候補ベクトルを探索して第１の動きベクトルとする第１の探索部（１３）と、前記フレームレート変換に係る補間画素位置毎の候補ベクトルの中から、前記第２の評価値が最も小さな候補ベクトルを探索して第２の動きベクトルとする第２の探索部（１４）とを有する。前記補間演算部は、前記第１の探索部で探索された第１の動きベクトルを用いて前記インタレース・プログレッシブ変換による補間画素を形成し、第２の探索部で探索された第２の動きベクトルを用いて前記フレームレート変換による補間画素を形成する。
【００２０】
これによれば、フレームレート変換による夫々の補間画素位置における第２の候補ベクトル毎に対応する第１の候補ベクトルの第１の値を流用するから、フレームレート変換用の候補ベクトル毎に評価値を最初から計算する演算回路を持つ必要がなくなり、全体の回路規模を小さくすることができる。
【００２１】
〔３〕＜第２の評価値に流用する第１の値は一つの画素位置を通るＩＰ変換用の候補ベクトルに平行又は一致する候補ベクトルに対応＞
項２において、前記評価値演算部は、前記第２の評価値として用いる第１の値を、同じ補間画素位置を通る夫々のインタレース・プログレッシブ変換に係る候補ベクトルの内で前記フレームレート変換に係る候補ベクトルと同一又は平行な候補ベクトルに係る第１の値とする（図５のＳ２２）。
【００２２】
これによれば、第２の評価演算部が第２の候補ベクトル毎に流用する第１の評価値の第１の値は、データフレーム上の一つの補間画素位置に係るものであって、第２の候補ベクトルに一致する第１の候補ベクトルに係る第１の値、及び第２の候補ベクトルに平行な第１の候補ベクトルに係る第１の値とされる。よって、前記インタレース・プログレッシブ変換による一つの補間画素位置に係る第１の評価値の第１の値を順次用いて第２の評価値を生成すればよく、既に処理済みの複数の補間画素位置に係る多くの第１の値を保持することを要しない。第１の値を一時的に蓄積するバッファメモリを小さくすることがき、処理も簡単である。但し、第２の候補ベクトルと平行な第１の候補ベクトルに係る第１の値を用いるので、ある程度の誤差が発生することはやむをえない。
【００２３】
〔４〕＜第１探索部と第２探索部の並列動作＞
項３において、前記第１探索部と第２探索部は、それぞれ前記第１の評価値と前記第２の評価値を並列的に入力して、それぞれ前記第１の動きベクトルと前記第２の動きベクトルとを探索する(図５のＳ２）。
【００２４】
項３により第２の探索部は第１の探索部による処理に同期して同じ第１の値を用いて動きベクトルを探索することが保証されるから、これを基に、項４の並列動作を行うことによって、処理効率の向上とバッファメモリ容量の削減とに最大限の効果を発揮することができる。
【００２５】
〔５〕＜第２の評価値に流用する第１の値は複数の画素位置のそれぞれを通るＩＰ変換用の候補ベクトルのうち平行又は一致する候補ベクトルに対応する値＞
項２において、前記評価値演算部は、前記第２の評価値として用いる第１の値を、既に評価値が形成されている複数の補間画素位置を通る夫々のインタレース・プログレッシブ変換に係る候補ベクトルの内で前記フレームレート変換に係る候補ベクトルと同じ又は平行な候補ベクトルに係る第１の値とする（図６、図７のＳ２３及びＳ２４、図８、並びに図９のＳ２５及びＳ２６）。
【００２６】
これによれば、評価値演算部が第２の評価値として採用し得る第１の値は、データフレーム上の複数の補間画素位置のそれぞれにおいて抽出することが可能であるから、項３に比べて、第２の候補ベクトルと平行な関係にある第１の候補ベクトルの第１の値を採用しなければならなくなる割合が減り、これによって、項３に比べて誤差の発生を抑えることができる。
【００２７】
〔６〕＜既に評価値が形成されている複数の補間画素位置は水平方向の位置が異なる画素位置＞
項５において、既に評価値が形成されている前記複数の補間画素位置は、データフレームにおける水平方向の位置が異なる画素位置である（図６、図７のＳ２３及びＳ２４）。
【００２８】
これによれば、第２探索部が第２の候補ベクトル毎に流用する第１の値は、データフレーム上の水平方向に関する複数の補間画素位置のそれぞれにおいて、第２の候補ベクトルに一致する第１の候補ベクトルに係る第１の値とされる。水平方向フィールドの複数の画素位置の第１の値を一時的に蓄えればよいから比較的簡単に誤差の発生を抑えることができる。垂直方向に関しては第２の候補ベクトルに平行な第１の候補ベクトルに係る第１の値を用いればよい。
【００２９】
〔７〕＜既に評価値が形成されている複数の補間画素位置は垂直方向の位置が異なる画素位置＞
項５において、既に評価値が形成されている前記複数の補間画素位置は、データフレームにおける垂直方向の位置が異なる画素位置である（図８、並びに図９のＳ２５及びＳ２６）。
【００３０】
これによれば、第２探索部が第２の候補ベクトル毎に流用する第１の値は、データフレーム上の垂直方向に関する複数の補間画素位置のそれぞれにおいて、第２の候補ベクトルに一致する第１の候補ベクトルに係る第１の値とされる。垂直方向の複数の画素位置の第１の値を蓄える場合には処理上、水平フィールドの複数の画素位置の第１の値を蓄える場合よりも大きなバッファ領域を要し、誤差の発生を抑える処理も項６に比べて複雑化する。水平方向に関しては第２の候補ベクトルに平行な第１の候補ベクトルに係る第１の１値を用いればよい。
【００３１】
〔８〕＜第２の評価値に流用する第１の値は複数の画素位置のそれぞれを通るＩＰ変換用の候補ベクトルのうち一致する候補ベクトルに対応する値＞
項２において、前記評価値演算部は、前記第２の評価値として用いる第１の値を、既に評価値が形成されている複数の補間画素位置を通る夫々のインタレース・プログレッシブ変換に係る候補ベクトルの内で前記フレームレート変換に係る候補ベクトルに一致する候補ベクトルに係る第１の値とする
これによれば、評価値演算部が第２の評価値として採用し得る第１の値は、データフレーム上の複数の補間画素位置のそれぞれにおいて抽出するから、第２の候補ベクトルと平行な関係にある第１の候補ベクトルの第１の値を採用することを要しない。したがって、項５よりも誤差の発生を抑えることができる。但し、項５よりも大きなバッファメモリ容量を用意して過去に処理済みの第１の値を保持しなければならない。
【００３２】
〔９〕＜ＳＡＤ値に基づく評価値＞
項１乃至８の何れかにおいて、前記評価値はＳＡＤ（Sum of Absolute Differences）値である。
【００３３】
これによれば、補間画素の形成に用いる画素間の差の絶対値の合計を用いてブロックマッチングを行うことができる。
【００３４】
〔１０〕＜ＩＰ変換用に求めた第１の評価値をＦＲ変換に逐次流用するシステム＞
本発明の別の実施の形態に係る画像データ処理システム（図１）は、テレビ放送を受信するテレビチューナ（１）と、前記テレビチューナで受信されたインタレース画像データに対して、インタレース画像データフレームをその前後のインタレース画像データフレームを用いた補間演算によってプログレッシブ画像データフレームに変換するインタレース・プログレッシブ変換と、前後のインタレース画像データフレームを用いた補間演算によってフレームレートを高くするフレームレート変換と、を行う画像データ処理装置（３）と、前記画像データ処理装置によるインタレース・プログレッシブ変換とフレームレート変換に用いる画像データを格納するフレームバッファメモリ（４，５）と、を有する。前記画像データ処理装置は、前記インタレース・プログレッシブ変換に係る補間画素位置で候補ベクトル毎の第１の評価値（１０１（ＳＡＤ１＋ＳＡＤ２））を演算すると共に、前記フレームレート変換に係る補間画素位置で候補ベクトル毎に、対応する前記インタレース・プログレッシブ変換用の候補ベクトルに係る第１の評価値を利用して第２の評価値１０２（ＳＡＤ１）を演算する評価値演算部（１２）と、演算された前記第１の評価値を用いて、補間画素位置毎に前記インタレース・プログレッシブ変換用の候補ベクトルの中から補間画素を形成するための第１の動きベクトル（ＭＶ１）を探索すると共に、前記第２の評価値を用いて、補間画素位置毎に前記フレームレート変換用の候補ベクトルの中から補間画素を形成するための第２の動きベクトル（ＭＶ２）を探索する探索部（１３，１４）と、前記インタレース・プログレッシブ変換による補間画素を前記第１の動きベクトルを用いて形成し、前記フレームレート変換による補間画素を前記第２の動きベクトルを用いて形成する補間演算部（１５，１６）と、を有する。
【００３５】
これによれば、画像データ処理装置は項１と同様の作用効果を奏することにより、画像データに対するインタレース・プログレッシブ変換及びフレームレート変換のための処理回路の縮小、更にはそれら変換処理の効率を向上させることができる。
【００３６】
〔１１〕＜第１の評価値を形成する第１の値と第２の値のうち前者を流用して第２の評価値とする＞
項１０において、前記評価値演算部は、前記インタレース・プログレッシブ変換により補間画素が形成されるターゲットフレームとその前のフレームとの間で補間画素位置毎に所定範囲のブロックマッチングを行うための第１の候補ベクトル毎に第１の値を演算すると共に、前記第１の候補ベクトル毎に、前記インタレース・プログレッシブ変換により補間画素が形成されるターゲットフレームの前後のフレーム間で所定範囲のブロックマッチングを行うための第２の値を演算し、前記第１の値と第２の値の和を前記第１の評価値として用い、前記第１の値を前記第２の評価値として用いる。前記探索部は、前記インタレース・プログレッシブ変換に係る補間画素位置毎の候補ベクトルの中から、前記第１の評価値が最も小さな候補ベクトルを探索して第１の動きベクトルとする第１の探索部と、前記フレームレート変換に係る補間画素位置毎の候補ベクトルの中から、前記第２の評価値が最も小さな候補ベクトルを探索して第２の動きベクトルとする第２の探索部とを有する。前記補間演算部は、前記第１の探索部で探索された第１の動きベクトルを用いて前記インタレース・プログレッシブ変換による補間画素を形成し、第２の探索部で探索された第２の動きベクトルを用いて前記フレームレート変換による補間画素を形成する。
【００３７】
これによれば、フレームレート変換による夫々の補間画素位置における第２の候補ベクトル毎に対応する第１の候補ベクトルの第１の値を流用するから、フレームレート変換用の候補ベクトル毎に評価値を最初から計算する演算回路を持つ必要がなくなり、全体の回路規模を小さくすることができる。
【００３８】
〔１２〕＜第２の評価値に流用する第１の値は一つの画素位置をとおるＩＰ変換用の候補ベクトルのうち平行又は一致する＞
項１１において、前記評価値演算部は、前記第２の評価値として用いる第１の値を、同じ補間画素位置を通る夫々のインタレース・プログレッシブ変換に係る候補ベクトルの内で前記フレームレート変換に係る候補ベクトルと同一又は平行な候補ベクトルに係る第１の値とする。
【００３９】
これによれば、第２の評価演算部が第２の候補ベクトル毎に流用する第１の評価値の第１の値は、データフレーム上の一つの補間画素位置に係るものであって、第２の候補ベクトルに一致する第１の候補ベクトルに係る第１の値、及び第２の候補ベクトルに平行な第１の候補ベクトルに係る第１の値とされる。よって、前記インタレース・プログレッシブ変換による一つの補間画素位置に係る第１の評価値の第１の値を順次用いて第２の評価値を生成すればよく、既に処理済みの複数の補間画素位置に係る多くの第１の値を保持することを要しない。第１の値を一時的に蓄積するバッファメモリを小さくすることがき、処理も簡単である。但し、第２の候補ベクトルと平行な第１の候補ベクトルに係る第１の値を用いるので、ある程度の誤差が発生することはやむをえない。
【００４０】
〔１３〕＜第１探索部と第２探索部の並列動作＞
項１２において、前記第１探索部と第２探索部は、それぞれ前記第１の評価値と前記第２の評価値を並列的に入力して、それぞれ前記第１の動きベクトルと前記第２の動きベクトルとを探索する。
【００４１】
項３により第２の探索部は第１の探索部による処理に同期して同じ第１の値を用いて動きベクトルを探索することが保証されるから、これを基に、項４の並列動作を行うことによって、処理効率の向上とバッファメモリ容量の削減とに最大限の効果を発揮することができる。
【００４２】
〔１４〕＜第２の評価値に流用する第１の値は複数の画素位置のそれぞれを通るＩＰ変換用の候補ベクトルのうち平行又は一致する候補ベクトルに対応する値＞
項１１において、前記評価値演算部は、前記第２の評価値として用いる第１の値を、既に評価値が形成されている複数の補間画素位置を通る夫々のインタレース・プログレッシブ変換に係る候補ベクトルの内で前記フレームレート変換に係る候補ベクトルと同じ又は平行な候補ベクトルに係る第１の値とする
これによれば、評価値演算部が第２の評価値として採用し得る第１の値は、データフレーム上の複数の補間画素位置のそれぞれにおいて抽出することが可能であるから、項３に比べて、第２の候補ベクトルと平行な関係にある第１の候補ベクトルの第１の値を採用しなければならなくなる割合が減り、これによって、項３に比べて誤差の発生を抑えることができる。
【００４３】
〔１５〕＜既に評価値が形成されている複数の補間画素位置は水平方向の位置が異なる画素位置＞
項１４において、既に評価値が形成されている前記複数の補間画素位置は、データフレームにおける水平方向の位置が異なる画素位置である。
【００４４】
これによれば、第２探索部が第２の候補ベクトル毎に流用する第１の値は、データフレーム上の水平方向に関する複数の補間画素位置のそれぞれにおいて、第２の候補ベクトルに一致する第１の候補ベクトルに係る第１の値とされる。水平方向フィールドの複数の画素位置の第１の値を一時的に蓄えればよいから比較的簡単に誤差の発生を抑えることができる。垂直方向に関しては第２の候補ベクトルに平行な第１の候補ベクトルに係る第１の値を用いればよい。
【００４５】
〔１６〕＜既に評価値が形成されている複数の補間画素位置は垂直方向の位置が異なる画素位置＞
項１４において、既に評価値が形成されている前記複数の補間画素位置は、データフレームにおける垂直方向の位置が異なる画素位置である。
【００４６】
これによれば、第２探索部が第２の候補ベクトル毎に流用する第１の値は、データフレーム上の垂直方向に関する複数の補間画素位置のそれぞれにおいて、第２の候補ベクトルに一致する第１の候補ベクトルに係る第１の値とされる。垂直方向の複数の画素位置の第１の値を蓄える場合には処理上、水平フィールドの複数の画素位置の第１の値を蓄える場合よりも大きなバッファ領域を要し、誤差の発生を抑える処理も項６に比べて複雑化する。水平方向に関しては第２の候補ベクトルに平行な第１の候補ベクトルに係る第１の１値を用いればよい。
【００４７】
〔１７〕＜第２の評価値に流用する第１の値は複数の画素位置のそれぞれを通るＩＰ変換用の候補ベクトルのうち一致する候補ベクトルに対応する値＞
項１１において、前記評価値演算部は、前記第２の評価値として用いる第１の値を、既に評価値が形成されている複数の補間画素位置を通る夫々のインタレース・プログレッシブ変換に係る候補ベクトルの内で前記フレームレート変換に係る候補ベクトルに一致する候補ベクトルに係る第１の値とする
これによれば、評価値演算部が第２の評価値として採用し得る第１の値は、データフレーム上の複数の補間画素位置のそれぞれにおいて抽出するから、第２の候補ベクトルと平行な関係にある第１の候補ベクトルの第１の値を採用することを要しない。したがって、項５よりも誤差の発生を抑えることができる。但し、項５よりも大きなバッファメモリ容量を用意して過去に処理済みの第１の値を保持しなければならない。
【００４８】
〔１８〕＜ＳＡＤ値に基づく評価値＞
項１０乃至１７の何れかにおいて、前記評価値はＳＡＤ（Sum of Absolute Differences）値である。
【００４９】
これによれば、補間画素の形成に用いる画素間の差の絶対値の合計を用いてブロックマッチングを行うことができる。
【００５０】
２．実施の形態の詳細
実施の形態について更に詳述する。
【００５１】
《画像データ処理システム》
図１には本発明の一実施の形態にかかる画像データ処理システムが例示される。同図に示されるシステムは、特に制限されないが、テレビ受像機、またはテレビ受信機能や録画再生機能を備えた携帯機器などに適用される。このシステムは、同図に代表的に示されたディジタルテレビチューナ（ＤＴＶチューナ）１、液晶表示パネル（ＬＣＤ）２、半導体画像データ処理装置としての画像処理ＬＳＩ３、及びフレームバッファメモリ４，５を有する。
【００５２】
ＤＴＶチューナ１は、例えば地上波もしくはＢＳ／ＣＳディジタル放送で伝送された、テレビ信号としての符号化映像信号のトランスポートストリームを受信する。画像処理ＬＳＩ３はＤＴＶチューナ１で受信されたトランスポートストリームをビデオデコーダ１０によって復号してディジタル信号形式の画像信号を生成し、生成した画像信号をフレームバッファメモリ４に格納する。
【００５３】
画像処理ＬＳＩ３は、ビデオデコーダ１０のほかに、インタレース・プログレッシブ変換及びフレームレート変換を行うためのフレーム変換部として、ラインバッファ１１、評価値演算部１２、インタレース・プログレッシブ変換（以下単にＩＰＣとも記す）用動きベクトル探索部１３、フレームレート変換（以下単にＦＲＣとも記す）用動きベクトル探索部１４、ＩＰＣ用補間演算部１５、及びＦＲＣ用補間演算部１６を有する。ＩＰＣ用補間演算部１５で演算された補間フィールドデータ及びＦＲＣ用補間演算部１６で演算された画像フレームデータはフレームバッファメモリ５に格納される。表示制御部１７は、インタレース・プログレッシブ変換及びフレームレート変換の何れも必要とされていないときは、表示タイミングに同期して画像フレームデータをフレームバッファメモリ４から読み出してＬＣＤ２に供給し、インタレース・プログレッシブ変換及びフレームレート変換が必要とされているときは、表示タイミングに同期して画像フレームデータをフレームバッファメモリ４およびフレームバッファメモリ５から読み出してＬＣＤ２に供給する。尚、各部の動作タイミングを統合的に制御するためのタイミング信号を生成するタイミングジェネレータについては図示を省略してある。
【００５４】
インタレース・プログレッシブ変換とは、インタレース画像データフレームをその前後のインタレース画像データフレームを用いた補間演算によってプログレッシブ画像データフレームに変換する処理である。フレームレート変換とは、前後のインタレース画像データフレームを用いた補間演算によってフレームレートを高くする処理である。
【００５５】
前記評価値演算部１２は前記インタレース・プログレッシブ変換において補間画素を形成するためにブロックマッチングに用いる、候補ベクトル毎の評価値を演算する。例えば、図２に例示されるように時間的に前後するフィールドｉの画素データとフィールドｊの画素データとを用いてその間の画素を補間する場合に、目的とする補間画素Ｐｉｐｌ＿ｍに着目すると、当該補間画素Ｐｉｐｌ＿ｍの位置を通ってフィールドｉとフィールドｊの画素を結ぶ代表的に示された複数の候補ベクトルＶｃｔ＿ｃ１、Ｖｃｔ＿ｃ２、Ｖｃｔ＿ｃ３のそれぞれに対して評価値を演算する。ここで評価値として採用するＳＡＤ値は、候補ベクトルの基点にある画素（または当該画素を中心とする複数画素）と終点にある画素（または当該画素を中心とする複数画素）との輝度などの画素値の差の絶対値和とされる。候補ベクトルＶｃｔ＿ｃ１上の画素Ｐｄａｔ＿１と画素Ｐｄａｔ＿２とに関するＳＡＤ値はＳＡＤ＿１とされ、候補ベクトルＶｃｔ＿ｃ２上の画素Ｐｄａｔ＿３と画素Ｐｄａｔ＿４とに関するＳＡＤ値はＳＡＤ＿２とされ、候補ベクトルＶｃｔ＿ｃ３上の画素Ｐｄａｔ＿５と画素Ｐｄａｔ＿６とに関するＳＡＤ値はＳＡＤ＿３とされる。ＳＡＤ値の小さな候補ベクトルほどその両端の画素の差が小さいから、両端の画素を用いて補間画素を得る場合には当該ＳＡＤ値の小さな候補ベクトルを動きベクトルとして採用して補間画素を得ることになる。
【００５６】
図１の例では前記評価値演算部１２は前記インタレース・プログレッシブ変換のためのＳＡＤ値として補間画素位置の候補ベクトル毎に第１の値ＳＡＤ１と第２の値ＳＤＡ２を生成し、ＳＡＤ１＋ＳＡＤ２をインタレース・プログレッシブ変換のための第１の評価値１０１（ＳＡＤ１＋ＳＡＤ２）としてＩＰＣ用動きベクトル探索部１３に供給し、また、フレームレート変換のための値としてその補間画素位置の候補ベクトル毎に流用した第１の値ＳＡＤ１を当該フレームレート変換のための第２の評価値１０２（ＳＡＤ２）としてＦＲＣ用動きベクトル探索部１４に供給する。要するに、前記評価値演算部１２は、前記インタレース・プログレッシブ変換用の候補ベクトルに係る第１の評価値の第１の値ＳＡＤ１を流用して前記フレームレート変換用の候補ベクトルに対応する第２の評価値１０２を生成する。
【００５７】
ＩＰＣ用動きベクトル探索部１３は、演算された前記第１の評価値１０１（ＳＡＤ１＋ＳＡＤ２）を用いて、補間画素位置毎に前記インタレース・プログレッシブ変換用の候補ベクトルの中から補間画素を形成するための第１の動きベクトルＭＶ１を探索する。
【００５８】
ＦＲＣ用動きベクトル探索部１４は、前記フレームレート変換用の候補ベクトルに対応する前記インタレース・プログレッシブ変換用の候補ベクトルに係る値ＳＡＤ１を流用して生成された第２の評価値１０２（ＳＡＤ１）用いて、補間画素位置毎に前記フレームレート変換用の候補ベクトルの中から補間画素を形成するための第２の動きベクトルＭＶ２を探索する。
【００５９】
ＩＰＣ用補間演算部１５は、前記インタレース・プログレッシブ変換による補間画素を前記第１の動きベクトルＭＶ１を用いて形成する。
【００６０】
ＦＲＣ用補間演算部１６は前記フレームレート変換による補間画素を前記第２の動きベクトルＭＶ２を用いて形成する。
【００６１】
この画像処理ＬＳＩ３において特徴的な構成はフレーム変換部によるインタレース・プログレッシブ変換及びフレームレート変換において、インタレース・プログレッシブ変換に用いる第１の評価値１０１（ＳＡＤ１＋ＳＡＤ２）を構成する値ＳＡＤ１を、フレームレート変換の評価値として流用することにある。以下その点を変換手法毎に詳述する。
【００６２】
《一の画素位置を通る同一または平行な候補ベクトルに係るＩＰＣのＳＡＤ値をＦＲＣに利用》
評価値演算部１２による第２の評価値の演算手法について第１の例を説明する。
【００６３】
図３には同一または平行な候補ベクトルに係るＩＰＣの評価値をＦＲＣに流用する時の画像データの画素の時間的、空間的位置関係を例示する。図３において、横軸は時間ｔ、縦軸は画面の垂直方向Ｖを表している。本図では、簡略化のため、画面水平方向の広がりは描いていないが、実際に取り扱う動画像は画面水平方向にも広がりをもっている。画像データのフォーマット変換に入力される画素を白丸印で示す。トップフィールドとボトムフィールドが時間的に交互に並んだインタレース画像（フレーム１、３、５、…）である。図３の例では、４ラインのトップフィールド画像データにおいてボトムフィールドの画素位置と４ラインのボトムフィールド画像データにおけるトップフィールドの画素位置とを補間して、それぞれ８ラインのプログレッシブ画像を生成し、さらに、トップフィールドとボトムフィールドの間のフレーム（フレーム２、４、…）を１枚ずつ作成してフレームレートを２倍にするときの例が示されている。インタレース・プログレッシブ変換で補間する画素を黒丸印、フレームレート変換で補間する画素を星印で示してある。
【００６４】
補間演算部１５，１６で補間画素を生成するにあたっては、動きベクトル探索部１３，１４で補間対象画素を通る動きベクトルを検出する。ボトムフィールドの１つの補間画素を通る候補ベクトルを実線矢印で例示する。候補ベクトルの中から最も確からしい動きベクトルを選択し、選択した動きベクトルが指し示す前後フィールドの画素を平均して補間画素を生成する。フレームレート変換の補間画素の生成も同様である。フレーム２の１つの補間画素を通る候補ベクトルを破線矢印で示す。
【００６５】
動きベクトルの選択は、各候補ベクトルが通る画素を中心とした複数画素の組のパターンマッチングで行う。パターンマッチングは、対応する画素同士の差分の絶対値を総和した差分絶対値和（ＳＡＤ値）を計算し、それが小さいものを選択する。
【００６６】
インタレース・プログレッシブ変換の補間対象画素を中心とした複数画素の組と、補間対象画素を通る各候補ベクトルが指す過去側の画素を中心とした複数画素の組との差分絶対値和を第１の値ＳＡＤ１とし、補間対象画素を通る各候補ベクトルが指す過去側の画素を中心とした複数画素の組と、補間対象画素を通る各候補ベクトルが指す未来側の画素を中心とした複数画素の組との差分絶対値和を第２の値ＳＡＤ２とする。
【００６７】
インタレース・プログレッシブ変換の動きベクトル（第１の動きベクトル）は、候補ベクトルの中で第１の評価値１０１（ＳＡＤ１＋ＳＡＤ２）が最も小さな動きベクトルを選択する。すなわち、インタレース・プログレッシブ変換の場合には、補間画素のフィールド内の画素データ、補間画素のフィールドの前後のフィールドの画素データの双方を考慮するためであり、補間画素のフィールド内の画素データを考慮するために第１の値ＳＡＤ１も使用する。
【００６８】
フレームレート変換の動きベクトル（第２の動きベクトル）は第１の値ＳＡＤ１が最も小さな動きベクトルを選択するが、フレームレート変換の補間対象画素を通る各候補ベクトルの第１の値ＳＡＤ１を新たに計算することはせず、インタレース・プログレッシブ変換の補間対象画素を通る各候補ベクトルの第１の値ＳＡＤ１を用いる。具体的には、破線矢印で示した候補ベクトルの第１の値ＳＡＤ１は、それと平行する実線矢印の候補ベクトルの第１の値ＳＡＤ１で代用する。具体的には、候補ベクトルＶ４の第２の評価値１０２にはこれに平行な候補ベクトルＶ１の値ＳＡＤ１を用い、候補ベクトルＶ５の第２の評価値１０２にはこれと一致する候補ベクトルＶ２の値ＳＡＤ１を用い、候補ベクトルＶ６の第２の評価値１０２にはこれに平行な候補ベクトルＶ３の値ＳＡＤ１を用いる。
【００６９】
図４にも同一または平行な候補ベクトルに係るＩＰＣの評価値をＦＲＣに流用する時の画像データの画素の時間的、空間的位置関係を例示しているが、ここでは縦軸が時間ｔで横軸が画面の水平方向Ｈを表している。本図では、簡略化のため、画面垂直方向の広がりは描いていないが、実際には画面垂直方向にも広がりをもっている。図３と同様に、画像データのフォーマット変換に入力される画素を白丸印、インタレース・プログレッシブ変換で補間する画素を黒丸印、フレームレート変換で補間する画素を星印で示す。また、ボトムフィールドの１つの補間画素を通る候補ベクトルを実線矢印、フレーム２の１つの補間画素を通る候補ベクトルを破線矢印で示す。図４の場合にも図３と同様に第１の評価値１０１（ＳＡＤ１＋ＳＡＤ２）を得るための値ＳＡＤ１，ＳＡＤ２を演算し、第２の評価値１０２は対応する候補ベクトルの第１の値ＳＡＤ１を流用して決定する。
【００７０】
特に図示はしないが、実際には、補間画素に対して垂直方向及び水平方向だけでなく、斜め方向のベクトルも候補ベクトルとする。垂直、水平、斜め方向を含む全ての候補ベクトルの中から最も確からしい動きベクトルを選択し、選択した動きベクトルが指し示す前後フィールドの画素を平均して補間画素を生成することになる。インタレース・プログレッシブ変換の動きベクトルの選択は、インタレース・プログレッシブ変換の補間対象画素を中心とした全候補ベクトルの値ＳＡＤ１、ＳＡＤ２を求め、第１の評価値１０１（ＳＡＤ１＋ＳＡＤ２）が最も小さな動きベクトルを選択する。フレームレート変換の動きベクトルは第１の値ＳＡＤ１を流用した第２の評価値１０２が最も小さな動きベクトルを選択するが、フレームレート変換の補間対象画素を通る各候補ベクトルの第２の評価値１０２（ＳＡＤ１）は、前述の通りそれと一致または平行する、インタレース・プログレッシブ変換の補間対象画素を通る各候補ベクトルの第１の値ＳＡＤ１で代用されている。要するに、垂直、水平、斜め方向を含む全ての候補ベクトルに対してそれと同一または平行な候補ベクトルに係るＩＰＣの評価値をＦＲＣに流用して、これを用いて第１の動きベクトル及び第２の動きベクトルが探索される。
【００７１】
図５にはＩＰＣとＦＰＣの処理フローが例示される。評価値演算部１２で先ず、ラインバッファ１１から供給される画素データを受け取って、補間画素位置の画素を前後の複数画素を用いた垂直補間などの簡易な補間演算により仮の補間画素値を取得する（Ｓ１）。例えば図３の黒丸の補間画素位置の垂直方向前後の白丸の画素位置の画素データを平均して仮の補間画素値を取得する。
【００７２】
評価値演算部１２はさらに、図３などに例示されるように前後のトップフィールドとボトムフィールドに関して黒丸位置の仮の補間画素値および白丸位置の入力データ画素値を用いて第１の値ＳＡＤ１を演算し、ターゲットフレームの前後のフィールド関して白丸位置の入力データ画素値を用いて第２の値ＳＡＤ２を演算する（Ｓ２）。即ち、インタレース・プログレッシブ変換フレームの補間画素を中心とした各候補ベクトルに対して第１の値ＳＡＤ１と第２の値ＳＡＤ２を求める（Ｓ２１）。次に、フレームレート変換の補間対象画素を中心とした各候補ベクトルの第２の評価値１０２として、インタレース・プログレッシブ変換フレームの補間画素を中心とした各候補ベクトルの中からフレームレート変換の補間対象画素を中心とした各候補ベクトルと平行又は一致するベクトルを選び、その第１の値ＳＡＤ１を用いる（Ｓ２２）。フレームレート変換の各候補ベクトルの値ＳＡＤ１は、インタレース・プログレッシブ変換の候補ベクトルの第１の値ＳＡＤ１で代用され、かつ同時に使用されるので、インタレース・プログレッシブ変換用の情報をフレームレート変換用に一切蓄えておく必要が無い。
【００７３】
ＩＰＣ用動きベクトル探索部１３はターゲットフレーム関し黒丸の補間画素位置毎に第１の評価値（ＳＡＤ１＋ＳＡＤ２）が最小になる候補ベクトルを探索して、これを第１の動きベクトルとする（Ｓ３）。ＦＰＣ用動きベクトル探索部１４はこれに並行して、星印の補間画素位置毎に関し、候補ベクトル毎に流用した第２の評価値（ＳＡＤ１）が最小になる候補ベクトルを探索して、これを第２の動きベクトルとする（Ｓ４）。ＩＰＣ用補間演算部１５は第１の動きベクトルとラインバッファ１１から供給される画素データを受け取って、図３に代表的に示されるように、ターゲットフレームの前後のフレームの白丸位置の画素データからターゲットフレームの黒丸位置の補間画素の画素値を演算する。演算された黒丸の補間画素はフレーム毎にフレームバッファメモリ５に格納される（Ｓ５）。ＦＰＣ用補間演算部１６は第２の動きベクトルとラインバッファ１１から供給される画素データを受け取って、図３に代表的に示されるように、前後の黒丸位置の仮の補間画素の画素値と白丸の入力データ画素値とを用いて星印の補間画素値を演算する。演算された星印の補間画素は補間フレームデータとしてにフレームバッファメモリ５に格納される（Ｓ６）。
【００７４】
図５に示されるように、インタレース・プログレッシブ変換フレーム（ＩＰ変換フレーム）の作成とフレームレート変換の補間フレーム（ＦＲＣ補間フレーム）の作成は並列的に行われる。さらに詳しく言えば、空間的に同じ位置の補間画素を同時に生成する。すなわち、図３の実線矢印の候補ベクトルの中心の補間画素と、破線矢印の候補ベクトルの中心の補間画素を同時に生成する。前記ステップＳ１の処理では、インタレース・プログレッシブ変換フレームの補間画素を動きベクトルを用いない方法で仮に補間している。補間方法は、従来技術で公開されているもののどれでもよいが、この例では上下の画素の平均値で補間する簡単な垂直補間方式でもよい。この後に、第１の値ＳＡＤ１及び第２の値ＳＡＤ２を求めるが、フレームレート変換の補間対象画素を中心とした各候補ベクトルの評価値は、インタレース・プログレッシブ変換フレームの補間画素を中心とした各候補ベクトルの評価値ＳＡＤ１で代用される。
【００７５】
ここでの説明は、図３及び図４における黒星印、すなわち、インタレース・プログレッシブ変換フレームの補間画素と空間的に同じ位置のフレームレート変換の補間画素についての説明である。図３における白星印、すなわち入力画素と空間的に同じ位置のフレームレート変換の補間画素については、上下ラインの黒星印の画素から補間して生成すればよい。あるいは、黒星印のラインと同様の方法で上の黒星印ラインと２ライン同時に生成しても良い。その場合、候補ベクトルを平行移動するということは上のラインの候補ベクトルと同じということなので、上のラインの探索結果ベクトルと同じベクトルを使って補間画素を作成する。あるいはまた、インタレース・プログレッシブ変換以外の目的、例えば、ノイズリダクションなどの目的で白丸印、すなわち入力画素を中心とするベクトル探索を行う場合には、白丸印を中心とした各候補ベクトルの中から白星印の画素を中心とした各候補ベクトルと平行なベクトルを選び、その第１の値ＳＡＤ１を用いればよい。
【００７６】
上述したフォーマット変換の実施の形態によれば以下の作用効果を得ることができる。
【００７７】
（１）インタレース・プログレッシブ変換フレームの補間画素とフレームレート変換の補間フレームの補間画素を同時に生成し、フレームレート変換の補間対象画素を中心とした各候補ベクトルの第２の評価値１０２をインタレース・プログレッシブ変換フレームの補間画素を中心とした各候補ベクトルの第１の値ＳＡＤ１で代用する。これにより、従来個別に持っていたフレームレート変換用のＳＡＤ値を個別に計算する処理を省略することができ、回路規模を削減することができる。
【００７８】
（２）インタレース・プログレッシブ変換用に演算されたＳＡＤ値（本来のＳＡＤ値）に対してフレーム変換のために代用されたＳＡＤ値は本来のＳＡＤ値とは平行にずれた位置の画素のＳＡＤ値であるが、本来のＳＡＤ値の候補ベクトルと一致する（オーバーラップ）画素もあるので、概略同じような評価値を得ることができ、あまり性能を劣化させずに、大きな回路規模削減効果を得ることができる。
【００７９】
（３）インタレース・プログレッシブ変換のターゲットとなる画像データフレームに対してその前後２枚の画像フレームを用いて取得した第１の値ＳＡＤ１をそれと同一または平行な候補ベクトルに係るＦＰＣの第２の評価値１０２に流用するから、ＩＰＣ用動きベクトル探索部とＦＰＣ用動きベクトル探索はそれぞれ第１の評価値１０１（ＳＡＤ１＋ＳＡＤ２）、第２の評価値１０２（ＳＡＤ１）を用いて並列動作することが保証され、補間演算部１５,１６が並列的に動作して、画像データに対するフォーマット変換の処理効率の向上及びバッファメモリ容量の削減効果を最大化することができる。
【００８０】
《複数の画素位置を通る同一または平行な候補ベクトルに係るＩＰＣのＳＡＤ値をＦＲＣに利用》
評価値演算部１２による第２の評価値の演算手法について第２の例を説明する。第１の例では図３，図４に示されるように、空間的に同じ画素位置を通る候補ベクトルについて第１の評価値１０１（ＳＡＤ１＋ＳＡＤ２）の値ＳＡＤ１を第２の評価値１０２に流用した。第２の例では、空間的に異なる複数の画素位置を通る候補ベクトルについて第１の評価値１０１（ＳＡＤ１＋ＳＡＤ２）の値ＳＡＤ１を第２の評価値１０２に流用する。すなわち、前記評価値演算部１２は、前記第２の評価値として用いる第１の値ＳＡＤ１を、既に評価値が形成されている複数の補間画素位置を通る夫々のインタレース・プログレッシブ変換に係る候補ベクトルの内で前記フレームレート変換に係る候補ベクトルと同じ又は平行な候補ベクトルに係る第１の値とする。これによれば、評価値演算部１２が第２の評価値１０２として採用し得る第１の値ＳＡＤ１は、データフレーム上の複数の補間画素位置のそれぞれにおいて抽出することが可能であるから、例１に比べて、第２の候補ベクトルと平行な関係にある第１の候補ベクトルの第１の値ＳＡＤ１を採用しなければならなくなる割合が減り、これによって、例１に比べて誤差の発生を抑えることができる。
【００８１】
先ず最初に、既に評価値が形成されている複数の補間画素位置は水平方向の位置が異なる画素位置である場合について図６を参照しながら説明する。図６にはフォーマット変換される画素の時間的、空間的位置関係が示される。ここでは、画素の処理順を左から右に水平方向に１画素ずつ進める。そして、フレームレート変換の画素補間処理をインタレース・プログレッシブ変換の画素補間処理よりも遅らせる。図の例では２画素遅らせている。この図で、破線矢印で示したフレームレート変換の候補ベクトルは、０〜４画素前のインタレース・プログレッシブ変換の候補ベクトルの中に、位置の同じ候補ベクトルがあり、その時に第１の値ＳＡＤ１も計算されている。この例では、これらの第１の値ＳＡＤ１をシフトレジスタで遅らせて、フレームレート変換の候補ベクトルの値ＳＡＤ１として用いる。これにより、水平方向については本来の位置の値ＳＡＤ１となるので、図３、図４に基づいて説明した例に比べて動きベクトル検出の精度が高く、フレームレート変換の補間フレームの画質を向上することができる。垂直及び斜め方向の候補ベクトルに関しては図３などで説明した手法を用いればよい。
【００８２】
図７には図６の処理の動作手順が示される。インタレース・プログレッシブ変換に関する変換フレームの出力までの動作（Ｓ１，Ｓ２１，Ｓ３，Ｓ４）は図５と同じであるからその詳細な説明は省略する。フレームレート変換に関しては、インタレース・プログレッシブ変換のターゲットフレームにおける補間画素を中心とした各候補ベクトルの第１の値ＳＡＤ１を現在の補間画素分と過去４画素の補間画素分を合わせた５画素分蓄える（Ｓ２３）。次に、インタレース・プログレッシブ変換のターゲットフレームの現在の補間画素よりも２画素左に位置するフレームレート変換の補間対象画素を中心とした各候補ベクトルの第１の値ＳＡＤ１を、上記５画素分蓄えたインタレース・プログレッシブ変換のターゲットフレームの第１の値ＳＡＤ１の中から選択する（Ｓ２４）。５画素分のそれぞれについて候補ベクトルの第１の値ＳＡＤ１が保持されているので、第２評価値１０２として第１の値ＳＡＤ１を流用するときはその中から一致する候補ベクトルを探せばよく、平行な候補ベクトルの第１の値を流用することを要しない。以降のフレームレート変換の補間フレーム作成については、２画素分遅れて、図３と同様に行っていけばよい。なお、垂直成分が０でないフレームレート変換の補間画素を中心とした候補ベクトルについては、即ち、垂直方向や斜め方向の候補ベクトルについては、５画素分のインタレース・プログレッシブ変換フレームの補間画素を中心とした候補ベクトルの中に完全一致するベクトルは無いが、図３の処理と同様に平行な候補ベクトルの第１の値ＳＡＤ１を選べばよい。
【００８３】
これによれば、少ない回路追加、すなわち、５画素分の候補ベクトルの第１の値ＳＡＤ１を蓄えることにより、フレームレート変換における水平方向の動きベクトルの精度を図３の場合に比べて向上することができる。フレームレート変換による補間フレームの画質も向上させることができる。
【００８４】
次に、既に評価値が形成されている複数の補間画素位置は垂直方向の位置が異なる画素位置である場合について図８を参照しながら説明する。特に制限されないが、ここでは図６及び図７の処理に加えて図８の処理を行うものとする。図８にはフォーマット変換される画素の時間的、空間的位置関が示される。この例はフレームレート変換の画素補間処理をインタレース・プログレッシブ変換の画素補間処理よりもさらに複数ライン分遅らせる。図の例では１ライン遅らせている。図において、破線矢印で示したフレームレート変換の候補ベクトルは、０〜２ライン前の範囲のインタレース・プログレッシブ変換の候補ベクトルの中に、位置の同じ候補ベクトルがあり、その第１の値ＳＡＤ１を利用する。ここで言う０〜２ライン前とは、インタレース・プログレッシブ変換を行う黒丸印のラインとインタレース・プログレッシブ変換を行わない白丸印のラインの両方を数えている。この例では、これらの第１の値ＳＡＤ１をラインメモリで遅らせて、フレームレート変換の候補ベクトルの第１の値ＳＡＤ１として用いる。斜め方向についても同様である。これにより、さらに動きベクトル検出の精度が高く、フレームレート変換の補間フレームの画質を向上することができる。
【００８５】
図９には図８の処理の動作フローが示される。インタレース・プログレッシブ変換フレーム出力については、上記と変わりない（Ｓ１，Ｓ２１，Ｓ３，Ｓ５）。フレームレート変換の補間フレーム出力用に、インタレース・プログレッシブ変換のターゲットフレームの補間画素を中心とした各候補ベクトルの第１の値ＳＡＤ１を現在の補間画素分と過去４画素の補間画素分とさらに過去１ライン分の補間画素分を合わせた１ライン＋５画素分（最大で２水平ラインの画素にまたがる範囲のデータとされる）だけ蓄える（Ｓ２５）。次に、インタレース・プログレッシブ変換のターゲットフレームの現在の補間画素よりも１ライン上かつ２画素左に位置するフレームレート変換の補間対象画素を中心とした各候補ベクトルの第１の値ＳＡＤ１を１ライン＋５画素分蓄えたインタレース・プログレッシブ変換フレームの第１の値ＳＡＤ１の中から選択する（Ｓ２６）。入力画素を中心とする候補ベクトルの第１の値は計算することを要しないので、その値は１ライン＋５画素分の保持された第１のＳＡＤ１の中には存在しなくてよい。これについては、垂直方向に平行移動した候補ベクトルの第１の値ＳＡＤ１を選ぶ。図８の例では、水平な破線ベクトルの第１の値ＳＡＤ１の代わりとして、水平な実線ベクトルの第１の値ＳＡＤ１を用いる。あるいは、インタレース・プログレッシブ変換以外の目的、例えば、ノイズリダクションなどの目的で入力画素を中心とするベクトル探索を行う場合には、白丸印を中心とした各候補ベクトルが存在するので、それを選べばよい。ただしその場合、白丸印のラインの第１の値ＳＡＤ１も蓄える必要があるので、全部で２ライン＋５画素分の第１の値ＳＡＤ１を蓄えなければならなくなる。以降のフレームレート変換による補間フレーム作成は、１ライン＋２画素分遅れて図３で説明したと同様に行えばよい。
【００８６】
図８及び図９で説明した処理方式によれば、少なくとも１ライン分の候補ベクトルの第１の値ＳＡＤ１を蓄えることにより、フレームレート変換における垂直方向の動きベクトルの精度を向上させることができる。
【００８７】
以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
【００８８】
例えば、相関値は差分絶対値和に限定されず、差分二乗和などであってもよい。画像処理ＬＳＩは単結晶シリコンのような１個の半導体基板に形成される構成に限定されず、マルチチップで構成されてもよい。本発明はテレビ受信機能や録画再生機能を備えた携帯機器に限らず、車載機器及び業務用機器などに広く適用可能である。
【符号の説明】
【００８９】
１  １  ディジタルテレビチューナ（ＤＴＶチューナ）
２  液晶表示パネル（ＬＣＤ）
３  画像処理ＬＳＩ（半導体画像データ処理装置）
４，５  フレームバッファメモリ
１０  ビデオデコーダ
１１  ラインバッファ
１２  評価値演算部
１３  インタレース・プログレッシブ変換用動きベクトル探索部
１４  フレームレート変換用動きベクトル探索部
１５  ＩＰＣ用補間演算部
１６  ＦＲＣ用補間演算部
ＳＡＤ１  第１の値
ＳＡＤ２  第２の値
１０１（ＳＡＤ１＋ＳＡＤ２）  第１の評価値
１０２（ＳＡＤ１）  第２の評価値
【図１】
2013125978.tif 000003
【図２】
2013125978.tif 000004
【図３】
2013125978.tif 000005
【図４】
2013125978.tif 000006
【図５】
2013125978.tif 000007
【図６】
2013125978.tif 000008
【図７】
2013125978.tif 000009
【図８】
2013125978.tif 000010
【図９】
2013125978.tif 000011