(57)【要約】【課題】動画像の高解像度化において有効なブロックマッチング技術を提供する。【解決手段】複数のフレーム間のブロックマッチングを行いフレーム間でブロックの対応点を決定するブロックマッチング部と、前記ブロックマッチング部のマッチング誤差出力としきい値とを比較し整数精度の対応点を出力するしきい値判定部と、前記整数精度の対応点が入力されると小数精度の対応点を作成する小数精度位置合わせ部と、前記ブロックの画像の平坦性を算出しこの平坦性が高いときには平坦性が低いときよりも前記しきい値をより低くなるように制御する平坦性解析部と、前記複数の小数精度の対応点に基づいて、入力されたフレーム信号からより高解像度な補間画像を生成する補間画像生成部とを備え、前記補間画像生成部は、前記マッチング誤差出力が前記しきい値以下と判定された場合に前記小数精度の対応点を用いて前記補間画像を生成することを特徴とする画像処理装置。【選択図】  図７
2010278931.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレーム間のブロックマッチングを行いフレーム間でブロックの対応点を決定するブロックマッチング部と、
前記ブロックマッチング部のマッチング誤差出力としきい値とを比較し整数精度の対応点を出力するしきい値判定部と、
前記整数精度の対応点が入力されると小数精度の対応点を作成する小数精度位置合わせ部と、
前記ブロックの画像の平坦性を算出しこの平坦性が高いときには平坦性が低いときよりも前記しきい値をより低くなるように制御する平坦性解析制御部と、
前記複数の小数精度の対応点に基づいて、入力されたフレーム信号からより高解像度な補間画像を生成する補間画像生成部とを備え、
前記補間画像生成部は、前記マッチング誤差出力が前記しきい値以下と判定された場合に前記小数精度の対応点を用いて前記補間画像を生成し、前記マッチング誤差出力が前記しきい値以下と判定されなかった場合に前記小数精度の対応点を用いずに自フレームの画素のみから前記補間画像を生成することを特徴とする画像処理装置。
【請求項２】
前記しきい値は前記平坦性の低さに関する単調増加関数として算出されることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記単調増加関数は一次式であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記一次式は比例式であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記単調増加関数は区分的線形関数であることを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記補間画像生成部で生成された補間画像を表示するパネルを更に備えたことを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に係わり、特に高解像度化処理を行う画像処理装置に関する。
【背景技術】
【０００２】
高解像度のディスプレイに低解像度の動画を表示する場合、従来のような線形補間や3次補間による拡大では、画像がぼやけてしまうという問題がある。そこで、複数枚のフレーム情報を利用した高解像度化技術が有用である。特許文献1にあるように、複数枚のフレーム情報を利用して高解像度画像を得るには、フレーム間で画素の位置合わせを行う必要がある。この画素の位置合わせを行う手法の一つに、フレーム間で画素のブロックマッチングを行う方法がある。
【０００３】
しかしながら従来は、動画像の高解像度化において有効なブロックマッチング技術について開示されていなかった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−８１７３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、動画像の高解像度化において有効なブロックマッチング技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の画像処理装置は、複数のフレーム間のブロックマッチングを行いフレーム間でブロックの対応点を決定するブロックマッチング部と、前記ブロックマッチング部のマッチング誤差出力としきい値とを比較し整数精度の対応点を出力するしきい値判定部と、前記整数精度の対応点が入力されると小数精度の対応点を作成する小数精度位置合わせ部と、前記ブロックの画像の平坦性を算出しこの平坦性が高いときには平坦性が低いときよりも前記しきい値をより低くなるように制御する平坦性解析制御部と、前記複数の小数精度の対応点に基づいて、入力されたフレーム信号からより高解像度な補間画像を生成する補間画像生成部とを備え、前記補間画像生成部は、前記マッチング誤差出力が前記しきい値以下と判定された場合に前記小数精度の対応点を用いて前記補間画像を生成し、前記マッチング誤差出力が前記しきい値以下と判定されなかった場合に前記小数精度の対応点を用いずに自フレームの画素のみから前記補間画像を生成することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、動画像の高解像度化において有効なブロックマッチング技術が得られる。
【図面の簡単な説明】
【０００８】
【図１】動画像のフレーム構成を示す模式図。
【図２】この発明の一実施形態の複数のフレーム情報を用いた高解像度化処理を示す説明図。
【図３】同実施形態の補間画素生成を示す説明図。
【図４】同実施形態の高解像度化画像処理装置の構成図。
【図５】同実施形態に用いられるブロックマッチングによる対応点探索を示す説明図。
【図６】同実施形態の画素ブロックを示す説明図。
【図７】同実施形態の対応点探索部４３の構成図。
【図８】同実施形態に用いられる平坦性検出方法を示す説明図。
【図９】同実施形態に用いられる平坦性検出方法の他の一例を示す説明図。
【図１０】同実施形態に用いられるしきい値の設定方法を示す説明図。
【図１１】同実施形態の対応点探索部４３における処理のフローチャート。
【図１２】従来の対応点探索部の構成図。
【図１３】平坦性の低い画像でのマッチング誤差の一例を示す説明図。
【図１４】平坦性の高い画像でのマッチング誤差の一例を示す説明図。
【発明を実施するための形態】
【０００９】
本発明による実施形態を図面を参照して説明する。
図１は、動画像のフレーム構成を示す模式図である。動画像の連続するフレームの並びにおける時刻Ｔａの自動車の映像に対し、７フレーム後のＴｂ、更に７フレーム後のＴｃというように自動車が進行している。
【００１０】
図２は、実施形態の複数のフレーム情報を用いた高解像度化処理を示す説明図である。図１のような動画像において、複数のフレーム情報を用いて入力画像よりも高解像度な画像を生成する仕組みを図２は示している。
【００１１】
いま、図２中に網掛けされた実線の交点に画素が並んでいるとし、Ｎ番目フレームの点線の交点に位置する補間画素を生成して縦横それぞれ2倍の画素数を持つ画像に変換する場合を想定する。補間画素を推測する際に、Ｎ番目フレーム中の画素(黒丸で示される)のみを使用したのでは情報が不足して所謂超解像のような被写体本来の画像を復元するように高解像度化することはできない。そこで、Ｎ番目フレームの前後のフレームからそれぞれ三角、菱形で示される画素情報を持ってくることにより、次に図３に示すように、より多くの情報を利用して補間画素を推測することができ、高解像度化が可能となる。なお図２では前後1フレームずつの情報を利用しているが、より多くのフレーム情報を利用することで、補間画素推測の精度を高めることができる。
【００１２】
図３は、実施形態の補間画素生成を示す説明図である。図３は、図２の実線で囲った左から２番目、上から２番目の領域に相当するものである。即ち、白丸で示される補間画素生成のために上記の画素情報が用いられる。
【００１３】
図４は、実施形態の高解像度化画像処理装置の構成図である。
高解像度化画像処理装置は、フレームメモリ４１、フレームメモリ４２、対応点探索部４３、補間画像生成部４４から構成されている。
フレームメモリ４１は、入力信号を１フレーム分遅延させ、フレームメモリ４２は、入力信号を更にもう一段１フレーム分遅延（計２フレーム分遅延）させる。
対応点探索部４３は、入力信号とフレームメモリ４１の出力信号とフレームメモリ４２の出力信号とから対応点情報を生成する。対応点情報の具体例としては、対応点の位置と輝度、更には色合いがある。対応点の位置情報の表現としてはベクトルでもよい。
【００１４】
補間画像生成部４４は、対応点探索部４３の出力に基づいてフレームメモリ４１の出力信号から補間画像を生成する。
パネル４５は、補間画像生成部４４により生成された信号を表示する。なお補間画像生成部４４の６０Ｈｚ出力に従来技術を用いて補間フレームを加えて１２０Ｈｚ画像としてからパネル４５に導いてもよい。
【００１５】
図２に示すように（Ｎ−１）番目フレームの画素情報をＮ番目フレームに持ってくるには、（Ｎ−１）番目フレーム内の各画素がＮ番目フレームのどこの座標に対応するかを調査する必要があり、図４の対応点探索部４３でこの処理を行う。
【００１６】
図１２は、従来のブロックマッチングという手法を用いた対応点探索部の構成図である。この対応点探索部は、２フレーム遅延信号と１フレーム遅延信号とからブロックマッチングを行うブロックマッチング部８１とこのブロックマッチング部８１の出力に後述のしきい値判定を行うしきい値判定部８２としきい値判定部８２の出力から小数精度の位置合わせを行う小数精度位置合わせ部８３とを備えている。また対応点探索部は、１フレーム遅延信号と入力信号とからブロックマッチングを行うブロックマッチング部８４とこのブロックマッチング部８４の出力に後述のしきい値判定を行うしきい値判定部８５としきい値判定部８５の出力から小数精度の位置合わせを行う小数精度位置合わせ部８６とを備えている。また、図５は、ブロックマッチングによる対応点探索の様子を示す説明図である。いま、（Ｎ−１）番目フレーム内のある画素(注目画素)がＮ番目フレームのどの座標に位置するかを調べるとすると、注目画素を中心とする画素ブロック（３×３画素や５×５画素など）と相関の高い画素ブロックを、Ｎ番目フレーム内から探し出すという処理を行う。
【００１７】
図６は、画素ブロックを示す説明図であり、５×５画素ブロックを表している。
ここで画素ブロックの相関を評価する関数には、差分の絶対値の総和（ＳＡＤ）や、差分の二乗の総和（ＳＳＤ）がよく使用される。図６（ａ）のような（Ｎ−１）番目フレーム内の５×５画素ブロックと図６（ｂ）のようなＮ番目フレーム内の５×５画素ブロックがあるとすると、ＳＡＤとＳＳＤはそれぞれ以下の式で表される。ただし、AijとBijはそれぞれ輝度値を示している。
【００１８】
【数１】
2010278931.tif 000003
【００１９】
【数２】
2010278931.tif 000004
【００２０】
図５のようにＮ番目フレーム中を順次走査していき、画素ブロックのＳＡＤが最も小さくなる位置が、整数精度で求めた対応点ということになる。ブロックマッチングの後、図１１のようにしきい値判定部８２または８５でＳＡＤの値としきい値を比較する。しきい値よりＳＡＤが大きい場合は信頼性が低いと判断し、その注目画素は対応点から除外する。しきい値判定の後、さらに小数精度の位置合わせを行う。小数精度の位置合わせは、ＳＡＤの値からフィッティング関数を使用して求める方法が広く使われている。フィッティング関数としては等角直線などがある。
【００２１】
以上のような処理が、従来の複数のフレーム情報を用いた動画像の高解像度化手法であるが、図１２のように単純にＳＡＤ値としきい値を比較するだけでは、絵柄によっては対応点を誤認識してしまうという問題が生じる。その例を図１３と図１４で示す。図１３は、平坦性の低い画像でのマッチング誤差の一例を示す説明図である。また図１４は、平坦性の高い画像でのマッチング誤差の一例を示す説明図である。
【００２２】
いま、図１３（ａ）のような平坦性の低い輝度分布を持つ対象物があるとすると、それを点線で示す位置でサンプリングした輝度データは図１３（ｃ）のようになる。また、同じ対象物を図１３（ｂ）の点線で示す位置でサンプリングした輝度データは図１３（ｄ）のようになる。２つの画像フレームの一方に図１３（ｃ）のようなデータ、他方に図１３（ｄ）のようなデータがあるとし、これらのブロックマッチングを行った場合、最も相関の高い部分でも図１３（ｅ）に示すようなマッチング誤差が生じるのがわかる。マッチング誤差は上記整数精度で求めた対応点におけるＳＡＤ値の最小値として得られる。
【００２３】
一方、図１４（ａ）のような平坦性の高い輝度分布を持つ対象物があるとすると、それを点線で示す位置でサンプリングした輝度データは図１４（ｃ）のようになる。また、図１４（ｂ）のような平坦性の高い異なる対象物があるとすると、それを点線で示す位置でサンプリングした輝度データは図１４（ｄ）のようになる。これらの輝度データのブロックマッチングを行った場合、マッチング誤差は図１４（ｅ）のようになり、マッチング誤差は図１３（ｅ）と比較してそれほど大きくないのがわかる。
【００２４】
このように、平坦性の低い絵柄部分では同じ対象物でもマッチング誤差が大きく、平坦性の高い絵柄部分では異なる対象物でもマッチング誤差が小さくなる。このような状況で、それぞれ同じしきい値で信頼性の判定を行った場合、平坦性の低い絵柄部分は正しい対応点が使用されなくなり、平坦性の高い絵柄部分は誤った対応点が使用されてしまうということが起こりうるという問題が多発する。平坦性の高い絵柄部分で誤った対応点を使用した場合、ドット状のノイズなどが発生し、高解像度画像の画質が低下してしまう。
【００２５】
図７は、実施形態の対応点探索部４３の構成図である。
対応点探索部４３は、ブロックマッチング部７１、しきい値判定部７２、小数精度位置合わせ部７３、平坦性解析制御部７７とブロックマッチング部７４、しきい値判定部７５、小数精度位置合わせ部７６、平坦性解析制御部７８とから構成されている。
【００２６】
ブロックマッチング部７１は、２フレーム遅延信号と１フレーム遅延信号とからブロックマッチングを行い前述したマッチング誤差を演算してしきい値判定部７２へ出力する。しきい値判定部７２はこのブロックマッチング部７１の出力に後述のしきい値判定を行う。小数精度位置合わせ部７３は、このしきい値判定部７２の出力から小数精度の位置合わせを行う。平坦性解析制御部７７は、２フレーム遅延信号と１フレーム遅延信号とから平坦性を解析しこの平坦性に基づいて算定されたしきい値をしきい値判定部７２へ伝達する。
【００２７】
ブロックマッチング部７４は、１フレーム遅延信号と入力信号とからブロックマッチングを行い前述したマッチング誤差を演算してしきい値判定部７５へ出力する。しきい値判定部７５はこのブロックマッチング部７４の出力に後述のしきい値判定を行う。小数精度位置合わせ部７６は、このしきい値判定部７５の出力から小数精度の位置合わせを行う。平坦性解析制御部７８は、１フレーム遅延信号と入力信号とから平坦性を解析しこの平坦性に基づいて算定されたしきい値をしきい値判定部７５へ伝達する。
【００２８】
上記のような画質が低下する問題に対し本実施形態では、図７に示すように注目画像近傍の画像の平坦性を解析し、平坦性に応じてしきい値を適応的に決めるという処理を行う。すなわち、注目画素近傍の平坦性が低い場合はマッチング誤差のしきい値を大きく設定し、平坦性が高い場合はマッチング誤差のしきい値を小さく設定する。このようにすることで、平坦性の低い絵柄部分の対応点が正しく使用され、平坦性の高い絵柄部分の誤った対応点が使用されるのを防ぐことができる。対応点については、図３で三角、菱形で示される画素情報のように一般には複数の対応点がある。有効な対応点が無い場合には対応点を用いずに従来同様自フレームの画素のみから補間画像を作成すればよい。なお、複数の対応点全てが算出されてから補間画像生成部４４は補間画像の生成を行う必要は必ずしも無く、新たな対応点の算出と並列にそれら対応点を追加して補間画像生成部４４は補間画像の生成（変更）を行っていく実施形態としてもい。
【００２９】
画像の平坦性は、図８に示すように注目画素近傍の隣接差分の絶対値１２個の総和をとることで求めることができる。隣接差分の総和をＳとすると、しきい値Ｔｈは例えば以下の式で決められる。ただし、Ａは任意の定数。
【００３０】
【数３】
2010278931.tif 000005
【００３１】
従って、Ｓが大きい時、つまり平坦性が低いときはしきい値Ｔｈが大きくなり、Ｓが小さい時、つまり平坦性が高いときはしきい値Ｔｈが小さくなる。
画像の平坦性は、図９のように注目画素と周辺画素の差分の絶対値８個の総和をとることで求めてもよい。また、注目画素近傍の最も輝度が高い画素と、最も輝度が低い画素の差分値を平坦性としてもよい。さらに、注目画素近傍の周波数特性をＤＦＴ（Discrete Fourier Transform）によって求め、高周波成分の大きさを平坦性とすることもできる。
【００３２】
なお、しきい値Ｔｈは式（３）以外に、例えばより一般的に以下に説明する関数で決めてもよい。図１０は、しきい値の設定方法を示す説明図である。
図１０の実線で例示した半直線は例えば傾きがＡであれば、式（３）に相当するものである。その他一点鎖線で例示した所謂区分的線形関数は、ＳがＳ１とＳ２の値の間はＴｈを算出する線分がＳの他の区間より急峻となっている単調増加関数である。
【００３３】
図１１は、実施形態の対応点探索部４３における以上の処理のフローチャートである。まず平坦性解析制御部７７及び７８では、それぞれに平坦性Ｓを算出する（ステップＳ１０）。次に平坦性解析制御部７７及び７８では、それぞれにこれら算出された平坦性Ｓに対応するしきい値を算出してしきい値判定部７２及び７５へとそれぞれのしきい値を伝達する（ステップＳ２０）。他方ブロックマッチング部７１及び７４では、それぞれにマッチング誤差Ｍｅを算出する（ステップＳ３０）。これら算出されたマッチング誤差Ｍｅが上記伝達されたそれぞれのしきい値以下かと、しきい値判定部７２及び７５は、比較判定する（ステップＳ４０）。しきい値以下の場合は対応点を使用する。つまり続いて小数精度位置合わせ部７３、７６においてこの対応点に基づいて位置合わせを行う（ステップＳ５０）。ステップＳ４０でしきい値以下でなかった場合は対応点を不使用とする（ステップＳ６０）。
【００３４】
以上のように複数のフレーム情報を用いた動画像の高解像度化において、ブロックマッチングを用いた対応点探索処理で、注目画素近傍の平坦性に応じて適応的にしきい値を決め、マッチング誤差としきい値を比較して対応点として採用するかどうかを決定した。
【００３５】
上記のように平坦性に応じてしきい値を適応的に決めることにより、本実施形態では平坦性の低い絵柄部分の対応点が正しく使用され、平坦性の高い絵柄部分の誤った対応点が使用されるのを防ぐことができる。
【００３６】
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。例えばしきい値はしきい値判定部で、平坦性解析部から平坦性を入力して、算出してもよい。
【００３７】
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係る構成要素を適宜組み合わせても良いものである。
【符号の説明】
【００３８】
４１…フレームメモリ、４２…フレームメモリ、４３…対応点探索部、４４…補間画像生成部、４５…パネル、７１…ブロックマッチング部、７２…しきい値判定部、７３…小数精度位置合わせ部、７４…ブロックマッチング部、７５…しきい値判定部、７６…小数精度位置合わせ部、７７…平坦性解析制御部、７８…平坦性解析制御部。
【図１】
2010278931.tif 000006
【図２】
2010278931.tif 000007
【図３】
2010278931.tif 000008
【図４】
2010278931.tif 000009
【図５】
2010278931.tif 000010
【図６】
2010278931.tif 000011
【図７】
2010278931.tif 000012
【図８】
2010278931.tif 000013
【図９】
2010278931.tif 000014
【図１０】
2010278931.tif 000015
【図１１】
2010278931.tif 000016
【図１２】
2010278931.tif 000017
【図１３】
2010278931.tif 000018
【図１４】
2010278931.tif 000019