(57)【要約】【課題】  超解像処理において、動き探索の比較を行う単位であるブロック画像内での空間的な照度変化が一様でなく勾配のある照度変化が発生している場合の、ノイズを低減する。【解決手段】  動き探索の比較に用いる移動元と移動先候補の２つのブロック画像を，それぞれ小さなサブブロック画像に分割し，サブブロック画像毎に輝度の平均値を算出する。ブロック画像中で同じ座標に位置する２つのサブブロック画像のうち，移動元ブロック画像のサブブロック画像の輝度平均値から，移動先候補ブロック画像のサブブロック画像の輝度平均値を減算しオフセットとする。それぞれのオフセットを，移動先候補ブロック画像の各サブブロック画像の輝度に加算することで、照度変化を除去した移動先候補ブロック画像を作成する。動き探索の比較時は，移動元ブロック画像と照度変化を除去した移動先候補ブロック画像を用いて比較を行う。【選択図】図１
2010108205.tif 000002
【特許請求の範囲】
【請求項１】
２枚の画像を利用して元の解像度より高い解像度の画像を作成する超解像画像作成方法おいて，
動き探索の比較単位である移動元及び移動先候補ブロック画像をサブブロック画像に分割し，
サブブロック画像毎に輝度の平均値を算出し，
ブロック画像中の同じ座標位置に対応するサブブロック画像の平均値の差を算出してオフセットとし，
移動先候補ブロック画像の各サブブロック画像の輝度にオフセットを加算して照度変化除去済みブロック画像とし，
移動元ブロック画像と照度変化除去済みブロック画像を用いて類似度比較処理とピクセル再構成を行うことを特徴とする超解像画像作成方法。
【請求項２】
２枚の画像を利用して元の解像度より高い解像度の画像を作成する超解像画像作成方法において，
動き探索の比較単位である移動元及び移動先候補ブロック画像の輝度を一次関数に近似して移動元近似ブロック画像及び移動先候補近似ブロック画像とし，
移動元近似ブロック画像と移動先候補近似ブロック画像の各画素の輝度の差を算出してオフセットとし，
移動先候補ブロック画像の各画素の輝度にオフセットを加算して照度変化除去済みブロック画像とし，
移動元ブロック画像と照度変化除去済みブロック画像を用いて類似度比較処理とピクセル再構成を行うことを特徴とする超解像画像作成方法。
【請求項３】
請求項１記載の超解像画像作成方法において，
移動先候補画像を含む画像全体を予めサブブロック画像に分割し，
サブブロック画像毎に算出した輝度平均値を保存し，
サブブロック画像の組み合わせで構成するブロック画像とサブブロック画像の保存済み輝度平均値を出力することを特徴とする超解像画像作成方法。
【請求項４】
請求項３記載の超解像画像作成方法において，
サブブロック画像分割位置変更によるサブブロック画像の輝度平均値の再計算の際に，サブブロック画像の範囲に新たに加わる画素の輝度の値を平均値に加算し，
サブブロック画像の範囲から外れる画素の輝度の値を平均値に減算することで新たな輝度平均値を算出することを特徴とする超解像画像作成方法。
【請求項５】
請求項１，３及び５のいずれかに記載の超解像画像作成方法において，
サブブロック画像の幅及び高さをブロック画像の幅及び高さを超えない範囲で任意に指定することを特徴とする超解像画像作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，２枚の画像を利用して超解像処理を行うことで，元の解像度より高い解像度の画像を作成する技術に関する。
【背景技術】
【０００２】
２枚の画像から元の解像度より解像度の画像を作成する技術として，超解像処理が存在する。この超解像処理には，画像中のブロック画像毎に，画素の輝度比較による動き探索を実施するものがある。それでは，動き探索によるピクセルレベル動きベクトルを用いて，ピクセル間のサブピクセルレベル動きベクトルを求める。
【０００３】
サブピクセルレベル動きベクトルの情報を利用して，２枚の画像にピクセル再構成を行い１枚の超解像画像を作成する。影や光源の移動等による２枚の画像間で照度の変化が発生した場合の動き探索方法として，例えば特開２００７−７４５９２号公報（特許文献１）のような各画素の輝度から輝度平均値を減算したデータを比較する方法が存在する。
【０００４】
【特許文献１】特開２００７−７４５９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記従来技術の問題点を，以下に説明する。
比較を行う単位であるブロック画像内での空間的な照度変化が一様でなく，ある箇所では照度が高いがある箇所に向かうにつれ照度が徐々に下がっていくといった勾配のある照度変化が発生している場合，ブロック画像の各画素の輝度の値からブロック画像の輝度平均値を減算しても，勾配の影響を除去することができず，誤った動き探索結果が求められる問題がある。
【０００６】
また，従来技術を超解像に適用しても，輝度平均値を減算した２枚の画像から超解像画像を作成するため，本来の輝度の超解像画像が作成できずノイズが増加するという問題がある。
【０００７】
本発明の目的は、上記従来技術の問題点を解決し、ブロックノイズが増加しない超解像処理を提供することにある。
【課題を解決するための手段】
【０００８】
本願において開示される発明のうち，代表的なものの概要を簡単に説明すると，次の通りである。
動き探索の比較に用いる移動元と移動先候補の２つのブロック画像を，それぞれ小さなサブブロック画像に分割し，サブブロック画像毎に輝度の平均値を算出する。ブロック画像中で同じ座標に位置する２つのサブブロック画像のうち，移動元ブロック画像のサブブロック画像の輝度平均値から，移動先候補ブロック画像のサブブロック画像の輝度平均値を減算しオフセットとする。それぞれのオフセットを，移動先候補ブロック画像の各サブブロック画像の輝度に加算する。これにより，２つのブロック画像間の相対的な照度変化を除去した移動先候補ブロック画像を作成する。動き探索の比較時は，移動元ブロック画像と照度変化を除去した移動先候補ブロック画像を用いて比較を行う。
【０００９】
また，ピクセル再構成も同様に移動元ブロック画像と照度変化を除去した移動先候補ブロック画像を用いて行う。
【発明の効果】
【００１０】
本願において開示される発明のうち，代表的なものによって得られる効果を簡単に説明すると以下の通りである。
ブロック画像をサブブロックに分割し，輝度の平均値の差分を無くすことで，比較単位であるブロック画像内の照度に勾配がある場合でも，勾配の影響を受けず比較・ピクセル再構成を行うことができるため，ノイズが増加しない本来の超解像画像を得ることができる。
【発明を実施するための最良の形態】
【００１１】
以下，本発明の実施の形態を図面に基づいて詳細に説明する。なお，実施の形態を説明するための全図において，同一の部材には原則として同一の符号を付し，その繰り返しの説明は省略する。
【実施例１】
【００１２】
図１により，本発明の第一の実施例である，２枚の画像を利用して元の解像度より高い解像度の画像を作成する画像超解像装置を適用したシステム構成について説明する。
【００１３】
本実施形態は，超解像処理を用いて高解像度の画像を作成するために利用する時刻ｔ＝Ｔの超解像実施対象画像データ１０１，超解像処理を用いて高解像度の画像を作成するために利用する時刻ｔ＝Ｔ＋１の超解像実施対象画像データ１０２，動き探索対象領域をブロック画像として出力する動き探索領域出力部１０３，動き探索において移動先候補の領域をブロック画像として対応する動きベクトルと共に出力するブロック画像出力部１０４，ブロック画像をサブブロック画像に分割して出力するサブブロック画像出力部１０５，画像の輝度の平均値を算出する輝度平均値算出部１０６，輝度平均値の差をオフセットとして算出するオフセット算出部１０７，オフセット算出部１０７から出力されるオフセットをブロック画像出力部１０４から出力されるブロック画像の各画素に加算するオフセット加算部１０８，画像を比較し類似度を算出する比較部１０９，比較部１０９から得られる類似度からピクセルレベル動きベクトルを選択する動きベクトル選択部１１０，サブピクセルレベル動きベクトルを求めるサブピクセルレベル位置合わせ部１１１，超解像画像を作成するためにピクセル再構成を行うピクセル再構成部１１２から構成されている。
【００１４】
本実施例でのデータフローを以下に説明する。
超解像処理により解像度を高める時刻ｔ＝Ｔの超解像実施対象画像データ１０１を動き探索対象領域出力１０３に，照度差が生じた時刻ｔ＝Ｔの超解像実施対象画像データ１０２をブロック画像出力部１０４に入力する。
【００１５】
動き探索対象領域出力部１０３は，時刻ｔ＝Ｔの超解像実施対象画像データ１０１から超解像処理を行う領域を抜き出してブロック画像として，またブロック画像の時刻ｔ＝Ｔの超解像実施対象画像データ１０１中の座標を位置情報として出力する。ブロック画像出力部１０４は，時刻ｔ＝Ｔ＋１の超解像実施対象画像データ１０２から移動先候補の領域をブロック画像として抜き出す。
【００１６】
また，動き探索対象領域出力部１０３から入力される位置情報を用いて，抜き出したブロック画像の縦横の移動距離を動きベクトルとして出力する。サブブロック画像出力部１０５は，動き探索対象領域出力１０３及びブロック画像出力部１０４から入力されるブロック画像を，より小さな領域のサブブロック画像に分割して出力する。輝度平均値算出部１０６は，入力されたサブブロック画像の各画素の輝度の平均値を算出して出力する。
【００１７】
オフセット算出部１０７は，２つの輝度平均値算出部１０６から入力されるサブブロック画像のうち，時刻ｔ＝Ｔの各サブブロック画像の輝度平均値から時刻ｔ＝Ｔ＋１の各サブブロック画像の輝度平均値を減算し，それを各サブブロック画像の輝度のオフセットとする。オフセット加算部１０８は，ブロック画像出力部１０４から入力されるブロック画像のサブブロックに，オフセット算出部１０７から入力されるオフセットを加算する。
【００１８】
これにより，ｔ＝Ｔとｔ＝Ｔ＋１の照度差が除去されたｔ＝Ｔ＋１のブロック画像を作成する。作成した照度差が除去されたｔ＝Ｔ＋１のブロック画像は，動きベクトルと共に出力される。比較部１０９は，動き探索対象領域出力部１０３から入力されるブロック画像と，オフセット加算部１０８から入力される照度差を除去したブロック画像の比較し，類似度を算出する。算出した類似度を動きベクトルと共に出力する。
【００１９】
動きベクトル選択部１１０は，比較部１０９から入力される複数の類似度から，類似度の高いものを選び，それとペアになっている動きベクトルをピクセルレベル動きベクトルとして出力する。これにより，ピクセルレベルの位置合わせが完了する。
【００２０】
サブピクセルレベル位置合わせ部１１１は，動きベクトル選択部１１０から入力される動きベクトルを元に，サブピクセルレベルで位置合わせを行った動きベクトルをサブピクセルレベル動きベクトルとして出力する。ピクセル再構成部１１２は，動き探索対象領域出力部１０３から出力されるブロック画像を，サブピクセルレベル動きベクトルとオフセット加算部１１０から出力される照度差を除去したブロック画像を用いて解像度を向上させるピクセル再構成を実施する。
【００２１】
本実施例を適用することで，照度勾配の影響を除去した超解像画像を作成することができる。
【実施例２】
【００２２】
図２により，本発明の第二の実施例である，２枚の画像を利用して元の解像度より高い解像度の画像を作成する超像超解像装置を適用したシステム構成について説明する。
【００２３】
本実施形態は，時刻ｔ＝Ｔの超解像実施対象画像データ２０１，時刻ｔ＝Ｔ＋１の超解像実施対象画像データ２０２，動き探索対象領域をブロック画像として出力する動き探索領域出力部２０３，動き探索において移動先候補の領域をブロック画像として対応する動きベクトルと共に出力するブロック画像出力部２０４，ブロック画像中の各画素の輝度を一次関数に近似する近似ブロック画像作成部２０５，輝度の差をオフセットとして算出するオフセット算出部２０６，オフセット算出部２０６から出力されるオフセットをブロック画像出力部２０４から出力されるブロック画像の各画素に加算するオフセット加算部２０７，画像を比較し類似度を算出する比較部２０８，比較部２０８から得られる類似度からピクセルレベル動きベクトルを選択する動きベクトル選択部２０９，サブピクセルレベル動きベクトルを求めるサブピクセルレベル位置合わせ部２１０，超解像画像を作成するためにピクセル再構成を行うピクセル再構成部２１１から構成されている。
【００２４】
本実施例でのデータフローを以下に説明する。オフセット算出部２０７以降の処理は，実施例１と同様である。
【００２５】
超解像処理により解像度を高める時刻ｔ＝Ｔの超解像実施対象画像データ２０１を動き探索対象領域出力２０３に，照度差が生じた時刻ｔ＝Ｔの超解像実施対象画像データ２０２をブロック画像出力部２０４に入力する。動き探索対象領域出力部２０３は，時刻ｔ＝Ｔの超解像実施対象画像データ２０１から超解像処理を行う領域を抜き出してブロック画像として，またブロック画像の時刻ｔ＝Ｔの超解像実施対象画像データ２０１中の座標を位置情報として出力する。
【００２６】
ブロック画像出力部２０４は，時刻ｔ＝Ｔ＋１の超解像実施対象画像データ２０２から移動先候補の領域をブロック画像として抜き出す。また，動き探索対象領域出力部２０３から入力される位置情報を用いて，抜き出したブロック画像の縦横の移動距離を動きベクトルとして出力する。
【００２７】
近似ブロック画像作成部２０５は，動き探索対象領域出力部２０３及びブロック画像出力部２０４から入力されるブロック画像の各画素の輝度を，最小二乗法を用いて一次関数に近似し，時刻ｔ＝Ｔの近似ブロック画像及び時刻ｔ＝Ｔ＋１の近似ブロック画像として出力する。
【００２８】
オフセット算出部２０６は，２つの近似ブロック画像作成部２０５から入力される近似ブロック画像のうち，時刻ｔ＝Ｔの近似ブロック画像の各画素の輝度から，時刻ｔ＝Ｔ＋１の近似ブロック画像の各画素の輝度を減算し，各画素のオフセットとして出力する。以降は，実施例１と同様の処理を行う。
【００２９】
本実施例を適用することで，実施例１のサブブロック画像の境界の不連続データによる誤差を除去することができる。
【実施例３】
【００３０】
図３および図４により，本発明の第三の実施例である，２枚の画像を利用して元の解像度より高い解像度の画像を作成する画像超解像装置を適用したシステム構成について説明する。
【００３１】
図３は本実施例全体の構成図である。
図３において，時刻ｔ＝Ｔの超解像実施対象画像データ３０１，時刻ｔ＝Ｔ＋１の超解像実施対象画像データ３０２，動き探索対象領域をブロック画像として出力する動き探索領域出力部３０３，ブロック画像をサブブロック画像に分割して出力するサブブロック画像出力部３０４，画像の輝度の平均値を算出する輝度平均値算出部３０５，計算量削減のためブロック画像出力とサブブロックごとの輝度平均値を算出して出力するブロック画像・輝度平均値出力部３０６，輝度平均値の差をオフセットとして算出するオフセット算出部３０７，オフセット算出部３０７から出力されるオフセットをブロック画像・輝度平均値出力部３０６から出力されるブロック画像の各画素に加算するオフセット加算部３０８，画像を比較し類似度を算出する比較部３０９，比較部３０９から得られる類似度からピクセルレベル動きベクトルを選択する動きベクトル選択部３１０，サブピクセルレベル動きベクトルを求めるサブピクセルレベル位置合わせ部３１１，超解像画像を作成するためにピクセル再構成を行うピクセル再構成部３１２から構成されている。
【００３２】
図４は，ブロック画像・輝度平均値出力部３０６の内部構成図である。
図４において，ブロック画像・輝度平均値出力部３０６は，入力画像のサブブロック分割位置を指定するサブブロック画像分割位置指定部４０１，入力画像をサブブロックに分割して出力するサブブロック画像出力部４０２，入力画像の輝度の平均値を算出する輝度平均値算出部４０３，輝度平均値算出部４０３で算出した輝度の平均値を保存する輝度平均値保存部４０４，ブロック画像として出力するサブブロック画像の領域を指定するブロック領域指定部４０５，入力画像に対し指示された範囲の領域を抜き出してブロック画像として出力する画像抜き出し部４０６から構成されている。
【００３３】
本実施例でのデータフローを以下に説明する。オフセット算出部３０７以降の処理は，実施例１と同様である。
超解像処理により解像度を高める時刻ｔ＝Ｔの超解像実施対象画像データ３０１を動き探索対象領域出力３０３に，照度差が生じた時刻ｔ＝Ｔの超解像実施対象画像データ３０２をブロック画像出力部３０６に入力する。
【００３４】
動き探索対象領域出力部３０３は，時刻ｔ＝Ｔの超解像実施対象画像データ３０１から超解像処理を行う領域を抜き出してブロック画像として，またブロック画像の時刻ｔ＝Ｔの超解像実施対象画像データ３０１の座標を位置情報として出力する。
【００３５】
ブロック画像・輝度平均値出力部３０６は，時刻ｔ＝Ｔ＋１の超解像実施対象画像データ３０２から移動先候補の領域をブロック画像として抜き出す。また，動き探索対象領域出力部３０３から入力される位置情報を用いて，抜き出したブロック画像の縦横の移動距離を動きベクトルとして出力する。また，出力するブロック画像をサブブロック画像に分割したものの輝度の平均値を出力する。以降は，実施例１と同様の処理を行う。
【００３６】
つぎに、ブロック画像・輝度平均値出力部３０６で行う計算量削減方法の原理を，図４，図５を用いて以下に説明する。
サブブロック画像分割位置指定部４０１は，ブロック画像・輝度平均値出力部３０６に入力される時刻ｔ＝Ｔ＋１の超解像実施対象画像データ３０２全体をサブブロックに分割するためのサブブロック分割位置情報を出力する。
【００３７】
サブブロック画像出力部４０２は，サブブロック分割位置情報を用い，入力された時刻ｔ＝Ｔ＋１の超解像実施対象画像データ３０２全体をサブブロック画像に分割して出力する（ステップ５０１）。また，分割したサブブロック画像の時刻ｔ＝Ｔ＋１の超解像実施対象画像データ３０２中の座標を位置情報として出力する。輝度平均値算出部４０３は，入力されたサブブロックの輝度平均値を算出し，位置情報と共に出力する（ステップ５０２）。
【００３８】
輝度平均値保存部４０４は，入力された輝度平均値と位置情報をペアにして保存する。サブブロック画像組み合わせ位置指定部４０５は，サブブロック画像分割位置情報を用い，複数のサブブロック画像を組み合わせてブロック画像として出力するために，組み合わせに用いるサブブロックの位置情報を出力する。
【００３９】
画像抜き出し部４０６は，サブブロック画像組み合わせ位置指定部４０５から入力される位置情報を用い，指定したサブブロック画像を全て含む領域をブロック画像として出力する。輝度平均値保存部４０４は，サブブロック画像指定部４０５から入力される位置情報に該当するサブブロック画像の輝度平均値を出力する。
【００４０】
サブブロック画像組み合わせ位置指定部４０５は，ブロック画像として構成可能な全ての組み合わせのサブブロック画像の位置情報を出力することで，複数のブロック画像を出力する（ステップ５０３）。この際，輝度平均値は輝度平均値保存部４０４に保存されている値を出力するだけであるため，再計算の必要は無くなり計算量を削減することができる。
【００４１】
サブブロック画像分割位置指定部４０１は，サブブロック画像組み合わせ位置指定部４０５が全ての組み合わせのサブブロック画像の位置情報を出力後，サブブロック分割位置をずらした新たなサブブロック分割位置情報を出力する（ステップ５０４）。
【００４２】
新たなサブブロック分割位置情報を受け取った各モジュールは，その情報をピクセルレベル動きベクトル同様の処理を繰り返す。サブブロック画像分割位置指定部４０１は，サブブロックとして分割可能な全てのサブブロック分割位置情報を出力する。
【００４３】
本実施例を適用することにより，予め計算済みの輝度平均値を利用することで実施例１より計算量を抑えることができる。
【００４４】
以上，本発明者によってなされた発明を実施の形態に基づき具体的に説明したが，本発明は前記実施の形態に限定されるものではなく，その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【００４５】
例えば，次の事項が可能である。
実施例１のサブブロック画像出力部１０５及び実施例３のサブブロック画像出力部４０２において，サブブロック画像の幅，高さは固定であるが，この値を外部から指示することも可能である。これにより，超解像対象画像毎に異なる照度変化への対応や処理量の変更が可能になる。
【００４６】
実施例３において，サブブロック分割位置を変更する場合，輝度平均値は全て再計算になるが，1つのサブブロック画像の範囲の画素のうち，サブブロック画像範囲から外れる画素の輝度を輝度平均値から減算し，新たにサブブロック画像範囲に加わる画素の輝度を輝度平均値に加算することで，全ての画素分の平均値算出処理が必要なくなり，実施例３より計算量を削減することも可能である。
【図面の簡単な説明】
【００４７】
【図１】本発明の第一の実施例の構成図である。
【図２】本発明の第二の実施例の構成図である。
【図３】本発明の第三の実施例の構成図である。
【図４】本発明の第三の実施例における一モジュールの構成図である。
【図５】本発明の第三の実施例の計算方法削減方法の原理を説明した図である。
【符号の説明】
【００４８】
１０１…時刻ｔ＝Ｔの超解像実施対象画像データ、１０２…時刻ｔ＝Ｔ＋１の超解像実施対象画像データ、１０３…動き探索対象領域出力部、１０４…ブロック画像出力部、１０５…サブブロック画像出力部、１０６…輝度平均値算出部、１０７…オフセット算出部、１０８…オフセット加算部、１０９…比較部、１１０…動きベクトル選択部、１１１…サブピクセル単位位置合わせ部、１１２…ピクセル再構成部、２０１…時刻ｔ＝Ｔの超解像実施対象画像データ、２０２…時刻ｔ＝Ｔ＋１の超解像実施対象画像データ、２０３…動き探索対象領域出力部、２０４…ブロック画像出力部、２０５…近似ブロック画像作成部、２０６…オフセット算出部、２０７…オフセット加算部、２０８…比較部、２０９…動きベクトル選択部、２１０…サブピクセル単位位置合わせ部、２１１…ピクセル再構成部、３０１…時刻ｔ＝Ｔの超解像実施対象画像データ、３０２…時刻ｔ＝Ｔ＋１の超解像実施対象画像データ、３０３…動き探索対象領域出力部、３０４…サブブロック画像出力部、３０５…輝度平均値算出部、３０６…ブロック画像・輝度平均値出力部、３０７…オフセット算出部、３０８…オフセット加算部、３０９…比較部、３１０…動きベクトル選択部、３１１…サブピクセル単位位置合わせ部、３１２…ピクセル再構成部、４０１…サブブロック画像分割位置指定部、４０２…サブブロック画像出力部、４０３…輝度平均値算出部、４０４…輝度平均値保存部、４０５…サブブロック画像組み合わせ指定部、４０６…画像抜き出し部、５０１…サブブロック分割、５０２…輝度平均値計算、５０３…ブロック画像出力、５０４…サブブロック分割位置変更
【図１】
2010108205.tif 000003
【図２】
2010108205.tif 000004
【図３】
2010108205.tif 000005
【図４】
2010108205.tif 000006
【図５】
2010108205.tif 000007