(57)【要約】【課題】少ないメモリ量及び演算量で鮮鋭な高解像度画像を得る。【解決手段】マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第１の画素位置を算出する誤差比較部と、第１の画素位置及びこの第１の誤差、第１の画素の周辺の第２の画素位置及びこの第２の誤差をメモリに格納し、第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差に基づいて、探索領域のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び前記注目画素を始点とする小数精度ベクトルを算出し、小数精度ベクトルを用いて、探索領域に含まれない画面上の画素を終点とする、小数精度ベクトルの外挿ベクトルを算出し、小数精度ベクトル、外挿ベクトル及び画像データから取得された画素値に基づいて、画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する。【選択図】図１
2008098803.tif 000002
【特許請求の範囲】
【請求項１】
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定する候補指定部と、
前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を前記探索領域の各画素について算出するマッチング誤差算出部と、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第１の画素位置を算出する誤差比較部と、
前記誤差比較部にて算出された第１の画素位置及びこの第１の誤差、前記第１の画素の周辺の第２の画素位置及びこの第２の誤差を格納するメモリと、
前記メモリに格納された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差に基づいて、前記探索領域のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び前記注目画素を始点とする小数精度ベクトルを算出する小数精度ベクトル算出部と、
前記小数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記小数精度ベクトルの外挿ベクトルを算出する外挿ベクトル算出部と、
前記小数精度ベクトル、前記外挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する高解像度画素値算出部とを具備することを特徴とする高解像度化装置。
【請求項２】
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための第１及び第２の探索領域を設定する候補指定部と、
前記注目画素領域に含まれる画素の画素値の変化パターンと前記第１及び第２の探索領域内の第１及び第２の探索画素とこの第１及び第２の探索画素周辺の画素とを含むそれぞれ第１及び第２の領域に含まれる画素の画素値のそれぞれ第１及び第２の変化パターンとのそれぞれ第１及び第２の誤差を算出するマッチング誤差算出部と、
前記マッチング誤差算出部にて算出された前記第１及び第２の探索領域の各画素の誤差をそれぞれ比較して最小となる第１及び第２の画素位置を算出する誤差比較部と、
前記誤差比較部にて算出された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差、前記第１の画素の周辺の第３の画素位置及びこの第３の誤差、前記第２の画素の周辺の第４の画素位置及びこの第４の誤差を格納するメモリと、
前記メモリに格納された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差、第３の画素位置及びこの第３の誤差及び第４の画素位置及びこの第４の誤差に基づいて、それぞれ前記第１及び第２の探索領域のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び前記注目画素を始点とする第１の小数精度ベクトル及び第２の小数精度ベクトルを算出する小数精度ベクトル算出部と、
前記第１及び第２の小数精度ベクトルを用いて、前記第１及び第２の探索領域に含まれない前記画面上の画素を終点とする、前記第１及び第２の小数精度ベクトルの内挿ベクトルを算出する内挿ベクトル算出部と、
前記小数精度ベクトル、前記内挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する高解像度画素値算出部とを具備することを特徴とする高解像度化装置。
【請求項３】
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定する候補指定部と、
前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を前記探索領域の各画素について算出するマッチング誤差算出部と、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第１の画素位置を算出する誤差比較部と、
前記誤差比較部にて算出された第１の画素位置及びこの第１の誤差、前記第１の画素の周辺の第２の画素位置及びこの第２の誤差を格納するメモリと、
前記メモリに格納された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差に基づいて、前記探索領域のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び前記注目画素を始点とする小数精度ベクトルを算出する小数精度ベクトル算出部と、
前記小数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記小数精度ベクトルの合同ベクトルを算出する合同ベクトル算出部と、
前記小数精度ベクトル、前記合同ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する高解像度画素値算出部とを具備することを特徴とする高解像度化装置。
【請求項４】
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定する候補指定部と、
前記注目画素領域及び前記探索領域が設定された前記画像データの前記画素の間に別の画素を内挿して内挿画像データを生成するオーバーサンプリング部と、
前記内挿画像データにおいて、前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を算出するマッチング誤差算出部と、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第1の画素位置を算出し、前記注目画素を始点及び前記探索画素を終点とする整数精度ベクトルを算出する整数精度ベクトル算出部と、
前記整数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記整数精度ベクトルの外挿ベクトルを算出する外挿ベクトル算出部と、
前記整数精度ベクトル、前記外挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する高解像度画素値算出部とを具備することを特徴とする高解像度化装置。
【請求項５】
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための第１及び第２の探索領域を設定する候補指定部と、
前記注目画素領域及び前記第１及び第２の探索領域が設定された前記画像データの前記画素の間に別の画素を内挿して内挿画像データを生成するオーバーサンプリング部と、
前記内挿画像データにおいて、前記注目画素領域に含まれる画素の画素値の変化パターンと前記第１及び第２の探索領域内の第１及び第２の探索画素とこの第１及び第２の探索画素周辺の画素とを含むそれぞれ第１及び第２の領域に含まれる画素の画素値のそれぞれ第１及び第２の変化パターンとのそれぞれ第１及び第２の誤差を算出するマッチング誤差算出部と、
前記マッチング誤差算出部にて算出された前記第１及び第２の探索領域の各誤差を比較して最小となるそれぞれ第１の画素位置及び第２の画素位置を算出し、前記注目画素を始点及びそれぞれ前記第１及び第２の画素を終点とする第１及び第２の整数精度ベクトルを算出する整数精度ベクトル算出部と、
前記第１及び第２の整数精度ベクトルを用いて、前記第１及び第２の探索領域に含まれない前記画面上の画素を終点とする、前記第１及び第２の整数精度ベクトルの内挿ベクトルを算出する内挿ベクトル算出部と、
前記整数精度ベクトル、前記内挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する高解像度画素値算出部とを具備することを特徴とする高解像度化装置。
【請求項６】
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定する候補指定部と、
前記注目画素領域及び前記探索領域が設定された前記画像データの前記画素の間に別の画素を内挿して内挿画像データを生成するオーバーサンプリング部と、
前記内挿画像データにおいて、前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を算出するマッチング誤差算出部と、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第1の画素位置を算出し、前記注目画素を始点及び前記探索画素を終点とする整数精度ベクトルを算出する整数精度ベクトル算出部と、
前記整数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記整数精度ベクトルの合同ベクトルを算出する合同ベクトル算出部と、
前記整数精度ベクトル、前記合同ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する高解像度画素値算出部とを具備することを特徴とする高解像度化装置。
【請求項７】
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、
前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、
前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定し、
前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を前記探索領域の各画素についてマッチング誤差算出部にて算出し、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第１の画素位置を誤差比較部にて算出し、
前記誤差比較部にて算出された第１の画素位置及びこの第１の誤差、前記第１の画素の周辺の第２の画素位置及びこの第２の誤差をメモリに格納し、
前記メモリに格納された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差に基づいて、前記探索領域のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び前記注目画素を始点とする小数精度ベクトルを算出し、
前記小数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記小数精度ベクトルの外挿ベクトルを算出し、
前記小数精度ベクトル、前記外挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出することを特徴とする高解像度化方法。
【請求項８】
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、
前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、
前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための第１及び第２の探索領域を設定し、
前記注目画素領域に含まれる画素の画素値の変化パターンと前記第１及び第２の探索領域内の第１及び第２の探索画素とこの第１及び第２の探索画素周辺の画素とを含むそれぞれ第１及び第２の領域に含まれる画素の画素値のそれぞれ第１及び第２の変化パターンとのそれぞれ第１及び第２の誤差をマッチング誤差算出部にて算出し、
前記マッチング誤差算出部にて算出された前記第１及び第２の探索領域の各画素の誤差をそれぞれ比較して最小となる第１及び第２の画素位置を誤差比較部にて算出し、
前記誤差比較部にて算出された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差、前記第１の画素の周辺の第３の画素位置及びこの第３の誤差、前記第２の画素の周辺の第４の画素位置及びこの第４の誤差をメモリに格納し、
前記メモリに格納された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差、第３の画素位置及びこの第３の誤差及び第４の画素位置及びこの第４の誤差に基づいて、それぞれ前記第１及び第２の探索領域のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び前記注目画素を始点とする第１の小数精度ベクトル及び第２の小数精度ベクトルを算出し、
前記第１及び第２の小数精度ベクトルを用いて、前記第１及び第２の探索領域に含まれない前記画面上の画素を終点とする、前記第１及び第２の小数精度ベクトルの内挿ベクトルを算出し、
前記小数精度ベクトル、前記内挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出することを特徴とする高解像度化方法。
【請求項９】
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、
前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、
前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定し、
前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を前記探索領域の各画素についてマッチング誤差算出部にて算出し、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第１の画素位置を誤差比較部にて算出し、
前記誤差比較部にて算出された第１の画素位置及びこの第１の誤差、前記第１の画素の周辺の第２の画素位置及びこの第２の誤差をメモリに格納し、
前記メモリに格納された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差に基づいて、前記探索領域のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び前記注目画素を始点とする小数精度ベクトルを算出し、
前記小数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記小数精度ベクトルの合同ベクトルを算出し、
前記小数精度ベクトル、前記合同ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出することを特徴とする高解像度化方法。
【請求項１０】
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、
前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、
前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定し、
前記注目画素領域及び前記探索領域が設定された前記画像データの前記画素の間に別の画素を内挿して内挿画像データをオーバーサンプリング部にて生成し、
前記内挿画像データにおいて、前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差をマッチング誤差算出部にて算出し、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第1の画素位置を算出し、前記注目画素を始点及び前記探索画素を終点とする整数精度ベクトルを算出し、
前記整数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記整数精度ベクトルの外挿ベクトルを算出し、
前記整数精度ベクトル、前記外挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出することを特徴とする高解像度化方法。
【請求項１１】
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、
前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、
前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための第１及び第２の探索領域を設定し、
前記注目画素領域及び前記第１及び第２の探索領域が設定された前記画像データの前記画素の間に別の画素を内挿して内挿画像データをオーバーサンプリング部にて生成し、
前記内挿画像データにおいて、前記注目画素領域に含まれる画素の画素値の変化パターンと前記第１及び第２の探索領域内の第１及び第２の探索画素とこの第１及び第２の探索画素周辺の画素とを含むそれぞれ第１及び第２の領域に含まれる画素の画素値のそれぞれ第１及び第２の変化パターンとのそれぞれ第１及び第２の誤差をマッチング誤差算出部にて算出し、
前記マッチング誤差算出部にて算出された前記第１及び第２の探索領域の各誤差を比較して最小となるそれぞれ第１の画素位置及び第２の画素位置を算出し、前記注目画素を始点及びそれぞれ前記第１及び第２の画素を終点とする第１及び第２の整数精度ベクトルを算出し、
前記第１及び第２の整数精度ベクトルを用いて、前記第１及び第２の探索領域に含まれない前記画面上の画素を終点とする、前記第１及び第２の整数精度ベクトルの内挿ベクトルを算出し、
前記整数精度ベクトル、前記内挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出することを特徴とする高解像度化方法。
【請求項１２】
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、
前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、
前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定し、
前記注目画素領域及び前記探索領域が設定された前記画像データの前記画素の間に別の画素を内挿して内挿画像データをオーバーサンプリング部にて生成し、
前記内挿画像データにおいて、前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差をマッチング誤差算出部にて算出し、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第1の画素位置を算出し、前記注目画素を始点及び前記探索画素を終点とする整数精度ベクトルを算出し、
前記整数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記整数精度ベクトルの合同ベクトルを算出し、
前記整数精度ベクトル、前記合同ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出することを特徴とする高解像度化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高解像度化装置および方法に関する。
【背景技術】
【０００２】
画素数が多い、つまり高解像度のテレビやディスプレイが普及してきている。テレビやディスプレイは、画像を表示する場合、画像データの画素数をパネルの画素数に変換する。特に、画素数を増やす高解像度化の変換において、線形内挿法よりも鮮鋭な画像が得られる方法として、複数フレーム劣化逆変換法が知られている（例えば、特許文献１、非特許文献１参照）。
【０００３】
複数フレーム劣化逆変換法は、基準フレームに写っている被写体が別のフレームにも写っていることに注目し、被写体の動きを画素間隔以下の高い精度で検出することで、被写体の同一の局所部分に対して微小に位置がずれた複数の標本値を求めて高解像度化するものである。
【特許文献１】特開２０００−１８８６８０公報
【非特許文献１】S. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview," IEEE Signal Processing Magazine, USA, IEEE, May 2003, p.21-36
【発明の開示】
【発明が解決しようとする課題】
【０００４】
複数フレーム劣化逆変換法では、十分な数の標本値を得るには、多数の低解像度画像が必要でありメモリ量が多くなる。また、多数の対応点の関係をブロックマッチングによる探索処理で算出する必要があり演算量が多くなるという問題がある。
【０００５】
本発明は、上述した事情を考慮してなされたものであり、少ないメモリ量及び演算量で鮮鋭な高解像度画像を得る高解像度化装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述の目的を達成するために、本発明は、
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定する候補指定部と、
前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を前記探索領域の各画素について算出するマッチング誤差算出部と、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第１の画素位置を算出する誤差比較部と、
前記誤差比較部にて算出された第１の画素位置及びこの第１の誤差、前記第１の画素の周辺の第２の画素位置及びこの第２の誤差を格納するメモリと、
前記メモリに格納された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差に基づいて、前記探索領域のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び前記注目画素を始点とする小数精度ベクトルを算出する小数精度ベクトル算出部と、
前記小数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記小数精度ベクトルの外挿ベクトルを算出する外挿ベクトル算出部と、
前記小数精度ベクトル、前記外挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する高解像度画素値算出部とを具備することを特徴とする高解像度化装置を提供する。
【０００７】
また、本発明は、
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための第１及び第２の探索領域を設定する候補指定部と、
前記注目画素領域に含まれる画素の画素値の変化パターンと前記第１及び第２の探索領域内の第１及び第２の探索画素とこの第１及び第２の探索画素周辺の画素とを含むそれぞれ第１及び第２の領域に含まれる画素の画素値のそれぞれ第１及び第２の変化パターンとのそれぞれ第１及び第２の誤差を算出するマッチング誤差算出部と、
前記マッチング誤差算出部にて算出された前記第１及び第２の探索領域の各画素の誤差をそれぞれ比較して最小となる第１及び第２の画素位置を算出する誤差比較部と、
前記誤差比較部にて算出された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差、前記第１の画素の周辺の第３の画素位置及びこの第３の誤差、前記第２の画素の周辺の第４の画素位置及びこの第４の誤差を格納するメモリと、
前記メモリに格納された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差、第３の画素位置及びこの第３の誤差及び第４の画素位置及びこの第４の誤差に基づいて、それぞれ前記第１及び第２の探索領域のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び前記注目画素を始点とする第１の小数精度ベクトル及び第２の小数精度ベクトルを算出する小数精度ベクトル算出部と、
前記第１及び第２の小数精度ベクトルを用いて、前記第１及び第２の探索領域に含まれない前記画面上の画素を終点とする、前記第１及び第２の小数精度ベクトルの内挿ベクトルを算出する内挿ベクトル算出部と、
前記小数精度ベクトル、前記内挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する高解像度画素値算出部とを具備することを特徴とする高解像度化装置を提供する。
【０００８】
また、本発明は、
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定する候補指定部と、
前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を前記探索領域の各画素について算出するマッチング誤差算出部と、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第１の画素位置を算出する誤差比較部と、
前記誤差比較部にて算出された第１の画素位置及びこの第１の誤差、前記第１の画素の周辺の第２の画素位置及びこの第２の誤差を格納するメモリと、
前記メモリに格納された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差に基づいて、前記探索領域のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び前記注目画素を始点とする小数精度ベクトルを算出する小数精度ベクトル算出部と、
前記小数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記小数精度ベクトルの合同ベクトルを算出する合同ベクトル算出部と、
前記小数精度ベクトル、前記合同ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する高解像度画素値算出部とを具備することを特徴とする高解像度化装置を提供する。
【０００９】
また、本発明は、
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定する候補指定部と、
前記注目画素領域及び前記探索領域が設定された前記画像データの前記画素の間に別の画素を内挿して内挿画像データを生成するオーバーサンプリング部と、
前記内挿画像データにおいて、前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を算出するマッチング誤差算出部と、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第1の画素位置を算出し、前記注目画素を始点及び前記探索画素を終点とする整数精度ベクトルを算出する整数精度ベクトル算出部と、
前記整数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記整数精度ベクトルの外挿ベクトルを算出する外挿ベクトル算出部と、
前記整数精度ベクトル、前記外挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する高解像度画素値算出部とを具備することを特徴とする高解像度化装置を提供する。
【００１０】
また、本発明は、
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための第１及び第２の探索領域を設定する候補指定部と、
前記注目画素領域及び前記第１及び第２の探索領域が設定された前記画像データの前記画素の間に別の画素を内挿して内挿画像データを生成するオーバーサンプリング部と、
前記内挿画像データにおいて、前記注目画素領域に含まれる画素の画素値の変化パターンと前記第１及び第２の探索領域内の第１及び第２の探索画素とこの第１及び第２の探索画素周辺の画素とを含むそれぞれ第１及び第２の領域に含まれる画素の画素値のそれぞれ第１及び第２の変化パターンとのそれぞれ第１及び第２の誤差を算出するマッチング誤差算出部と、
前記マッチング誤差算出部にて算出された前記第１及び第２の探索領域の各誤差を比較して最小となるそれぞれ第１の画素位置及び第２の画素位置を算出し、前記注目画素を始点及びそれぞれ前記第１及び第２の画素を終点とする第１及び第２の整数精度ベクトルを算出する整数精度ベクトル算出部と、
前記第１及び第２の整数精度ベクトルを用いて、前記第１及び第２の探索領域に含まれない前記画面上の画素を終点とする、前記第１及び第２の整数精度ベクトルの内挿ベクトルを算出する内挿ベクトル算出部と、
前記整数精度ベクトル、前記内挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する高解像度画素値算出部とを具備することを特徴とする高解像度化装置を提供する。
【００１１】
また、本発明は、
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定する候補指定部と、
前記注目画素領域及び前記探索領域が設定された前記画像データの前記画素の間に別の画素を内挿して内挿画像データを生成するオーバーサンプリング部と、
前記内挿画像データにおいて、前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を算出するマッチング誤差算出部と、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第1の画素位置を算出し、前記注目画素を始点及び前記探索画素を終点とする整数精度ベクトルを算出する整数精度ベクトル算出部と、
前記整数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記整数精度ベクトルの合同ベクトルを算出する合同ベクトル算出部と、
前記整数精度ベクトル、前記合同ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する高解像度画素値算出部とを具備することを特徴とする高解像度化装置を提供する。
【００１２】
また、本発明は、
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、
前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、
前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定し、
前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を前記探索領域の各画素についてマッチング誤差算出部にて算出し、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第１の画素位置を誤差比較部にて算出し、
前記誤差比較部にて算出された第１の画素位置及びこの第１の誤差、前記第１の画素の周辺の第２の画素位置及びこの第２の誤差をメモリに格納し、
前記メモリに格納された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差に基づいて、前記探索領域のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び前記注目画素を始点とする小数精度ベクトルを算出し、
前記小数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記小数精度ベクトルの外挿ベクトルを算出し、
前記小数精度ベクトル、前記外挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出することを特徴とする高解像度化方法を提供する。
【００１３】
また、本発明は、
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、
前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、
前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための第１及び第２の探索領域を設定し、
前記注目画素領域に含まれる画素の画素値の変化パターンと前記第１及び第２の探索領域内の第１及び第２の探索画素とこの第１及び第２の探索画素周辺の画素とを含むそれぞれ第１及び第２の領域に含まれる画素の画素値のそれぞれ第１及び第２の変化パターンとのそれぞれ第１及び第２の誤差をマッチング誤差算出部にて算出し、
前記マッチング誤差算出部にて算出された前記第１及び第２の探索領域の各画素の誤差をそれぞれ比較して最小となる第１及び第２の画素位置を誤差比較部にて算出し、
前記誤差比較部にて算出された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差、前記第１の画素の周辺の第３の画素位置及びこの第３の誤差、前記第２の画素の周辺の第４の画素位置及びこの第４の誤差をメモリに格納し、
前記メモリに格納された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差、第３の画素位置及びこの第３の誤差及び第４の画素位置及びこの第４の誤差に基づいて、それぞれ前記第１及び第２の探索領域のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び前記注目画素を始点とする第１の小数精度ベクトル及び第２の小数精度ベクトルを算出し、
前記第１及び第２の小数精度ベクトルを用いて、前記第１及び第２の探索領域に含まれない前記画面上の画素を終点とする、前記第１及び第２の小数精度ベクトルの内挿ベクトルを算出し、
前記小数精度ベクトル、前記内挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出することを特徴とする高解像度化方法を提供する。
【００１４】
また、本発明は、
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、
前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、
前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定し、
前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を前記探索領域の各画素についてマッチング誤差算出部にて算出し、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第１の画素位置を誤差比較部にて算出し、
前記誤差比較部にて算出された第１の画素位置及びこの第１の誤差、前記第１の画素の周辺の第２の画素位置及びこの第２の誤差をメモリに格納し、
前記メモリに格納された第１の画素位置及びこの第１の誤差、第２の画素位置及びこの第２の誤差に基づいて、前記探索領域のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び前記注目画素を始点とする小数精度ベクトルを算出し、
前記小数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記小数精度ベクトルの合同ベクトルを算出し、
前記小数精度ベクトル、前記合同ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出することを特徴とする高解像度化方法を提供する。
【００１５】
また、本発明は、
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、
前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、
前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定し、
前記注目画素領域及び前記探索領域が設定された前記画像データの前記画素の間に別の画素を内挿して内挿画像データをオーバーサンプリング部にて生成し、
前記内挿画像データにおいて、前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差をマッチング誤差算出部にて算出し、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第1の画素位置を算出し、前記注目画素を始点及び前記探索画素を終点とする整数精度ベクトルを算出し、
前記整数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記整数精度ベクトルの外挿ベクトルを算出し、
前記整数精度ベクトル、前記外挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出することを特徴とする高解像度化方法を提供する。
【００１６】
また、本発明は、
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、
前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、
前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための第１及び第２の探索領域を設定し、
前記注目画素領域及び前記第１及び第２の探索領域が設定された前記画像データの前記画素の間に別の画素を内挿して内挿画像データをオーバーサンプリング部にて生成し、
前記内挿画像データにおいて、前記注目画素領域に含まれる画素の画素値の変化パターンと前記第１及び第２の探索領域内の第１及び第２の探索画素とこの第１及び第２の探索画素周辺の画素とを含むそれぞれ第１及び第２の領域に含まれる画素の画素値のそれぞれ第１及び第２の変化パターンとのそれぞれ第１及び第２の誤差をマッチング誤差算出部にて算出し、
前記マッチング誤差算出部にて算出された前記第１及び第２の探索領域の各誤差を比較して最小となるそれぞれ第１の画素位置及び第２の画素位置を算出し、前記注目画素を始点及びそれぞれ前記第１及び第２の画素を終点とする第１及び第２の整数精度ベクトルを算出し、
前記第１及び第２の整数精度ベクトルを用いて、前記第１及び第２の探索領域に含まれない前記画面上の画素を終点とする、前記第１及び第２の整数精度ベクトルの内挿ベクトルを算出し、
前記整数精度ベクトル、前記内挿ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出することを特徴とする高解像度化方法を提供する。
【００１７】
また、本発明は、
画面内に複数の画素を配し、前記画素の輝度を画素値として表した画像データに含まれる前記複数の画素のうち少なくとも１つを注目画素とし、
前記注目画素と前記注目画素の周辺の画素とを含む領域を注目画素領域とし、
前記注目画素領域に含まれる画素の画素値の変化パターンを前記画面内で複数探索するための探索領域を設定し、
前記注目画素領域及び前記探索領域が設定された前記画像データの前記画素の間に別の画素を内挿して内挿画像データをオーバーサンプリング部にて生成し、
前記内挿画像データにおいて、前記注目画素領域に含まれる画素の画素値の変化パターンと前記探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差をマッチング誤差算出部にて算出し、
前記マッチング誤差算出部にて算出された前記探索領域の各画素の誤差を比較して最小となる第1の画素位置を算出し、前記注目画素を始点及び前記探索画素を終点とする整数精度ベクトルを算出し、
前記整数精度ベクトルを用いて、前記探索領域に含まれない前記画面上の画素を終点とする、前記整数精度ベクトルの合同ベクトルを算出し、
前記整数精度ベクトル、前記合同ベクトル及び前記画像データから取得された画素値に基づいて、前記画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出することを特徴とする高解像度化方法を提供する。
【発明の効果】
【００１８】
被写体の一部をとりだして、その輝度値の変化パターンを見ると、その近くに同じパターンが存在するという点に新たに着目したものである。本発明では、同じ輝度値変化パターンが一つのフレームに複数あり、それらの位置を、ベクトルを用いて検出し、高解像度化に用いることで  少ないメモリ量、処理量で鮮鋭な高解像度画像を得ることができる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照しながら本発明の実施形態に係る高解像度化装置および方法について詳細に説明する。
【００２０】
なお、本発明は、以下の実施形態に限定されるものではなく種々選択、工夫して用いることができる。
【００２１】
図１は、本発明の実施形態に関わる高解像度化装置のブロック図である。
【００２２】
図１に示すように、この高解像度化装置は、メモリ１０１、候補指定部１０２、マッチング誤差算出部１０３、誤差比較部１０４、メモリ１０５、高解像度画素値算出部１０６、パラボラフィッティング部１０７、メモリ１０８、自己合同位置予測部１０９を備えている。ここで自己合同とは、同じフレーム内で、画素の輝度変化パターンが似ていることを意味している。自己合同位置とは自己合同となる位置をベクトルで表現したものである。
【００２３】
メモリ１０１は、低解像度画像データを取得し格納する。低解像度画像データは、動画像でも静止画像でも構わないが、画面内に複数の画素を配置し、画素の輝度を画素値として表した画像データである。ここでは、低解像度画像データは、画像ソース、すなわち、カメラ、テレビ等の画像データ生成部（図示せず）から取得する。より具体的には、低解像度画像データは、例えば、カメラが撮影した画像データやテレビが受信した画像データである。
【００２４】
候補指定部１０２は、低解像度画像データの複数の画素のうち少なくとも１つを注目画素とし、注目画素と注目画素の周辺の画素とを含む領域を注目画素領域とし、注目画素領域に含まれる画素の画素値の変化パターンを画面内で複数探索するための探索領域を設定する。
【００２５】
そして、候補指定部１０２は、注目画素と注目領域と探索領域を示す信号を生成し、これらの信号をメモリ１０１とメモリ１０５に出力する。
【００２６】
メモリ１０１は、これら注目画素と注目画素領域と探索領域を示す信号に基づいて、低解像度画像データから対象となる注目画素を含む注目画素領域の画像データと、探索領域の画像データをマッチング誤差算出部１０３に出力する。また、メモリ１０１は、高解像度画素値算出部１０６に低解像度画像データを供給する。この際、メモリ１０１は、高解像度画素値算出部１０６に、１画像ずつ供給する。
【００２７】
マッチング誤差算出部１０３は、注目画素領域に含まれる画素の画素値の変化パターンと探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を算出する。
【００２８】
ここでは、マッチング誤差算出部１０３は、変化パターンとして、注目画素領域の画像データと、探索範囲の画像データとの間にある誤差を計算する。誤差は、例えば、各画素値の差分絶対値和や差分２乗和により計算される。注目画素領域の画像データは、例えば、注目ブロックのデータを用いることができる。そしてマッチング誤差算出部１０３は、探索範囲の中で誤差を計算する画像部分を順次変更して、注目画素領域の誤差を計算する画像部分の画像データとの誤差を順次求める。
【００２９】
誤差比較部１０４は、マッチング誤差算出部１０３で算出された探索範囲内の複数の誤差について、最小となる画素位置を算出する。
【００３０】
メモリ１０５は、候補指定部１０２から位置情報を取得し、誤差比較部１０４で算出された誤差最小となる画素位置とマッチング誤差、誤差最小となる画素位置の周辺の画素位置とそれら位置におけるマッチング誤差を格納する。
【００３１】
パラボラフィッティング部１０７は、メモリ１０５で格納された誤差最小となる画素位置とマッチング誤差、誤差最小となる画素位置の周辺の画素位置とそれら位置におけるマッチング誤差を基にして、対称関数当てはめを行い、マッチング誤差が最小となる位置を小数精度で算出し、自己合同位置として決定する。この自己合同位置を一つの注目画素について１つ以上求める。パラボラフィッティング部１０７の詳細は後述する。
【００３２】
自己合同位置予測部１０９は、パラボラフィッティング部１０７で算出された自己合同位置の変化量に基づいて、１つ以上の自己合同位置を予測して算出する。
【００３３】
メモリ１０８は、パラボラフィッティング部１０７、自己合同位置予測部１０９で求められた自己合同位置の情報を格納する。
【００３４】
高解像度画素値算出部１０６は、低解像度画像の所定の画素について自己合同位置が求まった後、メモリ１０１から低解像度画像の画素データと、メモリ１０８から自己合同位置とを取得し、低解像度画像の画素データごとに、自己合同位置を用いてその条件式を連立し、解を求めることで高解像度画像の画素値を決定し、その画素値データを出力する。
【００３５】
次に、パラボラフィッティング法を使用せずオーバーサンプリング法を使用する場合の高解像度化装置について図２を参照して説明する。
【００３６】
図２の高解像度化装置は、図１で、パラボラフィッティング部１０７を取り去り、新たに、オーバーサンプリング部１１０、メモリ１１１を備えている。
【００３７】
候補指定部１０２は、画面内に複数の画素を配し、画素の輝度を画素値として表した画像データに含まれる複数の画素のうち少なくとも１つを注目画素とし、注目画素と注目画素の周辺の画素とを含む領域を注目画素領域とし、注目画素領域に含まれる画素の画素値の変化パターンを画面内で複数探索するための探索領域を設定する。
【００３８】
オーバーサンプリング部１１０は、注目画素領域及び探索領域が設定された画像データの画素の間に別の画素を内挿して内挿画像データを生成する。すなわちオーバーサンプリング部１１０は、誤差を計算する間隔に依存して低解像度データのデータ量を多くする。
【００３９】
メモリ１１１は、オーバーサンプリング部１１０でサンプリングされたデータを一時的に格納し、マッチング誤差算出部１０３にこのデータを供給する。
【００４０】
マッチング誤差算出部１０３は、内挿画像データにおいて、注目画素領域に含まれる画素の画素値の変化パターンと探索領域内の探索画素とこの探索画素周辺の画素とを含む領域に含まれる画素の画素値の変化パターンとの誤差を算出する。
【００４１】
誤差比較部１０４は、マッチング誤差算出部１０３で算出された探索範囲内の複数の誤差について、最小となる画素位置を算出する。
【００４２】
メモリ１０５は、誤差比較部１０４で算出されたマッチング誤差最小となる画素位置について、候補指定部１０２から位置情報を取得し、注目画素を始点及びマッチング誤差最小となる画素を終点とする整数精度ベクトルを格納する。
【００４３】
自己合同位置予測部１０９は、マッチング誤差算出部１０３で算出された誤差と、メモリ１０５で算出された整数精度ベクトルの変化量に基づいて、１つ以上の自己合同位置を予測して算出する。
【００４４】
メモリ１０８は、自己合同位置予測部１０９で求められた自己合同位置の情報を格納する。
【００４５】
高解像度画素値算出部１０６は、低解像度画像の所定の画素について自己合同位置が求まった後、メモリ１０１から低解像度画像の画素データと、メモリ１０８から自己合同位置とを取得し、低解像度画像の画素データごとに、自己合同位置を用いてその条件式を連立し、解を求めることで高解像度画像の画素値を決定し、その画素値データを出力する。
【００４６】
次に、図３を用いて、図１にて説明した高解像度化装置の動作の一例について説明する。なお、以下で画像のことをフレームと呼ぶこともある。
【００４７】
先ず、図３に示すように、ステップＳ２０１では、候補指定部１０２が、注目画素として、低解像度画像データの画素を所定の順序で設定する。順序は、静止画像の場合、例えば、画面の左上の画素から右向き、上の行から下向きといういわゆるラスタ順序とする。
【００４８】
次に、ステップＳ２０２では、マッチング誤差算出部１０３、誤差比較部１０４、パラボラフィッティング部１０７が注目画素に対応する点（自己合同位置）を低解像度画像データの画面空間内で検出する。
【００４９】
次に、ステップＳ２０３では、自己合同位置予測部１０９が、パラボラフィッティング部１０７で算出された自己合同位置の変化量に基づいて、新たな自己合同位置を予測して生成する。
【００５０】
次に、ステップＳ２０４では、マッチング誤差算出部１０３が、高解像度化に用いる低解像度画像データの画素について、それぞれ自己合同位置が求まったかどうかを判定し、ＮｏであればステップＳ２０１に戻って次の画素について処理を行い、ＹｅｓであればステップＳ２０５に進む。
【００５１】
次に、ステップＳ２０５では、高解像度画素値算出部１０６が、低解像度画像データの画素値と検出した自己合同位置を用いて、低解像度画像データに対応する高解像度画像データの画素値を算出して処理を終了する。高解像度画像データの画素値の算出については後に図１６を参照して説明する。
【００５２】
次に、図４に、低解像度画像の画面３０１と画素３０２の位置関係を示す。
【００５３】
画像は元来、画面空間において輝度が連続に分布しているものである。しかし、ここで扱うデジタル画像データの場合は画面空間に離散的な標本点として画素を配し、その輝度だけでその周囲の輝度を代表させる。
【００５４】
図４は、画面を横６個、縦４行の２４個の正方形に分割しその中心を標本点３０２として２４個の画素３０１を配した様子である。
【００５５】
次に、図５に、図４で示した画面を横２倍、縦２倍に高解像度化した様子を示す。高解像度画像データでの画素の標本点４０１を白丸で表す。このように画素の標本点４０１の間隔は低解像度画像データの１／２になる。
【００５６】
次に、図６に、元の低解像度画像データの画素を高解像度画像データと同じ間隔で図示したものを示す。この場合、低解像度画像データの大きさは高解像度画像データの大きさよりも小さくなる。
【００５７】
このように低解像度画像データは、その高解像度画像データと画面の大きさを合わせると画素の標本点の間隔が広がり、画素の標本点の間隔を合わせると画面の大きさが小さくなる。しかし、これらは同じことを表しており、以下、本明細書では説明しやすいように、適宜、低解像度画像を図４のように表したり、図６のように表したりする。
【００５８】
図７は、低解像度画像データの画素の標本点を黒丸で、高解像度画像データの画素の標本点を白丸で示した図である。高解像度化の処理は、この黒丸の標本点に与えられた輝度値を元にして白丸の標本点の輝度値を求めることである。
【００５９】
次に、図８乃至図１１を用いて、図３で説明したステップＳ２０２について具体例を挙げて詳細に説明する。
【００６０】
従来の複数フレーム劣化逆変換法では、複数フレーム間の対応する同一点をサブピクセル精度で算出することで、低解像度画像データの標本点を増やして高解像度化を行っていた。言い換えると、複数フレーム間で、輝度変化が同じ部分を異なる位相で標本化した画素値が多く必要でありメモリを多く必要とした。
【００６１】
図８に、実際の写真のデータを示す。
【００６２】
横軸が画素の横座標、縦軸が輝度である。５行のデータをそれぞれ別の曲線で示した。このように同じフレーム内の異なる行でも、非常に似た輝度変化をする部分があることが分かる。このような画像の性質をここでは、局所パターンに自己合同性があるといい、ある注目画素の回りに存在する自己合同な位置を自己合同位置と呼ぶ。
【００６３】
本発明では、被写体のフレーム内の自己合同性を用いて高解像度化を行うため、複数の低解像度画像データをメモリで保持する必要が無く、少ないメモリ量で高解像度化を行うことができる。
【００６４】
図９は、図１、２で説明した候補指定部１０２が、注目画素と注目領域を設定した様子を示す概念図である。
【００６５】
図９に示すように、候補指定部１０２が、注目画素８０１を中心にフレーム８０２から数画素四方、例えば、５×５画素や３×３画素の矩形のブロック８０３を注目画像領域として取り出す。
【００６６】
図１０は、図１、２で説明した候補指定部１０２が探索範囲９０１を設定した様子を示す概念図である。ここでは、ｙ座標を固定してｘ方向に６画素、探索範囲を設定した例を示している。この探索領域９０１に含まれるそれぞれの画素について、マッチング誤差算出部１０３が、図９に示した注目画像領域８０３と画素値の変化パターンが近い部分を探索する。
【００６７】
マッチング誤差算出部１０３にて算出する各画像領域間のマッチング誤差としては、画像領域内の各画素値の差の２乗和であるＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅ  Ｄｉｓｔａｎｃｅ）や、差の絶対値和であるＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｓｔａｎｃｅ）を用いることができる。
【００６８】
ここでｙ座標を固定して、ｘ方向に探索範囲を設定しているが、このようにしてサブピクセル推定を求めるのは、低解像度画像データの輝度が横方向に変化する場合に特に有効である。
【００６９】
また、図示しないが、ｘ座標を固定して、ｙ方向に探索範囲を設定し、サブピクセル推定を求めるのは、低解像度画像データの輝度が縦方向に変化する場合に有効である。
【００７０】
したがって、候補指定部１０２が、予めエッジの向きが縦向きであればそれと垂直方向である横向きに一つ以上の探索範囲を設定し、エッジの向きが横なら縦向きに一つ以上の探索範囲を設定する方法が有効である。すなわち注目画素の画素値の勾配方向を検出し、勾配方向で自己合同位置を探索すればよい。
【００７１】
候補指定部１０２から画素の位置情報を呼び出し、マッチング誤差算出部１０３にて算出されたマッチング誤差を比較して最小となる画素位置を算出し、誤差最小となる画素位置とマッチング誤差、誤差最小となる画素位置の周辺の画素位置とそれら位置におけるマッチング誤差をメモリに格納する。
【００７２】
次に、設定された探索範囲内でのサブピクセル（小数精度）推定について説明する。このサブピクセル推定のための一手法がパラボラフィッティング法（例えば、上記の、清水，奥富，「画像のマッチングにおけるサブピクセル推定の意味と性質」参照）である。
【００７３】
パラボラフィッティング法は、画素に対して整数精度で、注目画素領域と、設定された探索領域内の画素を中心とした候補画像領域との間のマッチング誤差から小数精度のマッチング誤差最小位置を算出する。
【００７４】
探索領域での候補画像領域の位置を整数精度でずらしてマッチング誤差を算出し、探索領域空間での、整数精度のマッチング誤差マップを算出する。
【００７５】
図１１は、パラボラフィッティング法のマッチング方法を示すグラフであり、横軸は画素、縦軸はマッチング誤差を示す。
【００７６】
図１１に示すように、最もマッチング誤差の小さい整数精度の位置ずれ量（x=m）の周りで、放物線（もしくは、対称な連続関数）を当てはめることで、サブピクセル精度での位置ずれ量が、整数精度の離散的なマッチング誤差マップに当てはめた放物線（もしくは、対称な連続関数）の頂点の位置として算出される。
【００７７】
図１２は、パラボラフィッティング法を用いた小数精度ベクトルを算出する様子を説明する図である。
【００７８】
図１２に示すように、探索領域９０１の各画素で算出されたマッチング誤差をもとに、探索領域９０１のなかで誤差が最小となる位置を小数精度で算出し、この位置を終点及び注目画素８０１を始点とする小数精度ベクトル１１０１を算出している。
【００７９】
なお、パラボラフィッティング法以外でも、上記の、清水，奥富，「画像のマッチングにおけるサブピクセル推定の意味と性質」にあるような、等角フィッティングを用いてもよい。
【００８０】
なお、図２で説明したオーバーサンプリング部１１０を用いた方法では、低解像度画像データを、線形内挿や三次畳み込み法など拡大法によって、例えば２倍に拡大する。この状態で画素精度の探索を行えば、元の低解像度画像データにおける０．５画素精度のずれ量を算出することと等しくなる。このように、オーバーサンプリング法では、精度（誤差を計算する間隔）を１／２にするにはデータを２倍に、１／４にするには４倍にする必要がある。
【００８１】
次に、図１３乃至図１５を用いて、図３のステップＳ２０３で行う予測による自己合同位置の生成について説明する。
【００８２】
ステップＳ２０２で行う自己合同位置算出は、求めたい自己合同位置の数だけ、探索領域において画像領域同士のマッチング誤差の算出を行う必要があり処理量が多い。そこで、ステップＳ２０３では、ステップＳ２０２で算出された自己合同位置に基づいて、外挿予測、内挿予測、複製により、新たな自己合同位置を少ない処理量で生成する。
【００８３】
ここで外挿予測とは、マッチングによって算出した一つ以上の自己合同位置を基に、これらの外側に位置する探索領域から新たな自己合同位置を予測するものである。
【００８４】
また、内挿予測とは、マッチングによって算出した二つ以上の自己合同位置を基に、これらの内側に位置する探索領域から新たな自己合同位置を予測するものである。
【００８５】
また、複製予測とは、マッチングによって算出したある注目画素の自己合同位置を、近傍の注目画素の自己合同位置として予測するものである。
【００８６】
図１３は、外挿予測によって、自己合同位置を生成していることを説明するための図である。
【００８７】
図１３に示すように、注目画素１２０１の１ライン上における自己合同位置１２０２が、図３のステップＳ２０２によって算出されている。２ライン上における自己合同位置は、注目画素１２０１から１ライン上の自己合同位置１２０２までの変化量の２倍として外挿予測できる。外挿予測した２ライン上における自己合同位置が１２０３である。
【００８８】
外挿予測は、一つの自己合同位置から一つを予測するだけでなく、複数の自己合同位置を予測しても良い。また、変化量の整数倍だけでなく、変化量の小数倍の位置を新たな自己合同位置として予測しても良い。
【００８９】
すなわち図１におけるパラボラフィッティング部１０７にて探索領域のなかで誤差が最小となる位置を小数精度で算出され、この位置を終点及び注目画素を始点とする小数精度ベクトル１２０２を用いて、或いは図２のオーバーサンプリング部１１０で注目画素領域及び探索領域が設定された画像データの画素の間に別の画素を内挿して内挿画像データが生成されたあと誤差が最小となる位置を算出された整数精度ベクトル１２０２を用いて、探索領域に含まれない画面上の画素を終点とする、小数精度ベクトルの外挿ベクトル１２０３を算出することになる。
【００９０】
図１４は、内挿予測によって、自己合同位置を生成していることを説明するための図である。
【００９１】
図１４に示すように、注目画素１３０１の１ライン上における自己合同位置１３０２と、３ライン上における自己合同位置１３０３が、図３のステップＳ２０２によって算出されている。２ライン上における自己合同位置１３０４は、注目画素位置１３０１から１ライン上の自己合同位置１３０２までの変化量と、注目画素位置１３０１から３ライン上の自己合同位置１３０３までの変化量の内分点として内挿予測できる。
【００９２】
内挿予測は、二つの自己合同位置１３０２、１３０３から一つの自己合同位置１３０４を予測するだけでなく、例えば、n等分に内分するような複数の自己合同位置を予測しても良い。
【００９３】
すなわち図１におけるパラボラフィッティング部１０７にて探索領域のなかで誤差が最小となる位置を小数精度で算出され、この位置を終点及び注目画素を始点とする小数精度ベクトル１２０２を用いて、或いは図２のオーバーサンプリング部１１０で注目画素領域及び探索領域が設定された画像データの画素の間に別の画素を内挿して内挿画像データが生成されたあと誤差が最小となる位置を算出された整数精度ベクトル１３０２、１３０３を用いて、探索領域に含まれない画面上の画素を終点とする、小数精度ベクトルの内挿ベクトル１３０４を算出することになる。
【００９４】
図１５は、複製によって、自己合同位置を生成していることを説明するための図である。
【００９５】
図１５に示すように、注目画素１４０１の１ライン上における自己合同位置１４０２が、図３のステップＳ２０２によって算出されている。この注目画素位置１４０１から自己合同位置１４０２までの変化量をコピーすることで、注目画素１４０１の１ライン上における自己合同位置１４０４、及び、注目画素１４０１の１ライン下における自己合同位置１４０６を生成できる。
【００９６】
すなわち図１におけるパラボラフィッティング部１０７にて探索領域のなかで誤差が最小となる位置を小数精度で算出され、この位置を終点及び注目画素を始点とする小数精度ベクトル１２０２を用いて、或いは図２のオーバーサンプリング部１１０で注目画素領域及び探索領域が設定された画像データの画素の間に別の画素を内挿して内挿画像データが生成されたあと誤差が最小となる位置を算出された整数精度ベクトル１４０２を用いて、  探索領域に含まれない画面上の画素を終点とする、小数精度ベクトルの合同ベクトルを算出することになる。
【００９７】
以上のように、図３のステップＳ２０３によって、自己合同位置を予測することで、処理量が少なく、自己合同位置を算出することができる。また、自己合同位置を水増しすることができて高画質化できる。また、例えば、１ライン上の自己合同位置から、０．５ライン上と１．５ライン上の自己合同位置を生成するというように、より注目画素に近い位置での自己合同位置を算出することもでき、高画質化できる。
【００９８】
次に、図１６を用いて、図３のステップＳ２０５で行う高解像度画像データの画素値の算出について説明する。
【００９９】
図３のステップＳ２０４の処理終了時点で、例えば、図１６に×印で表したように自己合同位置が求まる。このように非一様に分布した標本点から格子状に配置された画素の値を求める手法は様々あるが、例えば、重ねあわせ法（例えば、nonuniform interpolationがある。例えば、上記のS. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview"のｐ．２５参照）を用いる場合、高解像度画像データの画素値を求めるときに、その近くの標本値などを調べ、高解像度画像データの画素に最も近い位置にある標本値を見つけ、その標本値を高解像度画像データの画素値とする。あるいは、高解像度画像データの画素からの距離に応じて、近いものほど重みを増やして、それらの標本値を加重平均した値を高解像度画像データの画素値とする。あるいは、一定の距離以下にある標本値の平均を高解像度画像データの画素値とする。
【０１００】
次に、図１７を用いて、重ねあわせ法で高解像度画像データの画素値を求めるフローチャートを説明する。
【０１０１】
図１７に示すように、ステップＳ１６０１では、高解像度画像データの画素ごとに、各標本点までの距離を求める。
【０１０２】
次に、ステップＳ１６０２では、標本点の加重平均として、各画素値を求める。その際、各画素から距離が近い標本値ほど重みを増すようにする。
【０１０３】
また、重ねあわせ法ではなく、ＰＯＣＳ法（例えば、上記のS. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview"のｐ．２９参照）を用いると処理は複雑になるが、さらに鮮鋭な画像が得られる。
【０１０４】
ＰＯＣＳ法では、先ず、高解像度画像データの各画素に双一次内挿法や３次畳込み内挿法などで初期推定高解像度画像を与えておく。そして、各標本値の位置における、その高解像度画像データの初期推定高解像度画像の画素値を使ったときの推定高解像度画像を計算する。
【０１０５】
図１８を用いて、ここで仮標本値の計算方法について説明する。
【０１０６】
図１８に示すように、画面１７０１を複数の矩形１７０２に分割する。各矩形の輝度の分布を代表するのが、その中央におく画素値１７０３である。矩形の大きさは画素の密度によって決まり、例えば解像度が縦横１／２になるのであれば、矩形は縦横２倍になる。
【０１０７】
図１８には白丸で高解像度画像データの画素を、黒丸で解像度が１／２の低解像度画像データに相当する標本点を示す。
【０１０８】
高解像度画像データの画素に初期推定高解像度画像の画素値が与えられているとき、標本点１７０４における初期推定高解像度画像の標本値は、画素１７０５〜１７０８の画素値の平均値として計算する。これは、標本点１７０４がちょうど、その周囲の高解像度画像データの画素の中心にある場合である。  
標本点１７０９のようにその位置がずれている場合、標本点が代表する矩形１７１０が重なる部分の加重平均をその初期推定高解像度画像の標本値とする。例えば、画素１７１１に対する重みは斜線１７１２の部分の面積を重みにする。矩形１７１０が重なる９個の矩形について、その重なる面積に比例するように重みをつけ、それら９個の画素値から加重平均値を求めて初期推定高解像度画像の標本値とする。
【０１０９】
このときの高解像度画像データが正確なものであれば、低解像度画像データとして撮影されたものである標本値と初期推定高解像度画像の標本値は一致するはずである。
【０１１０】
しかし、通常は一致しない。そこで、これが一致するように、初期推定高解像度画像の画素値を更新する。標本値と仮標本値の差分を求め、その差分をなくすように初期推定高解像度画像の画素値に加減算する。画素値は複数あるので、差分を標本化で用いた重みで分け、それぞれの画素値に加減算する。これで、そのとき計算した標本点については標本値と初期高解像度画像の標本値が一致する。しかし、別の標本点における更新処理で同じ高解像度画像画素データが更新されることがある。そこで、この更新処理は、標本点全部に対して数回繰り返す。この反復により次第に、高解像度画像データは正確なものに近づくので、予め決めた回数反復して得られた画像を高解像度画像データとして出力する。
【０１１１】
このように、高解像度画像データの画素値を未知数とし、それから得られる推定高解像度画像の標本値と、実際に撮影された低解像度画像データの画素値による標本値が等しいという条件式を解くことで高解像度画像データの画素値を求めるひとつの方法がＰＯＣＳ法であり、これらの条件式を解く別の方法として、Iterative Back-Projection法（例えば、S. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview"のｐ．３１参照）、ＭＡＰ法（例えば、S. Park, et.al. "Super-Resolution Image Reconstruction: A Technical Overview"のｐ．２８参照）などを用いても良い。
【０１１２】
図１９に、このように条件式を立てて高解像度化するフローチャートを示す。
【０１１３】
図１９に示すように、ステップＳ１８０１では、前述した条件式を低解像度画像データの画素つまり標本値ごとに立てる。
【０１１４】
次に、ステップＳ１８０２では、条件式を連立した方程式として解くことで高解像度画像データの画素値を求める。
【０１１５】
図２０に、ある静止画像に対して、従来から用いられている３次畳込み法と本実施形態で高解像度化した画像のあるラインの輝度値の様子を示す。横軸は画素、縦軸にその輝度値を示す。これは大きな濃淡画像の白い線の部分を拡大したものである。
【０１１６】
図２０に示すように、ｙ座標が６３３の暗部ではより暗さが強調され、６３７の明部ではより明るさが強調されていることが分かる。
【図面の簡単な説明】
【０１１７】
【図１】本発明の実施形態に係る高解像度化装置のブロック図。
【図２】本発明の実施形態に係る高解像度化装置のブロック図。
【図３】本発明の実施形態に係る高解像度化装置の動作の一例を示すフローチャート。
【図４】低解像度画像データの画面と画素との位置関係を示す図。
【図５】図４の画像を高解像度化した高解像度画像を示す図。
【図６】図４の画像の画素間隔を図５の画像の画素間隔に合せた低解像度画像を示す図。
【図７】図４と図５の画素の位置関係を示した図。
【図８】ある写真データの位置座標と輝度との関係を示す図。
【図９】注目画素と注目画像領域の設定を示す図。
【図１０】注目画素と探索領域の設定を示す図。
【図１１】パラボラフィッティング法について説明するための図。
【図１２】マッチング処理による自己合同位置の算出を示す図。
【図１３】外挿予測による自己合同位置の生成を示す図。
【図１４】内挿予測による自己合同位置の生成を示す図。
【図１５】複製による自己合同位置の生成を示す図。
【図１６】画面空間で算出された複数の自己合同位置を示す図。
【図１７】高解像度画像の画素値を重ね合せ法で求める場合の動作の一例を示すフローチャート。
【図１８】初期推定高解像度画像の標本値の計算方法を説明するための画面、画素、矩形を示す図。
【図１９】標本値毎に条件式を立てて高解像度化する動作の一例を示すフローチャート。
【図２０】高解像度化した位置座標と輝度との関係を示す図。
【符号の説明】
【０１１８】
１０１、１０５、１０８、１１１・・・メモリ
１０２・・・候補指定部
１０３・・・マッチング誤差算出部
１０４・・・誤差比較部
１０６・・・高解像度画素値算出部
１０７・・・パラボラフィッティング部
１０９・・・自己合同位置予測部
１１０・・・オーバーサンプリング部
３０１、８０２、１７０１・・・画面
３０２、４０１、１７０５、１７０６、１７０７、１７０８、１７１１・・・画素
８０１、１２０１、１３０１、１４０１、１４０３、１４０５・・・注目画素
８０３・・・注目画像領域
９０１・・・探索領域
１１０１、１２０２、１３０２、１３０３、１４０２・・・マッチングにより算出された自己合同位置
１２０３、１３０４、１４０４、１４０６・・・予測して生成された自己合同位置
１７０２・・・矩形
１７０３・・・画素値
１７０４、１７０９・・・標本点
１７１２・・・斜線
【図１】
2008098803.tif 000003
【図２】
2008098803.tif 000004
【図３】
2008098803.tif 000005
【図４】
2008098803.tif 000006
【図５】
2008098803.tif 000007
【図６】
2008098803.tif 000008
【図７】
2008098803.tif 000009
【図８】
2008098803.tif 000010
【図９】
2008098803.tif 000011
【図１０】
2008098803.tif 000012
【図１１】
2008098803.tif 000013
【図１２】
2008098803.tif 000014
【図１３】
2008098803.tif 000015
【図１４】
2008098803.tif 000016
【図１５】
2008098803.tif 000017
【図１６】
2008098803.tif 000018
【図１７】
2008098803.tif 000019
【図１８】
2008098803.tif 000020
【図１９】
2008098803.tif 000021
【図２０】
2008098803.tif 000022