(57)【特許請求の範囲】
【請求項１】
入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左上、左及び上にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第１の画素差総計を計算する第１の画素差総計計算ステップと、
前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して右上、上及び右にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第２の画素差総計を計算する第２の画素差総計計算ステップと、
前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左下、左及び下にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第３の画素差総計を計算する第３の画素差総計計算ステップと、
前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して右下、右及び下にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第４の画素差総計を計算する第４の画素差総計計算ステップと、
前記第１〜第４の画素差総計の平均値を計算する平均値計算ステップと、
前記第１の画素差総計から前記平均値を減算した第１の偏差と、前記第２の画素差総計から前記平均値を減算した第２の偏差と、前記第３の画素差総計から前記平均値を減算した第３の偏差と、前記第４の画素差総計から前記平均値を減算した第４の偏差とをそれぞれ計算する偏差計算ステップと、
前記第１〜第４の偏差に定数を乗じた値をそれぞれ第１〜第４の調整偏差として求める調整偏差計算ステップと、
前記入力画像の処理対象の注目画素及び隣接画素の画素値の最大値と最小値をもとに上限値と下限値を決定し、前記上限値から前記入力画像の処理対象の注目画素の画素値を減算した第５の偏差と、前記下限値から前記入力画像の処理対象の注目画素の画素値を減算した第６の偏差をそれぞれ計算し、
前記第１の調整偏差が正かつ前記第５の偏差より大きいときは前記第５の偏差を前記第１の調整偏差で除した結果Ａ０、前記第１の調整偏差が負かつ前記第６の偏差より小さいときは前記第６の偏差を前記第１の調整偏差で除した結果Ｂ０、
前記第２の調整偏差が正かつ前記第５の偏差より大きいときは前記第５の偏差を前記第２の調整偏差で除した結果Ａ１、前記第２の調整偏差が負かつ前記第６の偏差より小さいときは前記第６の偏差を前記第２の調整偏差で除した結果Ｂ１、
前記第３の調整偏差が正かつ前記第５の偏差より大きいときは前記第５の偏差を前記第３の調整偏差で除した結果Ａ２、前記第３の調整偏差が負かつ前記第６の偏差より小さいときは前記第６の偏差を前記第３の調整偏差で除した結果Ｂ２、
前記第４の調整偏差が正かつ前記第５の偏差より大きいときは前記第５の偏差を前記第４の調整偏差で除した結果Ａ３、前記第４の調整偏差が負かつ前記第６の偏差より小さいときは前記第６の偏差を前記第４の調整偏差で除した結果Ｂ３、
を候補係数として求める候補係数計算ステップと、
前記候補係数Ａ０〜Ａ３、Ｂ０〜Ｂ３のうちで最小のものを最小係数として導出する最小係数導出ステップと、
前記入力画像の処理対象の注目画素の画素値から前記第１の調整偏差に前記最小係数を乗じた値を減じて、前記入力画像が水平及び垂直の両方向に２倍サイズに拡大された拡大画像の前記注目画素に対応した位置の前記注目画素と同じサイズの４画素のうち左上の画素の画素値を得る第１の演算ステップと、
前記入力画像の処理対象の注目画素の画素値から前記第２の調整偏差に前記最小係数を乗じた値を減じて、前記拡大画像の４画素のうち右上の画素の画素値を得る第２の演算ステップと、
前記入力画像の処理対象の注目画素の画素値から前記第３の調整偏差に前記最小係数を乗じた値を減じて、前記拡大画像の４画素のうち左下の画素の画素値を得る第３の演算ステップと、
前記入力画像の処理対象の注目画素の画素値から前記第４の調整偏差に前記最小係数を乗じた値を減じて、前記拡大画像の４画素のうち右下の画素の画素値を得る第４の演算ステップと
を含むことを特徴とする画像処理方法。
【請求項２】
一組のステレオ画像をそれぞれ水平方向に１／２サイズに圧縮して得た圧縮ステレオ画像が水平方向に並べて一枚の画像とされた入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左上、左、上、左下、及び下にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第１の画素差総計を計算する第１の画素差総計計算ステップと、
前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して右上、上、右、右下、及び下にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第２の画素差総計を計算する第２の画素差総計計算ステップと、
前記第１及び第２の画素差総計の平均値を計算する平均値計算ステップと、
前記第１の画素差総計から前記平均値を減算した第１の偏差と、前記第２の画素差総計から前記平均値を減算した第２の偏差とをそれぞれ計算する偏差計算ステップと、
前記第１及び第２の偏差に定数を乗じた値をそれぞれ第１及び第２の調整偏差として求める調整偏差計算ステップと、
前記入力画像の処理対象の注目画素及び隣接画素の画素値の最大値と最小値をもとに上限値と下限値を決定し、前記上限値から前記入力画像の処理対象の注目画素の画素値を減算した第３の偏差と、前記下限値から前記入力画像の処理対象の注目画素の画素値を減算した第４の偏差をそれぞれ計算し、
前記第１の調整偏差が正かつ前記第３の偏差より大きいときは前記第３の偏差を前記第１の調整偏差で除した結果Ａ０、前記第１の調整偏差が負かつ前記第４の偏差より小さいときは前記第４の偏差を前記第１の調整偏差で除した結果Ｂ０、
前記第２の調整偏差が正かつ前記第３の偏差より大きいときは前記第３の偏差を前記第２の調整偏差で除した結果Ａ１、前記第２の調整偏差が負かつ前記第４の偏差より小さいときは前記第４の偏差を前記第２の調整偏差で除した結果Ｂ１、
を候補係数として求める候補係数計算ステップと、
前記候補係数Ａ０、Ａ１、Ｂ０、Ｂ１のうちで最小のものを最小係数として導出する最小係数導出ステップと、
前記入力画像の処理対象の注目画素の画素値から前記第１の調整偏差に前記最小係数を乗じた値を減じて、前記入力画像が水平方向に２倍サイズに拡大された拡大画像の前記注目画素に対応した位置の前記注目画素と同じサイズの２画素のうち左の画素の画素値を得る第１の演算ステップと、
前記入力画像の処理対象の注目画素の画素値から前記第２の調整偏差に前記最小係数を乗じた値を減じて、前記拡大画像の２画素のうち右の画素の画素値を得る第２の演算ステップと、
前記第１及び第２の演算ステップにより得られる拡大画像を２分割して前記一組のステレオ画像を分離出力する左右分離ステップと
を含むことを特徴とする画像処理方法。
【請求項３】
一組のステレオ画像をそれぞれ垂直方向に１／２サイズに圧縮して得た圧縮ステレオ画像が垂直方向に並べて一枚の画像とされた入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左上、上、右上、左及び右にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第１の画素差総計を計算する第１の画素差総計計算ステップと、
前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左下、下、右下、左及び右にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第２の画素差総計を計算する第２の画素差総計計算ステップと、
前記第１及び第２の画素差総計の平均値を計算する平均値計算ステップと、
前記第１の画素差総計から前記平均値を減算した第１の偏差と、前記第２の画素差総計から前記平均値を減算した第２の偏差とをそれぞれ計算する偏差計算ステップと、
前記第１及び第２の偏差に定数を乗じた値をそれぞれ第１及び第２の調整偏差とする調整偏差計算ステップと、
前記入力画像の処理対象の注目画素及び隣接画素の画素値の最大値と最小値をもとに上限値と下限値を決定し、前記上限値から前記入力画像の処理対象の注目画素の画素値を減算した第３の偏差と、前記下限値から前記入力画像の処理対象の注目画素の画素値を減算した第４の偏差をそれぞれ計算し、
前記第１の調整偏差が正かつ前記第３の偏差より大きいときは前記第３の偏差を前記第１の調整偏差で除した結果Ａ０、前記第１の調整偏差が負かつ前記第４の偏差より小さいときは前記第４の偏差を前記第１の調整偏差で除した結果Ｂ０、
前記第２の調整偏差が正かつ前記第３の偏差より大きいときは前記第３の偏差を前記第２の調整偏差で除した結果Ａ１、前記第２の調整偏差が負かつ前記第４の偏差より小さいときは前記第４の偏差を前記第２の調整偏差で除した結果Ｂ１、
を候補係数として求める候補係数計算ステップと、
前記候補係数Ａ０、Ａ１、Ｂ０、Ｂ１のうちで最小のものを最小係数として導出する最小係数導出ステップと、
前記入力画像の処理対象の注目画素の画素値から前記第１の調整偏差に前記最小係数を乗じた値を減じて、前記入力画像が垂直方向に２倍サイズに拡大された拡大画像の前記注目画素に対応した位置の前記注目画素と同じサイズの２画素のうち上の画素の画素値を得る第１の演算ステップと、
前記入力画像の処理対象の注目画素の画素値から前記第２の調整偏差に前記最小係数を乗じた値を減じて、前記拡大画像の２画素のうち下の画素の画素値を得る第２の演算ステップと、
前記第１及び第２の演算ステップにより得られる拡大画像を２分割して前記一組のステレオ画像を分離出力する上下分離ステップと
を含むことを特徴とする画像処理方法。
【請求項４】
入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左上、左及び上にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第１の画素差総計を計算する第１の画素差総計計算部と、
前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して右上、上及び右にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第２の画素差総計を計算する第２の画素差総計計算部と、
前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左下、左及び下にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第３の画素差総計を計算する第３の画素差総計計算部と、
前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して右下、右及び下にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第４の画素差総計を計算する第４の画素差総計計算部と、
前記第１〜第４の画素差総計の平均値を計算する平均値計算部と、
前記第１の画素差総計から前記平均値を減算した第１の偏差と、前記第２の画素差総計から前記平均値を減算した第２の偏差と、前記第３の画素差総計から前記平均値を減算した第３の偏差と、前記第４の画素差総計から前記平均値を減算した第４の偏差とをそれぞれ計算する偏差計算部と、
前記第１〜第４の偏差に定数を乗じた値をそれぞれ第１〜第４の調整偏差として求める調整偏差計算部と、
前記入力画像の処理対象の注目画素及び隣接画素の画素値の最大値と最小値をもとに上限値と下限値を決定し、前記上限値から前記入力画像の処理対象の注目画素の画素値を減算した第５の偏差と、前記下限値から前記入力画像の処理対象の注目画素の画素値を減算した第６の偏差をそれぞれ計算し、
前記第１の調整偏差が正かつ前記第５の偏差より大きいときは前記第５の偏差を前記第１の調整偏差で除した結果Ａ０、前記第１の調整偏差が負かつ前記第６の偏差より小さいときは前記第６の偏差を前記第１の調整偏差で除した結果Ｂ０、
前記第２の調整偏差が正かつ前記第５の偏差より大きいときは前記第５の偏差を前記第２の調整偏差で除した結果Ａ１、前記第２の調整偏差が負かつ前記第６の偏差より小さいときは前記第６の偏差を前記第２の調整偏差で除した結果Ｂ１、
前記第３の調整偏差が正かつ前記第５の偏差より大きいときは前記第５の偏差を前記第３の調整偏差で除した結果Ａ２、前記第３の調整偏差が負かつ前記第６の偏差より小さいときは前記第６の偏差を前記第３の調整偏差で除した結果Ｂ２、
前記第４の調整偏差が正かつ前記第５の偏差より大きいときは前記第５の偏差を前記第４の調整偏差で除した結果Ａ３、前記第４の調整偏差が負かつ前記第６の偏差より小さいときは前記第６の偏差を前記第４の調整偏差で除した結果Ｂ３、
を候補係数として求める候補係数計算部と、
前記候補係数Ａ０〜Ａ３、Ｂ０〜Ｂ３のうちで最小のものを最小係数として導出する最小係数導出部と、
前記入力画像の処理対象の注目画素の画素値から前記第１の調整偏差に前記最小係数を乗じた値を減じて、前記入力画像が水平及び垂直の両方向に２倍サイズに拡大された拡大画像の前記注目画素に対応した位置の前記注目画素と同じサイズの４画素のうち左上の画素の画素値を得る第１の演算部と、
前記入力画像の処理対象の注目画素の画素値から前記第２の調整偏差に前記最小係数を乗じた値を減じて、前記拡大画像の４画素のうち右上の画素の画素値を得る第２の演算部と、
前記入力画像の処理対象の注目画素の画素値から前記第３の調整偏差に前記最小係数を乗じた値を減じて、前記拡大画像の４画素のうち左下の画素の画素値を得る第３の演算部と、
前記入力画像の処理対象の注目画素の画素値から前記第４の調整偏差に前記最小係数を乗じた値を減じて、前記拡大画像の４画素のうち右下の画素の画素値を得る第４の演算部と
を含むことを特徴とする画像処理装置。
【請求項５】
一組のステレオ画像をそれぞれ水平方向に１／２サイズに圧縮して得た圧縮ステレオ画像が水平方向に並べて一枚の画像とされた入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左上、左、上、左下、及び下にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第１の画素差総計を計算する第１の画素差総計計算部と、
前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して右上、上、右、右下、及び下にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第２の画素差総計を計算する第２の画素差総計計算部と、
前記第１及び第２の画素差総計の平均値を計算する平均値計算部と、
前記第１の画素差総計から前記平均値を減算した第１の偏差と、前記第２の画素差総計から前記平均値を減算した第２の偏差とをそれぞれ計算する偏差計算部と、
前記第１及び第２の偏差に定数を乗じた値をそれぞれ第１及び第２の調整偏差として求める調整偏差計算部と、
前記入力画像の処理対象の注目画素及び隣接画素の画素値の最大値と最小値をもとに上限値と下限値を決定し、前記上限値から前記入力画像の処理対象の注目画素の画素値を減算した第３の偏差と、前記下限値から前記入力画像の処理対象の注目画素の画素値を減算した第４の偏差をそれぞれ計算し、
前記第１の調整偏差が正かつ前記第３の偏差より大きいときは前記第３の偏差を前記第１の調整偏差で除した結果Ａ０、前記第１の調整偏差が負かつ前記第４の偏差より小さいときは前記第４の偏差を前記第１の調整偏差で除した結果Ｂ０、
前記第２の調整偏差が正かつ前記第３の偏差より大きいときは前記第３の偏差を前記第２の調整偏差で除した結果Ａ１、前記第２の調整偏差が負かつ前記第４の偏差より小さいときは前記第４の偏差を前記第２の調整偏差で除した結果Ｂ１、
を候補係数として求める候補係数計算部と、
前記候補係数Ａ０、Ａ１、Ｂ０、Ｂ１のうちで最小のものを最小係数として導出する最小係数導出部と、
前記入力画像の処理対象の注目画素の画素値から前記第１の調整偏差に前記最小係数を乗じた値を減じて、前記入力画像が水平方向に２倍サイズに拡大された拡大画像の前記注目画素に対応した位置の前記注目画素と同じサイズの２画素のうち左の画素の画素値を得る第１の演算部と、
前記入力画像の処理対象の注目画素の画素値から前記第２の調整偏差に前記最小係数を乗じた値を減じて、前記拡大画像の２画素のうち右の画素の画素値を得る第２の演算部と、
前記第１及び第２の演算部により得られる拡大画像を２分割して前記一組のステレオ画像を分離出力する左右分離部と
を含むことを特徴とする画像処理装置。
【請求項６】
一組のステレオ画像をそれぞれ垂直方向に１／２サイズに圧縮して得た圧縮ステレオ画像が垂直方向に並べて一枚の画像とされた入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左上、上、右上、左及び右にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第１の画素差総計を計算する第１の画素差総計計算部と、
前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左下、下、右下、左及び右にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第２の画素差総計を計算する第２の画素差総計計算部と、
前記第１及び第２の画素差総計の平均値を計算する平均値計算部と、
前記第１の画素差総計から前記平均値を減算した第１の偏差と、前記第２の画素差総計から前記平均値を減算した第２の偏差とをそれぞれ計算する偏差計算部と、
前記第１及び第２の偏差に定数を乗じた値をそれぞれ第１及び第２の調整偏差とする調整偏差計算部と、
前記入力画像の処理対象の注目画素及び隣接画素の画素値の最大値と最小値をもとに上限値と下限値を決定し、前記上限値から前記入力画像の処理対象の注目画素の画素値を減算した第３の偏差と、前記下限値から前記入力画像の処理対象の注目画素の画素値を減算した第４の偏差をそれぞれ計算し、
前記第１の調整偏差が正かつ前記第３の偏差より大きいときは前記第３の偏差を前記第１の調整偏差で除した結果Ａ０、前記第１の調整偏差が負かつ前記第４の偏差より小さいときは前記第４の偏差を前記第１の調整偏差で除した結果Ｂ０、
前記第２の調整偏差が正かつ前記第３の偏差より大きいときは前記第３の偏差を前記第２の調整偏差で除した結果Ａ１、前記第２の調整偏差が負かつ前記第４の偏差より小さいときは前記第４の偏差を前記第２の調整偏差で除した結果Ｂ１、
を候補係数として求める候補係数計算部と、
前記候補係数Ａ０、Ａ１、Ｂ０、Ｂ１のうちで最小のものを最小係数として導出する最小係数導出部と、
前記入力画像の処理対象の注目画素の画素値から前記第１の調整偏差に前記最小係数を乗じた値を減じて、前記入力画像が垂直方向に２倍サイズに拡大された拡大画像の前記注目画素に対応した位置の前記注目画素と同じサイズの２画素のうち上の画素の画素値を得る第１の演算部と、
前記入力画像の処理対象の注目画素の画素値から前記第２の調整偏差に前記最小係数を乗じた値を減じて、前記拡大画像の２画素のうち下の画素の画素値を得る第２の演算部と、
前記第１及び第２の演算部により得られる拡大画像を２分割して前記一組のステレオ画像を分離出力する上下分離部と
を含むことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理方法及び画像処理装置に関し、特に画像の水平方向及び垂直方向の少なくとも一方向のサイズを１枚のフレーム単位で拡大する解像度変換を行う画像処理方法及び画像処理装置に関する。
【背景技術】
【０００２】
近年の表示装置の大型化・高精細化に伴い、映像コンテンツに関しても高解像度化が望まれている。新たに制作されるコンテンツに関して高精細な撮影がされる傾向があるのは当然ながら、旧来の非高解像度で制作されているコンテンツに関しても高解像度化された形で視聴したいという要求が高まっている。
【０００３】
現状の多くのテレビ装置においても非高解像度コンテンツを補間技術により画素数のみについては高精細パネルに見合ったものに増加させているが、本来の意味での高解像度化は事実上行われていない。
【０００４】
低解像度画像から高解像度画像を生成する試みは古くから行われており、複数フレームの位置ずれを有する低解像度画像を統合して、高解像度画像を生成する手法については極めて幅広く検討されている。低解像度動画から高精細動画を作成する手法についても多く検討されている。
【０００５】
本発明者も特許文献１において、（１）高解像度画像について４画素平均を行って縮小したものが低解像度画像になること、（２）拡大画像の画素値がマルコフ性（個々の属性値がごく近傍の属性値のみに依存する）を満たすという２つの条件を満たす、ＭＡＰ(Maximum A Posteriori)推定方式に準じ、かつ高速処理を可能にする手法を提案している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第５３２７１７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記特許文献１の手法に限らず、従来の多くの高解像度化技術において、画素値の生成におけるリンギングの発生に対する対処はあまりなされていない。このため、急峻なエッジの周辺などにおいて擬似輪郭などの歪が発生したり、ステップ的な画素値の変化の波形特性の劣化などが発生する。その点ではさらなる改良が望まれる。
【０００８】
また、特許文献１で言及されているステレオコンテンツのＳＢＳ方式とＡＢ方式においても、同様なリンギングの問題が発生するため、さらなる改良が望まれる。
【０００９】
本発明は以上の点に鑑みなされたもので、特許文献１のようなマルコフ性の一定の確保を実現した低計算コストの画像拡大において、生成される値の範囲が近傍の画素値の範囲内に収まるような調整を行うことによって、大幅なリンギングの低減を実現して高画質な画像が得られる画像処理方法及び画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明のある態様の画像処理方法は、入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左上、左及び上にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第１の画素差総計を計算する第１の画素差総計計算ステップと、前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して右上、上及び右にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第２の画素差総計を計算する第２の画素差総計計算ステップと、前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左下、左及び下にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第３の画素差総計を計算する第３の画素差総計計算ステップと、前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して右下、右及び下にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第４の画素差総計を計算する第４の画素差総計計算ステップと、前記第１〜第４の画素差総計の平均値を計算する平均値計算ステップと、前記第１の画素差総計から前記平均値を減算した第１の偏差と、前記第２の画素差総計から前記平均値を減算した第２の偏差と、前記第３の画素差総計から前記平均値を減算した第３の偏差と、前記第４の画素差総計から前記平均値を減算した第４の偏差とをそれぞれ計算する偏差計算ステップと、前記第１〜第４の偏差に定数を乗じた値をそれぞれ第１〜第４の調整偏差として求める調整偏差計算ステップと、前記入力画像の処理対象の注目画素及び隣接画素の画素値の最大値と最小値をもとに上限値と下限値を決定し、前記上限値から前記入力画像の処理対象の注目画素の画素値を減算した第５の偏差と、前記下限値から前記入力画像の処理対象の注目画素の画素値を減算した第６の偏差をそれぞれ計算し、前記第１の調整偏差が正かつ前記第５の偏差より大きいときは前記第５の偏差を前記第１の調整偏差で除した結果Ａ０、前記第１の調整偏差が負かつ前記第６の偏差より小さいときは前記第６の偏差を前記第１の調整偏差で除した結果Ｂ０、前記第２の調整偏差が正かつ前記第５の偏差より大きいときは前記第５の偏差を前記第２の調整偏差で除した結果Ａ１、前記第２の調整偏差が負かつ前記第６の偏差より小さいときは前記第６の偏差を前記第２の調整偏差で除した結果Ｂ１、前記第３の調整偏差が正かつ前記第５の偏差より大きいときは前記第５の偏差を前記第３の調整偏差で除した結果Ａ２、前記第３の調整偏差が負かつ前記第６の偏差より小さいときは前記第６の偏差を前記第３の調整偏差で除した結果Ｂ２、前記第４の調整偏差が正かつ前記第５の偏差より大きいときは前記第５の偏差を前記第４の調整偏差で除した結果Ａ３、前記第４の調整偏差が負かつ前記第６の偏差より小さいときは前記第６の偏差を前記第４の調整偏差で除した結果Ｂ３、を候補係数として求める候補係数計算ステップと、前記候補係数Ａ０〜Ａ３、Ｂ０〜Ｂ３のうちで最小のものを最小係数として導出する最小係数導出ステップと、前記入力画像の処理対象の注目画素の画素値から前記第１の調整偏差に前記最小係数を乗じた値を減じて、前記入力画像が水平及び垂直の両方向に２倍サイズに拡大された拡大画像の前記注目画素に対応した位置の前記注目画素と同じサイズの４画素のうち左上の画素の画素値を得る第１の演算ステップと、前記入力画像の処理対象の注目画素の画素値から前記第２の調整偏差に前記最小係数を乗じた値を減じて、前記拡大画像の４画素のうち右上の画素の画素値を得る第２の演算ステップと、前記入力画像の処理対象の注目画素の画素値から前記第３の調整偏差に前記最小係数を乗じた値を減じて、前記拡大画像の４画素のうち左下の画素の画素値を得る第３の演算ステップと、前記入力画像の処理対象の注目画素の画素値から前記第４の調整偏差に前記最小係数を乗じた値を減じて、前記拡大画像の４画素のうち右下の画素の画素値を得る第４の演算ステップとを含む。
【００１１】
本発明の別の態様もまた、画像処理方法である。この方法は、一組のステレオ画像をそれぞれ水平方向に１／２サイズに圧縮して得た圧縮ステレオ画像が水平方向に並べて一枚の画像とされた入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左上、左、上、左下、及び下にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第１の画素差総計を計算する第１の画素差総計計算ステップと、前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して右上、上、右、右下、及び下にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第２の画素差総計を計算する第２の画素差総計計算ステップと、前記第１及び第２の画素差総計の平均値を計算する平均値計算ステップと、前記第１の画素差総計から前記平均値を減算した第１の偏差と、前記第２の画素差総計から前記平均値を減算した第２の偏差とをそれぞれ計算する偏差計算ステップと、前記第１及び第２の偏差に定数を乗じた値をそれぞれ第１及び第２の調整偏差として求める調整偏差計算ステップと、前記入力画像の処理対象の注目画素及び隣接画素の画素値の最大値と最小値をもとに上限値と下限値を決定し、前記上限値から前記入力画像の処理対象の注目画素の画素値を減算した第３の偏差と、前記下限値から前記入力画像の処理対象の注目画素の画素値を減算した第４の偏差をそれぞれ計算し、前記第１の調整偏差が正かつ前記第３の偏差より大きいときは前記第３の偏差を前記第１の調整偏差で除した結果Ａ０、前記第１の調整偏差が負かつ前記第４の偏差より小さいときは前記第４の偏差を前記第１の調整偏差で除した結果Ｂ０、前記第２の調整偏差が正かつ前記第３の偏差より大きいときは前記第３の偏差を前記第２の調整偏差で除した結果Ａ１、前記第２の調整偏差が負かつ前記第４の偏差より小さいときは前記第４の偏差を前記第２の調整偏差で除した結果Ｂ１、を候補係数として求める候補係数計算ステップと、前記候補係数Ａ０、Ａ１、Ｂ０、Ｂ１のうちで最小のものを最小係数として導出する最小係数導出ステップと、前記入力画像の処理対象の注目画素の画素値から前記第１の調整偏差に前記最小係数を乗じた値を減じて、前記入力画像が水平方向に２倍サイズに拡大された拡大画像の前記注目画素に対応した位置の前記注目画素と同じサイズの２画素のうち左の画素の画素値を得る第１の演算ステップと、前記入力画像の処理対象の注目画素の画素値から前記第２の調整偏差に前記最小係数を乗じた値を減じて、前記拡大画像の２画素のうち右の画素の画素値を得る第２の演算ステップと、前記第１及び第２の演算ステップにより得られる拡大画像を２分割して前記一組のステレオ画像を分離出力する左右分離ステップとを含む。
【００１２】
本発明のさらに別の態様もまた、画像処理方法である。この方法は、一組のステレオ画像をそれぞれ垂直方向に１／２サイズに圧縮して得た圧縮ステレオ画像が垂直方向に並べて一枚の画像とされた入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左上、上、右上、左及び右にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第１の画素差総計を計算する第１の画素差総計計算ステップと、前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左下、下、右下、左及び右にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第２の画素差総計を計算する第２の画素差総計計算ステップと、前記第１及び第２の画素差総計の平均値を計算する平均値計算ステップと、前記第１の画素差総計から前記平均値を減算した第１の偏差と、前記第２の画素差総計から前記平均値を減算した第２の偏差とをそれぞれ計算する偏差計算ステップと、前記第１及び第２の偏差に定数を乗じた値をそれぞれ第１及び第２の調整偏差とする調整偏差計算ステップと、前記入力画像の処理対象の注目画素及び隣接画素の画素値の最大値と最小値をもとに上限値と下限値を決定し、前記上限値から前記入力画像の処理対象の注目画素の画素値を減算した第３の偏差と、前記下限値から前記入力画像の処理対象の注目画素の画素値を減算した第４の偏差をそれぞれ計算し、前記第１の調整偏差が正かつ前記第３の偏差より大きいときは前記第３の偏差を前記第１の調整偏差で除した結果Ａ０、前記第１の調整偏差が負かつ前記第４の偏差より小さいときは前記第４の偏差を前記第１の調整偏差で除した結果Ｂ０、前記第２の調整偏差が正かつ前記第３の偏差より大きいときは前記第３の偏差を前記第２の調整偏差で除した結果Ａ１、前記第２の調整偏差が負かつ前記第４の偏差より小さいときは前記第４の偏差を前記第２の調整偏差で除した結果Ｂ１、を候補係数として求める候補係数計算ステップと、前記候補係数Ａ０、Ａ１、Ｂ０、Ｂ１のうちで最小のものを最小係数として導出する最小係数導出ステップと、前記入力画像の処理対象の注目画素の画素値から前記第１の調整偏差に前記最小係数を乗じた値を減じて、前記入力画像が垂直方向に２倍サイズに拡大された拡大画像の前記注目画素に対応した位置の前記注目画素と同じサイズの２画素のうち上の画素の画素値を得る第１の演算ステップと、前記入力画像の処理対象の注目画素の画素値から前記第２の調整偏差に前記最小係数を乗じた値を減じて、前記拡大画像の２画素のうち下の画素の画素値を得る第２の演算ステップと、前記第１及び第２の演算ステップにより得られる拡大画像を２分割して前記一組のステレオ画像を分離出力する上下分離ステップとを含む。
【００１３】
本発明のさらに別の態様は、画像処理装置である。この装置は、入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左上、左及び上にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第１の画素差総計を計算する第１の画素差総計計算部（１０２）と、前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して右上、上及び右にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第２の画素差総計を計算する第２の画素差総計計算部（１０３）と、前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左下、左及び下にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第３の画素差総計を計算する第３の画素差総計計算部（１０４）と、前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して右下、右及び下にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第４の画素差総計を計算する第４の画素差総計計算部（１０５）と、前記第１〜第４の画素差総計の平均値を計算する平均値計算部（１０６）と、前記第１の画素差総計から前記平均値を減算した第１の偏差と、前記第２の画素差総計から前記平均値を減算した第２の偏差と、前記第３の画素差総計から前記平均値を減算した第３の偏差と、前記第４の画素差総計から前記平均値を減算した第４の偏差とをそれぞれ計算する偏差計算部（１０７〜１１０）と、前記第１〜第４の偏差に定数を乗じた値をそれぞれ第１〜第４の調整偏差として求める調整偏差計算部（１１１〜１１４）と、前記入力画像の処理対象の注目画素及び隣接画素の画素値の最大値と最小値をもとに上限値と下限値を決定し、前記上限値から前記入力画像の処理対象の注目画素の画素値を減算した第５の偏差と、前記下限値から前記入力画像の処理対象の注目画素の画素値を減算した第６の偏差をそれぞれ計算し、前記第１の調整偏差が正かつ前記第５の偏差より大きいときは前記第５の偏差を前記第１の調整偏差で除した結果Ａ０、前記第１の調整偏差が負かつ前記第６の偏差より小さいときは前記第６の偏差を前記第１の調整偏差で除した結果Ｂ０、前記第２の調整偏差が正かつ前記第５の偏差より大きいときは前記第５の偏差を前記第２の調整偏差で除した結果Ａ１、前記第２の調整偏差が負かつ前記第６の偏差より小さいときは前記第６の偏差を前記第２の調整偏差で除した結果Ｂ１、前記第３の調整偏差が正かつ前記第５の偏差より大きいときは前記第５の偏差を前記第３の調整偏差で除した結果Ａ２、前記第３の調整偏差が負かつ前記第６の偏差より小さいときは前記第６の偏差を前記第３の調整偏差で除した結果Ｂ２、前記第４の調整偏差が正かつ前記第５の偏差より大きいときは前記第５の偏差を前記第４の調整偏差で除した結果Ａ３、前記第４の調整偏差が負かつ前記第６の偏差より小さいときは前記第６の偏差を前記第４の調整偏差で除した結果Ｂ３、を候補係数として求める候補係数計算部（１５０）と、前記候補係数Ａ０〜Ａ３、Ｂ０〜Ｂ３のうちで最小のものを最小係数として導出する最小係数導出部（１５１）と、前記入力画像の処理対象の注目画素の画素値から前記第１の調整偏差に前記最小係数を乗じた値を減じて、前記入力画像が水平及び垂直の両方向に２倍サイズに拡大された拡大画像の前記注目画素に対応した位置の前記注目画素と同じサイズの４画素のうち左上の画素の画素値を得る第１の演算部（１５２、１１５）と、前記入力画像の処理対象の注目画素の画素値から前記第２の調整偏差に前記最小係数を乗じた値を減じて、前記拡大画像の４画素のうち右上の画素の画素値を得る第２の演算部（１５３、１１６）と、前記入力画像の処理対象の注目画素の画素値から前記第３の調整偏差に前記最小係数を乗じた値を減じて、前記拡大画像の４画素のうち左下の画素の画素値を得る第３の演算部（１５４、１１７）と、前記入力画像の処理対象の注目画素の画素値から前記第４の調整偏差に前記最小係数を乗じた値を減じて、前記拡大画像の４画素のうち右下の画素の画素値を得る第４の演算部（１５５、１１８）とを含む。
【００１４】
本発明のさらに別の態様もまた、画像処理装置である。この装置は、一組のステレオ画像をそれぞれ水平方向に１／２サイズに圧縮して得た圧縮ステレオ画像が水平方向に並べて一枚の画像とされた入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左上、左、上、左下、及び下にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第１の画素差総計を計算する第１の画素差総計計算部（２０２）と、前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して右上、上、右、右下、及び下にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第２の画素差総計を計算する第２の画素差総計計算部（２０３）と、前記第１及び第２の画素差総計の平均値を計算する平均値計算部（２０４）と、前記第１の画素差総計から前記平均値を減算した第１の偏差と、前記第２の画素差総計から前記平均値を減算した第２の偏差とをそれぞれ計算する偏差計算部（２０５、２０６）と、前記第１及び第２の偏差に定数を乗じた値をそれぞれ第１及び第２の調整偏差として求める調整偏差計算部（２０７、２０８）と、前記入力画像の処理対象の注目画素及び隣接画素の画素値の最大値と最小値をもとに上限値と下限値を決定し、前記上限値から前記入力画像の処理対象の注目画素の画素値を減算した第３の偏差と、前記下限値から前記入力画像の処理対象の注目画素の画素値を減算した第４の偏差をそれぞれ計算し、前記第１の調整偏差が正かつ前記第３の偏差より大きいときは前記第３の偏差を前記第１の調整偏差で除した結果Ａ０、前記第１の調整偏差が負かつ前記第４の偏差より小さいときは前記第４の偏差を前記第１の調整偏差で除した結果Ｂ０、前記第２の調整偏差が正かつ前記第３の偏差より大きいときは前記第３の偏差を前記第２の調整偏差で除した結果Ａ１、前記第２の調整偏差が負かつ前記第４の偏差より小さいときは前記第４の偏差を前記第２の調整偏差で除した結果Ｂ１、を候補係数として求める候補係数計算部（２５０）と、前記候補係数Ａ０、Ａ１、Ｂ０、Ｂ１のうちで最小のものを最小係数として導出する最小係数導出部（２５１）と、前記入力画像の処理対象の注目画素の画素値から前記第１の調整偏差に前記最小係数を乗じた値を減じて、前記入力画像が水平方向に２倍サイズに拡大された拡大画像の前記注目画素に対応した位置の前記注目画素と同じサイズの２画素のうち左の画素の画素値を得る第１の演算部（２５２、２０９）と、前記入力画像の処理対象の注目画素の画素値から前記第２の調整偏差に前記最小係数を乗じた値を減じて、前記拡大画像の２画素のうち右の画素の画素値を得る第２の演算部（２５３、２１０）と、前記第１及び第２の演算部により得られる拡大画像を２分割して前記一組のステレオ画像を分離出力する左右分離部（２１２）とを含む。
【００１５】
本発明のさらに別の態様もまた、画像処理装置である。この装置は、一組のステレオ画像をそれぞれ垂直方向に１／２サイズに圧縮して得た圧縮ステレオ画像が垂直方向に並べて一枚の画像とされた入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左上、上、右上、左及び右にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第１の画素差総計を計算する第１の画素差総計計算部（３０２）と、前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左下、下、右下、左及び右にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第２の画素差総計を計算する第２の画素差総計計算部（３０３）と、前記第１及び第２の画素差総計の平均値を計算する平均値計算部（３０４）と、前記第１の画素差総計から前記平均値を減算した第１の偏差と、前記第２の画素差総計から前記平均値を減算した第２の偏差とをそれぞれ計算する偏差計算部（３０５、３０６）と、前記第１及び第２の偏差に定数を乗じた値をそれぞれ第１及び第２の調整偏差とする調整偏差計算部（３０７、３０８）と、前記入力画像の処理対象の注目画素及び隣接画素の画素値の最大値と最小値をもとに上限値と下限値を決定し、前記上限値から前記入力画像の処理対象の注目画素の画素値を減算した第３の偏差と、前記下限値から前記入力画像の処理対象の注目画素の画素値を減算した第４の偏差をそれぞれ計算し、前記第１の調整偏差が正かつ前記第３の偏差より大きいときは前記第３の偏差を前記第１の調整偏差で除した結果Ａ０、前記第１の調整偏差が負かつ前記第４の偏差より小さいときは前記第４の偏差を前記第１の調整偏差で除した結果Ｂ０、前記第２の調整偏差が正かつ前記第３の偏差より大きいときは前記第３の偏差を前記第２の調整偏差で除した結果Ａ１、前記第２の調整偏差が負かつ前記第４の偏差より小さいときは前記第４の偏差を前記第２の調整偏差で除した結果Ｂ１、を候補係数として求める候補係数計算部（３５０）と、前記候補係数Ａ０、Ａ１、Ｂ０、Ｂ１のうちで最小のものを最小係数として導出する最小係数導出部（３５１）と、前記入力画像の処理対象の注目画素の画素値から前記第１の調整偏差に前記最小係数を乗じた値を減じて、前記入力画像が垂直方向に２倍サイズに拡大された拡大画像の前記注目画素に対応した位置の前記注目画素と同じサイズの２画素のうち上の画素の画素値を得る第１の演算部（３５２、３０９）と、前記入力画像の処理対象の注目画素の画素値から前記第２の調整偏差に前記最小係数を乗じた値を減じて、前記拡大画像の２画素のうち下の画素の画素値を得る第２の演算部（３５３、３１０）と、前記第１及び第２の演算部により得られる拡大画像を２分割して前記一組のステレオ画像を分離出力する上下分離部（３１２）とを含む。
【００１６】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１７】
本発明によれば、マルコフ性の一定の確保を実現した低計算コストの画像拡大において、生成される値の範囲が近傍の画素値の範囲内に収まるような調整を行うことによって、大幅なリンギングの低減を実現して高画質な高解像度画像への解像度変換を実現できる。
【図面の簡単な説明】
【００１８】
【図１】本発明の画像処理装置の第１の実施の形態のブロック図である。
【図２】本発明の画像処理方法の第１の実施の形態のフローチャートである。
【図３】本発明の第１の実施の形態の入力画像の画素配列を示す図である。
【図４】本発明の第１の実施の形態により得られる拡大画像の画素配列を示す図である。
【図５】本発明の画像処理装置の第２の実施の形態のブロック図である。
【図６】本発明の画像処理方法の第２の実施の形態のフローチャートである。
【図７】ステレオ画像の一例を示す図である。
【図８】本発明の第２の実施の形態の入力画像の一例を示す図である。
【図９】本発明の第２、第３の実施の形態の入力画像の画素配列を示す図である。
【図１０】本発明の第２の実施の形態により得られる拡大画像の画素配列を示す図である。
【図１１】本発明の画像処理装置の第３の実施の形態のブロック図である。
【図１２】本発明の画像処理方法の第３の実施の形態のフローチャートである。
【図１３】本発明の第３の実施の形態の入力画像の一例を示す図である。
【図１４】本発明の第３の実施の形態により得られる拡大画像の画素配列を示す図である。
【図１５】特許文献１の第１の実施の形態による処理結果の一例である。
【図１６】本発明の第１の実施の形態による処理結果の一例である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
【００２０】
（第１の実施の形態）
図１は、本発明になる画像処理装置の第１の実施の形態のブロック図、図２は、本発明になる画像処理方法の第１の実施の形態のフローチャートを示す。
【００２１】
図１において、本実施の形態の画像処理装置１００は、低解像度画像入力部１０１と、４つの画素差総計計算部１０２〜１０５と、平均値計算部１０６と、４つの偏差計算部１０７〜１１０と、偏差計算部１０７〜１１０に対応して設けられた４つの乗算部（「調整偏差計算部」に相当する）１１１〜１１４と、乗算部１１１〜１１４の乗算結果と入力画素近傍の画素値から係数の候補を計算する候補係数計算部１５０と、候補係数計算部１５０の計算結果から最小値を導出する最小係数導出部１５１と、最小係数導出部１５１の導出結果を乗算部１１１〜１１４の出力に乗じる最小係数乗算部１５２〜１５５と、最小係数乗算部１５２〜１５５に対応して設けられた４つの減算部１１５〜１１８と、減算部１１５〜１１８から出力された信号を合成して高解像度画像として出力する高解像度画像出力部１１９とより構成される。最小係数乗算部１５２〜１５５と減算部１１５〜１１８とを組み合わせたものが「第１〜第４の演算部」に相当する。
【００２２】
低解像度画像入力部１０１に入力されて取り込まれる低解像度画像は、処理前の解像度の画像である。本実施の形態の画像処理装置１００は、この低解像度画像から２００％サイズの高解像度画像を得る画像処理を行うものとする。画像処理は輝度について行うものとして説明するが、色差や原色系に適用することも可能である。また、本実施の形態の画像処理装置１００は、図３に示すように、入力される低解像度画像の処理対象の注目画素を「４」で示す画素とすると、その注目画素を中心とする縦方向３個、横方向３個の「０」〜「３」、「５」〜「８」で示す計８個の周辺画素を用いて高解像度化の画像処理を行うものとする。
【００２３】
画素差総計計算部１０２〜１０５は、注目画素の画素値と所定の周辺画素の画素値（若しくはそれに定数を乗じた値）との差の総計を計算する。平均値計算部１０６は、画素差総計計算部１０２〜１０５からそれぞれ出力される４つの画素差総計の平均値を計算する。偏差計算部１０７〜１１０は、対応して設けられた画素差総計計算部１０２〜１０５からの画素差総計と平均値計算部１０６から出力される平均値との差を偏差として計算する。乗算部１１１〜１１４は、対応して設けられた偏差計算部１０７から出力される偏差と定数Ｋとを乗算する。候補係数計算部１５０は、乗算部１１１〜１１４の乗算結果と上記「０」〜「８」の画素値から後段で利用される係数の候補を計算する。最小係数導出部１５１は、候補係数計算部１５０の計算結果から最小値を導出する。最小係数乗算部１５２〜１５５では、最小係数導出部１５１の導出結果を乗算部１１１〜１１４の出力に乗じる。減算部１１５〜１１８は、低解像度画像入力部１０１に入力される低解像度画像の画素値から対応して設けられた最小係数乗算部１５２〜１５５から出力される乗算結果を減算して、それぞれ拡大後の左上、右上、左下、右下の画素の画素値を出力する。
【００２４】
次に、本実施の形態の画像処理装置１００の動作について、図２のフローチャートを併せ参照して説明する。
【００２５】
まず、低解像度画像入力部１０１が処理対象前の画像である低解像度画像を取り込む（ステップＳ１）。続いて、画素差総計計算部１０２〜１０５が低解像度画像入力部１０１から出力される低解像度画像に対して画素差総計をそれぞれ計算する（ステップＳ２）。ここで、画素差総計計算部１０２は、入力される低解像度画像の図３に示した処理対象の注目画素「４」の画素値（以下、これをyl[4]と記す）と注目画素の左上の画素「０」の画素値（以下、これをyl[0]と記す）との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]と注目画素の左の画素「３」の画素値（以下、これをyl[3]と記す）との差、及びyl[4]と注目画素の上の画素「１」の画素値（以下、これをyl[1]と記す）との差の総計（これを「ｓｕｂ０」とする）を計算する。
【００２６】
また、画素差総計計算部１０３は、yl[4]と注目画素の右上の画素「２」の画素値（以下、これをyl[2]と記す）との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]とyl[1]との差、及びyl[4]と注目画素の右の画素「５」の画素値（以下、これをyl[5]と記す）との差の総計（これを「ｓｕｂ１」とする）を計算する。
【００２７】
また、画素差総計計算部１０４は、yl[4]と注目画素の左下の画素「６」の画素値（以下、これをyl[6]と記す）との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]とyl[3]との差、及びyl[4]と注目画素の下の画素「７」の画素値（以下、これをyl[7]と記す）との差の総計（これを「ｓｕｂ２」とする）を計算する。
【００２８】
更に、画素差総計計算部１０５は、yl[4]と注目画素の右下の画素「８」の画素値（以下、これをyl[8]と記す）との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]とyl[5]との差、及びyl[4]と注目画素とyl[7]との差の総計（これを「ｓｕｂ３」とする）を計算する。従って、以上の画素差総計計算部１０４〜１０５の各計算結果である画素差総計ｓｕｂ０〜ｓｕｂ３は次式で表される（ただし、上記の所定の定数をここでは「０.７」としている）。
【００２９】
ｓｕｂ０＝0.7×(yl[4]-yl[0])＋(yl[4]-yl[1])＋(yl[4]-yl[3])      （１）
ｓｕｂ１＝0.7×(yl[4]-yl[2])＋(yl[4]-yl[1])＋(yl[4]-yl[5])      （２）
ｓｕｂ２＝0.7×(yl[4]-yl[6])＋(yl[4]-yl[3])＋(yl[4]-yl[7])      （３）
ｓｕｂ３＝0.7×(yl[4]-yl[8])＋(yl[4]-yl[5])＋(yl[4]-yl[7])      （４）
この画素差総計ｓｕｂ０〜ｓｕｂ３は、注目画素の画素値yl[4]が、左上、右上、左下、右下に隣接する画素群の画素値に対してどれくらい大小があるかを評価するものである。この画素差総計ｓｕｂ０〜ｓｕｂ３を後のステップにおいて、この大小を抑える方向に高解像度画像において反映させることにより、画素値の変化の滑らかさが増加して、一定のマルコフ性が担保される。ここで、注目画素の画素値と、その注目画素に対して斜め方向の周辺画素の画素値との差に定数（ここでは、一例として「０.７」）を乗算しているのは、注目画素に対して注目画素の上下左右方向の周辺画素よりも斜め方向の周辺画素の方が物理的な画素間距離が長いことによる影響を補正したものである。なお、画素差総計ｓｕｂ０〜ｓｕｂ３の値は、正又は負の値又は０である。
【００３０】
次に、平均値計算部１０６が画素差総計ｓｕｂ０〜ｓｕｂ３の平均値（これを「ａｖｅ」とする）を次式により計算する（ステップＳ３）。
【００３１】
ａｖｅ＝（ｓｕｂ０＋ｓｕｂ１＋ｓｕｂ２＋ｓｕｂ３）／４        （５）
次に、偏差計算部１０７〜１１０が、対応して設けられた画素差総計計算部１０２〜１０５により計算された画素差総計ｓｕｂ０〜ｓｕｂ３と、平均値計算部１０６により計算された平均値ａｖｅとの差を偏差として計算する（ステップＳ４）。従って、偏差計算部１０７の計算結果である偏差ａｄｊ０、偏差計算部１０８の計算結果である偏差ａｄｊ１、偏差計算部１０９の計算結果である偏差ａｄｊ２、偏差計算部１１０の計算結果である偏差ａｄｊ３は、それぞれ次式で表される。
【００３２】
ａｄｊ０＝ｓｕｂ０−ａｖｅ        （６）
ａｄｊ１＝ｓｕｂ１−ａｖｅ        （７）
ａｄｊ２＝ｓｕｂ２−ａｖｅ        （８）
ａｄｊ３＝ｓｕｂ３−ａｖｅ        （９）
次に、乗算部１１１、１１２、１１３、１１４が、対応して設けられた偏差計算部１０７、１０８、１０９、１１０により計算された偏差ａｄｊ０、ａｄｊ１、ａｄｊ２、ａｄｊ３にそれぞれ定数Ｋを乗算する（ステップＳ５）。なお、定数Ｋは、実際の画像を見て評価するが、例えば０.０１〜０.１程度の範囲の値である。
【００３３】
候補係数計算部１５０では、yl[0]〜yl[8]の最大値をＭＡＸ、最小値をＭＩＮとして、下記のＡ０〜Ａ３、Ｂ０〜Ｂ３を計算する（ステップＳ１００）。
Ｋ＊ａｄｊ０＞ＭＡＸ−yl[4]のとき
Ａ０＝（ＭＡＸ−yl[4]）／（Ｋ＊ａｄｊ０）    （４０）
Ｋ＊ａｄｊ０＜０  かつ  Ｋ＊ａｄｊ０＜ＭＩＮ−yl[4]のとき
Ｂ０＝（ＭＩＮ−yl[4]）／（Ｋ＊ａｄｊ０）    （４１）
Ｋ＊ａｄｊ１＞ＭＡＸ−ｙｌ［４］のとき
Ａ１＝（ＭＡＸ−yl[4]）／（Ｋ＊ａｄｊ１）    （４２）
Ｋ＊ａｄｊ１＜０  かつ  Ｋ＊ａｄｊ１＜ＭＩＮ−yl[4]のとき
Ｂ１＝（ＭＩＮ−yl[4]）／（Ｋ＊ａｄｊ１）    （４３）
Ｋ＊ａｄｊ２＞ＭＡＸ−ｙｌ［４］のとき
Ａ２＝（ＭＡＸ−yl[4]）／（Ｋ＊ａｄｊ２）    （４４）
Ｋ＊ａｄｊ２＜０  かつ  Ｋ＊ａｄｊ２＜ＭＩＮ−yl[4]のとき
Ｂ２＝（ＭＩＮ−yl[4]）／（Ｋ＊ａｄｊ２）    （４５）
Ｋ＊ａｄｊ３＞ＭＡＸ−ｙｌ［４］のとき
Ａ３＝（ＭＡＸ−yl[4]）／（Ｋ＊ａｄｊ３）    （４６）
Ｋ＊ａｄｊ３＜０  かつ  Ｋ＊ａｄｊ３＜ＭＩＮ−yl[4]のとき
Ｂ３＝（ＭＩＮ−yl[4]）／（Ｋ＊ａｄｊ３）    （４７）
【００３４】
最小係数導出部１５１では、Ａ０〜Ａ３、Ｂ０〜Ｂ３のうちで最小のものを導出する（ステップＳ１０１）。なお、この最小値が１より大の場合、１を出力する。この最小係数をｃｆｅとする。
【００３５】
最小係数乗算部１５２〜１５５では、最小係数導出部１５１の導出結果を乗算部１１１〜１１４の出力に乗じる（ステップＳ１０２）。
【００３６】
次に、減算部１１５〜１１８は、低解像度画像入力部１０１により取り込まれた低解像度画像の注目画素の画素値yl[4]から、対応して設けられた最小係数乗算部１５２〜１５５での乗算結果を減算する（ステップＳ６）。これら減算部１１５〜１１８により得られる４つの減算結果は、低解像度画像の注目画素「４」の水平方向、垂直方向のサイズをそれぞれ２倍に拡大して得られる高解像度画像の４つの画素「４ａｌ」、「４ａｒ」、「４ｂｌ」、「４ｂｒ」の画素値（以下、これらをyh[4al]、yh[4ar]、yh[4bl]、yh[4br]と記す）を示す。ここで、上記の４つの画素「４ａｌ」、「４ａｒ」、「４ｂｌ」、「４ｂｒ」は、図４に示すように、縦６個、横６個の計３６個の中心の４個の画素であり、画素「４ａｌ」は拡大後の左上の画素、画素「４ａｒ」は拡大後の右上の画素、画素「４ｂｌ」は拡大後の左下の画素、画素「４ｂｒ」は拡大後の右下の画素である。
【００３７】
上記の減算部１１５から出力される減算結果が示す画素値yh[4al]、減算部１１６から出力される減算結果が示す画素値yh[4ar]、減算部１１７から出力される減算結果が示す画素値yh[4bl]、減算部１１８から出力される減算結果が示す画素値yh[4br]は、それぞれ次式で表される。
【００３８】
yh[4al]＝yl[4]−ｃｆｅ＊Ｋ＊ａｄｊ０          （１０）
yh[4ar]＝yl[4]−ｃｆｅ＊Ｋ＊ａｄｊ１          （１１）
yh[4bl]＝yl[4]−ｃｆｅ＊Ｋ＊ａｄｊ２          （１２）
yh[4br]＝yl[4]−ｃｆｅ＊Ｋ＊ａｄｊ３          （１３）
そして、高解像度画像出力部１１９は、上記の減算部１１５〜１１８により得られる４つの減算結果を合成して、低解像度画像の注目画素「４」の水平方向、垂直方向のサイズをそれぞれ２倍に拡大して得られる高解像度画像の、前記注目画素と同じサイズの図４に示す４つの画素「４ａｌ」、「４ａｒ」、「４ｂｌ」、「４ｂｒ」の画素値として出力する（ステップＳ７）。
【００３９】
ここで、上記の４つの偏差ａｄｊ０〜ａｄｊ３の合計値は、平均値ａｖｅからの偏差の平均なので０になる。結果的に次式が成立する。
【００４０】
(yh[4al]＋yh[4ar]＋yh[4bl]＋yh[4br])／４＝yl[4]        （１４）
これは、高解像度化を行っても４画素平均による低解像度化によって原画像に戻る条件が担保されていることを意味する。
【００４１】
また、式（１０）〜（１３）においてｃｆｅが乗算されることによって、yh[4al]、yh[4ar]、yh[4bl]、yh[4br]は近傍の画素値の範囲（ＭＩＮ〜ＭＡＸ）に収まることになり、目立つようなリンギングは回避される。
【００４２】
このようにして、本実施の形態によれば、マルコフ性の一定の確保を実現した低計算コストの画像拡大において、生成される値の範囲が近傍の画素値の範囲内に収まるような調整を行うことによって、大幅なリンギングの低減を実現できる。図１５と図１６に特許文献１と本実施例による二値的なストライプの拡大結果を示す。本実施例による処理結果がより二値的な結果を得ていることがわかる。
【００４３】
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。図５は、本発明になる画像処理装置の第２の実施の形態のブロック図、図６は、本発明になる画像処理方法の第２の実施の形態のフローチャートを示す。
【００４４】
図５において、本実施の形態の画像処理装置２００は、低解像度画像入力部２０１と、２つの画素差総計計算部２０２及び２０３と、平均値計算部２０４と、２つの偏差計算部２０５及び２０６と、偏差計算部２０５及び２０６に対応して設けられた２つの乗算部（「調整偏差計算部」に相当する）２０７及び２０８と、乗算部２０７及び２０８の乗算結果と入力画素近傍の画素値から係数の候補を計算する候補係数計算部２５０と、候補係数計算部２５０の計算結果から最小値を導出する最小係数導出部２５１と、最小係数導出部２５１の導出結果を乗算部２０７及び２０８の出力に乗じる最小係数乗算部２５２及び２５３と、最小係数乗算部２５２及び２５３に対応して設けられた２つの減算部２０９及び２１０と、減算部２０９及び２１０から出力された信号を合成して高解像度画像として出力する高解像度画像出力部２１１と、高解像度画像を左右に分離する左右分離部２１２とより構成される。最小係数乗算部２５２、２５３と減算部２０９、２１０とを組み合わせたものが「第１、第２の演算部」に相当する。
【００４５】
低解像度画像入力部２０１に入力されて取り込まれる低解像度画像は、処理前の解像度の画像であり、ＳＢＳ(Side-By-Side)方式の画像（以下、ＳＢＳ画像という）である。ここで、ＳＢＳ画像は、図７に示す１フレームの左目用画像１１Ｌ及び１フレームの右目用画像１１Ｒの２フレーム（すなわち、一組のステレオ画像）をそれぞれ水平方向に１／２にサイズを圧縮して得られた、図８に示す圧縮左目用画像１２Ａ及び圧縮右目用画像１２Ｂをそれぞれ水平方向に並べて１フレームとして伝送される画像である。
【００４６】
本実施の形態の画像処理装置２００は、このＳＢＳ画像から２枚の本来のサイズのステレオ画像（図７に示した左目用画像１１Ｌ及び右目用画像１１Ｒ）を得る画像処理を行うものとする。画像処理は輝度について行うものとして説明するが、色差や原色系に適用することも可能である。また、本実施の形態の画像処理装置２００は、図９に示すように、入力されるＳＢＳ画像の処理対象の注目画素を「４」で示す画素とすると、その注目画素を中心とする縦方向３個、横方向３個の「０」〜「３」、「５」〜「８」で示す計８個の周辺画素を用いて画像処理を行うものとする。
【００４７】
画素差総計計算部２０２及び２０３は、注目画素の画素値と所定の周辺画素の画素値（若しくはそれに定数を乗じた値）との差の総計を計算する。平均値計算部２０４は、画素差総計計算部２０２及び２０３からそれぞれ出力される２つの画素差総計の平均値を計算する。偏差計算部２０５及び２０６は、対応して設けられた画素差総計計算部２０２及び２０３からの画素差総計と平均値計算部２０４から出力される平均値との差を偏差として計算する。乗算部２０７及び２０８は、対応して設けられた偏差計算部２０５及び２０６から出力される偏差と定数Ｋ１とを乗算する。候補係数計算部２５０は、乗算部２０７〜２０８の乗算結果と上記「０」〜「８」の画素値から後段で利用される係数の候補を計算する。最小係数導出部２５１は、候補係数計算部２５０の計算結果から最小値を導出する。最小係数乗算部２５２〜２５３では、最小係数導出部２５１の導出結果を乗算部２０７〜２０８の出力に乗じる。減算部２０９及び２１０は、低解像度画像入力部２０１に入力される低解像度画像の画素値から対応して設けられた最小係数乗算部２５２〜２５３の乗算結果を減算して、それぞれ１フレームの画像サイズが水平方向に２倍に拡大された画素の画素値を出力する。左右分離部２１２は、高解像度画像出力部２１１から出力される１フレームの画像サイズが水平方向に２倍に拡大された画素からなる高解像度画像を左右に分離して１フレームの画像サイズが本来のサイズに戻された２枚の復号画像を出力する。
【００４８】
次に、本実施の形態の画像処理装置２００の動作について、図６のフローチャート等を併せ参照して説明する。
【００４９】
まず、低解像度画像入力部２０１が図８に示したような処理対象前の低解像度画像であるＳＢＳ画像を取り込む（ステップＳ１１）。続いて、画素差総計計算部２０２及び２０３が低解像度画像入力部２０１から出力されるＳＢＳ画像に対して画素差総計をそれぞれ計算する（ステップＳ１２）。ここで、画素差総計計算部２０２は、入力されるＳＢＳ画像の図９に示した処理対象の注目画素「４」の画素値yl[4]と注目画素の左上の画素「０」の画素値yl[0]との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]と注目画素の上の画素「１」の画素値yl[1]との差、及びyl[4]と注目画素の左の画素「３」の画素値yl[3]との差、及びyl[4]と注目画素の左下の画素「６」の画素値yl[6]との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]と注目画素の下の画素「７」の画素値yl[7]との差の総計（これを「ｓｕｂ１０」とする）を計算する。
【００５０】
また、画素差総計計算部２０３は、入力されるＳＢＳ画像の図９に示した処理対象の注目画素「４」の画素値yl[4]と注目画素の右上の画素「２」の画素値yl[2]との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]と注目画素の上の画素「１」の画素値yl[1]との差、及びyl[4]と注目画素の右の画素「５」の画素値yl[5]との差、及びyl[4]と注目画素の右下の画素「８」の画素値yl[8]との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]と注目画素の下の画素「７」の画素値yl[7]との差の総計（これを「ｓｕｂ１１」とする）を計算する。従って、以上の画素差総計計算部２０２及び２０３の各計算結果である画素差総計ｓｕｂ１０及びｓｕｂ１１は次式で表される（ただし、上記の所定の定数をここでは「０.７」としている）。
【００５１】
ｓｕｂ１０＝0.7×(yl[4]-yl[0])＋(yl[4]-yl[1])＋(yl[4]-yl[3])
＋0.7×(yl[4]-yl[6])＋(yl[4]-yl[7])              （１５）
ｓｕｂ１１＝0.7×(yl[4]-yl[2])＋(yl[4]-yl[1])＋(yl[4]-yl[5])
＋0.7×(yl[4]-yl[8])＋(yl[4]-yl[7])              （１６）
この画素差総計ｓｕｂ１０及びｓｕｂ１１は、注目画素の画素値yl[4]が、左、右に隣接する画素群の画素値に対してどれくらい大小があるかを評価するものである。この画素差総計ｓｕｂ１０及びｓｕｂ１１を後のステップにおいて、この大小を抑える方向に高解像度画像において反映させることにより、画素値の変化の滑らかさが増加して、一定のマルコフ性が担保される。ここで、注目画素の画素値と、その注目画素に対して斜め方向の周辺画素の画素値との差に定数（ここでは、一例として「０.７」）を乗算しているのは、注目画素に対して注目画素の上下左右方向の周辺画素よりも斜め方向の周辺画素の方が物理的な画素間距離が長いことによる影響を補正したものである。なお、画素差総計ｓｕｂ１０及びｓｕｂ１１の値は、正又は負の値又は０である。
【００５２】
次に、平均値計算部２０４が画素差総計ｓｕｂ１０及びｓｕｂ１１の平均値（これを「ａｖｅ１」とする）を次式により計算する（ステップＳ１３）。
【００５３】
ａｖｅ１＝（ｓｕｂ１０＋ｓｕｂ１１）／２        （１７）
次に、偏差計算部２０５及び２０６が、対応して設けられた画素差総計計算部２０２及び２０３により計算された画素差総計ｓｕｂ１０及びｓｕｂ１２と、平均値計算部２０４により計算された平均値ａｖｅ１との差を偏差として計算する（ステップＳ１４）。従って、偏差計算部２０５の計算結果である偏差ａｄｊ１０、偏差計算部２０６の計算結果である偏差ａｄｊ１１は、それぞれ次式で表される。
【００５４】
ａｄｊ１０＝ｓｕｂ１０−ａｖｅ１        （１８）
ａｄｊ１１＝ｓｕｂ１１−ａｖｅ１        （１９）
次に、乗算部２０７、２０８が、対応して設けられた偏差計算部２０５、２０６により計算された偏差ａｄｊ１０、ａｄｊ１１にそれぞれ定数Ｋ１を乗算する（ステップＳ１５）。なお、定数Ｋ１は、実際の画像を見て評価するが、例えば０.０１〜０.１程度の範囲の値である。
【００５５】
候補係数計算部２５０では、yl[0]〜yl[8]の最大値をＭＡＸ、最小値をＭＩＮとして、下記のＡ０〜Ａ１、Ｂ０〜Ｂ１を計算する（ステップＳ１１０）。
Ｋ１＊ａｄｊ０＞ＭＡＸ−ｙｌ［４］のとき
Ａ０＝（ＭＡＸ−ｙｌ［４］）／（Ｋ１＊ａｄｊ０）    （５０）
Ｋ１＊ａｄｊ０＜０  かつ  Ｋ１＊ａｄｊ０＜ＭＩＮ−ｙｌ［４］のとき
Ｂ０＝（ＭＩＮ−ｙｌ［４］）／（Ｋ１＊ａｄｊ０）    （５１）
Ｋ１＊ａｄｊ１＞ＭＡＸ−ｙｌ［４］のとき
Ａ１＝（ＭＡＸ−ｙｌ［４］）／（Ｋ１＊ａｄｊ１）    （５２）
Ｋ１＊ａｄｊ１＜０  かつ  Ｋ１＊ａｄｊ１＜ＭＩＮ−ｙｌ［４］のとき
Ｂ１＝（ＭＩＮ−ｙｌ［４］）／（Ｋ１＊ａｄｊ１）    （５３）
【００５６】
最小係数導出部２５１では、Ａ０〜Ａ１、Ｂ０〜Ｂ１のうちで最小のものを導出する（ステップＳ１１１）。なお、この最小値が１より大の場合、１を出力する。この最小係数をｃｆｅとする。
【００５７】
最小係数乗算部２５２〜２５３では、最小係数導出部２５１の導出結果を乗算部２０７〜２０８の出力に乗じる（ステップＳ１１２）。
【００５８】
次に、減算部２０９、２１０は、低解像度画像入力部２０１により取り込まれたＳＢＳ画像の注目画素の画素値yl[4]から、対応して設けられた最小係数乗算部２５２〜２５３の乗算結果を減算する（ステップＳ１６）。これら減算部２０９及び２１０により得られる２つの減算結果は、ＳＢＳ画像の注目画素「４」の水平方向のサイズを２倍に拡大して得られる高解像度画像の２つの画素「４ｌ」、「４ｒ」の画素値（以下、これらをyh[4l]、yh[4r]と記す）を示す。ここで、上記の２つの画素「４ｌ」、「４ｒ」は、図１０に示すように、縦３個、横６個の計１８個の中心の２個の画素であり、画素「４ｌ」は拡大後の左の画素、画素「４ｒ」は拡大後の右の画素である。
【００５９】
上記の減算部２０９から出力される減算結果が示す画素値yh[4l]、減算部２１０から出力される減算結果が示す画素値yh[4r]は、それぞれ次式で表される。
【００６０】
yh[4l]＝yl[4]−ｃｆｅ＊Ｋ１＊ａｄｊ１０          （２０）
yh[4r]＝yl[4]−ｃｆｅ＊Ｋ１＊ａｄｊ１１          （２１）
続いて、高解像度画像出力部２１１は、上記の減算部２０９及び２１０により得られる２つの減算結果を合成して、ＳＢＳ画像の注目画素「４」の水平方向のサイズをそれぞれ２倍に拡大して得られる高解像度画像の２つの画素「４ｌ」、「４ｒ」の画素値として出力する（ステップＳ１７）。そして、左右分離部２１２は、高解像度画像出力部２１１から出力される各画素の水平方向のサイズが入力時の２倍に拡大された高解像度画像の水平方向の中央位置で左右に２分割し、図７に示した１フレームの本来の画像サイズの左目用画像１１Ｌと、１フレームの本来の画像サイズの右目用画像１１Ｒとを分離出力する（ステップＳ１８）。
【００６１】
ここで、上記の２つの偏差ａｄｊ１０とａｄｊ１１との合計値は、平均値ａｖｅ１からの偏差の平均なので０になる。結果的に次式が成立する。
【００６２】
(yh[4l]＋yh[4r])／２＝yl[4]        （２２）
これは、高解像度化を行っても２画素平均による低解像度化によって原画像に戻る条件が担保されていることを意味する。
【００６３】
また、式（２０）〜（２１）においてｃｆｅが乗算されることによって、yh[4l]、yh[4r]は近傍の画素値の範囲（ＭＩＮ〜ＭＡＸ）に収まることになり、目立つようなリンギングは回避される。
【００６４】
このようにして、本実施の形態によれば、マルコフ性の一定の確保を実現した低計算コストのＳＢＳ画像の復号において、生成される値の範囲が近傍の画素値の範囲内に収まるような調整を行うことによって、大幅なリンギングの低減を実現できる。
【００６５】
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。図１１は、本発明になる画像処理装置の第３の実施の形態のブロック図、図１２は、本発明になる画像処理方法の第３の実施の形態のフローチャートを示す。
【００６６】
図１１において、本実施の形態の画像処理装置３００は、低解像度画像入力部３０１と、２つの画素差総計計算部３０２及び３０３と、平均値計算部３０４と、２つの偏差計算部３０５及び３０６と、偏差計算部３０５及び３０６に対応して設けられた２つの乗算部（「調整偏差計算部」に相当する）３０７及び３０８と、乗算部３０７及び３０８の乗算結果と入力画素近傍の画素値から係数の候補を計算する候補係数計算部３５０と、候補係数計算部３５０の計算結果から最小値を導出する最小係数導出部３５１と、最小係数導出部３５１の導出結果を乗算部３０７及び３０８の出力に乗じる最小係数乗算部３５２及び３５３と、最小係数乗算部３５２及び３５３に対応して設けられた２つの減算部３０９及び３１０と、減算部３０９及び３１０から出力された信号を合成して高解像度画像として出力する高解像度画像出力部３１１と、高解像度画像を上下に分離する上下分離部３１２とより構成される。最小係数乗算部３５２、３５３と減算部３０９、３１０とを組み合わせたものが「第１、第２の演算部」に相当する。
【００６７】
低解像度画像入力部３０１に入力されて取り込まれる低解像度画像は、処理前の解像度の画像であり、ＡＢ（Above-Below）方式の画像（以下、ＡＢ画像という）である。ここで、ＡＢ画像は、図７に示した１フレームの左目用画像１１Ｌ及び１フレームの右目用画像１１Ｒの２フレーム（すなわち、一組のステレオ画像）を、それぞれ垂直方向に１／２にサイズを圧縮して得られた、図１３に示す圧縮左目用画像１３Ａ及び圧縮右目用画像１３Ｂをそれぞれ垂直方向に並べて１フレームとして伝送される画像である。
【００６８】
本実施の形態の画像処理装置３００は、このＡＢ画像から２枚の本来のサイズのステレオ画像（図７に示した左目用画像１１Ｌ及び右目用画像１１Ｒ）を得る画像処理を行うものとする。画像処理は輝度について行うものとして説明するが、色差や原色系に適用することも可能である。また、本実施の形態の画像処理装置３００は、図９に示したように、入力されるＡＢ画像の処理対象の注目画素を「４」で示す画素とすると、その注目画素を中心とする縦方向３個、横方向３個の「０」〜「３」、「５」〜「８」で示す計８個の周辺画素を用いて画像処理を行うものとする。
【００６９】
画素差総計計算部３０２及び３０３は、注目画素の画素値と所定の周辺画素の画素値（若しくはそれに定数を乗じた値）との差の総計を計算する。平均値計算部３０４は、画素差総計計算部３０２及び３０３からそれぞれ出力される２つの画素差総計の平均値を計算する。偏差計算部３０５及び３０６は、対応して設けられた画素差総計計算部３０２及び３０３からの画素差総計と平均値計算部２０４から出力される平均値との差を偏差として計算する。乗算部３０７及び３０８は、対応して設けられた偏差計算部３０５及び３０６から出力される偏差と定数Ｋ２とを乗算する。候補係数計算部３５０は、乗算部３０７〜３０８の乗算結果と上記「０」〜「８」の画素値から後段で利用される係数の候補を計算する。最小係数導出部３５１は、候補係数計算部３５０の計算結果から最小値を導出する。最小係数乗算部３５２〜３５３では、最小係数導出部３５１の導出結果を乗算部３０７〜３０８の出力に乗じる。減算部３０９及び３１０は、低解像度画像入力部３０１に入力される低解像度画像の画素値から対応して設けられた最小係数乗算部３５２〜３５３の乗算結果を減算して、それぞれ１フレームの画像サイズが垂直方向に２倍に拡大された画素の画素値を出力する。上下分離部３１２は、高解像度画像出力部３１１から出力される１フレームの画像サイズが垂直方向に２倍に拡大された画素からなる高解像度画像を上下に分離して１フレームの画像サイズが本来のサイズに戻された２枚の復号画像を出力する。
【００７０】
次に、本実施の形態の画像処理装置３００の動作について、図１２のフローチャート等を併せ参照して説明する。
【００７１】
まず、低解像度画像入力部３０１が図１３に示したような処理対象前の低解像度画像であるＡＢ画像を取り込む（ステップＳ２１）。続いて、画素差総計計算部３０２及び３０３が低解像度画像入力部３０１から出力されるＡＢ画像に対して画素差総計をそれぞれ計算する（ステップＳ２２）。ここで、画素差総計計算部３０２は、入力されるＡＢ画像の図９に示した処理対象の注目画素「４」の画素値yl[4]と注目画素の左上の画素「０」の画素値yl[0]との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]と注目画素の上の画素「１」の画素値yl[1]との差、及びyl[4]と注目画素の右上の画素「２」の画素値yl[2]との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]と注目画素の左の画素「３」の画素値yl[3]との差、及びyl[4]と注目画素の右の画素「５」の画素値yl[5]との差の総計（これを「ｓｕｂ２０」とする）を計算する。
【００７２】
また、画素差総計計算部３０３は、入力されるＡＢ画像の図９に示した処理対象の注目画素「４」の画素値yl[4]と注目画素の左下の画素「６」の画素値yl[6]との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]と注目画素の左の画素「３」の画素値yl[3]との差、及びyl[4]と注目画素の右の画素「５」の画素値yl[5]との差、及びyl[4]と注目画素の右下の画素「８」の画素値yl[8]との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]と注目画素の下の画素「７」の画素値yl[7]との差の総計（これを「ｓｕｂ２１」とする）を計算する。従って、以上の画素差総計計算部３０２及び３０３の各計算結果である画素差総計ｓｕｂ２０及びｓｕｂ２１は次式で表される（ただし、上記の所定の定数をここでは「０.７」としている）。
【００７３】
ｓｕｂ２０＝0.7×(yl[4]-yl[0])＋(yl[4]-yl[1])＋0.7×(yl[4]-yl[2])
＋(yl[4]-yl[3])＋(yl[4]-yl[5])                    （２３）
ｓｕｂ２１＝(yl[4]-yl[3])＋(yl[4]-yl[5])＋0.7×(yl[4]-yl[6])
＋(yl[4]-yl[7])＋0.7×(yl[4]-yl[8])              （２４）
この画素差総計ｓｕｂ２０及びｓｕｂ２１は、注目画素の画素値yl[4]が、上、下に隣接する画素群の画素値に対してどれくらい大小があるかを評価するものである。この画素差総計ｓｕｂ２０及びｓｕｂ２１を後のステップにおいて、この大小を抑える方向に高解像度画像において反映させることにより、画素値の変化の滑らかさが増加して、一定のマルコフ性が担保される。ここで、注目画素の画素値と、その注目画素に対して斜め方向の周辺画素の画素値との差に定数（ここでは、一例として「０.７」）を乗算しているのは、注目画素に対して注目画素の上下左右方向の周辺画素よりも斜め方向の周辺画素の方が物理的な画素間距離が長いことによる影響を補正したものである。なお、画素差総計ｓｕｂ２０及びｓｕｂ２１の値は、正又は負の値又は０である。
【００７４】
次に、平均値計算部３０４が画素差総計ｓｕｂ２０及びｓｕｂ２１の平均値（これを「ａｖｅ２」とする）を次式により計算する（ステップＳ２３）。
【００７５】
ａｖｅ２＝（ｓｕｂ２０＋ｓｕｂ２１）／２        （２５）
次に、偏差計算部３０５及び３０６が、対応して設けられた画素差総計計算部３０２及び３０３により計算された画素差総計ｓｕｂ２０及びｓｕｂ２１と、平均値計算部３０４により計算された平均値ａｖｅ２との差を偏差として計算する（ステップＳ２４）。従って、偏差計算部３０５の計算結果である偏差ａｄｊ２０、偏差計算部３０６の計算結果である偏差ａｄｊ２１は、それぞれ次式で表される。
【００７６】
ａｄｊ２０＝ｓｕｂ２０−ａｖｅ２        （２６）
ａｄｊ２１＝ｓｕｂ２１−ａｖｅ２        （２７）
次に、乗算部３０７、３０８が、対応して設けられた偏差計算部３０５、３０６により計算された偏差ａｄｊ２０、ａｄｊ２１にそれぞれ定数Ｋ２を乗算する（ステップＳ２５）。なお、定数Ｋ２は、実際の画像を見て評価するが、例えば０.０１〜０.１程度の範囲の値である。
【００７７】
候補係数計算部３５０では、yl[0]〜yl[8]の最大値をＭＡＸ、最小値をＭＩＮとして、下記のＡ０〜Ａ１，Ｂ０〜Ｂ１を計算する（ステップＳ１２０）。
Ｋ２＊ａｄｊ０＞ＭＡＸ−ｙｌ［４］のとき
Ａ０＝（ＭＡＸ−ｙｌ［４］）／（Ｋ２＊ａｄｊ０）    （６０）
Ｋ２＊ａｄｊ０＜０  かつ  Ｋ２＊ａｄｊ０＜ＭＩＮ−ｙｌ［４］のとき
Ｂ０＝（ＭＩＮ−ｙｌ［４］）／（Ｋ２＊ａｄｊ０）    （６１）
Ｋ２＊ａｄｊ１＞ＭＡＸ−ｙｌ［４］のとき
Ａ１＝（ＭＡＸ−ｙｌ［４］）／（Ｋ２＊ａｄｊ１）    （６２）
Ｋ２＊ａｄｊ１＜０  かつ  Ｋ２＊ａｄｊ１＜ＭＩＮ−ｙｌ［４］のとき
Ｂ１＝（ＭＩＮ−ｙｌ［４］）／（Ｋ２＊ａｄｊ１）    （６３）
【００７８】
最小係数導出部３５１では、Ａ０〜Ａ１、Ｂ０〜Ｂ１のうちで最小のものを導出する（ステップＳ１２１）。なお、この最小値が１より大の場合、１を出力する。この最小係数をｃｆｅとする。
【００７９】
最小係数乗算部３５２〜３５３では、最小係数導出部３５１の導出結果を乗算部３０７〜３０８の出力に乗じる（ステップＳ１２２）。
【００８０】
次に、減算部３０９、３１０は、低解像度画像入力部３０１により取り込まれたＡＢ画像の注目画素の画素値yl[4]から、対応して設けられた最小係数乗算部３５２〜３５３の乗算結果を減算する（ステップＳ２６）。これら減算部３０９及び３１０により得られる２つの減算結果は、ＡＢ画像の注目画素「４」の垂直方向のサイズを２倍に拡大して得られる高解像度画像の２つの画素「４ａ」、「４ｂ」の画素値（以下、これらをyh[4a]、yh[4b]と記す）を示す。ここで、上記の２つの画素「４ａ」、「４ｂ」は、図１４に示すように、縦６個、横３個の計１８個の中心の２個の画素であり、画素「４ａ」は拡大後の上の画素、画素「４ｂ」は拡大後の下の画素である。
【００８１】
上記の減算部３０９から出力される減算結果が示す画素値yh[4a]、減算部３１０から出力される減算結果が示す画素値yh[4b]は、それぞれ次式で表される。
【００８２】
yh[4a]＝yl[4]−ｃｆｅ＊Ｋ２＊ａｄｊ２０          （２８）
yh[4b]＝yl[4]−ｃｆｅ＊Ｋ２＊ａｄｊ２１          （２９）
続いて、高解像度画像出力部３１１は、上記の減算部３０９及び３１０により得られる２つの減算結果を合成して、ＡＢ画像の注目画素「４」の垂直方向のサイズをそれぞれ２倍に拡大して得られる高解像度画像の２つの画素「４ａ」、「４ｂ」の画素値として出力する（ステップＳ２７）。そして、上下分離部３１２は、高解像度画像出力部３１１から出力される各画素の垂直方向のサイズが入力時の２倍に拡大された高解像度画像の垂直方向の中央位置で上下に２分割し、図７に示した１フレームの本来の画像サイズの左目用画像１１Ｌと、１フレームの本来の画像サイズの右目用画像１１Ｒとを分離出力する（ステップＳ２８）。
【００８３】
ここで、上記の２つの偏差ａｄｊ２０とａｄｊ２１との合計値は、平均値ａｖｅ２からの偏差の平均なので０になる。結果的に次式が成立する。
【００８４】
(yh[4a]＋yh[4b])／２＝yl[4]        （３０）
これは、高解像度化を行っても２画素平均による低解像度化によって原画像に戻る条件が担保されていることを意味する。
【００８５】
また、式（２８）〜（２９）においてｃｆｅが乗算されることによって、yh[4a]、yh[4b]は近傍の画素値の範囲（ＭＩＮ〜ＭＡＸ）に収まることになり、目立つようなリンギングは回避される。
【００８６】
このようにして、本実施の形態によれば、マルコフ性の一定の確保を実現した低計算コストのＡＢ画像の復号において、生成される値の範囲が近傍の画素値の範囲内に収まるような調整を行うことによって、大幅なリンギングの低減を実現できる。
【００８７】
本発明における処理において、リンギング低減に副作用として、輪郭のジャギが発生する場合があるが、この場合は原画の方向性をもとに、下記ＵＲＬなどに記載の方向性ガウシアンなどを利用して局所的な処理をおこなうことで問題解決が可能である。
http://jp.mathworks.com/help/images/apply-gaussian-smoothing-filters-to-images.html
【００８８】
上記の第１〜第３の実施の形態において、最大値ＭＡＸ、最小値ＭＩＮの代わりに、最大値よりも所定の値だけ大きい上限値、最小値よりも所定の値だけ小さい下限値を使用してもよい。
【００８９】
図１５は、特許文献１に開示された第１の実施の形態による処理結果の一例である。入力画像は黒色と灰色の縞模様であるが、高解像度化処理した結果の拡大画像では、黒色、白色、灰色の縞模様画像になっており、エッジにおいてリンギングが発生していることがわかる。
【００９０】
図１６は、本発明の第１の実施の形態による処理結果の一例である。図１５の場合と同じ入力画像を与えて高解像度化処理した結果である。拡大画像において、エッジにおけるリンギングの発生が抑えられていることがわかる。
【００９１】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００９２】
なお、実施の形態で説明した各装置の機能構成はハードウェア資源またはソフトウェア資源により、あるいはハードウェア資源とソフトウェア資源の協働により実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。
【符号の説明】
【００９３】
１００、２００、３００  画像処理装置
１０１、２０１、３０１  低解像度画像入力部
１０２〜１０５、２０２、２０３、３０２、３０３  画素差総計計算部
１０６、２０４、３０４  平均値計算部
１０７〜１１０、２０５、２０６、３０５、３０６  偏差計算部
１１１〜１１４、２０７、２０８、３０７、３０８  乗算部
１１５〜１１８、２０９、２１０、３０９、３１０  減算部
１１９、２１１、３１１  高解像度画像出力部
２１２  左右分離部
３１２  上下分離部
１５０、２５０、３５０  候補係数計算部
１５１、２５１、３５１  最小係数導出部
１５２〜１５５、２５２、２５３、３５２、３５３  最小係数乗算部
【図１】
0006627528.tif 000002
【図２】
0006627528.tif 000003
【図３】
0006627528.tif 000004
【図４】
0006627528.tif 000005
【図５】
0006627528.tif 000006
【図６】
0006627528.tif 000007
【図７】
0006627528.tif 000008
【図８】
0006627528.tif 000009
【図９】
0006627528.tif 000010
【図１０】
0006627528.tif 000011
【図１１】
0006627528.tif 000012
【図１２】
0006627528.tif 000013
【図１３】
0006627528.tif 000014
【図１４】
0006627528.tif 000015
【図１５】
0006627528.tif 000016
【図１６】
0006627528.tif 000017