(57)【要約】  拡大された画像がブロックノイズや混色により劣化している場合であっても、その拡大画像における輪郭を明瞭化し、画像を高品質化させる。輪郭抽出部１０３は、輝度勾配の強度と輝度勾配の方向とを用いて、補間画像内で輪郭を表す画素を判定する。輪郭補正部１０４は、輪郭を表す個々の画素毎に、その輪郭を表す画素から、その輪郭を表す画素の輝度勾配の方向に、定められた距離だけ離れた第１の隔離画素と、その方向を１８０°回転させた方向にその定められた距離だけ離れた第２の隔離画素とを特定し、輪郭を表す画素と第１の隔離画素との間の画素の色を、第１の隔離画素の色に補正し、第１の隔離画素と第２の隔離画素との間の画素のうち、第１の隔離画素の色に補正していない画素の色を第２の隔離画素の色に補正する。
2009081529.tif 000002
【特許請求の範囲】
【請求項１】
拡大前の画像の画素間に内挿された画素を含む拡大された画像である補間画像の各画素における輝度勾配の強度と輝度勾配の方向を計算する輝度勾配算出手段と、
前記輝度勾配の強度と前記輝度勾配の方向とを用いて、前記補間画像内で輪郭を表す画素を判定する輪郭抽出手段と、
輪郭を表す個々の画素毎に、当該輪郭を表す画素から、当該輪郭を表す画素の輝度勾配の方向に、定められた距離だけ離れた第１の隔離画素と、前記方向を１８０°回転させた方向に前記定められた距離だけ離れた第２の隔離画素とを特定し、前記輪郭を表す画素と前記第１の隔離画素との間の画素の色を、前記第１の隔離画素の色に補正し、前記第１の隔離画素と前記第２の隔離画素との間の画素のうち、前記第１の隔離画素の色に補正していない画素の色を前記第２の隔離画素の色に補正する輪郭補正手段とを備える
ことを特徴とする画像処理装置。
【請求項２】
前記輝度勾配算出手段は、前記輝度勾配の強度および前記輝度勾配の方向の計算対象画素を中心としてエッジ検出オペレータの係数と同じ配置となる複数の画素を特定し、特定した各画素それぞれについて、対応するエッジ検出オペレータの係数との積を計算し、その和を求めることにより、水平方向および垂直方向の輝度勾配を計算し、大きさが前記水平方向の輝度勾配であるベクトルと、大きさが垂直方向の輝度勾配であるベクトルとの合成ベクトルの大きさを前記計算対象画素の輝度勾配の強度とし、前記垂直方向の輝度勾配を前記水平方向の輝度勾配で除算した結果のアークタンジェントを輝度勾配の方向とし、
前記輪郭抽出手段は、輪郭を表す画素であるか否かの判定対象画素を選択し、前記判定対象画素の前記輝度勾配の強度が輪郭抽出閾値より大きく、前記判定対象画素の前記輝度勾配の方向の隣接画素および前記方向を１８０°回転させた方向の隣接画素それぞれの輝度勾配の強度よりも大きいときに、前記判定対象画素は輪郭を表す画素であると判定する
請求項１に記載の画像処理装置。
【請求項３】
前記拡大前の画像から前記補間画像への拡大率から、エッジ検出オペレータの係数を選択するための輝度勾配算出用パラメータと、前記輪郭抽出閾値と、第１の隔離画素および第２の隔離画素を特定するための距離とを定めるパラメータ設定手段を備え、
前記輝度勾配算出手段は、予め複数種類のエッジ検出オペレータの係数を保持し、前記輝度勾配算出用パラメータに応じたエッジ検出オペレータの係数を用いて前記輝度勾配の強度および前記輝度勾配の方向を計算し、
前記輪郭抽出手段は、前記パラメータ設定手段が定めた前記輪郭抽出閾値を用いて、前記輪郭を表す画素を特定し、
前記輪郭補正手段は、前記パラメータ設定手段が定めた前記距離を用いて、前記第１の隔離画素および前記第２の隔離画素を特定する
請求項２に記載の画像処理装置。
【請求項４】
前記パラメータ設定手段は、当該パラメータ設定手段に入力される拡大率から、前記輝度勾配算出用パラメータと、前記輪郭抽出閾値と、前記第１の隔離画素および前記第２の隔離画素を特定するための距離とを定める
請求項３に記載の画像処理装置。
【請求項５】
前記パラメータ設定手段は、予め定められた拡大率から、前記輝度勾配算出用パラメータと、前記輪郭抽出閾値と、前記第１の隔離画素および前記第２の隔離画素を特定するための距離とを定める
請求項３に記載の画像処理装置。
【請求項６】
拡大対象画像が入力され、当該拡大対象画像の画素間に画素を内挿することにより、前記拡大対象画像を拡大した前記補間画像を生成する補間画像生成手段を備える
請求項１から請求項５のうちのいずれか１項に記載の画像処理装置。
【請求項７】
入力画像をダウンサンプリングすることにより、前記入力画像よりも解像度の低い低解像度画像を生成するダウンサンプリング手段と、
前記低解像度画像を拡大する拡大画像生成手段と、
前記入力画像と前記拡大画像生成手段が拡大した画像の対応する画素同士の画素値の差である差分データを計算する画像減算手段とを備え、
前記拡大画像生成手段は、
拡大対象画像の画素間に画素を内挿することにより、前記拡大対象画像を拡大した補間画像を生成する補間画像生成手段と、
補間画像の各画素における輝度勾配の強度と輝度勾配の方向を計算する輝度勾配算出手段と、
前記輝度勾配の強度と前記輝度勾配の方向とを用いて、前記補間画像内で輪郭を表す画素を判定する輪郭抽出手段と、
輪郭を表す個々の画素毎に、当該輪郭を表す画素から、当該輪郭を表す画素の輝度勾配の方向に、定められた距離だけ離れた第１の隔離画素と、前記方向を１８０°回転させた方向に前記定められた距離だけ離れた第２の隔離画素とを特定し、前記輪郭を表す画素と前記第１の隔離画素との間の画素の色を、前記第１の隔離画素の色に補正し、前記第１の隔離画素と前記第２の隔離画素との間の画素のうち、前記第１の隔離画素の色に補正していない画素の色を前記第２の隔離画素の色に補正する輪郭補正手段とを有する
ことを特徴とする画像圧縮装置。
【請求項８】
前記輝度勾配算出手段は、前記輝度勾配の強度および前記輝度勾配の方向の計算対象画素を中心としてエッジ検出オペレータの係数と同じ配置となる複数の画素を特定し、特定した各画素それぞれについて、対応するエッジ検出オペレータの係数との積を計算し、その和を求めることにより、水平方向および垂直方向の輝度勾配を計算し、大きさが前記水平方向の輝度勾配であるベクトルと、大きさが垂直方向の輝度勾配であるベクトルとの合成ベクトルの大きさを前記計算対象画素の輝度勾配の強度とし、前記垂直方向の輝度勾配を前記水平方向の輝度勾配で除算した結果のアークタンジェントを輝度勾配の方向とし、
前記輪郭抽出手段は、輪郭を表す画素であるか否かの判定対象画素を選択し、前記判定対象画素の前記輝度勾配の強度が輪郭抽出閾値より大きく、前記判定対象画素の輝度勾配の方向の隣接画素および前記方向を１８０°回転させた方向の隣接画素それぞれの前記輝度勾配の強度よりも大きいときに、前記判定対象画素は輪郭を表す画素であると判定する
請求項７に記載の画像圧縮装置。
【請求項９】
原画像を低解像度化した低解像度画像と、前記原画像と前記低解像度画像の対応する画素同士の画素値の差である差分データとが入力され、前記低解像度画像を伸張する画像伸張装置であって、
前記低解像度画像を拡大する拡大画像生成手段と、
前記拡大画像生成手段が拡大した画像と前記差分データの対応する画素同士の画素値の和を計算する画像加算手段とを備え、
前記拡大画像生成手段は、
拡大対象画像の画素間に画素を内挿することにより、前記拡大対象画像を拡大した補間画像を生成する補間画像生成手段と、
前記補間画像の各画素における輝度勾配の強度と輝度勾配の方向を計算する輝度勾配算出手段と、
前記輝度勾配の強度と前記輝度勾配の方向とを用いて、前記補間画像内で輪郭を表す画素を判定する輪郭抽出手段と、
輪郭を表す個々の画素毎に、当該輪郭を表す画素から、当該輪郭を表す画素の輝度勾配の方向に、定められた距離だけ離れた第１の隔離画素と、前記方向を１８０°回転させた方向に前記距離だけ離れた第２の隔離画素とを特定し、前記輪郭を表す画素と前記第１の隔離画素との間の画素の色を、前記第１の隔離画素の色に補正し、前記第１の隔離画素と前記第２の隔離画素との間の画素のうち、前記第１の隔離画素の色に補正していない画素の色を前記第２の隔離画素の色に補正する輪郭補正手段とを有する
ことを特徴とする画像伸張装置。
【請求項１０】
前記輝度勾配算出手段は、前記輝度勾配の強度および前記輝度勾配の方向の計算対象画素を中心としてエッジ検出オペレータの係数と同じ配置となる複数の画素を特定し、特定した各画素それぞれについて、対応するエッジ検出オペレータの係数との積を計算し、その和を求めることにより、水平方向および垂直方向の輝度勾配を計算し、大きさが前記水平方向の輝度勾配であるベクトルと、大きさが垂直方向の輝度勾配であるベクトルとの合成ベクトルの大きさを前記計算対象画素の前記輝度勾配の強度とし、前記垂直方向の輝度勾配を前記水平方向の輝度勾配で除算した結果のアークタンジェントを前記輝度勾配の方向とし、
前記輪郭抽出手段は、輪郭を表す画素であるか否かの判定対象画素を選択し、前記判定対象画素の輝度勾配の強度が輪郭抽出閾値より大きく、前記判定対象画素の輝度勾配の方向の隣接画素および前記方向を１８０°回転させた方向の隣接画素それぞれの輝度勾配の強度よりも大きいときに、前記判定対象画素は輪郭を表す画素であると判定する
請求項９に記載の画像伸張装置。
【請求項１１】
画像圧縮装置と画像伸張装置とを備え、
前記画像圧縮装置は、
入力画像をダウンサンプリングすることにより、前記入力画像よりも解像度の低い低解像度画像を生成し、前記低解像度画像を前記画像伸張装置に送信するダウンサンプリング手段と、
前記低解像度画像を拡大する第１の拡大画像生成手段と、
前記入力画像と前記第１の拡大画像生成手段が拡大した画像の対応する画素同士の画素値の差である差分データを計算し、前記差分データを前記画像伸張装置に送信する画像減算手段とを有し、
前記画像伸張装置は、
前記画像圧縮装置から受信した低解像度画像を拡大する第２の拡大画像生成手段と、
前記第２の拡大画像生成手段が拡大した画像と、前記画像圧縮装置から受信した差分データの対応する画素同士の画素値の和を計算する画像加算手段とを有し、
前記第１の拡大画像生成手段および前記第２の拡大画像生成手段は、
拡大対象画像の画素間に画素を内挿することにより、前記拡大対象画像を拡大した補間画像を生成する補間画像生成手段と、
補間画像の各画素における輝度勾配の強度と輝度勾配の方向を計算する輝度勾配算出手段と、
前記輝度勾配の強度と前記輝度勾配の方向とを用いて、前記補間画像内で輪郭を表す画素を判定する輪郭抽出手段と、
輪郭を表す個々の画素毎に、当該輪郭を表す画素から、当該輪郭を表す画素の輝度勾配の方向に、定められた距離だけ離れた第１の隔離画素と、前記方向を１８０°回転させた方向に前記定められた距離だけ離れた第２の隔離画素とを特定し、前記輪郭を表す画素と前記第１の隔離画素との間の画素の色を、前記第１の隔離画素の色に補正し、前記第１の隔離画素と前記第２の隔離画素との間の画素のうち、前記第１の隔離画素の色に補正していない画素の色を前記第２の隔離画素の色に補正する輪郭補正手段とを含む
ことを特徴とする画像伝送システム。
【請求項１２】
拡大前の画像の画素間に内挿された画素を含む拡大された画像である補間画像の各画素における輝度勾配の強度と輝度勾配の方向を計算する輝度勾配算出ステップと、
前記輝度勾配の強度と前記輝度勾配の方向とを用いて、前記補間画像内で輪郭を表す画素を判定する輪郭抽出ステップと、
輪郭を表す個々の画素毎に、当該輪郭を表す画素から、当該輪郭を表す画素の輝度勾配の方向に、定められた距離だけ離れた第１の隔離画素と、前記方向を１８０°回転させた方向に前記定められた距離だけ離れた第２の隔離画素とを特定し、前記輪郭を表す画素と前記第１の隔離画素との間の画素の色を、前記第１の隔離画素の色に補正し、前記第１の隔離画素と前記第２の隔離画素との間の画素のうち、前記第１の隔離画素の色に補正していない画素の色を前記第２の隔離画素の色に補正する輪郭補正ステップとを含む
ことを特徴とする画像処理方法。
【請求項１３】
前記輝度勾配算出ステップで、前記輝度勾配の強度および前記輝度勾配の方向の計算対象画素を中心としてエッジ検出オペレータの係数と同じ配置となる複数の画素を特定し、特定した各画素それぞれについて、対応するエッジ検出オペレータの係数との積を計算し、その和を求めることにより、水平方向および垂直方向の輝度勾配を計算し、大きさが前記水平方向の輝度勾配であるベクトルと、大きさが垂直方向の輝度勾配であるベクトルとの合成ベクトルの大きさを前記計算対象画素の輝度勾配の強度とし、前記垂直方向の輝度勾配を前記水平方向の輝度勾配で除算した結果のアークタンジェントを輝度勾配の方向とし、
前記輪郭抽出ステップで、輪郭を表す画素であるか否かの判定対象画素を選択し、前記判定対象画素の輝度勾配の強度が輪郭抽出閾値より大きく、前記判定対象画素の輝度勾配の方向の隣接画素および前記方向を１８０°回転させた方向の隣接画素それぞれの輝度勾配の強度よりも大きいときに、前記判定対象画素は輪郭を表す画素であると判定する
請求項１２に記載の画像処理方法。
【請求項１４】
拡大前の画像の画素間に内挿された画素を含む拡大された画像である補間画像の各画素における輝度勾配の強度と輝度勾配の方向を計算する輝度勾配算出処理と、
前記輝度勾配の強度と前記輝度勾配の方向とを用いて、前記補間画像内で輪郭を表す画素を判定する輪郭抽出処理と、
輪郭を表す個々の画素毎に、当該輪郭を表す画素から、当該輪郭を表す画素の輝度勾配の方向に、定められた距離だけ離れた第１の隔離画素と、前記方向を１８０°回転させた方向に前記定められた距離だけ離れた第２の隔離画素とを特定し、前記輪郭を表す画素と前記第１の隔離画素との間の画素の色を、前記第１の隔離画素の色に補正し、前記第１の隔離画素と前記第２の隔離画素との間の画素のうち、前記第１の隔離画素の色に補正していない画素の色を前記第２の隔離画素の色に補正する輪郭補正処理と、
をコンピュータに実行させるための画像処理用プログラムを格納することを特徴とするコンピュータ読み出し可能な記憶媒体。
【請求項１５】
前記輝度勾配算出処理で、輝度勾配の強度および輝度勾配の方向の計算対象画素を中心としてエッジ検出オペレータの係数と同じ配置となる複数の画素を特定し、特定した各画素それぞれについて、対応するエッジ検出オペレータの係数との積を計算し、その和を求めることにより、水平方向および垂直方向の輝度勾配を計算し、大きさが前記水平方向の輝度勾配であるベクトルと、大きさが垂直方向の輝度勾配であるベクトルとの合成ベクトルの大きさを前記計算対象画素の輝度勾配の強度とし、前記垂直方向の輝度勾配を前記水平方向の輝度勾配で除算した結果のアークタンジェントを輝度勾配の方向とする処理と、
前記輪郭抽出処理で、輪郭を表す画素であるか否かの判定対象画素を選択し、前記判定対象画素の輝度勾配の強度が輪郭抽出閾値より大きく、前記判定対象画素の輝度勾配の方向の隣接画素および前記方向を１８０°回転させた方向の隣接画素それぞれの輝度勾配の強度よりも大きいときに、前記判定対象画素は輪郭を表す画素であると判定する処理と、
を前記コンピュータに実行させる画像処理用プログラムを格納することを特徴とする請求項１４に記載の記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像圧縮装置、画像伸張装置、画像伝送システムおよび記憶媒体に関し、特に拡大された画像の品質を向上させる画像処理装置、画像処理方法と、その画像処理装置を適用した画像圧縮装置、画像伸張装置、画像伝送システムおよび記憶媒体に関する。
【背景技術】
【０００２】
画像の拡大方法が種々提案されている。特に多く見られる方法は、画像のアップサンプリング後（あるいはアップリンクと同時に）、画像のフィルタ処理を行う方法である。また、増加させる画素の輝度を補間により求めることで画像を拡大する方法として、バイリニア補間やバイキュービック補間が知られている（例えば、非特許文献１参照）。図２７は、低解像度画像を倍率縦横各２倍にアップサンプリングした画像の例である。図２８は、拡大画像における画素の輝度をバイキュービック補間により補間した画像の例である。【０００３】
これらの手法では、拡大後の画像がぼける傾向がある。これは、画像拡大に伴い画像の高周波成分が失われるためである。そのため、失われた高周波成分を補い、本来の輪郭を復元するために、輪郭強調処理を適用するのが一般的である。【０００４】
輪郭強調のための画像処理装置の一例が、特許文献１に記載されている。図２９は、特許文献１に記載された画像処理装置を示すブロック図である。図２９に示すように、特許文献１に記載された画像処理装置は、輪郭成分抽出回路９０１、信号レベル検出回路９０２、および輪郭検出回路９０４からなる解析回路９２０と、パラメータ算出回路９０３と、輪郭補正回路９０５とを備えている。【０００５】
解析回路９２０には、入力映像信号Ｓｉと入力源判別信号Ｓｓｅｌが入力される。入力源判別信号Ｓｓｅｌは、入力映像信号Ｓｉの種別を示す信号であって、例えば入力映像信号ＳｉがＨＤＴＶ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｔｅｌｅｖｉｓｉｏｎ）方式に基づく映像信号である場合にはＨレベル（ハイレベル）となり、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ  Ｓｙｓｔｅｍ  Ｃｏｍｍｉｔｔｅｅ）方式に基づく映像信号である場合にはＬレベル（ローレベル）となる。【０００６】
上記画像処理装置において、輪郭成分抽出回路９０１は、入力源判別信号Ｓｓｅｌに応じて、入力映像信号Ｓｉの示す画像における輪郭に相当する成分である輪郭成分（「エッジ成分」または「輪郭信号」とも呼ばれる）Ｓａを入力映像信号Ｓｉから抽出する。輪郭成分抽出回路９０１は、高域通過フィルタで構成され、例えば２次微分フィルタを用いて入力映像信号Ｓｉの２次微分成分を抽出して輪郭成分Ｓａとして出力する。【０００７】
信号レベル検出回路９０２は、入力映像信号Ｓｉの信号レベルを検出し、その信号レベルを信号値とする信号を出力する。【０００８】
パラメータ算出回路９０３は、外部から第１のパラメータαｉと第２のパラメータβｉと第３のパラメータＤｉとを受け取り、これらの外部パラメータαｉ、βｉ、Ｄｉに基づき、輪郭の過強調を抑制するための第１の閾値としての過強調補正閾値α、微細画像の輪郭を強調するための第２の閾値としての微細成分強調閾値β、および、輪郭検出のための第３の閾値としての輪郭検出閾値Ｄを算出する。【０００９】
輪郭検出回路９０４は、入力映像信号Ｓｉの変化量を演算により求めた値と輪郭検出閾値Ｄとを比較し、その比較結果に基づき、輪郭の有無を示す輪郭検出信号Ｓｃを出力する。【００１０】
輪郭補正回路９０５は、輪郭成分抽出回路９０１から出力される輪郭成分Ｓａと、輪郭検出回路９０４から出力される輪郭検出信号Ｓｃと、パラメータ算出回路９０３から出力される過強調補正閾値α及び微細成分強調閾値βと、外部からゲイン調整パラメータとして与えられる係数γとを用いて、入力映像信号Ｓｉに対し輪郭強調のための信号処理を行い、この信号処理の結果として出力映像信号Ｓｄを生成する。【００１１】
また、非特許文献１には、ＥＭアルゴリズム（Ｅｘｐｅｃｔａｔｉｏｎ  Ｍａｘｉｍｉｚａｔｉｏｎアルゴリズム）が記載されている。【００１２】
【特許文献１】特開２００２−２９０７７３号公報  （段落００４１−００４３、図１）
【非特許文献１】高木幹雄、下田陽久監修、「新編  画像解析ハンドブック」、初版、財団法人東京大学出版会、２００４年９月１０日、ｐ．７２８−７３２，ｐ．１３６２−１３６７
【発明の開示】
【００１３】
拡大画像に輪郭強調を適用しても、目的とする輪郭を復元できないという問題があった。これは、輪郭周辺では、画像圧縮に伴うブロックノイズや、輪郭を境に隣接し合う複数の色の混色などの画質劣化が生じて、輪郭の形状が変化してしまっているためである。図３０は、バイキュービック補間による拡大画像に輪郭強調を適用した結果の例を示す画像である。図３０に例示するように、輪郭強調処理を行っても、輪郭が十分に明瞭となった画像とはなっていない。
【００１４】
本発明は、拡大された画像がブロックノイズや混色により劣化している場合であっても、その拡大画像における輪郭を明瞭化し、画像を高品質化させる画像処理装置、画像処理方法と、その画像処理装置を適用した画像圧縮装置、画像伸張装置、画像伝送システムおよび記憶媒体を提供することを目的とする。
【００１５】
本発明の画像処理装置は、拡大前の画像の画素間に内挿された画素を含む拡大された画像である補間画像の各画素における輝度勾配の強度と輝度勾配の方向を計算する輝度勾配算出部と、前記輝度勾配の強度と前記輝度勾配の方向とを用いて、前記補間画像内で輪郭を表す画素を判定する輪郭抽出部と、輪郭を表す個々の画素毎に、当該輪郭を表す画素から、当該輪郭を表す画素の輝度勾配の方向に、定められた距離だけ離れた第１の隔離画素と、前記方向を１８０°回転させた方向に前記定められた距離だけ離れた第２の隔離画素とを特定し、前記輪郭を表す画素と前記第１の隔離画素との間の画素の色を、前記第１の隔離画素の色に補正し、前記第１の隔離画素と前記第２の隔離画素との間の画素のうち、前記第１の隔離画素の色に補正していない画素の色を前記第２の隔離画素の色に補正する輪郭補正部とを備えることを特徴とする。
【００１６】
また、本発明の画像圧縮装置は、入力画像をダウンサンプリングすることにより、前記入力画像よりも解像度の低い低解像度画像を生成するダウンサンプリング部と、前記低解像度画像を拡大する拡大画像生成部と、前記入力画像と前記拡大画像生成部が拡大した画像の対応する画素同士の画素値の差である差分データを計算する画像減算部とを備え、前記拡大画像生成部は、拡大対象画像の画素間に画素を内挿することにより、前記拡大対象画像を拡大した補間画像を生成する補間画像生成部と、補間画像の各画素における輝度勾配の強度と輝度勾配の方向を計算する輝度勾配算出部と、前記輝度勾配の強度と前記輝度勾配の方向とを用いて、前記補間画像内で輪郭を表す画素を判定する輪郭抽出部と、輪郭を表す個々の画素毎に、当該輪郭を表す画素から、当該輪郭を表す画素の輝度勾配の方向に、定められた距離だけ離れた第１の隔離画素と、前記方向を１８０°回転させた方向に前記定められた距離だけ離れた第２の隔離画素とを特定し、前記輪郭を表す画素と前記第１の隔離画素との間の画素の色を、前記第１の隔離画素の色に補正し、前記第１の隔離画素と前記第２の隔離画素との間の画素のうち、前記第１の隔離画素の色に補正していない画素の色を前記第２の隔離画素の色に補正する輪郭補正部とを有することを特徴とする。
【００１７】
また、本発明の画像伸張装置は、原画像を低解像度化した低解像度画像と、前記原画像と前記低解像度画像の対応する画素同士の画素値の差である差分データとが入力され、前記低解像度画像を伸張する画像伸張装置であって、前記低解像度画像を拡大する拡大画像生成部と、前記拡大画像生成部が拡大した画像と前記差分データの対応する画素同士の画素値の和を計算する画像加算部とを備え、前記拡大画像生成部が、拡大対象画像の画素間に画素を内挿することにより、前記拡大対象画像を拡大した補間画像を生成する補間画像生成部と、補間画像の各画素における輝度勾配の強度と輝度勾配の方向を計算する輝度勾配算出部と、前記輝度勾配の強度と前記輝度勾配の方向とを用いて、前記補間画像内で輪郭を表す画素を判定する輪郭抽出部と、輪郭を表す個々の画素毎に、当該輪郭を表す画素から、当該輪郭を表す画素の輝度勾配の方向に、定められた距離だけ離れた第１の隔離画素と、前記方向を１８０°回転させた方向に前記定められた距離だけ離れた第２の隔離画素とを特定し、前記輪郭を表す画素と前記第１の隔離画素との間の画素の色を、前記第１の隔離画素の色に補正し、前記第１の隔離画素と前記第２の隔離画素との間の画素のうち、前記第１の隔離画素の色に補正していない画素の色を前記第２の隔離画素の色に補正する輪郭補正部とを有することを特徴とする。
【００１８】
また、本発明の画像伝送システムは、画像圧縮装置と画像伸張装置とを備え、前記画像圧縮装置が、入力画像をダウンサンプリングすることにより、前記入力画像よりも解像度の低い低解像度画像を生成し、前記低解像度画像を前記画像伸張装置に送信するダウンサンプリング部と、前記低解像度画像を拡大する第１の拡大画像生成部と、前記入力画像と前記第１の拡大画像生成部が拡大した画像の対応する画素同士の画素値の差である差分データを計算し、前記差分データを前記画像伸張装置に送信する画像減算部とを有し、前記画像伸張装置が、前記画像圧縮装置から受信した低解像度画像を拡大する第２の拡大画像生成部と、前記第２の拡大画像生成部が拡大した画像と、前記画像圧縮装置から受信した差分データの対応する画素同士の画素値の和を計算する画像加算部とを有し、前記第１の拡大画像生成部および前記第２の拡大画像生成部が、拡大対象画像の画素間に画素を内挿することにより、前記拡大対象画像を拡大した補間画像を生成する補間画像生成部と、補間画像の各画素における輝度勾配の強度と輝度勾配の方向を計算する輝度勾配算出部と、前記輝度勾配の強度と前記輝度勾配の方向とを用いて、前記補間画像内で輪郭を表す画素を判定する輪郭抽出部と、輪郭を表す個々の画素毎に、当該輪郭を表す画素から、当該輪郭を表す画素の輝度勾配の方向に、定められた距離だけ離れた第１の隔離画素と、前記方向を１８０°回転させた方向に前記定められた距離だけ離れた第２の隔離画素とを特定し、前記輪郭を表す画素と前記第１の隔離画素との間の画素の色を、前記第１の隔離画素の色に補正し、前記第１の隔離画素と前記第２の隔離画素との間の画素のうち、前記第１の隔離画素の色に補正していない画素の色を前記第２の隔離画素の色に補正する輪郭補正部とを含むことを特徴とする。
【００１９】
また、本発明の画像処理方法は、拡大前の画像の画素間に内挿された画素を含む拡大された画像である補間画像の各画素における輝度勾配の強度と輝度勾配の方向を計算する輝度勾配算出ステップと、前記輝度勾配の強度と前記輝度勾配の方向とを用いて、前記補間画像内で輪郭を表す画素を判定する輪郭抽出ステップと、輪郭を表す個々の画素毎に、当該輪郭を表す画素から、当該輪郭を表す画素の輝度勾配の方向に、定められた距離だけ離れた第１の隔離画素と、前記方向を１８０°回転させた方向に前記定められた距離だけ離れた第２の隔離画素とを特定し、前記輪郭を表す画素と前記第１の隔離画素との間の画素の色を、前記第１の隔離画素の色に補正し、前記第１の隔離画素と前記第２の隔離画素との間の画素のうち、前記第１の隔離画素の色に補正していない画素の色を前記第２の隔離画素の色に補正する輪郭補正ステップとを含むことを特徴とする。
【００２０】
また、本発明の記憶媒体は、拡大前の画像の画素間に内挿された画素を含む拡大された画像である補間画像の各画素における輝度勾配の強度と輝度勾配の方向を計算する輝度勾配算出処理と、前記輝度勾配の強度と前記輝度勾配の方向とを用いて、前記補間画像内で輪郭を表す画素を判定する輪郭抽出処理と、輪郭を表す個々の画素毎に、当該輪郭を表す画素から、当該輪郭を表す画素の輝度勾配の方向に、定められた距離だけ離れた第１の隔離画素と、前記方向を１８０°回転させた方向に前記定められた距離だけ離れた第２の隔離画素とを特定し、前記輪郭を表す画素と前記第１の隔離画素との間の画素の色を、前記第１の隔離画素の色に補正し、前記第１の隔離画素と前記第２の隔離画素との間の画素のうち、前記第１の隔離画素の色に補正していない画素の色を前記第２の隔離画素の色に補正する輪郭補正処理と、をコンピュータに実行させるための画像処理用プログラムを格納することを特徴とする。
【００２１】
本発明によれば、拡大された画像がブロックノイズや混色により劣化している場合であっても、その拡大画像における輪郭を明瞭化し、画像を高品質化させることができる。
【図面の簡単な説明】
【００２２】
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
【図１】本発明の第１の実施形態の画像処理システムの例を示すブロック図である。
【図２】輝度勾配強度および輝度勾配方向を示す説明図である。
【図３】第１の実施形態の処理経過の例を示すフローチャートである。
【図４】Ｓｏｂｅｌフィルタの係数の例を示す説明図である。
【図５】輝度勾配の計算対象画素を中心とするｎ行ｎ列（３行３列）の各画素の輝度値を示すイメージ図である。
【図６】輪郭を表す画素の判定処理の例を示す説明図である。
【図７】輪郭周辺の画素の補正処理の例を示す説明図である。
【図８】輪郭補正部による補正処理結果の例を示す画像である。
【図９】第１の実施形態の変形例を示すブロック図である。
【図１０】画素毎の輝度勾配の起伏を示すイメージ図である。
【図１１】画像の拡大前後における輪郭付近での画素値の変化を示すイメージ図である。
【図１２】第１の実施形態の変形例の処理経過を示すフローチャートである。
【図１３】第１の実施形態の他の変形例を示すブロック図である。
【図１４】第１の実施形態の他の変形例の処理経過を示すフローチャートである。
【図１５】バイリニア補間の例を示すイメージ図である。
【図１６】バイキュービック補間の例を示すイメージ図である。
【図１７】本発明の第２の実施形態の画像処理システムの例を示すブロック図である。
【図１８】クラスタリングおよび代表色を説明するイメージ図である。
【図１９】第２の実施形態の処理経過の例を示すフローチャートである。
【図２０】第２の実施形態の変形例を示すブロック図である。
【図２１】第２の実施形態の変形例の処理経過を示すフローチャートである。
【図２２】第２の実施形態の他の変形例を示すブロック図である。
【図２３】第２の実施形態の他の変形例の処理経過を示すフローチャートである。
【図２４】第２の実施形態の他の変形例を示すブロック図である。
【図２５】第２の実施形態の他の変形例の処理経過を示すフローチャートである。
【図２６】本発明の第３の実施形態を示すブロック図である。
【図２７】低解像度画像のアップサンプリング結果の例を示す画像である。
【図２８】バイキュービック補間の結果の例を示す画像である。
【図２９】特許文献１に記載された画像処理装置を示すブロック図である。
【図３０】バイキュービック補間による拡大画像に輪郭強調を適用した結果の例を示す画像である。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施形態について図面を参照して説明する。【００２４】
実施形態１
図１は、本発明の第１の実施形態の画像処理システムの例を示すブロック図である。第１の実施形態の画像処理システムは、例えば、プログラム制御により動作するコンピュータ１００によって実現される。コンピュータ１００は、中央処理装置（プロセッサ、データ処理装置でもよい。）を備える計算機である。【００２５】
画像処理システムとなるコンピュータ１００は、輝度勾配算出部１０２と、輪郭抽出部１０３と、輪郭補正部１０４とを含む。【００２６】
輝度勾配算出部１０２には、補間処理（例えば、バイリニア補間やバイキュービック補間）によって拡大された画像（以下、補間画像と記す。）Ｓａが入力される。補間画像Ｓａは、拡大前の画像の画素間に内挿された画素を含む拡大された画像である。輝度勾配算出部１０２は、補間画像Ｓａの画素毎に、輝度勾配の強度（以下、輝度勾配強度）、および輝度勾配の方向（以下、輝度勾配方向）を計算する。なお、ここでは、低解像度画像（拡大前の画像）から拡大後の画像への拡大率が一定である場合を例にして説明する。【００２７】
輝度勾配とは、画素の輝度が、その画素の近傍の画素に対してどれだけ変化しているかを表す値である。例えば、座標が１変化したときの、画素の輝度の変化量である。輝度勾配が大きいほど、輝度の変化量が大きいことになる。輝度勾配は、ｘ軸方向（水平方向）、ｙ軸方向（垂直方向）それぞれについて計算される。図２は、輝度勾配強度および輝度勾配方向を示す説明図である。図２では、画像中の一つの画素７１に着目して輝度勾配強度および輝度勾配方向を説明するが、他の各画素についても同様に輝度勾配強度および輝度勾配方向が算出される。一つの画素７１における水平方向の輝度の変化量を表す値が、画素７１におけるｘ軸方向の輝度勾配である。図２に示すベクトル７２は、大きさが画素７１におけるｘ軸方向の輝度勾配であり、ｘ軸方向を向くベクトルである。以下、このベクトル７２をｘ軸方向輝度勾配ベクトルと記す。また、画素７１における垂直方向の輝度の変化量を表す値が、画素７１におけるｙ軸方向の輝度勾配である。図２に示すベクトル７３は、大きさが画素７１におけるｙ軸方向の輝度勾配であり、ｙ軸方向を向くベクトルである。以下、このベクトル７３をｙ軸方向輝度勾配ベクトルと記す。画素７１における輝度勾配強度とは、ｘ軸方向輝度勾配ベクトル７２とｙ軸方向輝度勾配ベクトル７３の合成ベクトル７４（図２参照）の大きさである。また、画素７１における輝度勾配方向とは、基準となる方向（具体的にはｘ軸方向）と上記の合成ベクトル７４の方向とのなす角度である。図２では、輝度勾配方向を"θ"として表している。輝度勾配算出部１０２は、補間画像Ｓａの画素毎に、輝度勾配強度（合成ベクトル７４の大きさ）、および輝度勾配方向（θ）を求める。【００２８】
輪郭抽出部１０３は、各画素における輝度勾配強度および輝度勾配方向を用いて、補完画像Ｓａに含まれる画素のうち劣化する前の本来の輪郭を表す画素を判定する。例えば、輪郭抽出部１０３は、輪郭を表す画素であるか否かの判定対象となる画素（以下、輪郭判定対象画素）を中心として、輝度勾配方向の隣接画素と、その反対方向の隣接画素の輝度勾配強度を比較する。そして、輪郭抽出部１０３は、輪郭判定対象画素の輝度勾配強度が閾値（輪郭抽出閾値）よりも大きく、また上記の２つの隣接画素における輝度勾配強度よりも大きいことを条件に、輪郭判定対象画素は輪郭上の画素（輪郭を表す画素）であると判定する。【００２９】
輪郭補正部１０４は、輪郭を境に接する２つの領域それぞれを代表する代表色を推定し、これに基づいて輪郭周辺の色を補正する。輪郭補正部１０４は、輪郭を表す画素（基準画素と記す。）からその基準画素における輝度勾配方向に一定距離離れた画素（第１の隔離画素と記す。）を特定する。輪郭補正部１０４は、第１の隔離画素の色を第１の代表色とし、基準画素と第１の隔離画素とを結ぶ直線上に存在する各画素を、第１の代表色に補正する。また、輪郭を表す画素（基準画素）からその基準画素における輝度勾配方向を１８０°回転した方向に一定距離離れた画素（第２の隔離画素と記す。）を特定する。輪郭補正部１０４は、第２の隔離画素の色を、第２の代表色とし、第１の隔離画素と第２の隔離画素とを結ぶ直線上に存在する各画素のうち、第１の代表色に補正していない画素を、第２の代表色に補正する。輪郭補正部１０４は、この処理を、輪郭を表す画素毎に行う。なお、ここでは、上記の一定距離が、予め定められているものとする。【００３０】
輪郭補正部１０４が輪郭上の画素の近傍の画素の色を補正することにより、目的とする高品質な拡大画像が得られる。【００３１】
輝度勾配算出部１０２と、輪郭抽出部１０３と、輪郭補正部１０４は、例えば、プログラムに従って動作する中央処理装置（ＣＰＵ）によって実現される。すなわち、中央処理装置が、コンピュータ１００が備える記憶装置（図示せず。）から画像処理用プログラムを読み込み、画像処理用プログラムに従って、輝度勾配算出部１０２、輪郭抽出部１０３および輪郭補正部１０４として動作してもよい。また、輝度勾配算出部１０２、輪郭抽出部１０３および輪郭補正部１０４がそれぞれ別個の回路として実現されていてもよい。【００３２】
次に、動作について詳細に説明する。
図３は、第１の実施形態の処理経過の例を示すフローチャートである。画像処理システムには、補間処理により拡大された補間画像Ｓａ（例えば、図２８に例示する画像）が入力される。画像処理システムは、補間画像Ｓａにおける輪郭部分の周辺の画素の色（具体的には画素値）を補正して、輪郭が明瞭な高品質の画像を生成する。【００３３】
本実施形態では、輝度勾配算出部１０２および輪郭補正部１０４に補間画像Ｓａが入力される。補間画像Ｓａが入力されると、輝度勾配算出部１０２は、補間画像Ｓａの画素毎に輝度勾配強度および輝度勾配方向を算出し、各画素の輝度勾配強度および輝度勾配方向を輪郭抽出部１０３に出力する（ステップＳ１１）。このとき、輝度勾配算出部１０２は、各画素の輝度勾配方向を輪郭補正部１０４にも出力する。以下、輝度勾配強度をＳｂと記し、輝度勾配方向をＳｃと記す。また、座標を指定して、輝度勾配強度Ｓｂおよび輝度勾配方向Ｓｃを表す場合もある。すなわち、座標（ｘ，ｙ）における輝度勾配強度をＳｂ（ｘ，ｙ）と記し、座標（ｘ，ｙ）における輝度勾配方向ＳｃをＳｃ（ｘ，ｙ）と記す場合がある。【００３４】
ステップＳ１１において、まず輝度勾配算出部１０２は、個々の画素毎に、画素値から輝度値を特定する。画素値は、入力された画像の個々の画素に設定されている値であり、例えば、画素がＲＧＢ形式で表されている場合、画素の画素値はＲ，Ｇ，Ｂそれぞれの濃淡を表す値である。輝度値は、輝度の大きさを表す値である。例えば、画素がＲＧＢ形式で表されているとする。この場合、輝度勾配算出部１０２は、個々の画素毎に以下に示す式（１）の計算を行い、各画素の輝度値を計算すればよい。【００３５】
Ｙ（ｘ，ｙ）＝０．２９９・Ｒ（ｘ，ｙ）＋０．５８７・Ｇ（ｘ，ｙ）＋０．１１４・Ｂ（ｘ，ｙ）    式（１）【００３６】
式（１）においてＹ（ｘ，ｙ）は、座標（ｘ，ｙ）の画素の輝度値である。また、Ｒ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）は、座標（ｘ，ｙ）の画素におけるＲ，Ｇ，Ｂの画素値である。【００３７】
ステップＳ１１において、輝度勾配算出部１０２は、各画素の輝度値から輝度勾配強度および輝度勾配方向を計算する。輝度勾配算出部１０２が輝度勾配強度および輝度勾配方向を計算する処理の例を説明する。輝度勾配強度および輝度勾配方向の計算処理として、例えば、エッジ検出オペレータを用いる方法がある。エッジ検出オペレータを用いる方法では、予め定められｎ行ｎ列に配置された値（係数）と、画像中に含まれるｎ行ｎ列の画素とを対応させて、対応する係数と画素の輝度値との積を求め、その和を計算することにより、輝度勾配を計算する。この計算に用いる係数をエッジ検出オペレータの係数と呼ぶ。エッジ検出オペレータの例として、Ｓｏｂｅｌフィルタ、Ｒｏｂｉｎｓｏｎのオペレータ、Ｐｒｅｗｉｔｔのオペレータ等が挙げられる。以下、Ｓｏｂｅｌフィルタの係数を用いて、輝度勾配を計算する場合を例示するが、他のエッジ検出オペレータの係数（Ｒｏｂｉｎｓｏｎのオペレータの係数やＰｒｅｗｉｔｔのオペレータの係数等）を用いる場合の処理も同様である。【００３８】
Ｓｏｂｅｌフィルタの係数は、３行３列、５行５列、７行７列等のように所定の数を並べたｎ行ｎ列の数の並びとして予め定められている。ここで、ｎは奇数である。また、Ｓｏｂｅｌフィルタの係数として、水平方向の輝度勾配算出のために用いられる係数と、垂直方向の輝度勾配算出のために用いられる係数の２種類が定められる。図４は、Ｓｏｂｅｌフィルタの係数の例を示す説明図である。以下、Ｓｏｂｅｌフィルタの係数が、３行３列の数の並びである場合を例にして説明する。図４（ａ）は、水平方向（ｘ軸方向）の輝度勾配算出に用いるＳｏｂｅｌフィルタ（以下、水平方向Ｓｏｂｅｌフィルタと記す。）の係数を示している。また、図４（ｂ）は、垂直方向（ｙ軸方向）の輝度勾配算出に用いるＳｏｂｅｌフィルタ（以下、垂直方向Ｓｏｂｅｌフィルタと記す。）の係数を示している。【００３９】
輝度勾配算出部１０２は、補間画像Ｓａの各輝度値に水平方向Ｓｏｂｅｌフィルタを畳み込み、水平方向の輝度勾配画像（Ｄｈとする。）を生成する。また、輝度勾配算出部１０２は、補間画像Ｓａに垂直方向Ｓｏｂｅｌフィルタを畳み込み、垂直方向の輝度勾配画像（Ｄｖとする。）を生成する。水平方向の輝度勾配画像Ｄｈは、個々の画素に対して、補間画像Ｓａにおける対応画素の水平（ｘ軸）方向の輝度勾配を割り当てた画像である。垂直方向の輝度勾配画像Ｄｖは、個々の画素に対して、補間画像Ｓａにおける対応画素の垂直（ｙ軸）方向の輝度勾配を割り当てた画像である。【００４０】
また、Ｓｏｂｅｌフィルタの畳み込みとは、輝度勾配の計算対象とする画素を中心とする、Ｓｏｂｅｌフィルタの係数と同じ配置の複数の画素を特定し、その各画素それぞれについて、対応するＳｏｂｅｌフィルタの係数との積を計算し、その積の和を求める処理である。ここでは、Ｓｏｂｅｌフィルタの係数が３行３列の数の並びである場合を例にしているので、輝度勾配算出部１０２は、輝度勾配の計算対象画素を中心とする３行３列の画素を特定する。図５は、輝度勾配の計算対象画素を中心とするｎ行ｎ列（３行３列）の各画素の輝度値を示すイメージ図である。輝度勾配算出部１０２は、図５に例示する輝度値ｌ〜ｔの９個の画素を特定すると、その複数の画素毎に、輝度値と、対応するＳｏｂｅｌフィルタの係数との積を計算する。特定したｎ行ｎ列の画素の中心に位置する計算対象画素は、ｎ行ｎ列のＳｏｂｅｌフィルタの係数のうち中心に配置された係数に対応する。また、計算対象画素を基準とする画素の位置が、Ｓｏｂｅｌフィルタの係数のうち中心に配置された係数を基準とする係数の位置と同じ位置になっている場合、その画素および係数は対応しているものとする。例えば、図５に例示する輝度値ｑの画素は、図４（ａ）に示すＳｏｂｅｌフィルタの係数"２"に対応する。輝度勾配算出部１０２は、対応するＳｏｂｅｌフィルタの係数と、画素の輝度値との積を計算し、その和を求める。【００４１】
図４（ａ），（ｂ）に示すように、Ｓｏｂｅｌフィルタの係数は水平方向、垂直方向の２種類あるので、輝度勾配算出部１０２は、水平方向Ｓｏｂｅｌフィルタ、垂直方向Ｓｏｂｅｌフィルタそれぞれを用いて上記の計算を行う。水平方向Ｓｏｂｅｌフィルタの係数の並びに含まれる個々の係数をＳｏｂｅｌｈ（ｉ，ｊ）と表すとする。ｉは係数の並びにおける列を表し、ここでは−１，０，１の値をとる。また、ｊは係数の並びにおける行を表し、ここでは−１，０，１の値をとる。補間画像Ｓａにおける座標（ｘ，ｙ）の画素の輝度値をＳａ（ｘ，ｙ）と表す。このとき、輝度勾配算出部１０２は、上記の積および和の計算として、以下に示す式（２）の計算を行うことにより、座標（ｘ，ｙ）の画素における水平方向の輝度勾配（Ｄｈ（ｘ，ｙ）とする。）を求めることができる。【００４２】
【数１】
2009081529.tif 000003
【００４３】
また、垂直方向Ｓｏｂｅｌフィルタの係数の並びに含まれる個々の係数をＳｏｂｅｌｖ（ｉ，ｊ）と表すとする。このとき、輝度勾配算出部１０２は、上記の積および和の計算として、以下に示す式（３）の計算を行うことにより、座標（ｘ，ｙ）の画素における垂直方向の輝度勾配（Ｄｖ（ｘ，ｙ）とする。）を求めることができる。【００４４】
【数２】
2009081529.tif 000004
【００４５】
輝度勾配算出部１０２は、補間画像Ｓａ中の各画素について、水平方向、垂直方向の輝度勾配を求める。さらに、輝度勾配算出部１０２は、水平方向、垂直方向の輝度勾配を用いて、画素毎に、輝度勾配強度および輝度勾配方向を計算する。【００４６】
座標（ｘ，ｙ）の輝度勾配強度Ｓｂ（ｘ，ｙ）は、ｘ軸方向輝度勾配ベクトル７２とｙ軸方向輝度勾配ベクトル７３の合成ベクトル７４の大きさである（図２参照）。輝度勾配算出部１０２は、このベクトルの大きさ（輝度勾配強度Ｓｂ（ｘ，ｙ））を計算する。輝度勾配算出部１０２は、以下に示す式（４）の計算により、輝度勾配強度Ｓｂ（ｘ，ｙ）を計算してもよい。【００４７】
Ｓｂ（ｘ，ｙ）＝ａｂｓ（Ｄｈ（ｘ，ｙ））＋ａｂｓ（Ｄｖ（ｘ，ｙ））  式（４）【００４８】
式（４）は、合成ベクトルの大きさを求める近似式である。また、輝度勾配算出部１０２は、式（４）の近似式ではなく、以下に示す式（５）の計算によって輝度勾配強度Ｓｂ（ｘ，ｙ）を計算してもよい。【００４９】
Ｓｂ（ｘ，ｙ）＝√（Ｄｈ（ｘ，ｙ）２＋Ｄｖ（ｘ，ｙ）２）    式（５）【００５０】
また、輝度勾配算出部１０２は、座標（ｘ，ｙ）の輝度勾配方向Ｓｃ（ｘ，ｙ）を、以下に示す式（６）の計算により求めればよい。【００５１】
Ｓｃ（ｘ，ｙ）＝ｔａｎ−１（Ｄｖ（ｘ，ｙ）／Ｄｈ（ｘ，ｙ））    式（６）【００５２】
なお、輝度勾配算出部１０２は、算出した輝度勾配強度Ｓｂ、輝度勾配方向Ｓｃを適当なステップで量子化しておいてもよい。すなわち、輝度勾配算出部１０２は、計算した輝度勾配強度および輝度勾配方向を、より少ないビット数で表すように変換してもよい。例えば、計算した輝度勾配強度が８ビットで表されている場合、３ビットで表すように変換してもよい。８ビットを３ビットに変換する場合、８ビットで表される輝度勾配強度を１６で除算し、小数点以下を四捨五入すればよい。【００５３】
次に、輪郭抽出部１０３は、輝度勾配算出部１０２が算出した各画素の輝度勾配強度Ｓｂ、輝度勾配方向Ｓｃと、輪郭抽出閾値Ｐｃとを用いて、補間画像Ｓａ中で輪郭を表している画素を判定する（ステップＳ１２）。ここでは、輪郭抽出閾値Ｐｃは、予め定められているものとする。図６は、輪郭を表す画素の判定処理の例を示す説明図である。図６に示す画素３００は、輪郭判定対象画素である。また、図６に示す方向３０１は、輪郭判定対象画素３００の輝度勾配方向（Ｓｃ（ｘ，ｙ））を示している。図６に示す方向３０２は、輪郭判定対象画素の輝度勾配方向３０２をπラジアン（１８０°）回転させた方向（Ｓｃ（ｘ，ｙ）＋π）を示している。輪郭抽出部１０３は、輪郭判定対象画素３００の輝度勾配強度が輪郭抽出閾値Ｐｃよりも大きく、かつ、輪郭判定対象画素の輝度勾配方向３０１の隣接画素３０３の輝度勾配強度と、輝度勾配方向３０１を１８０°回転させた方向３０２の隣接画素３０４の輝度勾配強度のいずれよりも大きい場合、輪郭判定対象画素３００は輪郭を表す画素であると判定する。一方、輪郭判定対象画素３００の輝度勾配強度が輪郭抽出閾値Ｐｃ以下である場合には、輪郭判定対象画素３００は輪郭を表す画素でないと判定する。また、輪郭判定対象画素３００の輝度勾配強度が輪郭判定対象画素の輝度勾配方向３０１の隣接画素３０３の輝度勾配強度と、輝度勾配方向３０１を１８０°回転させた方向３０２の隣接画素３０４の輝度勾配強度のいずれよりも大きいという条件を満たしていない場合にも、輪郭判定対象画素３００は輪郭を表す画素でないと判定する。輪郭抽出部１０３は、この判定を個々の画素毎に行う。なお、輪郭上の画素の判定処理方法は上記の方法に限定されず、輪郭抽出部１０３は他の方法によって、輪郭上の画素を判定してもよい。【００５４】
輪郭抽出部１０３は、輪郭を表すと判定した画素に対して０以外の画素値を格納し、それ以外の画素に対して画素値"０"を格納した画像（輪郭画像Ｓｄと記す。）を輪郭補正部１０４に出力する。輪郭画像Ｓｄにより、輪郭補正部１０４は、輪郭を表すと判定された画素とその他の画素とを区別することができる。また、輪郭抽出部１０３は、輪郭を表すと判定した画素の座標値を輪郭補正部１０４に出力してもよい。輪郭抽出部１０３は、輪郭を表すと判定された画素とその他の画素とを区別できるように、輪郭を表すと判定した画素を輪郭補正部１０４に出力すればよい。【００５５】
ステップＳ１２の後、輪郭補正部１０４は、輪郭を境に接する２つの領域それぞれを代表する代表色を定め、補間画像Ｓａにおける輪郭周辺の画素値を補正する（ステップＳ１３）。図７は、輪郭周辺の画素の補正処理の例を示す説明図である。図７（ａ）は補正前の補間画像を表し、図７（ｂ）は補正後の補間画像を表している。図７（ａ）に斜線で示した画素は、輪郭を表していると判定された画素であり、この画素の連なりが画像の輪郭となっている。ステップＳ１３において、輪郭補正部１０４は、輪郭抽出部１０３によって輪郭を表すと判定された画素（基準画素）を一つ選択する。図７における画素４００は、基準画素を表している。また、図７に示す方向４０１は、基準画素４００の輝度勾配方向（Ｓｃ（ｘ，ｙ））を示している。図７に示す４０３は、基準画素の輝度勾配方向４０１をπラジアン（１８０°）回転させた方向（Ｓｃ（ｘ，ｙ）＋π）を示している。【００５６】
輪郭補正部１０４は、基準画素４００から基準画素４００における輝度勾配方向に一定距離離れた第１の隔離画素４０２を特定する。輪郭補正部１０４は、補間画像Ｓａ中の第１の隔離画素４０２の色を第１の代表色とする。そして、輪郭補正部１０４は、基準画素４００と第１の隔離画素４０２とを結ぶ直線上に存在する各画素の色を、第１の代表色と同じ色に補正する。すなわち、基準画素４００と第１の隔離画素４０２とを結ぶ直線上に存在する各画素の画素値を、第１の隔離画素４０２の画素値に置換する。例えば、補間画像Ｓａの各画素がＲＧＢ形式で表されている場合、第１の隔離画素４０２のＲ，Ｇ，Ｂそれぞれの値に置換すればよい。また、輪郭補正部１０４は、基準画素４００の画素値も、第１の隔離画素４０２の画素値に置換する。【００５７】
同様に、輪郭補正部１０４は、基準画素４００から方向４０３（図７（ａ）参照。輝度勾配方向４０１を１８０°反転した方向）に一定距離離れた第２の隔離画素４０４を特定する。輪郭補正部１０４は、補間画像Ｓａ中の第２の隔離画素４０４の色を第２の代表色とする。そして、輪郭補正部１０４は、第２の隔離画素４０４と第１の隔離画素４０２とを結ぶ直線上に存在する画素のうち、第１の隔離画素４０２の画素値に置換していない画素の画素値を、第２の隔離画素４０４の画素値に置換する。【００５８】
この処理の結果、図７（ｂ）に示すように、基準画素４００および画素４０５は第１の代表色に補正され、画素４０７は第２の代表色に補正される。ここでは、基準画素４００の画素値を第１の隔離画素４０２の画素値に置換する場合を示したが、基準画素４００の画素値を第２の隔離画素４０４の画素値で置換してもよい。【００５９】
輪郭補正部１０４は、輪郭抽出部１０３によって輪郭を表すと判定された全ての画素を順次選択して、上記の処理を繰り返し、輪郭の周辺の画素値を補正する。そして、補正後の画像を出力する。輪郭補正部１０４による補正処理により生成された拡大画像の例を図８に示す。図８に示すように、輪郭の明瞭な高品質の画像が得られる。【００６０】
次に、本実施形態の効果について説明する。
本実施形態では、輪郭抽出部１０３が、画像の輪郭上の画素を特定し、輪郭補正部１０４がその画素を間に挟む第１の隔離画素および第２の隔離画素の間の各画素を２つの代表色で区分するように画素を補正する。そのため、輪郭が明瞭な、高品質な拡大画像を生成することができる。また、第１の隔離画素および第２の隔離画素として、基準画素から一定距離離れた画素を特定するので、混色の影響を受けていない色を代表色とすることができ、高品質な拡大画像を生成することができる。【００６１】
次に、第１の実施形態の変形例について説明する。上記の第１の実施形態では、Ｓｏｂｅｌフィルタの係数がｎ行ｎ列（例えば３行３列）で固定であり、輪郭抽出閾値Ｐｃは予め定められた定数である場合を例に説明した。また、ステップＳ１３で、第１の隔離画素４０２および第２の隔離画素４０４（図７（ａ）参照）を特定する際に用いる一定距離も、予め定められているものとして説明した。以下に説明する第１の実施形態の変形例では、これらの値を可変とする。図９は、第１の実施形態の変形例を示すブロック図である。既に説明した構成要素と同様の構成要素については、図１と同一の符号を付す。図９に示すように、画像処理システムは、輝度勾配算出部１０２、輪郭抽出部１０３および輪郭補正部１０４に加えて、パラメータ設定部１１０を備えていてもよい。なお、図９では、コンピュータ１００とは別にパラメータ設定部１１０を備える場合を示しているが、コンピュータ１００がパラメータ設定部１１０を含んでいてもよい。そして、パラメータ設定部１１０は、プログラムに従って動作する中央処理装置によって実現されてもよい。すなわち、中央処理装置が、画像処理用プログラムを読み込み、画像処理用プログラムに従って、パラメータ設定部１１０、輝度勾配算出部１０２、輪郭抽出部１０３、輪郭補正部１０４として動作してもよい。【００６２】
この第１の実施形態の変形例では、Ｓｏｂｅｌフィルタの係数としてｎ行ｎ列に並べられる係数の個数は可変である。すなわち、ｎ行ｎ列の"ｎ"を可変とし、３行３列、５行５列等のＳｏｂｅｌフィルタの係数を選択可能とする。パラメータ設定部１１０は、輝度勾配算出部１０２がＳｏｂｅｌフィルタの係数として何行何列の係数を選択するのかを決定するためのパラメータを算出し、輝度勾配算出部１０２に出力する。以下、このパラメータを輝度勾配算出用パラメータと記し、"Ｐｂ"と表す。輝度勾配算出部１０２は、予め３行３列、５行５列、７行７列等の行数列数に応じたＳｏｂｅｌフィルタの係数を予め保持しておき、輝度勾配算出用パラメータＰｂに応じた行数および列数のＳｏｂｅｌフィルタの係数を選択し、ステップＳ１１を行う。【００６３】
また、パラメータ設定部１１０は、輪郭抽出閾値Ｐｃを計算し、輪郭抽出部１０３に出力する。輪郭抽出部１０３は、パラメータ設定部１１０が計算した輪郭抽出閾値Ｐｃを用いて、ステップＳ１２を行う。【００６４】
また、パラメータ設定部１１０は、ステップＳ１３において、基準画素から第１および第２の隔離画素を定めるための距離を計算し、輪郭補正部１０４に出力する。この距離を、輪郭補正用パラメータと記し、"Ｐｄ"と表す。輪郭補正部１０４は、ステップＳ１３において第１および第２の隔離画素を定める際に、輪郭補正用パラメータＰｄが示す距離だけ基準画素から離れた画素として、第１の隔離画素および第２の隔離画素を定める。【００６５】
ここで、Ｓｏｂｅｌフィルタの係数の並びの大きさを表す"ｎ（列数および行数を表すｎ）"、輪郭抽出閾値Ｐｃ、輪郭補正用パラメータＰｄの値の意味について説明する。【００６６】
Ｓｏｂｅｌフィルタの係数はｎ行ｎ列の数の並びであるが、このｎが小さい場合、狭い範囲内での輝度の起伏に対して、大きな輝度勾配を算出する。すなわちｎを小さくすると、狭い範囲内で少しの輝度の起伏がある場合でも、その範囲内で輝度が極大となる箇所の画素を、輪郭を表す画素として判定しやすくなる。一方、ｎが大きい場合、狭い範囲内での輝度の起伏に対して大きな輝度勾配を算出しなくなる。すなわちｎを大きくすると、狭い範囲内での少しの輝度の起伏は輪郭として検出しにくくし、広い範囲内で輝度の起伏がある場合に輝度が極大となる箇所の画素を、輪郭を表す画素として判定しやすくなる。ｎを小さくしすぎると、ノイズが輪郭として検出されやすくなる。【００６７】
輪郭抽出閾値Ｐｃは、輪郭として判定されるための輝度勾配強度の下限を表す。輪郭抽出閾値Ｐｃを小さくしすぎると、ノイズにより輝度勾配強度が大きくなった場合であっても、輪郭を表す画素であると誤判定しやすくなる。一方、輪郭抽出閾値Ｐｃを大きくしすぎると、ノイズを輪郭とする誤判定はなくなるが、輪郭を表す画素を、輪郭を表していないと誤判定しやすくなる。【００６８】
図１０は、画素毎の輝度勾配の起伏を示すイメージ図である。図１０に示す輝度勾配の極大点に該当する画素が、輪郭を表す画素となる。輝度勾配算出用パラメータＰｂに応じて定められる"ｎ"は、どの程度の広がりを持つ範囲内で輝度勾配強度の起伏を強調するのかを定める値である。また、輪郭抽出閾値Ｐｃは、どの程度の大きさの輝度勾配強度であれば、輪郭を表す画素と言えるのかを定める値である。【００６９】
図１１は、画像の拡大前後における輪郭付近での画素値の変化を示すイメージ図である。図１１（ａ）は画像拡大前の輪郭付近の画素値の変化を示し、図１１（ｂ）は画像拡大後の輪郭付近の画素値の変化を示している。図１１（ｂ）に示すように、画像を拡大することにより、輪郭周辺での画素値の変化は緩やかになる。輪郭補正部１０４は、図１１（ｂ）に示す状態から、基準画素から輝度勾配方向の一定距離以内の画素を第１の代表色に補正し、反対方向の一定距離以内の画素を第２の代表色に補正する（図１１（ｃ）参照）。この結果、図１１（ｃ）に示すように、輪郭を境に、第１の代表色と第２の代表色とで区分され、輝度変化が急峻になり、輪郭が明確化する。輪郭補正用パラメータＰｄは、この基準画素からの距離を表している。【００７０】
また、第１の実施形態で説明したように、輝度勾配算出部１０２および輪郭補正部１０４には補間画像Ｓａが入力される。また、本変形例では、低解像度画像（拡大前の画像）から補間画像Ｓａへの拡大率（Ｐａとする。）がパラメータ設定部１１０に入力される。パラメータ設定部１１０は、入力された拡大率Ｐａから、輝度勾配算出用パラメータＰｂ、輪郭抽出閾値Ｐｃおよび輪郭補正用パラメータＰｄを計算する。【００７１】
また、低解像度画像から補間画像Ｓａへの拡大率Ｐａが不変である場合、パラメータ設定部１１０は、拡大率Ｐａを定数として記憶しておき、その拡大率Ｐａから、輝度勾配算出用パラメータＰｂ、輪郭抽出閾値Ｐｃおよび輪郭補正用パラメータＰｄを計算してもよい。【００７２】
なお、Ｐａは、低解像度画像（拡大前の画像）の横幅（水平方向の画素数）をＷｌとし、補間画像Ｓａの横幅をＷｈとしたときに、Ｗｈ／Ｗｌで表される値である。また、補間画像Ｓａの縦幅を低解像度画像の縦幅で除算した値を拡大率Ｐａとしてもよい。【００７３】
図１２は、第１の実施形態の変形例の処理経過を示すフローチャートである。第１の実施形態で説明した処理と同様の処理については、図３と同一の符号を付す。パラメータ設定部１１０は、拡大率Ｐａが入力されると、その拡大率Ｐａを用いて、Ｐｂ，Ｐｃ，Ｐｄを計算する（ステップＳ１）。【００７４】
ステップＳ１において、パラメータ設定部１１０は、以下に示す式（７）の計算を行い、輝度勾配算出用パラメータＰｂを算出し、そのＰｂを輝度勾配算出部１０２に出力する。【００７５】
Ｐｂ＝α・Ｐａ＋β          式（７）【００７６】
α，βは定数である。また、αは０より大きな値であり、Ｐａが大きくなるほど、Ｐｂも大きな値となる。また、βはＰｂの下限を表す値である。βをＰｂの下限値として定めることにより、拡大率Ｐａの値が小さくとも、Ｐｂの値は下限値以上であることが保証される。α，βは、例えば、画像処理システムの管理者等に予め設定される。画像処理システムの管理者等は、拡大率に応じたＳｏｂｅｌフィルタの係数が選択されるように、α，βを決定すればよい。【００７７】
また、パラメータ設定部１１０は、ステップＳ１において、式（８）の計算を行い、輪郭抽出閾値Ｐｃを算出し、そのＰｃを輪郭抽出部１０３に出力する。【００７８】
Ｐｃ＝γ・Ｐａ              式（８）【００７９】
γは定数であり、例えば画像処理システムの管理者等に予め設定される。画像処理システムの管理者等は、拡大率と輪郭抽出閾値Ｐｃとの関係が所望の比例関係になるようにγを定めればよい。【００８０】
また、パラメータ設定部１１０は、ステップＳ１において、式（９）の計算を行い、輪郭補正用パラメータＰｄを計算し、そのＰｄを輪郭補正部１０４に出力する。【００８１】
Ｐｄ＝δ・Ｐａ              式（９）【００８２】
δは定数であり、例えば画像処理システムの管理者等に予め設定される。画像処理システムの管理者等は、拡大率と輪郭補正用パラメータＰｄとの関係が所望の比例関係になるようにδを定めればよい。【００８３】
Ｐｂ，Ｐｃ，Ｐｄは、例えば拡大率Ｐａを変数とする一次関数として計算される。【００８４】
上記のα，β，γ，δの例として、α＝２．０、β＝１．０、γ＝１０．０、δ＝１．５等の値が挙げられるが、これらの値に限定されるわけではない。【００８５】
なお、Ｐｂ，Ｐｃ，Ｐｄの一部を予め固定値として定めておき、ステップＳ１でパラメータ設定部１１０は、Ｐｂ，Ｐｃ，Ｐｄのうち固定値として定められていないパラメータについて計算を行ってもよい。【００８６】
ステップＳ１でパラメータ設定部１１０がＰｂ，Ｐｃ，Ｐｄを求めた後、画像処理システムはステップＳ１１〜Ｓ１３の処理を行う。【００８７】
輝度勾配算出部１０２は、「Ｐｂがｘ１以上ｘ２未満ならば、３行３列のＳｏｂｅｌフィルタの係数を選択する。」等のルールを予め保持しておき、そのルールに従って、パラメータ設定部１１０が計算した輝度勾配算出用パラメータＰｂに応じたＳｏｂｅｌフィルタの係数を選択する。そして、選択したＳｏｂｅｌフィルタの係数を用いて、補間画像Ｓａの画素毎に輝度勾配強度および輝度勾配方向を算出し、各画素の輝度勾配強度および輝度勾配方向を輪郭抽出部１０３に出力する（ステップＳ１１）。Ｓｏｂｅｌフィルタの係数を選択する点の他は、既に説明したステップＳ１１と同様である。【００８８】
輪郭抽出部１０３は、パラメータ設定部１１０が計算した輪郭抽出閾値Ｐｃを用いて、補間画像Ｓａ中で輪郭を表している画素を判定する（ステップＳ１２）。パラメータ設定部１１０が輪郭抽出閾値Ｐｃを定める点の他は、既に説明したステップＳ１２と同様である。【００８９】
輪郭補正部１０４は、パラメータ設定部１１０が計算した輪郭補正用パラメータＰｄを、基準画素から第１および第２の隔離画素を定めるための距離として用い、輪郭周辺の画素値を補正する（ステップＳ１３）。パラメータ設定部１１０が基準画素から第１および第２の隔離画素を定めるための距離を定める点の他は、既に説明したステップＳ１３と同様である。【００９０】
この第１の実施形態の変形例によれば、低解像度画像から補間画像Ｓａへの拡大率が一定ではない場合であっても、拡大率に応じた適切なパラメータで輪郭を明瞭化することができる。【００９１】
次に、第１の実施形態の他の変形例について説明する。図１３は、第１の実施形態の他の変形例を示すブロック図である。既に説明した構成要素と同様の構成要素については、図１、図９と同一の符号を付す。図１３に示すように、画像処理システムは、輝度勾配算出部１０２、輪郭抽出部１０３、輪郭補正部１０４およびパラメータ設定部１１０に加えて、補間画像生成部１０１を備えていてもよい。図１３では、コンピュータ１００が補間画像生成部１０１を含む場合を示している。補間画像生成部１０１は、プログラムに従って動作する中央処理装置によって実現されてもよい。すなわち、中央処理装置が、画像処理用プログラムを読み込み、画像処理用プログラムに従って、補間画像生成部１０１、輝度勾配算出部１０２、輪郭抽出部１０３、輪郭補正部１０４、パラメータ設定部１１０として動作してもよい。【００９２】
補間画像生成部１０１には低解像度画像（Ｓｉと記す。）が入力され、補間画像生成部１０１は補間によりその低解像度画像Ｓｉを拡大して補間画像Ｓａを生成し、補間画像Ｓａを輝度勾配算出部１０２および輪郭補正部１０４に出力する。すなわち、補間画像生成部１０１は、低解像度画像Ｓｉの画素間に画素を内挿して、拡大画像である補間画像Ｓａを生成する。補間画像生成部１０１は、例えば、バイリニア補間あるいはバイキュービック補間により、低解像度画像Ｓｉを拡大する。【００９３】
また、パラメータ設定部１１０には、生成すべき拡大画像の解像度が入力される。例えば、拡大後の補間画像Ｓａの横幅（水平方向の画素数）が入力されてもよい。また、パラメータ設定部１１０には、拡大前の低解像度画像Ｓｉの情報（例えば、低解像度画像Ｓｉの横幅）も入力される。パラメータ設定部１１０は、入力された情報を用いて、拡大率Ｐａを計算し、補間画像生成部１０１に出力する。【００９４】
パラメータ設定部１１０に入力される情報が、拡大後の補間画像Ｓａの横幅（水平方向の画素数）Ｗｈと、低解像度画像Ｓｉの横幅Ｗｌであるとする。この場合、パラメータ設定部１１０は、Ｐａ＝Ｗｈ／Ｗｌを計算して、拡大率Ｐａを求めればよい。また、パラメータ設定部１１０に入力される情報は、補間画像Ｓａの縦幅（垂直方向の画素巣）Ｖｈと低解像度画像Ｓｉの縦幅Ｖｌであってもよい。この場合、パラメータ設定部１１０は、Ｐａ＝Ｖｈ／Ｖｌを計算して、拡大率Ｐａを求めればよい。【００９５】
パラメータ設定部１１０は、拡大率Ｐａを計算した後、既に説明したように拡大率ＰａからＰｂ，Ｐｃ，Ｐｄの各パラメータを計算してもよい。【００９６】
補間画像生成部１０１は、パラメータ設定部１１０が計算した拡大率Ｐａで低解像度画像Ｓｉを補間して補間画像Ｓａを生成する。補間画像生成部１０１は、拡大率Ｐａに応じて、低解像度画像Ｓｉにおける隣接する画素間に画素を内挿する。補間画像Ｓａは、内挿された画素を含んでいることで、低解像度画像Ｓｉよりも拡大された画像となっている。補間画像生成部１０１は、拡大率Ｐａが大きいほど、内挿する画素の数を増加させればよい。【００９７】
図１４は、本変形例の処理経過を示すフローチャートである。第１の実施形態で説明した処理と同様の処理については、図３と同一の符号を付す。パラメータ設定部１１０には、例えば、低解像度画像Ｓｉの横幅Ｗｌおよびユーザの所望の補間画像Ｓａの横幅Ｗｈが入力される。パラメータ設定部１１０は、ＷｌおよびＷｈが入力されると、Ｗｈ／Ｗｌを計算することにより、拡大率Ｐａを計算する。ただし、ここで示した拡大率Ｐａの計算方法は一例であり、他の方法で拡大率Ｐａを計算してもよい。パラメータ設定部１１０は、計算した拡大率Ｐａを補間画像生成部１０１に出力する。また、パラメータ設定部１１０は、その拡大率Ｐａを用いて、輝度勾配算出用パラメータＰｂ、輪郭抽出閾値Ｐｃおよび輪郭補正用パラメータＰｄを計算する（ステップＳ２）。パラメータ設定部１１０は、Ｐｂを輝度勾配算出部１０２に出力し、Ｐｃを輪郭抽出部１０３に出力し、Ｐｄを輪郭補正部１０４に出力する。拡大率Ｐａから、Ｐｂ，Ｐｃ，Ｐｄを算出する動作は、既に説明したステップＳ１（図１２参照）と同様である。【００９８】
補間画像生成部１０１には、低解像度画像Ｓｉ（拡大前の画像）が入力される。ステップＳ２の後、補間画像生成部１０１は、拡大率Ｐａで低解像度画像Ｓｉを補間して、ユーザの所望の解像度の補間画像Ｓａを生成する（ステップＳ１０）。補間画像生成部１０１は、低解像度画像Ｓｉにおける隣接する画素間に拡大率Ｐａに応じた数の画素を内挿することで画像を拡大すればよい。補間画像生成部１０１は、例えば、バイリニア補間またはバイキュービック補間を行って画素を補間し、画像を拡大すればよい。【００９９】
補間画像生成部１０１がバイリニア補間を行う場合の動作について説明する。図１５は、バイリニア補間の例を示すイメージ図である。図１５に示す縦軸は画素値を表し、他の２軸はそれぞれｘ軸方向、ｙ軸方向の座標を表している。図１５に示す座標（ｕ，ｖ）は、補間される画素の座標である。ただし、（ｕ，ｖ）は低解像度画像Ｓｉにおける座標であり、小数で表される。低解像度画像Ｓｉに含まれる画素のｘ座標、ｙ座標は１，２，３，・・・等の整数で表され、その座標間に画素を内挿するので、内挿される画素の座標は小数で表される。図１５に示す座標（ｕ，ｖ）は、このような低解像度画像Ｓｉにおける座標値である。また、図１５に示す各座標（ｋ，ｌ），（ｋ＋１，ｌ），（ｋ，ｌ＋１），（ｋ＋１，ｌ＋１）は、低解像度画像Ｓｉに存在する画素の座標値であり、それらの画素の画素値は既知である。また、これらの４つの画素は、補間する画素（ｕ，ｖ）を囲む画素であり、ｋはｕの小数点以下を切り捨てた値であり、ｌはｖの小数点以下を切り捨てた値である。補間画像生成部１０１は、補間する座標（ｕ，ｖ）における画素値を算出する。【０１００】
バイリニア補間で座標（ｕ，ｖ）における画素値を求める場合、ｙ座標が等しい２つの座標（ｋ，ｌ），（ｋ＋１，ｌ）における画素値を用いて、座標（ｕ，ｌ）における画素値を線形補間する。同様に、（ｋ，ｌ＋１），（ｋ＋１，ｌ＋１）における画素値を用いて、座標（ｕ，ｌ＋１）における画素値を線形補間する。さらに、ｘ座標が等しい２つの座標（ｕ，ｌ），（ｕ，ｌ＋１）における画素値を用いて、座標（ｕ，ｖ）における画素値を線型補間する。【０１０１】
この座標（ｕ，ｖ）における画素値Ｐは、以下に示す式（１０）によって求めることができる。【０１０２】
【数３】
2009081529.tif 000005
【０１０３】
補間画像生成部１０１は、式（１０）に示す式を計算して補間する画素における画素値Ｐを算出すれよばい。なお、式（１０）におけるＰ１，Ｐ２，Ｐ３，Ｐ４は、それぞれ座標（ｋ，ｌ），（ｋ＋１，ｌ），（ｋ，ｌ＋１），（ｋ＋１，ｌ＋１）における画素値である。このように画素値Ｐが定められた座標（ｕ，ｖ）の画素が、内挿される画素である。【０１０４】
補間画像生成部１０１がバイキュービック補間を行う場合の動作について説明する。図１６は、バイキュービック補間の例を示すイメージ図である。図１６に示す縦軸は画素値を表し、他の２軸はそれぞれｘ軸方向、ｙ軸方向の座標を表している。図１６に示す座標（ｕ，ｖ）は、補間される画素の座標である。図１５に示す場合と同様に、（ｕ，ｖ）は低解像度画像Ｓｉにおける座標であり、小数で表される。バイキュービック補間では、（ｕ，ｖ）を囲む１６個の画素（ｋ−１，ｌ−１），（ｋ，ｌ−１），（ｋ＋１，ｌ−１），（ｋ＋２，ｌ−１），（ｋ−１，ｌ），（ｋ，ｌ），（ｋ＋１，ｌ），（ｋ＋２，ｌ），（ｋ−１，ｌ＋１），（ｋ，ｌ＋１），（ｋ＋１，ｌ＋１），（ｋ＋２，ｌ＋１），（ｋ−１，ｌ＋２），（ｋ，ｌ＋２），（ｋ＋１，ｌ＋２），（ｋ＋２，ｌ＋２）の画素値から（ｕ，ｖ）における画素値を補間する。ｋはｕの小数点以下を切り捨てた値であり、ｌはｖの小数点以下を切り捨てた値である。【０１０５】
バイキュービック補間で座標（ｕ，ｖ）における画素値を求める場合、ｙ座標が等しい４つの座標（ｋ−１，ｌ−１），（ｋ，ｌ−１），（ｋ＋１，ｌ−１），（ｋ＋２，ｌ−１）の画素値を用いて、（ｕ，ｌ−１）における画素値を補間する。同様に、ｙ座標が等しい４つの座標を用いて、（ｕ，ｌ），（ｕ，ｌ＋１），（ｕ，ｌ＋２）における画素値をそれぞれ補間する。さらに、ｘ座標が等しい４つの座標（ｕ，ｌ−１），（ｕ，ｌ），（ｕ，ｌ＋１），（ｕ，ｌ＋２）における画素値を用いて、座標（ｕ，ｖ）の画素値を補間する。【０１０６】
この座標（ｕ，ｖ）における輝度Ｐは、以下に示す式（１１）によって求めることができる。このように画素値Ｐが定められた座標（ｕ，ｖ）の画素が、内挿される画素である。【０１０７】
【数４】
2009081529.tif 000006
【０１０８】
補間画像生成部１０１は、式（１１）に示す式を計算して補間する画素における画素値Ｐを算出すればよい。式９におけるＰ１〜Ｐ１６は、（ｋ−１，ｌ−１），（ｋ，ｌ−１），（ｋ＋１，ｌ−１），（ｋ＋２，ｌ−１），（ｋ−１，ｌ），（ｋ，ｌ），（ｋ＋１，ｌ），（ｋ＋２，ｌ），（ｋ−１，ｌ＋１），（ｋ，ｌ＋１），（ｋ＋１，ｌ＋１），（ｋ＋２，ｌ＋１），（ｋ−１，ｌ＋２），（ｋ，ｌ＋２），（ｋ＋１，ｌ＋２），（ｋ＋２，ｌ＋２）における画素値である。【０１０９】
また、式（１１）において、ｆ−１（ｔ），ｆ０（ｔ），ｆ１（ｔ），ｆ２（ｔ）は、それぞれ以下の式で表される。【０１１０】
ｆ−１（ｔ）＝（−ｔ３＋２ｔ２−ｔ）／２          式（１２）【０１１１】
ｆ０（ｔ）＝（３ｔ３−５ｔ２＋２）／２            式（１３）【０１１２】
ｆ１（ｔ）＝（−３ｔ３＋４ｔ２＋ｔ）／２          式（１４）【０１１３】
ｆ２（ｔ）＝（ｔ３−ｔ２）／２                    式（１５）【０１１４】
また、式（１１）におけるｕ'は、ｕ'＝ｕ−ｋとして計算される値である。式（１１）におけるｖ'は、ｖ'＝ｖ−ｌとして計算される値である。【０１１５】
なお、ＲＧＢ形式で表される画素のように複数種類（例えばＲ，Ｇ，Ｂの３種類）の画素値が設定されている場合、Ｒ，Ｇ，Ｂ等の画素値の種類毎にそれぞれ別々に画素値を補間すればよい。【０１１６】
ここでは、バイリニア補間やバイキュービック補間を例示したが、補間画像生成部１０１は他の方法で補間を行って低解像度画像Ｓｉを拡大してもよい。【０１１７】
補間画像生成部１０１は、低解像度画像Ｓｉに対して画素を補間して生成した補間画像Ｓａを輝度勾配算出部１０２および輪郭補正部１０４に出力する。輝度勾配算出部１０２は、パラメータ設定部１１０が計算した輝度勾配算出用パラメータＰｂに応じたＳｏｂｅｌフィルタの係数を選択する。輝度勾配算出部１０２は、Ｓｏｂｅｌフィルタの係数を用いて、補間画像Ｓａの画素毎に輝度勾配強度および輝度勾配方向を算出し、各画素の輝度勾配強度および輝度勾配方向を輪郭抽出部１０３に出力する（ステップＳ１１）。輪郭抽出部１０３は、パラメータ設定部１１０が計算した輪郭抽出閾値Ｐｃを用いて、補間画像Ｓａ中で輪郭を表している画素を判定する（ステップＳ１２）。輪郭補正部１０４は、パラメータ設定部１１０が計算した輪郭補正用パラメータＰｄを、基準画素から第１および第２の隔離画素を定めるための距離として用い、輪郭周辺の画素値を補正する（ステップＳ１３）。ステップＳ１１〜Ｓ１３の動作は、既に説明した変形例におけるステップＳ１１〜Ｓ１３と同様である。【０１１８】
本変形例によれば、補間画像生成部１０１は低解像度画像Ｓｉに補間処理を行うことにより補間画像Ｓａを生成するので、低解像度画像Ｓｉを入力すれば、高品質の拡大画像を得ることができる。【０１１９】
また、補間画像生成部１０１を備える構成において、パラメータ設定部１１０が設けられていなくてもよい。その場合、輝度勾配算出部１０２において輝度勾配算出用パラメータＰｂを予め設定しておけばよい。あるいは、Ｓｏｂｅｌフィルタの係数を予め設定しておいてもよい。また、輪郭抽出部１０３では輪郭抽出閾値Ｐｃを予め設定しておき、輪郭補正部１０４では輪郭補正用パラメータＰｄを予め設定しておけばよい。【０１２０】
実施形態２
図１７は、本発明の第２の実施形態の画像処理システムの例を示すブロック図である。第１の実施形態と同様に、本実施形態の画像処理システムは、例えば、プログラム制御により動作するコンピュータ８００によって実現される。コンピュータ８００は、代表色推定部８０２と、色補正部８０３とを含む。なお、ここでは、低解像度画像（拡大前の画像）から拡大後の画像への拡大率が一定である場合を例にして説明する。また、画素がＲＧＢ形式で表されている場合を例にして説明するが、画素の表現はＲＧＢ形式に限定されない。【０１２１】
代表色推定部８０２には、補間処理（例えば、バイリニア補間やバイキュービック補間）によって拡大された補間画像Ｓａが入力される。代表色推定部８０２は、補間画像Ｓａに含まれる個々の画素を選択する。代表色推定部８０２は、選択した画素を中心とする一定サイズの画素のブロック（例えば、５行５列のブロック）を抽出し、そのブロック内の画素の色を二つのクラスにクラスタリングする。代表色推定部８０２は、その二つのクラスのそれぞれについて、クラスを代表する代表色Ｍ１，Ｍ２を特定する。また、ブロック内の各画素の色が第１のクラスに属する確率および第２のクラスに属する確率を求める。この確率や代表色は、例えばＥＭアルゴリズム（Ｅｘｐｅｃｔａｔｉｏｎ  Ｍａｘｉｍｉｚａｔｉｏｎアルゴリズム）によって求めればよい。代表色推定部８０２は、補間画像Ｓａ内の個々の画素を選択して、画素毎にブロックの抽出、代表色および上記の確率の導出を行う。【０１２２】
図１８は、クラスタリングおよび代表色を説明するイメージ図である。選択した画素を中心とする５行５列の範囲をブロックとして抽出するとする。このブロックの左上部分には、赤系の画素１８１が存在し、右下部分には緑系の画素１８２が存在するものとする（図１８（ａ）参照）。赤系の画素１８１の画素値（Ｒ，Ｇ，Ｂ）は、例えば（２５５，０，０）、（２４０，０，０）、（２５０，１，０）等で表され、ＲＧＢ色空間では互いに近い位置に存在する（図１８（ｂ）参照）。同様に、緑系の画素１８２の画素値は、例えば、（０，２５５，０）、（０，２５５，３）、（１，２４０，５）等で表され、ＲＧＢ空間で互いに近い位置に存在する（図１８（ｂ）参照）。代表色推定部８０２は、このような画素の色のクラスを代表する代表色を決定し、クラス毎に各画素の色がそのクラスに属する確率を求める。図１８では、画素の赤系の色と緑系の色に明確に区分される場合を例示したが、ブロック内の画素が同系統の色であっても、例えばＥＭアルゴリズムにより代表色や上記の確率を求めることができる。【０１２３】
色補正部８０３は、代表色Ｍ１，Ｍ２の色空間での距離が閾値以上である場合、代表色推定部８０２が抽出したブロック内の画素毎に、第１のクラスに属する確率および第２のクラスに属する確率に応じて、画素の色を代表色Ｍ１，Ｍ２のいずれかに補正する。色補正部８０３は、この処理を代表色推定部８０２が抽出したブロック毎に行う。【０１２４】
ブロックは補間画像Ｓａの各画素を中心とする一定サイズの画素の集合であるので、一つの画素が複数のブロックに属することが生じる。この場合、色補正部８０３は、各ブロックにおける補正結果の平均をその画素に設定する。【０１２５】
代表色推定部８０２および色補正部８０３は、例えば、プログラムに従って動作する中央処理装置（ＣＰＵ）によって実現される。すなわち、中央処理装置が、コンピュータ８００が備える記憶装置（図示せず。）から画像処理用プログラムを読み込み、画像処理用プログラムに従って、代表色推定部８０２および色補正部８０３として動作してもよい。また、代表色推定部８０２および色補正部８０３がそれぞれ別個の回路として実現されていてもよい。【０１２６】
次に、動作について詳細に説明する。
図１９は、第２の実施形態の処理経過の例を示すフローチャートである。本実施形態では、代表色推定部８０２および色補正部８０３に補間画像Ｓａが入力される。補間画像Ｓａが入力されると、代表色推定部８０２は、補間画像Ｓａ中の画素を一つ選択し、選択した画素を中心とする一定範囲のブロックを抽出する（ステップＳ５１）。このブロックの範囲は、例えば５行５列等のように予め定められているものとする。【０１２７】
次に、代表色推定部８０２は、抽出したブロック内の各画素の色を２つのクラスＣ１，Ｃ２にクラスタリング（分類）し、各クラスの代表色Ｍ１，Ｍ２を特定する（ステップＳ５２）。ステップＳ５２において、代表色推定部８０２は、抽出したブロック内の各画素について、第１のクラスＣ１に属する確率および第２のクラスＣ２に属する確率を求める。以下、ＥＭアルゴリズムを用いる場合を例にして、ステップＳ５２の処理について説明する。【０１２８】
以下の説明において、μは、クラスの中心の色（代表色となる色）のＲ，Ｇ，Ｂの値を要素とするベクトルであるとする。また、ωは、混合パラメータと呼ばれる重み係数である。σは、クラスタリングされた画素の画素値が色空間においてどれだけ広がっているかを表す値である。また、ｊは、２つのクラスを識別するための変数であり、例えばｊ＝０は第１のクラスを意味し、ｊ＝１は第２のクラスを意味する。このｊは、記号の添え字として用いられることもある。代表色推定部８０２は、任意に定めたω，μ，σの初期値の組を二組生成する。この２組は、第１のクラスおよび第２のクラスに対応している。代表色推定部８０２は、各組それぞれについて、ω，μ，σそれぞれを再計算することを繰り返す。この再計算により、μ（ここでは、Ｒ，Ｇ，Ｂの値）を収束させ、代表色を決定する。また、θは、ω，μ，σの組を示す記号である。各記号に（ｔ）を付加して記した場合、そのｔは再計算の回数を表しているものとする。また、ステップＳ５１で抽出されたブロック内の各画素の画素値（Ｒ，Ｇ，Ｂ）の値を要素とするベクトルをｘと記し、ブロック内のｎ番目の画素についてのベクトルｘについては添え字ｎを付加してｘｎと記す。【０１２９】
代表色推定部８０２は、任意に定めたω，μ，σの初期値の組を二組生成すると、各組毎に、ブロック内の画素がその組のクラスに属している確率を計算する。この確率をＰ（ｊ｜ｘｎ，θ（ｔ））と表す。代表色推定部８０２は、以下に示す式（１６）によりＰ（ｊ｜ｘｎ，θ（ｔ））を求める。【０１３０】
【数５】
2009081529.tif 000007
【０１３１】
代表色推定部８０２は、式（１６）の計算を行うときに、右辺のＰ（ｘｎ｜ｊ）を以下の式（１７）を計算することによって求める。【０１３２】
【数６】
2009081529.tif 000008
【０１３３】
代表色推定部８０２は、式（１６）の計算を行うときに、右辺のｐ（ｘｎ）を以下の式（１８）を計算することによって求める。【０１３４】
【数７】
2009081529.tif 000009
ｗｊは、混合パラメータと呼ばれる重み係数であり、以下の条件を満たす。【０１３５】
【数８】
2009081529.tif 000010
【０１３６】
代表色推定部８０２は、各ｊについて（すなわち各クラスについて）、式（１６）によりＰ（ｊ｜ｘｎ，θ（ｔ））を計算すると、各ｊについてωｊ，μｊ，σｊを再計算する。【０１３７】
ωｊは以下に示す式（１９）の左辺に相当し、代表色推定部８０２は、式（１９）の計算によりωｊを再計算する。【０１３８】
【数９】
2009081529.tif 000011
【０１３９】
μｊは以下に示す式（２０）の左辺に相当し、代表色推定部８０２は、式（２０）の計算によりμｊを再計算する。【０１４０】
【数１０】
2009081529.tif 000012
【０１４１】
σｊは以下に示す式（２１）の左辺に相当し、代表色推定部８０２は、式（２１）の計算によりσｊを再計算する。
【数１１】
2009081529.tif 000013
【０１４２】
式（１９）から式（２０）におけるＮは、ステップＳ５１で抽出されたブロックに属する画素の総数である。また、Ｍは、データ（画素値）の次元の数である。本例では、画素値は、Ｒ，Ｇ，Ｂの３次元のデータであるので、Ｍ＝３である。【０１４３】
代表色推定部８０２は、ωｊ，μｊ，σｊを再計算したら、そのωｊ，μｊ，σｊから式（１６）によりＰ（ｊ｜ｘｎ，θ（ｔ））を再計算し、さらに式（１９）〜（２１）によりωｊ，μｊ，σｊを計算する。【０１４４】
代表色推定部８０２は、計算前後でのμｊの変化量が閾値以下になったときに、μｊが収束したと判定し、再計算を停止する。そのときに得られたμｊが、代表色のＲ，Ｇ，Ｂの各成分の値となる。また、代表色推定部８０２は、収束したときのωｊ，μｊ，σｊからさらにＰ（ｊ｜ｘｎ，θ（ｔ））を計算する。このＰ（ｊ｜ｘｎ，θ（ｔ））が、画素ｘｎの色が、クラスｊに属する確率である。【０１４５】
以上のステップＳ５２の処理により、ブロック内の各画素の第１のクラスに属する確率、第２のクラスに属する確率、および代表色Ｍ１，Ｍ２が得られる。以下、ブロック内の画素（ｘ，ｙ）の色が第１のクラスに属する確率をＰ１（ｘ，ｙ）と記し、第２のクラスに属する確率をＰ２（ｘ，ｙ）と記す。【０１４６】
次に、色補正部８０３は、代表色Ｍ１，Ｍ２の距離Ｄに応じた指標を計算する。２つの色の距離は、色を表す成分毎に差の二乗を計算し、その計算結果の和の平方根として得られる値である。本例のように色がＲ，Ｇ，Ｂの各成分で表される場合、Ｒ成分の差の二乗、Ｇ成分の差の二乗、およびＢ成分の差の二乗をそれぞれ計算し、その和の平方根が距離となる。すなわち、代表色Ｍ１のＲ，Ｇ，Ｂ各成分を（Ｒ１，Ｇ１，Ｂ１）とし、代表色Ｍ２のＲ，Ｇ，Ｂ各成分を（Ｒ２，Ｇ２，Ｂ２）とすると、距離Ｄは以下に示す式（２２）で表される。【０１４７】
Ｄ＝√｛（Ｒ１−Ｒ２）２＋（Ｇ１−Ｇ２）２＋（Ｂ１−Ｂ２）２｝    式（２２）【０１４８】
色補正部８０３は、距離Ｄ自体を計算してもよく、あるいは、距離Ｄに応じた指標を計算してもよい。ここでは、距離Ｄに応じた指標として、（Ｒ１−Ｒ２）２＋（Ｇ１−Ｇ２）２＋（Ｂ１−Ｂ２）２を計算する。色補正部８０３は、距離Ｄに応じた指標が所定値以上であるか否かにより、代表色同士の距離が閾値以上であるか否かを判定する（ステップＳ５３）。【０１４９】
（Ｒ１−Ｒ２）２＋（Ｇ１−Ｇ２）２＋（Ｂ１−Ｂ２）２の計算結果が所定値以上である場合、色補正部８０３は、距離Ｄが閾値以上であると判定する。この場合（ステップＳ５３のＹｅｓ）、色補正部８０３は、ステップＳ５１で抽出されたブロック内の画素毎に、第１のクラスに属する確率および第２のクラスに属する確率に応じて、画素の色を補正する（ステップＳ５４）。【０１５０】
ステップＳ５４において、色補正部８０３は、ブロック内の各画素を選択し、その画素の色が第１のクラス（代表色Ｍ１のクラス）に属する確率Ｐ１（ｘ，ｙ）と、第２のクラス（代表色Ｍ２のクラス）に属する確率Ｐ２（ｘ，ｙ）とを比較する。Ｐ１（ｘ，ｙ）＞Ｐ２（ｘ，ｙ）であれば、色補正部８０３は、選択した画素（ｘ、ｙ）の色を代表色Ｍ１に置換する。すなわち、選択した画素の画素値（Ｒ，Ｇ，Ｂの値）を、代表色Ｍ１のＲ，Ｇ，Ｂの値に置換する。一方、Ｐ１（ｘ，ｙ）＞Ｐ２（ｘ，ｙ）が成立していなければ、色補正部８０３は、選択した画素（ｘ、ｙ）の色を代表色Ｍ２に置換する。すなわち、選択した画素の画素値（Ｒ，Ｇ，Ｂの値）を、代表色Ｍ２のＲ，Ｇ，Ｂの値に置換する。色補正部８０３は、この置換をブロック内の画素毎に行う。ブロック内の各画素について置換が終了したならば、ステップＳ５５に移行する。【０１５１】
（Ｒ１−Ｒ２）２＋（Ｇ１−Ｇ２）２＋（Ｂ１−Ｂ２）２の計算結果が所定値未満である場合、色補正部８０３は、距離Ｄが閾値未満であると判定する。この場合（ステップＳ５３のＮｏ）、ステップＳ５４を行わずにステップＳ５５に移行する。【０１５２】
ステップＳ５５において、色補正部８０３は、補間画像Ｓａ中の各画素を中心とする各ブロックについてステップＳ５１以降の処理を完了しているか否かを判定する。未だステップＳ５１以降の処理が行われていないブロックがあれば、未処理のブロックについてステップＳ５１以降の処理を行う。全ブロックについてステップＳ５１以降の処理が完了していれば、処理を終了する。【０１５３】
ただし、一つの画素が複数のブロックに属し、ブロック毎にその画素の置換後の色（画素値）が導出される場合、色補正部８０３は、ブロック毎にその一つの画素に対して導出された置換後の画素値の平均値を、その画素の画素値とする。【０１５４】
本実施形態によれば、ブロック内の２つの代表色の距離が閾値以上である場合、そのブロック内の画素を代表色に置換することにより、画素を補正するので、輪郭が明瞭な、高品質な拡大画像を生成することができる。また、代表色Ｍ１，Ｍ２を特定する際に、クラスタリングによる統計的処理を用いるため、ノイズなどの影響を受けずに、安定して代表色を取得できる。【０１５５】
次に、第２の実施形態の変形例について説明する。上記の第２の実施形態では、補間画像Ｓａに属する個々の画素をそれぞれ選択し、その画素を中心とするブロックを抽出して、ブロック毎にステップＳ５１以降の処理を行う場合を示した。以下に示す変形例では、補間画像Ｓａ中の選択対象画素を輪郭上の画素とし、その輪郭上の各画素を中心とするブロックを抽出してステップＳ５１以降の処理を行う。図２０は、第２の実施形態の変形例を示すブロック図である。既に説明した構成要素と同様の構成要素については、図１７と同一の符号を付す。図２０に示すように、画像処理システムは、代表色推定部８０２、色補正部８０３に加えて、輝度勾配算出部１０２と輪郭抽出部１０３とを備えていてもよい。図２０では、コンピュータ８００が輝度勾配算出部１０２と輪郭抽出部１０３とを含む場合を示している。輝度勾配算出部１０２および輪郭抽出部１０３は、プログラムに従って動作する中央処理装置によって実現されてもよい。すなわち、中央処理装置が、画像処理用プログラムを読み込み、画像処理用プログラムに従って、輝度勾配算出部１０２、輪郭抽出部１０３、代表色推定部８０２および色補正部８０３として動作してもよい。【０１５６】
本変形例における輝度勾配算出部１０２および輪郭抽出部１０３は、第１の実施形態の画像処理システムが備える輝度勾配算出部１０２および輪郭抽出部１０３と同様の処理を行う。本変形例の輝度勾配算出部１０２および輪郭抽出部１０３には、第１の実施形態と同一の符号を付して説明する。【０１５７】
輝度勾配算出部１０２には、補間画像Ｓａが入力され、輝度勾配算出部１０２は、補間画像Ｓａの画素毎に、輝度勾配強度および輝度勾配方向を計算する。また、輪郭抽出部１０３は、各画素における輝度勾配強度および輝度勾配方向を用いて、劣化する前の本来の輪郭を表す画素を判定する。【０１５８】
図２１は、第２の実施形態の変形例の処理経過を示すフローチャートである。第２の実施形態で説明した処理と同様の処理については、図１９と同一の符号を付す。【０１５９】
輝度勾配算出部１０２は、補間画像Ｓａが入力されると、第１の実施形態と同様に、補間画像Ｓａ中の個々の画素毎に、画素値から輝度値を特定する。例えば、式（１）の計算により、画素毎に輝度値を計算する。そして、輝度勾配算出部１０２は、予め定められたＳｏｂｅｌフィルタの係数の畳み込みを行い、補間画像Ｓａの画素毎に、水平方向の輝度勾配、垂直方向の輝度勾配を計算する。さらに、輝度勾配算出部１０２は、画素毎に、輝度勾配強度Ｓｂ（ｘ，ｙ）および輝度勾配方向Ｓｃ（ｘ，ｙ）を計算する（ステップＳ４９）。輝度勾配強度Ｓｂ（ｘ，ｙ）は、例えば式（４）または式（５）によって計算すればよい。輝度勾配方向Ｓｃ（ｘ，ｙ）は、例えば式（６）によって計算すればよい。なお、ここでは、Ｓｏｂｅｌフィルタの係数を用いる場合を例示しているが、他のエッジ検出オペレータの係数（Ｒｏｂｉｎｓｏｎのオペレータの係数やＰｒｅｗｉｔｔのオペレータの係数等）を用いる場合の処理も同様である。【０１６０】
ステップＳ４９の後、輪郭抽出部１０３は、輝度勾配算出部１０２が算出した各画素の輝度勾配強度、輝度勾配方向と、予め定められた輪郭抽出閾値Ｐｃとを用いて、補間画像Ｓａ中で輪郭を表している画素を判定する（ステップＳ５０）。輪郭抽出部１０３は、各画素を輪郭判定対象画素として選択する。そして、輪郭判定対象画素の輝度勾配強度が輪郭抽出閾値Ｐｃよりも大きく、かつ、輪郭判定対象画素の輝度勾配方向の隣接画素の輝度勾配強度と、輝度勾配方向を１８０°回転させた方向の隣接画素の輝度勾配強度のいずれよりも大きい場合、輪郭判定対象画素が輪郭上の画素であると判定する。輪郭抽出部１０３は、輪郭を表す画素と判定した画素を代表色推定部８０２に通知する。【０１６１】
ステップＳ４９，Ｓ５０は、第１の実施形態におけるステップＳ１１，Ｓ１２と同様の処理である。【０１６２】
ステップＳ５０の後、代表色推定部８０２および色補正部８０３は、第２の実施形態で説明したステップＳ５１〜ステップＳ５５の処理を行う。ただし、代表色推定部８０２は、ステップＳ５１において、輪郭抽出部１０３から通知された輪郭を表す画素のみを選択対象とする。また、色補正部８０３は、ステップＳ５５において、補間画像Ｓａ中の輪郭を表す各画素について、ステップＳ５１以降の処理を完了しているか否かを判定する。輪郭を表す各画素のうち、ステップＳ５１以降の処理が行われていない画素が残っていればステップＳ５１以降の処理を繰り返す。輪郭を表す各画素についてステップＳ５１以降の処理が完了していれば処理を終了する。その他の点については、第２の実施形態と同様である。【０１６３】
この結果、輪郭を表していない画素についてはステップＳ５１以降の処理が省略されるので、処理を簡略して処理時間を短縮することができる。【０１６４】
次に、第２の実施形態の他の変形例について説明する。以下に示す変形例では、ステップＳ５１で抽出するブロックの範囲等を可変とする。図２２は、第２の実施形態の他の変形例を示すブロック図である。既に説明した構成要素と同一の構成要素については、図２０と同一の符号を付す。図２２に示すように、画像処理システムは、輝度勾配算出部１０２、輪郭抽出部１０３、代表色推定部８０２および色補正部８０３に加えて、パラメータ設定部８１０を備えていてもよい。図２２では、コンピュータ８００とは別にパラメータ設定部８１０を備える場合を示しているが、コンピュータ８００がパラメータ設定部８１０を含んでいてもよい。そして、パラメータ設定部８１０は、プログラムに従って動作する中央処理装置によって実現されてもよい。すなわち、中央処理装置が、画像処理用プログラムを読み込み、画像処理用プログラムに従って、輝度勾配算出部１０２、輪郭抽出部１０３、代表色推定部８０２、色補正部８０３、パラメータ設定部８１０として動作してもよい。【０１６５】
パラメータ設定部８１０は、ステップＳ５１で抽出する画素のブロックとして何行何列のブロックを抽出するのかを定めるパラメータを算出し、代表色推定部８０２および色補正部８０３に出力する。以下、このパラメータをブロック決定用パラメータと記し、"Ｐｅ"と表す。代表色推定部８０２は、ステップＳ５１において、ブロック決定用パラメータＰｅに応じた大きさのブロックを抽出する。【０１６６】
また、パラメータ設定部８１０には、低解像度画像から補間画像Ｓａへの拡大率Ｐａが入力される。パラメータ設定部８１０は、入力された拡大率Ｐａからブロック決定用パラメータＰｅを計算する。なお、拡大率Ｐａが不変である場合、パラメータ設定部８１０は、拡大率Ｐａを定数として記憶しておき、その拡大率Ｐａからブロック決定用パラメータＰｅを計算してもよい。【０１６７】
パラメータ設定部８１０は、以下に示す式（２３）の計算を行い、ブロック決定用パラメータＰｅを計算すればよい。【０１６８】
Ｐｅ＝ε・Ｐａ＋ζ            式（２３）【０１６９】
ε，ζは定数である。また、εは０より大きな値であり、Ｐａが大きくなるほど、Ｐｅも大きな値となる。また、ζはＰｅの下限を表す値である。ζをＰｅの下限値として定めることにより、拡大率Ｐｅの値が小さくともＰｂの値は下限値以上であることが保証される。ε，ζは、例えば、画像処理システムの管理者等に予め設定される。画像処理システムの管理者等は、拡大率に応じた大きさのブロック数が選択されるように、ε，ζを決定すればよい。Ｐｅは、例えば拡大率Ｐａを変数とする一次関数として計算される。ε，ζの例として、ε＝２．０、ζ＝−１．０等の値が挙げられるが、これらの値に限定されるわけではない。【０１７０】
また、パラメータ設定部８１０は、第１の実施形態の変形例におけるパラメータ設定部１１０と同様に、輝度勾配算出用パラメータＰｂおよび輪郭抽出閾値Ｐｃを計算し、輝度勾配算出用パラメータＰｂを輝度勾配算出部１０２に出力し、輪郭抽出閾値Ｐｃを輪郭抽出部１０３に出力する。輝度勾配算出部１０２は、その輝度勾配算出用パラメータＰｂに応じたＳｏｂｅｌフィルタの係数を選択し、補間画像Ｓａの画素毎に輝度勾配強度および輝度勾配方向を算出する。また、輪郭抽出部１０３は、その輪郭抽出閾値Ｐｃを用いて、補間画像Ｓａ中で輪郭を表している画素を判定する。【０１７１】
図２３は、第２の実施形態の他の変形例の処理経過を示すフローチャートである。既に説明した処理と同様の処理については、図１９および図２１と同一の符号を付す。パラメータ設定部８１０は、拡大率Ｐａが入力されると、その拡大率Ｐａを用いて、輝度勾配算出用パラメータＰｂ、輪郭抽出閾値Ｐｃおよびブロック決定用パラメータＰｅを計算する（ステップＳ４１）。なお、Ｐｂ，Ｐｃ，Ｐｅの一部を予め固定値として定めておき、ステップＳ４１でパラメータ設定部８１０は、Ｐｂ，Ｐｃ，Ｐｅのうち固定値として定められていないパラメータについて計算を行ってもよい。【０１７２】
輝度勾配算出部１０２は、補間画像Ｓａが入力されると、補間画像Ｓａ中の個々の画素毎に、画素値から輝度値を特定する。また、「Ｐｂがｘ１以上ｘ２未満ならば、３行３列のＳｏｂｅｌフィルタの係数を選択する。」等のルールを予め保持しておき、そのルールに従って、輝度勾配算出用パラメータＰｂに応じたＳｏｂｅｌフィルタの係数を選択する。輝度勾配算出部１０２は、選択したＳｏｂｅｌフィルタの係数を用いて、補間画像Ｓａの画素毎に輝度勾配強度および輝度勾配方向を算出する（ステップＳ４９）。Ｓｏｂｅｌフィルタの係数を選択する点の他は、既に説明したステップＳ４９と同様である。【０１７３】
輪郭抽出部１０３は、パラメータ設定部８１０が計算した輪郭抽出閾値Ｐｃを用いて、補間画像Ｓａ中で輪郭を表している画素を判定する（ステップＳ５０）。パラメータ設定部８１０が輪郭抽出閾値Ｐｃを定める点の他は、既に説明したステップＳ５０と同様である。【０１７４】
ステップＳ５０後、代表色推定部８０２および色補正部８０３は、既に説明した第２の実施形態の変形例と同様に、ステップＳ５１〜Ｓ５５の処理を行う。代表色推定部８０２は、ステップＳ５１において、輪郭抽出部１０３から通知された輪郭を表す画素のみを選択対象とする。また、色補正部８０３は、ステップＳ５５において、補間画像Ｓａ中の輪郭を表す各画素について、ステップＳ５１以降の処理を完了しているか否かを判定する。輪郭を表す各画素のうち、ステップＳ５１以降の処理が行われていない画素が残っていればステップＳ５１以降の処理を繰り返す。輪郭を表す各画素についてステップＳ５１以降の処理が完了していれば処理を終了する。【０１７５】
本変形例においても、輪郭を表していない画素についてはステップＳ５１以降の処理が省略されるので、処理を簡略して処理時間を短縮することができる。また、低解像度画像から補間画像Ｓａへの拡大率が一定ではない場合であっても、拡大率に応じた適切なパラメータで輪郭を明瞭化することができる。【０１７６】
次に、第２の実施形態の他の変形例について説明する。図２４は、第２の実施形態の他の変形例を示すブロック図である。既に説明した構成要素と同様の構成要素については、図１７、図２０、図２２と同一の符号を付す。図２４に示すように、画像処理システムは、輝度勾配算出部１０２、輪郭抽出部１０３、代表色推定部８０２、色補正部８０３、パラメータ設定部８１０に加えて、補間画像生成部１０１を備えていてもよい。補間画像生成部１０１は、第１の実施形態の変形例で示した補間画像生成部１０１（図１３参照）と同様の処理を行う。図２４では、コンピュータ８００が補間画像生成部１０１を含む場合を示している。補間画像生成部１０１は、プログラムに従って動作する中央処理装置によって実現されてもよい。すなわち、中央処理装置が、画像処理用プログラムを読み込み、画像処理用プログラムに従って、補間画像生成部１０１、輝度勾配算出部１０２、輪郭抽出部１０３、代表色推定部８０２、色補正部８０３、パラメータ設定部８１０として動作してもよい。【０１７７】
補間画像生成部１０１には低解像度画像Ｓｉが入力され、補間画像生成部１０１は補間によりその低解像度画像Ｓｉを拡大して補間画像Ｓａを生成し、補間画像Ｓａを輝度勾配算出部１０２、代表色推定部８０２および色補正部８０３に出力する。すなわち、補間画像生成部１０１は、低解像度画像Ｓｉの画素間に画素を内挿して、拡大画像である補間画像Ｓａを生成する。補間画像生成部１０１は、例えば、バイリニア補間あるいはバイキュービック補間により、低解像度画像Ｓｉを拡大する。【０１７８】
また、パラメータ設定部８１０には、生成すべき拡大画像の解像度が入力される。例えば、拡大後の補間画像Ｓａの横幅（水平方向の画素数）が入力されてもよい。また、パラメータ設定部８１０には、拡大前の低解像度画像Ｓｉの情報（例えば、低解像度画像Ｓｉの横幅）も入力される。パラメータ設定部８１０は、入力された情報を用いて、拡大率Ｐａを計算し、補間画像生成部１０１に出力する。パラメータ設定部８１０は、拡大率Ｐａを計算した後、既に説明したように拡大率ＰａからＰｂ，Ｐｃ，Ｐｄの各パラメータを計算してもよい。この動作は、第１の実施形態の変形例で示したパラメータ設定部１１０（図１３参照）と同様の動作である。【０１７９】
補間画像生成部１０１は、パラメータ設定部８１０が計算した拡大率Ｐａで低解像度画像Ｓｉを補間して補間画像Ｓａを生成する。【０１８０】
図２５は、本変形例の処理経過を示すフローチャートである。既に説明した処理と同様の処理については、図１９および図２１と同一の符号を付す。パラメータ設定部８１０には、例えば、低解像度画像Ｓｉの横幅Ｗｌおよびユーザの所望の補間画像Ｓａの横幅Ｗｈが入力される。パラメータ設定部８１０は、ＷｌおよびＷｈが入力されると、Ｗｈ／Ｗｌを計算することにより、拡大率Ｐａを計算する。ただし、ここで示した拡大率Ｐａの計算方法は一例であり、他の方法で拡大率Ｐａを計算してもよい。パラメータ設定部８１０は、計算した拡大率Ｐａを補間画像生成部１０１に出力する。また、パラメータ設定部８１０は、その拡大率Ｐａを用いて、輝度勾配算出用パラメータＰｂ、輪郭抽出閾値Ｐｃおよびブロック決定用パラメータＰｅを計算する（ステップＳ４７）。パラメータ設定部８１０は、Ｐｂを輝度勾配算出部１０２に出力し、Ｐｃを輪郭抽出部１０３に出力し、ブロック決定用パラメータＰｅを代表色推定部８０２および色補正部８０３に出力する。拡大率Ｐａから、Ｐｂ，Ｐｃ，Ｐｄを算出する動作は、既に説明した動作と同様である。【０１８１】
補間画像生成部１０１には、低解像度画像Ｓｉが入力される。ステップＳ４７の後、補間画像生成部１０１は、拡大率Ｐａで低解像度画像Ｓｉを補間して、ユーザの所望の解像度の補間画像Ｓａを生成する（ステップＳ４８）。この処理は、第１の実施形態の変形例で説明したステップＳ１０（図１４参照）と同様である。【０１８２】
補間画像生成部１０１は、低解像度画像Ｓｉに対して画素を補間して生成した補間画像Ｓａを輝度勾配算出部１０２、代表色推定部８０２および色補正部８０３に出力する。輝度勾配算出部１０２は、パラメータ設定部８１０が計算した輝度勾配算出用パラメータＰｂに応じたＳｏｂｅｌフィルタの係数を選択する。輝度勾配算出部１０２は、Ｓｏｂｅｌフィルタの係数を用いて、補間画像Ｓａの画素毎に輝度勾配強度および輝度勾配方向を算出し、各画素の輝度勾配強度および輝度勾配方向を輪郭抽出部１０３に出力する（ステップＳ４９）。輪郭抽出部１０３は、パラメータ設定部８１０が計算した輪郭抽出閾値Ｐｃを用いて、補間画像Ｓａ中で輪郭を表している画素を判定する（ステップＳ５０）。【０１８３】
ステップＳ５０後、代表色推定部８０２および色補正部８０３は、既に説明した第２の実施形態の変形例と同様に、ステップＳ５１〜Ｓ５５の処理を行う。代表色推定部８０２は、ステップＳ５１において、輪郭抽出部１０３から通知された輪郭を表す画素のみを選択対象とする。また、色補正部８０３は、ステップＳ５５において、補間画像Ｓａ中の輪郭を表す各画素について、ステップＳ５１以降の処理を完了しているか否かを判定する。輪郭を表す各画素のうち、ステップＳ５１以降の処理が行われていない画素が残っていればステップＳ５１以降の処理を繰り返す。輪郭を表す各画素についてステップＳ５１以降の処理が完了していれば処理を終了する。【０１８４】
本変形例によれば、補間画像生成部１０１が低解像度画像Ｓｉに補間処理を行うことにより補間画像Ｓａを生成するので、低解像度画像Ｓｉを入力すれば、高品質の拡大画像を得ることができる。【０１８５】
また、パラメータ設定部８１０を備える構成（例えば、図２２、図２４に示す構成）において、画像処理システムは、輝度勾配算出部１０２および輪郭抽出部１０３を備えていなくともよい。この場合、パラメータ設定部８１０は、Ｐｂ，Ｐｃを計算しなくてもよい。【０１８６】
実施形態３
図２６は、本発明の第３の実施形態を示すブロック図である。本発明の第３の実施形態は、画像を圧縮して送信する画像圧縮装置６００と、その画像を受信して伸張する画像伸張装置６１０とを含む画像伝送システムである。画像圧縮装置６００と画像伸張装置６１０は、伝送路６２０を介して画像を送受信する。【０１８７】
画像圧縮装置６００には、高解像度の入力画像６０４が入力される。画像圧縮装置６００は、入力画像６０４をダウンサンプリングした低解像度画像６０５と、そのダウンサンプリング後の画像と入力画像との残差６０６とを併せて圧縮データ６０７として、伝送路６２０に送出する。また、画像伸張装置６１０は、受信した圧縮データ６０７に含まれる低解像度画像６０５を拡大し、圧縮データ６０７に含まれる残差６０６を加算して、伸張画像６１５を生成する。以下、画像圧縮装置６００および画像伸張装置６１０の構成を説明する。【０１８８】
画像圧縮装置６００は、ローパス・ダウンサンプリング部６０１と、拡大画像生成部６０２と、画像減算部６０３とを備える。【０１８９】
ローパス・ダウンサンプリング部６０１には、入力画像（高解像度画像）６０４が入力される。なお、入力画像６０４は、画像減算部６０３にも入力される。ローパス・ダウンサンプリング部６０１は、入力画像６０４に対してローパスフィルタを適用し、入力画像６０４を所定の解像度にダウンサンプリングする。ダウンサンプリングとは、水平方向および垂直方向に並ぶ画素を周期的に取り除き、画像を低解像度化することをいう。ローパス・ダウンサンプリング部６０１は、生成した低解像度画像６０５を伝送路６２０に送信し、また、拡大画像生成部６０２に出力する。【０１９０】
拡大画像生成部６０２は、ローパス・ダウンサンプリング部６０１が生成した低解像度画像６０５を入力として、その低解像度画像６０５を入力画像６０４と同じ解像度の画像に拡大する。また、拡大画像生成部６０２は、その拡大画像中の輪郭を明瞭化する画像処理を行い、その結果得られる画像を画像減算部６０３に出力する。この処理は、第１の実施形態の変形例として説明した補間画像生成部１０１を備える画像処理システム、または第２の実施形態の変形例として説明した補間画像生成部１０１を備える画像処理システムが実行する処理と同様の処理である。【０１９１】
拡大画像生成部６０２は、例えば、第１の実施形態の変形例として説明した補間画像生成部１０１を備える画像処理システム（図１３参照）によって実現される。また、パラメータ設定部１１０が拡大率Ｐａ、輝度勾配算出用パラメータＰｂ、輪郭抽出閾値Ｐｃ、輪郭補正用パラメータＰｄを設定してもよい。パラメータ設定部１１０が拡大率Ｐａを計算するための情報（Ｗｈ，Ｗｌ）は、例えば、予め定めておけばよい。【０１９２】
拡大画像生成部６０２は、第２の実施形態の変形例として説明した補間画像生成部１０１を備える画像処理システム（図２４参照）によって実現されてもよい。また、パラメータ設定部１１０が拡大率Ｐａ、輝度勾配算出用パラメータＰｂ、輪郭抽出閾値Ｐｃ、ブロック決定用パラメータＰｅを設定してもよい。パラメータ設定部８１０が拡大率Ｐａを計算するための情報（Ｗｈ，Ｗｌ）は、例えば、予め定めておけばよい。【０１９３】
また、図１３や図２４に示すパラメータ設定部１１０，８１０を備えずに、拡大率Ｐａ、輝度勾配算出用パラメータＰｂ、輪郭抽出閾値Ｐｃ、輪郭補正用パラメータＰｄ、ブロック決定用パラメータＰｅが予め定められていてもよい。また、輝度勾配算出用パラメータＰｂの代わりに、Ｓｏｂｅｌフィルタの係数が予め定められていてもよい。【０１９４】
画像減算部６０３は、入力画像６０４と、拡大画像生成部６０２が出力した高解像度画像（入力画像６０４と同じ解像度の画像）との残差６０６を計算する。入力画像６０４における座標（ｘ，ｙ）の画素の画素値をＩ１（ｘ，ｙ）とする。また、拡大画像生成部６０２が生成した高解像度画像における座標（ｘ，ｙ）の画素の画素値をＩ２（ｘ，ｙ）とする。画像減算部６０３は、入力画像６０４と拡大画像生成部６０２が拡大して出力した高解像度画像の対応する画素毎に（すなわち同じ座標の画素毎に）、Ｉ２（ｘ，ｙ）−Ｉ１（ｘ，ｙ）を計算する。この計算結果が残差６０６である。残差は、高解像度画像および入力画像６０４の対応する画素同士の画素値の差を表すデータである。【０１９５】
また、画像減算部６０３は、ローパス・ダウンサンプリング部６０１が低解像度画像６０５を送信するときに、併せてその残差６０６を送信する。低解像度画像６０５と残差６０６をあわせたデータが圧縮データ６０７である。【０１９６】
画像圧縮装置６００は上記のような構成であり、ローパス・ダウンサンプリング部６０１および画像減算部６０３に入力画像６０４が入力されると、ローパス・ダウンサンプリング部６０１はその入力画像６０４をダウンサンプリングして低解像度画像６０５を生成する。そして、拡大画像生成部６０２は、その低解像度画像６０５を拡大し、画像減算部６０３は、その結果得られた拡大画像と入力画像との残差６０６を計算する。そして、ローパス・ダウンサンプリング部６０１は、低解像度画像６０５を画像伸張装置６１０に送信し、画像減算部６０３は、その低解像度画像６０５と併せて残差６０６を画像伸張装置６１０に送信する。【０１９７】
画像伸張装置６１０は、拡大画像生成部６１１と、画像加算部６１２とを備える。【０１９８】
画像伸張装置６１０は、受信した圧縮データ６０７から低解像度画像６０５と残差６０６とを取り出す。【０１９９】
拡大画像生成部６１１には、受信した圧縮データ６０７中の低解像度画像６０５が入力される。拡大画像生成部６１１は、低解像度画像６０５を入力として、その低解像度画像６０５を入力画像６０４と同じ解像度の画像に拡大する。また、拡大画像生成部６１１は、その拡大画像中の輪郭を明瞭化する画像処理を行い、その結果得られる画像を画像加算部６１２に出力する。この処理は、第１の実施形態の変形例として説明した補間画像生成部１０１を備える画像処理システム、または第２の実施形態の変形例として説明した補間画像生成部１０１を備える画像処理システムが実行する処理と同様の処理である。【０２００】
画像伸張装置６１０が備える拡大画像生成部６１１は、画像圧縮装置６００が備える拡大画像生成部６０２と同様であり、例えば、第１の実施形態の変形例として説明した補間画像生成部１０１を備える画像処理システム（図１３参照）によって実現される。また、例えば、第２の実施形態の変形例として説明した補間画像生成部１０１を備える画像処理システム（図２４参照）によって実現されてもよい。【０２０１】
画像加算部６１２には、受信した圧縮データ６０７中の残差６０６が入力される。画像加算部６１２は、拡大画像生成部６１１が出力した拡大画像と、残差６０６とを加算する。拡大画像における座標（ｘ，ｙ）の画素の画素値をＩ３（ｘ，ｙ）とする。また、残差６０６における座標（ｘ，ｙ）の画素の画素値をＩ４（ｘ，ｙ）とする。画像加算部６１２は、拡大画像生成部６１１が生成した拡大画像と残差６０６の対応する画素毎に（すなわち同じ座標の画素毎に）、Ｉ３（ｘ，ｙ）＋Ｉ４（ｘ，ｙ）を計算することで、目的とする高解像度の伸張画像６１５を生成する。【０２０２】
画像伸張装置６１０は上記のような構成であり、拡大画像生成部６１１に低解像度画像６０５が入力されると、拡大画像生成部６１１はその低解像度画像６０５を拡大する。画像加算部６１２は、その結果得られた拡大画像と残差６０６とを加算し、伸張画像６１５を生成する。【０２０３】
なお、画像圧縮装置６００は、伝送路６２０を介して低解像度画像６０５および残差６０６を画像伸張装置６１０に送信する際、その低解像度画像６０５および残差６０６（圧縮データ６０７）を既存のデータ圧縮方法を用いてさらに圧縮してもよい。この場合、画像伸張装置６１０は、その既存のデータ圧縮方法に対応するデータ伸張方法でデータを伸張してから、上記の処理を実行すればよい。【０２０４】
第３の実施形態によれば、画像伸張装置６１０は、第１の実施形態または第２の実施形態で説明した画像拡大処理を用いた画像圧縮装置６００から受信した低解像度画像６０５と残差６０６から高品質な拡大画像を生成することができる。第１の実施形態または第２の実施形態で説明した画像拡大処理によって生成される拡大画像は、既存の拡大画像処理によって生成される拡大画像より入力画像に等しい画像であるので、残差６０６はより小さいデータ量となり、その結果、画像圧縮装置６００は、伝送路６２０を介して送信する残差６０６のデータ量を削減することができる。【０２０５】
以上、説明した実施形態には、輝度勾配算出部が、輝度勾配の強度および輝度勾配の方向の計算対象画素を中心としてエッジ検出オペレータの係数と同じ配置となる複数の画素を特定し、特定した各画素それぞれについて、対応するエッジ検出オペレータの係数との積を計算し、その和を求めることにより、水平方向および垂直方向の輝度勾配を計算し、大きさがその水平方向の輝度勾配であるベクトルと、大きさが垂直方向の輝度勾配であるベクトルとの合成ベクトルの大きさを計算対象画素の輝度勾配の強度とし、垂直方向の輝度勾配を水平方向の輝度勾配で除算した結果のアークタンジェントを輝度勾配の方向とし、輪郭抽出部が、輪郭を表す画素であるか否かの判定対象画素を選択し、判定対象画素の輝度勾配の強度が輪郭抽出閾値より大きく、判定対象画素の輝度勾配の方向の隣接画素およびその方向を１８０°回転させた方向の隣接画素それぞれの輝度勾配の強度よりも大きいときに、判定対象画素は輪郭を表す画素であると判定する構成が記載されている。【０２０６】
また、拡大前の画像から補間画像への拡大率から、エッジ検出オペレータの係数を選択するための輝度勾配算出用パラメータと、輪郭抽出閾値と、第１の隔離画素および第２の隔離画素を特定するための距離とを定めるパラメータ設定部とを備え、輝度勾配算出部が、予め複数種類のエッジ検出オペレータの係数を保持し、輝度勾配算出用パラメータに応じたエッジ検出オペレータの係数を用いて輝度勾配の強度および輝度勾配の方向を計算し、輪郭抽出部が、パラメータ設定部が定めた輪郭抽出閾値を用いて、輪郭を表す画素を特定し、輪郭補正部が、パラメータ設定部が定めた距離を用いて、第１の隔離画素および第２の隔離画素を特定する構成が記載されている。【０２０７】
また、パラメータ設定部が、パラメータ設定部に入力される拡大率から、輝度勾配算出用パラメータと、輪郭抽出閾値と、第１の隔離画素および第２の隔離画素を特定するための距離とを定める構成が記載されている。【０２０８】
また、パラメータ設定部が、予め定められた拡大率から、輝度勾配算出用パラメータと、輪郭抽出閾値と、第１の隔離画素および第２の隔離画素を特定するための距離とを定める構成が記載されている。【０２０９】
また、拡大対象画像が入力され、その拡大対象画像の画素間に画素を内挿することにより、拡大対象画像を拡大した補間画像を生成する補間画像生成部を備える構成が記載されている。【０２１０】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。【０２１１】
本発明は、低解像度の静止画や動画から拡大された画像中の輪郭を明瞭にする画像処理を行う画像処理システムに好適に適用され、また、高解像度の静止画、動画を圧縮して伝送したり保存したりするシステムにも適用可能である。【０２１２】
この出願は、２００７年１２月２５日に出願された日本出願特願２００７−３３２０２９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図１】
2009081529.tif 000014
【図２】
2009081529.tif 000015
【図３】
2009081529.tif 000016
【図４】
2009081529.tif 000017
【図５】
2009081529.tif 000018
【図６】
2009081529.tif 000019
【図７】
2009081529.tif 000020
【図８】
2009081529.tif 000021
【図９】
2009081529.tif 000022
【図１０】
2009081529.tif 000023
【図１１】
2009081529.tif 000024
【図１２】
2009081529.tif 000025
【図１３】
2009081529.tif 000026
【図１４】
2009081529.tif 000027
【図１５】
2009081529.tif 000028
【図１６】
2009081529.tif 000029
【図１７】
2009081529.tif 000030
【図１８】
2009081529.tif 000031
【図１９】
2009081529.tif 000032
【図２０】
2009081529.tif 000033
【図２１】
2009081529.tif 000034
【図２２】
2009081529.tif 000035
【図２３】
2009081529.tif 000036
【図２４】
2009081529.tif 000037
【図２５】
2009081529.tif 000038
【図２６】
2009081529.tif 000039
【図２７】
2009081529.tif 000040
【図２８】
2009081529.tif 000041
【図２９】
2009081529.tif 000042
【図３０】
2009081529.tif 000043
【国際調査報告】
2009081529.tif 000044
2009081529.tif 000045
2009081529.tif 000046