(57)【要約】【課題】データ依存性三角形分割手法を用いて入力画像を高品質に拡大する際に、エッジの角度の算出精度を向上させる。【解決手段】第一画素領域１２に含まれる画素１１の画素値から第一画素領域１２のコントラストＣを算出する。コントラストＣが閾値Ｃτ未満の場合に第一画素領域１２を参照領域１５ａとして設定し、コントラストＣが閾値Ｃτ以上の場合に第一画素領域１２を含み、且つ第一画素領域１２よりも大きい領域を参照領域１５ｂとして設定する。参照領域に含まれる画素の画素値を用いて第一画素領域のエッジ１３の角度θを算出する。【選択図】図３
2020064448.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素を含む第一画素領域を含み、前記第一画素領域よりも広い第二画素領域における前記各画素の画素値を取得する画素値取得手段と、
前記第二画素領域における前記各画素の画素値を用いて前記第一画素領域のエッジの角度を算出するエッジ算出手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記第一画素領域における前記画素の画素値の差を算出する差分算出手段を備え、
前記エッジ算出手段は、前記画素値の差に応じて前記第一画素領域を含む参照領域を設定し、該参照領域における前記各画素の画素値を用いて前記第一画素領域の前記エッジの角度を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記エッジ算出手段は、前記画素値の差に応じて、前記第一画素領域又は前記第二画素領域を前記参照領域に設定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
エッジ算出手段は、前記参照領域の水平方向における画素値の変化率と垂直方向における画素値の変化率とに基づいて前記エッジの角度を算出することを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記エッジ算出手段は、前記参照領域の各画素の画素値に対し、前記第一画素領域に含まれる画素との位置関係に応じた重み付け係数を乗じた上で前記エッジの角度を算出することを特徴とする請求項２乃至４の何れか一項に記載の画像処理装置。
【請求項６】
前記重み付け係数には２のべき乗値が設定されていることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
複数の画素を含む第一画素領域を含み、前記第一画素領域よりも広い第二画素領域における前記各画素の画素値を取得する画素値取得ステップと、
前記第二画素領域における前記各画素の画素値を用いて前記第一画素領域のエッジの角度を算出するエッジ算出ステップと、
を実行することを特徴とする画像処理方法。
【請求項８】
コンピュータを、
複数の画素を含む第一画素領域を含み、前記第一画素領域よりも広い第二画素領域における前記各画素の画素値を取得する画素値取得手段と、
前記第二画素領域における前記各画素の画素値を用いて前記第一画素領域のエッジの角度を算出するエッジ算出手段と、
として機能させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像を高品質に拡大する画像処理装置、画像処理方法、及びそのプログラムに関し、特に、入力画像を複数の三角形により領域分割して画素を補間するデータ依存性三角形分割手法（Data Dependent Triangulation：ＤＤＴ法）を用いて、入力画像を高品質に拡大することができる画像処理装置、画像処理方法、及びそのプログラムに関する。
【背景技術】
【０００２】
ビットマップ画像等のラスタ画像の拡大、回転、変形等をする際に、画像中に存在するエッジの角度を算出し、算出されたエッジの角度に基づいて作成したベクトルデータを用いて画素を補間する技術として、例えばＤＤＴ法が知られている（非特許文献１）。
ＤＤＴ法は、コスト関数やエッジの角度に基づいて、ラスタ画像を複数の三角形によって領域分割する。ラスタ画像を領域分割する三角形メッシュデータはベクトルデータである。ＤＤＴ法は、三角形の頂点に対応する画素の画素値と、ベクトルデータである三角形メッシュデータとを用いて、三角形メッシュ内の領域に画素を線形補間する。
上記ＤＤＴ法を画像拡大処理に応用した画像処理方法として、特許文献２が挙げられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−３２３０１号公報
【非特許文献】
【０００４】
【非特許文献１】X.Yu, B.S. Morse, and T.W. Sederberg, “Image Reconstruction UsingData-Dependent Triangulation”, IEEE Computer Graphics and Applications, Vol.21, No. 3, pp. 62-68 May/Jun. (2001)
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１においては、ラスタ画像中の２×２画素からなる画素領域のエッジの角度を、２×２画素領域の情報のみに基づいて算出するため、エッジの角度の算出精度が低下する虞がある。
本発明は上述の事情に鑑みてなされたものであり、エッジの角度の算出精度を向上させることを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明は、複数の画素を含む第一画素領域を含み、前記第一画素領域よりも広い第二画素領域における前記各画素の画素値を取得する画素値取得手段と、前記第二画素領域における前記各画素の画素値を用いて前記第一画素領域のエッジの角度を算出するエッジ算出手段と、を備えることを特徴とする。
【発明の効果】
【０００７】
一実施態様によれば、エッジの角度の算出精度を向上させることが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る画像処理装置の機能構成を示すブロック図である。
【図２】本発明の一実施形態に係るコンピュータのハードウェア構成を示すブロック図である。
【図３】（ａ）〜（ｃ）は、本発明の一実施形態に係る画像処理装置によるエッジ算出方法の概要について説明する図である。
【図４】エッジ算出部が生成する中間画像を示す図である。
【図５】エッジ抽出部による対角線の抽出方法の一例について説明する模式図である。
【図６】（ａ）〜（ｆ）は、分割エッジとして抽出される対角線の検出パターンの一例を示す図である。
【図７】（ａ）、（ｂ）は、判定用の角度範囲の決定方法の一例について説明する模式図である。
【図８】（ａ）〜（ｄ）は、補間される分割エッジの一例を示す図である。
【図９】本発明の一実施形態に係る画像の処理手順を示したフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
【００１０】
〔機能構成〕
図１は、本発明の一実施形態に係る画像処理装置の機能構成を示すブロック図である。
画像処理装置１００は、ビットマップ画像等（ラスタ画像の一例）の入力画像を拡大・回転・変形し、高解像度化した或いは高品質化した出力画像を生成する装置である。画像処理装置１００は、複数の画素により構成される入力画像（元画像）を、入力画像中のエッジを活用した複数の三角形によりメッシュ状に領域分割する。入力画像を三角形メッシュにより領域分割する領域分割情報はベクターデータである。画像処理装置１００は、領域分割情報に基づいて入力画像を拡大して出力画像を生成する。
画像処理装置１００は、エッジ算出部（画素値取得手段、エッジ算出手段）１１０、メッシュ生成部１２０、エッジ強調部１３０、及びラスタライズ部１４０を備える。
エッジ算出部１１０は、入力画像から複数の画素（元画素）を含む第一画素領域を選択し、第一画素領域における各画素の画素値に基づいてエッジの角度を算出する手段である。また、エッジ算出部１１０は、算出された各エッジの角度に対応する画素値を夫々有した中間画素により構成された中間画像を生成するエッジ画像生成手段としても機能する。エッジ算出部１１０は、コントラスト算出部（差分算出手段）１１１、グラディエント算出部１１２、及び、アウトライヤ算出部１１３を備える。
【００１１】
メッシュ生成部１２０は、エッジ算出部１１０により算出されたエッジの角度に基づいて、入力画像を複数の三角形により領域分割する手段である。メッシュ生成部１２０は、エッジ抽出部（エッジ抽出手段）１２１、検出パターン記憶部１２２、メッシュ補間部１２３、及び、補間パターン記憶部１２４を備える。
エッジ強調部１３０は、入力画像のエッジを強調した鮮鋭化画像を生成する。
ラスタライズ部１４０は、エッジ強調部１３０から出力される鮮鋭化画像を、メッシュ生成部１２０から出力される領域分割情報を用いて拡大すると共に、必要に応じてバイリニア法やバイキュービック法等を用いてピクセル補間を行って、高解像度化した出力画像を生成する。
上記画像処理装置１００を構成する各部は電子回路（ハードウェア）により実現されるが、一般的なコンピュータが実行するソフトウェアにより実現されてもよい。
【００１２】
〔コンピュータの構成〕
図１に示した画像処理装置の各部をソフトウェアにより実現する場合のコンピュータのハードウェア構成の一例について説明する。
図２は、本発明の一実施形態に係るコンピュータのハードウェア構成を示すブロック図である。
画像処理装置１００は、ＣＰＵ（Central Processing Unit）１５１、ＲＯＭ（Read Only Memory）１５２、ＲＡＭ（Random Access Memory）１５３、及びバス１５４を備える。各構成要素は、バス１５４により接続される。なお、画像処理装置１００は、記憶装置１５５、外部Ｉ／Ｆ１５６、リーダライタ１５７の何れか又は全部を備えてもよい。
【００１３】
ＣＰＵ１５１は、ＲＯＭ１５２に格納されたプログラム等を用いて画像処理装置１００全体の制御をする。ＲＯＭ１５２は、ＣＰＵ１５１に画像処理装置１００全体を制御する処理を実行させるための制御プログラムを記憶する不揮発性の記憶手段である。画像処理装置１００全体を制御する処理を実行させるための制御プログラムは、画像処理装置１００が備える記憶装置１５５に記憶されてもよい。ここで、記憶装置１５５は例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等である。
画像処理装置１００全体を制御する処理を実行させるための制御プログラムは、記録媒体１６２に記憶され、画像処理装置１００が備えるリーダライタ１５７で読み出されてＲＯＭ１５２又は画像処理装置１００が備える記憶装置１５５に記憶されてもよい。記録媒体１６２は、例えば、ＳＤメモリーカード（SD Memory Card）、ＦＤ（Floppy Disk）、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＢＤ（Blu-ray（登録商標） Disk）、およびフラッシュメモリなどの非一時的記録媒体である。
【００１４】
ＲＡＭ１５３は、ＲＯＭ１５２から読み出されたプログラムやデータ等を一時的に格納する揮発性の記憶手段である。ＣＰＵ１５１が起動時にＲＯＭ１５２から制御プログラムを読み出してＲＡＭ１５３に展開し、ＲＡＭ１５３をワークスペースとして制御プログラムを実行することにより、各種の機能が実現される。
外部Ｉ／Ｆ１５６は、画像処理装置１００と外部記憶装置１６１とを接続する。外部記憶装置１６１は、入力画像や出力画像等、各種のデータを記憶する。外部記憶装置１６１は、例えば、ＨＤＤやＳＳＤ等である。
図１に示したエッジ算出部１１０、メッシュ生成部１２０、エッジ強調部１３０、及びラスタライズ部１４０は、夫々、ＣＰＵ１５１が制御プログラムをＲＯＭ１５２等から読み出してＲＡＭ１５３に展開して実行することにより実現される。また、検出パターン記憶部１２２及び補間パターン記憶部１２４は、記憶装置１５５により実現される。
【００１５】
〔エッジ算出部〕
＜処理概要＞
図３（ａ）〜（ｃ）は、本発明の一実施形態に係る画像処理装置によるエッジ算出方法の概要について説明する図である。
コントラスト算出部１１１は、図３（ａ）に示す入力画像１０から、複数の画素１１により形成される所定形状の第一画素領域１２を選択し、第一画素領域１２の各画素１１の画素値（例えば輝度値）を取得する。コントラスト算出部１１１は、第一画素領域１２を構成する各画素１１の各画素値に基づいて、第一画素領域１２における画素の画素値の差、即ちコントラストＣ（f_cont）を算出する（図３（ｂ））。
グラディエント算出部１１２、及びアウトライヤ算出部１１３は、第一画素領域１２のエッジ１３の角度を算出する（図３（ｃ））。本例において、グラディエント算出部１１２はエッジ１３の角度を０〜９０度の範囲で算出し、アウトライヤ算出部１１３はエッジ１３の向き（右下方向、又は左下方向）を算出する。
【００１６】
グラディエント算出部１１２は、第一画素領域１２のコントラストＣの大きさに応じて第一画素領域１２を含む参照領域１５（１５ａ，１５ｂ）を設定する（図３（ｃ））。即ち、グラディエント算出部１１２は、コントラストＣが閾値Ｃτ未満の場合に第一画素領域１２を参照領域１５ａとして設定し、コントラストＣが閾値Ｃτ以上の場合に第一画素領域１２よりも広い第二画素領域を参照領域１５ｂとして設定する。グラディエント算出部１１２は、設定した参照領域１５の各画素１１の画素値を取得し、参照領域１５における各画素の画素値を用いて第一画素領域１２のエッジ１３の角度を算出する。
アウトライヤ算出部１１３は、第一画素領域１２の各画素１１の画素値を取得し、第一画素領域１２における各画素の画素値を用いて第一画素領域１２のエッジ１３の向きを算出する。
以下、各部の動作について、具体例を用いて詳細に説明する。
【００１７】
＜コントラスト算出部＞
＜＜１要素画像の場合＞＞
図３（ａ）に示すように、コントラスト算出部１１１は、入力画像１０の例えば左上から複数の画素１１を含む第一画素領域１２を順次設定し、各第一画素領域１２に含まれる各画素の輝度値を取得する。コントラスト算出部１１１は第一画素領域１２のコントラストＣ、言い換えれば、第一画素領域１２における画素の輝度値の差を算出する。
ここで、第一画素領域１２を２×２画素領域（２×２行列Ａ）とし、各画素の輝度値（２×２行列Ａの成分）をａ，ｂ，ｃ，ｄとした場合、コントラストＣ（f_cont）は、例えば、
2020064448.tif 000003
・・・式（１）
のように算出される。なお、符号
2020064448.tif 000004
は、小数点以下の数値を切り捨てる床関数である。
このように、コントラスト算出部１１１は、第一画素領域１２における最大輝度値と最小輝度値の差をコントラストＣとして算出することができる。
【００１８】
＜＜多要素画像の場合＞＞
仮に、入力画像が、その各画素が夫々Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の各要素について夫々輝度値を有するＲＧＢ画像（多要素画像、特に３要素画像の一例）である場合、コントラストＣ(f_cont)は、第一画素領域１２を２×２画素領域、要素Ｘに係る各画素の輝度値（行列Ａｘの成分）をａｘ，ｂｘ，ｃｘ，ｄｘとして、
2020064448.tif 000005
2020064448.tif 000006
2020064448.tif 000007
2020064448.tif 000008
・・・式（２）
のように算出される。
このように、コントラスト算出部１１１は、入力画像が、入力画像の各画素が夫々複数の要素を有した多要素画像である場合も１要素画像の場合と同様に、コントラストＣを算出することができる。
【００１９】
＜＜第一画素領域の形状＞＞
本例では第一画素領域を２×２画素により構成される正方形状の画素領域としているが、第一画素領域を、複数の画素を含むその他の矩形状の画素領域としてもよい。また、第一画素領域を、複数の画素を含む任意の形状の画素領域（例えば円形の画素領域）としてもよい。この場合、コントラスト算出部１１１は、矩形状の画素領域を選択し、不要な画素をマスクすることで、任意の形状の画素領域を第一画素領域として設定することができる。
【００２０】
＜グラディエント算出部＞
グラディエント算出部１１２は、図３（ｃ）に示すようにコントラストＣの大きさに応じて第一画素領域１２を含む参照領域１５（１５ａ，１５ｂ）を設定する。具体的には、グラディエント算出部１１２は、コントラストＣの大きさに応じて、第一画素領域１２（参照領域１５ａ）又は第一画素領域１２よりも広い領域（参照領域１５ｂ）を参照領域１５として設定する。グラディエント算出部１１２は、設定した参照領域１５における各画素の輝度値を用いて第一画素領域１２のエッジ１３の角度θが０度〜９０度の範囲で示されたグラディエントＧ（f_grad、（ｇｘ，ｇｙ））を算出する。
【００２１】
＜＜２×２グラディエント関数＞＞
グラディエント算出部１１２は、コントラストＣが閾値Ｃτ未満の場合に第一画素領域１２を参照領域１５ａとして設定する（図３（ｃ））。
参照領域１５ａが２×２画素領域であり、２×２行列Ａとして表現される場合、グラディエント算出部１１２は、以下の式（３）に示される２×２グラディエント関数により参照領域１５ａの水平方向における輝度値の変化量（又は変化率）ｇｘと、垂直方向における輝度値の変化量（又は変化率）ｇｙと、を算出する。
2020064448.tif 000009
・・・式（３）
なお、記号「＊」は行列のたたみ込みを表し、各行列の夫々の成分の積を足し合わせることを意味する。参照領域１５ａの各画素の輝度値（行列Ａの成分）をａ，ｂ，ｃ，ｄとしてグラディエントＧ（f_grad）を具体的に示せば、
2020064448.tif 000010
2020064448.tif 000011
2020064448.tif 000012
・・・式（４）
となる。式（４）に示すように、本例においてｇｘとｇｙは、共に正の数となる。
【００２２】
仮に、入力画像が、入力画像の各画素が夫々Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の各要素について夫々輝度値を有するＲＧＢ画像（多要素画像、特に３要素画像の一例）である場合、そのグラディエントＧ（f_grad）は、各要素Ｘ（Ｘ∈｛Ｒ，Ｇ，Ｂ｝）に係るグラディエントＧの総和として求めることができる。
2020064448.tif 000013
・・・式（５）
【００２３】
＜＜４×４グラディエント関数＞＞
グラディエント算出部１１２は、コントラストＣが閾値Ｃτ以上の場合に第一画素領域１２を含み、且つ第一画素領域１２よりも大きい領域（第二画素領域）を参照領域１５ｂとして設定する（図３（ｃ））。
本例において、グラディエント算出部１１２は、第一画素領域１２よりも一回り大きい４×４画素領域を参照領域１５ｂとして設定する。
【００２４】
参照領域１５ｂが４×４画素領域である場合（４×４行列Ｂとして表現される）、グラディエント算出部１１２は、以下の式（６）に示される４×４グラディエント関数により参照領域１５ｂの水平方向における輝度値の変化量（又は変化率）ｇｘと、垂直方向における輝度値の変化量（又は変化率）ｇｙと、を算出する。
2020064448.tif 000014
・・・式（６）
【００２５】
グラディエント算出部１１２は、参照領域１５ｂの各画素の輝度値に対し、第一画素領域１２に含まれる画素との位置関係に応じた重み付け係数を乗じた上でエッジの角度（グラディエント）を算出する。即ち、グラディエント算出部１１２は、第一画素領域１２を構成する画素の輝度値に対して重み付け係数「＋４」又は「−４」を乗じ、第一画素領域１２に対して水平又は垂直方向に隣接する画素の輝度値に対して重み付け係数「＋２」又は「−２」を乗じ、他の画素の輝度値に対して重み付け係数「＋１」又は「−１」を乗じている。
上記、重み付け係数には２のべき乗値が設定されている。重み付け係数に２のべき乗値を設定することにより、ビットをずらして計算するシフト演算が利用できるようになり、処理速度の向上を図ることができる。
【００２６】
＜＜エッジの角度θ＞＞
グラディエント算出部１１２は、式（３）又は式（６）により求めたグラディエントＧ（ｇｘ，ｇｙ）から、逆三角関数により第一画素領域１２のエッジ１３の角度θ（０°≦θ≦９０°）を求めることができる。
2020064448.tif 000015
・・・式（７）
即ち、グラディエント算出部１１２は、参照領域１５の水平方向における輝度値の変化率ｇｘと垂直方向における輝度値の変化率ｇｙとに基づいてエッジ１３の角度θを算出する。
なお、逆三角関数の計算は処理負荷が高いため、式（７）の代わりに、角度θの正接
2020064448.tif 000016
・・・式（８）
を求めてもよい。
【００２７】
グラディエント算出部１１２は、コントラストＣが閾値Ｃτ以上の場合に、第一画素領域１２よりも広い参照領域１５ｂの各画素の輝度値に基づいてグラディエントＧを算出するため、より正確にエッジ１３の角度θを算出可能となる。また、参照領域１５ｂの各輝度値に対して、第一画素領域１２との位置関係に応じた重み付け係数を乗じることにより、より正確にエッジ１３の角度θを算出できる。
【００２８】
＜アウトライヤ算出部＞
アウトライヤ算出部１１３は、第一画素領域１２における局所的なエッジ１３の強さと方向を推定する値であるアウトライヤ（f_outlier）を算出する。
例えば、第一画素領域１２を２×２画素領域（行列Ａ）とした場合、アウトライヤ（f_outlier）は、
2020064448.tif 000017
・・・式（９）
のように算出される。なお、記号「＊」は行列のたたみ込みを表し、各行列の夫々の成分の積を足し合わせることを意味する。
【００２９】
第一画素領域１２の各画素の輝度値（行列Ａの成分）をａ，ｂ，ｃ，ｄとしてアウトライヤ（f_outlier）を具体的に示せば、以下のようになる。
2020064448.tif 000018
・・・式（１０）
即ち、アウトライヤ（f_outlier）の大きさは、斜め方向における輝度変化の大きさを示し、アウトライヤ（f_outlier）の符号は、エッジ１３の向きを表す。アウトライヤ（f_outlier）が正の数をとるときエッジ１３は右下方向を向き、負の数をとるときエッジ１３は左下方向に向いていることを示す。
グラディエントＧから求められるエッジの角度θが０〜９０度の範囲であっても、アウトライヤの値を求めることによって、エッジの角度θを０〜１８０度の範囲で特定することができる。
【００３０】
＜エッジ算出部が生成する中間画像＞
図４は、エッジ算出部が生成する中間画像を示す図である。
最終的に、エッジ算出部１１０は、夫々の第一画素領域１２における各エッジ１３の角度θ（０〜９０度、又は０〜１８０度）、又はこれを示す値（グラディエント（ｇｘ，ｇｙ）、及びアウトライヤ）を画素値として夫々有した複数の中間画素２１により構成される中間画像２０を生成する。即ち、エッジ算出部１１０は、各画素がエッジの角度情報を有する中間画像２０を生成するエッジ画像生成手段として機能する。本例において中間画像２０は、各中間画素２１がグラディエントの値を有したグラディエント画像と、各中間画素２１がアウトライヤの値を有したアウトライヤ画像の複数の画像から構成される。
各中間画素２１が有するアウトライヤとグラディエントの値は、元画像（入力画像１０）において第一画素領域１２を構成する４つの画素１１の関係性を示すものである。中間画像２０は、入力画像１０の各画素１１の画素中心を頂点とする正方形状の領域として表される複数の中間画素２１から構成される。また、中間画像２０は入力画像１０に対して右下方向に半画素ずれた位置関係となる。
【００３１】
＜変形例＞
本実施形態においては、グラディエントを算出するための参照領域１５を設定するに際して、第一画素領域１２の輝度のコントラスト（輝度値の差）を利用しているが、色のコントラスト（色差）等、画素の持つ輝度値以外の画素値の差を利用してもよい。輝度のコントラストに代えて、色のコントラスト（色を表す画素値の差）を用いてもよい。
グラディエント算出部１１２は、上記実施形態とは異なり、コントラストＣが閾値Ｃτ未満の場合に第一画素領域１２よりも広い領域を参照領域として設定し、コントラストＣが閾値Ｃτ以上の場合に第一画素領域１２を参照領域として設定してもよい。
【００３２】
〔メッシュ生成部〕
＜処理概要＞
メッシュ生成部１２０は、入力画像１０中のエッジを活用して、入力画像１０を複数の三角形により領域分割する。即ち、入力画像１０中のエッジが、入力画像１０を領域分割する三角形のエッジとなるように、入力画像１０を分割する三角形を選択する。
エッジ抽出部１２１は、エッジ算出部１１０により算出されたエッジの角度θ（エッジの角度を示す値を含む）、又はこれを示す値（例えば、グラディエント（ｇｘ，ｇｙ）及びアウトライヤ）に基づいて、入力画像１０を領域分割する三角形の辺である分割エッジ（対角線２３）を順次抽出する。
メッシュ補間部１２３は、入力画像１０の全体が三角形により領域分割されるように、メッシュが不完全な部分について分割エッジを補間する。
【００３３】
＜エッジ抽出部：対角線の抽出方法＞
図５は、エッジ抽出部による対角線の抽出方法の一例について説明する模式図である。以下、対角線を形成する矩形領域が右３×２画素領域である場合の例により説明する。なお、「右３×２画素領域」とは、図中、対角線が右下方向に伸び、且つ３×２画素からなる矩形領域を意味する。対角線が図中左下方向に伸びる場合は「左・・・画素領域」と表現する。
エッジ抽出部１２１は、図４に示す中間画像２０から、複数の中間画素２１により形成される矩形領域２２（ここでは右３×２画素領域）を選択する。エッジ抽出部１２１は、矩形領域２２の対角線２３が通過する中間画素を判定対象画素２４（図中、着色部分）として設定する。エッジ抽出部１２１は、矩形領域２２中の全ての判定対象画素２４が示す夫々のエッジ１３の角度θが対角線２３の角度φに対して所定の角度範囲内にあるとき、対角線２３を、入力画像を領域分割する三角形の辺を構成する分割エッジとして抽出する。
【００３４】
＜分割エッジの検出パターン＞
図６（ａ）〜（ｆ）は、分割エッジとして抽出される対角線の検出パターンの一例を示す図である。
検出パターン記憶部１２２（図１）は、複数種類の対角線の検出パターンを記憶している。具体的には、検出パターン記憶部１２２は、矩形領域２２である右３×２画素領域、左３×２画素領域（図６（ａ））、右２×３画素領域、左２×３画素領域（図６（ｂ））、右３×１画素領域、左３×１画素領域（図６（ｃ））、右１×３画素領域、左１×３画素領域（図６（ｄ））、右２×１画素領域、左２×１画素領域（図６（ｅ））、右１×２画素領域、左１×２画素領域（図６（ｆ））の夫々の対角線に係る検出パターンを記憶している。なお、右１×１画素領域と左１×１画素領域の対角線は、補間対象の分割エッジとして取り扱われるため（図７参照）、検出パターンとしては記憶されていない。
本例において検出パターン記憶部１２２は、３×３画素領域よりも面積が小さい矩形領域の対角線を検出パターンとして記憶しているが、検出パターン記憶部１２２は、これよりも大きい矩形領域の対角線に係る検出パターンを記憶してもよい。
【００３５】
検出パターン記憶部１２２は、互いに重複しない角度関係にある対角線に係る検出パターンを記憶する。特に、検出パターン記憶部１２２は、端点以外の対角線上に中間画素の交点（角部）を含まない対角線を検出パターンとして記憶することが望ましい。すなわち、検出パターンとして記憶される対角線を形成する矩形領域は、矩形領域の対角線と同一角度の対角線を有する小矩形領域を内部に含まない、互いに直行する２辺の長さが「互いに素」の関係にある矩形領域であることが望ましい。２辺の長さが「互いに素」とは、矩形領域を構成する直行する２辺の長さの最大公約数が１である関係を意味する。
例えば、６×４画素領域はその内部に４個の３×２画素領域を含み、６×４画素領域の対角線上には３×２画素領域の角部（交点）を含むため、検出パターン記憶部１２２は３×２画素領域の対角線を検出パターンとして記憶してもよいが、６×４画素領域の対角線は検出パターンとして記憶しないことが望ましい。これは、ラスタライズ時には、三角形メッシュの頂点に位置する元画素の画素値を参照して三角形メッシュ内を塗りつぶす画素値が決定されることに起因する。例えば、６×４画素領域の対角線を抽出する場合、この対角線を含んで構成される三角形メッシュの各辺の中央には３×２画素領域の角部が存在するが、各辺の中央に位置する元画素の画素値はラスタライズ時に参照されないため、元画像の再現率が低下する虞がある。検出パターン記憶部１２２に「互いに素」の関係にある矩形領域に係る対角線のみを検出パターンとして記憶させておくことにより、ラスタライズ時において元画像の再現率を向上させ、より元画像に近い画像を出力することが可能となる。
【００３６】
検出パターン記憶部１２２（図１）には、各対角線２３の検出パターンに対して、判定対象画素２４の位置と、判定用の角度範囲（パラメータａ、ｂ、アウトライヤ符号）とが対応付けて判定テーブルとして記憶されている。さらに、各対角線２３の検出パターンには、検出対象である対角線２３の基点２３ａの位置と、判定対象画素２４のうち最初に判定が行われる注目画素２５の位置とに係る情報が対応付けられている。なお、検出対象である対角線２３の基点２３ａを有した判定対象画素２４が注目画素２５である。つまり、各対角線２３の検出パターンは、注目画素２５と注目画素２５以外の判定対象画素２４との位置関係を示す情報を含むと言える。
検出パターン記憶部１２２に記憶される判定用の角度範囲は、エッジ抽出部１２１によって抽出される対角線が互いに交差しないように設定されている。
【００３７】
図７（ａ）、（ｂ）は、判定用の角度範囲の決定方法の一例について説明する模式図である。以下、右３×２画素からなる矩形領域２２に係る対角線２３を検出するための、判定用の角度範囲を決定する場合の例により説明する。
まず、抽出対象となる対角線２３に対して、反時計回り方向に最も近い矩形領域（右２×１画素領域）の対角線ｄ１と、時計回り方向に最も近い矩形領域（右１×１画素領域）の対角線ｄ２とを見つける。ここで、対角線２３の角度をφ、対角線ｄ１の角度をα、対角線ｄ２の角度をβとする。
対角線２３の角度φと対角線ｄ１の角度αを等角度分割した角度（φ＋α）／２と、対角線２３の角度φと対角線ｄ２の角度βを等角度分割した角度（φ＋β）／２との間を、判定用の角度範囲とする。
2020064448.tif 000019
・・・式（１１）
なお、θは各中間画素２１が示すエッジの角度である。
【００３８】
ところで、中間画素２１のエッジの角度θは、中間画素２１のグラディエントを（ｇｘ，ｇｙ）とするとき、以下の式（１２）により求められる。
2020064448.tif 000020
・・・式（１２）
しかし、逆三角関数の計算は複雑であり、これを中間画素ごとに計算する場合には、回路の複雑化と処理負荷の増大を招くという問題がある。そこで、式（１２）を以下の式（１３）ように変形して、グラディエント比（ｇｙ／ｇｘ）の下限値をパラメータａ、上限値をパラメータｂとして判定テーブル（図６）に記憶させることで、逆三角関数の計算を省略することが可能となる。
2020064448.tif 000021
・・・式（１３）
【００３９】
なお、図６に示す検出パターンにおいて、各対角線（角度φ）を決定するパラメータａ，ｂは、ａ＜ｔａｎφ、ｔａｎφ＜ｂを満たす任意の値に設定することができる。また、各対角線を決定する角度範囲は、異なる対角線を決定するパラメータ同士で重複する部分を有していてもよい。例えば、図６に示す検出パターンにおいては、図６（ｃ）に示す左右３×１画素領域のパラメータａと、図６（ｄ）に示す左右１×３画素領域のパラメータｂについては、判定されないエッジの範囲が生じないように、エッジの判定範囲を拡大している。また、図６（ｅ）に示す左右２×１画素領域の対角線と、図６（ｆ）に示す左右１×２画素領域の対角線は、誤検出が少ないことから、判定用の角度範囲を拡大している。
更に、左右３×１画素領域と、左右１×３画素領域については、水平方向のエッジと垂直方向のエッジを誤検出しないようにするために、グラディエントのｙ成分ｇｙがゼロである場合は対角線を抽出しないように設定されている。
【００４０】
＜対角線の検出手順＞
エッジ抽出部１２１は、面積の大きい矩形領域に係る対角線を、面積の小さい矩形領域に係る対角線に優先して抽出するように、分割エッジの抽出処理を実行する。即ち、エッジ抽出部１２１は、検出パターン記憶部１２２から検出パターンを読み出して、図６（ａ）〜（ｆ）に示す順番で対角線を抽出するように分割エッジの抽出処理を実行する。エッジ抽出部１２１は、面積の大きい矩形領域に係る対角線を、面積の小さい矩形領域に係る対角線に優先して抽出することで、分割エッジが交差しないように対角線を抽出することができる。
【００４１】
具体的には、エッジ抽出部１２１は、図５に示すように、中間画像２０（図４）の例えば左上から順番に一の中間画素２１を選択し、注目画素２５として設定する。エッジ抽出部１２１は、注目画素２５のエッジ１３の角度θと対角線２３の判定用の角度範囲とを、面積の大きい矩形領域２２に係る対角線２３の検出パターンから順番に比較する。エッジ抽出部１２１は、注目画素２５のエッジの角度θが、ある対角線２３の判定用の角度範囲に含まれるとき、当該対角線２３の検出パターンに基づいて注目画素２５以外の判定対象画素２４を設定する。エッジ抽出部１２１は、新たに設定した判定対象画素２４のエッジ１３の角度θと判定用の角度範囲とを比較する。エッジ抽出部１２１は、全ての判定対象画素２４が示すエッジ１３の角度θが判定用の角度範囲内にあるとき、当該対角線２３を、入力画像１０（図３（ａ））を領域分割する三角形の辺を構成する分割エッジとして抽出する。
仮に、何れかの判定対象画素２４が示すエッジ１３の角度θが対角線２３の角度φに対して判定用の角度範囲を逸脱するとき、エッジ抽出部１２１は、注目画素２５のエッジ１３の角度θを、次に面積が大きい矩形領域に係る対角線の判定用の角度範囲と比較する。エッジ抽出部１２１は、比較結果に基づいて新たに注目画素２５以外の判定対象画素２４を設定する。
エッジ抽出部１２１は、以上の処理を順次実行することにより、中間画像２０の全領域から分割エッジとしての対角線２３を抽出する。
【００４２】
＜メッシュ補間部＞
エッジ抽出部１２１が抽出した対角線２３のみでは完全なメッシュを形成できないため、メッシュ補間部１２３は、メッシュが不完全な部分について分割エッジを補間し、入力画像１０の全体を三角形により領域分割する。
図８（ａ）〜（ｄ）は、補間される分割エッジの一例を示す図である。本図に示す分割エッジは、補間パターン記憶部１２４（図１）に記憶されている。
エッジ抽出部１２１は、メッシュが不完全な部分について図８（ａ）〜（ｄ）の順に分割エッジを挿入することにより、入力画像１０の全体を三角形により領域分割することができる。但し、エッジ抽出部１２１は、既に抽出されている分割エッジと交差しない場合にのみ、図示する分割エッジを挿入する。
なお、メッシュ生成部１２０のエッジ抽出部１２１は、上記以外の方法により算出された元画素のエッジの角度（或いはグラディエントの値）を用いて、分割エッジを抽出しても構わない。
【００４３】
〔フローチャート〕
図９は、本発明の一実施形態に係る画像の処理手順を示したフローチャートである。
ステップＳ１において、画像処理装置１００は、入力画像１０（図３（ａ））を取得する。入力画像１０は、エッジ算出部１１０とエッジ強調部１３０に入力される。
ステップＳ３において、コントラスト算出部１１１は、複数の画素１１を含む第一画素領域１２を順次設定し、各第一画素領域１２に含まれる各画素１１の輝度値を取得する。コントラスト算出部１１１は、第一画素領域１２に含まれる各画素１１の輝度値に基づいて第一画素領域１２のコントラストＣを算出する（図３（ｂ））。
ステップＳ５において、グラディエント算出部１１２は、第一画素領域１２のコントラストＣの大きさに基づいて、参照領域１５を設定する。即ち、グラディエント算出部１１２は、コントラストＣが閾値Ｃτ未満の場合に第一画素領域１２を参照領域１５ａとして設定し、コントラストＣが閾値Ｃτ以上の場合に第一画素領域１２を含み、且つ第一画素領域１２よりも大きい領域（第二画素領域）を参照領域１５ｂとして設定する（図３（ｃ））。
【００４４】
ステップＳ７において、グラディエント算出部１１２は、設定した参照領域１５に含まれる各画素１１の輝度値を取得する。グラディエント算出部１１２は、参照領域１５に含まれる各画素１１の輝度値に基づいて、第一画素領域１２のグラディエントＧ（ｇｘ，ｇｙ）を算出する。なお、グラディエントＧは、第一画素領域１２に存在するエッジ１３の角度θを０〜９０度の範囲で示す値である。本処理により、グラディエント算出部１１２は、各第一画素領域１２のグラディエントＧを画素値として有する複数の画素から構成されるグラディエント画像（中間画像）を生成する。
ステップＳ９において、アウトライヤ算出部１１３は、第一画素領域１２における局所的なエッジ１３の強さと方向を推定する値であるアウトライヤを算出する。アウトライヤ算出部１１３は、第一画素領域１２に含まれる各画素１１の輝度値に基づいてアウトライヤを算出する。本処理により、アウトライヤ算出部１１３は、各第一画素領域１２のアウトライヤを画素値として有する複数の画素から構成されるアウトライヤ画像（中間画像）を生成する。
エッジ算出部１１０からは、各画素がグラディエントＧとアウトライヤの情報とを有する中間画像２０（図４）が、メッシュ生成部１２０に対して出力される。
【００４５】
ステップＳ１１において、メッシュ生成部１２０のエッジ抽出部１２１は、グラディエント算出部１１２とアウトライヤ算出部１１３により生成された中間画像２０の各中間画素２１が示すエッジ１３の角度θに基づいて、入力画像１０を領域分割する三角形の辺を構成する分割エッジを抽出する。即ち、図５に示すように、エッジ抽出部１２１は、複数の中間画素２１により形成される矩形領域２２を設定し、矩形領域２２の対角線２３が通過する判定対象画素２４の全てが対角線２３を含む所定の角度範囲内にあるとき、その対角線２３を、入力画像１０を領域分割する三角形の辺を構成する分割エッジとして抽出する。本処理において、エッジ抽出部１２１は、面積の大きい矩形領域２２に係る対角線２３が面積の小さい矩形領域２２に係る対角線２３に優先して抽出されるように、図６（ａ）〜（ｆ）に示す検出パターンの順に対角線を抽出する。
【００４６】
ステップＳ１３において、メッシュ生成部１２０のメッシュ補間部１２３は、補間パターン記憶部１２４から補間対象となる分割エッジを読み出して、メッシュが不完全な部分について分割エッジを図８（ａ）〜（ｄ）の順番で補間し、入力画像１０の全体を三角形により領域分割する。入力画像１０を領域分割する領域分割情報は、ベクターデータであり、拡大・縮小によってもその鮮鋭さを失うことのない情報である。
ステップＳ１５において、エッジ強調部１３０は、入力画像１０のエッジを強調して鮮鋭化した鮮鋭化画像を生成する。
ステップＳ１７において、ラスタライズ部１４０は、エッジ強調部１３０から出力される鮮鋭化画像を、メッシュ生成部１２０から出力される領域分割情報を用いて拡大する。また、ラスタライズ部１４０は、三角形メッシュの頂点に相当する画素１１の画素値を用いて、三角形メッシュ内を塗りつぶすための画素値を決定し、決定された画素値を用いて三角形メッシュ内を塗りつぶす。また、ラスタライズ部１４０は、必要に応じてバイリニア法やバイキュービック法等を用いてピクセル補間を行って、高解像度化した出力画像を生成する。
【００４７】
〔本発明の実施態様例と作用、効果のまとめ〕
＜第一の実施態様＞
本態様に係る画像処理装置１００は、複数の画素１１を含む第一画素領域１２を含み、第一画素領域よりも広い第二画素領域（参照領域１５ｂ）における各画素の画素値を取得する画素値取得手段（エッジ算出部１１０）と、第二画素領域における各画素の画素値を用いて第一画素領域のエッジの角度θを算出するエッジ算出手段（エッジ算出部１１０）と、を備えることを特徴とする。
本態様によれば、第一画素領域よりも広い第二画素領域の各画素の画素値を用いて第一画素領域のエッジの角度を算出するので、エッジの角度の算出精度を向上させることが可能となる。
【００４８】
＜第二の実施態様＞
本態様に係る画像処理装置１００は、第一画素領域１２における画素１１の画素値の差（コントラストＣ）を算出する差分算出手段（コントラスト算出部１１１）を備え、エッジ算出手段（エッジ算出部１１０）は、画素値の差に応じて第一画素領域を含む参照領域１５（１５ａ，１５ｂ）を設定し、該参照領域における各画素の画素値を用いて第一画素領域のエッジの角度θを算出することを特徴とする。
本態様によれば、画素値の差に応じて参照領域を設定し、設定した参照領域の各画素の画素値を用いて第一画素領域のエッジの角度を算出するので、エッジの角度の算出精度を向上させることが可能となる。
【００４９】
＜第三の実施態様＞
本態様に係る画像処理装置１００において、エッジ算出手段（エッジ算出部１１０）は、画素値の差に応じて、第一画素領域１２又は第二画素領域（参照領域１５ｂ）を参照領域１５に設定することを特徴とする。
本態様において、エッジ算出手段は、画素値の差に応じて第一画素領域又は第二画素領域を参照領域として設定し、設定した参照領域の各画素の画素値を用いて第一画素領域のエッジの角度を算出する。即ち、エッジ算出手段は、画素値の差に応じて、第一画素領域（参照領域１５ａ）を構成する各画素の画素値を用いて第一画素領域のエッジの角度を算出するか、第一画素領域よりも広い第二画素領域（参照領域１５ｂ）を構成する各画素の画素値を用いて第一画素領域のエッジの角度を算出する。
本態様によれば、画素値の差に応じて、第一画素領域又は第二画素領域を参照領域に設定して、第一画素領域のエッジの角度を算出するので、エッジの角度の算出精度を向上させることが可能となる。
【００５０】
＜第四の実施態様＞
本態様に係る画像処理装置１００において、エッジ算出手段（エッジ算出部１１０）は、参照領域１５の水平方向における画素値の変化率ｇｘと垂直方向における画素値の変化率ｇｙとに基づいてエッジの角度θを算出することを特徴とする。
角度θは、画素値の変化率ｇｘ，ｇｙから逆三角関数により直接的に算出してもよいし、角度θの正接（ｇｙ／ｇｘ）を求めることで間接的に算出してもよい。逆三角関数の計算は処理負荷が高いため、後者の方法を採用すれば計算に係る処理負荷を低減できる。
【００５１】
＜第五の実施態様＞
本態様に係る画像処理装置１００において、エッジ算出手段（エッジ算出部１１０）は、参照領域１５の各画素１１の画素値に対し、第一画素領域１２に含まれる画素との位置関係に応じた重み付け係数を乗じた上でエッジの角度θを算出することを特徴とする。
本態様によれば、必要に応じて第一画素領域の周辺に位置する画素の画素値を参照しつつ、より正確にエッジの角度を算出できる。
【００５２】
＜第六の実施態様＞
本態様に係る画像処理装置１００において、重み付け係数には２のべき乗値が設定されていることを特徴とする。
重み付け係数に２のべき乗値を設定することにより、ビットをずらして計算するシフト演算が利用できるようになり、処理速度の向上を図ることができる。
【符号の説明】
【００５３】
１０…入力画像、１１…画素、１２…第一画素領域、１３…エッジ、１５…参照領域、１５ａ…参照領域、１５ｂ…参照領域（第二画素領域）、２０…中間画像、２１…中間画素、２２…矩形領域、２３…対角線、２３ａ…基点、２４…判定対象画素、２５…注目画素、  １００…画像処理装置、１１０…エッジ算出部（画素値取得手段、エッジ算出手段）、１１１…コントラスト算出部（差分算出手段）、１１２…グラディエント算出部、１１３…アウトライヤ算出部、１２０…メッシュ生成部、１２１…エッジ抽出部、１２２…検出パターン記憶部、１２３…メッシュ補間部、１２４…補間パターン記憶部、１３０…エッジ強調部、１４０…ラスタライズ部、１５１…ＣＰＵ、１５２…ＲＯＭ、１５３…ＲＡＭ、１５４…バス、１５５…記憶装置、１５６…外部Ｉ／Ｆ、１５７…リーダライタ、１６１…外部記憶装置、１６２…記録媒体、ｄ１，ｄ２…対角線
【図１】
2020064448.tif 000022
【図２】
2020064448.tif 000023
【図３】
2020064448.tif 000024
【図４】
2020064448.tif 000025
【図５】
2020064448.tif 000026
【図６】
2020064448.tif 000027
【図７】
2020064448.tif 000028
【図８】
2020064448.tif 000029
【図９】
2020064448.tif 000030