(57)【要約】【課題】エッジ形状を考慮して付加量を設定し、滑らかな階調変化に対応可能な画像処理装置、画像表示装置及び画像撮像装置を提供する。【解決手段】入力画像のエッジを検出し、エッジ強調処理対象画素の画素値を調整することにより、エッジを強調した出力画像を求める画像処理装置である。エッジ強調処理対象画素の周辺画素の明るさ勾配を算出する明るさ勾配算出部１２と、明るさ勾配からエッジ形状を算出し、エッジ形状に応じてエッジ強調処理対象画素に対するエッジ強調付加量を算出する付加量算出部１３と、入力画像にエッジ強調付加量を加えて出力画像を求める強調画像生成部１４とを備える。【選択図】図１
2013206039.tif 000002
【特許請求の範囲】
【請求項１】
入力画像のエッジを検出し、エッジ強調処理対象画素の画素値を調整することにより、前記エッジを強調した出力画像を求める画像処理装置であって、
前記エッジ強調処理対象画素の周辺画素の明るさ勾配を算出する明るさ勾配算出部と、
前記明るさ勾配からエッジ形状を算出し、該エッジ形状に応じて前記エッジ強調処理対象画素に対するエッジ強調付加量を算出する付加量算出部と、
前記入力画像に前記エッジ強調付加量を加えて前記出力画像を求める強調画像生成部とを備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記明るさ勾配算出部は、前記エッジ強調処理対象画素から左側の画素群による明るさ勾配と、前記エッジ強調処理対象画素から右側の画素群による明るさ勾配とを算出することを特徴とする画像処理装置。
【請求項３】
請求項１又は２に記載の画像処理装置であって、
前記エッジの変化と前記明るさ勾配の変化とが同じ傾向にある方のエッジ強調付加量は、前記エッジの変化と前記明るさ勾配の変化とが異なる傾向にある方のエッジ強調付加量に比して、小さな値に設定されることを特徴とする画像処理装置。
【請求項４】
請求項１〜３のいずれか１項に記載の画像処理装置であって、
該画像処理装置は、前記入力画像の輝度分布に基づき、光源から前記入力画像の被写体への照明方向を求める照明方向算出部をさらに有し、
前記エッジ強調付加量は、前記エッジ形状、及び前記照明方向に応じて算出されることを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置であって、
前記光源に近い方のエッジ強調付加量は、前記光源から遠い方のエッジ強調付加量に比して、大きな値に設定されることを特徴とする画像処理装置。
【請求項６】
請求項４又は５に記載の画像処理装置であって、
前記照明方向算出部は、前記入力画像に対応した視差画像に基づいて光源から被写体までの距離関係をさらに取得し、
前記エッジ強調付加量は、前記エッジ形状、前記照明方向、及び前記光源から被写体までの距離関係に応じて算出されることを特徴とする画像処理装置。
【請求項７】
請求項６に記載の画像処理装置であって、
複数の被写体の画像のうち前記光源に近い方であって、前記入力画像の画素値を下回る方向に作用するエッジ強調付加量は、当該入力画像の画素値を上回る方向に作用するエッジ強調付加量に比して、大きな値に設定され、
複数の被写体の画像のうち前記光源に遠い方であって、前記入力画像の画素値を上回る方向に作用するエッジ強調付加量は、当該入力画像の画素値を下回る方向に作用するエッジ強調付加量に比して、大きな値に設定されることを特徴とする画像処理装置。
【請求項８】
請求項１〜７のいずれか１項に記載の画像処理装置であって、
該画像処理装置は、前記入力画像に対応した視差画像におけるエッジ強調処理対象画素の周辺画素の奥行勾配を算出する奥行勾配算出部をさらに有し、
前記エッジ強調付加量は、前記エッジ形状、及び前記奥行勾配に応じて算出されることを特徴とする画像処理装置。
【請求項９】
請求項８に記載の画像処理装置であって、
前記エッジ強調付加量は、前記奥行勾配が大きくなるに連れて大きな値に設定されることを特徴とする画像処理装置。
【請求項１０】
請求項１〜９のいずれか１項に記載の画像処理装置を備えたことを特徴とする画像表示装置。
【請求項１１】
請求項１〜９のいずれか１項に記載の画像処理装置を備えたことを特徴とする画像撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の鮮鋭度を向上させて画質を改善するためのエッジ強調を行う画像処理装置、画像表示装置及び画像撮像装置に関する。
【背景技術】
【０００２】
従来から画像の画質改善の一つとして鮮鋭化処理が広く知られている。この処理は入力画像のエッジ部分を強調する処理である。エッジを有した画素の抽出手法には、ラプラシアンフィルタを用いた方法がある。ラプラシアンフィルタとは、縦方向の２次微分の結果と、横方向の２次微分の結果を足し合わせる方法であり、一方向の影響を受け難いエッジを得ることができる。
【０００３】
図２６は、ラプラシアンフィルタを示す図であり、図２７は、入力画像の一例を示す図である。図２６に示すラプラシアンフィルタ５００と図２７に示す入力画像１００とを重ね合わせ、重なった位置のラプラシアン係数と入力画像の画素値とを掛け合わせ、さらにその結果を全て足し合わせる。このとき、フィルタ５００の中心に位置し、エッジ強調処理の対象となる入力画像上の画素を注目画素と呼ぶ。
図２７の破線の枠で示す例で言えば、１２０×０＋１００×１＋５０×０＋１２０×１＋１００×（−４）＋５０×１＋１２０×０＋１００×１＋５０×０＝−３０となり、この値が注目画素（ｉ、ｊ）の位置のラプラシアンフィルタによるエッジ抽出結果となる。（ｉ、ｊ）の位置をずらしながら、このエッジ抽出を入力画像全体にわたって行う。
【０００４】
図２８は、従来の鮮鋭化処理の一例を示す図であり、図２８（ａ）のステップ状エッジの入力画像に対し、ラプラシアンフィルタによるエッジ抽出結果（図２８（ｂ））をさらに正負反転させた値をエッジ量として加えると、図２８（ｃ）に示す出力画像が得られる。すなわち、図２８（ａ）の画素値が急変しているエッジ部分の両側では、図２８（ｃ）に示すように、明るい部分はより明るく、暗い部分はより暗くなるので、右方に上がった正の明るさ勾配を示すエッジ形状（立ち上がりエッジ）及び右方に下がった負の明るさ勾配を示すエッジ形状（立ち下がりエッジ）のいずれも、エッジ部分の傾斜が急峻になる。この結果、エッジが強調され、鮮鋭化された画像を得ることができる。
【０００５】
ここで、このラプラシアンフィルタを用いた鮮鋭化処理では、図２８（ｂ）のエッジ抽出結果をさらに正負反転させた値がそのまま用いられると、エッジ強調が過剰になる。このため、例えば、特許文献１には、ゲイン係数を用いて付加量を求め、この付加量を入力画像に加えて出力画像を得るにあたり、適当なゲイン係数を設定する技術が開示されている。
特許文献１の鮮鋭化処理では、ゲイン係数を入力画像の周波数成分や輝度変化部分に応じて変更している。詳しくは、低周波数成分が多く、かつ輝度変化部分の小さな、所謂なまった入力画像では、ラプラシアンフィルタによるエッジ抽出結果が小さな値になる。一方、高周波成分が多く、かつ輝度変化部分の大きな、所謂シャープな入力画像では、エッジ抽出結果が、なまった入力画像の値に比べて大きな値になる。
【０００６】
そこで、特許文献１のゲイン係数は、予め設定された所定の補正基準値を、ラプラシアンフィルタによるエッジ抽出結果で割った値に設定している。これにより、シャープな入力画像には低いゲイン係数が設定され、なまった入力画像には高いゲイン係数が設定されるので、入力画像への付加量を、画質レベルの違いに応じて異なる値に設定すること可能になる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００１−３３３２７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の鮮鋭化処理では、所定の補正基準値には補正値の最大値や平均値が用いられ、また、ラプラシアンフィルタによるエッジ抽出結果にもエッジ抽出結果の平均値が用いられている。このように、ゲイン係数が、局所的な値や平均化した値で求められ、画質レベルの同じ入力画像に対しては同じ値で設定されるため、滑らかな階調変化を持つエッジ部分では、入力画像への付加量が過剰になって不自然な輪郭が生ずるという問題がある。
【０００９】
図２９は、従来の鮮鋭化処理の一例を示す図であり、撮影された被写体６０１及び背景６０２を含む入力画像には、画像の左側から光が照射され、明るさが左から右に向かって減少する。
特に、被写体６０１のうち明るい被写体と暗い被写体との境界では、明るい画像から暗い画像に次第に変化する（立ち下がりエッジ）。画素位置を横軸に、画素値を縦軸にとると、図２９の破線（元画像）で示すように、画素値はエッジ部分で急激に減少するが、エッジ部分に連なる左側部分では、画素値がエッジ部分に近づくに連れて徐々に減少する。また、エッジ部分に連なる右側部分では、画素値がエッジ部分から遠くなるに連れて徐々に減少している。
【００１０】
そして、特許文献１のゲイン係数から求めた付加量を用いた場合、画質レベルが同じであれば同じ付加量が適用されることから、依然として、明るい部分はより明るく、暗い部分はより暗くなる。例えば、立ち下がりエッジを有した入力画像では、図２９の実線（エッジ強調後）で示すように、減少している明るさが大幅に逆転し、まず、エッジ部分に連なる左側部分では、図２９の破線（元画像）では明るかった左隣りの画素よりも明るく強調された箇所が発生する。また、エッジ部分に連なる右側部分では、図２９の破線（元画像）では暗かった右隣りの画素よりも暗く強調された箇所が発生し、いずれの場合にも滑らかな階調変化が損なわれる。
【００１１】
本発明は、上述の如き実情に鑑みてなされたもので、エッジ形状を考慮して付加量を設定し、滑らかな階調変化に対応可能な画像処理装置、画像表示装置及び画像撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明は上述した課題を解決するために、以下の技術手段を備えている。
本発明の第１の技術手段は、入力画像のエッジを検出し、エッジ強調処理対象画素の画素値を調整することにより、前記エッジを強調した出力画像を求める画像処理装置であって、前記エッジ強調処理対象画素の周辺画素の明るさ勾配を算出する明るさ勾配算出部と、前記明るさ勾配からエッジ形状を算出し、該エッジ形状に応じて前記エッジ強調処理対象画素に対するエッジ強調付加量を算出する付加量算出部と、前記入力画像に前記エッジ強調付加量を加えて前記出力画像を求める強調画像生成部とを備えたことを特徴とする画像処理装置である。
【００１３】
第２の技術手段は、第１の技術手段において、前記明るさ勾配算出部は、前記エッジ強調処理対象画素から左側の画素群による明るさ勾配と、前記エッジ強調処理対象画素から右側の画素群による明るさ勾配とを算出することを特徴とするものである。
【００１４】
第３の技術手段は、第１又は２の技術手段において、前記エッジの変化と前記明るさ勾配の変化とが同じ傾向にある方のエッジ強調付加量は、前記エッジの変化と前記明るさ勾配の変化とが異なる傾向にある方のエッジ強調付加量に比して、小さな値に設定されることを特徴とするものである。
【００１５】
第４の技術手段は、第１〜３のいずれか１の技術手段において、該画像処理装置は、前記入力画像の輝度分布に基づき、光源から前記入力画像の被写体への照明方向を求める照明方向算出部をさらに有し、前記エッジ強調付加量は、前記エッジ形状、及び前記照明方向に応じて算出されることを特徴とするものである。
【００１６】
第５の技術手段は、第４の技術手段において、前記光源に近い方のエッジ強調付加量は、前記光源から遠い方のエッジ強調付加量に比して、大きな値に設定されることを特徴とするものである。
【００１７】
第６の技術手段は、第４又は５の技術手段において、前記照明方向算出部は、前記入力画像に対応した視差画像に基づいて前記光源から被写体までの距離関係をさらに取得し、前記エッジ強調付加量は、前記エッジ形状、前記照明方向、及び前記光源から被写体までの距離関係に応じて算出されることを特徴とするものである。
【００１８】
第７の技術手段は、第６の技術手段において、複数の被写体の画像のうち前記光源に近い方であって、前記入力画像の画素値を下回る方向に作用するエッジ強調付加量は、該入力画像の画素値を上回る方向に作用するエッジ強調付加量に比して、大きな値に設定され、複数の被写体の画像のうち前記光源に遠い方であって、前記入力画像の画素値を上回る方向に作用するエッジ強調付加量は、該入力画像の画素値を下回る方向に作用するエッジ強調付加量に比して、大きな値に設定されることを特徴とするものである。
【００１９】
第８の技術手段は、第１〜７のいずれか１の技術手段において、該画像処理装置は、前記入力画像に対応した視差画像におけるエッジ強調処理対象画素の周辺画素の奥行勾配を算出する奥行勾配算出部をさらに有し、前記エッジ強調付加量は、前記エッジ形状、及び前記奥行勾配に応じて算出されることを特徴とするものである。
【００２０】
第９の技術手段は、第８の技術手段において、前記エッジ強調付加量は、前記奥行勾配が大きくなるに連れて大きな値に設定されることを特徴とするものである。
【００２１】
第１０の技術手段は、第１〜９のいずれか１の技術手段の画像処理装置を備えた画像表示装置であることを特徴とするものである。
【００２２】
第１１の技術手段は、第４１〜９のいずれか１の技術手段の画像処理装置を備えた画像撮像装置であることを特徴とするものである。
【発明の効果】
【００２３】
本発明によれば、エッジ強調処理対象画素に対するエッジ強調付加量が、明るさ勾配から算出されたエッジ形状に応じて算出され、エッジ形状に沿うように重要度合が変更可能である。よって、従来のような、シャープな入力画像やなまった入力画像等の画質レベルの違いに応じて異なる付加量を設定するが、画質レベルの同じ入力画像に対しては同じ付加量を設定していた技術に比して、滑らかな階調変化に沿った付加量を設定でき、エッジの過補正を防止できる。
【図面の簡単な説明】
【００２４】
【図１】実施例１で説明する画像処理装置の機能ブロック図である。
【図２】ラプラシアンフィルタによる処理を示す図である。
【図３】明るさ勾配について説明する図である。
【図４】エッジ形状と明るさ勾配との関係を説明する図である。
【図５】エッジ形状とエッジ強調付加量との関係を説明する図である。
【図６】エッジ強調をステップ状エッジに行った結果を示す図である。
【図７】エッジ強調を立ち下がりエッジに行った結果を示す図である。
【図８】エッジ強調を立ち下がりエッジに行った結果を示す図である。
【図９】エッジ強調を立ち下がりエッジに行った結果を示す図である。
【図１０】エッジ強調を立ち下がりエッジに行った結果を示す図である。
【図１１】実施例１による画像処理手順を説明するフローチャートである。
【図１２】実施例２で説明する画像処理装置の機能ブロック図である。
【図１３】照明方向の推定について説明する図である。
【図１４】エッジ形状とエッジ強調付加量との関係を説明する図である。
【図１５】エッジ強調をステップ状エッジに行った結果を示す図である。
【図１６】エッジ強調をステップ状エッジに行った結果を示す図である。
【図１７】エッジ強調をステップ状エッジに行った結果を示す図である。
【図１８】実施例２による画像処理手順を説明するフローチャートである。
【図１９】実施例３で説明する画像処理装置の機能ブロック図である。
【図２０】視差について説明する図である。
【図２１】画像の３次元分割について説明する図である。
【図２２】実施例３による画像処理手順を説明するフローチャートである。
【図２３】実施例４で説明する画像処理装置の機能ブロック図である。
【図２４】エッジ形状とエッジ強調付加量との関係を説明する図である。
【図２５】実施例４による画像処理手順を説明するフローチャートである。
【図２６】ラプラシアンフィルタを示す図である。
【図２７】入力画像の一例を示す図である。
【図２８】従来の鮮鋭化処理の一例を示す図である。
【図２９】従来の鮮鋭化処理の一例を示す図である。
【発明を実施するための形態】
【００２５】
（実施例１）
以下、図面を用いて本発明を詳細に説明する。なお、各図における構成は、理解しやすいように誇張して記載しており、実際の間隔や大きさとは異なる。
図１は、実施例１で説明する画像処理装置の機能ブロック図である。画像処理装置１０は、エッジ抽出部１１、明るさ勾配算出部１２、付加量算出部１３、強調画像生成部１４を備える。
【００２６】
エッジ抽出部１１は、被写体の画像を含む入力画像において、エッジ強調処理対象画素（注目画素）の周辺画素の画素値、並びにエッジを取り出すためのフィルタ、例えば、２次微分値算出フィルタに基づいて２次微分値を算出する。そして、２次微分値をさらに正負反転させた値が付加量算出部１３に出力される。
【００２７】
図２は、ラプラシアンフィルタによる処理を示す図であり、上記の２次微分値算出フィルタは、ラプラシアンフィルタ５００の一例である。ラプラシアンフィルタとは、横方向の２次微分の結果と、縦方向の２次微分の結果とを足し合わせた画像処理フィルタである。図２に示すように、注目画素の画素値ｐ、左右に隣接する画素の画素値ｐＬ，ｐＲとし、上下に隣接する画素の画素値ｐＵ，ｐＤとすると、この注目画素の位置における２次微分値ｐ’は以下の（式１）で算出できる。
【００２８】
【数１】
2013206039.tif 000003
【００２９】
ラプラシアンフィルタの２次微分値ｐ’は、エッジの位置を挟んで正の値と負の値が対になって現れる。入力画像１００に対し、この２次微分値ｐ’をさらに正負反転させた値をエッジ量Ｌａとして加えると、鮮鋭化された出力画像を得ることができる。本実施例では、明るさ勾配算出部等による算出結果を用いて、このエッジ量Ｌａに所定の重み係数を乗じたエッジ強調付加量を求めている。
明るさ勾配算出部は、入力画像の注目画素と周辺画素の画素値から明るさ勾配を算出しており、算出した明るさ勾配は付加量算出部に出力される。
【００３０】
図３は、明るさ勾配について説明する図である。この図３を用いて、注目画素Ｐｎ（ｌｎ、ｐｎ）の明るさ勾配算出方法を説明する。
注目画素Ｐｎを含む左側の画素群による明るさ勾配をＫＬ、注目画素Ｐｎの１つ右隣の画素Ｐｎ＋１（ｌｎ＋１、ｐｎ＋１）を含む右側の画素群による明るさ勾配をＫＲとする。明るさ勾配ＫＬ，ＫＲは以下の（式２），（式３）で算出できる。
【００３１】
【数２】
2013206039.tif 000004
【００３２】
ここでｌは画素位置、ｐは画素値を表す。ｍは、周辺画素の明るさ勾配を算出する範囲であり、１以上の値である。なお、このｍを、ラプラシアンフィルタの横サイズよりも大きな値に設定すれば、ラプラシアンフィルタよりも広範囲の明るさ勾配を抽出できるため好適である。
明るさ勾配算出部において、画素位置の変化量に対する画素値の変化量を明るさ勾配として算出することにより、エッジ部分及びこのエッジ部分に連なる両側部分で形成されたエッジ形状を表すことができる。
【００３３】
図４は、エッジ形状と明るさ勾配との関係を説明する図である。明るい画像から暗い画像に変化するエッジ形状を立ち下がりエッジとし、暗い画像から明るい画像に変化するエッジ形状を立ち上がりエッジとする。Ｐ１は注目画素、Ｐ２は注目画素の１つ右隣の画素である。エッジ部分に連なる左側部分１１２が明るさ勾配ＫＬで表され、エッジ部分に連なる右側部分１１３が明るさ勾配ＫＲで表される。なお、図３に示したエッジ形状１１０は、エッジ部分１１１が負の明るさ勾配を示す立ち下がりエッジであり、明るさ勾配ＫＬ，ＫＲがいずれも正になった、パターン５のエッジ形状に相当する。
【００３４】
立ち下がりエッジあるいは立ち上がりエッジのいずれの場合にも、ステップ状エッジの場合（パターン３，８）、エッジ部分に連なる両側部分は略水平方向に形成されるので、明るさ勾配ＫＬ，ＫＲは、ともに零に擬制可能な値になる。一方、ステップ状エッジ以外の場合（パターン１，２，３〜７，９，１０）、その明るさ勾配ＫＬ，ＫＲは、右上がりによる正の傾き、あるいは右下がりによる負の傾きを有した零以外の値になる。この明るさ勾配ＫＬ，ＫＲを用いることにより、付加量算出部では、エッジ形状に合わせたエッジ強調を施すことができる。
【００３５】
次に、エッジ形状に沿った重みづけ方法について詳しく説明する。
付加量算出部は、まず、エッジ部分に連なる左側部分の明るさ勾配ＫＬの正負、あるいはエッジ部分に連なる右側部分の明るさ勾配ＫＲの正負に合わせてエッジ量Ｌａに乗ずる所定の重み係数を選択し、入力画像に付加するエッジ強調付加量ＡＬ，ＡＲを算出する。算出したエッジ強調付加量ＡＬ，ＡＲは強調画像生成部に出力される。
【００３６】
図５は、エッジ形状とエッジ強調付加量との関係を説明する図である。エッジ強調付加量ＡＬは注目画素Ｐ１に付加する値であり、エッジ強調付加量ＡＲは注目画素の１つ右隣の画素Ｐ２に付加する値である。エッジ量Ｌａに乗じられる所定の重み係数は、エッジ部分の強調度ｋや、例えば、エッジ強調の左右バランス度ｂによって表される。
エッジ部分の強調度ｋとは画像の鮮鋭感を示し、ｋが大きくなると、画像の鮮鋭感が増すが、ノイズも強調される。ｋが小さくなると、ノイズは目立たないが、画像の鮮鋭感も弱くなる。また、エッジ強調の左右バランス度ｂとはエッジ部分に連なる左側部分と右側部分と差を示し、ｂが大きくなると、エッジ部分に連なる左側部分あるいは右側部分のいずれかのエッジ強調付加量が大きくなり、ｂが小さくなると、左側部分と右側部分のエッジ強調付加量が近似する。
【００３７】
エッジ部分の強調度ｋ及びエッジ強調の左右バランス度ｂは、次第に暗くなるエッジ形状や、次第に明るくなるエッジ形状に合わせ、画素の明るさ勾配を損なわないように適切に設定する必要がある。エッジ部分の強調度ｋやエッジ強調の左右バランス度ｂの設定方法を以下に説明する。
立ち下がりエッジでは、以下の（式４）、（式５）を用いる。
【００３８】
【数３】
2013206039.tif 000005
【００３９】
より具体的には、立ち下がりエッジにおいて、明るさ勾配ＫＬ、ＫＲともに負のとき（パターン１）、（式４）あるいは（式５）を用いる。いずれの式も明るさ勾配が急になる方の画素値を選択するのは、明るさ勾配が大幅に反転しない程度において、エッジの強調を確保するためである。また、明るさ勾配ＫＬが負、明るさ勾配ＫＲが正のとき（パターン２）、式（４）を用い、明るさ勾配ＫＬが正、明るさ勾配ＫＲが負のとき（パターン４）、式（５）を用いる。立ち下がりエッジでは、負の明るさ勾配に対する画素値の反転を特に防止する必要があるためである。
一方、立ち上がりエッジでは、以下の（式６）、（式７）を用いる。
【００４０】
【数４】
2013206039.tif 000006
【００４１】
より詳しくは、立ち上がりエッジにおいて、明るさ勾配ＫＬ、ＫＲともに正の値のとき（パターン６）、（式６）あるいは（式７）を用いる。また、明るさ勾配ＫＬが負、明るさ勾配ＫＲが正のとき（パターン７）、式（７）を、明るさ勾配ＫＬが正、明るさ勾配ＫＲが負のとき（パターン９）、式（６）を用いる。
このように、エッジ強調付加量ＡＬ，ＡＲの重み係数に、エッジ部分の強調度ｋの他、エッジ強調の左右バランス度ｂを導入することで、エッジの過補正による入力画像の階調変化が損なわれることを防止できる。
【００４２】
そして、付加量算出部は、図５に示すように、立ち下がりエッジでは、エッジ部分に連なる左側部分あるいは右側部分の明るさ勾配が負である場合（パターン１，パターン２のＫＬ，パターン４のＫＲ）、対応するエッジ強調付加量ＡＬ又はＡＲを、エッジ部分の強調度ｋとエッジ強調の左右バランス度ｂとの差（ｋ−ｂ）を重み係数としてエッジ量Ｌａに乗じて算出する。一方、立ち上がりエッジでは、エッジ部分に連なる左側部分あるいは右側部分の明るさ勾配が正である場合（パターン６，パターン７のＫＲ，パターン９のＫＬ）、対応するエッジ強調付加量ＡＬ又はＡＲを、エッジ部分の強調度ｋとエッジ強調の左右バランス度ｂとの差（ｋ−ｂ）を重み係数としてエッジ量Ｌａに乗じて算出している。
【００４３】
続いて、強調画像生成部は、入力画像に、付加量算出部１３のエッジ強調付加量ＡＬ，ＡＲを加え、エッジが強調された出力画像を求める。入力画像の画素値ｐｉ、出力画像の画素値ｐｏとすると、以下の（式８）で表される。
【００４４】
【数５】
2013206039.tif 000007
【００４５】
これに対し、付加量算出部は、図５に示すように、立ち下がりエッジでは、エッジ部分に連なる左側部分あるいは右側部分の明るさ勾配が正である場合（パターン２のＫＲ，パターン４のＫＬ）、対応するエッジ強調付加量ＡＬ又はＡＲを、例えば、エッジ部分の強調度ｋとエッジ強調の左右バランス度ｂとの和（ｋ＋ｂ）を重み係数としてエッジ量Ｌａに乗じて算出する。一方、立ち上がりエッジでは、エッジ部分に連なる左側部分あるいは右側部分の明るさ勾配が負である場合（パターン７のＫＬ，パターン９のＫＲ）、対応するエッジ強調付加量ＡＬ又はＡＲを、例えば、エッジ部分の強調度ｋとエッジ強調の左右バランス度ｂとの和（ｋ＋ｂ）を重み係数としてエッジ量Ｌａに乗じて算出している。
【００４６】
この和（ｋ＋ｂ）は、立ち下がりエッジでは、パターン２のＫＲやパターン４のＫＬの場合に求められるエッジ部分の強調度ｋと、エッジ強調の左右バランス度ｂとを用いて求められ、立ち上がりエッジでは、パターン７のＫＬ，パターン９のＫＲの場合に求められるエッジ部分の強調度ｋと、エッジ強調の左右バランス度ｂとを用いて求められる。
なお、この場合の強調画像生成部も同様に、入力画像の画素値ｐｉに、重み係数（ｋ＋ｂ）をエッジ量Ｌａに乗じたエッジ強調付加量ＡＬ，ＡＲを加え、出力画像の画素値ｐｏを求める。
【００４７】
図６は、エッジ強調をステップ状エッジ（図５のパターン３）に行った結果を示し、図７は、エッジ強調を立ち下がりエッジ（図５のパターン５）に行った結果を示す図である。ただし、この立ち下がりは、明るさ勾配ＫＬ，ＫＲがいずれも正の場合であるので、図６，７は滑らかな階調変化が生じていない例である。
まず、図６の白い丸印が元画像の画素値であり、図６の黒い丸印がエッジ強調後の画素値である。エッジ強調の左右バランス度ｂは零に相当し、エッジ強調付加量ＡＬ，ＡＲは、エッジ部分の強調度ｋとエッジ量Ｌａとの積で表すことができる。
【００４８】
この場合の注目画素Ｐ１は、エッジ強調付加量ＡＬ（＝ｋ×Ｌａ）だけ、明るい画素がより明るくなる。また、注目画素の１つ右隣の画素Ｐ２は、エッジ強調付加量ＡＲ（＝ｋ×Ｌａ）だけ、暗い画素がより暗くなっている。したがって、このステップ状エッジでは、エッジ部分に連なる両側部分のエッジ強調付加量ＡＬ，ＡＲが等しく、その差は零になる。つまり、エッジ部分の両端は、各エッジ強調付加量ＡＬ，ＡＲの絶対値の合計である（２×ｋ×Ｌａ）だけ強調される。
【００４９】
また、図７の白い丸印が元画像の画素値であり、図７の黒い丸印がエッジ強調後の画素値である。なお、元画像は、エッジ部分に連なる両側部分が厳密には２次曲線状に変化しており、後述する図８〜１０も同様である。
立ち下がりエッジであっても、明るさ勾配ＫＬ，ＫＲがいずれも正の場合であることから、明るさが元画像よりも大幅に逆転するという懸念がない。このため、図６と同様に、エッジ強調付加量ＡＬ，ＡＲは、エッジ部分の強調度ｋとエッジ量Ｌａとの積で表すことができる。よって、エッジ部分に連なる両側部分のエッジ強調付加量ＡＬ，ＡＲは等しく、その差は零になり、エッジ部分の両端は（２×ｋ×Ｌａ）だけ強調される。
【００５０】
これに対し、立ち下がりエッジにおいて、エッジ部分に連なる左側部分あるいは右側部分の明るさ勾配が負になるとき（図５のパターン１，パターン２のＡＬ，パターン４のＡＲ）は、エッジ部分の両端のオーバーシュートやアンダーシュートが大きく生じ、明るさが元画像よりも大幅に反転することがある。オーバーシュートとは、エッジ部分の端の画素値が元画像の画素値を上回る領域を示し、アンダーシュートとは元画像の画素値を下回る領域を示す。これは、立ち上がりエッジにおいて、明るさ勾配ＫＬ，ＫＲの少なくともいずれかが正の場合（図５のパターン６，パターン７のＡＲ，パターン９のＡＬ）にも同じである。
【００５１】
そこで、後述のように、エッジ部分に連なる両側部分のうち、立ち下がりエッジでは明るさ勾配が負になる部分、立ち上がりエッジでは明るさ勾配が正になる部分には、そのエッジ強調付加量を小さくする。
なお、エッジ部分に連なる両側部分のうち、立ち下がりエッジでは明るさ勾配が正になる部分には、明るさ勾配が負になる部分に比して、オーバーシュートやアンダーシュートを懸念する必要がない。これは、立ち上がりエッジでは明るさ勾配が負になる部分も同様である。よって、この部分には、後述のように、そのエッジ強調付加量を大きくし、さらに、エッジ部分に連なる両側部分における付加量の均衡を図っている。
【００５２】
図８は、エッジ強調を立ち下がりエッジに行った結果を示す図であり、明るさ勾配ＫＬが負、明るさ勾配ＫＲが正のエッジ形状である（図５のパターン２）。
図８の白い丸印が元画像の画素値であり、図８の黒い丸印がエッジ強調後の画素値である。明るさ勾配ＫＬが負とは、注目画素Ｐ１よりも左側の画素値が徐々に暗くなっていることを表す。すなわち、注目画素Ｐ１に向けて、階調が次第に低下しているにも拘わらず、エッジ部分の端に大きなオーバーシュートがあると、明るさが元画像よりも大幅に逆転する。したがって、エッジ強調付加量ＡＬは、エッジ部分の強調度ｋとエッジ強調の左右バランス度ｂとの差（ｋ−ｂ）にエッジ量Ｌａを乗じ、小さな値にしてオーバーシュートを弱めている。
【００５３】
一方、図８の明るさ勾配ＫＲは正であるので、エッジ強調付加量ＡＲは、エッジ部分の強調度ｋとエッジ強調の左右バランス度ｂとの和（ｋ＋ｂ）にエッジ量Ｌａを乗じて大きな値にし、アンダーシュートを強調している。このように、エッジ部分に連なる両側部分の正負が異なる場合には、各エッジ強調付加量ＡＬ，ＡＲを変更する。しかも、オーバーシュートを弱めた分だけ、アンダーシュートを強めており、図６，７の例と同様に、エッジ部分の両端は（２×ｋ×Ｌａ）だけ強調されている。
【００５４】
図９は、エッジ強調を立ち下がりエッジに行った結果を示す図であり、明るさ勾配ＫＬが正、明るさ勾配ＫＲが負のエッジ形状である（図５のパターン４）。この場合のエッジ強調付加量ＡＬは、エッジ部分の強調度ｋとエッジ強調の左右バランス度ｂとの和（ｋ＋ｂ）にエッジ量Ｌａを乗じて大きな値にし、オーバーシュートを強調している。一方、明るさ勾配ＫＲは負であるので、エッジ強調付加量ＡＲは、エッジ部分の強調度ｋとエッジ強調の左右バランス度ｂとの差（ｋ−ｂ）にエッジ量Ｌａを乗じ、小さな値にしてアンダーシュートを弱めている。そして、この例の場合にも、エッジ部分の両端は（２×ｋ×Ｌａ）だけ強調されている。
【００５５】
図１０は、エッジ強調を立ち下がりエッジに行った結果を示す図であり、明るさ勾配ＫＬ及びＫＲがいずれも負のエッジ形状である（図５のパターン１）。この場合のエッジ強調付加量ＡＬは、エッジ部分の強調度ｋとエッジ強調の左右バランス度ｂとの差（ｋ−ｂ）にエッジ量Ｌａを乗じて小さな値にし、オーバーシュートを弱めている。さらに、エッジ強調付加量ＡＲは、エッジ部分の強調度ｋとエッジ強調の左右バランス度ｂとの差（ｋ−ｂ）にエッジ量Ｌａを乗じ、小さな値にしてアンダーシュートを弱めている。なお、この例の場合には、エッジ部分の両端は（２×（ｋ−ｂ）×Ｌａ）だけ強調されることになり、他のエッジ形状と比べると強調できる幅が狭くなるが、入力画像の階調変化を保ちつつ、鮮鋭感のある出力画像を得ることができる。
【００５６】
図１１は、実施例１による画像処理手順を説明するフローチャートであり、上述の手法をまとめると、エッジ抽出部は、注目画素とその周辺画素から（式１）を用いてエッジ量Ｌａを算出する（ステップＳ１）。次に、明るさ勾配算出部は、注目画素とその周辺画素から（式２）や（式３）を用いて明るさ勾配ＫＬ，ＫＲを算出している（ステップＳ２）。続いて、付加量算出部１３は、注目画素とその周辺の明るさ勾配から（式４），（式５），（式６），（式７）等を用い、エッジ強調の左右バランス度ｂや重み係数（ｋ−ｂ）あるいは（ｋ＋ｂ）を求め、エッジ強調付加量ＡＬ，ＡＲを算出する（ステップＳ３）。
【００５７】
そして、強調画像生成部は、（式８）などを用い、入力画像にエッジ強調付加量を加算した出力画像の画素値を算出し（ステップＳ４）、本画像処理を終了する。なお、強調画像生成部では、エッジ強調付加量を入力画像に加算したが、乗算してもよい。
以上のように、実施例１のエッジ強調付加量は、明るさ勾配を示したエッジ形状に合わせて重み付けされ、エッジの変化と明るさ勾配の変化とが同じ傾向にある方のエッジ強調付加量は、エッジの変化と明るさ勾配の変化とが異なる傾向にある方のエッジ強調付加量に比して、小さな値に設定されており、エッジ部分及びエッジ部分に連なる両側部分の形状に沿うように重要度合が変更されている。よって、滑らかな階調変化を持つエッジ形状において、明るさが大幅に逆転しないので、不自然な輪郭を回避することができる。一方、エッジ強調が効果的に働くエッジ部分ではエッジの傾斜を大きくすることで、画像の鮮鋭度を向上させることが可能となる。
【００５８】
（実施例２）
以下、本発明の実施例２について図面を参照して詳細に説明する。ただし、実施例１と同様の機能を有する部分については同じ符号を付している。
図１２は、実施例２で説明する画像処理装置の機能ブロック図であり、画像処理装置１０ａは、図１で説明した画像処理装置１０に、照明方向算出部１５を追加したものである。
照明方向算出部１５は、入力画像の輝度値に基づき、光源から被写体への照明方向を求めており、推定された照明方向が付加量算出部１３に出力される。
【００５９】
図１３は、照明方向の推定について説明する図である。光源から被写体への照明方向は、例えば、画像分割方法を示した図１３（ａ）のように入力画像をブロックに分割し、各ブロックの輝度の平均値の分布から（式９），（式１０）を用いて求めることができる。
【００６０】
【数６】
2013206039.tif 000008
【００６１】
ここで、Ｖｉ、ｊは入力画像上の位置（ｉ、ｊ）における輝度値を、ＢＬＯＣＫ＿ＳＩＺＥは分割したブロックの画素数を、Ｃｍ、ｎはブロック位置（ｍ、ｎ）におけるブロック内の輝度の平均値を表す。そして、Ｃｍ、ｎのうち最も輝度値の高いブロックの位置を光源の位置と推定できる。Ｃｍ、ｎの結果を示した図１３（ｂ）では、入力画像の左上Ｃ１，１が最も輝度の平均値が高いので、光源は被写体を左から右に照射していると推定される。付加量算出部では、エッジ形状、及び照明方向算出部からの照明方向に合わせて重み付けしたエッジ強調付加量を算出している。
【００６２】
詳しくは、明るさ勾配の他、光源の影響度合を示す照明の強調度ｃを用いる。照明の強調度ｃを実施例１の重み係数に加えると、オーバーシュートあるいはアンダーシュートが強められる。なお、ｃが小さくなると、実施例１の重み係数に近似する。照明の強調度ｃは、エッジ部分の強調度ｋやエッジ強調の左右バランス度ｂを用いて示される。（式１１）で表すように、（ｋ＋ｂ）／２もしくはその近辺の値に設定すると、光源の影響を強調しすぎないため、好適である。（式１１）の係数αが大きくなると、照明の強調度ｃが大きくなる。
【００６３】
【数７】
2013206039.tif 000009
【００６４】
図１４は、エッジ形状とエッジ強調付加量との関係を説明する図である。
付加量算出部は、立ち下がりエッジあるいは立ち上がりエッジのいずれの場合においても、光源に近い方のエッジ強調付加量には、照明の強調度ｃだけ小さくした係数をエッジ量Ｌａに乗ずる重み係数に選択する。上述の例で言えば、照明方向が左から右に向かう場合、この光源に近い方のエッジ強調付加量ＡＬを、エッジ部分の強調度ｋとエッジ強調の左右バランス度ｂとの差から、照明の強調度ｃをさらに除いた値（ｋ−ｂ−ｃ）を重み係数としてエッジ量Ｌａに乗じて算出する。
【００６５】
一方、光源から遠い方のエッジ強調付加量ＡＲには、照明の強調度ｃだけ大きくした係数をエッジ量Ｌａに乗ずる重み係数に選択されており、上述の例で言えば、この光源から遠い方のエッジ強調付加量ＡＲを、エッジ部分の強調度ｋとエッジ強調の左右バランス度ｂとの差に、照明の強調度ｃを加えた値（ｋ−ｂ＋ｃ）を重み係数としてエッジ量Ｌａに乗じて算出している。
【００６６】
図１５は、エッジ強調をステップ状エッジ（図１４のパターン３，８）に行った結果を示す図であるが、照明の強調度ｃを零に設定した実施例１の手法の結果である。図１５の白い丸印が元画像の画素値であり、図１５の黒い丸印がエッジ強調後の画素値である。立ち上がりエッジ及び立ち下がりエッジのいずれにおいても、エッジ強調付加量ＡＬ，ＡＲは、エッジ部分の強調度ｋとエッジ量Ｌａとの積で表すことができる。つまり、照明の強調度ｃを零に設定した場合、エッジ部分に連なる両側部分のエッジ強調付加量ＡＬ，ＡＲが等しく、エッジ部分の両端は（２×ｋ×Ｌａ）だけ強調される。
【００６７】
図１６は、エッジ強調をステップ状エッジ（図１４のパターン３，８）に行った結果を示す図であり、図１５と同様に、エッジ強調の左右バランス度ｂを零に設定しているが、照明の強調度ｃを用いた手法の結果である。光源が被写体の左上方にあり、照明方向が左から右である場合、立ち上がりエッジ（図１４のパターン８）では、エッジ強調付加量ＡＬが、エッジ部分の強調度ｋと照明の強調度ｃとの差（ｋ−ｃ）にエッジ量Ｌａを乗じて小さな値にし、アンダーシュートを弱めている。一方、エッジ強調付加量ＡＲは、エッジ部分の強調度ｋと照明の強調度ｃとの和（ｋ＋ｃ）にエッジ量Ｌａを乗じ、大きな値にしてオーバーシュートを強調している。
【００６８】
これに対し、立ち下がりエッジ（図１４のパターン３）では、エッジ強調付加量ＡＬが、エッジ部分の強調度ｋと照明の強調度ｃとの差（ｋ−ｃ）にエッジ量Ｌａを乗じ、小さな値にしてオーバーシュートを弱めている。一方、エッジ強調付加量ＡＲは、エッジ部分の強調度ｋと照明の強調度ｃとの和（ｋ＋ｃ）にエッジ量Ｌａを乗じて大きな値にし、アンダーシュートを強調している。
立ち上がりエッジ及び立ち下がりエッジのいずれも、エッジ部分の両端は（２×ｋ×Ｌａ）だけ等しく強調されているが、立ち上がりエッジのエッジ強調付加量ＡＲや立ち下がりエッジのエッジ強調付加量ＡＲのように、光の当たり具合がより強調されているため、自然で鮮鋭感のある出力画像を得ることができる。
【００６９】
図１７は、エッジ強調をステップ状エッジ（図１４のパターン３，８）に行った結果を示す図であるが、図１６の例とは異なり、光源が被写体の右上方にあり、照明方向が右から左である場合を示している。この場合には図１６とは逆の結果になるが、やはり、自然で鮮鋭感のある出力画像を得ることができる。
すなわち、立ち下がりエッジ（図１４のパターン３）では、エッジ強調付加量ＡＬは、エッジ部分の強調度ｋと照明の強調度ｃとの和（ｋ＋ｃ）にエッジ量Ｌａを乗じ、大きな値にしてオーバーシュートを強調する。エッジ強調付加量ＡＲは、エッジ部分の強調度ｋと照明の強調度ｃとの差（ｋ−ｃ）にエッジ量Ｌａを乗じて小さな値にしており、オーバーシュートを弱める。これに対し、立ち上がりエッジ（図１４のパターン８）では、エッジ強調付加量ＡＬは、エッジ部分の強調度ｋと照明の強調度ｃとの和（ｋ＋ｃ）にエッジ量Ｌａを乗じて大きな値にし、アンダーシュートを強調する。エッジ強調付加量ＡＲは、エッジ部分の強調度ｋと照明の強調度ｃとの差（ｋ−ｃ）にエッジ量Ｌａを乗じ、小さな値にしてオーバーシュートを弱める。
【００７０】
図１８は、実施例２に係る画像処理手順を示すフローチャートであり、上述の手法をまとめると、ステップＳ１１及びステップＳ１２は、実施例１のステップＳ１及びステップＳ２と同じであるが、次に、照明方向算出部は、入力画像から（式９），（式１０），（式１１）を用いて照明の強調度ｃや照明方向を求める（ステップＳ１３）。続いて、付加量算出部は、照明の強調度ｃを含めた重み係数を求め、エッジ強調付加量ＡＬ，ＡＲを算出する（ステップＳ１４）。そして、強調画像生成部は、エッジ強調の左右バランス度ｂを用いた（式１２）などを用い、照明の強調度ｃを含めた重み係数をエッジ量Ｌａに乗じてエッジ強調付加量ＡＬ，ＡＲを求める。その後、入力画像の画素値ｐｉにこのエッジ強調付加量ＡＬ，ＡＲを加え、出力画像の画素値ｐｏを求め（ステップＳ１５）、本画像処理を終了する。
【００７１】
【数８】
2013206039.tif 000010
【００７２】
なお、照明方向算出部では、入力画像を分割し、各ブロックの輝度の平均値の分布から照明方向を推定したが、照度センサ（図示省略）で得られた明るさの情報から照明光方向を推定してもよい。一方、地磁気センサ（図示省略）で得られる画像撮像装置の向きと、その装置内部の時計（図示省略）で得られる撮影時刻から太陽の位置を推定し、照射方向を推定してもよい。例えば、北向きにおいて朝９時ごろ撮影した場合、照明方向を右から左に設定できる。
【００７３】
なお、照明方向を推定困難な場合には、例えば、文章を左から右に向けて読む習慣のある人々は、明るさが左から右に向けて減少することは自然に感じる場合が多いので、その習慣のある国で用いる装置には、照明方向を左から右に設定すると好適である。
また、付加量算出部では、光源の位置に応じて付加量の方向を変えると、より自然なエッジ強調結果を得ることができる。つまり、本発明のエッジ強調付加量は、例えば、左右方向によるＬ，Ｒだけではなく、上下方向であっても適用可能である。さらに、光源が左上にある場合、エッジ強調付加量は、この光源を中心に放射線状に広がるように設定すれば、照射方向に応じて自然なエッジ強調を行うことができ、より好適である。
【００７４】
以上のように、実施例２のエッジ強調付加量は、明るさ勾配を示すエッジ形状、及び照明方向に合わせて重み付けされ、光源に近い方のエッジ強調付加量は、光源から遠い方のエッジ強調付加量に比して、大きな値に設定されており、照明方向の向きに応じて画像の鮮鋭度を向上させることが可能となる。
【００７５】
（実施例３）
以下、本発明の実施例３について図面を参照して詳細に説明する。ただし、実施例２と同様の機能を有する部分については同じ符号を付している。
図１９は、実施例３で説明する画像処理装置の機能ブロック図であり、画像処理装置１０ｂは、図１２で説明した照明方向算出部１５への入力に視差画像を追加したものである。
照明方向算出部１５は、入力画像の輝度値に基づき、光源から被写体への照明方向を求めており、推定された照明方向が付加量算出部１３に出力される。
【００７６】
ここで、視差について説明する。同一被写体を異なる２つの視点位置から撮影した場合、被写体の見える方向及び位置が異なる。その異なる方向の角度や、異なる位置のずれ量が視差である。この視差と画像撮像装置で撮影した２つの視点位置間の距離、画像撮像装置の焦点距離が分かれば、三角測量で被写体までの距離を測定することができる。なお、複眼撮像装置で撮影した場合、２つの視点位置間を示す撮像装置間の距離は、撮像素子配置間隔や基線長という言葉で表現される。
【００７７】
図２０は、視差について説明する図であり、図２０の入力画像１００に対応した視差画像２００は、視差を、被写体の画素と対応させて画素毎に格納した画像であり、被写体の有する視差値を輝度値で表した被写体までの距離情報である。画像撮像装置に近い被写体ほど視差値は大きく、画像撮像装置に遠い被写体ほど視差値は小さくなり、視差値が大きいほど明るく、視差値が小さいほど暗い画素で表している。照明方向算出部では、入力画像を３次元方向に分割し、各ブロックの輝度の平均値の分布から画像の照明方向を求める。
【００７８】
図２１は、画像の３次元分割について説明する図である。図２１の例では、入力画像の左上が最も輝度の平均値が高いので、光源は被写体を左から右に照射していると推定される。
ここで、照明方向算出部は、視差画像の輝度値に基づいて被写体から被写体を撮像した画像撮像装置までの距離を算出し、続いて、既に求めた照明方向、及び画像撮像装置までの距離を用いて光源から被写体までの距離関係を取得しており、この被写体までの距離関係も付加量算出部に出力される。
【００７９】
まず、被写体の視差値がＤ［ｍ］のとき、カメラなどの画像撮像装置から被写体までの距離Ｌは、（式１３）から算出できる。
【００８０】
【数９】
2013206039.tif 000011
【００８１】
この式において、ｂは２つの視点位置間の距離［ｍ］、ｆは撮像装置の焦点距離［ｍ］、Ｐｄは撮像装置のディスプレイのピクセルピッチ［ｍ／ｐｉｘｅｌ］、Ｐｃは撮像装置のピクセルピッチ［ｍ／ｐｉｘｅｌ］を表す。視差値Ｄが大きくなると、撮像装置から被写体までの距離Ｌは小さく、視差値Ｄが小さくなると、この距離Ｌは大きくなる。そして、この画像撮像装置から被写体までの距離Ｌによって、光源から被写体までの距離関係、具体的には、光源に近い方の被写体や、光源から遠い方の被写体が分かる。
【００８２】
付加量算出部は、エッジ形状の他、照明方向、及び光源から被写体までの距離関係に合わせて重み付けしたエッジ強調付加量を算出しており、画像の鮮鋭感を向上させている。これにより、複数の被写体の画像を用いる場合には、光源に近い被写体は、光が強く当たっているために、明るさが飽和しないように、照明の強調度ｃを実施例１の重み係数に加えてアンダーシュートを強めている。これに対し、光源から遠い被写体は、光が弱く当たっているので、照明の強調度ｃを実施例１の重み係数に加えてオーバーシュートを強めている。
【００８３】
図２２は、実施例３による画像処理手順を説明するフローチャートである。上述の手法をまとめると、ステップＳ２１及びステップＳ２２は、実施例２のステップＳ１１及びステップＳ１２と同じであるが、次いで、照明方向算出部は、入力画像から（式９），（式１０），（式１１）を用いて照明方向や照明の強調度ｃを求め、さらに、視差画像から（式１３）を用いて被写体までの距離Ｌを算出し、被写体の距離関係を取得する（ステップＳ２３）。
【００８４】
次に、付加量算出部は、照明の強調度ｃや被写体の距離関係を含めた重み係数を求め、エッジ強調付加量ＡＬ，ＡＲを算出する（ステップＳ２４）。なお、この照明の強調度ｃは、実施例２と同様に、エッジ部分の強調度ｋやエッジ強調の左右バランス度ｂを用いて示される他、被写体までの距離Ｌを考慮した別個の値であってもよい。そして、強調画像生成部は、入力画像にエッジ強調付加量ＡＬ，ＡＲを加えて出力画像を求め（ステップＳ２５）、本画像処理を終了する。
【００８５】
なお、照明方向算出部では、画像撮像装置から被写体までの距離Ｌを視差値から算出したが、画像撮像装置の焦点距離や、撮像装置の距離である基線長などの情報が得られない場合、視差値を反転させて距離Ｌの代替値に用いてもよい。例えば、視差が８ビットで表現されているとき、視差の範囲は最も遠くにある被写体が０、最も近くにある被写体が２５５となる。そこで、この視差値を、最も遠くにある被写体が２５５、最も近くにある被写体が０になるように反転させる。例えば、被写体の視差値が４０の場合の距離Ｌは２１５、被写体の視差値が２４０の場合の距離Ｌは１５となる。これにより、手前側にある被写体には小さな値を、奥側にある被写体には大きな値を設定でき、距離Ｌと同じ増加傾向になるため、距離Ｌの代替値として用いることが可能である。よって、この場合には、（式１３）において、画像撮像装置や画像表示装置の詳細が不明であっても、被写体の距離に応じてエッジ強調付加量の重みづけを変えることができる。
【００８６】
以上のように、実施例３のエッジ強調付加量は、明るさ勾配を示すエッジ形状の他、視差画像を用いた照明方向、及び被写体の距離情報に合わせて重み付けされる。詳しくは、複数の被写体の画像のうち光源に近い方であって、アンダーシュート方向に作用するエッジ強調付加量は、同じ被写体におけるオーバーシュート方向に作用するエッジ強調付加量に比して、大きな値に設定され、一方、複数の被写体の画像のうち前記光源に遠い方であって、オーバーシュート方向に作用するエッジ強調付加量は、同じ被写体におけるアンダーシュート方向に作用するエッジ強調付加量に比して、大きな値に設定されており、照明方向の向きや光源からの距離に応じて、複数の被写体における画像の鮮鋭度を向上させることが可能となる。
【００８７】
（実施例４）
以下、本発明の実施例４について図面を参照して詳細に説明する。ただし、実施例３と同様の機能を有する部分については同じ符号を付している。
図２３は、実施例４で説明する画像処理装置の機能ブロック図であり、画像処理装置１０ｃは、図１９で説明した照明方向算出部１５に替えて、奥行勾配算出部１６を追加したものである。
【００８８】
奥行勾配算出部１６には、入力画像に対応した視差画像のみが入力されており、この視差画像におけるエッジ強調処理対象画素の周辺画素から奥行勾配として算出し、被写体までの奥行が付加量算出部１３に出力される。
ここで、上述した（式１３）の視差値Ｄを奥行値に替えると、奥行値は被写体までの距離Ｌを用いて表せる。奥行勾配算出部１６は、奥行値の変化度合を上記（式２），（式３）から算出する。このとき（式２）や（式３）のｐを画素値ではなく奥行値とし、画素位置の変化量に対する奥行値の変化量を奥行勾配として算出する。
【００８９】
詳しくは、明るさ勾配の他、陰影の強調度合を示す奥行の強調度ｄを用いる。奥行の強調度ｄは、奥行勾配の強度によって定められる値であり、例えば、エッジ部分の強調度ｋやエッジ強調の左右バランス度ｂを用いて示される。奥行の強調度ｄを（式１４）で表すように、（ｋ＋ｂ）／２もしくはその近辺の値に設定すると、エッジ強調が過剰にならないため、好適である。（式１４）の係数βが大きくなると、エッジ強調付加量が大きくなる。
【００９０】
【数１０】
2013206039.tif 000012
【００９１】
そして、奥行勾配の大きさに応じて、係数βの大きさを変化させる。例えば、奥行勾配が０に近い値の場合には、被写体が平らであるため、係数βを小さな値にして陰影を強調させないようにする。一方、奥行勾配が０よりも大きい値の場合には、被写体が丸みを帯びているので、係数βを大きな値にし、陰影をより強調させる。
【００９２】
図２４は、エッジ形状とエッジ強調付加量との関係を説明する図である。
付加量算出部は、立ち下がりエッジ（図２４のパターン１〜５）あるいは立ち上がりエッジ（図２４のパターン６〜１０）のいずれの場合においても、エッジ量Ｌａに乗ずる重み係数を奥行勾配の大きさに合わせて設定しており、奥行勾配が小さな値の場合、重み係数を小さな値に設定し、奥行勾配が大きな値の場合、重み係数を大きな値に設定する。すなわち、奥行の強調度ｄを加えた値（ｋ−ｂ＋ｄ）あるいは（ｋ＋ｂ＋ｄ）をエッジ量Ｌａに乗ずる重み係数に選択し、エッジ強調付加量ＡＬ，ＡＲを算出する。
【００９３】
図２５は、実施例４による画像処理手順を説明するフローチャートであり、上述の手法をまとめると、ステップＳ３１及びステップＳ３２は、実施例３のステップＳ２１及びステップＳ２２と同じであるが、次いで、奥行勾配算出部は、視差画像から（式２），（式１３），（式１３），（式１４）を用いて奥行勾配や奥行の強調度ｄを算出する（ステップＳ３３）。
続いて、付加量算出部は、明るさ勾配を示すエッジ形状、及び奥行勾配に合わせた重み係数を求め、エッジ強調付加量ＡＬ，ＡＲを算出する（ステップＳ３４）。そして、強調画像生成部は、入力画像にエッジ強調付加量ＡＬ，ＡＲを加えて出力画像を求め（ステップＳ３５）、本画像処理を終了する。
【００９４】
なお、奥行勾配算出部では、視差値から被写体までの奥行を算出したが、実施例３と同様に、画像撮像装置の焦点距離や、撮像装置の距離である基線長などの情報が得られない場合、視差の値を反転させて距離情報の代替値に用いてもよい。
また、エッジ抽出部では、視差画像からのエッジ抽出も可能である。視差画像から抽出されたエッジ量を用いれば、同じ画素値を有した被写体が異なる距離で配置されていた場合など、画素値からは抽出困難なエッジ量を抽出できるため、好適である。
【００９５】
以上のように、実施例４のエッジ強調付加量は、明るさ勾配を示すエッジ形状の他、視差画像を用いた被写体までの距離に合わせて重み付けされ、奥行勾配が大きくなるに連れて大きな値に設定されており、被写体に応じて画像の鮮鋭度を向上させることが可能となる。
また、本発明の画像処理装置は、画像表示装置に適用することができる。画像表示装置が本発明の画像処理装置を備えることにより、被写体に応じて鮮鋭度を向上させた画像表示が可能となる。さらに、画像撮像装置にも適用することが可能であり、被写体に応じて鮮鋭度が向上した撮影画像をプレビューしながら撮影可能となるため、好適である。
【００９６】
なお、上記実施例では、エッジ強調の左右バランス度ｂをエッジ強調付加量ＡＬ，ＡＲに対して同じ値に設定した例で説明したが、エッジ強調付加量ＡＬとエッジ強調付加量ＡＲとに、異なる大きさのｂを用いることもできる。そして、これらいずれの場合にも上記と同様に、エッジ形状を考慮して付加量を設定し、滑らかな階調変化に対応することができる。
【符号の説明】
【００９７】
１０，１０ａ，１０ｂ，１０ｃ…画像処理装置、１１…エッジ抽出部、１２…明るさ勾配算出部、１３…付加量算出部、１４…強調画像生成部、１５…照明方向算出部、１６…奥行勾配算出部、１００…入力画像、１１０…エッジ形状、１１１…エッジ部分、１１２…エッジ部分に連なる左側部分、１１３…エッジ部分に連なる右側部分、２００…視差画像、５００…フィルタ。
【図１】
2013206039.tif 000013
【図２】
2013206039.tif 000014
【図３】
2013206039.tif 000015
【図４】
2013206039.tif 000016
【図５】
2013206039.tif 000017
【図６】
2013206039.tif 000018
【図７】
2013206039.tif 000019
【図８】
2013206039.tif 000020
【図９】
2013206039.tif 000021
【図１０】
2013206039.tif 000022
【図１１】
2013206039.tif 000023
【図１２】
2013206039.tif 000024
【図１４】
2013206039.tif 000025
【図１５】
2013206039.tif 000026
【図１６】
2013206039.tif 000027
【図１７】
2013206039.tif 000028
【図１８】
2013206039.tif 000029
【図１９】
2013206039.tif 000030
【図２２】
2013206039.tif 000031
【図２３】
2013206039.tif 000032
【図２４】
2013206039.tif 000033
【図２５】
2013206039.tif 000034
【図２６】
2013206039.tif 000035
【図２８】
2013206039.tif 000036
【図１３】
2013206039.tif 000037
【図２０】
2013206039.tif 000038
【図２１】
2013206039.tif 000039
【図２７】
2013206039.tif 000040
【図２９】
2013206039.tif 000041