(57)【要約】【課題】  レンズの収差などの影響を解消し、全体の鮮明さが均一の画像を生成できる画像の鮮鋭化装置および方法などを提供する。【解決手段】  レンズを通して画像データを得る電子機器等のデバイスに、平面方向に配列された複数の画素における処理の基準である基準画素と鮮鋭化する対象である対象画素との距離を算出する距離計算部３と、算出した基準画素と対象画素との距離の値をもとに対象画素の鮮鋭化度合を算出する鮮鋭化度合算出部４と、設定した鮮鋭化度合に基づいて画像データに対して鮮鋭化処理を施す画像鮮鋭化部５とを備えた画像の鮮鋭化装置１を設ける。レンズの特定部分からの距離に依存してぼけの度合いが変化する画像データに対しても、ぼけの度合いに応じた鮮鋭化処理を施して全体の鮮鋭さが均一な画像を生成できる。【選択図】  図３
2006050155.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子の複数の画素における基準画素と鮮鋭化する対象としての対象画素との距離の値をもとに、前記対象画素から得られた画像データに対する鮮鋭化度合を算出する鮮鋭化度合算出手段と、
前記鮮鋭化度合に基づいて、前記画像データを鮮鋭化する鮮鋭化処理手段と
を備えることを特徴とする画像の鮮鋭化装置。
【請求項２】
レンズを通し撮像素子から得られた画像データを鮮鋭化する画像の鮮鋭化装置において、
前記撮像素子の複数の画素における基準画素と鮮鋭化する対象画素との距離の値を計算する距離計算手段と、
前記基準画素と前記対象画素との距離の値および前記対象画素に対する鮮鋭化度合の関係を記憶するメモリと、
前記距離計算手段により求めた距離と前記メモリとを参照して鮮鋭化度合を算出する鮮鋭化度合算出手段と、
前記鮮鋭化度合算出手段により算出された鮮鋭化度合に基づいて前記対象画素が受けた前記画像データに対して鮮鋭化処理を施す鮮鋭化処理手段と
を備えることを特徴とする画像の鮮鋭化装置。
【請求項３】
前記基準画素は、前記レンズの光軸を透過した光を受光する画素であることを特徴とする請求項１または２に記載の画像の鮮鋭化装置。
【請求項４】
前記鮮鋭化度合算出手段は、前記基準画素と前記対象画素との距離に依存する関数を用いて前記鮮鋭化度合を算出する
ことを特徴とする請求項１から３のいずれか１項に記載の画像の鮮鋭化装置。
【請求項５】
前記関数は、距離にともなって鮮鋭化度合が増加する関数であることを特徴とする請求項４に記載の画像の鮮鋭化装置。
【請求項６】
前記鮮鋭化処理手段は、前記画像データを形成する輝度情報および色差情報のうち少なくとも一方に対して鮮鋭化処理を施すことを特徴とする請求項１から５のいずれか１項に記載の画像の鮮鋭化装置。
【請求項７】
前記鮮鋭化処理手段は、前記画像データを形成する輝度情報および色差情報に対しそれぞれ別個の度合いで鮮鋭化処理を施すことを特徴とする請求項１から５のいずれか１項に記載の画像の鮮鋭化装置。
【請求項８】
レンズを通し撮像素子から得られた画像データを鮮鋭化する画像の鮮鋭化方法において、
前記撮像素子の複数の画素における基準画素と鮮鋭化する対象画素との距離の値を計算する距離計算ステップと、
前記距離計算ステップにより算出された距離と、前記基準画素と前記対象画素との距離の値および前記対象画素に対する鮮鋭化度合の関係を記憶したメモリとを参照して、鮮鋭化度合を算出する鮮鋭化度合算出ステップと、
前記鮮鋭化度合算出ステップにより算出された鮮鋭化度合に基づいて前記対象画素が受けた前記画像データに対して鮮鋭化処理を施す鮮鋭化処理ステップと
を有することを特徴とする画像の鮮鋭化方法。
【請求項９】
前記鮮鋭化処理ステップにおいては、前記画像データを形成する輝度情報および色差情報のうち少なくとも一方に対して鮮鋭化処理を施すことを特徴とする請求項８記載の画像の鮮鋭化方法。
【請求項１０】
前記鮮鋭化処理ステップにおいては、前記画像データを形成する輝度情報および色差情報に対しそれぞれ別個の度合いで鮮鋭化処理を施すことを特徴とする請求項８記載の画像の鮮鋭化方法。
【請求項１１】
画像データを取り込み可能な電子機器において、
請求項１から７のいずれか１項に記載の画像の鮮鋭化装置を備えることを特徴とする電子機器。
【請求項１２】
前記電子機器はカメラ付き無線通信端末またはカメラ付き携帯情報端末であることを特徴とする請求項１１に記載の電子機器。
【請求項１３】
請求項８から１０のいずれか１項に記載の画像の鮮鋭化方法をコンピュータに実行させるためのプログラム。
【請求項１４】
請求項１３に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を鮮鋭化する画像の鮮鋭化装置および方法、画像の鮮鋭化装置を用いた電子機器およびその周辺機器に関する。
【背景技術】
【０００２】
近年、小型で、低消費電力のイメージセンサが開発されたことに伴い、携帯情報端末（Personal Digital Assistants）や携帯電話機など各種無線通信端末にカメラを内蔵することが可能となっている。これらの内蔵カメラは、小型であるため一般的なディジタルカメラよりもレンズが低品位であり、一般的なディジタルカメラよりも輪郭がぼけた画像が生成されることが多いため、画像の濃度値の変化を強調して画像を鮮明にする処理（鮮鋭化）が必要になる。
【０００３】
従来、画像の鮮鋭化処理は、画像全体に対して一律に鮮鋭化処理をかけており、近年は、このような鮮鋭化処理において、鮮鋭化する対象画素の受光情報を、前記対象画素の周辺の画素の受光情報を比較参照して画像の鮮鋭化度合を変化させながら鮮鋭化処理を施す鮮鋭化処理システムが知られている（たとえば、特許文献１参照）。
【特許文献１】特開平２００３−２５６８３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、図８の模式図に示すように、カメラ02がレンズ03によって撮像部04に集光する際、レンズ03の周辺ほど光の屈折力が強くなって一点に光が収束しなくなったり（球面収差）、波長による屈折率の違いにより光軸03a上の一点に光が収束しなくなる（色収差）ような現象が生じ、撮像部04に像を結ぶ際に像がぼけてしまう。そして、収差の影響はレンズ03の周縁部を通過した光ほど大きくなるため、上記特許文献１に記載されたシステムを用いて画像全体に一律の鮮鋭化処理を施しても、画像の周縁部ほど大きく現れるぼけの差異を補完することはできないという問題があった。とくに、収差は低品位のレンズにおいて大きく生ずることが多いため、カメラ付き携帯電話機やカメラ付きＰＨＳやカメラ付き携帯情報端末などの撮像装置によって得られた画像は通常のディジタルカメラより画像周縁部の収差の影響が大きくなり、上記の問題は一層重大なものとなる。
【０００５】
本発明は、このような課題に鑑みてなされたものであって、レンズの収差など特定位置からの距離に依存して度合いが変化する画像のぼけを解消し画像全体の鮮明さを均一にする画像の鮮鋭化装置および方法、電子機器及び鮮鋭化プログラム及びそのプログラムを記録した記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、全体の鮮明さが均一の画像を生成できる画像の鮮鋭化装置および方法および周辺機器等に関し、具体的に、本発明に係る上記課題は、撮像素子の複数の画素における基準画素と鮮鋭化する対象としての対象画素との距離の値をもとに、前記対象画素から得られた画像データに対する鮮鋭化度合を算出する鮮鋭化度合算出手段と、前記鮮鋭化度合に基づいて、前記画像データを鮮鋭化する鮮鋭化処理手段とを備える画像の鮮鋭化装置によって達成される。
【０００７】
そして、基準画素と対象画素との距離の値をもとに鮮鋭化度合を算出し鮮鋭化処理を施すことにより、基準画素からの距離に依存してぼけの度合いが変化する画像に対し、自動的に、ぼけの度合いに対応して度合いを変化させた鮮鋭化処理を施すことができる。
【０００８】
また、本発明の上記課題は、レンズを通し撮像素子から得られた画像データを鮮鋭化する画像の鮮鋭化装置において、前記撮像素子の複数の画素における基準画素と鮮鋭化する対象画素との距離の値を計算する距離計算手段と、前記基準画素と前記対象画素との距離の値および前記対象画素に対する鮮鋭化度合の関係を記憶するメモリと、前記距離計算手段により求めた距離と前記メモリとを参照して鮮鋭化度合を算出する鮮鋭化度合算出手段と、前記鮮鋭化度合算出手段により算出された鮮鋭化度合に基づいて前記対象画素が受けた前記画像データに対して鮮鋭化処理を施す鮮鋭化処理手段とを備える画像の鮮鋭化装置によって効果的に達成される。
【０００９】
そして、基準画素と対象画素との距離を距離計算手段によって算出し、この算出した距離の値とメモリに記憶した鮮鋭化度合とに基づいて画像鮮鋭化のための処理を施すことにより、基準となる部分からの距離に依存して収差の度合いが変化するレンズを通して得た画像データに対しても、このレンズの基準部分に対応して基準画素を設け、基準画素からの距離を正確に算出し、この距離に応じて度合を変えた鮮鋭化処理を施すことができる。
【００１０】
また、本発明の上記課題は、前記基準画素は、前記レンズの光軸を透過した光を受光する画素である画像の鮮鋭化装置によって一層効果的に達成される。
【００１１】
そして、基準画素をレンズの光軸上に設けることで、周辺部ほど収差の影響が大きいレンズを通して得た画像に対し、収差の影響に対応した鮮鋭化を施すことができる。
【００１２】
また、本発明の上記課題は、前記鮮鋭化度合算出手段は、前記基準画素と前記対象画素との距離に依存する関数を用いて前記鮮鋭化度合を算出する画像の鮮鋭化装置や、前記関数が距離にともなって鮮鋭化度合が増加する関数である画像の鮮鋭化装置によっても一層効果的に達成される。
【００１３】
そして、鮮鋭化に際して基準画素と対象画素との距離に依存する関数を用いることにより、鮮鋭化処理を正確かつ定量的に行うことができ、また、距離に伴って増加する関数を適用し、収差の影響に対応した関数による鮮鋭化処理を行える。
【００１４】
また、本発明の上記課題は、前記鮮鋭化処理手段は、前記画像データを形成する輝度情報および色差情報のうち少なくとも一方に対して鮮鋭化処理を施す画像の鮮鋭化装置や、前記画像データを形成する輝度情報および色差情報に対しそれぞれ別個の度合いで鮮鋭化処理を施す画像の鮮鋭化装置によっても一層効果的に達成される。
【００１５】
そして、鮮鋭化処理手段による鮮鋭化を輝度情報、色差情報にて形成された画像データに対して施すことにより、ＪＰＥＧなどディジタルカメラ等で情報の記録・伝送時に多く用いられる圧縮符号化方式に本発明を適用することが可能になる。そして、圧縮符号化時に輝度情報よりも色差情報を大量に削減する上記ＪＰＥＧなどの方式で圧縮符号化される画像データに対し、輝度情報のみ、色差情報のみ、あるいは輝度情報と色差情報にそれぞれ別個の度合いで鮮鋭化処理を施すことにより、圧縮符号化で輝度情報と色差情報の比率が変化することによって生ずる画像の質感の変化を補完し、品位の高い画像を生成できる。
【００１６】
また、本発明の上記課題は、レンズを通し撮像素子から得られた画像データを鮮鋭化する画像の鮮鋭化方法において、前記撮像素子の複数の画素における基準画素と鮮鋭化する対象画素との距離の値を計算する距離計算ステップと、前記距離計算ステップにより算出された距離と、前記基準画素と前記対象画素との距離の値および前記対象画素に対する鮮鋭化度合の関係を記憶したメモリとを参照して、鮮鋭化度合を算出する鮮鋭化度合算出ステップと、前記鮮鋭化度合算出ステップにより算出された鮮鋭化度合に基づいて前記対象画素が受けた前記画像データに対して鮮鋭化処理を施す鮮鋭化処理ステップとを有する画像の鮮鋭化方法によって達成される。
【００１７】
そして、基準画素からの距離に応じて画素ごとに度合を変えた鮮鋭化処理を施すことができる。
【００１８】
また、本発明の上記課題は、前記画像鮮鋭化ステップにおいては、前記画像データを形成する輝度情報および色差情報のうち少なくとも一方に対して鮮鋭化処理を施す画像の鮮鋭化方法や、前記画像データを形成する輝度情報および色差情報に対しそれぞれ別個の度合いで鮮鋭化処理を施す画像の鮮鋭化方法によって効果的に達成される。
【００１９】
そして、鮮鋭化処理ステップにおける鮮鋭化を輝度情報、色差情報にて形成された画像データに対して施すことにより、ＪＰＥＧなどの圧縮符号化方式に本発明を適用できる。
【００２０】
また、本発明の上記課題は、画像データを取り込み可能な電子機器において、上記いずれかの画像の鮮鋭化装置を備える各種無線通信端末に代表される電子機器によって達成され、さらに、本発明の上記課題は、上記いずれかの画像の鮮鋭化方法をコンピュータに実行させるためのプログラムや、上記プログラムを記録した記録媒体によって達成される。
【００２１】
そして、上記の画像の鮮鋭化装置を、カメラ付き携帯電話機のように画像データを取り込み可能な電子機器が備えることにより、収差の大きいレンズを備えた各種電子デバイスにおいても収差の影響などを補完した画像の鮮鋭化処理を行うことが可能になる。
【発明の効果】
【００２２】
本発明によれば、レンズの特定部分からの距離に依存してぼけの度合いが変化する画像データに対しても、ぼけの度合いに応じた鮮鋭化処理を施して全体の鮮鋭さが均一な画像を生成でき、品質の良い画像が得られるという効果がある。
【発明を実施するための最良の形態】
【００２３】
以下、添付図面を参照しながら本発明の好適な画像の鮮鋭化方法、鮮鋭化装置及び電子機器の実施の形態について詳細に説明する。
【００２４】
図１に、本実施の形態における画像の鮮鋭化装置を用いる撮像装置01のブロック図を示す。この撮像装置01の本体部はカメラ付き携帯電話機やカメラ付きＰＨＳ（Personal Handy-Phone System）やカメラ付き携帯情報端末のような各種撮像装置を内蔵した各種の携帯端末の本体部である。そして、撮像装置01はカメラ部02を備え、レンズ03を通して得た画像を撮像部04に撮像する。
【００２５】
図２は撮像部04の受光面の拡大図である。撮像部04はＣＣＤ(change coupled device)撮像素子などの各種撮像素子であって、受光面側に設けられた受光部04aにホトダイオードのような受光素子にて形成される矩形の画素04bを集積し、各画素04bが受けた光の強さを電気信号の大きさとして検出する。受光部04aにおいて、画素04bは平面方向にマトリクス状に配列（図２においてはｍ行、ｎ列の配列）されて、横方向にｘ座標、縦方向にｙ座標をとると任意の座標04cは（ｘ,ｙ）で表わすことができる。そして、受光部04aの略中心部分において、レンズ03の光軸上に位置してレンズ03の中心部を透過した光を受光する画素04bを基準画素04dとして形成する。なお本実施の形態では、この基準画素04dの座標（Ｘ，Ｙ）とする。
【００２６】
また、画素04bのそれぞれの表面にはフィルタが貼りつけられ、画素04bはそれぞれこのフィルタに対応する色の光を検出する。フィルタは光の3原色である赤（R）、緑（G）、青（B）の３種類を必須要素とし、さらに色合いを改善するための捕色（たとえば黄色、シアンなど）が含まれてもよい。ただし本実施の形態においては説明の簡単のためフィルタは赤（R）、緑（G）、青（B）の３種類のみであるものとする。
【００２７】
そして、図１に示すとおり、撮像部04において各画素04bが取得した画像データの信号は赤（R）、緑（G）、青（B）ごとにＡＤ変換部05でアナログ信号からディジタル信号に変換され、さらに表色系変換部06に送信されてＲＧＢ−ＹＵＶ変換が行われ、ＹＵＶ表色系の輝度情報と色差情報に変換されたのち、鮮鋭化装置１に入力される。
【００２８】
さらに、鮮鋭化装置１が出力した画像データは圧縮部07においてＪＰＥＧ等の圧縮符号化処理が行われ、記憶部08に記憶されたり、または伝送部09に送られて無線通信などにより他のデバイスに送信される。
【００２９】
図３は、本発明の実施の形態としての画像の鮮鋭化装置１の構成を示すブロック図である。この鮮鋭化装置１は、各種の画像データを取得する画像データ取得部２と、画像データ取得部２が取得した画像データから、鮮鋭化する対象である対象画素04eと基準画素04dとの距離を算出する距離計算部３と、距離計算部３により算出された基準画素04dと対象画素04eとの距離の値を利用して、対象画素04eの鮮鋭化具合（度合）を算出して設定する鮮鋭化度合算出部４と、鮮鋭化度合算出部４で算出された鮮鋭化度合に基づいて画像データに対して鮮鋭化処理を施す画像鮮鋭化部５と、画像鮮鋭化部５により鮮鋭化された画像を保存し、他の処理へ出力する画像データ出力部６とを備えている。なお、画像鮮鋭化度合算出部４にはメモリ４ａが内蔵され、後述するゲイン補正値など対象画素に対する鮮鋭化度合の算出に必要な情報が記憶されている。
【００３０】
画像データ取得部２は、撮像部04から出力され、ＡＤ変換部05、表色系変換部06にてそれぞれ処理された画像データが供給される。
【００３１】
距離計算部３は、画像データ取得部２から画像データの供給を受け、この画像データを形成するそれぞれの画素04bの縦方向および横方向の位置情報を特定するとともに、それらの位置情報をもとに基準画素04dを特定し、さらに、画素04bのそれぞれを鮮鋭化する対象である対象画素04eとした場合における、基準画素04dと対象画素04eとの距離を、画素04bのそれぞれについて算出する。
【００３２】
図２に示すように対象画素04eの座標を（ｉ，ｊ）とすると、基準画素04dと対象画素04eとの距離は、水平方向のオフセット値と垂直方向のオフセット値を利用し、鮮鋭化を行う対象画素04eと補正された基準画素04dとの距離を算出する。具体的には、以下に示す式（１）を用いてユークリッド距離（画素04同士の実際の直線距離）を算出するか、または式（２）を用いて４近傍距離（縦または横のみに移動できる条件で基準画素04dから対象画素04eまで何画素移動する必要があるかで表わす距離）を算出する。
【００３３】
Length＝（ｉ−CENTER_X＋OFFSET_X）×（ｉ−CENTER_X＋OFFSET_X）＋
（ｊ−CENTER_Y＋OFFSET_Y）×（ｊ−CENTER_Y＋OFFSET_Y）      …（１）
Length＝|（ｉ−CENTER_X＋OFFSET_X）|＋|（ｊ−CENTER_Y＋OFFSET_Y）|
…（２）
【００３４】
ここで、ｉは、鮮鋭化対象画像の水平方向のｉ番目（すなわち本実施の形態における対象画素04eのｘ座標）を示し、ｊは、鮮鋭化対象画像の垂直方向のｊ番目（すなわち本実施の形態における対象画素04eのｙ座標）を示し、CENTER_Xは、撮像部における受光部04aの水平方向の中心を示し、CENTER_Yは、撮像部における受光部04aの垂直方向の中心を示し、OFFSET_Xは、レンズ中心を通して得た画像を基準に調整するための、水平方向のオフセット値を示し、OFFSET_Yは、レンズ中心の光軸を通して得た画像を基準に調整する（つまり、中心画素と光軸上の画素にずれがある場合に調整を行う）ための、垂直方向のオフセット値を示している。
【００３５】
なお、式（１）は２次元空間の正確な距離導出に多く用いられる式であって高い精度で距離を算出できるという点で優れており、式（２）はおおよその距離を少ない演算回数で算出することができるという点で優れている。
【００３６】
次に、鮮鋭化度合算出部４では、上記の距離計算部３において算出された距離の値（Lengthとする）を利用して、鮮鋭化度合値（αとする）を鮮鋭化度合関数により算出する。ここで、鮮鋭化度合とは、対象画素04eそれぞれにとって必要な鮮鋭化の程度のことをいい、また、鮮鋭化度合関数は、カメラの撮像部、レンズの特性及びその他のデバイス特性に依存して、すべての対象画素04eにとっての鮮鋭化度合を満たすように予め設定されている関数のことである。
【００３７】
図４は、鮮鋭化度合関数の例を示す図である。この図４においては、横軸は、距離計算部３から得られた基準画素04dと対象画素04eとの距離の値（以下「Length」と称する）を示し、縦軸は、鮮鋭化度合値（α）を表している。
【００３８】
図４に示す関数において、Lengthの値が０〜Ｘ０であれば区間０となり、Ｘ０〜Ｘ１ならば区間１となり、同様に、Ｘ１〜Ｘ２ならば区間２…となる。鮮鋭化度合関数は、各区間内で右上がりの直線を呈し、しかも直線は区間の値が大きくなるほど（つまり基準画素04dと対象画素04eとの距離が大きくなるほど）傾きの値が大きくなる。すなわち、鮮鋭化度合関数は基準画素04dと対象画素04eとの距離の値に依存する関数である。
【００３９】
そして、鮮鋭化度合値αは、以下の式に基づいて求める（なお、この式によって求められた鮮鋭化度合値αの値のことを以下「α値」と称する。）。
・SC_GAIN＝SC_SLOPE×（Length−SC_RANGE）…（３）
・SC_OFFSET（ｊ）＝SC_OFFSET（ｊ−１）×SC_SLOPE（ｊ−１）（SC_RANGE（ｊ）−SC_RANGE（ｊ−１））…（４）
【００４０】
【数１】
2006050155.tif 000003
【００４１】
ここで、SC_GAINは、Lengthの該当区間のゲインを示し、SC_SLOPEは、Lengthの該当区間の直線の傾きを示し、SC_RANGEは、Lengthの該当区間の開始地点を示し、SC_SLOPE（ｊ）は、各区間の直線の傾き（ｋ０，ｋ１，…，ｋn）を示し、SC_RANGE（ｊ）は、各区間の開始地点（０，Ｘ１，…，Ｘ５）を示し、ｎは、Lengthの値が該当している区間番号を示し、ｊは、区間番号を示し、ゲイン補正値は、α値が０〜αMaxの間になるように調整する固定値であって、カメラの性能特性によって変化させるものを示し、αMaxは、鮮鋭化の最大度合を示し、SC_OFFSETは、各区間の開始地点のSC_GAINの値を示している。
【００４２】
なお、図４に示す関数は、鮮鋭化度合関数の一例であり、区間の数や各区間の開始地点や各区間での関数の傾きは、カメラの撮像部、レンズの特性及びその他のデバイス特性などに合わせて自由に設定し、適宜調整することができる。
【００４３】
また、対象画素04eごとに上記の演算を行うのでは処理に時間がかかるため、Lengthの値とα値とのルックアップテーブルを事前に作成しておき、このルックアップテーブルを参照することでα値を求めることにより処理速度の短縮化をすることも可能である。この場合、メモリ４ａにはこのルックアップテーブルを記憶する。
【００４４】
そして、画像鮮鋭化部５では、鮮鋭化度合算出部４より求められたα値を用いて、鮮鋭化処理前の対象画素04eの画像データをｆ（ｉ，ｊ）としたときの、この画像データfから鮮鋭化処理した対象画素04eの画素データｈ（ｉ，ｊ）を、以下の２つの式（６）又は式（７）いずれかで求める。
【００４５】
【数２】
2006050155.tif 000004
【００４６】
ここで、（ｉ，ｊ）は画像のｉ番目の列とｊ番目の行であり、ｂ（ｉ，ｊ）は、ローパス畳み込みオペレータであり、ｃ（ｉ，ｊ）は、ハイパス畳み込みオペレータであり、β、μは、鮮鋭化係数である固定値であり、αMaxは、鮮鋭化度合算出部４で示したα値の最大値であり、ｆ（ｉ，ｊ）は、対象画素04eの鮮鋭化前の画像データであり、ｈ（ｉ，ｊ）は対象画素04eの鮮鋭化後の出力画像データである。
【００４７】
すなわち、式（６)や式(７)に示す演算によれば、α値が大きくなると元画像が鮮鋭化されやすく、そして、元画像に対する出力画像ｈ（ｉ，ｊ）の鮮鋭化特性が強くなることを示している。
【００４８】
また、βやμの鮮鋭化の補正係数は、畳み込みオペレータの大きさに合わせて調整される値であり、たとえば３×３の畳み込みオペレータならば、βは１／９となり、μは１／８となる。
【００４９】
図５は、前述の式においてｂやｃにおいて示された、鮮鋭化処理部５による画像処理において用いられるオペレータの代表例を示す平面図である。第１のオペレータ７や第２のオペレータ８はハイパス畳み込みオペレータであって、ラプラシアンフィルタを形成する。これらのオペレータを適用して演算を行うと、第１のオペレータ７は対象画素04eを周囲８画素について２次微分を行い、また第２のオペレータ８は対象画素04eを上下左右４画素について２次微分を行って、これらは対象画素04eの高周波成分を抽出するフィルタリング処理を行うこととなって輪郭部分を強調する。一方、第３のオペレータ９はローパス畳み込みオペレータである。このオペレータを適用して演算を行うと、対象画素04eと周囲８画素についての画像データの濃度値の平均をとり、これは対象画素04eの低周波成分を抽出するフィルタリング処理を行うこととなって画像を平滑化する。なお、図５に示す第１から第３のオペレータ７,８,９は、３×３画素の９画素に対する畳み込みフィルタを形成しているが、これに限定されず、たとえば５×５画素や７×７画素など、他のサイズの畳み込み用オペレータを鮮鋭化処理部５において使用してもよい。
【００５０】
そして、画像データ出力部６は、画像鮮鋭化部５により鮮鋭化された画像を出力し、前述のとおり圧縮部07に供給する。
【００５１】
図６は、画像の鮮鋭化処理を示すフローチャートであり、図中の“Ｓ”はフローの各ステップを示す。
【００５２】
まず、ステップＳ１で画像データ取得部２から入力画像データを受け取り、ｉ，ｊを０にして初期化する。ここで、ｉは、水平方向の画素順番を示し、ｊは垂直方向の画素順番を示し、すなわち、前述のとおり、平面上の位置情報としての（ｉ，ｊ）が、鮮鋭化の対象としての対象画素の座標を示すことになる。
【００５３】
鮮鋭化の対象となる対象画素04eが定まると、距離計算部３を用いた距離計算ステップＳ２により、基準画素04dと対象画素04eとの距離を算出する。次いで、距離計算ステップＳ２により算出された基準画素04dと対象画素04eとの距離の値をもとに、鮮鋭化度合算出部４を用いた鮮鋭化度合算出ステップＳ３により対象画素04eの鮮鋭化度合を設定し、次いで、画像鮮鋭化部５を用いた鮮鋭化処理ステップＳ４により、算出された鮮鋭化度合に基づいて、対象画素04eの画像データに対して鮮鋭化処理を施して対象画素04eの画像データを鮮鋭化する。このステップＳ４においては、対象画素04eに対し、図５に示すようなオペレータを使ってフィルタリングを施す。具体的には、まずローパス畳み込みオペレータ９を使った平滑化により画面のノイズ除去を行い、次にハイパス畳み込みオペレータ７,８を使って画像の周縁部を形成する濃度値の変化を強調し、鮮鋭化させる。ただし、オペレータを使う順序や回数は前述のやり方に固執する必要はなく、たとえば、まずハイパス畳み込みオペレータ７,８を使って鮮鋭化処理をしたのちにローパス畳み込みオペレータを使って平滑化処理を行ってもよい。
【００５４】
ステップＳ５では、画像の水平方向の最大画素（Max_Horizontal）までｉが進んだか否かを確認する。ｉが水平方向の最大画素（Max_Horizontal）よりも小さい場合には、ｉが画像の水平方向の水平方向の最大画素（Max_Horizontal）まで進んでいないと判断し、ステップＳ７でｉを１つ増加（＋１インクリメント）してステップＳ２に戻り処理を繰り返す。
【００５５】
ｉが水平方向の最大画素（Max_Horizontal）以上のときは、ステップＳ６で画像の垂直方向の最大画素（Max_Vertical）までｊが進んだか否かを確認する。ｊがMax_Verticalよりも小さい場合には、画像の垂直方向の最大画素（Max_Vertical）までｊが進んでいないと判断し、ステップＳ７でｊを１つ増加（＋１インクリメント）させるとともに、ｉを０にして、ステップＳ２に戻り処理を繰り返す。ｊが垂直方向の最大画素（Max_Vertical）よりも大きい場合には、画像の鮮鋭化処理を終了する。
【００５６】
ここで、上記フローチャートでは、鮮鋭化を行う対象画素04eをラスタスキャン方式による方法で順番を決定していたが、受光部04aの画素04bすべてが最終的に最低１回は鮮鋭化を行う対象画素04eになるならば、鮮鋭化を行う対象画素04eを選択する順番はどのようなものでもよい。
【００５７】
以上の処理は主にソフトウェア的な処理で実現している。しかしながら、本発明は必ずしもソフトウェア的な処理に限るものではなく、ハードウェアによるロジック回路で実現することもできる。
【００５８】
図７は、本発明の他の実施の形態である、本発明に係る画像の鮮鋭化装置をハードウェアロジックによって実現した場合の構成を示すブロック図である。
【００５９】
この画像の鮮鋭化装置１１も、図３に示す一の実施の形態に係る画像の鮮鋭化装置１の場合と同様に、図１に示すような撮像装置01に内蔵されるものである、そして、説明の簡単のため、上記一の実施の形態と同一の構成要素については同一の符号を用いて以下説明する。
【００６０】
図７に示す画像の鮮鋭化装置１１は、鮮鋭化する対象である対象画素04eとレンズ03の光軸上に位置してレンズ03の中心部を透過した光を受光する画素を基準画素04dとの距離を算出する距離計算回路１２と、距離計算回路１２が算出した基準画素04dと対象画素04eとの距離の値をもとに対象画素04eの鮮鋭化度合を設定する鮮鋭化度合算出回路１３と、鮮鋭化度合算出回路１３が算出した鮮鋭化度合に基づいて画像データに対して鮮鋭化処理を施す鮮鋭化処理回路１４とを備えて構成される。
【００６１】
鮮鋭化装置１１においては、距離計算回路１２がカメラ等のレンズを通して得られた入力画像データについて、対象画素04eと基準画素04dとの距離を算出し、鮮鋭化度合算出回路１３は基準画素04dと対象画素04eとの距離の値をもとに、対象画素04eのそれぞれについて鮮鋭化度合を設定する。鮮鋭化処理回路１４は、算出した鮮鋭化度合の値をもとに対象画素04eの画像データに対して鮮鋭化処理を施す。ここでも、ステップＳ４と同様に各種畳み込みオペレータを使ったフィルタリング処理を施して対象画素04eを鮮鋭化する。そして、鮮鋭化装置１１はすべての対象画素04eについて鮮鋭化処理を行ったのちに処理が完了した画像データを出力し、圧縮符号化部07に供給する。
【００６２】
以上、本実施の一の実施の形態および他の実施の形態に示すとおり、本発明に係る画像の鮮鋭化装置１,１１は、鮮鋭化する対象画素04eに対して、距離計算部３（距離計算回路１２）によって基準画素04dからの距離を算出し、算出された距離をもとに鮮鋭化度合算出部４（鮮鋭化度合算出回路１３）によって鮮鋭化度合を設定してから鮮鋭化処理部５（鮮鋭化処理回路１４）によって鮮鋭化処理を施すことにより、画像の中心部分と周辺部分で鮮鋭さの喪失度合が大きく異なるレンズを通して得られた画像データであっても基準画素04dからの距離に応じて鮮鋭化度合を変えて処理を施すことができる。したがって、たとえば周辺部ほど収差の影響が大きいレンズのように、基準となる部分からの距離に依存して収差の度合いが変化するレンズを通して得た画像データに対しても、このレンズの基準部分（本実施の形態においては光軸上の画素）に基準画素04dを設け、基準画素04dからの距離に応じて度合を変えた鮮鋭化処理を施すことにより、全体の鮮鋭さが均一な、品質の高い画像を生成することができる。
【００６３】
なお、レンズの問題のみならず、画像データにシェーディングなどの処理を施した結果、画像の中心部分と周辺部分で鮮鋭度が異なってしまうような場合にも、本発明を適用することによって全体の鮮鋭さが均一な画像を生成できるため、同様に品質の高い画像を得ることができる。
【００６４】
また、本実施の形態に係る発明は、レンズ中央部から得られた画像とレンズ周辺部から得られた画像の鮮鋭度が大きく異なる場合においても優れた作用・効果を奏するため、一般に小型で収差の大きい低品位のレンズが用いられることの多いカメラ付き携帯電話装置や携帯情報端末等の携帯情報端末に本実施の形態に係る発明を適用した場合にも、顕著に優れた効果を発揮して品質の高い画像を得ることができる。
【００６５】
さらに、上記両実施の形態に示すとおり、本発明は、鮮鋭化処理手段による鮮鋭化を輝度情報、色差情報にて形成された画像データに対して施すことにより、ＪＰＥＧなどディジタルカメラ等で情報の記録・伝送時に多く用いられる圧縮符号化方式において適用し、圧縮符号化で輝度情報と色差情報の比率が変化することなどによって生ずる画像の質感の変化を補完し、品位の高い画像を生成することが可能になる。
【００６６】
なお、本実施の形態において、鮮鋭化装置１は圧縮符号化部07の直前に設け、圧縮符号化処理がされる前の輝度情報と色差情報に鮮鋭化処理を施すものとしたが、これに限定されず、鮮鋭化装置１を圧縮符号化部07の後に設けて圧縮符号化済みの輝度情報や色差情報に鮮鋭化処理をほどこすことも可能である。
【００６７】
さらに、本発明に係る鮮鋭化装置１は輝度情報や色差情報以外の画像データに対しても、色空間に制限されることなく適用可能であるため、ＹＵＶ変換される前のＲＧＢ信号のうちの一部または全部や、このＲＧＢ信号を変換していられるＸＹＺ信号やＹＩＱ信号のうち一部または全部に適用することもできる。
【００６８】
また、上記両実施の形態は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。
【００６９】
さらに、本実施の形態においては、撮像部04の表面には矩形の画素04bをマトリクス状に配列した受光部04aを形成したが、画素04bの形状は矩形に限らず、また配列はマトリクス状に限定されず、たとえば略くさび形の画素を放射状に配列したものや、正六角形の画素を規則的に配列したものであってもよい。このような場合は、鮮鋭化を行う対象画素04eの順番の決定方法は前述のラスタスキャン方式によらずに行ったほうが効率的である場合が多いと考えられる。
【００７０】
そして、上記一の最良の形態においては、撮像装置01は携帯電話機やＰＨＳや携帯情報端末など携帯端末の本体部に内蔵されたものとしたが、これに限定されず、たとえば一般のディジタルカメラや撮像デバイスを設けたパーソナルコンピュータなど、撮像装置を備えた電子機器であればどのような装置にも適用できる。
【００７１】
さらに、上記画像の鮮鋭化装置を構成する各回路部の種類、数及び接続方法などは前述した実施の形態に限られない。
【００７２】
また、本発明には、上記の画像の鮮鋭化方法を各種コンピュータに実行させるためのコンピュータプログラムも含まれる。そして、このコンピュータプログラムは、コンピュータ本体がどのような経路で入手し実装するものであってもよい。
【図面の簡単な説明】
【００７３】
【図１】本発明の一の実施の形態および他の実施の形態に係る画像の鮮鋭化装置が用いられる、撮像装置の構成を示すブロック図である。
【図２】上記撮像装置に用いられる、撮像素子の受光面の拡大図である。
【図３】本発明の一の実施の形態に係る画像の鮮鋭化装置の構成を示すブロック図である。
【図４】同上画像の鮮鋭化装置に用いられる鮮鋭化度合関数の一例である。
【図５】同上画像の鮮鋭化装置に用いられる画像処理のオペレータ例を示す平面図である。
【図６】同上画像の鮮鋭化装置における画像の鮮鋭化処理を示すフローチャートである。
【図７】本発明の他の実施の形態に係る、ハードウェアロジックで実現した画像の鮮鋭化装置の構成を示すブロック図である。
【図８】従来技術の問題点としてのカメラのレンズ収差を示す模式図である。
【符号の説明】
【００７４】
01    撮像装置
02    カメラ部
03    レンズ部
03a  光軸
04    撮像部
04b  画素
04d  基準画素
04e  対象画素
１    鮮鋭化装置
２    画像データ取得部
３    距離計算部
４    鮮鋭化度合算出部
４ａ  メモリ
５    画像鮮鋭化部
６    画像データ出力部
１１  鮮鋭化装置
１２  距離計算回路（距離計算手段）
１３  鮮鋭化度合算出回路（鮮鋭化度合算出手段）
１４  鮮鋭化処理回路（鮮鋭化処理手段）
【図１】
2006050155.tif 000005
【図２】
2006050155.tif 000006
【図３】
2006050155.tif 000007
【図４】
2006050155.tif 000008
【図５】
2006050155.tif 000009
【図６】
2006050155.tif 000010
【図７】
2006050155.tif 000011
【図８】
2006050155.tif 000012