(57)【特許請求の範囲】
【請求項１】
各要素色がモザイク状に配置されたドットマトリクス状の画素にて構成される画像データの各画素の輝度を、輝度が負数とならない所定の演算方法に基づいて算出する第一演算手段と、
上記各画素の輝度を、輝度が負数となりうるようにチューニングされた画像処理により算出する第二演算手段と、
上記第一演算手段が算出した輝度に基づいて上記各画素のエッジ量を算出し、上記エッジ量に基づいて、上記第二演算手段が算出した上記各画素のエッジ度合いを強調するエッジ強調手段と、
を具備することを特徴とするエッジ強調処理装置。
【請求項２】
上記第一演算手段は、上記第二演算手段が実行する画像処理に含まれるγ補正処理を上記算出した各画素の輝度に対して実行することを特徴とする上記請求項１に記載のエッジ強調処理装置。
【請求項３】
上記エッジ強調手段は、上記算出したエッジ量に基づいて非線形関数値を算出し、同算出した非線形関数値を上記第二演算手段にて演算した輝度に加算することによって上記各画素のエッジ度合いを強調することを特徴とする上記請求項１または上記請求項２に記載のエッジ強調処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、エッジ強調処理装置に関する。
【０００２】
【従来の技術】
従来、この種のエッジ強調処理装置としては、モザイクフィルタを介して撮像素子により被写体像を画像情報として取り込む撮像装置（例えば、ディジタルスチルカメラ）にて生成される各画素の画像データに対して演算されたエッジ強調度合いに基づいてエッジ強調が行なうものがある。このとき、エッジ強調度合いは、上記画像データに対して所定の一の演算手法を実施し、この演算から一意的に算出されるエッジ強調輝度に基づいて定義付けされる。
【０００３】
【発明が解決しようとする課題】
上述した従来のエッジ強調処理装置においては、一の演算手法に基づいて算出されたエッジ強調輝度を利用するため、画像データの特性をエッジ強調に反映させることができないという課題があった。
【０００４】
本発明は、上記課題にかんがみてなされたもので、相互に異なる演算手法に基づく輝度をエッジ強調に利用することによって、画像データの特性を当該エッジ強調により反映させることが可能なエッジ強調処理装置の提供を目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するため、本発明のエッジ強調装置は、各要素色がモザイク状に配置されたドットマトリクス状の画素にて構成される画像データの各画素の輝度を、輝度が負数とならない所定の演算方法に基づいて算出する第一演算手段と、上記各画素の輝度を、輝度が負数となりうるようにチューニングされた画像処理により算出する第二演算手段と、上記第一演算手段が算出した輝度に基づいて上記各画素のエッジ量を算出し、上記エッジ量に基づいて、上記第二演算手段が算出した上記各画素のエッジ度合いを強調するエッジ強調手段と、を具備する構成としてある。
【０００６】
上記構成においては、第一演算手段では各要素色がモザイク状に配置されたドットマトリクス状の画素にて構成される画像データの各画素の輝度を、輝度が負数とならない所定の演算方法に基づいて算出する。第二演算手段では上記各画素の輝度を、輝度が負数となりうるようにチューニングされた画像処理により算出する。そして、エッジ強調手段にて上記第一演算手段が算出した輝度に基づいて上記各画素のエッジ量を算出し、上記エッジ量に基づいて、上記第二演算手段が算出した上記各画素のエッジ度合いを強調する。通常は一つの演算手法に基づいて算出される輝度を利用してエッジ度合いを強調する。しかし、本発明においては、相互に異なる演算手法に基づいて算出された性質が異なる二つの輝度をエッジ強調に利用するため、画像データの本質的な特性をエッジ強調度合いに反映させることが可能になる。
【０００７】
第一演算手段における演算手法の一例として、上記第一演算手段は、所定のモザイクフィルタを介して撮像素子に取り込まれた画像データの各要素色を平均する演算方法に基づいて上記各画素の輝度を算出する構成としてもよい。
該構成によれば、第一演算手段では所定のモザイクフィルタを介して撮像素子に取り込まれた画像データの各要素色を平均する演算方法に基づいて各画素の輝度を算出する。これにより、画像データ処理等の処理が施されない生データに基づく輝度を算出することが可能になる。
【０００８】
上述した第一演算手段では生データに基づく輝度を算出することが可能である。一方、これに対する第二演算手段における演算手法の一例として、上記第二演算手段は、同画像データに対して画素補間および異なる色空間への色変換を実行する画像処理により輝度が負数となりうる演算方法に基づいて上記各画素の輝度を算出する構成としてもよい。
該構成によれば、第二演算手段にて画像データに対して画素補間および異なる色空間への色変換を実行する画像処理にて輝度が負数となりうる演算方法に基づいて各画素の輝度を算出する。すなわち、第一演算手段での演算手法では画像処理を施さない生データに基づいて輝度を算出し、第二演算手段での演算手法では、各種画像処理を施したデータに基づいて輝度を算出する。このとき、この第二演算手段での演算手法では、画像データのチューニングのため輝度が負数を取りうる演算を行なう。このように、第一演算手段では生データに基づく正数の輝度を算出し、第二演算手段ではこれに対して画像処理後の画像データのチューニング状態を反映した輝度を算出する。そして、両者の輝度に基づいてエッジ強調を行なうことによって、エッジ強調により画像データの特性を反映することが可能になる。
【０００９】
第一演算手段にて算出される輝度と、第二演算手段にて算出される輝度との変換度合いのレベルを調整するために、上記第一演算手段は、上記第二演算手段が実行する画像処理に含まれるγ補正処理を上記算出した各画素の輝度に対して実行する構成としてもよい。
該構成によれば、第一演算手段にて第二演算手段が実行する画像処理に含まれるγ補正処理を算出した各画素の輝度に対して実行する。
【００１０】
全画素に対してエッジ強調を実行すると、処理負荷が大きくなりスループットが低下する。そこで、上記エッジ強調手段は、上記第一演算手段が算出した上記各画素の輝度に基づいて同各画素のエッジ量を算出するとともに、同算出したエッジ量に対応して同各画素のエッジ度合いを強調する構成としてもよい。
該構成によれば、エッジ強調手段にて第一演算手段が算出した各画素の輝度に基づいて各画素のエッジ量を算出する。そして、この算出したエッジ量に対応して各画素のエッジ度合いを強調する。すなわち、輪郭を構成する画素をエッジ強調の対象とすることにより、エッジ強調処理を実施する画素を制限することによって処理効率の向上を図る。
【００１１】
エッジ量の低い画素の輝度をエッジ強調度合いに反映させることを防止する手法の一例として、上記算出したエッジ量に基づいて非線形関数値（例えば、コアリング関数値）を算出し、同算出した非線形関数値を上記第二演算手段にて演算した輝度に加算することによって上記各画素のエッジ度合いを強調する構成としてもよい。
該構成によれば、エッジ強調手段にて算出したエッジ量に基づいて非線形関数値を算出する。これによって、エッジ量が小さい画素をフィルタリングする。そして、この算出した非線形関数値を第二演算手段にて演算した輝度に加算することによって各画素のエッジ度合いを強調する。
【００１２】
モザイクフィルタの一例として、上記モザイクフィルタは、ＣＭＹＧの各要素色にて形成される構成としてもよい。
該構成によれば、モザイクフィルタをＣＭＹＧの各要素色にて形成する。
【００１３】
モザイクフィルタの他の一例として、上記モザイクフィルタは、ＲＧＢの各要素色にて形成される構成としてもよい。
該構成によれば、モザイクフィルタをＲＧＢの各要素色にて形成する。
【００１４】
また、各要素色がモザイク状に配置されたドットマトリクス状の画素にて構成される画像データの各画素のエッジ度合いを強調する手法は必ずしも実体のある装置に限られる必要はなく、その方法としても機能することは容易に理解できる。
このため、各要素色がモザイク状に配置されたドットマトリクス状の画素にて構成される画像データの各画素のエッジ度合いを強調するエッジ強調処理方法であって、上記各画素の輝度を、輝度が負数とならない所定の演算方法に基づいて算出する第一演算工程と、上記各画素の輝度を、輝度が負数となりうるようにチューニングされた画像処理により算出する第二演算工程と、上記第一演算工程において算出した輝度により基づいて上記各画素のエッジ量を算出し、上記エッジ量に基づいて、上記第二演算工程において算出した上記各画素のエッジ度合いを強調するエッジ強調工程と、を具備する構成も可能である。
すなわち、必ずしも実体のある装置に限らず、その方法としても有効であることに相違はない。
【００１５】
ところで、このようなエッジ強調処理装置は単独で存在する場合もあるし、ある機器に組み込まれた状態で利用されることもあるなど、発明の思想としてはこれに限らず、各種の態様を含むものである。従って、ソフトウェアであったりハードウェアであったりするなど、適宜、変更可能である。発明の思想の具現化例としてエッジ強調処理装置のソフトウェアとなる場合には、かかるソフトウェアを記録した記録媒体上においても当然に存在し、利用されるといわざるをえない。
【００１６】
その一例として、各要素色がモザイク状に配置されたドットマトリクス状の画素にて構成される画像データの各画素のエッジ度合いを強調するエッジ強調処理プログラムを記録した記録媒体であって、上記各画素の輝度を、輝度が負数とならない所定の演算方法に基づいて算出する第一演算機能と、上記各画素の輝度を、輝度が負数となりうるようにチューニングされた画像処理により算出する第二演算機能と、上記第一演算機能が算出した輝度に基づいて上記各画素のエッジ量を算出し、上記エッジ量に基づいて、上記第二演算機能が算出した上記各画素のエッジ度合いを強調するエッジ強調工程と、をコンピュータにて実行させるコンピュータ読取可能な記録媒体としてもよい。
【００１７】
むろん、その記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。また、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものではなく、一部を記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。
【００１８】
【発明の効果】
以上説明したように本発明は、二つの異なる演算手法に基づいて各画素の輝度を算出し、各画素のエッジを強調するに際して、これら二つの輝度を利用することによって、画像データの本質的な特性をエッジ強調度合いに反映させることが可能なエッジ強調を実現することが可能なエッジ強調処理装置を提供することができる。
さらに、エッジ強調処理を実施する画素を制限することによって処理効率の向上を図ることが可能になる。
さらに、エッジ強調により画像データの特性を反映することが可能になる。
さらに、請求項２にかかる発明によれば、第一演算手段にて算出された輝度を第二演算手段にて算出された輝度と同様のγ補正を行なうため、γ変換のレベルを同等のものとすることが可能になる。
【００１９】
さらに、請求項３にかかる発明によれば、エッジ量が小さい画素の輝度がエッジ強調度合いに反映されることを防止することが可能になる。
【００２０】
【発明の実施の形態】
ここでは、下記の順序に従って本発明の実施形態について説明する。
（１）デジタルスチルカメラの構成：
（２）画像処理の概略：
（３）エッジ強調処理について：
（４）エッジ強調処理の変形例：
（５）まとめ：
【００２１】
（１）ディジタルスチルカメラの概略構成：
図１は、本発明のエッジ強調処理装置が適用されるディジタルスチルカメラの概略構成をブロック図により示している。同図において、ディジタルスチルカメラ１０は、光学部２０と、ＣＰＵ３２を核とする制御部３０とから構成されている。光学部２０は、光学レンズ系２１と、オートフォーカス機構２２と、測距部２３と、オートフォーカスコントローラ２４とを備え、オートフォーカスコントローラ２４がコントローラ２５からの制御信号に基づいて測距部２３にて被写体までの距離を測定しつつオートフォーカス機構２２にて光学レンズ系２１を駆動してピントを合わせる。光学レンズ系２１にて被写体像を結像するのは撮像素子としてのＣＣＤ２６の撮像面であり、本ＣＣＤ２６は１８００×１２００画素を有する単板で構成されている。単板で構成しているため、２×２画素について、グリーン（Ｇ）、マゼンタ（Ｍ）、イエロー（Ｙ）、シアン（Ｃ）のカラーフィルタを順次形成してある。なお、シャッターについては電子シャッターとともにメカニカルシャッターを備えているが、メカニカルシャッターについては図示を省略している。
【００２２】
この他、光学部２０にはストロボ２７も備えられており、コントローラ２５からの駆動信号に応じて所定光量および所定回数の発光を行う。これにより、赤目防止であるとかスローシンクといった撮影を実現している。なお、ＣＣＤ２６が出力するアナログ量の電気信号を増幅するオートゲインコントローラ（ＡＧＣ）２８が備えられ、増幅後のアナログ電気信号をディジタル値に変換して出力するＡ／Ｄコンバータ２９が備えられている。むろん、以上の光学部２０については、ディジタルスチルカメラ１０としての一般的な構成の一例に過ぎず、各種の変更が可能であることはいうまでもない。例えば、光学レンズ系２１にはズームレンズを備えることもできるし、あるいは固定焦点としてオートフォーカスの機能を備えない廉価なものであっても良い。
【００２３】
また、制御部３０はバス３１を備えており、当該バス３１にＣＰＵ３２とＲＯＭ３３とＲＡＭ３４と上記Ａ／Ｄコンバータ２９が接続されている。ＣＰＵ３２はＲＯＭ３３に書き込まれたファームウェアを実行して光学部２０の制御や画像処理の演算等を実行するものであり、その際にＲＡＭ３４は画像データを保存する画像エリア３４ａとして機能したり演算処理のためのワークエリア３４ｂとして機能したりする。ＣＰＵ３２が光学部２０を制御する際には、コントローラ２５に対して制御信号を出力し、同コントローラ２５が各構成回路などに対する適宜制御信号を生成して出力する。
【００２４】
制御部３０はマンマシンインターフェイスとしての機能も有しており、操作ボタンなどを配置した操作パネル３５と、撮影画像や操作指示などを表示するＬＣＤパネル３６を備えており、ＣＰＵ３２は操作パネル３５の操作を監視し、適宜、操作を受けつつ対応する制御を実行する。また、ＬＣＤパネル３６への表示はＲＡＭ３４に割り当てられたビデオＲＡＭエリア３４ｃに対してＣＰＵ３２が所定のデータを書き込むことにより、ＬＣＤパネル３６に備えられたディスプレイコントローラが適宜同データを読み込んで表示を行う。そして、撮影され、所定の画像処理を経て生成される画像データはＩ／Ｏ３７ａを介して外部メモリであるフラッシュメモリカード３７ｂに書き込まれ、また、必要に応じて同フラッシュメモリカード３７ｂから読み出される。
【００２５】
制御部３０の構成もこの種のディジタルスチルカメラ１０の典型例であって、各種の変更が可能である。例えば、外部メモリの種類については適宜他の種類のものに置き換えることは容易であるし、さらには着脱可能なメモリとのインターフェイスを備えなくてもＵＳＢインターフェイスを介してコンピュータに画像データを出力するようにしてもよい。表示部としてのＬＣＤパネルに付随して情報表示用ＬＣＤを備えてもよいし、ＣＰＵ３２については制御対象が異なる複数のＣＰＵを備えても良い。
【００２６】
光学部２０で撮像された画像はＣＣＤ２６からアナログ電気信号として出力された後、ＡＧＣ２８を経てＡ／Ｄコンバータ２９にてディジタルデータに変換され、さらにバス３１を介してＲＡＭ３４の画像エリア３４ａに記録される。そして、ＣＰＵ３２が所定の画像処理を実行することによりＪＰＥＧ画像データに変換されて上述したフラッシュメモリカード３７ｂに書き込まれることになる。
【００２７】
（２）画像処理の概略：
図２は、このＣＰＵ３２が実行する画像処理の主要な流れを示している。細部においては後述するような具体的な処理が実行されるものの、概略的にはこの流れに従って処理を進めている。まず、この概略について説明する。同図において、ステップＳ１０２では、欠陥画素補間を実行する。およそ２００万画素を有するＣＣＤ２６には欠陥画素は避けられず、所定の基準値以下のものであれば良品として供給される。このため、良品の範囲内での欠陥画素については同色画素だけを基準とした５×５画素のメヂアンフィルタを使用して補う。すなわち、欠陥画素がシアンの画素であるとすると、この欠陥画素の周囲に位置する５×５のシアン画素の出力値を順番に並べ、中央値を欠陥画素の値とする。なお、欠陥画素自体は光学部２０において既に検出されている。
【００２８】
次のステップＳ１０４ではホワイトバランスの測定を行う。撮影時の光源の種類、およびＣＣＤ２６とカラーフィルタとの組合せによっては、ホワイトバランスがずれることがあり、本実施形態においては、各撮影ごとにステップＳ１０４にてホワイトバランスを測定し、その結果を反映させてずれを少なくするようにステップＳ１１０にてホワイトバランスの制御をする。ホワイトバランスを測定するときには間引き処理で選択した１１３×７５画素の画像データを利用し、ＲＧＢ表色系においてＧ成分を基準としたＲ成分の偏りとＢ成分の偏りを測定する。なお、本ＣＣＤ２６は補色系のカラーフィルタを備えており、補色系であることを踏まえて制御をしている。
【００２９】
本実施形態では三種類の画像を生成する。一つ目は確認画像であり、二つ目はサムネール画像であり、三つ目は主画像である。確認画像は撮影後速やかにＬＣＤパネル３６に表示するための画像であり、７２０×２４０画素の画像データで構成される。サムネール画像は主画像とともに画像データとして記録されるものであり１６０×１２０画素の画像データで構成される。主画像は操作者の選択によって三つのサイズを選択可能であり、Ｅ−ｍａｉｌ画像という７２０×４８０画素か、Ｐｒｉｎｔ画像という１８００×１２００画素か、Ｈｙｐｉｃｔ２という高解像度化した２１６０×１４４０画素かのいずれかである。
【００３０】
図２において、ステップＳ１０６〜ステップＳ１１４は破線で囲む表示をしてあり、すくなくともこれらの処理は生成される三種類の画像ごとに実施される。ステップＳ１０６ではデータ補間を実施する。ＣＣＤ２６は単板で構成され、２００万画素を有しているものの全画素のそれぞれで色情報が完結しているわけではない。すなわち、ある画素についてはシアンの情報だけ、ある画素についてはマゼンタの情報だけ、ある画素についてはイエローの情報だけ、ある画素についてはグリーンの情報だけとなっている。このデータをモザイクカラーデータと呼ぶ。データ補間では各画素に対して不足する他の色の情報を補うことにより、各画素ごとに色情報を完結させるための処理である。不足する情報は注目画素に隣接して取り囲む８画素に含まれる色情報の平均値である。例えば、シアン画素（Ｃ１）の周囲にはイエローの画素が二個（Ｙ１，Ｙ２）、マゼンタの画素が二個（Ｍ１，Ｍ２）、グリーンの画素が四個（Ｇ１〜Ｇ４）存在する。
【００３１】
従って、このシアン画素の色情報（Ｃ，Ｍ，Ｙ，Ｇ）については、
Ｃ＝Ｃ１
Ｍ＝（Ｍ１＋Ｍ２）／２
Ｙ＝（Ｙ１＋Ｙ２）／２
Ｇ＝（Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４）／４
として計算する。
【００３２】
ステップＳ１０８では、表色系を変えてＲＧＢ画像データに変換する。変換のための一般式も存在するが、実際には単純な一般式を利用するのではなく、チューニングを施したルックアップテーブルを利用したり行列式を利用したりして変換を行う。ＲＧＢ画像データに変換後、ステップＳ１１０では、上述したようにＲＧＢ表色系におけるＲ成分の偏りとＢ成分の偏りを少なくする制御を実行する。次のステップＳ１１２ではトーンカーブ補正を行う。トーンカーブ補正はいわゆるγ補正とも呼ばれ、このときに各成分について１０ビットの画像データを８ビットの画像データに変換しつつ、さらに白色側領域と黒色側領域でのノイズの低減や階調性の保持のためにγカーブ自体についての調整も行っている。トーンカーブ補正自体はルックアップテーブルを利用しており、予めチューニングして作成した１０ビット→８ビットのルックアップテーブルを参照して変換する。
【００３３】
この後、ＪＰＥＧ画像圧縮技術を利用するため、ＲＧＢ表色系からＹＵＶ表色系へと色変換する。なお、輝度とイエローを区別するため、以後において輝度はＹｍと表示し、また、後述するようにモザイクカラーデータから直接導き出す輝度を単純輝度Ｙｓとして表示することにする。ＲＧＢ表色系からＹＵＶ表色系への色変換は一般式あるいは行列式を利用して変換する。
【００３４】
なお、モザイクカラーデータからＹＵＶ表色系への変換の一般式は、
Ｙｓ＝０．２５×（Ｃ＋Ｍ＋Ｙ＋Ｇ）
Ｕ＝Ｃ＋Ｍ−（Ｙ＋Ｇ）
Ｖ＝−Ｃ＋Ｍ＋Ｙ−Ｇ
となっているが、実際には上述したようなチューニングやホワイトバランスの制御が実施され、この通りの対応関係を採用しているわけではない。
【００３５】
ステップＳ１１６とステップＳ１１８は主画像の作成の際にのみ実施される処理である。ノイズ除去は色成分としてＵＶ成分についてのみいわゆるローパスフィルタを適用する演算を行なう。すなわち、色変化が急峻すぎるものについては押さえ気味に作用する。また、エッジ強調は輝度成分についてのみ当該輝度成分に基づくエッジ量から非線形関数値（例えば、コアリング関数値）を算出し、同非線形関数値を元の輝度成分に加重して演算している。従って、隣接する画素間で輝度値が変化する場合にそのエッジ量を算出し、当該エッジ量の絶対値が大きければその変化量を大きく輝度値に反映させるし、同絶対値が小さければ元輝度値はほぼ元のままの値となる。
【００３６】
以上が画像処理の概略であるが、上記手順は実際の演算処理において複数の処理を同時に行うなどすることにより、演算処理時間の短縮を図ることも行なう。撮影は上述した三種類の画像ごとに上述した画像処理を実行し、最終的にはサムネール画像を含んだ主画像のＪＰＥＧ圧縮画像をフラッシュメモリカード３７ｂに書き込むことによって完了する。この他にも、本ディジタルスチルカメラではフラッシュメモリカード３７ｂから画像データを読み込んでＬＣＤパネル３６に表示したり、データの削除や各種の設定を実行可能であるが、これについては一般的な技術を適用可能であるので説明を省略する。
【００３７】
（３）エッジ強調処理について：
なお、上述したステップＳ１１８のエッジ強調処理は、ステップＳ１０６のデータ補間処理、ステップＳ１０８およびステップＳ１１４の色変換処理、ステップＳ１１０のステップホワイトバランス制御処理等の画像処理を実行して生成されたＹｍＵＶの画像データの輝度Ｙｍを利用することによって各画素のエッジ度合いを強調することも可能である。しかし、このように各処理が施されるとともに、チューニングが実施されると、輝度Ｙｍが負数になる場合がある。ここで、かかる負数の輝度Ｙｍを利用してエッジ強調処理を実行すると、エッジ強調に支障をきたす場合がある。そこで、本発明にかかるエッジ強調処理装置は、モザイクカラーデータから直接導き出す単純輝度Ｙｓを利用することによって、エッジ強調に利用する輝度が負数になることを防止するとともに、より画像データの特性をエッジ強調に反映させることを可能にしている。
【００３８】
ここで、上述したとおり、撮像素子であるＣＣＤ２６は光学系レンズ２１により結像された被写体像を撮像する。ＣＣＤ２６により撮像された画像信号は、所定のタイミング信号に基づき順次Ａ／Ｄコンバータ２９によりデジタル画像信号に変換されて、図示しないＹＵＶ変換モジュールに送られる。このＹＵＶ変換モジュールは、入力信号から輝度Ｙｍと、２つの色信号（Ｕ，Ｖ）を生成する。生成された輝度Ｙｍは、エッジ強調処理モジュールへ送られ、このエッジ強調処理モジュールによって単純輝度Ｙｓと組み合わせられたエッジ強調量に基づいて被写体のエッジ強調に利用される。
【００３９】
図３は、このエッジ強調処理モジュールの構成を示すブロック構成図である。同図において、エッジ強調処理モジュール４０は、単純輝度算出モジュール４１と、エッジ量算出モジュール４２と、非線形関数モジュール４３と、加算モジュール４４とから構成されている。また、図４は、エッジ強調処理モジュール４０に内蔵される各モジュール４１〜４４における信号波形を示した図である。同図において、輝度Ｙｍは上述したＹＵＶ変換モジュールから入力する。単純輝度Ｙｓは上述のとおりモザイクカラーデータから直接導き出す。エッジ量Ｅは単純輝度Ｙｓから算出する。非線形関数値ｆ（Ｅ）はエッジ量Ｅに基づいて算出する。そして、エッジ強調輝度Ｙ’は輝度Ｙｍと非線形関数値ｆ（Ｅ）とを加算することによって算出する。
【００４０】
エッジ量算出モジュール４２は、図５に示す３×３画素単位のラプラシアンフィルタ５０を内部に備えている。そして、このラプラシアンフィルタ５０は、中心画素のエッジ量Ｅを算出するに際して、当該中心画素の画像データを４倍するとともに、上下左右に隣接する画素の画像データを１倍し、上記４倍した中心画素の画像データからこの上下左右に隣接する画素の画像データを減算する。すなわち、中心画素およびそれと近接する周囲の画素の輝度に応じて、中心画素の単純輝度Ｙｓの振幅を上下左右の画素幅だけ減算する。このようなラプラシアンフィルタ５０にてフィルタ演算を実行すると、図６に示すように中心画素のエッジ量Ｅが算出される。
【００４１】
また、非線形関数モジュール４３は、図７に示す非線形関数をテーブルとして備えており、エッジ量算出モジュール４２にて算出されたエッジ量Ｅを入力するとともに、このエッジ量Ｅに対応する非線形関数値ｆ（Ｅ）を算出することが可能になっている。この非線形関数では、図４に示すとおり、振幅を一定の非線形関数レベルＬにカットしノイズを取り除くことを可能にしている。単純輝度Ｙｓのエッジ量Ｅから非線形関数値ｆ（Ｅ）が算出されると、この非線形関数値ｆ（Ｅ）は加算モジュール４４に出力される。そして、加算モジュール４４では、非線形関数モジュール４３から入力した非線形関数値ｆ（Ｅ）とＹＵＶ変換モジュールから出力される輝度Ｙｍとを加算演算する。これにより、被写体のエッジを強調するエッジ強調輝度Ｙ’を算出する。
【００４２】
図８は、エッジ強調処理モジュール４０にて各モジュール４１〜４４を用いて実行されるエッジ強調処理の処理内容を示したフローチャートである。
同図において、Ｃ，Ｍ，Ｙ，Ｇがモザイク状に配置されたドットマトリクス
状に構成されるモザイクカラーデータに基づいて単純輝度Ｙｓを算出する（ステップＳ１１８ａ）。ここで、単純輝度Ｙｓの算出について説明する。ＣＣＤ２６を介して取り込まれたモザイクカラーデータは、図９に示すドットマトリクス状の画素にて形成されている。ここで、横軸（ａ１，ａ２，・・・）は横軸方向の画素位置を示すとともに、縦軸（ｂ１，ｂ２，・・・）は縦軸方向の画素位置を示している。例えば、画素（ａ１，ｂ１）はＧ１１のモザイクカラーデータを有していることを示しており、画素（ａ２，ｂ１）はＭ２１のモザイクカラーデータを有していることを示している。そして、所定画素の単純輝度Ｙｓを算出するに際しては、当該画素を含め相互に隣接する４画素のモザイクカラーデータに基づいて算出する。
【００４３】
例えば、画素（ａ１，ｂ１）の単純輝度Ｙｓ（ａ１，ｂ１）は、当該画素（ａ１，ｂ１）のモザイクカラーデータであるＧ１１と、画素（ａ１，ｂ２）のモザイクカラーデータであるＹ１２と、画素（ａ２，ｂ１）のモザイクカラーデータであるＭ２１と、画素（ａ２，ｂ２）のモザイクカラーデータであるＣ２２とに基づいて算出することになる。かかる場合の演算方法を数式に表すと、
Ｙｓ（ａ１，ｂ１）＝（Ｇ１１＋Ｍ２１＋Ｙ１２＋Ｃ２２）／４
となる。
【００４４】
また、画素（ａ２，ｂ１）の単純輝度Ｙｓ（ａ２，ｂ１）は、当該画素（ａ２，ｂ１）のモザイクカラーデータであるＭ２１と、画素（ａ２，ｂ２）のモザイクカラーデータであるＣ２２と、画素（ａ３，ｂ１）のモザイクカラーデータであるＧ３１と、画素（ａ３，ｂ２）のモザイクカラーデータであるＹ３２とに基づいて算出される。かかる場合の演算方法を数式に表すと、
Ｙｓ（ａ２，ｂ１）＝（Ｍ２１＋Ｇ３１＋Ｃ２２＋Ｙ３２）／４
となる。
【００４５】
すなわち、所定画素の単純輝度Ｙｓを算出する場合は、当該画素のモザイクカラーデータと、この画素の右，下および右斜め下にて隣接する画素のモザイクカラーデータとの平均値を算出することになる。この単純輝度Ｙｓの算出を画素（ａ１，ｂ１）から順次ドットマトリクス状のモザイクカラ−データの全画素について実行する。以上のようにして各画素の単純輝度Ｙｓが算出されると、この算出された単純輝度Ｙｓに対してトーンカーブ補正を行う。このトーンカーブ補正はいわゆるγ補正と呼ばれるものである。
【００４６】
このトーンカーブ補正自体はルックアップテーブルを利用しており、輝度Ｙｍとのレベルを調整するためにγカーブはステップＳ１１２にて使用するものと同等のカーブを備えるように予めチューニングして作成されている。このトーンカーブ補正では１０ビット→８ビットのルックアップテーブルを参照して変換することになる。そして、図１０に示した各画素（ａ１，ｂ１）・・・の単純輝度Ｙｓを保持した単純輝度データを生成する。このように、各画素についての単純輝度Ｙｓの算出が終了すると、次に、この単純輝度Ｙｓに基づいて各画素のエッジ量Ｅを算出する（ステップＳ１１８ｂ）。このエッジ量Ｅの算出は上述したとおりラプラシアンフィルタ５０を用いる。例えば、単純輝度Ｙｓ（ａ２，ｂ２）のエッジ量Ｅ（ａ２，ｂ２）は、次の演算方法に基づいて行なわれる。
【００４７】
Ｅ（ａ２，ｂ２）＝４×Ｙｓ（ａ２，ｂ２）−Ｙｓ（ａ２，ｂ１）−Ｙｓ（ａ１，ｂ２）−Ｙｓ（ａ２，ｂ１）−Ｙｓ（ａ３，ｂ２）
このように所定画素のエッジ量Ｅを算出する場合は、上述したとおり当該画素の単純輝度Ｙｓを４倍するとともに、この４倍した単純輝度Ｙｓから上下左右に隣接する画素の単純輝度Ｙｓを減算することによって算出する。そして、このエッジ量Ｅの算出を全画素について実行する。全画素のエッジ量Ｅを算出すると、このエッジ量Ｅは、非線形関数モジュール４３に出力される。非線形関数モジュール４３は、入力したエッジ量Ｅに基づいて非線形関数値ｆ（Ｅ）を算出する（ステップＳ１１８ｃ）。非線形関数値ｆ（Ｅ）の算出に際しては、テーブルを使用して所定のエッジ量Ｅに対応する非線形関数値ｆ（Ｅ）を取り出すことによって算出しても良いし、図７に示した非線形関数にエッジ量Ｅを代入することによって、非線形関数値ｆ（Ｅ）を演算によって算出するようにしても良い。
【００４８】
ステップＳ１１８ｃにて非線形関数値ｆ（Ｅ）が算出されると、ＹＵＶ変換モジュールから全画素についての輝度Ｙｍを取得する（ステップＳ１１８ｄ）。この輝度Ｙｍは図１１に示すように各画素毎に既に算出されている。そして、各画素について順次エッジ強調輝度Ｙ’を算出する（ステップＳ１１８ｅ）。このエッジ強調輝度Ｙ’の算出は、加算モジュール４４にて実行される。この加算モジュール４４では次の式に基づいてエッジ強調輝度Ｙ’を算出する。
Ｙ’＝Ｙｍ＋ｆ（Ｅ）
そして、エッジ強調輝度Ｙ’が算出されると、図１２に示すようにＹＵＶ変換モジュールにて生成された各画素の輝度Ｙｍをこのエッジ強調輝度Ｙ’に基づいて補正することによって、被写体のエッジ強調を実現する（ステップＳ１１８ｆ）。
【００４９】
上述したエッジ強調処理では、ステップＳ１１８ａにて全画素についての単純輝度Ｙｓを算出し、ステップＳ１１８ｂにて全画素についてのエッジ量Ｅを算出し、ステップＳ１１８ｃにて全画素についての非線形関数値ｆ（Ｅ）を算出し、ステップＳ１１８ｄにて全画素についての輝度Ｙｍを取得し、ステップＳ１１８ｅにて全画素についての各エッジ強調輝度Ｙ’を算出し、ステップＳ１１８ｆにてこのエッジ強調輝度Ｙ’に基づいて被写体をエッジ強調する構成を採用した。むろん、各ステップにて全画素についての単純輝度Ｙｓ，エッジ量Ｅ，非線形関数値ｆ（Ｅ），輝度Ｙｍ，エッジ強調輝度Ｙ’の算出を行なう構成に限定されるものではなく、各画素毎に単純輝度Ｙｓ，エッジ量Ｅ，非線形関数値ｆ（Ｅ），輝度Ｙｍに基づいてエッジ強調輝度Ｙ’の算出および画像データ補正を行ない、順次全画素について行なうようにしても良い。
【００５０】
上述した実施形態においては、各画素の状況に拘わらず、全画素についてエッジ強調処理を実行する態様を採用した。むろん、このように全画素についてエッジ強調する態様に限定されるものではなく、所定のエッジ量Ｅを有する画素、すなわち、輪郭画素についてのみエッジ強調処理を実行する態様を採用しても良い。かかる場合のエッジ強調処理の処理内容を図１３のフローチャートに示す。同図においては、各画素毎に順次処理を実行する態様を採用する。先ず、ドットマトリクス状の先頭画素（ａ１，ｂ１）の輝度Ｙｍを取得する（ステップＳ１１８ｇ）。そして、この輝度Ｙｍが所定のしきい値ＳＴ以上であるか否かを判別する（ステップＳ１１８ｈ）。
【００５１】
輝度Ｙｍが所定のしきい値ＳＴ以上であると判別された場合は、単純輝度算出モジュール４１にて当該画素（ａ１，ｂ１）および隣接する画素のモザイクデータを取得して、このモザイクデータに基づいて上述したステップＳ１１８ａと同様の演算を利用して当該画素（ａ１，ｂ１）の単純輝度Ｙｓ（ａ１，ｂ１）を算出する（ステップＳ１１８ｉ）。次に、エッジ量算出モジュール４２は、この単純輝度Ｙｓ（ａ１，ｂ１）に基づいて、上述したステップＳ１１８ｂと同様の演算を利用して各画素のエッジ量Ｅ（ａ１，ｂ１）を算出する（ステップＳ１１８ｊ）。当該画素（ａ１，ｂ１）のエッジ量Ｅが算出されると、このエッジ量Ｅ（ａ１，ｂ１）は、非線形関数モジュール４３に出力される。
【００５２】
非線形関数モジュール４３は、入力したエッジ量Ｅ（ａ１，ｂ１）に基づいて非線形関数値ｆ（Ｅ）（ａ１，ｂ１）を算出する（ステップＳ１１８ｋ）。そして、加算モジュール４４にて当該画素（ａ１，ｂ１）のエッジ強調輝度Ｙ’（ａ１，ｂ１）を算出する（ステップＳ１１８ｌ）。以上の演算を全画素について実行したかを判別し（ステップＳ１１８ｍ）、全画素完了していなければ、ステップＳ１１８ｇに戻り上述した各ステップＳ１１８ｇ〜Ｓ１１８ｌを繰り返す。全画素についての処理が完了していると判別された場合は、ステップＳ１１８ｌにて算出された各画素のエッジ強調輝度Ｙ’に基づいて画像データを補正する（ステップＳ１１８ｎ）。
【００５３】
上述した実施形態においてはステップＳ１１８ｈにて輝度Ｙｍと比較するしきい値ＳＴを固定とし、エッジ量Ｅがこのしきい値ＳＴより大きい場合に輪郭画素と判定して、当該画素に対してエッジ強調処理を実行する態様を採用した。一方、このしきい値ＳＴは固定する態様に限定されるものではなく、全画素のエッジ量Ｅの分布に基づいてしきい値ＳＴを可変させるようにしても良い。例えば、全体的にエッジ量が大きい場合は、輪郭画素数が多いため、しきい値ＳＴを小さく設定する。また、全体的にエッジ量が小さい場合は、しきい値ＳＴを大きく設定する。すなわち、シャープな画素が少ない場合にしきい値をＳＴを高めに設定することによって、エッジ強調処理を実行する輪郭画素数を調整することが可能となる。
【００５４】
また、本実施形態においては、ＣＣＤ２６は１８００×１２００画素を有する単板で構成するとともに、２×２画素について、グリーン（Ｇ）、マゼンタ（Ｍ）、イエロー（Ｙ）、シアン（Ｃ）のカラーフィルタを順次形成する構成を採用した。そして、単純輝度Ｙｓの算出をこのＧ，Ｍ，Ｙ，Ｃのモザイクデータの平均値としたが、むろん、ＣＣＤ２６を１８００×１２００画素を有する単板で構成するとともに、レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）のカラーフィルタを順次形成する構成を採用しても良い。かかる場合は、単純輝度Ｙｓの算出をこのＲ，Ｇ，Ｂのカラーデータの平均値とすれば良い。
【００５５】
（４）まとめ：
このように、ＣＣＤ２６を介して取り込まれたＣ，Ｍ，Ｙ，Ｇのモザイクカラーデータを平均する第一演算方法にて単純輝度Ｙｓを算出するとともに、データ補間処理等を実行する第二演算方法にて輝度Ｙｍを算出し、この相互に異なる演算方法にて算出された単純輝度Ｙｓと輝度Ｙｍとに基づいてエッジ強調輝度Ｙ’を算出して画像データを補正することによって、より画像データの特性をエッジ強調に反映させることを可能にする。
【図面の簡単な説明】
【図１】本発明にかかるエッジ強調処理装置が適用されるディジタルスチルカメラの概略構成を示したブロック図である。
【図２】ディジタルスチルカメラで実行される画像処理の主要な流れを示したフローチャートである。
【図３】エッジ強調モジュールの構成を示した構成図である。
【図４】エッジ強調モジュール内部の信号変化を示した図である。
【図５】ラプラシアンフィルタの構成を示した図である。
【図６】エッジの態様を示した図である。
【図７】非線形関数の一例を示した図である。
【図８】エッジ強調処理の処理内容を示したフローチャートである。
【図９】モザイクデータの画像データを示した図である。
【図１０】単純輝度成分を示した図である。
【図１１】ＹＵＶ変換モジュールにて生成された画像データの輝度成分を示した図である。
【図１２】エッジ強調輝度成分を示した図である。
【図１３】エッジ強調処理の他の処理内容を示したフローチャートである。
【符号の説明】
１０…ディジタルスチルカメラ
２０…光学部
２１…光学レンズ系
２２…オートフォーカス機構
２３…測距部
２４…オートフォーカスコントローラ
２５…コントローラ
２６…ＣＣＤ
２７…ストロボ
２８…オートゲインコントローラ（ＡＧＣ）
２９…Ａ／Ｄコンバータ
３０…制御部
３１…バス
３２…ＣＰＵ
３３…ＲＯＭ
３４…ＲＡＭ
３４ａ…画像エリア
３４ｂ…ワークエリア
３４ｃ…ビデオＲＡＭエリア
３５…操作パネル
３６…ＬＣＤパネル
３７ａ…Ｉ／Ｏ
３７ｂ…フラッシュメモリカード
【図１】
0004168229.tif 000002
【図２】
0004168229.tif 000003
【図３】
0004168229.tif 000004
【図４】
0004168229.tif 000005
【図５】
0004168229.tif 000006
【図６】
0004168229.tif 000007
【図７】
0004168229.tif 000008
【図８】
0004168229.tif 000009
【図９】
0004168229.tif 000010
【図１０】
0004168229.tif 000011
【図１１】
0004168229.tif 000012
【図１２】
0004168229.tif 000013
【図１３】
0004168229.tif 000014