(57)【要約】【課題】特に暗い背景であっても強調効果が弱まることのない強調処理を実現可能にすることを課題とする。【解決手段】画像処理装置は、エッジ強調処理の際に画像信号のアンダーシュート成分をオーバーシュート成分として処理する手段（３０１，３０２，３０３３，３０４，３０６，３０８，３０９）を含み、画像信号の輝度レベルが閾値より低い場合には、画像信号の輝度レベルを上げるように調整（３００）してからエッジ強調処理へ入力する。【選択図】図３
2020145538.tif 000002
【特許請求の範囲】
【請求項１】
画像信号の輝度レベルを調整するレベル調整手段と、
前記画像信号にエッジ強調処理を施すエッジ強調手段と、を有し、
前記エッジ強調手段は、前記エッジ強調処理の際に前記画像信号のアンダーシュート成分をオーバーシュート成分として処理する処理手段を含み、
前記レベル調整手段は、前記画像信号の輝度レベルが閾値より低い場合には、前記画像信号の輝度レベルを上げるように調整してから前記エッジ強調手段へ入力することを特徴とする画像処理装置。
【請求項２】
前記エッジ強調処理は信号のゲインおよび振幅を制限するクリップ処理を含み、
前記レベル調整手段は、前記画像信号の輝度レベルが閾値より低い場合、前記エッジ強調処理でアンダーシュート成分がクリップ処理されないレベルだけ、前記画像信号の輝度レベルを上げるように調整することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記レベル調整手段は、前記画像信号による画像全体の平均輝度レベル、もしくは前記画像信号の中の所定の領域の平均輝度レベルが、前記閾値より低い場合に、前記輝度レベルの前記調整を行うことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
画像信号の輝度レベルを判定するレベル判定手段と、
前記画像信号にエッジ強調処理を施すエッジ強調手段と、を有し、
前記エッジ強調処理は信号のゲインおよび振幅を制限するクリップ処理を含み、
前記エッジ強調手段は、
前記エッジ強調処理の際に前記画像信号のアンダーシュート成分をオーバーシュート成分として処理する処理手段を含み、
前記レベル判定手段によって前記画像信号の輝度レベルが閾値より低いと判定された場合には、前記クリップ処理が行われる前の信号を用いて前記エッジ強調処理を行うことを特徴とする画像処理装置。
【請求項５】
前記レベル判定手段は、前記画像信号による画像全体の平均輝度レベル、もしくは前記画像信号の中の所定の領域の平均輝度レベルが、前記閾値より低いか否かを判定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記処理手段は、前記エッジ強調処理の際に、前記画像信号に対して前記アンダーシュート成分を減算することにより、前記アンダーシュート成分を前記オーバーシュート成分として処理することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
画像処理装置が実行する画像処理方法であって、
画像信号の輝度レベルを調整するレベル調整工程と、
前記画像信号にエッジ強調処理を施すエッジ強調工程と、を有し、
前記エッジ強調工程は、前記エッジ強調処理の際に前記画像信号のアンダーシュート成分をオーバーシュート成分として処理する処理工程を含み、
前記レベル調整工程では、前記画像信号の輝度レベルが閾値より低い場合には、前記画像信号の輝度レベルを上げるように調整してから前記エッジ強調工程へ入力することを特徴とする画像処理方法。
【請求項８】
画像処理装置が実行する画像処理方法であって、
画像信号の輝度レベルを判定するレベル判定工程と、
前記画像信号にエッジ強調処理を施すエッジ強調工程と、を有し、
前記エッジ強調処理は信号のゲインおよび振幅を制限するクリップ処理を含み、
前記エッジ強調工程は、
前記エッジ強調処理の際に前記画像信号のアンダーシュート成分をオーバーシュート成分として処理する処理工程を含み、
前記レベル判定工程によって前記画像信号の輝度レベルが閾値より低いと判定された場合には、クリップ処理が行われる前のエッジ信号を用いて前記エッジ強調処理を行うことを特徴とする画像処理方法。
【請求項９】
コンピュータを、請求項１から６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子により撮像された画像信号を処理する技術に関する。
【背景技術】
【０００２】
従来、夜景や星空を撮影する場合には、機材の準備や撮影条件の設定などの事前準備が必要であった。一方、近年は夜景や星空を撮影しやすくするための撮影モードを搭載したデジタルカメラがあり、このカメラによれば、暗所でも適切な露出設定やピント位置で撮影でき、より手軽に撮影できるようになっている。さらにデジタルカメラには、天候や空の明るさなどの条件が悪い場合でも星を認識しやすいようにする星の強調処理等を画像処理にて施す機能を備えたものもある。また、特許文献１には、星の強調処理において、オーバーシュートとアンダーシュートを独立にゲインを制御して最適化する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１５６００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、星強調処理のように、暗い背景の中に僅かに明るい点のような被写体が存在する場合の強調処理としては、例えばエッジ強調処理がある。しかしながら、暗い背景内の星のような被写体に対する強調処理として、通常の明るいシーンでのエッジ強調量と同等のエッジ強調処理を行った場合、例えば背景が特に暗い場合には、アンダーシュートがクリップされてしまい、被写体である星に対する強調効果が弱まってしまう。
【０００５】
そこで、本発明は、アンダーシュートの目立たない強調処理を可能とし、また特に暗い背景であっても強調効果が弱まることのない強調処理を実現可能にすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、画像信号の輝度レベルを調整するレベル調整手段と、前記画像信号にエッジ強調処理を施すエッジ強調手段と、を有し、前記エッジ強調手段は、前記エッジ強調処理の際に前記画像信号のアンダーシュート成分をオーバーシュート成分として処理する処理手段を含み、前記レベル調整手段は、前記画像信号の輝度レベルが閾値より低い場合には、前記画像信号の輝度レベルを上げるように調整してから前記エッジ強調手段へ入力することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、特に暗い背景であっても強調効果が弱まることのない強調処理を実現可能となる。
【図面の簡単な説明】
【０００８】
【図１】画像処理装置の適用例である撮像装置の概略構成を示す図である。
【図２】画像処理回路の構成例を示す図である。
【図３】画像処理回路のうち星強調回路の構成例を示す図である。
【図４】星強調処理のフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
図１は本実施形態の画像処理装置の一適用例としての撮像装置１００の概略構成を示した図である。本実施形態では撮像装置１００としてデジタルカメラを例に挙げている。
撮影レンズ１０はフォーカスレンズやズームレンズなどを含む光学レンズである。シャッター１２は、絞り機能を備える機械式シャッターである。撮像素子１４は、撮影レンズ１０及びシャッター１２などの光学系を介して入射される光学像を電気信号に変換する。Ａ／Ｄ変換器１６は、撮像素子１４からのアナログ信号出力をデジタル信号に変換するアナログ／デジタル変換器である。
【００１０】
タイミング発生回路１８は、撮像素子１４、Ａ／Ｄ変換器１６にクロック信号や制御信号を供給する回路である。タイミング発生回路１８は、メモリ制御回路２２及びシステム制御回路５０により制御される。また露光時間に関する制御としては、シャッター１２による機械的な時間制御以外に、タイミング発生回路１８が撮像素子１４のリセットタイミングを制御する電子シャッター制御による蓄積時間制御も行われる。電子シャッターによる蓄積時間制御は、動画撮影などに使用可能である。
【００１１】
画像処理回路２０は、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２を介してメモリ３０から読み出されたデータに対して、所定の画素補間処理や色変換処理、現像処理などを行う。また画像処理回路２０は、画像の切り出し、変倍処理を行うことで電子ズーム機能を実現する。また画像処理回路２０は、撮像した画像データを用いて所定の演算処理を行い、その演算処理の結果をシステム制御回路５０に送る。システム制御回路５０は、画像処理回路２０からの演算結果に基づいて、測距制御部４２におけるＡＦ（オートフォーカス）動作および処理の制御、露光制御部４０におけるＡＥ（自動露光）動作および処理の制御、ＥＦ（フラッシュ調光）処理の制御等を行う。さらに画像処理回路２０は、ＡＷＢ（オートホワイトバランス）処理も行う。
【００１２】
また本実施形態の撮像装置１００は、被写体検出部７４をも有している。被写体検出部７４での被写体検出方法は、パターンマッチング、特徴点抽出など、公知の方法を適用可能であり特に限定されない。また被写体検出部７４が検出する被写体は、一例として人物の顔などを挙げることができる。なお、顔検出が行われる場合、被写体検出部７４は、その検出結果として、顔領域の座標（領域情報）、目の座標などを出力する。また被写体検出部７４は、公知の被写体検出方法を用いて他の被写体（被写体領域）を検出するものであってもよく、検出される被写体は限定されない。
【００１３】
メモリ制御回路２２は、システム制御回路５０による指示の下で、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、圧縮伸長回路３２を制御する。例えば、メモリ制御回路２２は、Ａ／Ｄ変換器１６のデータを画像処理回路２０やメモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６からのデータを直接、メモリ３０に書き込む。
【００１４】
画像表示部２８は、ＴＦＴ、ＬＣＤ等から成る表示装置に対して画像等を表示させる。メモリ３０に書き込まれた表示用の画像データはメモリ制御回路２２を介して画像表示部２８に送られ、画像表示部２８はその表示用の画像データに基づく画像を表示装置の画面上に表示させる。なお、撮像した画像データを逐次表示する場合には、電子ファインダ機能が実現されることになる。また画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には撮像装置１００の電力消費を大幅に低減することが出来る。
【００１５】
メモリ３０は、撮影した静止画像や動画像のデータを格納可能なメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、メモリ３０は、高速かつ大量の画像のデータを蓄積することができる。また、メモリ３０は、システム制御回路５０の作業領域としても使用することが可能である。
【００１６】
圧縮伸長回路３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
【００１７】
露光制御部４０は、絞り機能を備えるシャッター１２を駆動制御する。また露光制御部４０は、フラッシュ４８と連動することによりフラッシュ調光機能も制御する。
測距制御部４２は、撮影レンズ１０のフォーカスレンズの駆動およびフォーカシング制御を行う。ズーム制御部４４は、撮影レンズ１０のズームレンズの駆動およびズーミング制御を行う。
これら露光制御部４０と測距制御部４２は、システム制御回路５０により制御される。
フラッシュ４８は、ＡＦ補助光の投光機能、フラッシュ調光機能を有する。
【００１８】
システム制御回路５０は、撮像装置１００の全体を制御する。例えば、ＴＴＬ方式を用いた制御を行う場合、システム制御回路５０は、撮像した画像データを画像処理回路２０で所定の演算処理を行った演算結果に基づいて、露光制御部４０と測距制御部４２を制御する。
【００１９】
モードダイアル６０、シャッタースイッチ６２および６４、表示切替スイッチ６６、操作部７０、ズームスイッチ７２は、システム制御回路５０に対する各種の動作指示をユーザが入力するための操作デバイスである。これらは、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
【００２０】
モードダイアル６０は、電源オフ、自動撮影モード、撮影モード、ＨＤＲ撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定する際にユーザにより操作されるダイアルである。
【００２１】
シャッタースイッチ６２は、シャッターボタン押下の操作途中（いわゆる半押し）でＯＮとなるスイッチＳＷ１である。スイッチＳＷ１がＯＮになると、システム制御回路５０は、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作開始を指示する。
【００２２】
シャッタースイッチ６４は、シャッターボタン押下の操作完了（いわゆる全押し）でＯＮとなるスイッチＳＷ２である。スイッチＳＷ２がＯＮになると、システム制御回路５０は、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させる。なおフラッシュ撮影が行われる場合、スイッチＳＷ２がＯＮになると、システム制御回路５０は、ＥＦ（フラッシュプリ発光）処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させる。フラッシュ撮影の場合、システム制御回路５０は、この露光期間中にフラッシュ４８を発光させ、露光期間終了と同時に、露光制御部４０を介して撮像素子１４の露光を終了させる。またシステム制御回路５０は、撮像素子１４における撮像から、画像データを記録媒体１２０へ書き込む記録処理までの一連の処理の動作を制御する。一連の処理とは、Ａ／Ｄ変換器１６でのＡ／Ｄ変換、メモリ制御回路２２を介したメモリ３０への画像データの書き込み／読み出し処理、画像処理回路２０やメモリ制御回路２２での演算処理、圧縮伸長回路３２の圧縮伸長処理などである。
【００２３】
表示切替スイッチ６６は、画像表示部２８の表示切替を行うためのスイッチである。表示切替スイッチ６６は、ユーザによって操作されるスイッチの他、例えば光学ファインダ１０４にユーザが顔を近づけたことを検知する近接検知センサーであってもよい。システム制御回路５０は、表示切替スイッチ６６の出力を基に画像表示部２８の表示切替制御を行う。例えば、光学ファインダ１０４を用いて撮影を行う際に、システム制御回路５０は、画像表示部２８への電流供給を遮断することにより、省電力を図ることが可能となる。
【００２４】
操作部７０は、各種ボタン、タッチパネルや回転式ダイアル等からなる。操作部７０には、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等が含まれる。また、操作部７０には、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等も含まれる。
【００２５】
ズームスイッチ７２は、ユーザが撮像画像の倍率変更指示を行うズーム操作用のスイッチである。ズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチとからなる。システム制御回路５０は、ズームスイッチ７２の出力に基づいて、ズーム制御部４４を介して撮影レンズ１０の撮影画角の変更を指示する。これにより光学ズーム操作が行われる。また、システム制御回路５０は、ズームスイッチ７２の出力に基づいて、画像処理回路２０による画像の切り出しや画素補間処理などによる撮像画角の電子的なズーミング変更の制御も行うことができる。
【００２６】
電源８６は、アルカリ電池等の一次電池や、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる電源部である。
光学ファインダ１０４は、画像表示部２８による電子ファインダ機能を使用すること無しに撮影を行う際に用いられるファインダである。
【００２７】
Ｉ／Ｆ９０は、メモリカードやハードディスク等の記録媒体１２０との間でデータをやり取りするためのインタフェース部である。コネクタ９２は、メモリカードやハードディスク等の記録媒体と接続を行うためのコネクタ部である。
通信部１１０は、例えばＵＳＢやＩＥＥＥ１３９４、ＬＡＮ、無線通信、等の各種通信を行うための通信機能部である。
コネクタ１１２は、通信部１１０を介して本実施形態の撮像装置１００と他の機器とを接続するためのコネクタ部である。なお、コネクタ１１２には、無線通信が行われる場合のアンテナが含まれていてもよい。
記録媒体１２０は、半導体メモリ（メモリカード等）や磁気ディスク（ハードディスク等）から構成される記録部１２２、撮像装置１００との間のＩ／Ｆ１２４、撮像装置１００と接続をするためのコネクタ１２６等を備えている。
【００２８】
ここで、本実施形態の撮像装置１００は、例えば夜景や星空の撮影を行う場合に、それら夜景や星空を撮影しやすくするための撮影モードを備えている。この撮影モードによれば、暗所でも適切な露出設定やピント位置の撮影がより手軽に行える。また、本実施形態の撮像装置１００は、夜景や星空の撮影モードにおいて、天候や空の明るさなどの条件が悪い場合でも星を認識しやすいようにする強調処理を実行可能となされている。本実施形態の撮像装置１００において、暗い背景の中に僅かに明るい星のような被写体が存在する場合の強調処理は、画像処理回路２０により行われる。
【００２９】
図２は、本実施形態に係る画像処理回路２０の概略的な構成例を示した図である。
画像処理回路２０には、撮像素子１４から出力されてＡ／Ｄ変換器１６でＡ／Ｄ変換された後の画像信号が入力される。なお、撮像素子１４からの画像信号はいわゆるベイヤ配列の信号であるとする。輝度生成部２０１は、ベイヤ配列の信号から輝度信号Ｙを生成する。色生成部２０２は、ベイヤ配列の信号から色差信号ＵＶを生成する。エッジ強調部２０３は、入力された画像信号に対してエッジ強調処理を行う。そしてこれら輝度生成部２０１、色生成部２０２、エッジ強調部２０３の処理により得られたＹＵＶ信号は、後処理部２０４と検出系２０５とに送られる。後処理部２０４は、ＹＵＶ信号に対して、リサイズ処理、彩度変更処理、エッジ強調処理等の後処理を、撮影シーン等に応じて実施する。検出系２０５は、画像全体や被写体の輝度レベルの検出、顔の検出、シーンの検出等を行う検出処理を実施する。そして、検出系２０５は、それら検出した輝度レベル、顔、シーン等に基づいて、輝度生成部２０１や色生成部２０２、エッジ強調部２０３、後処理部２０４における各処理で用いる各種のパラメータを適宜変更する。
【００３０】
図３（ａ）から図３（ｅ）は、本実施形態に係る画像処理回路２０のうち、星等の被写体に対する強調処理を行う構成およびその説明に用いる図である。
図３（ａ）は星等の被写体に対する強調処理を行う構成を示した図である。なお、本実施形態では、夜空の星を強調する星強調処理が、エッジ強調部２０３のエッジ強調処理で行われる例を挙げるが、後処理部２０４における後処理のエッジ強調処理の際に行われてもよい。
【００３１】
図３（ａ）において、加減算回路３００は、入力された画像信号の輝度レベルをシフトさせることで輝度レベルを調整することが可能なレベル調整回路である。加減算回路３００による輝度レベルのシフトは、例えば、図２の検出系２０５により検出される画像の輝度レベルや被写体領域の輝度レベルに基づいて行われる。例えば、輝度レベルが所定の閾値より低い場合、検出系２０５は、加減算回路３００で画像の輝度レベルを上げるレベル調整が行われるように、加減算回路３００のパラメータを変更する。これにより、加減算回路３００では、画像の輝度レベルが所定の閾値より低い場合には、輝度レベルを上げるようにシフトする処理が実施される。なお、検出された輝度レベルが所定の閾値以上である場合、検出系２０５は、加減算回路３００で輝度レベルを上げるレベル調整が行われないように、加減算回路３００のパラメータを設定する。
【００３２】
加減算回路３００から出力された画像信号は、減算回路３０２の非反転入力端子（＋側端子）と、減算回路３０３の反転入力端子（−側端子）と、ローパスフィルタ（ＬＰＦ）３０１とに入力する。また、ローパスフィルタ３０１によるローパスフィルタ処理後の画像信号は、減算回路３０２の反転入力端子と、減算回路３０３の非反転入力端子とに入力する。ここで、図３（ｂ）は、加減算回路３００に入力された画像信号の水平方向の波形の一部を示した図であり、縦軸方向が輝度レベル、横軸方向が画像の水平方向の座標を表しているとする。図３（ｃ）は、図３（ｂ）の信号がローパスフィルタ３０１によって処理された後の信号波形を表した図である。図３（ｃ）に示すように、ローパスフィルタ処理後の信号波形は、図３（ｂ）の信号から高周波成分がほぼ除去された信号波形となる。
【００３３】
減算回路３０２と減算回路３０３では、加減算回路３００から出力された画像信号と、ローパスフィルタ３０１による処理後の画像信号との差分が求められる。この際、負の信号は考慮しないことにより、減算回路３０２からは、高輝度側に凸のエッジ信号であるオーバーシュート成分の信号が得られる。図３（ｄ）は減算回路３０２による処理後の信号波形を示している。減算回路３０２では、図３（ｂ）の画像信号から図３（ｃ）のローパスフィルタ処理後の画像信号が減算されることで、図３（ｄ）中の斜線部分３１１がオーバーシュート成分となる信号が得られる。
【００３４】
逆に、減算回路３０３からは、低輝度側に凸のエッジ信号であるアンダーシュート成分の反転した信号が得られる。図３（ｅ）は減算回路３０３による処理後の信号波形を示している。減算回路３０３では、図３（ｃ）のローパスフィルタ処理後の画像信号から、図３（ｂ）の画像信号が減算されることで、図３（ｅ）中の網掛け部分３２１がアンダーシュート成分の反転した信号が得られる。
【００３５】
減算回路３０２から出力された信号はゲイン回路（ＡＭＰ）３０４に入力する。また、減算回路３０３から出力された信号はゲイン回路３０６に入力する。ゲイン回路３０４は、ゲイン制御回路（ＣＴＲＬ）３０５からの制御信号により、オーバーシュート成分の信号に対してゲインおよび振幅を制限するクリップ処理を施す。また、本実施形態のゲイン回路３０６は、ゲイン制御回路３０７からの制御信号により、アンダーシュート成分の反転した信号に対してゲインおよび振幅を制限するクリップ処理を施す。本実施形態では、通常のエッジ強調処理のようにアンダーシュート成分を付与（つまり元信号からアンダーシュート成分の絶対値を減算）した信号値が計算上負の値になった場合に、信号値をゼロとして扱うこととしている。したがって、通常のエッジ強調処理では、背景が暗い画像の場合は、アンダーシュート成分を付与した信号値が突然ゼロに張り付いてしまう。そこでゲイン回路３０４は、上述のように信号値がゼロに張り付いてしまう場合には、エッジ強調効果の急激な変化を抑制するよう、クリップ処理を施す回路として機能する。
【００３６】
ゲイン回路３０４の出力信号は加算回路３０８に入力する。加算回路３０８は、加減算回路３００に入力される前の元の画像信号と、ゲイン回路３０４によりオーバーシュート成分の信号がクリップ処理された後の信号とを加算する。そして、加算回路３０８の出力信号は加算回路３０９に入力する。
また加算回路３０９には、ゲイン回路３０６の出力信号が入力される。加算回路３０９は、加算回路３０８の出力信号と、ゲイン回路３０６の出力信号とを加算する。つまり加算回路３０９は、加減算回路３００に入力される前の元の画像信号とゲイン回路３０４によるクリップ処理後のオーバーシュート成分の信号とを加算した信号と、ゲイン回路３０６によるクリップ処理後のアンダーシュート成分の反転した信号とを加算する。そして、この加算回路３０９の出力信号が強調処理後の信号となる。
【００３７】
上述したように、図３（ａ）の構成においては、エッジ強調処理を行う際に、画像信号のアンダーシュート成分を加算せずに減算することによってオーバーシュート成分として扱うようになされている。したがって、前述したようにアンダーシュート成分の付加により信号値がゼロに張り付くことはない。このような場合にクリップ処理を行うゲイン回路３０６を通してしまうと、アンダーシュート成分を反転することで得られるオーバーシュート成分がかえって抑制されることになってしまう。そこで図３（ａ）の構成は、画像の輝度レベルが所定の閾値より低い場合には、被写体の輝度レベルが低いことによるエッジ強調のアンダーシュート成分がクリップされないレベル分だけ画像の輝度レベルを上げてから、エッジ強調処理へ投入する構成となっている。また、画像の輝度レベルを上げてからエッジ強調処理へ投入する代わりに、星等の強調処理を行う構成は、ゲイン回路（３０４，３０６）でクリップ処理のゲインが適用される前の信号を用いてエッジ強調処理を実施する構成であってもよい。
【００３８】
なお、ここで用いるローパスフィルタ３０１は、例えば着目画素について、その着目画素とそれに隣接する画素とで、１：２：１(/4)となる割合で着目画素の値を置き換えるようなフィルタであるとする。
また、本実施形態では、加減算回路３００から出力された画像信号と、ローパスフィルタ処理後の画像信号との差分を求めたが、それに限らず、高周波成分を含む信号と高周波成分を含まない信号との差分を求めることができればよい。
【００３９】
図４は、本実施形態の撮像装置１００において星等の被写体に対する強調処理が行われる際の処理の流れを示すフローチャートである。図４のフローチャートの処理は、主に画像処理回路２０において行われるが、一部はシステム制御回路５０に係る処理が含まれている。
【００４０】
図４において、システム制御回路５０は、シャッタースイッチ６４が操作されてスイッチＳＷ２のＯＮ信号を受け取ると、ステップＳ４０１の処理として、撮像装置１００における撮影動作を開始する。ステップＳ４０１で撮影が開始されると、画像処理回路２０は、ステップＳ４０２の処理として、撮像素子１４で撮像されてＡ／Ｄ変換器１６から入力された撮像画像の平均輝度レベルを取得する。
【００４１】
次にステップＳ４０３に進むと、画像処理回路２０は、輝度レベルについて予め設定されている閾値と、ステップＳ４０２で取得された平均輝度レベルとを比較するレベル判定の処理を行う。そして、画像処理回路２０は、平均輝度レベルが閾値より低い低輝度であると判定した場合にはステップＳ４０４に処理を進める。一方、画像処理回路２０は、平均輝度レベルが閾値以上であると判定された場合、つまりある程度高い輝度である場合にはステップＳ４０５に処理を進める。
【００４２】
ステップＳ４０４に進むと、画像処理回路２０では、加減算回路３００によって画像の輝度レベルを上げるようにシフトする処理が行われる。
その後、画像処理回路２０は、ステップＳ４０５に進むと、星等の被写体に対する強調処理としてのエッジ強調を行う。
【００４３】
なお、ステップＳ４０２で行われる輝度レベルの取得は、画像全体の輝度レベルの平均値を求める前提で記載したが、例えば空と地面や建物などの領域検出を行ない、所定の領域として、例えば空領域についての輝度レベルの平均値を取得するようにしてもよい。この場合、その後のステップＳ４０３では、空領域の輝度レベルの平均値と閾値との比較が行われることになる。
【００４４】
以上説明したように、本実施形態によれば、画像の輝度レベルが低いことによるエッジ強調のアンダーシュート成分がクリップされないようにすることで、アンダーシュート成分の目立たない強調処理が可能となる。また本実施形態によれば、特に暗い背景であっても強調効果が弱まることのない強調処理を実現可能となる。
【００４５】
以上、本発明の各実施形態について詳述してきたが、本発明はこれらの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
また前述した実施形態の画像処理装置に係る各機能やフローチャートの処理は、ハードウェア構成のみで実現されてもよいし、ＣＰＵ等がプログラムを実行することによるソフトウェアモジュールとして構成されていてもよい。また、一部がハードウェア構成で残りがソフトウェアモジュールとして構成されていてもよい。このソフトウェアモジュールを構成するためのプログラムは、予め用意されて内部メモリ等に記憶されている場合だけでなく、外部メモリ等の記録媒体から取得されたり、不図示のネットワーク等を介して取得されたりしてもよい。
【００４６】
また前述の実施形態では、デジタルカメラへの適用例を挙げたが、例えば監視カメラ、工業用カメラ、車載カメラ、医療用カメラ、撮影機能を備えたスマートフォン、タブレット端末などにも適用可能である。
【００４７】
本発明に係る信号処理における１以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給可能であり、そのシステム又は装置のコンピュータの１つ以上のプロセッサーにより読また出し実行されることで実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００４８】
前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００４９】
１００：撮像装置、１４：撮像素子、２０：画像処理回路、５０：システム制御回路
【図１】
2020145538.tif 000003
【図２】
2020145538.tif 000004
【図３】
2020145538.tif 000005
【図４】
2020145538.tif 000006