(57)【要約】【課題】ダイナミックレンジ拡大時における低輝度側でのゲイン増加によるノイズ悪化を低減する。【解決手段】撮影前にライブ画像を表示し続ける状態において、毎フレーム或いは複数フレームに１回の頻度でライブ画像の白とび量の計算を行い、ＳＷ１のオン（レリーズボタンの半押し）を検出するまで白とび量の計算及び更新を繰り返す。ＳＷ１のオンを検出した場合、最新の白とび量に基づいてダイナミックレンジ拡大量を求め、仮の値として保持した後、ＩＳＯ感度が所定の値より高いか否かを判断して、高ＩＳＯ感度であると判断した場合、ダイナミックレンジ拡大量を制限する。【選択図】図１
2010187233.tif 000002
【特許請求の範囲】
【請求項１】
光学系により結像する光学像を電気信号に変換する固体撮像素子と、
ダイナミックレンジ拡大を行う制御手段とを備え、
前記制御手段は、ＩＳＯ感度が所定の値より高い場合又は所定の画像補正処理を行う場合にダイナミックレンジ拡大量を制限することを特徴とする撮像装置。
【請求項２】
前記制御手段は、ダイナミックレンジ拡大量を求め、ＩＳＯ感度が所定の値より高い場合又は所定の画像補正処理を行う場合に、そのダイナミックレンジ拡大量の一部を使用しないことを特徴とする請求項１に記載の撮像装置。
【請求項３】
撮影条件に基づいて、前記ダイナミックレンジ拡大量の使用しない部分を決める情報を得るためのテーブルを有することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記制御手段は、ダイナミックレンジ拡大量を求め、ＩＳＯ感度が所定の値より高い場合又は所定の画像補正処理を行う場合に、そのダイナミックレンジ拡大量にダイナミックレンジ拡大量を制限するための係数を乗算することを特徴とする請求項１に記載の撮像装置。
【請求項５】
撮影条件に基づいて、前記ダイナミックレンジ拡大量を制限するための係数を得るためのテーブルを有することを特徴とする請求項４に記載の撮像装置。
【請求項６】
光学系により結像する光学像を電気信号に変換する固体撮像素子を備えた撮像装置のダイナミックレンジ拡大を行う制御方法であって、
ＩＳＯ感度が所定の値より高い場合又は所定の画像補正処理を行う場合にダイナミックレンジ拡大量を制限することを特徴とする撮像装置の制御方法。
【請求項７】
光学系により結像する光学像を電気信号に変換する固体撮像素子を備えた撮像装置のダイナミックレンジ拡大を行うためのプログラムであって、
ＩＳＯ感度が所定の値より高い場合又は所定の画像補正処理を行う場合にダイナミックレンジ拡大量を制限する処理をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子を用いた撮像装置、その制御方法及びプログラムに関する。
【背景技術】
【０００２】
従来の画像処理において、低輝度ノイズを抑圧する方法として、ガンマ変換を行う際のガンマカーブを可変とする方法が存在する。特許文献１は、低輝度ノイズ抑圧のためガンマカーブで黒沈みさせるものである。また、特許文献２は、高ＩＳＯ時に低輝度ノイズ抑圧のためガンマカーブで黒沈みさせるものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１−２９２９７１号公報
【特許文献２】特開２００８−６７０７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術においては、黒沈みを発生させることにより低輝度ノイズを抑圧させるため、ダイナミックレンジが縮小する。
【０００５】
逆に、ダイナミックレンジ拡大処理については、ノイズ悪化を犠牲にしてダイナミックレンジの拡大を図っている。
【０００６】
ここで、ダイナミックレンジ拡大方法について説明する。撮像装置では、光学像を電気信号に変換する固体撮像素子の出力に画像処理を施し、デジタル変換して出力画像を生成する。そして、デジタル信号処理された出力画像から白とび判定を行い、ダイナミックレンジ拡大量を決定する。
【０００７】
具体的には、図５に示すように、撮影前にライブ画像を表示し続ける状態において、毎フレーム或いは複数フレームに１回の頻度でライブ画像の白とび量の計算を行う（ステップＳ５０１）。白とび量は最新のものを記憶しておき、ＳＷ１のオン（レリーズボタンの半押し）を検出するまで白とび量の計算及び更新を繰り返す（ステップＳ５０２）。ＳＷ１のオンを検出した場合、最新の白とび量に基づいてダイナミックレンジ拡大量を決定し（ステップＳ５０３）、露出補正量及びガンマカーブを決定する（ステップＳ５０４）。さらに、ＳＷ２のオン（レリーズボタンの全押し）を検出し（ステップＳ５０５）、ＳＷ２のオンを検出しない場合、ＳＷ１検知の状態（ステップＳ５０３）に戻る。ＳＷ２のオンを検出した場合、設定された露出補正量に従って撮影を行う（ステップＳ５０６）。
【０００８】
さらに、図６を参照して、ダイナミックレンジ拡大処理の動作について説明する。図６（ａ）、（ｂ）に示すガンマカーブにおいて、点線で示すカーブが通常撮影時のガンマカーブＳ６０１であり、実線で示すカーブがダイナミックレンジ拡大時のガンマカーブＳ６０２である。
【０００９】
図６（ａ）は、ダイナミックレンジ拡大の効果を説明する図である。図６（ａ）において、まずガンマ変換への入力輝度、つまり露光レベルの最大値をＳ６０３からＳ６０４に半減させる。これとダイナミックレンジ拡大時のガンマカーブＳ６０２を用いることにより、出力輝度におけるダイナミックレンジが通常時の出力輝度Ｓ６０５とダイナミックレンジ拡大時の出力輝度Ｓ６０６の差分（Ｓ６０５−Ｓ６０６）だけ拡大できる。
【００１０】
また、図６（ｂ）は、ダイナミックレンジ拡大による弊害である低輝度部のゲイン増加を説明する図である。図６（ｂ）において、ガンマカーブ変更前後における適正露出レベルを同じくするために通常時の入力輝度の適正露出レベルＳ６０７をダイナミックレンジ拡大時の入力輝度の適正露出レベルＳ６０８に変更する。これによりダイナミックレンジ拡大時の出力輝度Ｓ６０９は、ダイナミックレンジ拡大時の適正露出Ｓ６０８とダイナミックレンジ拡大時のガンマカーブＳ６０２より求まる。通常ガンマ使用時の出力レベルＳ６１０と比較することにより、同一入力レベルにおけるゲイン増加量（Ｓ６０９／Ｓ６１０）が求まる。
【００１１】
このように、ダイナミックレンジ拡大方法においては、低輝度側でのゲイン増加によるノイズ悪化が発生している。
【００１２】
本発明は以上のような状況に鑑みてなされたものであり、ダイナミックレンジ拡大時におけるノイズ悪化を低減することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の撮像装置は、光学系により結像する光学像を電気信号に変換する固体撮像素子と、ダイナミックレンジ拡大を行う制御手段とを備え、前記制御手段は、ＩＳＯ感度が所定の値より高い場合又は所定の画像補正処理を行う場合にダイナミックレンジ拡大量を制限することを特徴とする。
本発明の撮像装置の制御方法は、光学系により結像する光学像を電気信号に変換する固体撮像素子を備えた撮像装置のダイナミックレンジ拡大を行う制御方法であって、ＩＳＯ感度が所定の値より高い場合又は所定の画像補正処理を行う場合にダイナミックレンジ拡大量を制限する。
本発明のプログラムは、光学系により結像する光学像を電気信号に変換する固体撮像素子を備えた撮像装置のダイナミックレンジ拡大を行うためのプログラムであって、ＩＳＯ感度が所定の値より高い場合又は所定の画像補正処理を行う場合にダイナミックレンジ拡大量を制限する処理をコンピュータに実行させる。
【発明の効果】
【００１４】
本発明によれば、ダイナミックレンジ拡大時における低輝度側でのゲイン増加によるノイズ悪化を低減することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】実施形態に係る撮像装置の構成を示す図である。
【図２】デジタル信号処理部の画像処理に係る構成を示す図である。
【図３】実施形態におけるダイナミックレンジ拡大動作を示すフローチャートである。
【図４】輝度レベルとＮＲレベルとの関係を示す特性図である。
【図５】従来のダイナミックレンジ拡大動作を示すフローチャートである。
【図６】通常時のガンマカーブとダイナミックレンジ拡大時のガンマカーブを示す特性図である。
【発明を実施するための形態】
【００１６】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
（第１の実施形態）
図１に、本実施形態に係る撮像装置の構成を示す。３０１は入射した光を固体撮像素子上に結像させる光学系である。３０２は光学系の露出やズーム、フォーカス等を制御するための光学系制御部である。３０３は光学系３０１により結像する光学像を電気信号に変換する固体撮像素子である。３０４は固体撮像素子３０３を駆動するための撮像系制御部である。
【００１７】
３０５は固体撮像素子３０３の出力にクランプ、ゲインをかける等の処理を行うアナログ信号処理部である。３０６はアナログ信号にデジタル変換を行うアナログ／デジタル（Ａ／Ｄ）変換部である。３０７はＡ／Ｄ変換したデジタル信号から出力画像を生成するデジタル信号処理部である。
【００１８】
３０８はデジタル信号処理部３０７にて出力画像を生成する際に一時的に画像データを格納する内部記憶部である。３０９は生成した画像データを最終的に保存するための外部記憶装置とのインターフェース（Ｉ／Ｆ）部である。３１０は生成された画像を表示する電子ファインダとしての画像表示部である。３１１はデジタル信号処理された出力画像から白とび判定を行い、ダイナミックレンジ拡大量を決定するＤレンジ決定部である。
【００１９】
図２に、デジタル信号処理部３０７の画像処理に係る構成を示す。Ａ／Ｄ変換後のデジタル信号であるＲＧＢ信号は、輝度信号Ｙと色差信号ＣｒＣｂとに変換／分離される。輝度信号Ｙは、輝度ＮＲ（ノイズリダクション）部４０１、エッジ強調部４０２、輝度階調（ガンマ）変換部４０３を経て出力される。また、色差信号ＣｒＣｂは、色ＮＲ部４０４、色処理部４０５、色階調変換部４０６を経て出力される。
【００２０】
次に、図３を参照して、本実施形態の撮像装置の動作フローを説明する。図３のフローチャートは、ダイナミックレンジ拡大量を決定するＤレンジ決定部３１１により実行される。撮影前にライブ画像を表示し続ける状態において、毎フレーム或いは複数フレームに１回の頻度でライブ画像の白とび量の計算を行う（ステップＳ１０１）。白とび量は最新のものを記憶しておき、ＳＷ１のオン（レリーズボタンの半押し）を検出するまで白とび量の計算及び更新を繰り返す（ステップＳ１０２）。
【００２１】
ＳＷ１のオンを検出した場合、最新の白とび量に基づいてダイナミックレンジ拡大量を求め、仮の値として保持する（ステップＳ１０３）。ここで、ノイズレベル増加に関係する、別途ユーザー設定、もしくは撮影条件として設定するＩＳＯ感度を入力し（ステップＳ１０４）、高ＩＳＯ感度であるか否か、すなわちＩＳＯ感度が所定の値より高いか否かを判断する（ステップＳ１０５）。
【００２２】
ステップＳ１０５において高ＩＳＯ感度であると判断した場合、ダイナミックレンジ拡大量を制限し（ダイナミックレンジ拡大量を抑え）（ステップＳ１０６）、ダイナミックレンジ拡大量の最終値として決定する（ステップＳ１０７）。具体的には、仮の値として保持したダイナミックレンジ拡大量をクリップして、その一部を使用しないようにする。この場合に、露出量や輝度等の撮影条件と、ダイナミックレンジ拡大量の使用しない部分を決める情報（例えば閾値）とを関連付けたテーブルを予め用意しておき、そのテーブルからダイナミックレンジ拡大量の使用しない部分を決める情報を得るようにすればよい。
【００２３】
一方、ステップＳ１０５において高ＩＳＯ感度でないと判断した場合、ステップＳ１０３において仮の値として保持したダイナミックレンジ拡大量をそのまま最終値として決定する（ステップＳ１０７）。
【００２４】
ステップＳ１０７において決定したダイナミックレンジ拡大量により、露出補正量及びガンマカーブを決定する（ステップＳ１０８）。さらに、ＳＷ２のオン（レリーズボタンの全押し）を検出し（ステップＳ１０９）、ＳＷ２のオンを検出しない場合、ＳＷ１検知の状態（ステップＳ１０２）に戻る。ＳＷ２のオンを検出した場合、設定された露出補正量に従って撮影を行う（ステップＳ１１０）。
【００２５】
以上述べたように、高ＩＳＯ感度である場合に、ダイナミックレンジ拡大量を制限することにより、ダイナミックレンジ拡大時における低輝度側でのゲイン増加によるノイズ悪化を低減することが可能となる。
【００２６】
（第２の実施形態）
上記第１の実施形態では、高ＩＳＯ感度であるか否かの判断の結果に応じて、ダイナミックレンジ拡大量を制限するようにしたが、所定の画像補正処理を行うか否かの判断の結果に応じて、ダイナミックレンジ拡大量を制限するようにしてもよい。例えば、図１のステップＳ１０４において、固定パターンノイズを除去するために有効である遮光画像の引き算（黒引き）有無を判断し、黒引き処理を行う場合、ダイナミックレンジ拡大量を制限する。黒引き（ダーク補正）とは、長時間露光を行なったときに発生する、固定パターンノイズの影響を減らすための処理であり、同じ撮影条件でノイズだけが写った画像を撮影し、その画像を被写体が写った画像から引き算する処理である。
【００２７】
（第３の実施形態）
上記第１の実施形態では、ステップＳ１０６において、仮の値として保持したダイナミックレンジ拡大量をクリップして、その一部を使用しないようにした。第３の実施形態では、仮の値として保持したダイナミックレンジ拡大量に、ダイナミックレンジ拡大量を制限するための係数（＜１）を乗算する例を説明する。この場合も、露出量や輝度等の撮影条件と、ダイナミックレンジ拡大量を制限するための係数とを関連付けたテーブルを予め用意しておき、そのテーブルから係数を得るようにすればよい。
【００２８】
（第４の実施形態）
次に、第４の実施形態として、ダイナミックレンジ拡大時のノイズリダクションレベルを低輝度側で強く設定することにより、ダイナミックレンジ拡大時における低輝度側でのゲイン増加によるノイズ悪化を低減する例を説明する。
【００２９】
図６で述べたように、通常撮影時とダイナミックレンジ拡大時を比較すると、適正露出の輝度レベルにおいてゲイン増加は（Ｓ６０９／Ｓ６１０）倍であり、特に低輝度においてノイズが増加する。ここで、ノイズリダクション（ＮＲ）レベルを制御することによりノイズ低減を図る。
【００３０】
図４に示すように、通常撮影時のＮＲレベルＳ２０１を低輝度側を高輝度側に対して強めのＮＲレベルとするＮＲ変化点Ｓ２０３を設けたＮＲレベルとしたとき、ダイナミックレンジ拡大時のＮＲレベルＳ２０２を図のように設定する。この場合、ダイナミックレンジ拡大により低輝度側のノイズが増加する輝度レベル（レンジ）の拡大に伴い、ＮＲ変化点Ｓ２０４を、通常時のＮＲ変化点Ｓ２０３から、より高輝度寄りであるダイナミックレンジ拡大時のＮＲ変化点に変更する。
【００３１】
また、ダイナミックレンジ拡大により低輝度側のノイズレベルが高くなることに伴い、低輝度ＮＲレベルＳ２０６を、通常時の低輝度ＮＲレベルＳ２０５から、よりＮＲを強めるダイナミックレンジ拡大時の低輝度ＮＲレベルに変更する。ここで、低輝度ＮＲレベル変更において、上述した適正露出の輝度レベルにおけるゲイン増加（Ｓ６０９／Ｓ６１０）を用いて変更してもよい。
【００３２】
なお、ここではＮＲレベルと記載しているが、エッジ強調時に設定するベースクリップ（コアリング）量の変更に適用してもよい。
【００３３】
本発明の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても達成される。この場合、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。
【００３４】
この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００３５】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００３６】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施形態の機能が実現されるだけに限らない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現されてもよい。
【００３７】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる形態でもよい。この場合メモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される。
【符号の説明】
【００３８】
３０１  光学系
３０２  光学系制御部
３０３  固体撮像素子
３０４  撮像系制御部
３０５  アナログ信号処理部
３０６  アナログ／デジタル（Ａ／Ｄ）変換部
３０７  デジタル信号処理部
３０８  内部記憶部
３０９  インターフェース（Ｉ／Ｆ）部
３１０  画像表示部
３１１  Ｄレンジ決定部
４０１  輝度ＮＲ（ノイズリダクション）部
４０２  エッジ強調部
４０３  輝度階調（ガンマ）変換部
４０４  色ＮＲ部
４０５  色処理部
４０６  色階調変換部
【図１】
2010187233.tif 000003
【図２】
2010187233.tif 000004
【図３】
2010187233.tif 000005
【図４】
2010187233.tif 000006
【図５】
2010187233.tif 000007
【図６】
2010187233.tif 000008