(57)【特許請求の範囲】
【請求項１】
入力された画像から輝度ヒストグラムを検出するヒストグラム検出手段と、
前記ヒストグラム検出手段により検出された輝度ヒストグラムにおける低輝度側からの割合が第１の値となる輝度と高輝度側からの割合が第２の値となる輝度とに基づいてトーンカーブ生成用の制御点を算出する算出手段と、
前記算出手段により算出された各制御点に基づいてトーンカーブを生成するトーンカーブ生成手段と、
前記トーンカーブ生成手段により生成されたトーンカーブに基づいて画像処理を行う画像処理手段と、
撮影環境の照度が低照度か否かを判定する判定手段とを備え、
前記算出手段は、前記判定手段により低照度と判定された場合、前記トーンカーブ生成用の制御点を算出する際に、前記第２の値を特定するための前記輝度ヒストグラムにおける高輝度側からの割合を、前記判定手段により低照度と判定されなかった場合よりも大きくすることを特徴とする画像処理装置。
【請求項２】
前記算出手段は、前記判定手段により低照度と判定されたか否かに応じて、前記トーンカーブ生成用の制御点を算出する際に、前記第２の値を変更しないことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記輝度ヒストグラムから点光源による成分を検出する点光源検出手段をさらに有し、
前記算出手段は、前記点光源検出手段により点光源による成分が検出された場合、前記点光源検出手段により点光源による成分が検出されない場合よりも前記高輝度側からの割合の算出開始点となる輝度を低輝度側に変更することを特徴とした請求項１または２に記載の画像処理装置。
【請求項４】
前記算出手段は、前記点光源検出手段により点光源による成分が検出されたか否かに応じて、前記低輝度側からの割合の算出開始点となる輝度を変更しないことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像処理手段は、前記トーンカーブ生成手段により生成されたトーンカーブに基づいて補正されたガンマカーブを用いて画像処理を行うことを特徴とする請求項１ないし４のいずれか１項に記載の画像処理装置。
【請求項６】
被写体を撮像する撮像手段を有し、
前記ヒストグラム検出手段は、前記撮像手段により得られた画像から輝度ヒストグラムを検出することを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。
【請求項７】
入力された画像から輝度ヒストグラムを検出するヒストグラム検出工程と、
前記ヒストグラム検出工程で検出された輝度ヒストグラムにおける低輝度側からの割合が第１の値となる輝度と高輝度側からの割合が第２の値となる輝度とに基づいてトーンカーブ生成用の制御点を算出する算出工程と、
前記算出工程で算出された各制御点に基づいてトーンカーブを生成するトーンカーブ生成工程と、
前記トーンカーブ生成工程で生成されたトーンカーブに基づいて画像処理を行う画像処理工程と、
撮影環境の照度が低照度か否かを判定する判定工程とを備え、
前記算出工程は、前記判定工程で低照度と判定された場合、前記トーンカーブ生成用の制御点を算出する際に、前記第２の値を特定するための前記輝度ヒストグラムにおける高輝度側からの割合を、前記判定工程で低照度と判定されなかった場合よりも大きくすることを特徴とする画像処理方法。
【請求項８】
請求項７に記載の画像処理方法を画像処理装置に実行させるためのコンピュータに読み取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、撮影画像に対する霧や霞などの影響を抑えることが可能な画像処理装置および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来の監視カメラには、様々な環境下での視認性の高い画像の撮影が望まれているが、被写体に霧や霞が掛かっている場合、コントラストが低く、視認性に欠けた画像となってしまう。そこで、特許文献１では、画像の輝度ヒストグラムに応じて、輝度補正カーブにおける低階調部と高階調部を演算し、演算した輝度補正カーブの高階調部における低階調側の端点と低階調部における高階調側の端点とを結んで得られる中間階調部分を演算する。それら演算した輝度補正カーブの低階調部分、中間階調部分及び高階調部分を用いて、画像の輝度レベルを全階調範囲に亘って補正する方法が提案されている。
【０００３】
一方、霧や霞は濃度が常に一定ではなく、時間経過に伴って濃度が変化する可能性があるため、画像のコントラストの低下度合いも常に変化している。そこで、霧や霞が発生する撮影環境では、撮影した画像の輝度ヒストグラムに応じて、適応的にコントラストの強調度合いを変更し、画像の視認性を高める手段が有効である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−９８６１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された技術では、撮影環境の照度変化に対する輝度ヒストグラムの変化に対応するものではない。撮影環境の照度が低照度になった場合、輝度ヒストグラムの山は低輝度側にシフトし、高輝度側にはノイズ成分が存在する傾向がある。その結果、高輝度側のコントラスト強調の度合いは、ノイズ成分を含んだ輝度ヒストグラムから算出されるため、高輝度側のコントラスト強調が弱くなり、適切な階調補正ができない可能性がある。
【０００６】
そこで、本発明は、低照度環境において適切な階調補正を行うことができる画像処理装置および画像処理方法、並びにプログラムを提供することを目的にする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明に係る画像処理装置は、入力された画像から輝度ヒストグラムを検出するヒストグラム検出手段と、前記ヒストグラム検出手段により検出された輝度ヒストグラムにおける低輝度側からの割合が第１の値となる輝度と高輝度側からの割合が第２の値となる輝度とに基づいてトーンカーブ生成用の制御点を算出する算出手段と、前記算出手段により算出された各制御点に基づいてトーンカーブを生成するトーンカーブ生成手段と、前記トーンカーブ生成手段により生成されたトーンカーブに基づいて画像処理を行う画像処理手段と、撮影環境の照度が低照度か否かを判定する判定手段とを備え、前記算出手段は、前記判定手段により低照度と判定された場合、前記トーンカーブ生成用の制御点を算出する際に、前記第２の値を特定するための前記輝度ヒストグラムにおける高輝度側からの割合を、前記判定手段により低照度と判定されなかった場合よりも大きくすることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、低照度環境において適切な階調補正を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施形態に係る画像処理装置の概略構成を示すブロック図である。
【図２】本発明の第１の実施形態における階調補正処理の一例を示すフローチャートである。
【図３】（ａ）輝度ヒストグラムにおける高輝度側および低輝度側の各制御点と高輝度側および低輝度側の各頻度割合の一例を示す図、（ｂ）輝度ヒストグラムにおける高輝度側および低輝度側の各制御点から生成されたトーンカーブの一例を示す図である。
【図４】（ａ）低照度の撮影環境で撮影された画像の輝度ヒストグラムの一例を示す図、（ｂ）低照度の撮影環境で撮影された画像の輝度ヒストグラムにおける高輝度側および低輝度側の各制御点と高輝度側および低輝度側の各頻度割合の一例を示す図である。
【図５】本発明の第２の実施形態に係る画像処理装置の概略構成を示すブロック図である。
【図６】本発明の第２の実施形態における階調補正処理の一例を示すフローチャートである。
【図７】低照度で且つ点光源による影響がある撮影環境で撮影された画像の輝度ヒストグラムにおける高輝度側および低輝度側の各制御点と高輝度側および低輝度側の各頻度割合の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
【００１１】
［第１の実施形態］
図１は、本発明の第１の実施形態に係る画像処理装置の概略構成を示すブロック図である。本発明の第１の実施形態に係る画像処理装置は、例えば、デジタルカメラ、ネットワークカメラ、スマートフォン、タブレット端末などを含む。なお、同図では、画像処理装置における階調補正に関係する構成要件以外の構成要素が省略されている。
【００１２】
図１において、撮像部１０２は、不図示のレンズ群、ＩＲＣＦ（Ｉｎｆｒａｒｅｄ  Ｒａｙ  Ｃｕｔ  Ｆｉｌｔｅｒ：赤外光除去フィルタ）、撮像素子、ＣＤＳ回路、ＡＧＣアンプ、およびＡ／Ｄ変換器を備える。
【００１３】
撮像部１０２では、不図示の被写体を撮影すると、レンズ群およびＩＲＣＦを通過した光学像が、ＣＣＤセンサ、ＣＭＯＳセンサなどから成る撮像素子上に結像される。撮像素子は、結像された光学像を光電変換して、アナログ画像信号として出力する。ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）回路は、撮像素子より入力した電気信号に対して相関二重サンプリング処理などを実施する。ＡＧＣ（Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）アンプは、ＣＤＳ回路より入力された電気信号に対して増幅処理などを行う。Ａ／Ｄ変換器は、ＡＧＣアンプにより増幅処理されたアナログ信号をデジタル信号へと変換する。変換されたデジタル信号は、画像データ生成部１０１により色変換、ＡＥ処理、ＷＢ処理、ガンマ補正などの画像処理が行われる。所定の画像処理が行われた画像データは、画像表示部１０８に表示される。
【００１４】
画像データ生成部１０１は、撮像部１０２より入力された画像データに対してガンマ補正を行うガンマ補正部１０３と、ガンマ補正以外の画像信号処理を行う画像信号処理部１０４を備える。
【００１５】
ヒストグラム検出部１０５は、画像信号処理部１０４より入力された画像データから輝度レベルの分布を示す輝度ヒストグラムを検出し、輝度ヒストグラムのデータをトーンカーブ生成部１０６に出力する一方、画像データを画像表示部１０８に出力する。
【００１６】
トーンカーブ生成部１０６は、入力された輝度ヒストグラムデータからトーンカーブを算出し、算出したトーンカーブをガンマ補正部１０３に出力する。ガンマ補正部１０３は、入力されたトーンカーブをガンマカーブに反映させて、画像データに対するガンマ補正処理を行う。
【００１７】
照度検出部１０７は、画像処理装置の撮影環境の照度を検出し、その照度の結果をトーンカーブ生成部１０６に出力する。なお、照度検出部１０７は、撮影環境の照度を検出する機能を有するものであれば、どのような構成や方法であってもよい。例えば、画像信号処理部１０４より出力された画像データの輝度レベルに基づいて撮影環境の照度を検出してもよいし、照度検出用の照度センサを備え、照度センサの出力に基づいて撮影環境の照度を検出してもよい。
【００１８】
次に、図１の画像処理装置における階調補正処理について図２を参照して説明する。
【００１９】
図２は、図１の画像処理装置における階調補正処理の一例を示すフローチャートである。なお、本処理は、図１に示す各部が協働して実行されるものである。
【００２０】
図２において、ステップＳ２０１では、照度検出部１０７は、画像処理装置の撮影環境の照度を検出する。
【００２１】
次に、ステップＳ２０２では、ヒストグラム検出部１０５は、画像データ生成部１０１より入力された画像データから輝度ヒストグラムを検出する。
【００２２】
次に、ステップＳ２０３では、トーンカーブ生成部１０６は、ステップＳ２０１で検出された撮影環境の照度が低照度か否かを判定する。この照度の判定には、例えばＡＧＣゲイン値を用い、ＡＧＣゲイン値が所定値以上になると低照度と判定してもよいし、照度検出部１０７が検出した照度レベルが所定値以下であると低照度と判定してもよいし、他の方法であってもよい。撮影環境の照度が低照度であると判定した場合には、ステップＳ２０７へ進む一方、撮影環境の照度が低照度でないと判定した場合には、ステップＳ２０４へ進む。
【００２３】
ステップＳ２０４では、トーンカーブ生成部１０６は、ヒストグラム検出部１０５で検出された輝度ヒストグラムからトーンカーブ生成用の制御点を算出する。トーンカーブ生成用の制御点は、図３（ａ）に示すように、予め設定された頻度割合（高輝度側頻度割合、低輝度側頻度割合）に基づいて輝度ヒストグラムから算出される。さらに具体的には、ヒストグラム検出部１０５で検出された輝度ヒストグラムにおける低輝度側からの割合が第１の値となる輝度と高輝度側からの割合が第２の値となる輝度とに基づいてトーンカーブ生成用の制御点を算出する。例えば、頻度割合（第１の値と第２の値）が５％に設定されている場合、低輝度側、高輝度側のそれぞれで輝度ヒストグラムの割合の５％にあたる輝度を制御点とする。そして、トーンカーブ生成部１０６は、トーンカーブ生成用の制御点から次式（式１）により、図３（ｂ）に示すようなトーンカーブを生成する（図２のステップＳ２０５）。
【００２４】
【数１】
0006525543.tif 000002
Ｉｘ，Ｉｙ：トーンカーブ上のＩ点のｘ座標、ｙ座標
Ａｘ，Ａｙ：トーンカーブ上のＡ点（低輝度側制御点）のｘ座標、ｙ座標
Ｂｘ，Ｂｙ：トーンカーブ上のＢ点（高輝度側制御点）のｘ座標、ｙ座標
Ｍｘ，Ｍｙ：トーンカーブ上のＭ点のｘ座標、ｙ座標
【００２５】
トーンカーブ上のｘ座標、ｙ座標とは、それぞれ入力値、出力値に対応しており、Ｍ点のｘ座標、ｙ座標は、それぞれ最大入力値、最大出力値に対応している。
【００２６】
以上のように、式１は、任意の入力値Ｉｘに対して、生成されたトーンカーブを適用すると、出力値Ｉｙが得られることを示している。
【００２７】
次に、ステップＳ２０６では、ガンマ補正部１０３は、ステップＳ２０５で生成されたトーンカーブをガンマカーブに反映し、次式（式２）によってコントラスト強調用のガンマカーブを算出する。
【００２８】
【数２】
0006525543.tif 000003
【００２９】
このように、ステップＳ２０６で算出されたコントラスト強調用のガンマカーブを使用することにより、霧や霞によって低下した画像のコントラストを強調し、当該画像の視認性を高めることが出来る。
【００３０】
ステップＳ２０７では、トーンカーブ生成部１０６は、高輝度側のトーンカーブ生成用の制御点を算出するための高輝度側頻度割合を大きくする。撮影環境が低照度になった場合、図４（ａ）に示すように、輝度ヒストグラムの山は低輝度側にシフトし、高輝度側にはノイズ成分が存在する傾向がある。このような輝度ヒストグラムからトーンカーブ生成用の制御点を算出すると、低輝度側制御点は適切に算出できるが、高輝度側制御点はノイズ成分により適切な制御点が算出できない。
【００３１】
そこで、撮影環境が低照度になった場合、撮影環境が低照度ではない場合よりも、高輝度側頻度割合を大きい値に設定する。例えば、撮影環境が低照度ではない場合に高輝度側のトーンカーブ生成用の制御点を算出するための高輝度側頻度割合が５％に設定されているとすると、撮影環境が低照度になった場合には高輝度側頻度割合を１５％とする。このとき、低輝度側頻度割合は撮影環境が低照度と判定されたか否かに応じて変更しない。この結果、図４（ｂ）に示すように、トーンカーブの高輝度側の制御点がノイズ成分の影響が少ない点に設定され、適切なトーンカーブの制御点を算出することが出来る。トーンカーブ生成用の制御点が算出された後は、上述したステップＳ２０４からステップＳ２０６と同様のため、それらの説明を省略する。
【００３２】
上記実施形態によれば、撮影環境の照度が低照度の場合、撮影環境の照度が低照度ではない場合よりも高輝度側のトーンカーブ生成用の制御点を算出するための高輝度側頻度割合を大きくするように制御する。これにより、低照度時において輝度ヒストグラムの高輝度側のノイズ成分の影響を低減させるコントラストの強調ができ、画像の視認性をより適切に高めることが可能である。
【００３３】
［第２の実施形態］
上記第１の実施形態では、撮影環境の照度が低照度の場合、輝度ヒストグラムの高輝度側にノイズ成分が存在する傾向があるため、撮影環境の照度が低照度ではない場合よりも高輝度側頻度割合を大きくする階調補正について説明した。一方、低照度環境の撮影では、輝度ヒストグラムの高輝度側にはノイズ成分だけでなく、街灯などの点光源による成分も存在する傾向にある。点光源による成分が存在する輝度ヒストグラムからトーンカーブ生成用の制御点を算出すると、低輝度側の制御点は適切に算出できるが、高輝度側の制御点は点光源による成分とノイズ成分により適切な制御点が算出できない。
【００３４】
そこで、第２の実施形態では、撮影環境の照度が低照度のときに、輝度ヒストグラムに存在するノイズ成分と点光源による成分を考慮した階調補正について説明する。なお、上記第１の実施の形態と同様の部分については、同一の符号を用いてその説明を省略する。以下に、上記第１の実施の形態と異なる点のみを説明する。
【００３５】
図５は、本発明の第２の実施形態に係る画像処理装置の概略構成を示すブロック図である。なお、図示の画像処理装置は他の構成要素については省略されている。
【００３６】
図５に示す画像処理装置は、上記第１の実施形態における図１の画像処理装置に対して、点光源検出部５０１のみが追加されている。点光源検出部５０１は、輝度ヒストグラムから点光源による成分を検出し、その結果をトーンカーブ生成部１０６に出力する。この点光源による成分の検出には、例えば、輝度ヒストグラム上の輝度値２４０以上の部分を点光源による成分としてもよい。なお、点光源検出部５０１は、点光源による成分を検出する機能を有するものであれば、どのような構成や方法であってもよい。
【００３７】
図６は、本発明の第２の実施形態における階調補正処理の一例を示すフローチャートである。なお、本処理は、図５に示す各部が協働して実行されるものである。また、図２に示すフローチャートと同一のステップについては同一のステップ番号を付して、それらの説明を省略する。
【００３８】
図６において、ステップＳ６０１では、点光源検出部５０１は、ヒストグラム検出部１０５で検出された輝度ヒストグラムから点光源による成分を検出する。
【００３９】
次に、ステップＳ２０３では、トーンカーブ生成部１０６は、ステップＳ２０１で検出された撮影環境の照度が低照度か否かを判定する。撮影環境の照度が低照度であると判定した場合には、ステップＳ６０２へ進む一方、撮影環境の照度が低照度でないと判定した場合には、ステップＳ２０４へ進む。
【００４０】
ステップＳ６０２では、トーンカーブ生成部１０６は、ステップＳ６０１で点光源による成分が検出されたと判定した場合には、ステップＳ６０３へ進む。一方、点光源による成分が検出されていなかった場合にはステップＳ２０７へ進む。
【００４１】
ステップＳ６０３では、トーンカーブ生成部１０６は、高輝度側からの割合の算出開始点となる輝度を低輝度側にオフセットさせる。すなわち、高輝度側からの割合の算出に、点光源と想定した輝度値２４０以上の部分を含まないにようにする。例えば、点光源による成分を検出するために利用した輝度値２４０に対して、高輝度側からの割合に含む輝度を輝度値２３９以下にして、トーンカーブ生成用の制御点が算出される。すると、図７に示すように、高輝度側のトーンカーブ生成用の制御点が点光源とノイズ成分の影響が少ない点に設定され、適切なトーンカーブ生成用の制御点を算出することが出来る。
【００４２】
上記第２の実施形態によれば、第１の実施形態に加え、輝度ヒストグラムに点光源による成分が含まれていると判定した場合、輝度ヒストグラムから点光源による成分が含まれる部分を除外すべく、高輝度側からの割合の算出開始点となる輝度を低輝度側に変更する。このとき、輝度ヒストグラムに点光源による成分が含まれているか否かに応じて低輝度側からの割合の算出開始点となる輝度は変更しない。これにより、点光源の影響を減らしたコントラスト強調ができ、画像の視認性をより適切に高めることが出来る。
【００４３】
また、上記の２つの実施形態では、撮像機能を有する画像処理装置いわゆる撮像装置について説明したが、撮像機能を有していない画像処理装置であってもよい。撮像機能を有していない画像処理装置の場合、外部機器から入力された画像に対して上記の補正処理を行えばよい。なお、撮像機能を有する画像処理装置において、外部機器から入力された画像に対して上記の補正処理を行ってもよい。
【００４４】
また、上記の２つの実施形態では、輝度ヒストグラムの検出前にガンマ補正を行う構成を説明したが、輝度ヒストグラムの検出後にガンマ補正を行う構成であってもよい。輝度ヒストグラムの検出前にガンマ補正を行う構成の場合、輝度ヒストグラムの検出を行った画像に対して、当該画像の輝度ヒストグラムに基づいて生成されたトーンカーブを反映させたガンマカーブは使用できない。そのため、生成されたトーンカーブを反映させたガンマカーブは、輝度ヒストグラムの検出を行った画像の次に入力される画像から使用される。それに対して、輝度ヒストグラムの検出後にガンマ補正を行う構成の場合、輝度ヒストグラムの検出を行った画像に対して、当該画像の輝度ヒストグラムに基づいて生成されたトーンカーブを反映させたガンマカーブは使用することができる。
【００４５】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４６】
１０１  画像データ生成部
１０２  撮像部
１０３  ガンマ補正部
１０４  画像信号処理部
１０５  ヒストグラム検出部
１０６  トーンカーブ生成部
１０７  照度検出部
１０８  画像表示部
【図１】
0006525543.tif 000004
【図２】
0006525543.tif 000005
【図３】
0006525543.tif 000006
【図４】
0006525543.tif 000007
【図５】
0006525543.tif 000008
【図６】
0006525543.tif 000009
【図７】
0006525543.tif 000010