(57)【要約】【課題】画像内に小さいサイズの黒潰れエリアが生じた場合であっても、階調補正を適切に行える撮像装置を提供する。【解決手段】撮像装置１０００に備えられた階調補正装置１００は、画像を複数のエリアに分割するエリア分割部６と、各エリア内のエリア値を算出するエリア値算出部７と、エリア値に基づいて黒潰れエリアを検出する黒潰れエリア検出部９と、画像における注目エリアを含む複数のエリアからなるヒストグラム生成領域内のエリア値の出現頻度を表すヒストグラムを生成するヒストグラム生成部１１と、ヒストグラム生成部により生成されるヒストグラムに基づいて、注目エリアに対して階調変換を行う階調変換部１４とを備える。ヒストグラム生成部１１は、黒潰れエリア検出部９により検出される黒潰れエリアがヒストグラムに与える寄与度を調整したヒストグラムを生成する。【選択図】図１
2008172386.tif 000002
【特許請求の範囲】
【請求項１】
撮像された画像に対して階調補正を行う撮像装置であって、
前記画像を複数のエリアに分割するエリア分割部と、
前記複数エリアの各エリア内の画素情報に関するエリア値を算出するエリア値算出部と、
前記エリア値に基づいて、前記複数のエリアの中から黒潰れエリアを検出する黒潰れエリア検出部と、
前記画像における注目エリアを含む複数のエリアからなる局所部分であるヒストグラム生成領域内のエリア値の出現頻度を表すヒストグラムを生成するヒストグラム生成部と、
前記ヒストグラム生成部により生成されるヒストグラムに基づいて、前記注目エリアに対して階調変換を行う階調変換部とを備え、
前記ヒストグラム生成部は、前記黒潰れエリア検出部により検出される前記黒潰れエリアが前記ヒストグラムに与える寄与度を調整したヒストグラムを生成することを特徴とする撮像装置。
【請求項２】
前記ヒストグラム生成部は、前記黒潰れエリアおよび前記注目エリアの間の距離に応じて前記寄与度を調整したヒストグラムを生成する請求項１に記載の撮像装置。
【請求項３】
前記ヒストグラム生成部は、前記黒潰れエリアの連結数に応じて前記寄与度を調整したヒストグラムを生成する請求項１または２に記載の撮像装置。
【請求項４】
前記ヒストグラム生成部は、前記黒潰れエリアのエリア値に応じて前記寄与度を調整したヒストグラムを生成する請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
画像を複数のエリアに分割するエリア分割部と、
前記複数エリアの各エリア内の画素情報に関するエリア値を算出するエリア値算出部と、
前記エリア値に基づいて、前記複数のエリアの中から黒潰れエリアを検出する黒潰れエリア検出部と、
前記画像における注目エリアを含む複数のエリアからなるヒストグラム生成領域内のエリア値の出現頻度を表すヒストグラムを生成するヒストグラム生成部と、
前記ヒストグラム生成部により生成されるヒストグラムに基づいて、前記注目エリアに対して階調変換を行う階調変換部とを備え、
前記ヒストグラム生成部は、前記黒潰れエリア検出部により検出される前記黒潰れエリアが前記ヒストグラムに与える寄与度を調整したヒストグラムを生成することを特徴とする階調補正装置。
【請求項６】
画像に対して階調補正を行う処理をコンピュータに実行させる階調補正プログラムであって、
画像を複数のエリアに分割するステップと、
前記複数エリアの各エリア内の画素情報に関するエリア値を算出するステップと、
前記エリア値に基づいて、前記複数のエリアの中から黒潰れエリアを検出するステップと、
前記画像における注目エリアを含む複数のエリアからなるヒストグラム生成領域内のエリア値の出現頻度を表すヒストグラムを生成するステップと、
前記ヒストグラムに基づいて、前記注目エリアに対して階調変換を行うステップとを前記コンピュータに実行させ、
前記ヒストグラムを生成するステップでは、前記黒潰れエリアが前記ヒストグラムに与える寄与度を調整したヒストグラムを生成することを特徴とする階調補正プログラム。
【請求項７】
請求項６に記載された階調補正プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項８】
画像を複数のエリアに分割するステップと、
前記複数エリアの各エリア内の画素情報に関するエリア値を算出するステップと、
前記エリア値に基づいて、前記複数のエリアの中から黒潰れエリアを検出するステップと、
前記画像における注目エリアを含む複数のエリアからなるヒストグラム生成領域内のエリア値の出現頻度を表すヒストグラムを生成するステップと、
前記ヒストグラムに基づいて、前記注目エリアに対して階調変換を行うステップとを有し、
前記ヒストグラムを生成するステップでは、前記黒潰れエリアが前記ヒストグラムに与える寄与度を調整したヒストグラムを生成することを特徴とする階調補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に対して階調補正を行う撮像装置、階調補正装置および階調補正方法に関する。撮像装置は、主にデジタルスチルカメラやデジタルビデオカメラ等に代表される。
【背景技術】
【０００２】
従来、一般的なデジタルカメラ等の撮像装置では、撮像画像内に明るい領域と暗い領域が同時に存在する場合に、２つの領域間での明暗差は得られるが、各領域内でのコントラストが著しく低下してしまう傾向がある。具体例として、逆光環境下での撮像画像において、周囲に比べて人物の顔が暗くなってしまう場合が挙げられる。このようなコントラストの低下を改善するために、撮像画像中のある注目点を中心とした局所領域内に存在する画素のヒストグラムを生成し、ヒストグラムの分布が多い階調のコントラストを強調する階調変換カーブを求めて、階調補正を行う方法が提案されている（局所的ヒストグラム均等化法）。
【０００３】
しかし、この局所的ヒストグラム均等化法による階調補正を実現するには、莫大な処理負荷や記憶容量が必要とされるため、現実的でない。そこで、特許文献１に記載された階調補正装置では、以下のようにして、局所的ヒストグラム均等化による階調補正に近い処理を実現している。
【０００４】
特許文献１に記載の技術では、撮像画像を複数のエリアに分割して、各エリア内の複数画素の輝度の平均値を求めてエリア値とし、局所領域内に存在する各エリアのエリア値からヒストグラムを生成する。そして、生成されたヒストグラムを下位階調から累積化することにより、コントラストを強調する階調変換カーブをエリア毎に算出し、この階調変換カーブをエリア内に存在する各画素に対して適用して、階調補正を行う。特許文献１に記載の技術では、画素毎にヒストグラムを生成するのではなく、複数の画素からなるエリア毎にヒストグラムを生成することにより、階調補正の処理負荷や記憶容量を低減している。
【特許文献１】特開２００５−３２２２０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の階調補正技術では、以下に説明するように、逆光等により小さいサイズの黒潰れが生じた場合に、適切な階調補正を行えないという問題があった。黒潰れ部分は画像中の暗部である。従来の階調補正技術では、小さいサイズの暗部が画像中に存在した場合、この暗部の視認性が十分に向上しないことがある。また、階調補正を行うことにより、当該暗部が更に暗くなり、視認性が更に低下することがある。このように、小さい暗部の階調補正能力が低い理由としては、小さい暗部のエリア値がヒストグラムに寄与する割合が相対的に小さくなることが挙げられる。そして、上記のような問題があるために、例えば、逆光環境下での撮像画像において、黒潰れしている人物部分が周囲に比べて小さい場合に、階調補正による視認性向上の効果が期待できない。
【０００６】
なお、狭小領域の黒潰れ部分を強制的に補正するために、ヒストグラムのクリップ処理を用いて、暗部側である下位階調の要素数を常に一定値以上となるようにすることも考えられる。しかしながら、そのようなクリップ処理は、撮像画像全体が階調補正によって黒浮きした印象を与える傾向があり、好ましいとはいえない。
【０００７】
本発明は、上記従来の問題を解決するためになされたもので、小さいサイズの黒潰れ部分が生じた場合であっても、適切な階調補正を行える撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る撮像装置は、撮像された画像に対して階調補正を行う撮像装置であって、前記画像を複数のエリアに分割するエリア分割部と、前記複数エリアの各エリア内の画素情報に関するエリア値を算出するエリア値算出部と、前記エリア値に基づいて、前記複数のエリアの中から黒潰れエリアを検出する黒潰れエリア検出部と、前記画像における注目エリアを含む複数のエリアからなる局所部分であるヒストグラム生成領域内のエリア値の出現頻度を表すヒストグラムを生成するヒストグラム生成部と、前記ヒストグラム生成部により生成されるヒストグラムに基づいて、前記注目エリアに対して階調変換を行う階調変換部とを備え、前記ヒストグラム生成部は、前記黒潰れエリア検出部により検出される前記黒潰れエリアが前記ヒストグラムに与える寄与度を調整したヒストグラムを生成することを特徴としている。
【０００９】
この構成により、黒潰れエリアがヒストグラムに与える寄与度を調整したヒストグラムを生成することにより、小さいサイズの黒潰れ部分がヒストグラムに寄与する割合を相対的に大きくでき、これにより、黒潰れエリア部分のサイズが小さい場合であっても、黒潰れ部分の視認性が向上するように階調補正を適切に行うことができる。
【００１０】
また、前記ヒストグラム生成部は、前記黒潰れエリアおよび前記注目エリアの間の距離に応じて前記寄与度を調整したヒストグラムを生成してもよい。この構成により、黒潰れエリアと注目エリアとの間の距離が小さいほど、ヒストグラムへの黒潰れエリアの寄与度を大きくできる。これにより、ヒストグラム生成領域の中心付近に存在している黒潰れエリアがヒストグラムに与える寄与率を大きく、ヒストグラム生成領域の周辺部に遠ざかるにしたがって、寄与率を小さくすることができ、撮像画像全体を黒浮きさせることなく、黒潰れエリア付近の調整を適切に行える。
【００１１】
また、前記ヒストグラム生成部は、前記黒潰れエリアの連結数に応じて前記寄与度を調整したヒストグラムを生成してもよい。この構成により、黒潰れエリアの連結数が小さいほど、すなわち、黒潰れエリアの集まった黒潰れ部分のサイズが小さいほど、ヒストグラムへの黒潰れの寄与度を大きくできる。これにより、黒潰れエリアが広範囲に存在しており、寄与率を調整しなくても元から十分な階調補正が得られる場合には、黒潰れエリアによるヒストグラムの調整が制限される。一方、黒潰れエリアが狭い範囲に存在しているときには、寄与率を大きくする調整をすることができる。こうして、ヒストグラムを適切に調整することができる。
【００１２】
更に、前記ヒストグラム生成部は、前記黒潰れエリアのエリア値に応じて前記寄与度を調整したヒストグラムを生成してもよい。この構成により、黒潰れ部分のエリア値が小さいほど、ヒストグラムへの黒潰れエリアの寄与度を大きくできる。これにより、黒潰れエリアと判定されたエリアの中でも、エリア値が小さくて黒潰れが顕著な黒潰れエリアはヒストグラムに与える寄与率を大きく、エリア値が大きくなるにしたがってヒストグラムに与える寄与率を小さくすることができる。
【００１３】
本発明に係る階調補正装置は、画像を複数のエリアに分割するエリア分割部と、前記複数エリアの各エリア内の画素情報に関するエリア値を算出するエリア値算出部と、前記エリア値に基づいて、前記複数のエリアの中から黒潰れエリアを検出する黒潰れエリア検出部と、前記画像における注目エリアを含む複数のエリアからなるヒストグラム生成領域内のエリア値の出現頻度を表すヒストグラムを生成するヒストグラム生成部と、前記ヒストグラム生成部により生成されるヒストグラムに基づいて、前記注目エリアに対して階調変換を行う階調変換部とを備え、前記ヒストグラム生成部は、前記黒潰れエリア検出部により検出される前記黒潰れエリアが前記ヒストグラムに与える寄与度を調整したヒストグラムを生成することを特徴とする。
【００１４】
この構成は、撮像装置の信号処理技術に限定されない。すなわち、階調補正装置は、撮像装置に設けられても、設けられなくてもよい。そして、本発明の階調補正が、撮像装置で撮像された画像だけでなく、一般的な画像に対して施されてもよい。この構成によっても、上述した本発明の利点が得られる。
【００１５】
本発明に係る階調補正プログラムは、撮像される画像に対して階調補正を行う処理をコンピュータに実行させる階調補正プログラムであって、撮像される画像を複数のエリアに分割するステップと、前記複数エリアの各エリア内の画素情報に関するエリア値を算出するステップと、前記エリア値に基づいて、前記複数のエリアの中から黒潰れエリアを検出するステップと、前記画像における注目エリアを含む複数のエリアからなるヒストグラム生成領域内のエリア値の出現頻度を表すヒストグラムを生成するステップと、前記ヒストグラムに基づいて、前記注目エリアに対して階調変換を行うステップとを前記コンピュータに実行させ、前記ヒストグラムを生成するステップでは、前記黒潰れエリアが前記ヒストグラムに与える寄与度を調整したヒストグラムを生成することを特徴とする。
【００１６】
この構成も撮像装置の信号処理技術に限定されない。この構成によっても、上述した本発明の利点が得られる。
【００１７】
また、本発明の別の態様は、上述の階調補正プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００１８】
本発明に係る階調補正方法は、撮像される画像を複数のエリアに分割するステップと、前記複数エリアの各エリア内の画素情報に関するエリア値を算出するステップと、前記エリア値に基づいて、前記複数のエリアの中から黒潰れエリアを検出するステップと、前記画像における注目エリアを含む複数のエリアからなるヒストグラム生成領域内のエリア値の出現頻度を表すヒストグラムを生成するステップと、前記ヒストグラムに基づいて、前記注目エリアに対して階調変換を行うステップとを有し、前記ヒストグラムを生成するステップでは、前記黒潰れエリアが前記ヒストグラムに与える寄与度を調整したヒストグラムを生成することを特徴とする。
この構成も撮像装置の信号処理技術に限定されない。この構成によっても、上述した本発明の利点が得られる。
【発明の効果】
【００１９】
本発明は、黒潰れエリア部分のサイズが小さい場合であっても、黒潰れ部分の視認性が向上するように階調補正を適切に行うことができる。
【発明を実施するための最良の形態】
【００２０】
（発明の実施の形態）
以下、本発明の実施の形態に係る撮像装置について、図面を用いて説明する。図１は、本発明の実施の形態に係る撮像装置を示すブロック図である。図１に示されるように、本発明の実施の形態に係る撮像装置１０００は、被写体からの光を撮像素子３に結像するためのレンズ１と、撮像素子３に入射する光量を制御する絞り部２と、結像した像を光電変換する撮像素子３と、撮像素子３から得られるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器４と、Ａ／Ｄ変換された映像信号に対しＯＢ減算やホワイトバランス調整などを行う前処理回路５と、映像信号を処理して撮像画像に対する階調補正を行う階調補正部１００と、階調補正部１００により階調補正された映像信号の処理を行う信号処理回路１５とを備えている。階調補正部１００は、本発明に係る階調補正装置に該当する。
【００２１】
階調補正部１００は、エリア分割部６と、エリア値算出部７と、記憶部８と、黒潰れエリア検出部９と、黒潰れエリア連結数算出部１０と、ヒストグラム生成部１１と、ヒストグラム整形部１２と、階調変換カーブ生成部１３と、階調変換部１４とを備えている。
【００２２】
エリア分割部６は、前処理後の映像信号に乗って入力される画像を複数のエリアに分割する。エリア値算出部７は、エリア分割部６により分割された複数のエリア全てに対して、各エリア内のエリア値を算出する。エリア値とは、エリア内の画素情報に関する値であり、例えば、エリアに含まれる全画素の画素値の平均値である。記憶部８には、エリア値算出部７により算出されるエリア値が、１フレーム期間毎に記憶される。
【００２３】
黒潰れエリア検出部９は、記憶部８に記憶されているエリア値に基づいて、入力画像中の複数のエリアの中から、逆光により生じる黒潰れエリアを検出する。黒潰れエリア連結数算出部１０は、黒潰れエリア検出部９により検出される黒潰れエリアの位置的な隣接を調べて、黒潰れエリアの連結数を算出する。
【００２４】
ヒストグラム生成部１１は、入力画像内の局所領域であるヒストグラム生成領域内のエリア値の出現頻度を表すヒストグラムを生成する。ヒストグラム生成領域は、階調補正対象の注目エリアとその周辺エリアを含む複数のエリアから構成される。ヒストグラム生成領域は、ヒストグラム作成に使われる画像範囲であり、局所的ヒストグラム均等法による階調補正では、ヒストグラム生成領域は一般的に局所領域と呼ばれている。
【００２５】
ヒストグラム生成部１１は、黒潰れエリア検出部９により検出される黒潰れエリアがヒストグラムに与える寄与度を調整したヒストグラムを生成する。具体的には、後で詳細に説明する通り、ヒストグラム生成部１１は、黒潰れエリアのエリア値や、黒潰れエリアの連結数や、黒潰れエリアと注目エリアとの間の距離を用いて、ヒストグラム生成領域内におけるヒストグラムを生成する。
【００２６】
ヒストグラム整形部１２は、ヒストグラム生成部１１により生成された各ヒストグラムに対し、クリップや平滑化などの処理を行う。階調変換カーブ生成部１３は、ヒストグラム整形部１２により整形されるヒストグラムからエリア毎の階調変換カーブを生成する。階調補正カーブは、エリア別の階調補正カーブである。すなわち、注目エリアを中心としたヒストグラム生成領域におけるヒストグラムを用いて算出された階調変換カーブが、当該注目エリアに対応する階調補正カーブであり、当該注目エリアに対して階調補正を行う際に用いられる。
【００２７】
階調変換部１４は、ヒストグラム生成部１１により生成されるヒストグラムに基づいて、注目エリアに対して階調変換を行う。具体的には、階調変換部１４は、階調変換カーブ生成部１３により生成される階調変換カーブを用いて、階調補正部１００に入力される画像の注目エリアに対して階調変換する。
【００２８】
以上のように構成された撮像装置１０００の階調補正部１００における階調補正の動作について、図に基づいて説明する。撮像素子３による撮像によって得られた画像は、Ａ／Ｄ変換器４および前処理回路５を介して、階調補正部１００のエリア分割部６に入力される。エリア分割部６は、入力される画像を複数のエリアに分割する。１エリア内には少なくとも１個の画素が属している。
【００２９】
図２は、本発明の実施の形態におけるエリア分割を説明する図であって、画像の大きさを水平６４０画素、垂直４８０画素をしたときに、画像を水平８０個、垂直６０個の計４８００個のエリアに分割した例を示すものである。このとき、１エリア中には、水平８個、垂直８個の計６４個の画素が含まれる。
【００３０】
次に、エリア値算出部７において、エリア分割部６により分割されたエリアごとに、そのエリアに属する画素値の平均値を算出し、算出した平均値をエリア値とする。これにより、エリア毎に１つのエリア値が算出される。以下の処理では、このエリア値を用いる。これにより、それぞれの画素値を利用した計算を行わなくてもよいので、計算処理の負荷を軽減できる。そして、算出された計４８００個のエリア値は記憶部８に順次記憶される。
【００３１】
次に、黒潰れエリア検出部９は、記憶部８に記憶されている１フレーム前のエリア値に基づいて、入力画像中の複数のエリアの中から、逆光により黒く潰れているエリアを黒潰れエリアとして検出する。
図３は、本発明の実施の形態における黒潰れエリアの概念を説明する図であって、入力される画像から黒潰れエリアを検出した例である。図３では、画面中の入力画像のうち、左下の木々と中央部の人物が黒潰れエリアとして検出されている。
【００３２】
黒潰れエリア検出部９は、例えば、次のようにして、黒く潰れているエリアが逆光によるものか否かを判断して、黒潰れエリアを検出する。図４は、本発明の実施の形態における黒潰れエリアを検出するためのアルゴリズムのフローチャートである。図５は、本発明の実施の形態における黒潰れエリアを検出するためのアルゴリズムを説明する図であって、図４のフローチャートに沿った模式的な具体例である。
【００３３】
図５（ａ）は、画像を水平８個、垂直６個の計４８個のエリアに分割し、各エリアに図に示されるようなエリア値が算出されている状態を表している。まず、全てのエリアについて、各エリアのエリア値と、隣接するエリアのエリア値との差分を計算し（ＳＴ（ＳＴＥＰ：ステップ（以下、ＳＴと称する））４０１）、一番大きい値を各エリアのコントラスト値として求める（ＳＴ４０２）。ここでの差分の計算においては、各エリアについて８近傍に隣接したエリアを対象に、隣接するエリアのエリア値から自エリアのエリア値を減算している。ＳＴ４０２にて求めたコントラスト値は、図５（ｂ）に示されるようになる。
【００３４】
次に、図５（ｂ）のように求められた各エリアのコントラスト値と、予め設定された閾値ＴＨｃｏｎｔとを比較する（ＳＴ４０３）。比較の結果、閾値ＴＨｃｏｎｔよりも大きいコントラスト値をもつエリアを、黒潰れエリアと判定する（ＳＴ４０４）。一方、閾値ＴＨｃｏｎｔよりも小さいコントラスト値をもつエリアを、黒潰れエリアでないと判定する（ＳＴ４０５）。図５（ｃ）には、ＴＨｃｏｎｔ＝２００としたときのＳＴ４０３の判定結果が示されている。図５（ｃ）において、黒潰れエリアと判定されたエリアに、斜線状のハッチィングを施して示している。なお、ＳＴ４０１〜ＳＴ４０５の処理では、画像中の全エリアに対して黒潰れエリアか否かを判定している。
【００３５】
次に、ＳＴ４０４で黒潰れエリアと判定されたエリアの中で、一番大きなエリア値をＭＡＸｂとする（ＳＴ４０６）。この例では、図５（ｃ）の黒潰れエリアに対応する図５（ａ）のエリア値から、ＭＡＸｂ＝３２となる。
【００３６】
次に、ＳＴ４０４で判定された黒潰れエリアに隣接するエリアのうち、黒潰れエリアでない全てのエリアに対して、各エリアのエリア値と、隣接する黒潰れエリアのエリア値との差分の絶対値を計算し（ＳＴ４０７）、差分の絶対値が一番小さい値を各エリアの差分値として求める（ＳＴ４０８）。ここでの差分の計算においては、各エリアについて８近傍に隣接したエリアを対象に、自エリアのエリア値から隣接する黒潰れエリアのエリア値を減算して、その絶対値を算出している。ＳＴ４０７にて求めたコントラスト値は、図５（ｄ）に示されるようになる。図５（ｄ）では、既に黒潰れエリアとして判定されているエリアを網目状のハッチングを施して示している。
【００３７】
次に、図５（ｄ）に示されたＳＴ４０８で決まった差分値と、予め設定した閾値ＴＨｓｕｂとを比較する。あるエリアの差分値が、閾値ＴＨｓｕｂよりも小さく、かつ、そのエリアのエリア値が、ＭＡＸｂに予め設定された閾値ＴＨｍａｘを加算した値よりも小さかったとする。この条件が成立する場合には、当該エリアが黒潰れエリアであると判定する（ＳＴ４０９、ＳＴ４１０）。一方、ＳＴ４０９の条件に合致しないエリアについては、黒潰れエリアでないと判定する（ＳＴ４１１）。ＴＨｓｕｂ＝２０、ＴＨｍａｘ＝１０とした場合、ＳＴ４０９の黒潰れエリアの判定結果は、図５（ｅ）に示されるようになる。
【００３８】
続いて、同じ要領で、黒潰れエリアとの差分値を求めて黒潰れエリアの判定を行う処理（ＳＴＳ４０７〜ＳＴ４１１）を繰り返すと、図５（ｆ）〜（ｉ）に示されるようになる。そして、図５（ｉ）では、新しい黒潰れエリアが出現しない状態であるため、ＳＴ〜ＳＴの処理が終了する（ＳＴ４１２）。このようにして、黒潰れエリア検出部９により、入力画像中の複数のエリアの中から、逆光により黒く潰れているエリアが黒潰れエリアとして検出される。なお、ＳＴ４０７〜ＳＴ４１２の処理では、黒潰れエリアに隣接しており、まだ、黒潰れエリアと判定されていない全部のエリアに対して、黒潰れエリアか否かを判定している。
【００３９】
次に、黒潰れエリア連結数算出部１０において、黒潰れエリア検出部９によって検出された黒潰れエリアの連結数を算出し、各黒潰れエリアに連結数を与える。これにより、検出された黒潰れエリアの集まりの大きさを把握することができる。図６は、本発明の実施の形態における黒潰れエリアの連結数を説明する図であって、黒潰れエリアを４近傍連結で連結したときの連結数を算出した結果の一例である。
【００４０】
次に、ヒストグラム生成部１１は、入力画像内の局所領域であるヒストグラム生成領域内のエリア値の出現頻度を表すヒストグラムを生成する。ヒストグラム生成部１１は、黒潰れエリア検出部９により検出される黒潰れエリアがヒストグラムに与える寄与度を調整したヒストグラムを生成する。すなわち、ヒストグラム生成部１１は、黒潰れエリアのエリア値や、黒潰れエリアの連結数や、黒潰れエリアと注目エリアとの間の距離などを用いて、ヒストグラム生成領域内におけるヒストグラムを生成する。具体的には、ヒストグラム生成部１１は、記憶部８に記憶された１フレーム前のエリア値と、黒潰れエリア検出部９によって検出された黒潰れエリアのエリア値などの黒潰れエリア情報と、黒潰れエリア連結数算出部１０によって算出された黒潰れエリアの連結数を使って、注目エリアを中心としたヒストグラム生成領域におけるヒストグラムを算出する。
【００４１】
図７は、本発明の実施の形態におけるヒストグラム生成領域を説明する図である。ヒストグラム生成部１１は、エリアＥＣに注目したとき、注目エリアＥＣを中心に水平距離Ｄｈ、垂直距離Ｄｖを注目エリアＥＣにおけるヒストグラム生成領域Ｆ＿ＥＣとし、当該ヒストグラム生成領域Ｆ＿ＥＣ内に存在するエリアのエリア値を使って、ヒストグラムを算出する。経験上、ＤｈおよびＤｖは３１程度の値を設定することが望ましい。なお、図７では、図２に対応して、画像全体を水平８０個、垂直６０個の計４８００個のエリアに分割した例を示している。
【００４２】
このようなヒストグラム生成領域におけるヒストグラム算出において、黒潰れエリア情報や黒潰れエリアの連結数を使ったヒストグラム算出の方法を説明する。
図８は、本発明の実施の形態におけるヒストグラム生成領域を含む画像内の黒潰れエリアの分布の一例を示す図である。図８に示されるように、黒潰れエリア検出部９により検出された黒潰れエリアは、全部で４つの集まりとなっており、それぞれ黒潰れエリア群Ｂ１〜Ｂ４とする（以下、黒潰れエリアの集まりを黒潰れエリア群をいう）。
【００４３】
図８の黒潰れエリア群B１〜Ｂ４の中央部には、黒潰れエリア連結数算出部１０により算出された黒潰れエリアの連結数が示されている。図８に示されるように、黒潰れエリア群Ｂ１に属する黒潰れエリアの連結数は１０、黒潰れエリア群Ｂ２に属する黒潰れエリアの連結数は３、黒潰れエリア群Ｂ３に属する黒潰れエリアの連結数は２５、黒潰れエリア群Ｂ４に属する黒潰れエリアの連結数は５１となっている。このように黒潰れエリア群Ｂ１〜Ｂ４が分布しているとき、ヒストグラム生成領域Ｆ＿ＥＣ内に存在する黒潰れエリア群Ｂ１〜Ｂ３に属する各黒潰れエリアのみがヒストグラム生成の対象エリアとなり、ヒストグラム生成領域Ｆ＿ＥＣ外に存在する黒潰れエリア群Ｂ４に属する各黒潰れエリアはヒストグラム生成に関与しない。
【００４４】
図９は、本発明の実施の形態におけるヒストグラム生成領域内の黒潰れエリアの分布の一例を示す拡大図であって、図８のヒストグラム生成領域Ｆ＿ＥＣを拡大した図である。図９では、各黒潰れエリア内には、各黒潰れエリアの連結数と、各黒潰れエリアと注目エリアＥＣとの間の距離を示している。各黒潰れエリアと注目エリアＥＣとの間の距離は、注目エリアＥＣとの水平距離ｘと、注目エリアＥＣとの垂直距離ｙとが、座標表示されている。また、図中には示していないが、各黒潰れエリアはそれぞれにエリア値を保持している。
【００４５】
ヒストグラム生成部１１では、ヒストグラムを生成する際に、各黒潰れエリアが保持する３つの情報を使って、各黒潰れエリアのヒストグラムに対する寄与率、すなわち、各黒潰れエリアがヒストグラムに与える寄与率を調整する。ここで、各黒潰れエリアが保持する３つの情報とは、（１）黒潰れエリアおよび注目エリアの間の距離、（２）黒潰れエリアの連結数（各黒潰れエリアが属する黒潰れエリア群のエリア数）、（３）各黒潰れエリアのエリア値である。
【００４６】
各エリアのヒストグラムに対する寄与率は、次にように設定される。黒潰れエリア以外のエリアのヒストグラムに対する寄与率は１とする。つまり、エリア値をヒストグラムにプロットするときに、プロットする要素数を１として加算する。一方、黒潰れエリアのヒストグラムに対する寄与率をＷとする。そして、ヒストグラムに黒潰れエリアのエリア値をプロットする際に、プロットする要素数をＷ倍した上で加算する（この場合、プロットされる要素数は１×Ｗ＝Ｗになる）。これにより、エリアの寄与率が大きくなるほど、そのエリアがヒストグラムに与える影響が大きくなる。
【００４７】
図１０は、本発明の実施の形態における黒潰れエリアのヒストグラムに対する寄与率を説明するための模式図である。距離と寄与率の関係を図１０（ａ）に、連結数と寄与率の関係を図１０（ｂ）に、エリア値と寄与率の関係を図１０（ｃ）に示す。図示のように、距離に関する寄与率をＷｄ、連結数に関する寄与率をＷｃ、エリア値に関する寄与率をＷｖとする。
【００４８】
図１０（ａ）に示されるように、距離と寄与率Ｗｄの関係は、距離が０のとき寄与率Ｗｄは最大値Ｗｄｍａｘをとり、距離が大きくなるほどに寄与率Ｗｄは低下し、距離が閾値ＴＨｄ以上になると寄与率１となる。
【００４９】
また、図１０（ｂ）に示されるように、連結数と寄与率Ｗｃの関係は、連結数が１のとき寄与率Ｗｃは最大値Ｗｃｍａｘをとり、連結数が大きくなるほどに寄与率Ｗｃは低下し、連結数が閾値ＴＨｃ以上になると寄与率１となる。
【００５０】
また、図１０（ｃ）に示されるように、エリア値と寄与率Ｗｖの関係は、エリア値が０のとき寄与率Ｗｖは最大値Ｗｖｍａｘをとり、エリア値が大きくなるほどに寄与率Ｗｖは低下し、エリア値が閾値ＴＨｖ以上になると寄与率１となる。以上３つの寄与率Ｗｄ、Ｗｃ、Ｗｖを用いて各黒潰れエリアの寄与率Ｗは式（１）で求められる。
Ｗ＝Ｗｄ×Ｗｃ×Ｗｖ・・・（１）
【００５１】
なお、各設定値は、例えば、Ｗｄｍａｘ＝Ｗｃｍａｘ＝Ｗｖｍａｘ＝１５、ＴＨｄ＝１５、ＴＨｃ＝２００、ＴＨｖ＝６４程度の値を設定することができる。但し、求める効果に応じて、これらの設定値を調整するのが望ましい。効果を大きくするには、各寄与率の最大値（Ｗｄｍａｘ、Ｗｃｍａｘ、Ｗｖｍａｘ）を大きくし、各閾値（ＴＨｄ、ＴＨｃ、ＴＨｖ）を大きくすればよい。
【００５２】
なお、（１）黒潰れエリアおよび注目エリアの間の距離、（２）黒潰れエリアの連結数、（３）各黒潰れエリアのエリア値の３つの情報を用いて、ヒストグラムを生成すると説明したが、本発明の範囲で、これら３つの情報のうち、いずれか１つまたは２つのみを用いてヒストグラムを生成してもよい。
【００５３】
図１１は、本発明の実施の形態におけるヒストグラム生成において、注目エリアが画像の端部付近にある場合であって、ヒストグラム生成領域が画面外に及んだ状態を示す図を示している。図１１に示されるように、ヒストグラム生成領域が画面外にはみ出す場合、画面外にはみ出した範囲に関しては、値が存在しないものとして扱ってもよいし、端部処理として別処理を行ってもよい。例えば、画面の一番外枠のエリアが画面の外に無限に広がっていると考えてヒストグラムの範囲をケアする方法が考えられる。また、画面の一番外枠のエリアに対して対称に、画面の外側は内側を折り返した状態になっていると考えてヒストグラム生成領域をケアする方法も考えられる。
【００５４】
次に、ヒストグラム整形部１２において、ヒストグラム生成部１１にて生成されたヒストグラムに対して整形処理を行う。ヒストグラムを整形する目的は、ヒストグラムより生成される階調変換カーブを作るにあたって、極端に変動する階調変換カーブの生成を防止することや、階調変換カーブをある程度意図的に形作ることである。ヒストグラム整形部１２にて行う処理は、（１）要素数の前後階調への分配処理、（２）要素数のＭＡＸクリップ、（３）要素数のＭＩＮクリップの３つである。
【００５５】
次に、ヒストグラム整形部１２が行う分配処理について、図に基づいて説明する。以下では、ヒストグラムの階調数を３２とする。図１２は、本発明の実施の形態におけるヒストグラム分配処理を説明する図である。分配処理では、ヒストグラム全３２階調において、各階調の要素数を上下（前後）の階調に分配することにより、ヒストグラムの平滑化を行う。
【００５６】
要素数の分配処理は、注目階調の要素数に対し、注目階調から見て上下１階調離れた階調へは重み係数Ｖ１を乗じた値を加算し、上下２階調離れた階調へは重み係数Ｖ２を乗じた値を加算し、上下３階調離れた階調へは重み係数Ｖ３を乗じた値を加算する。このようにして、注目階調との階調差に応じて重み係数を設定し、注目階調の要素数を上下階調へ分配する。
【００５７】
図１２（ａ）は、分配処理前のヒストグラムの例を示す図である。図１２（ｂ）は、図１２（ａ）に示されるヒストグラムに対して、分配処理を行った結果を示す図である。この例では、Ｖ１＝０．７５、Ｖ２＝０．５０、Ｖ３＝０．２５という重み係数が設定されている。また、存在しない階調への分配分は破棄する処理が行われている。なお、重み係数Ｖ１、Ｖ２、Ｖ３は経験上Ｖ１≧Ｖ２≧Ｖ３とするのが望ましい。
【００５８】
図１２（ｃ）〜図１２（ｅ）は、各階調の値が分配されている様子を示している。図１２（ｃ）は、階調０における値１００の分配例を示す図である。図１２（ｃ）に示されるように、階調０の値が１００の場合、１００×Ｖ１（０．７５）＝７５が階調１に加算され、１００×Ｖ２（０．５０）＝５０が階調２に加算され、１００×Ｖ３（０．２５）＝２５が階調３に加算される。なお、階調０は最も低い階調であるので、階調０より低い階調は存在しない。この場合、階調外への分配分は消失する。
【００５９】
図１２（ｃ）と同様に、図１２（ｄ）は、階調１における値２００の分配例を示し、図１２（ｅ）は、階調２における値１５０の分配例を示す。図１２（ｃ）、図１２（ｄ）、図１２（ｅ）に示されるように、階調１〜階調３１の全てに対して、分配処理を行うことにより、図１２（ｂ）に示される結果が得られる。
【００６０】
次に、ヒストグラム整形部１２が行う要素数のクリップについて、図に基づいて説明する。図１３は、本発明の実施の形態におけるヒストグラムの要素数のクリップ処理を説明する図である。図１３（ａ）はクリップ処理前のヒストグラムを示し、図１３（ｂ）はクリップ処理後のヒストグラムを示している。ヒストグラム整形部１２は、各階調について独立に、要素数のＭＡＸクリップ値およびＭＩＮクリップ値を設定し、クリップ処理を行う。すなわち、ヒストグラム整形部１２は、各階調についてＭＡＸクリップ値を超える要素数は減算し、ＭＩＮクリップ値に満たない要素数は加算する。
【００６１】
ＭＡＸクリップ値およびＭＩＮクリップ値の設定は、階調補正結果に大きく関係する。基本的に、ＭＡＸクリップ値を大きくするほど、あるいは、ＭＩＮ値クリップを小さくするほど、階調補正の度合いは大きくなり、コントラスト改善の程度も大きくなる。クリップ値は各階調で独立して設定できるため、設定によって補正結果を調整することも可能である。例えば、画面中で暗い部分の改善は大きく、明るい部分はあまり変化させたくない場合、暗い階調側ではＭＡＸクリップ値とＭＩＮクリップ値の乖離を大きく、明るい階調側では乖離を小さくすることが好適である。
【００６２】
次に、階調変換カーブ生成部１３は、ヒストグラム整形部１２により整形されたヒストグラムから、階調変換カーブを生成する。
図１４は、本発明の実施の形態における階調変換カーブ生成処理を説明する図である。図１４（ａ）は、ヒストグラム整形部１２により整形されたヒストグラムを示す図である。階調変換カーブ生成部１３は、図１４（ａ）に示されるヒストグラムを下位階調から積算して、図１４（ｂ）に示される累積ヒストグラムを作成する。次に、階調変換カーブ生成部１３は、累積ヒストグラムの最上位階調の要素数が映像信号値の階調数になるように正規化を行って、図１４（ｃ）に示される階調変換カーブを生成する。
【００６３】
図１４（ａ）〜図１４（ｃ）に示される例では、映像信号値の階調数を２５６階調として正規化を行い、正規化された累積ヒストグラムから階調変換カーブを生成している。階調変換カーブは０を原点とし、原点以外を等間隔の３２点の制御点で結んだ折れ線カーブとなる。
【００６４】
これまでの処理により、各エリアに対応する階調変換カーブが生成される。この階調変換カーブを用いて、エリア内の画素を階調変換することにより、前処理回路５を経て階調補正部１００に入力される前処理後の画像に対して、階調補正を行うことができる。階調補正は、階調変換部１４により行われる。
【００６５】
図１５は本発明の実施の形態における階調変換の一例を示す図である。階調変換部１４は、前処理後の画像の映像信号値に対応する値を、階調変換カーブから求めて、階調変換後の出力値として出力する。図１５に示されるように、階調変換カーブは、３２点の制御点からなる折れ線カーブであるので、制御点間については補間計算を行って出力値を算出する。以上、階調補正部１００の動作について、説明した。
【００６６】
以上の通り、本発明の実施の形態に係る撮像装置では、黒潰れエリアがヒストグラムに与える寄与度を調整したヒストグラムを生成することにより、小さいサイズの黒潰れ部分がヒストグラムに寄与する割合を相対的に大きくでき、これにより、黒潰れエリア部分のサイズが小さい場合であっても、黒潰れ部分の視認性が向上するように階調補正を適切に行うことができる。そして、本実施の形態によれば、階調補正結果の黒浮きを回避しつつ、従来技術が苦手とするような逆光による黒潰れ部分のサイズが小さい範囲に留まっている場合においても、十分な階調補正を行うことが可能になる。
【００６７】
また、本発明の実施の形態に係る撮像装置では、黒潰れエリアおよび注目エリアの間の距離に応じて寄与度を調整したヒストグラムを生成することにより、黒潰れエリアと注目エリアとの間の距離が小さいほど、ヒストグラムへの黒潰れエリアの寄与度を大きくできる。これにより、ヒストグラム生成領域の中心付近に存在している黒潰れエリアがヒストグラムに与える寄与率を大きく、ヒストグラム生成領域の周辺部に遠ざかるにしたがって寄与率を小さくすることができ、撮像画像全体を黒浮きさせることなく、黒潰れエリア付近の調整を適切に行える。
【００６８】
また、本発明の実施の形態に係る撮像装置では、黒潰れエリアの連結数に応じて寄与度を調整したヒストグラムを生成することにより、黒潰れエリアの連結数が小さいほど、すなわち、黒潰れエリアの集まった黒潰れ部分のサイズが小さいほど、ヒストグラムへの黒潰れの寄与度を大きくできる。これにより、黒潰れエリアが広範囲に存在しており、寄与率を調整しなくても元から十分な階調補正が得られる場合には、黒潰れエリアによるヒストグラムの調整が制限される。一方、黒潰れエリアが狭い範囲に存在しているときは、寄与率を大きくする調整をすることができる。こうして、ヒストグラムを適切に調整することができる。
【００６９】
更に、本発明の実施の形態に係る撮像装置では、黒潰れエリアのエリア値に応じて寄与度を調整したヒストグラムを生成することにより、黒潰れ部分のサイズが小さいほど、ヒストグラムへの黒潰れエリアへの寄与度を大きくできる。これにより、黒潰れエリアと判定されたエリアの中でも、エリア値が小さくて黒潰れが顕著な黒潰れエリアはヒストグラムに与える寄与率を大きく、エリア値が大きくなるにしたがってヒストグラムに与える寄与率を小さくすることができる。
【００７０】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【００７１】
上記実施の形態では、前処理回路としてＯＢ減算とホワイトバランス調整を挙げたが、この２つの処理がなくても構わないし、この２つ以外の処理があっても構わない。例えば、シェーディング補正やガンマ補正などが前処理に含まれることもある。
【００７２】
また、上記実施の形態では、画面の大きさを水平６４０画素、垂直４８０画素とし、画面分割において水平８０個、垂直６０個の計４８００個のエリアに画面を分割していたが、画面の大きさおよびエリア分割数はこれに限らない。また、エリア値としてエリア中の画素値の平均値を用いるとしたが、平均値の算出方法は特に指定するものではない。例えば、エリア内の全画素の平均値を求めても良いし、エリア内のいくつかの画素をサンプリングしてその画素の平均値を求めても構わない。経験上、なるべく多くの画素の平均値を求めるほうが結果は安定する傾向にある。また、画素値として用いる値も特に指定するものではない。例えば、各画素における輝度値を算出してその値を使用しても良い。
【００７３】
また、上記実施の形態では、エリア値を８ｂｉｔ長、ヒストグラムを３２階調、階調変換カーブを３２点折れ線カーブ、原画像の階調数を２５６階調などとしたが、いずれもこれに限らない。例えば、ヒストグラムの階調を１６階調にして階調変換カーブを１６点折れ線カーブで求めることは記憶容量や回路規模の削減に対して有効である。逆に、ヒストグラムを６４階調、階調変換カーブを６４点の折れ線カーブとすればより精度の高い階調変換が可能になる。さらに、階調変換カーブは等間隔の折れ線カーブとしているが、等間隔でなくても構わない。例えば、下位側は階調数を増やし上位側は階調数をまばらに取ることで、下位側だけ折れ線カーブの精度を向上させることも可能である。またヒストグラムの階調についても同様である。
【００７４】
また、上記実施の形態では、ヒストグラム算出時に参照するヒストグラム生成領域（局所領域）を方形としているが、参照範囲の形は正方形に限らない。例えば、菱形や円形にすることも可能である。
【００７５】
また、上記実施の形態では、ヒストグラムの分配処理において最下位階調または最上位階調を超える存在しない階調への分配要素は破棄したが、必ずしも破棄する必要はない。例えば、最下位階調を超える存在しない階調への分配要素は最下位階調に加算し、最上位階調を超える存在しない階調への分配要素は最上位階調に加算するのも有効な方法である。
【００７６】
また、上記実施の形態では、本発明に係る撮像装置、階調補正装置および階調補正方法について具体的に説明した。しかし、本発明はこれらに限定されない。本発明は、上述した階調補正方法の各ステップをコンピュータに実行させる階調補正プログラムであってもよく、また、この階調補正プログラムを記録したコンピュータ読み取り可能な記録媒体であってもよい。
【産業上の利用可能性】
【００７７】
以上のように、本発明は、黒潰れエリアがヒストグラムに与える寄与度を調整したヒストグラムを生成することにより、小さいサイズの黒潰れ部分が生じた場合であっても、階調補正を適切に行えるという効果を有し、デジタルスチルカメラやデジタルビデオカメラ等に代表される撮像装置に用いる階調補正装置等に有用である。
【図面の簡単な説明】
【００７８】
【図１】本発明の実施の形態に係る撮像装置を示すブロック図
【図２】本発明の実施の形態におけるエリア分割を説明する図
【図３】本発明の実施の形態における黒潰れエリアの概念を説明する図
【図４】本発明の実施の形態における黒潰れエリアを検出するためのアルゴリズムのフローチャート
【図５】本発明の実施の形態における黒潰れエリアを検出するためのアルゴリズムを説明する図であって、図５（ａ）〜図５（ｉ）は黒潰れエリアを検出の過程を順次説明するための図
【図６】本発明の実施の形態における黒潰れエリアの連結数を説明する図
【図７】本発明の実施の形態におけるヒストグラム生成領域を説明する図
【図８】本発明の実施の形態におけるヒストグラム生成領域を含む画像内の黒潰れエリアの分布の一例を示す図
【図９】本発明の実施の形態におけるヒストグラム生成領域内の黒潰れエリアの分布の一例を示す拡大図
【図１０】本発明の実施の形態における黒潰れエリアのヒストグラムに対する寄与率を説明するための模式図であって、図１０（ａ）は距離と寄与率の関係を示す図、図１０（ｂ）は連結数と寄与率の関係を示す図、図１０（ｃ）はエリア値と寄与率の関係を示す図
【図１１】本発明の実施の形態におけるヒストグラム生成において、注目エリアが画像の端部付近にある場合であって、ヒストグラム生成領域が画面外に及んだ状態を示す図
【図１２】本発明の実施の形態におけるヒストグラム分配処理を説明する図であって、図１２（ａ）は分配処理前のヒストグラムの例を示す図、図１２（ｂ）は分配処理を行った結果を示す図、図１２（ｃ）〜図１２（ｅ）は各階調の値が分配されている様子を示す図
【図１３】本発明の実施の形態におけるヒストグラムの要素数のクリップ処理を説明する図であって、図１３（ａ）はクリップ処理前のヒストグラムを示す図、図１３（ｂ）はクリップ処理後のヒストグラムを示す図
【図１４】本発明の実施の形態における階調変換カーブ生成処理を説明する図であって、図１４（ａ）はヒストグラムを示す図、図１４（ｂ）は累積ヒストグラムを示す図、図１４（ｃ）は階調変換カーブを示す図
【図１５】本発明の実施の形態における階調変換の一例を示す図
【符号の説明】
【００７９】
１  レンズ
２  絞り部
３  撮像素子
４  Ａ／Ｄ変換器
５  前処理回路
６  エリア分割部
７  エリア値算出部
８  記憶部
９  黒潰れエリア検出部
１０  黒潰れエリア連結数算出部
１１  局所ヒストグラム生成部
１２  ヒストグラム整形部
１３  階調変換カーブ生成部
１４  階調変換部
１５  信号処理回路
１００  階調補正部
１０００  撮像装置
【図１】
2008172386.tif 000003
【図２】
2008172386.tif 000004
【図３】
2008172386.tif 000005
【図４】
2008172386.tif 000006
【図５】
2008172386.tif 000007
【図６】
2008172386.tif 000008
【図７】
2008172386.tif 000009
【図８】
2008172386.tif 000010
【図９】
2008172386.tif 000011
【図１０】
2008172386.tif 000012
【図１１】
2008172386.tif 000013
【図１２】
2008172386.tif 000014
【図１３】
2008172386.tif 000015
【図１４】
2008172386.tif 000016
【図１５】
2008172386.tif 000017