(57)【要約】【課題】本発明は、入力画像に輝度変換処理を施して所望の出力画像を生成するに際し、出力画像のちらつきやフリッカを低減することが可能な画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置を提供することを目的とする。【解決手段】本発明に係る画像処理回路は、入力画像に輝度変換処理を施して所望の出力画像を生成する際、第（ｎ−１）番目のフレームに係る入力画像Ｉ（ｎ−１）の輝度変換処理に用いられた輝度変換係数Ｔ（ｎ−１）と、第（ｎ−１）番目のフレームに係る入力画像Ｉ（ｎ−１）に基づいて算出された輝度変換係数Ｔ’（ｎ−１）を所定の割合で足し合わせて、第ｎ番目のフレームに係る入力画像Ｉ（ｎ）の輝度変換処理に用いる輝度変換係数Ｔ（ｎ）を生成する構成とされている。【選択図】図９
2008263253.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に輝度変換処理を施して所望の出力画像を生成する画像処理回路であって、
前フレームに係る入力画像の輝度変換処理に用いられた輝度変換係数と、前フレームに係る入力画像に基づいて算出された輝度変換係数と、を所定の割合で足し合わせることにより、現フレームに係る入力画像の輝度変換処理に用いる輝度変換係数を生成することを特徴とする画像処理回路。
【請求項２】
入力画像の輝度ヒストグラムを取得し、これに基づく輝度変換係数を算出する輝度変換係数算出部と；前記入力画像を構成する各画素に対して、前記輝度変換係数に応じた輝度変換処理を施す輝度変換処理部と；前記輝度変換処理部で用いる輝度変換係数を記憶する輝度変換係数記憶部と；を有して成る画像処理回路であって、
前記輝度変換係数記憶部は、現フレームに係る入力画像の輝度変換処理に用いられた輝度変換係数と、現フレームに係る入力画像に基づいて算出された輝度変換係数と、を所定の割合で足し合わせ、その加算結果を次フレームに係る入力画像の輝度変換処理に用いる輝度変換係数として記憶することを特徴とする請求項１に記載の画像処理回路。
【請求項３】
前記輝度変換係数記憶部は、現フレームに係る入力画像の輝度変換処理に用いられた輝度変換係数に第１の係数を乗ずる第１乗算部と、現フレームに係る入力画像に基づいて算出された輝度変換係数に第２の係数を乗ずる第２乗算部と、第１乗算部の出力結果と第２乗算部の出力結果を足し合わせる加算部と、前記加算部の出力結果を次フレームに係る入力画像の輝度変換処理に用いる輝度変換係数として記憶する記憶部と、を有して成ることを特徴とする請求項２に記載の画像処理回路。
【請求項４】
前記輝度変換係数算出部は、前記入力画像を複数のエリアに分割した上で、各エリア毎の輝度ヒストグラムを取得し、これに基づく輝度変換係数を算出することを特徴とする請求項２または請求項３に記載の画像処理回路。
【請求項５】
請求項１〜請求項４のいずれかに記載の画像処理回路を集積化して成る半導体装置。
【請求項６】
請求項５に記載の半導体装置と、前記半導体装置に前記入力画像を供給する画像入力源と、を有して成ることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像に輝度変換処理（輝度ダイナミックレンジ補正処理）を施して所望の出力画像を生成する画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置に関するものである。
【背景技術】
【０００２】
従来より、入力画像をより美しく見せるための画像処理の一つとして、輝度変換処理が一般に用いられている。この輝度変換処理は、例えば、画像全体における輝度ヒストグラムに基づいて、画像領域全体に共通の輝度変換係数を算出し、各画素にこの輝度変換係数を乗じることで輝度変換を行うものである。
【０００３】
より具体的には、まず入力画像の全体を対象とした輝度ヒストグラム（各輝度範囲の頻度、すなわち、所定の輝度範囲毎に属する画素数の分布）を求める。そして、この輝度ヒストグラムに基づき、入力画像における各輝度範囲について、頻度の高いものほど出力画像においては広い輝度範囲を割り当てるように、逆に、頻度の低いものほど出力画像においては狭い輝度範囲を割り当てるように、輝度変換係数を算出するものである。従って、上記の輝度変換係数は、輝度毎に、或いは、所定の輝度範囲毎に、別個の値となる。
【０００４】
これにより、入力画像において頻度の低い輝度範囲の部分については、よりコントラスト（輝度差）が曖昧となってしまうものの、逆に、入力画像において頻度の高い輝度範囲の部分については、よりコントラストが明瞭となる。そのため、画像全体として見てみると、入力時よりもコントラストを明瞭とすることが可能となる。
【０００５】
なお、上記に関連する従来技術としては、特許文献１〜４などを挙げることができる。
【０００６】
また、前フレームの情報に基づいて現フレームの補正処理を行う従来技術としては、特許文献５〜７などを挙げることができる。
【特許文献１】特表２００４−５３０３６８号公報
【特許文献２】特開２０００−０１３６２５号公報
【特許文献３】特開２０００−０３６０４３号公報
【特許文献４】特開２００４−１４５３９９号公報
【特許文献５】特開２００２−２６２２９０号公報
【特許文献６】特開２００４−１６３８４２号公報
【特許文献７】特開２００６−１３５７４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
確かに、上記従来の画像処理装置であれば、現フレームの情報から補正係数が算出されるの待つことなく、前フレームの情報から算出された補正係数を用いて、現フレームの補正処理を行うことができるので、入力画像に補正処理を施したものを極力早い時期に出力することが可能となり、リアルタイムに近い画像出力が可能となる。
【０００８】
しかしながら、上記従来の画像処理装置では、フレーム毎（画面毎）の輝度変化が大きい場合に、ちらつきが発生したりフリッカが増幅されるおそれがあった。
【０００９】
例えば、第（ｎ−３）番目のフレームと第（ｎ−１）番目のフレームが明るく、第（ｎ−２）番目のフレームと第ｎ番目のフレームが暗い場合、第（ｎ−３）番目のフレームと第（ｎ−１）番目のフレームからは、明るい画像を暗くするような輝度変換係数が算出され、第（ｎ−２）番目のフレームと第ｎ番目のフレームからは、暗い画像を明るくするような輝度変換係数が算出されるため、結果として、第（ｎ−２）番目のフレームと第ｎ番目のフレームはさらに暗く、第（ｎ−１）番目のフレームはさらに明るくなってしまう。
【００１０】
本発明は、上記の問題点に鑑み、入力画像に輝度変換処理を施して所望の出力画像を生成するに際して、出力画像のちらつきやフリッカを低減することが可能な画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明に係る画像処理回路は、入力画像に輝度変換処理を施して所望の出力画像を生成する画像処理回路であって、前フレームに係る入力画像の輝度変換処理に用いられた輝度変換係数と、前フレームに係る入力画像に基づいて算出された輝度変換係数と、を所定の割合で足し合わせることにより、現フレームに係る入力画像の輝度変換処理に用いる輝度変換係数を生成する構成（第１の構成）とされている。
【００１２】
なお、上記第１の構成から成る画像処理回路は、入力画像の輝度ヒストグラムを取得しこれに基づく輝度変換係数を算出する輝度変換係数算出部と；前記入力画像を構成する各画素に対して、前記輝度変換係数に応じた輝度変換処理を施す輝度変換処理部と；前記輝度変換処理部で用いる輝度変換係数を記憶する輝度変換係数記憶部と；を有して成る画像処理回路であって、前記輝度変換係数記憶部は、現フレームに係る入力画像の輝度変換処理に用いられた輝度変換係数と、現フレームに係る入力画像に基づいて算出された輝度変換係数と、を所定の割合で足し合わせ、その加算結果を次フレームに係る入力画像の輝度変換処理に用いる輝度変換係数として記憶する構成（第２の構成）にするとよい。
【００１３】
また、上記第２の構成から成る画像処理回路において、前記輝度変換係数記憶部は、現フレームに係る入力画像の輝度変換処理に用いられた輝度変換係数に第１の係数を乗ずる第１乗算部と、現フレームに係る入力画像に基づいて算出された輝度変換係数に第２の係数を乗ずる第２乗算部と、第１乗算部の出力結果と第２乗算部の出力結果とを足し合わせる加算部と、前記加算部の出力結果を次フレームに係る入力画像の輝度変換処理に用いる輝度変換係数として記憶する記憶部と、を有して成る構成（第３の構成）にするとよい。
【００１４】
このような構成であれば、入力画像の輝度変換処理に用いる輝度変換係数に時間軸でフィルタをかけることができるので、入力画像に輝度変換処理を施して所望の出力画像を生成するに際して、出力画像のちらつきやフリッカーを低減することが可能となる。
【００１５】
また、上記第２または第３の構成から成る画像処理回路において、前記輝度変換係数算出部は、前記入力画像を複数のエリアに分割した上で、各エリア毎の輝度ヒストグラムを取得し、これに基づく輝度変換係数を算出する構成（第４の構成）にするとよい。
【００１６】
このような構成とすることにより、画像全体からみると頻度の低い輝度（または輝度範囲）に係る部分が存在しても、当該部分を含めて良好なコントラストを得ることできる。
【００１７】
また、本発明に係る半導体装置は、上記第１〜第４いずれかの構成から成る画像処理回路を集積化して成る構成（第５の構成）とされている。
【００１８】
また、本発明に係る画像処理装置は、上記第５の構成から成る半導体装置と、前記半導体装置に前記入力画像を供給する画像入力源と、を有して成る構成（第６の構成）とされている。
【００１９】
また、上記第４の構成から成る画像処理回路において、前記輝度変換係数算出部は、前記入力画像の領域を複数のエリアに分割する分割手段と、前記エリア毎の輝度ヒストグラムを算出するヒストグラム算出手段と、を有して成り、前記輝度変換係数は、前記輝度ヒストグラムに基づいて定められる構成（第７の構成）にするとよい。
【００２０】
また、上記した第７の構成から成る画像処理回路は、前記ヒストグラム算出手段の算出結果に基づいて、前記エリア毎に定まるエリア別変換係数を算出する第１算出手段を有して成り、前記輝度変換係数は、前記エリア別変換係数に基づいて定められる構成（第８の構成）にするとよい。
【００２１】
本構成によれば、エリア毎に算出された輝度ヒストグラムに基づいて、輝度変換係数が定められる。そのため、仮に画像全体に比べて輝度差の大きい箇所が部分的に存在していても、その部分は、その部分が属するエリアのヒストグラムに基づいて定められた輝度変換係数に応じて、輝度変換がなされることとなる。その結果、例えば、画像全体の輝度ヒストグラムに基づいて輝度変換係数が定められるもの等に比べて、当該部分についても良好なコントラストを得ることができる。
【００２２】
なお「輝度変換係数」および「エリア別変換係数」は、入力画素の輝度と出力画素の輝度との関係を定めるものであり、例えば、入力時の輝度毎に定められる出力画素の輝度と入力画素の輝度との比として与えられるが、これには限定されない。
【００２３】
また、上記第８の構成から成る画像処理回路は、前記エリア別変換係数について、画像空間におけるローパスフィルタを施すフィルタ手段を有して成る構成（第９の構成）にするとよい。
【００２４】
エリア別変換係数は、該エリア内の輝度ヒストグラムに基づいて算出され、他のエリアに係る輝度情報は基本的には考慮されないため、エリア同士の境界部分において、輝度の差が目立つ場合がある。そこで、本構成のように、エリア別変換係数について画像空間におけるローパスフィルタを施すようにすることにより、かかる輝度の差を軽減させることが可能となる。
【００２５】
また、上記第９の構成から成る画像処理回路において、前記フィルタ手段は、ある注目エリアについて前記フィルタを施すときには、該注目エリア周辺の所定範囲に存在するエリアの前記エリア別変換係数を用いるものである一方、該所定範囲の少なくとも一部が前記画像の領域からはみ出すときは、該はみ出す部分に所定の仮想係数を割り当て、該仮想係数を前記エリア別変換係数と仮定して、前記ローパスフィルタを施す構成（第１０の構成）にするとよい。
【００２６】
本構成によれば、画像領域の外縁付近に位置するエリアについてフィルタ処理を施すときであっても、画像領域をはみ出した部分に割り当てた仮想係数をエリア別変換係数と仮定することにより、通常通りのフィルタ処理を行うことが可能となる。なお「仮想係数」はかかる目的を達成できるように、エリア別変換係数と同様の形式をとるものである。
【００２７】
また、上記第８〜第１０いずれかの構成から成る画像処理回路は、前記エリア別変換係数に基づいて前記画素毎に定まる画素別変換係数を算出する第２算出手段を有して成り、該第２算出手段は、前記エリア同士の境界における輝度の差がより小さくなるように、画素別変換係数を算出するものであり、前記輝度変換係数は、該画素別変換係数に基づいて定められる構成（第１１の構成）にするとよい。
【００２８】
エリア別変換係数は、エリア毎に一律に定められる（エリア内の画素同士では共通である）ため、依然としてエリア同士の境界における輝度の差が目立ってしまうことが考えられる。そこで、本構成では、エリア別変換係数に基づいて、エリア同士の境界における輝度の差がより小さくなるように、画素別変換係数が算出される。そして、輝度変換係数がこの画素別変換係数に基づいて定められるので、エリア同士の境界における輝度の差がより抑制された画素を出力することが容易となる。
【００２９】
なお、「画素別変換係数」も、「輝度変換係数」や「エリア別変換係数」と同様に、入力画素の輝度と出力画素の輝度との関係を定めるものであり、例えば、入力時の輝度毎に定められる出力画素の輝度と入力画素の輝度との比として与えられるが、これに限定されるものではない。
【００３０】
また、上記第８〜第１１いずれかの構成から成る画像処理回路は、前記エリア別変換係数に基づいて前記画素毎に定まる画素別変換係数を算出する第２算出手段を有して成り、前記輝度変換係数は、該画素別変換係数に基づいて定められるものであって、該第２算出手段は、ある注目画素の画素別変換係数を算出するにあたり、該注目画素近傍の４エリアを選出し、これらのエリアの各々における略中心の４点に着目したバイリニア演算処理を行う構成（第１２の構成）にするとよい。
【００３１】
本構成によれば、エリア別変換係数に基づいて、エリア同士の境界部を含めて輝度の変化が滑らかとなるように、画素別変換係数が算出される。これにより、輝度変化の不連続な部分が生じることを極力回避することが可能となり、より美しい画像を出力することが容易となる。
【００３２】
なお、ここでの「注目画素近傍の４エリア」とは、図７に示すように、ある頂点を共有する４個のエリアであって、各エリアの略中心同士を結んでできる四辺形の内部に、注目画素が位置する関係となるものを指す。
【発明の効果】
【００３３】
上記したように、本発明に係る画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置であれば、入力画像の輝度変換処理に用いる輝度変換係数に時間軸でフィルタをかけることができるので、入力画像に輝度変換処理を施して所望の出力画像を生成する際に、出力画像のちらつきやフリッカを低減することが可能となる。
【発明を実施するための最良の形態】
【００３４】
以下では、動画撮像により得られた各フレームの画像に対して輝度変換処理を行う画像処理装置に本発明を適用した場合を例に挙げて、詳細な説明を行う。
【００３５】
まず、本発明に係る画像処理装置の第１実施形態について詳細に説明する。
【００３６】
図１は、本発明に係る画像処理装置の第１実施形態を示すブロック図である。
【００３７】
本図に示す通り、本実施形態の画像処理装置１は、撮像部１０と、輝度変換処理部１１と、輝度変換係数算出部１２と、輝度変換係数記憶部１３と、出力部１４を有して成る。
【００３８】
撮像部１０は、所定のレンズ群や撮像素子（例えば、ＣＭＯＳ［Complementary Metal-Oxide Semiconductor］センサやＣＣＤ［Charge Coupled Devices］センサ）等を備えており、被写体の光学像を結像させることで被写体の撮像処理（例えば３０フレーム毎秒の動画撮像）を行う。なお、各フレームに係る画像データは、輝度変換処理部１１及び輝度変換係数算出部１２に逐次出力される。
【００３９】
輝度変換処理部１１は、撮像部１０から入力される各フレーム毎の画像データ（入力画像）に対し、輝度変換処理を施して出力する。なお、この輝度変換処理は、入力画像における各画素の輝度を、輝度変換係数記憶部１３に記憶されている輝度変換係数に応じて変換することにより行われる。
【００４０】
輝度変換係数算出部１２は、撮像部１０から入力される各フレーム毎の画像データ（入力画像）に基づいて、輝度変換処理に用いられる輝度変換係数を算出する。なお、輝度変換係数の内容及び輝度変換係数の算出方法については、後に改めて説明する。
【００４１】
輝度変換係数記憶部１３は、輝度変換係数算出部１２によって算出された輝度変換係数を、少なくとも次のフレームに係る輝度変換処理が実行されるまで記憶する。なお、この記憶内容は、輝度変換処理部１１における輝度変換処理において用いられることとなる。
【００４２】
出力部１４は、ＬＣＤ［Liquid Crystal Display］等のディスプレイ（例えば、車載モニタ）を備えており、輝度変換処理部１１によって輝度変換処理のなされた出力画像を逐次表示する。
【００４３】
上記構成から成る画像処理装置１は、動画撮像により得られた入力画像に輝度変換係数に基づいた輝度変換処理を施して、これをディスプレイ表示する。
【００４４】
なお、上記構成要素のうち、輝度変換処理部１１、輝度変換係数算出部１２、及び、輝度変換係数記憶部１３については、半導体装置に集積化するとよい。
【００４５】
次に、画像処理装置１における画像処理の全体的な流れについて、図２を参照しながら説明する。
【００４６】
図２は、画像処理装置１における画像処理の全体的な流れを説明するための図である。
【００４７】
本図に示すように、第ｎ番目のフレームに係る入力画像が到来すると、輝度変換係数算出部１２は、入力画像に基づいて輝度変換係数の算出を行う。これにより、第ｎ番目のフレームに基づいて定められる輝度変換係数が得られ、これが輝度変換係数記憶部１３に一旦格納される。
【００４８】
一方、輝度変換処理部１１は、到来した第ｎ番目のフレームに係る入力画像に対し、既に輝度変換係数記憶部１３に格納されている第（ｎ−１）番目のフレームに基づいて定められた輝度変換係数を用いて輝度変換処理を施す。
【００４９】
より具体的には、ｎ番目のフレームにおける座標（ｉ，ｊ）の画素について、輝度変換処理前の輝度をＩｉｊ（ｎ）、輝度変換処理後の輝度をＯｉｊ（ｎ）とし、（ｎ−１）番目のフレームに基づいて、座標（ｉ，ｊ）の画素に対して定められた輝度変換係数をＴｉｊ（ｎ−１）とすると、各フレームの各画素に係る輝度は、下記の（１）式に基づいて、変換処理される。そして、輝度変換処理部１１にて輝度変換処理のなされた出力画像は、出力部１４を通じて出力される。
【００５０】
Ｏｉｊ（ｎ）＝Ｔｉｊ（ｎ−１）×Ｉｉｊ（ｎ）    ・・・（１）
このように、本実施形態の画像処理装置１は、第ｎ番目のフレームに係る入力画像に対しては、第（ｎ−１）番目のフレームに基づいて定められる輝度変換係数を用いて輝度変換処理を行う構成とされている。そのため、第ｎ番目の輝度変換係数の算出を待たずに、第ｎ番目の輝度変換処理および画像出力を実行することが可能となる。その結果、入力画像に輝度変換処理を施したものを極力早い時期に出力することが可能となり、リアルタイムに近い画像出力が可能となる。
【００５１】
なお、第ｎ番目のフレームに係る入力画像に対して、第（ｎ−２）番目以前のフレームに基づいて定められた輝度変換係数を用いて輝度変換処理を行うことも可能ではあるが、あまり古いフレームに基づいた輝度変換係数を用いた場合、変換処理の精度が問題となることに注意を要する。この問題は、特に、動きの大きい動画である場合に顕著となる。また、例えば、入力画像として静止画を扱う場合等においては、第ｎ番目のフレームに係る入力画像に対して、第ｎ番目のフレームに基づいて定められた輝度変換係数を用いて輝度変換処理を行うようにしても良い。
【００５２】
次に、輝度変換係数の算出処理の内容について、図３のフローチャートを参照しながら説明する。
【００５３】
図３は、画像処理装置１における輝度変換係数の算出処理を説明するためのフローチャートである。
【００５４】
まず、１フレーム分の入力画像に対して、エリア分割を行う（ステップＳ１１）。
【００５５】
図４は、画像処理装置１におけるエリア分割の態様を説明するための図である。
【００５６】
なお、図４の例では、１フレームが縦４０×横６４（＝２５６０）の画素から構成されているものとし、１エリアは８×８画素分の大きさとする。従って、エリアの総数は、縦５エリア×横８エリア＝４０エリアとなる。また、各エリアについては、左上から順に、Ａ０、Ａ１、・・・、Ａｎ、・・・、Ａ３９と称することにする。
【００５７】
エリア分割が完了したら、次に、エリア別変換係数の算出を行う（図３のステップＳ１２）。このエリア別変換係数は、エリア毎に決定されるものであり、エリア内の各画素に共通となる。
【００５８】
なお、エリア別変換係数の算出方法については、フレーム全体を対象とする変換係数の算出方法と同様であるため、ここでは詳細な説明を割愛するが、フレーム全体の輝度ヒストグラムではなく、エリア毎の輝度ヒストグラム（各輝度または各輝度範囲に属する画素の出現頻度）が算出された後、当該エリア毎の輝度ヒストグラムに基づいて変換係数が算出される、という点で従来構成とは異なっている。このようにして算出されたエリア別変換係数によれば、分割された各エリアにつき、入力画像において高頻度な輝度範囲であるほど、出力画像において広い輝度範囲が割り当てられることとなる。
【００５９】
図３のステップＳ１２では、画像領域内の全エリアについて、エリア別変換係数が算出される。すなわち、各々のエリア毎に、固有のエリア別変換係数が定まることとなる。そして、エリア別変換係数をそのまま輝度変換係数として採用し、入力画像の輝度変換処理を実行するものとしても良い。これにより、画像全体に比べて輝度差の大きい箇所が部分的に存在していても、当該部分を含めた良好なコントラストを得ることが可能となる。
【００６０】
ただし、エリア別変換係数は、そのエリアの外、すなわち、他のエリアに係る輝度情報は基本的に考慮されない。そのため、エリア同士の境界部分では、輝度の差が目立ち（輝度の分布が高周波となり）、滑らかさの点において良好とはいえない画像が出力されるおそれがある。そこで、本実施形態では、各エリアについて算出されたエリア別変換係数に対し、フィルタ処理等を行うこととする。この処理の内容について具体的に説明する。
【００６１】
まず、フィルタ処理等の実行に先立ち、画像領域の外部に上述したエリアと同規模の仮想エリアを設定する。
【００６２】
図５は、仮想エリア（図中のＡ４０〜Ａ６９）が設定された状態を説明するための図である。
【００６３】
そして、これらの仮想エリアＡ４０〜Ａ６９に対して、仮想のエリア別変換係数（以下では、仮想係数と呼ぶ）を設定する（図３のステップＳ１３）。なお、この仮想係数は、後述する通り、画像領域の外縁付近のエリアに対しても、通常通りフィルタ処理を実行し得るようにするためのものである。
【００６４】
上記の仮想係数は、仮想エリアに隣り合う各エリア（画像領域の外縁に位置する各エリア）を基準として、当該仮想エリアと対称位置に存在するエリアのエリア別変換係数を参照して設定される。例えば、Ａ４１はＡ０に対してＡ８と対称であるから、Ａ４１の仮想係数は、Ａ８のエリア別変換係数と同値とする。同様に、Ａ４２はＡ１に対してＡ９と対称であるから、Ａ４２の仮想係数は、Ａ９のエリア別変換係数と同値とする。一方、四隅に位置するＡ４０はＡ０に対してＡ９と対称であるから、Ａ４０の仮想係数は、Ａ９のエリア別変換係数と同値とする。
【００６５】
なお、仮想係数の設定方法は、上述の他、例えば、画像領域の外縁（図５中の太線）に対して対称となるように設定しても良い。この場合、Ａ４１は画像領域の外縁に対してＡ０と対称であるから、Ａ４０の仮想係数は、Ａ０のエリア別変換係数と同値とする。同様に、Ａ４２は画像領域の外縁に対してＡ１と対称であるから、Ａ４２の仮想係数は、Ａ１のエリア別変換係数と同値とする。一方、四隅に位置するＡ４０は画像領域の外縁に対してＡ０と対称であるから、Ａ４０の仮想係数は、Ａ０のエリア別変換係数と同値とする。
【００６６】
このように、各仮想エリアに対して仮想係数を設定したら、次に、画像領域内の各エリアにおけるエリア別変換係数について、画像空間的にローパスフィルタをかける処理（フィルタ処理）を実行する（図３のステップＳ１４）。
【００６７】
図６は、ローパスフィルタの態様を説明するための図である。
【００６８】
これによれば、ある注目エリアについてフィルタを施す場合に、注目エリア周辺の所定範囲（この場合は上下左右の４エリア）に存在するエリアのエリア別変換係数が用いられることになる。ただし、この所定範囲の一部が画像領域からはみ出す場合、そのはみ出した部分については、その位置の仮想エリアに割り当てられた仮想係数をエリア別変換係数と仮定する。
【００６９】
例えば、エリアＡ０におけるフィルタ処理後のエリア別変換係数ａ’（０）は、以下のようになる。なお、ａ（ｎ）は、エリアＡｎ（ｎ＝０，１，８，４１，５０）における当該フィルタ処理前のエリア別変換係数を示している。また、ａ（４１）とａ（５０）は、それぞれ仮想エリアＡ４１とＡ５０における仮想係数である。
【００７０】
ａ´（０）＝ａ（０）／２＋[ａ（１）＋ａ（８）＋ａ（４１）＋ａ（５０）]／８
このようなフィルタ処理により、エリア同士の境界部分において輝度の差が目立っていた場合であっても、かかる輝度の差を軽減させることが可能となる。また、本実施形態では、ローパスフィルタとして図６に示すものを挙げたが、どの範囲までのエリアに係るエリア別変換係数を考慮するか、また、フィルタにおける各エリア毎の重み付けをどのようにするか等については、種々の態様とすることが可能である。
【００７１】
上記したフィルタ処理がなされたエリア別変換係数をそのまま輝度変換係数として採用し、入力画像の輝度変換処理を実行するようにしても良い。しかし、本実施形態では、さらに出力画像の滑らかさを得るため、画素ごとに決定される（同一エリア内でも、各画素に共通とは限らない）画素別変換係数を算出し（図３のステップＳ１５）、これを輝度変換係数として適用する（図３のステップＳ１６）。
【００７２】
ここで、この画素別変換係数の算出方法（バイリニア演算）について、図７を参照しながら説明する。
【００７３】
図７は、バイリニア演算について説明するための図である。
【００７４】
ある注目画素についての画素別変換係数を定めるにあたっては、当該画素の近傍に係る４個のエリアに着目する。例えば、図７における画素Ｐが注目画素であるときは、Ａ０、Ａ１、Ａ８、及び、Ａ９のエリアに着目することとなる。つまり、各エリアが一つの頂点を共有するとともに、各エリアの中心同士を結んでできる四辺形の内部に注目画素が位置する関係となるように、４個のエリアを選ぶこととする。
【００７５】
そして、注目画素Ｐの画素別変換係数は、これら４個のエリアの各々におけるフィルタ処理後のエリア別変換係数[ａ´（０）、ａ´（１）、ａ´（８）、ａ´（９）]と、注目画素Ｐの位置と、当該４個のエリアの各々における中心位置と、に係るバイリニア演算により算出される。
【００７６】
より具体的には、図７に示すように、横方向のエリア間距離をＸ、縦方向のエリア間距離をＹ、エリアＡ０の中心と注目画素Ｐとの横方向の距離をａ、同じく縦方向の距離をｂとした場合、注目画素Ｐの画素別変換係数ｐ（Ｐ）は、次のように求められる。
【００７７】
ｐ（Ｐ）＝｛  ａ´（０）×（Ｘ−ａ）×（Ｙ−ｂ）
＋ａ´（１）×ａ×（Ｙ−ｂ）
＋ａ´（８）×（Ｘ−ａ）×ｂ
＋ａ´（９）×ａ×ｂ                ]  ／（Ｘ×Ｙ）
なお、当該バイリニア演算においても、注目画素が画像領域の外縁付近にある場合は、着目する４個のエリアのうちの一部が画像領域からはみ出してしまうことが考えられる。このような場合でも、先述したフィルタ処理の場合と同様、仮想エリアおよび仮想係数を設定しておくこと等により、通常のバイリニア演算が実行可能である。
【００７８】
かかる方法によって、画像領域内の全ての画素について画素別変換係数を算出し、これを各々対応する画素に関する輝度変換係数とする。これにより、エリア別変換係数に基づいてエリア同士の境界部を含めて輝度の変化が滑らかとなるように、画素別変換係数が算出される。その結果、輝度変化の不連続な部分が生じることを極力回避することが可能となり、より美しい画像を出力することが容易となる。
【００７９】
なお、上述のようにバイリニア演算を用いた場合、通常、エリア同士の境界における輝度の差がより小さくなるように画素別変換係数が算出されることになる。しかし、エリア同士の境界における輝度の差を確実に小さくさせるため、上記バイリニア演算に代えて、またはバイリニア演算に加えて、別の演算手段を適用することとしても良い。
【００８０】
また、先述の輝度変換係数記憶部１３には、エリア別変換係数（エリア毎の係数）のみを格納しておき、最終的に輝度変換係数として採用する画素別変換係数（画素毎の係数）については、輝度変換処理が実行される時に算出されるものとしてもよい。このようにすれば、画素別変換係数を格納するものに比べて、輝度変換係数記憶部１３のメモリ容量が少なくて済むようになる。
【００８１】
また、上述した「画素」については、文字通り単一の画素を「画素」とする他、例えばＲＧＢ（赤・緑・青）の各画素からなる画素群を一体として考え、「画素」として取り扱うようにしてもよい。この場合「画素の輝度」は、当該画素群における輝度の平均値等と考えることができる。
【００８２】
上記したように、本実施形態の画像処理装置１であれば、画像全体からみると頻度の低い輝度（或いは輝度範囲）に係る部分が存在しても、当該部分を含めて良好なコントラストを得ることが可能となる。
【００８３】
ただし、本実施形態の画像処理装置１では、前フレームに係る入力画像に基づいて算出された輝度変換係数を用いて、現フレームに係る入力画像の輝度変換処理が実施されるため、フレーム毎（画面毎）の輝度変化が大きい場合には、ちらつきが発生したりフリッカーが増幅されるおそれがある。
【００８４】
そこで、以下では、上記の不具合を解消するための手段として、本発明に係る画像処理装置の第２実施形態を提案し、その構成及び動作について詳細な説明を行う。
【００８５】
図８は、本発明に係る画像処理装置の第２実施形態を示すブロック図である。
【００８６】
本図に示すように、本実施形態の画像処理装置１’は、先述の第１実施形態とほぼ同様の構成から成り、輝度変換係数記憶部１３’の構成に特徴を有している。そこで、第１実施形態と同様の部分については、図１と同一の符号を付すことで詳細な説明を省略し、以下では、本実施形態の特徴部分について、重点的な説明を行うことにする。
【００８７】
本実施形態の画像処理装置１’において、輝度変換係数記憶部１３’は、第ｎ番目のフレームに係る入力画像Ｉ（ｎ）の輝度変換処理に用いられた輝度変換係数Ｔ（ｎ）と、第ｎ番目のフレームに係る入力画像Ｉ（ｎ）に基づいて算出された輝度変換係数Ｔ’（ｎ）と、を所定の割合で足し合わせ、その加算結果を第（ｎ＋１）番目のフレームに係る入力画像Ｉ（ｎ＋１）の輝度変換処理に用いる輝度変換係数Ｔ（ｎ＋１）として記憶する手段であり、第１乗算部１３１と、第２乗算部１３２と、加算部１３３と、記憶部１３４と、を有して成る。
【００８８】
第１乗算部１３１は、第ｎ番目のフレームに係る入力画像Ｉ（ｎ）の輝度変換処理に用いられた輝度変換係数Ｔ（ｎ）に第１の係数｛（ｍ−１）／ｍ｝（ただし、ｍ＞１）を乗ずる手段である。
【００８９】
第２乗算部１３２は、第ｎ番目のフレームに係る入力画像Ｉ（ｎ）に基づいて算出された輝度変換係数Ｔ’（ｎ）に第２の係数（１／ｍ）を乗ずる手段である。
【００９０】
なお、上記のパラメータｍについて、例えば、フェードイン／フェードアウトのちらつき低減を主目的とする場合には、ｍ＝１６程度に設定すればよく、フリッカ低減を主目的とする場合には、ｍ＝３２程度に設定すればよい。
【００９１】
加算部１３３は、第１乗算部１３１の出力結果｛（ｍ−１）／ｍ｝・Ｔ（ｎ）と、第２乗算部１３２の出力結果（１／ｍ）・Ｔ’（ｎ）と、を足し合わせる手段である。
【００９２】
記憶部１３４は、上記加算部１３３の出力結果｛（ｍ−１）／ｍ｝・Ｔ（ｎ）＋（１／ｍ）・Ｔ’（ｎ）を第（ｎ＋１）番目のフレームに係る入力画像Ｉ（ｎ＋１）の輝度変換処理に用いる輝度変換係数Ｔ（ｎ＋１）として記憶する手段である。
【００９３】
図９は、第２実施形態における画像処理の流れを説明するための図である。
【００９４】
本図に示すように、本実施形態の画像処理装置１’では、前フレームに係る入力画像の輝度変換処理に用いられた輝度変換係数と、前フレームに係る入力画像に基づいて算出された輝度変換係数と、を所定の割合で足し合わせることにより、現フレームに係る入力画像の輝度変換処理に用いる輝度変換係数が生成される。
【００９５】
例えば、第ｎ番目のフレームを現フレームとした場合、第（ｎ−１）番目のフレームに係る入力画像Ｉ（ｎ−１）の輝度変換処理に用いられた輝度変換係数Ｔ（ｎ−１）と、第（ｎ−１）番目のフレームに係る入力画像Ｉ（ｎ−１）に基づいて算出された輝度変換係数Ｔ’（ｎ−１）と、を所定の割合で足し合わせることにより、第ｎ番目のフレームに係る入力画像Ｉ（ｎ）の輝度変換処理に用いる輝度変換係数Ｔ（ｎ）が生成される。
【００９６】
すなわち、本実施形態の画像処理装置１’では、現フレームに係る入力画像の輝度変換処理に用いる輝度変換係数として、前フレームに係る入力画像に基づいて算出された輝度変換係数だけでなく、前フレームに係る入力画像の輝度変換処理に用いられた輝度変換係数が所定の割合で用いられることから、延いては、前々フレーム、前々々フレーム、…、それ以前のフレームに係る入力画像の輝度変換処理で綿々と用いられてきた輝度変換係数が踏襲され続ける形となる。
【００９７】
このような構成とすることにより、入力画像の輝度変換処理に用いる輝度変換係数に時間軸でフィルタをかけることができるので、入力画像に輝度変換処理を施して所望の出力画像を生成する際に、出力画像のちらつきやフリッカを低減することが可能となる。
【００９８】
なお、上記実施形態では、監視カメラやドアホンなどの撮像画像に対して輝度変換処理を施す画像処理装置に本発明を適用した場合を例に挙げて説明を行ったが、本発明の適用対象はこれに限定されるものではなく、ＤＶＤ再生装置やビデオデッキなどの再生画像に対して輝度変換処理を施す画像処理装置や、デジタルカメラの静止画像に対して輝度変換処理を施す画像処理装置など、入力画像に輝度変換処理を施して所望の出力画像を生成する画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置全般に適用することが可能である。
【００９９】
また、上記実施形態では、入力画像を複数エリアに分割し、各エリア毎の輝度ヒストグラムに基づいて、輝度変換係数を算出する画像処理装置に本発明を適用した場合を例に挙げて説明を行ったが、本発明の適用対象はこれに限定されるものではなく、入力画像全体の輝度ヒストグラムに基づいて輝度変換係数を算出し、入力画像を構成する各画素に対して、輝度変換係数に応じた輝度変換処理を施すことにより、所望の出力画像を生成する画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置についても、広く適用することが可能である。
【０１００】
また、本発明の構成は、上記実施形態のほか、発明の主旨を逸脱しない範囲で種々の変更を加えることが可能である。
【産業上の利用可能性】
【０１０１】
本発明は、入力画像に輝度変換処理を施して所望の出力画像を生成する画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置において、出力画像の画質や視認性を高める上で有用な技術である。
【図面の簡単な説明】
【０１０２】
【図１】は、本発明に係る画像処理装置の第１実施形態を示すブロック図である。
【図２】は、画像処理の全体的な流れを説明するための図である。
【図３】は、輝度変換係数の算出処理を説明するためのフローチャートである。
【図４】は、エリア分割の態様を説明するための図である。
【図５】は、仮想エリアが設定された状態を説明するための図である。
【図６】は、ローパスフィルタの態様を説明するための図である。
【図７】は、バイリニア演算について説明するための図である。
【図８】は、本発明に係る画像処理装置の第２実施形態を示すブロック図である。
【図９】は、第２実施形態における画像処理の流れを説明するための図である。
【符号の説明】
【０１０３】
１、１’    画像処理装置
１０    撮像部（撮像手段）
１１    輝度変換処理部
１２    輝度変換係数算出部
１３、１３’    輝度変換係数記憶部
１３１    第１乗算部
１３２    第２乗算部
１３３    加算部
１３４    記憶部
１４    出力部
【図１】
2008263253.tif 000003
【図２】
2008263253.tif 000004
【図３】
2008263253.tif 000005
【図４】
2008263253.tif 000006
【図５】
2008263253.tif 000007
【図６】
2008263253.tif 000008
【図７】
2008263253.tif 000009
【図８】
2008263253.tif 000010
【図９】
2008263253.tif 000011