(57)【要約】【課題】本発明は、入力画像のフリッカ成分を除去し、出力画像の視認性を高めることが可能な画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置を提供することを目的とする。【解決手段】本発明に係る画像処理回路（特にフリッカ成分除去部２０）は、入力画像を構成する各画素毎の輝度値を合計し、１フレーム分のフレーム輝度を算出するフレーム輝度算出部２１と；前記フレーム輝度を時間軸で平滑化し、複数フレーム分の平均輝度を算出する平均輝度算出部２２と；前記フレーム輝度と前記平均輝度との差分値を算出する差分演算部２３と；前記入力画像を構成する各画素毎の輝度値に対して、前記差分値の減算または加算を行う補正演算部２４と；を有して成る構成とされている。【選択図】図１
2009033293.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を構成する各画素毎の輝度値を合計し、１フレーム分のフレーム輝度を算出するフレーム輝度算出部と；前記フレーム輝度を時間軸で平滑化し、複数フレーム分の平均輝度を算出する平均輝度算出部と；前記フレーム輝度と前記平均輝度との差分値を算出する差分演算部と；前記入力画像を構成する各画素毎の輝度値に対して、前記差分値の減算または加算を行う補正演算部と；を有して成ることを特徴とする画像処理回路。
【請求項２】
前記補正演算部で得られた補正入力画像の輝度ヒストグラムを取得し、これに基づく輝度変換係数を算出する輝度変換係数算出部と；前記補正入力画像を構成する各画素に対して、前記輝度変換係数に応じた輝度変換処理を施す輝度変換処理部と；を有して成ることを特徴とする請求項１に記載の画像処理回路。
【請求項３】
請求項１または請求項２に記載の画像処理回路を集積化して成る半導体装置。
【請求項４】
動画撮影を行う撮像部と；前記撮像部で得られた動画像を前記入力画像とし、これに所定の画像処理を施して、所望の出力画像を生成する請求項３に記載の半導体装置と；を有して成ることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像に所定の画像処理（例えば、輝度変換処理（いわゆる輝度ダイナミックレンジ補正処理））を施して所望の出力画像を生成する画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置に関するものである。
【背景技術】
【０００２】
従来より、入力画像をより美しく見せるための画像処理の一つとして、輝度変換処理が一般に用いられている。この輝度変換処理は、例えば、画像全体における輝度分布に基づいて輝度変換係数を算出し、各画素にこの輝度変換係数を乗じることで輝度変換を行うものである。
【０００３】
より具体的には、まず入力画像の全体を対象とした輝度分布（各輝度範囲の頻度、すなわち、所定の輝度範囲毎に属する画素数の分布）を求める。そして、この輝度分布に基づき、入力画像における各輝度範囲について、頻度の高いものほど出力画像においては広い輝度範囲を割り当てるように、逆に、頻度の低いものほど出力画像においては狭い輝度範囲を割り当てるように、輝度変換係数を算出するものである。従って、上記の輝度変換係数は、輝度毎に、或いは、所定の輝度範囲毎に、別個の値となる。
【０００４】
これにより、入力画像において頻度の低い輝度範囲の部分については、よりコントラスト（輝度差）が曖昧となってしまうものの、逆に、入力画像において頻度の高い輝度範囲の部分については、よりコントラストが明瞭となる。そのため、画像全体として見てみると、入力時よりもコントラストを明瞭とすることが可能となる。
【０００５】
なお、上記に関連する従来技術としては、特許文献１〜４などを挙げることができる。
【特許文献１】特表２００４−５３０３６８号公報
【特許文献２】特開２０００−０１３６２５号公報
【特許文献３】特開２０００−０３６０４３号公報
【特許文献４】特開２００４−１４５３９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
確かに、上記従来の画像処理装置であれば、画像全体として見てみると、入力画像よりも出力画像のコントラストを明瞭とすることができるので、その画質や視認性を高めることが可能となる。
【０００７】
ところで、上記画像処理の対象となる入力画像には、フリッカ成分を含んでいるものも存在する。例えば、駆動周波数５０［Ｈｚ］の蛍光灯の下で、駆動周波数６０［Ｈｚ］のカメラによる動画撮影を行った場合、得られる動画像にはフリッカ成分が含まれる。
【０００８】
しかしながら、上記従来の画像処理装置には、入力画像のフリッカ成分を除去する手段が何ら設けられておらず、当該フリッカ成分が出力画像の視認性を低下させる要因の一つとなっていた。特に、入力画像に対して上記の輝度変換処理を施した場合には、フリッカ成分が増幅され、出力画像の視認性を著しく低下させるおそれがあった。
【０００９】
本発明は、上記の問題点に鑑み、入力画像のフリッカ成分を除去し、出力画像の視認性を高めることが可能な画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明に係る画像処理回路は、入力画像を構成する各画素毎の輝度値を合計し、１フレーム分のフレーム輝度を算出するフレーム輝度算出部と；前記フレーム輝度を時間軸で平滑化し、複数フレーム分の平均輝度を算出する平均輝度算出部と；前記フレーム輝度と前記平均輝度との差分値を算出する差分演算部と；前記入力画像を構成する各画素毎の輝度値に対して、前記差分値の減算または加算を行う補正演算部と；を有して成る構成（第１の構成）とされている。
【００１１】
なお、上記第１の構成から成る画像処理回路は、さらに、前記補正演算部で得られた補正入力画像の輝度ヒストグラムを取得し、これに基づく輝度変換係数を算出する輝度変換係数算出部と；前記補正入力画像を構成する各画素に対して、前記輝度変換係数に応じた輝度変換処理を施す輝度変換処理部と；を有して成る構成（第２の構成）にするとよい。
【００１２】
また、本発明に係る半導体装置は、上記第１または第２の構成から成る画像処理回路を集積化して成る構成（第３の構成）とされている。
【００１３】
また、本発明に係る画像処理装置は、動画撮影を行う撮像部と；前記撮像部で得られた動画像を前記入力画像とし、これに所定の画像処理を施して、所望の出力画像を生成する請求項３に記載の半導体装置と；を有して成る構成（第４の構成）とされている。
【発明の効果】
【００１４】
本発明に係る画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置であれば、入力画像のフリッカ成分を除去し、出力画像の視認性を高めることが可能となる。
【発明を実施するための最良の形態】
【００１５】
以下では、動画撮像により得られた各フレームの画像に対して輝度変換処理を行う画像処理装置（セキュリティカメラや車載カメラなどの撮像装置）に本発明を適用した場合を例に挙げて、詳細な説明を行う。
【００１６】
まず、本発明に係る画像処理装置の一実施形態について詳細に説明する。
【００１７】
図１は、本発明に係る画像処理装置の一実施形態を示すブロック図である。
【００１８】
本図に示すように、本実施形態の画像処理装置１は、撮像部１０と、フリッカ成分除去部２０と、輝度ダイナミックレンジ補正部３０と、出力部４０と、を有して成る。
【００１９】
撮像部１０は、所定のレンズや撮像素子（ＣＣＤ［Charge Coupled Devices］センサやＣＭＯＳ［Complimentary Metal Oxide Semiconductor］センサ）などを備えており、被写体の光学像を結像させることで、被写体の撮像処理（例えば３０フレーム毎秒の動画撮影）を行う手段である。なお、撮像部１０で得られる各フレーム毎の画像データは、フリッカ成分除去部２０に逐次出力される。
【００２０】
フリッカ成分除去部２０は、フレーム輝度算出部２１と、平均輝度算出部２２と、差分演算部２３と、補正演算部２４と、を有して成る。
【００２１】
フレーム輝度算出部２１は、撮像部１０から入力される画像データ（入力画像）を構成する各画素毎の輝度値を合計し、１フレーム分のフレーム輝度を算出する手段である。
【００２２】
平均輝度算出部２２は、前記フレーム輝度を時間軸で平滑化し、現フレームに直近の複数フレーム分の平均輝度を算出する手段である。
【００２３】
なお、上記平均輝度の算出手法としては、個々のフレーム輝度に重み付けを行わない単純移動平均（ＳＭＡ［Simple Moving Average］）を用いてもよいし、個々のフレーム輝度に異なる重み付けを行う加重移動平均（ＷＭＡ［Weighted Moving Average］）を用いても構わない。
【００２４】
また、上記平均輝度の算出対象として現フレームを含めるか否か、或いは、何フレーム分の平均輝度を算出するかについても、後述する差分演算部２３において、適切にフリッカ成分を抽出し得る限り、いかなる設定を行っても構わない。
【００２５】
図２は、上記したフレーム輝度と平均輝度との相関関係を示す模式図である。なお、図中の実線Ｌ１は、フリッカ成分を含んだフレーム輝度の挙動を示しており、破線Ｌ２は、フレーム輝度を時間軸で平滑化した平均輝度の挙動を示している。
【００２６】
差分演算部２３は、現フレーム輝度と平均輝度との差分値を算出し、これをフリッカ成分として抽出する手段である。なお、本実施形態において、差分演算部２３は、現フレーム輝度から平均輝度を差し引く構成とされている。すなわち、現フレーム輝度が平均輝度よりも高ければ、フリッカ成分として正の値が得られ、現フレーム輝度が平均輝度よりも低ければ、フリッカ成分として負の値が得られる。
【００２７】
補正演算部２４は、入力画像を構成する各画素毎の輝度値に対して、前記差分値の減算または加算を行う手段である。なお、本実施形態において、差分演算部２３は、先述したように、現フレーム輝度から平均輝度を差し引く構成とされているため、補正演算部２４は、入力画像を構成する各画素毎の輝度値から前記差分値を減算する構成とされている。すなわち、現フレーム輝度が平均輝度よりも高く、フリッカ成分として正の値が得られている場合には、入力画像を構成する各画素毎の輝度値を下げて、フリッカ成分を除去するように、逆に、現フレーム輝度が平均輝度よりも低く、フリッカ成分として負の値が得られている場合には、入力画像を構成する各画素毎の輝度値を上げて、フリッカ成分を除去るように、入力画像の補正演算が行われる。
【００２８】
輝度ダイナミックレンジ補正部３０は、輝度変換処理部３１と、輝度変換係数算出部３２と、を有して成る。
【００２９】
輝度変換処理部３１は、輝度変換係数算出部３２で得られる輝度変換係数に基づき、撮像部１０からフリッカ成分除去部２０を介して入力される画像データ（補正入力画像）を構成する各画素に対して、所定の輝度変換処理（輝度ダイナミックレンジ補正処理）を施す手段である。
【００３０】
輝度変換係数算出部３２は、補正入力画像の輝度分布に基づいて、上記の輝度変換係数を算出する手段である。より具体的に述べると、輝度変換係数算出部３２は、補正入力画像の輝度分布（各輝度範囲の頻度、すなわち、所定の輝度範囲毎に属する画素数の分布）を求め、この輝度分布に基づき、補正入力画像における各輝度範囲について、頻度の高いものほど出力画像においては広い輝度範囲を割り当てるように、逆に、頻度の低いものほど出力画像においては狭い輝度範囲を割り当てるように、輝度変換係数を算出する。従って、上記の輝度変換係数は、輝度毎に、或いは、所定の輝度範囲毎に、別個の値となる。
【００３１】
出力部４０は、ＬＣＤ［Liquid Crystal Display］等のディスプレイ、或いは、外部ディスプレイを接続するためのインターフェイスを備えており、輝度ダイナミックレンジ補正部３０で得られた出力画像を表示する手段である。
【００３２】
なお、上記構成要素のうち、フリッカ成分除去部２０、及び、輝度ダイナミックレンジ補正部３０は、半導体装置に集積化するとよい。
【００３３】
上記したように、本実施形態の画像処理装置１は、動画撮影により得られた入力画像に所定の輝度変換処理を施して、これをディスプレイに表示する構成とされている。このような輝度変換処理を施す構成であれば、入力画像において頻度の高い輝度範囲の部分については、そのコントラストをより明瞭とすることが可能となる。
【００３４】
また、本実施形態の画像処理装置１は、上記の輝度ダイナミックレンジ補正に先立ち、入力画像に含まれるフリッカ成分を抽出し、これを積極的に除去する構成とされている。このような構成とすることにより、輝度ダイナミックレンジ補正によるフリッカ成分の強調を未然に抑制し、出力画像の視認性を高めることが可能となる。
【００３５】
なお、本発明の構成は、上記実施形態のほか、発明の主旨を逸脱しない範囲で種々の変更を加えることが可能である。
【００３６】
例えば、上記実施形態では、フレーム輝度から平均輝度を差し引いた差分値をフリッカ成分として抽出し、これを入力画像から減算する構成を例に挙げて説明を行ったが、本発明の構成はこれに限定されるものではなく、上記実施形態とは逆に、平均輝度からフレーム輝度を差し引いた差分値をフリッカ成分として抽出し、これを入力画像に加算する構成としても構わない。
【産業上の利用可能性】
【００３７】
本発明は、入力画像に所定の画像処理を施して、所望の出力画像を生成する画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置において、入力画像のフリッカ成分を除去し、出力画像の視認性を高める上で有用な技術である。
【図面の簡単な説明】
【００３８】
【図１】は、本発明に係る画像処理装置の一実施形態を示すブロック図である。
【図２】は、フレーム輝度と平均輝度との相関関係を示す模式図である。
【符号の説明】
【００３９】
１    画像処理装置
１０    撮像部
２０    フリッカ成分除去部
２１    フレーム輝度算出部
２２    平均輝度算出部
２３    差分演算部
２４    補正演算部（減算器）
３０    輝度ダイナミックレンジ補正部
３１    輝度変換処理部
３２    輝度変換係数算出部
４０    出力部
【図１】
2009033293.tif 000003
【図２】
2009033293.tif 000004