(57)【要約】【課題】本発明は、入力画像に輝度変換処理を施して所望の出力画像を生成するに際して出力画像の鮮明度を損なうことなくノイズを適切に除去することが可能な画像処理回路を提供することを目的とする。【解決手段】本発明に係る画像処理回路は、入力画像を構成する各画素に対して輝度変換処理を施す輝度変換処理部１１と；輝度変換処理部１１の出力画像を構成する各画素に対してノイズ除去処理を施すノイズ除去処理部１３と；入力画像を構成する各画素毎の輝度値と、輝度変換処理部１１の出力画像を構成する各画素毎の輝度値との差分値を算出し、その算出結果に応じてノイズ除去処理のフィルタ係数を設定するフィルタ係数設定部１４と；を有して成る構成とされている。【選択図】図１
2008171059.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を構成する各画素に対して輝度変換処理を施す輝度変換処理部と；
前記輝度変換処理部の出力画像を構成する各画素に対してノイズ除去処理を施すノイズ除去処理部と；
前記入力画像を構成する各画素毎の輝度値と、前記輝度変換処理部の出力画像を構成する各画素毎の輝度値との差分値を算出し、その算出結果に応じて前記ノイズ除去処理のフィルタ係数を設定するフィルタ係数設定部と；
を有して成ることを特徴とする画像処理回路。
【請求項２】
前記フィルタ係数設定部は、前記差分値が大きいほど、前記ノイズ除去処理を強めるように、前記フィルタ係数を設定することを特徴とする請求項１に記載の画像処理回路。
【請求項３】
入力画像を構成する各画素に対して輝度変換処理を施す輝度変換処理部と；
前記輝度変換処理部の出力画像を構成する各画素に対してノイズ除去処理を施すノイズ除去処理部と；
前記ノイズ除去処理部の出力画像を構成する各画素に対してエッジ強調処理を施すエッジ強調処理部と；
前記入力画像を構成する各画素毎の輝度値と、前記輝度変換処理部の出力画像を構成する各画素毎の輝度値との差分値を算出し、その算出結果に応じて前記エッジ強調処理のフィルタ係数を設定するフィルタ係数設定部と；
を有して成ることを特徴とする画像処理回路。
【請求項４】
前記フィルタ係数設定部は、前記差分値が小さいほど、前記エッジ強調処理を強めるように、前記フィルタ係数を設定することを特徴とする請求項３に記載の画像処理回路。
【請求項５】
請求項１〜請求項４のいずれかに記載の画像処理回路を集積化して成る半導体装置。
【請求項６】
請求項５に記載の半導体装置と、被写体の光学像を結像させ、該被写体の撮像を行う撮像手段と、を有して成り、前記入力画像は、該撮像により得られた画像であることを特徴とする画像処理装置。
【請求項７】
請求項５に記載の半導体装置と、放送受信手段或いはメディア再生手段と、を有して成り、前記入力画像は、前記放送受信手段により得られた受信画像、或いは、前記メディア再生手段により得られた再生画像であることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像に輝度変換処理（輝度ダイナミックレンジ補正処理）を施して所望の出力画像を生成する画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置に関するものである。
【背景技術】
【０００２】
従来より、入力画像をより美しく見せるための画像処理の一つとして、輝度変換処理が一般に用いられている。この輝度変換処理は、例えば、画像全体における輝度分布に基づいて輝度変換係数を算出し、各画素にこの輝度変換係数を乗じることで輝度変換を行うものである。
【０００３】
より具体的には、まず入力画像の全体を対象とした輝度分布（各輝度範囲の頻度、すなわち、所定の輝度範囲毎に属する画素数の分布）を求める。そして、この輝度分布に基づき、入力画像における各輝度範囲について、頻度の高いものほど出力画像においては広い輝度範囲を割り当てるように、逆に、頻度の低いものほど出力画像においては狭い輝度範囲を割り当てるように、輝度変換係数を算出するものである。従って、上記の輝度変換係数は、輝度毎に、或いは、所定の輝度範囲毎に、別個の値となる。
【０００４】
これにより、入力画像において頻度の低い輝度範囲の部分については、よりコントラスト（輝度差）が曖昧となってしまうものの、逆に、入力画像において頻度の高い輝度範囲の部分については、よりコントラストが明瞭となる。そのため、画像全体として見てみると、入力時よりもコントラストを明瞭とすることが可能となる。
【０００５】
なお、上記に関連する従来技術としては、特許文献１〜４などを挙げることができる。
【０００６】
また、特許文献５には、画像の輝度成分を抽出する手段と、前記輝度成分に基づきぼけ画像を作成する作成手段と、前記ぼけ画像に応じて前記画像の明暗差を補正する補正手段と、前記明暗差の補正量に応じて、前記補正された画像にノイズ除去を施す除去手段と、を有することを特徴とする画像処理装置が開示・提案されている。
【特許文献１】特表２００４−５３０３６８号公報
【特許文献２】特開２０００−０１３６２５号公報
【特許文献３】特開２０００−０３６０４３号公報
【特許文献４】特開２００４−１４５３９９号公報
【特許文献５】特開２００６−６５６７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
確かに、上記従来の画像処理装置であれば、画像全体として見てみると、入力画像よりも出力画像のコントラストを明瞭とすることができるので、その画質や視認性を高めることが可能となる。
【０００８】
しかしながら、上記従来の画像処理装置では、輝度ダイナミックレンジ補正処理によって、出力画像のコントラストを明瞭とし得る反面、不要なノイズ成分を強調してしまい、出力画像の画質や視認性を損なうおそれがあった。例えば、低輝度画素の頻度が高い入力画像（すなわち暗い入力画像）については、低輝度部分（暗い部分）のコントラストが高められることに伴って、暗所で発生しやすい撮像素子（特に、ＣＭＯＳ［Complementary Metal-Oxide Semiconductor］センサやＣＣＤ［Charge Coupled Devices］センサ）のノイズまで明るく強調されるおそれがあった。
【０００９】
なお、従来より、上記ノイズを除去するための技術は種々開示・提案されているが、従来のノイズ除去処理は、入力画像の輝度値（明暗）に基づいてフィルタ係数を設定されたものであり、輝度ダイナミックレンジ補正処理の補正量まで反映したものではなかった。そのため、入力画像によっては、補正量が小さい画素（ノイズがさほど強調されていない画素）に対して不要に強いノイズ除去処理を施してしまい、出力画像がぼけて、その鮮明度を損なうおそれがあった。
【００１０】
本発明は、上記の問題点に鑑み、入力画像に輝度変換処理（輝度ダイナミックレンジ補正処理）を施して所望の出力画像を生成するに際して、出力画像の鮮明度を損なうことなくノイズを適切に除去し、出力画像の画質や視認性を高めることが可能な画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明に係る画像処理回路は、入力画像を構成する各画素に対して輝度変換処理を施す輝度変換処理部と；前記輝度変換処理部の出力画像を構成する各画素に対してノイズ除去処理を施すノイズ除去処理部と；前記入力画像を構成する各画素毎の輝度値と、前記輝度変換処理部の出力画像を構成する各画素毎の輝度値との差分値を算出し、その算出結果に応じて前記ノイズ除去処理のフィルタ係数を設定するフィルタ係数設定部と；を有して成る構成（第１の構成）とされている。
【００１２】
なお、上記第１の構成から成る画像処理回路において、前記フィルタ係数設定部は、前記差分値が大きいほど、前記ノイズ除去処理を強めるように、前記フィルタ係数を設定する構成（第２の構成）にするとよい。
【００１３】
このような構成とすることにより、輝度変換処理による補正量（前記差分値）が大きい部分（ノイズが強調されているおそれのある部分）については、ノイズ除去処理を強めに施す一方、補正量が小さい部分については、ノイズが目立ちにくいことに鑑みて、ノイズ除去処理を弱めにし、その鮮明度を優先することが可能となる。従って、入力画像に輝度変換処理（輝度ダイナミックレンジ補正処理）を施して所望の出力画像を生成するに際して、出力画像の鮮明度を損なうことなくノイズを適切に除去し、出力画像の画質や視認性を高めることが可能となる。
【００１４】
或いは、本発明に係る画像処理回路は、入力画像を構成する各画素に対して輝度変換処理を施す輝度変換処理部と；前記輝度変換処理部の出力画像を構成する各画素に対してノイズ除去処理を施すノイズ除去処理部と；前記ノイズ除去処理部の出力画像を構成する各画素に対してエッジ強調処理を施すエッジ強調処理部と；前記入力画像を構成する各画素毎の輝度値と、前記輝度変換処理部の出力画像を構成する各画素毎の輝度値との差分値を算出し、その算出結果に応じて前記エッジ強調処理のフィルタ係数を設定するフィルタ係数設定部と；を有して成る構成（第３の構成）とされている。
【００１５】
なお、上記第３の構成から成る画像処理回路において、前記フィルタ係数設定部は、前記差分値が小さいほど、前記エッジ強調処理を強めるように、前記フィルタ係数を設定する構成（第４の構成）にするとよい。
【００１６】
このような構成とすることにより、輝度変換処理による補正量（前記差分値）が小さい部分（不要に強いノイズ除去処理が施されているおそれのある部分）については、エッジ強調処理を強めに施す一方、補正量が大きい部分については、エッジ強調処理を弱めにして、出力画像のぼけ抑制よりもノイズ除去を優先することが可能となる。従って、入力画像に輝度変換処理（輝度ダイナミックレンジ補正処理）を施して所望の出力画像を生成するに際して、出力画像の鮮明度を損なうことなくノイズを適切に除去し、出力画像の画質や視認性を高めることが可能となる。
【００１７】
また、本発明に係る半導体装置は、上記第１〜第４いずれかの構成から成る画像処理回路を集積化して成る構成（第５の構成）とされている。
【００１８】
また、本発明に係る画像処理装置は、上記第５の構成から成る半導体装置と、被写体の光学像を結像させ、該被写体の撮像を行う撮像手段と、を有して成り、前記入力画像は、該撮像により得られた画像である構成（第６の構成）にするとよい。このような構成とすれば、上記いずれかの構成により得られる利益を享受しつつ、被写体の撮像を行うことが可能となる。
【００１９】
また、本発明に係る画像処理装置は、上記第５の構成から成る半導体装置と、放送受信手段或いはメディア再生手段と、を有して成り、前記入力画像は、前記放送受信手段により得られた受信画像、或いは、前記メディア再生手段により得られた再生画像である構成（第７の構成）にするとよい。このような構成とすれば、上記いずれかの構成により得られる利益を享受しつつ、放送の受信或いはメディアの再生を行うことが可能となる。
【発明の効果】
【００２０】
上記の通り、本発明に係る画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置であれば、入力画像の各画素毎に、最適なノイズ除去処理ないしエッジ強調処理を施すことができるので、入力画像に輝度変換処理（輝度ダイナミックレンジ補正処理）を施して所望の出力画像を生成するに際して、出力画像の鮮明度を損なうことなくノイズを適切に除去し、出力画像の画質や視認性を高めることが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下では、動画撮像により得られた各フレームの画像に対して輝度変換処理を行う画像処理装置に本発明を適用した場合を例に挙げて、詳細な説明を行う。
【００２２】
まず、本発明に係る画像処理装置の第１実施形態について詳細に説明する。
【００２３】
図１は、本発明に係る画像処理装置の第１実施形態を示すブロック図である。
【００２４】
本図に示すように、本実施形態の画像処理装置１Ａは、撮像部１０と、輝度変換処理部１１と、輝度変換係数算出部１２と、ノイズ除去処理部１３と、フィルタ係数設定部１４と、出力部１５と、を有して成る。
【００２５】
撮像部１０は、所定のレンズや撮像素子（ＣＭＯＳセンサやＣＣＤセンサ）等を備えており、被写体の光学像を結像させることで、被写体の撮像処理（例えば３０フレーム毎秒の動画撮像）を行う手段である。なお、撮像部１０で得られる各フレーム毎の画像データは、輝度変換処理部１１、輝度変換係数算出部１２、及び、フィルタ係数設定部１４に逐次出力される。
【００２６】
輝度変換処理部１１は、輝度変換係数算出部１２で得られる輝度変換係数に基づき、撮像部１０から入力される画像データ（入力画像）を構成する各画素に対して、所定の輝度変換処理（輝度ダイナミックレンジ補正処理）を施す手段である。
【００２７】
輝度変換係数算出部１２は、入力画像の輝度分布に基づいて、上記の輝度変換係数を算出する手段である。より具体的に述べると、輝度変換係数算出部１２は、まず、入力画像にガンマ補正を施した後、その補正済みデータに基づいて、入力画像の全体を対象とした輝度分布（各輝度範囲の頻度、すなわち、所定の輝度範囲毎に属する画素数の分布）を求め、この輝度分布に基づき、入力画像における各輝度範囲について、頻度の高いものほど出力画像においては広い輝度範囲を割り当てるように、逆に、頻度の低いものほど出力画像においては狭い輝度範囲を割り当てるように、輝度変換係数を算出する。従って、上記の輝度変換係数は、輝度毎に、或いは、所定の輝度範囲毎に、別個の値となる。
【００２８】
ノイズ除去処理部１３は、フィルタ係数設定部１４で得られるフィルタ係数に基づき、輝度変換処理部１１の出力画像を構成する各画素に対して、所定のノイズ除去処理を施す手段である。なお、ノイズ除去処理の一例としては、ノイズ除去処理の対象となる画素の輝度値と、その周辺画素（例えば上下左右の４画素）の輝度値を参照し、所定の重み付け演算を行うによって、画像空間的にローパスフィルタ処理を施すことが考えられる。このようなノイズ除去処理により、隣接する画素同士の輝度差を軽減して、ノイズを目立たなくすることが可能となる。
【００２９】
フィルタ係数設定部１４は、入力画像を構成する各画素毎の輝度値（補正前の輝度値）と、輝度変換処理部１１の出力画像を構成する各画素毎の輝度値（補正後の輝度値）との差分値（輝度変換処理による補正量）を算出し、その算出結果に応じてノイズ除去処理のフィルタ係数を設定する手段である。
【００３０】
出力部１５は、ＬＣＤ［Liquid Crystal Display］等のディスプレイを備えており、ノイズ除去処理部１３でノイズ除去処理を施された出力画像を表示する手段である。
【００３１】
なお、上記構成要素のうち、輝度変換処理部１１、輝度変換係数算出部１２、ノイズ除去処理部１３、及び、フィルタ係数設定部１４は、半導体装置に集積化するとよい。
【００３２】
上記構成から成る画像処理装置１Ａは、動画撮像により得られた入力画像に輝度変換係数に基づいた輝度変換処理を施して、これをディスプレイ表示する。このような輝度変換処理を施すことにより、入力画像において頻度の高い輝度範囲の部分については、そのコントラストをより明瞭とすることが可能となる。
【００３３】
また、本実施形態の画像処理装置１Ａは、入力画像の輝度値（明暗）に基づいてノイズ除去処理のフィルタ係数を設定する構成ではなく、補正前の輝度値と補正後の輝度値との差分値（すなわち、輝度変換処理による補正量）に基づいてノイズ除去処理のフィルタ係数を設定する構成とされている。
【００３４】
より具体的に述べると、本実施形態の画像処理回路１Ａにおいて、フィルタ係数設定部１４は、図２で模式的に示すように、輝度変換処理による補正量が大きいほど、ノイズ除去処理を強めるように、直線的或いは曲線的な相関を持って、ノイズ除去処理のフィルタ係数を設定する構成とされている。なお、図２において、輝度ダイナミックレンジ補正処理の対象部分Ｘ１〜Ｘ４は、それぞれノイズ除去処理の対象部分Ｙ１〜Ｙ４に対応する。
【００３５】
このように、輝度ダイナミックレンジ補正処理の補正量を反映してノイズ除去処理を行う構成とすることにより、輝度変換処理による補正量（前記差分値）が大きい部分（ノイズが強調されているおそれのある部分）については、ノイズ除去処理を強めに施す一方、補正量が小さい部分については、ノイズが目立ちにくいことに鑑みて、ノイズ除去処理を弱めにし、その鮮明度を優先することが可能となる。従って、本実施形態の画像処理装置１Ａであれば、入力画像に輝度変換処理（輝度ダイナミックレンジ補正処理）を施して所望の出力画像を生成するに際して、出力画像の鮮明度を損なうことなくノイズを適切に除去し、出力画像の画質や視認性を高めることが可能となる。
【００３６】
次に、本発明に係る画像処理装置の第２実施形態について詳細に説明する。
【００３７】
図３は、本発明に係る画像処理装置の第２実施形態を示すブロック図である。
【００３８】
本図に示すように、本実施形態の画像処理装置１Ｂは、先述の第１実施形態とほぼ同様の構成から成り、ノイズ除去処理部１３の後段に、エッジ強調処理部１６を有して成るほか、ノイズ除去処理のフィルタ係数を設定するフィルタ係数設定部１４に代えて、エッジ強調処理部１６のフィルタ係数を設定するフィルタ係数設定部１７を有して成る点に特徴を有している。
【００３９】
エッジ強調処理部１６は、フィルタ係数設定部１７で得られるフィルタ係数に基づき、ノイズ除去処理部１３の出力画像を構成する各画素に対して、所定のエッジ強調処理を施す手段である。なお、エッジ強調処理の一例としては、エッジ強調処理の対象となる画素の輝度値と、その周辺画素（例えば上下左右の４画素）の輝度値を参照し、所定の重み付け演算を行うによって、画像空間的にハイパスフィルタ処理を施すことが考えられる。このようなエッジ強調処理により、ノイズ除去処理によって曖昧となった出力画像の輪郭を際立たせて、出力画像のぼけを抑制することが可能となる。
【００４０】
フィルタ係数設定部１７は、入力画像を構成する各画素毎の輝度値（補正前の輝度値）と、輝度変換処理部１１の出力画像を構成する各画素毎の輝度値（補正後の輝度値）との差分値（輝度変換処理による補正量）を算出し、その算出結果に応じてエッジ強調処理のフィルタ係数を設定する手段である。
【００４１】
このように、本実施形態の画像処理装置１Ｂは、補正前の輝度値と補正後の輝度値との差分値（すなわち輝度変換処理による補正量）に基づいて、ノイズ除去処理のフィルタ係数を設定するのではなく、エッジ強調処理のフィルタ係数を設定する構成とされている。
【００４２】
より具体的に述べると、本実施形態の画像処理回路１Ｂにおいて、フィルタ係数設定部１７は、図４で模式的に示すように、輝度変換処理による補正量が小さいほど、エッジ強調処理を強めるように、直線的或いは曲線的な相関を持って、エッジ強調処理のフィルタ係数を設定する構成とされている。なお、図４において、輝度ダイナミックレンジ補正処理の対象部分Ｘ１〜Ｘ４は、それぞれエッジ強調処理の対象部分Ｙ１〜Ｙ４に対応する。
【００４３】
このように、輝度ダイナミックレンジ補正処理の補正量を反映して、エッジ強調処理を行う構成とすることにより、輝度変換処理による補正量（前記差分値）が小さい部分（不要に強いノイズ除去処理が施されているおそれのある部分）については、エッジ強調処理を強めに施す一方、補正量が大きい部分については、エッジ強調処理を弱めにして、出力画像のぼけ抑制よりもノイズ除去を優先することが可能となる。従って、入力画像に輝度変換処理（輝度ダイナミックレンジ補正処理）を施して所望の出力画像を生成するに際して、出力画像の鮮明度を損なうことなくノイズを適切に除去し、出力画像の画質や視認性を高めることが可能となる。従って、本実施形態の画像処理装置１Ｂであれば、入力画像に輝度変換処理（輝度ダイナミックレンジ補正処理）を施して所望の出力画像を生成するに際して、出力画像の鮮明度を損なうことなくノイズを適切に除去し、出力画像の画質や視認性を高めることが可能となる。
【００４４】
なお、上記実施形態では、動画撮像により得られた各フレームの画像に対して輝度変換処理を行う画像処理装置に本発明を適用した場合を例に挙げて説明を行ったが、本発明の適用対象はこれに限定されるものではなく、テレビ放送の受信画像やＤＶＤの再生画像、写真等の静止画像に対して輝度変換処理を施す画像処理装置など、入力画像に輝度換処理を施して所望の出力画像を生成する画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置全般に適用することが可能である。
【００４５】
また、本発明の構成は、上記実施形態のほか、発明の主旨を逸脱しない範囲で種々の変更を加えることが可能である。
【００４６】
例えば、上記実施形態では、ノイズ除去処理部１３を輝度変換処理部１１の後段に設けた構成を例に挙げて説明を行ったが、本発明の構成はこれに限定されるものではなく、図５や図６で示すように、ノイズ除去処理部１３を輝度変換処理部１１の前段に設けた構成としても構わない。
【産業上の利用可能性】
【００４７】
本発明は、入力画像に輝度変換処理を施して所望の出力画像を生成する画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置において、出力画像の画質や視認性を高める上で有用な技術である。
【図面の簡単な説明】
【００４８】
【図１】は、本発明に係る画像処理装置の第１実施形態を示すブロック図である。
【図２】は、輝度補正量とノイズ除去処理の強度との相関を示す模式図である。
【図３】は、本発明に係る画像処理装置の第２実施形態を示すブロック図である。
【図４】は、輝度補正量とエッジ強調処理の強度との相関を示す模式図である。
【図５】は、本発明に係る画像処理装置の第３実施形態を示すブロック図である。
【図６】は、本発明に係る画像処理装置の第４実施形態を示すブロック図である。
【符号の説明】
【００４９】
１Ａ、１Ｂ    画像処理装置
１０    撮像部（撮像手段）
１１    輝度変換処理部
１２    輝度変換係数算出部
１３    ノイズ除去処理部
１４    フィルタ制御部
１５    出力部
１６    エッジ強調処理部
１７    フィルタ制御部
【図１】
2008171059.tif 000003
【図２】
2008171059.tif 000004
【図３】
2008171059.tif 000005
【図４】
2008171059.tif 000006
【図５】
2008171059.tif 000007
【図６】
2008171059.tif 000008