(57)【要約】【課題】  視聴者の視環境に基づいてノイズ低減処理を変更することにより、視環境の違いに伴う視覚効果を抑制し、好適な表示を提供する。【解決手段】  画像を表示する表示装置周辺の視環境情報を取得し、取得された視環境情報に基づいて、入力された画像のノイズ成分を除去し、ノイズ成分が除去された画像を出力することを特徴とする。【選択図】  図２
2012129748.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示する表示装置周辺の視環境情報を取得する取得手段と、
前記取得手段によって取得された視環境情報に基づいて、入力された画像のノイズ成分を除去するノイズ除去手段と、
前記ノイズ除去手段によってノイズ成分が除去された画像を出力する出力手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記取得手段は、環境光センサであり、表示装置周辺の明るさを取得することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記取得手段は、前記表示装置と、該表示装置に表示される画像の視聴者までの距離を示す距離情報を取得し、前記ノイズ除去手段は、前記取得手段によって取得された視環境情報と距離情報とに基づいて、入力された画像のノイズ成分を除去することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記ノイズ除去手段は、表示装置周辺の明るさが小さくなるにしたがってノイズ除去量を大きくするように、入力された画像のノイズ成分を除去することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記ノイズ除去手段は、前記表示装置と該表示装置に表示される画像の視聴者までの距離が小さくなるにしたがってノイズ除去量を大きくするように、入力された画像のノイズ成分を除去することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
画像を表示する表示装置周辺の視環境情報を取得する取得工程と、
取得された視環境情報に基づいて、入力された画像のノイズ成分を除去するノイズ除去工程と、
ノイズ成分が除去された画像を出力する出力工程とを有することを特徴とする画像処理装置の制御方法。
【請求項７】
コンピュータが読み出して実行することにより、前記コンピュータを、請求項１乃至５のいずれか１項に記載の画像処理装置として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のノイズを除去する画像処理装置およびその制御方法に関する。
【背景技術】
【０００２】
従来、画像信号に含まれるノイズ成分を低減し、画質を向上させる画像処理装置がある。ノイズ低減処理に関しては、２ＤＮＲ（２次元デジタルノイズリダクション）や３ＤＮＲ（３次元デジタルノイズリダクション）など、画像の特徴量等に基づいて、画像信号成分とノイズ成分を分離する手法が種々提案されている。例えば、特許文献１では、２次元ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）などの周波数変換処理により画像信号を周波数領域へと変換し、高周波成分に対して微小レベル信号をゼロにすることで、周波数依存のノイズを低減する手法が提案されている。また、特許文献２では、非線形フィルタリング処理により、画像信号に含まれるエッジ成分を保持したまま、ノイズ成分を低減する手法が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−３０４３６１号公報
【特許文献２】特開２００１−２９８６２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１および２に記載の技術は、視聴者の視環境に伴う視覚特性までは考慮していないため、視環境の明るさによっては必ずしも好適に表示されない場合があった。例えば、視聴者の視環境が異なると目の順応状態が変化し、色や階調などの知覚が変化することが知られている。特に、暗所では暗部に対する目の感度が上昇するため、暗部のノイズが目立ち易くなる。そのため、暗所ではノイズ低減処理を強くするのが望ましい。
【０００５】
一方、明所では画像ボケや擬似輪郭など画質劣化を招く恐れがあるため、必要以上にノイズ低減処理を強くするべきではない。従来技術では、このような視覚特性を考慮していないため、暗所や明所において必ずしも好適に表示されない問題があった。
本発明は上述した課題を解決するためになされたものであり、視聴者の視環境に応じて視聴者の視認性が改善されるよう入力信号を補正することが可能な画像処理装置およびその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述の問題点を解決するため、本発明の画像処理装置は以下の構成を有する。すなわち、画像を表示する表示装置周辺の視環境情報を取得する取得手段と、前記取得手段によって取得された視環境情報に基づいて、入力された画像のノイズ成分を除去するノイズ除去手段と、前記ノイズ除去手段によってノイズ成分が除去された画像を出力する出力手段とを有する。
【発明の効果】
【０００７】
本発明は、視聴者の視環境に基づいてノイズ低減処理を変更することにより、視環境の違いに伴う視覚効果を抑制し、好適な表示を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態１における画像処理装置の構成を示すブロック図
【図２】実施形態１における補正処理回路の詳細を示すブロック図
【図３】実施形態１における補正処理回路の処理フローチャート
【図４】実施形態１における画像信号の波形を模式的に示した図
【図５】視環境情報の取得方法を説明する概念図
【図６】感度係数βと照明情報との関係を示す図
【図７】ノイズ除去処理部の構成を示すブロック図
【図８】ローパスフィルタ部のタップ係数の一実施の形態を示す図
【図９】混合パラメータαとエッジ信号および感度係数との関係を示す図
【図１０】実施形態２における画像処理装置の詳細を示すブロック図
【図１１】感度係数βと照明情報および視聴者との距離情報との関係を示す図
【図１２】本発明に対応する画像処理装置のハードウェア構成の一例を示す図
【発明を実施するための形態】
【０００９】
以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１０】
＜実施形態１＞
図１は本実施形態の画像処理装置の構成を示すブロック図である。アナログ放送入力端子１０１は、地上アナログ放送、衛星アナログ放送などのアナログ放送信号を入力するための端子である。アナログ外部入力端子１０２は、Ｄ端子などのアナログ映像信号を入力するための端子である。デジタル放送入力端子１０３は、地上デジタル放送、衛星デジタル放送などのデジタル放送信号を入力するための端子である。デジタル外部入力端子１０４は、ＨＤＭＩなどのデジタル映像信号を入力するための端子である。アナログチューナ１０５は、アナログ放送信号を映像信号に変換するための装置である。
【００１１】
デジタルチューナ１０６は、デジタル放送信号を映像信号に変換するための装置である。Ａ／Ｄコンバータ１０７は、アナログ映像信号をデジタル映像信号に変換するための装置である。デコーダ１０８は、ＭＰＥＧなどの符号化された映像信号を復号化するための装置である。セレクタ１０９は、Ａ／Ｄ変換された映像信号か、デコードされた映像信号かを選択し、出力する装置である。
【００１２】
補正処理回路１１０は、映像信号に対して、与えられたパラメータを基に高画質化、補正を行う装置である。ＣＰＵ１１１は、上述した全ての処理に関わる。ＲＯＭ１１２とＲＡＭ１１３は、その処理に必要なプログラム、データ、作業領域などをＣＰＵ１１１に提供する。操作部１１４は、ディスプレイ本体でユーザからの指示を入力する装置であり、ボタンやタッチパネルなどが該当する。環境光入力端子１１７は、太陽光や蛍光灯などの環境光を入力するための端子である。環境光センサ１１５は、入力された環境光を何らかの値に変換するための装置である。リモコン１１８は、ユーザがディスプレイを操作するためのリモコン装置のことである。リモコン受光センサ１１６は、リモコンからの信号を受信するための装置である。パネル１１９は、高画質化、補正などが行われた映像信号を表示するための装置である。
【００１３】
図２は本実施形態の補正処理回路１１０の詳細を説明するブロック図である。補正処理回路１１０は、エッジ検出部２０１、平滑化処理部２０２、変化量算出部２０３、感度係数算出部２０４、ノイズ除去処理部２０５から構成される。
【００１４】
エッジ検出部２０１は、補正処理回路１１０に入力された画像信号からエッジ検出を行い、エッジ検出信号を平滑化処理部２０２に出力する。次に、平滑化処理部２０２は、エッジ検出部２０１から供給されるエッジ検出信号を平滑化し、平滑化信号を変化量算出部２０３に出力する。次に、変化量算出部２０３は、平滑化処理部２０２から供給される平滑化信号から変化量を算出し、エッジ変化量をノイズ除去処理部２０５に出力する。
【００１５】
また、感度係数算出部２０４は、環境光センサ１１５により取得された視環境情報に基づいて感度係数を算出し、感度係数をノイズ除去処理部２０５に出力する。
【００１６】
最後に、ノイズ除去処理部２０５は、変化量算出部２０３から供給されるエッジ変化量と感度係数算出部２０４から供給される感度係数に基づいて所定の演算を行い、入力された画像信号からノイズ成分を除去した画像信号を出力する。
【００１７】
図３は本実施形態の補正処理回路１１０にて処理される画像信号の波形を模式的に示した図である。波形Ｔ１は入力された画像信号、波形Ｔ２、波形Ｔ３はエッジ検出信号、波形Ｔ４は平滑化信号、波形Ｔ５は変化量であり、画像信号における、ある水平ラインの信号波形を示している。
【００１８】
以下では、図３、４を用いて補正処理回路の処理フローについて詳細に説明する。
【００１９】
ステップ３０１において、エッジ検出部２０１は、画像信号の波形Ｔ１からエッジ検出を行い、エッジ検出信号の波形Ｔ３を出力する。図４において画像信号の波形Ｔ１は、エッジ部、平坦部、テクスチャ部を含む信号である。ここで、ａはエッジ部、ｂは平坦部、ｃはテクスチャ部、ｄはエッジ周辺部である。例えば、ＭＰＥＧデコードされた画像信号は、特にエッジ部、およびエッジ周辺部にノイズが発生する。エッジの検出は、高周波成分を抽出するようなフィルタを用いることで実現できる。例えば、一次微分や二次微分、ソーベルオペレータによるエッジ検出などを用いることができる。なお、エッジの検出方法はこれに限定されるものではない。本実施形態において、エッジ検出部２０１は画像信号の波形Ｔ１を一次微分し、その一次微分結果の絶対値をエッジ検出信号として出力するものとする。図４において、波形Ｔ２は一次微分結果、波形Ｔ３は一次微分結果の絶対値である。
【００２０】
次に、ステップ３０２において、平滑化処理部２０２は、エッジ検出信号の波形Ｔ３から平滑化を行い、平滑化信号の波形Ｔ４を出力する。平滑化の処理は、高周波成分を除去するようなフィルタを用いることで実現できる。例えば、ローパスフィルタなどを用いることができる。なお、平滑化の処理はこれに限定されるものではない。本実施形態において、平滑化処理部２０２はローパスフィルタによってフィルタリングした結果を平滑化信号として出力するものとする。図４において、波形Ｔ４はローパスフィルタの出力結果である。
【００２１】
次に、ステップ３０３において、変化量算出部２０３は、平滑化信号の波形Ｔ４から変化量を算出し、変化量の波形Ｔ５を出力する。変化量の算出は、近傍画素における統計量に基づいて算出することができる。例えば、入力信号の微分値や分散、近傍画素との差分絶対値の平均などを用いることができる。なお、変化量の算出はこれに限定されるものではない。本実施形態において、変化量算出部２０３は入力信号の微分値を変化量として出力するものとする。図４において、波形Ｔ５は波形Ｔ４の微分値である。
【００２２】
図４において、エッジ検出信号の波形Ｔ３は、平坦部ｃでは振幅は小さいが、エッジ部ａおよびエッジ周辺部ｂ、さらにはテクスチャ部ｄでは振幅は大きくなるため、エッジ部とテクスチャ部を区別することができない。平滑化信号の波形Ｔ４は、エッジ部ａおよびエッジ周辺部ｂでは振幅は大きいが、平坦部ｃおよびテクスチャ部ｄでは振幅は小さくなる。したがって、変化量の波形Ｔ５は、エッジ部ａおよびエッジ周辺部ｂでは値が大きくなり、平坦部ｃおよびテクスチャ部ｄでは値が小さくなるため、エッジ部とテクスチャ部を区別することができるようになる。
【００２３】
以上の処理により、入力された画像信号から、エッジ部ａおよびエッジ周辺部ｂと、平坦部ｃおよびテクスチャ部ｄを区別することができる。
【００２４】
次に、ステップ３０４において、感度係数算出部２０４は、視環境情報に基づいて感度係数を算出する。
【００２５】
図５は視環境情報取得手段を備える表示装置である。５０１は照明情報を取得するための環境光センサであり、表示装置周辺の明るさを取得する。なお、センサは照明情報を取得可能な位置であれば、表示装置の上面や側面、斜めに加工された面などに設置しても構わない。また、照明情報は環境光センサ以外の構成で取得しても構わない。
【００２６】
図６に感度係数βと照明情報Ｌとの関係の一例を示す。図６によれば、照明情報Ｌが大きくなるほど、すなわち、周囲の明るさが明るくなるほど、感度係数βは小さくなる。なお、感度係数と照明情報との関係はＲＯＭ１１２またはＲＡＭ１１３に予め記憶されているものとする。
【００２７】
次に、ステップ３０５において、ノイズ除去処理部２０５は、ローパスフィルタ部７０１において画像信号の画素ごとにローパスフィルタによってフィルタリングを行う。図７はノイズ除去処理部２０５の構成を示すブロック図である。ノイズ除去処理部２０５は、ローパスフィルタ部７０１と混合部７０２から構成される。なお、ノイズ除去処理部２０５では、画像信号を構成する各画素をラスタスキャン順に走査し、画素ごとに以下の処理を行うものとする。
【００２８】
ローパスフィルタ部７０１は、画像信号の画素ごとにローパスフィルタによってフィルタリングし、混合部７０２に出力する。
【００２９】
次に、ステップ３０６において、ノイズ除去処理部２０５は、混合部７０２において、ローパスフィルタ部７０１からの出力値と画像信号値とを混合パラメータαに基づいて混合し、新しい画像信号値を出力する。混合パラメータαは、変化量算出部２０３より供給されるエッジ変化量および感度係数算出部２０４から供給される感度係数に基づいて算出する。
【００３０】
以下では、ノイズ除去処理部２０５の各処理について詳細に説明する。
【００３１】
図８にローパスフィルタ部７０１でのフィルタリングに用いられるタップ係数の一例を示す。図８では、注目画素の画素値に４／１６が乗算され、注目画素の上下左右それぞれに隣接する画素の画素値に２／１６が乗算され、注目画素の左上、右上、左下、右下それぞれに隣接する画素の画素値に１／１６が乗算され、それらの乗算結果の総和が出力される。これにより、注目画素の画素値は平滑化されノイズ成分が低減される。
【００３２】
混合部７０２では、混合パラメータαに基づいて画像信号値とローパスフィルタ部７０１からの出力値との内分値から新しい画像信号値を算出する。画像信号値をＸｎ、ローパスフィルタ部７０１からの出力値をＹｎ、新しい画像信号値をＺｎとすると、算出式は以下のようになる。なお、新しい画像信号値の算出方法はこれに限定されるものではない。
Ｚｎ＝（１−α）Ｘｎ＋αＹｎ  ・・・（１）
【００３３】
次に、混合パラメータαについて説明する。図９に混合パラメータαとエッジ変化量Ｖおよび感度係数βとの関係の一例を示す。図９によれば、エッジ変化量Ｖが大きくなるほど、すなわち、エッジ部が急峻であるほど、混合パラメータαは大きくなる。また、感度係数βが大きくなるほど、すなわち、階調変化に対する感度が高いほど、混合パラメータαは大きくなる。なお、混合パラメータとエッジ変化量および感度係数との関係はＲＯＭ１１２またはＲＡＭ１１３に予め記憶されているものとする。
【００３４】
したがって、混合パラメータが大きい場合、すなわち、エッジ変化量が大きい場合や階調変化に対する感度が高い場合は、ローパスフィルタ部７０１からの出力値、すなわち、ノイズ成分が低減された画素の混合比率が高くなる。
【００３５】
以上説明した処理を行うことにより、照明情報に応じてノイズ除去量を調整することが可能となり、視環境の違いに伴う視覚効果を抑制し、好適な表示を提供することができる。
【００３６】
＜実施形態２＞
実施形態１では、照明情報に基づいて感度係数を算出する方法について説明した。しかしながら、照明情報が視覚に及ぼす影響度は、視聴者の距離によって異なる場合がある。本実施形態においては、照明情報と視聴者の距離に基づいて感度係数を算出する方法について説明する。
【００３７】
図１０は本実施形態の画像処理装置の構成を示すブロック図である。補正処理回路１１０は、エッジ検出部２０１、平滑化処理部２０２、変化量算出部２０３、感度係数算出部１００４、ノイズ除去処理部２０５から構成される。感度係数算出部１００４は、環境光センサ１１５およびリモコン受光センサ１１６からの視環境情報に基づいて感度係数を算出する。なお、エッジ検出部２０１、平滑化処理部２０２、変化量算出部２０３、ノイズ除去処理部２０５は実施形態１と同一であるため説明を省略する。
【００３８】
また、視聴者との距離情報は、特に図示しないが、例えば、リモコン１１８から照射される光が反射して戻ってくる時間を測定することにより求めることができる。また、一般的な超音波センサを表示装置の上に置き、視聴者との距離を計測してもよい。
【００３９】
次に、照明情報および視聴者との距離情報に基づいて感度係数を算出する方法について説明する。
【００４０】
図１１に感度係数βと照明情報Ｌおよび視聴者との距離情報ｄとの関係の一例を示す。図１１によれば、視聴者との距離情報ｄが大きくなるほど、感度係数βは小さくなる。また、照明情報Ｌが大きくなるほど、すなわち、周囲の明るさが明るくなるほど、感度係数βは小さくなる。なお、感度係数と照明情報および視聴者との距離情報との関係はＲＯＭ１１２またはＲＡＭ１１３に予め記憶されているものとする。
【００４１】
以上説明した処理を行うことにより、照明情報および視聴者との距離情報に応じてノイズ除去量を調整することが可能となり、視環境の違いに伴う視覚効果を抑制し、好適な表示を提供することができる。
【００４２】
＜実施形態３＞
図１、図１０に示した補正処理回路１１０はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、補正処理回路１１０で行なう処理をコンピュータプログラムでもって構成しても良い。この場合、補正処理回路１１０で行なう処理はＲＯＭ１１２に格納され、ＣＰＵ１１１で行なわれることになる。またこのようなコンピュータプログラムを格納するためのＲＯＭと、このメモリに格納されているコンピュータプログラムを実行するＣＰＵとを有するコンピュータは、上記各実施形態に係る画像表示装置に適用することができる。
【００４３】
図１２は、上記各実施形態に係る画像表示装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。
【００４４】
ＣＰＵ１２０１は、ＲＡＭ１２０２やＲＯＭ１２０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ１２０１は、上述した実施形態での機能と図１、図１０に示した補正処理回路１１０として機能することになる。
【００４５】
ＲＡＭ１２０２は、外部記憶装置１２０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１２０９を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１２０２は、ＣＰＵ１２０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１２０２は、例えば、フレームメモリとして割当てたり、その他の各種のエリアを適宜提供することができる。
【００４６】
ＲＯＭ１２０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部１２０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１２０１に対して入力することができる。表示部１２０５は、ＣＰＵ１２０１による処理結果を表示する。また表示部１２０５は例えば液晶ディスプレイのようなホールド型の表示装置や、フィールドエミッションタイプの表示装置のようなインパルス型の表示装置で構成される。
【００４７】
外部記憶装置１２０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１２０６には、ＯＳ（オペレーティングシステム）や、図１、図１０に示した各部の機能をＣＰＵ１２０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置１２０６には、処理対象としての各画像データが保存されていても良い。
【００４８】
外部記憶装置１２０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１２０１による制御に従って適宜ＲＡＭ１２０２にロードされ、ＣＰＵ１２０１による処理対象となる。Ｉ／Ｆ１２０７には、ＬＡＮやインターネット等のネットワーク、他の機器を接続することができ、本コンピュータはこのＩ／Ｆ１２０７を介して様々な情報を取得したり、送出したりすることができる。１２０８は上述の各部を繋ぐバスである。
【００４９】
上述の構成からなる作動は前述のフローチャートで説明した作動をＣＰＵ１２０１が中心となってその制御を行う。
【００５０】
＜その他の実施形態＞
本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。
【００５１】
さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。
【００５２】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。
【図１】
2012129748.tif 000003
【図２】
2012129748.tif 000004
【図３】
2012129748.tif 000005
【図４】
2012129748.tif 000006
【図５】
2012129748.tif 000007
【図６】
2012129748.tif 000008
【図７】
2012129748.tif 000009
【図８】
2012129748.tif 000010
【図９】
2012129748.tif 000011
【図１０】
2012129748.tif 000012
【図１１】
2012129748.tif 000013
【図１２】
2012129748.tif 000014