(57)【要約】【課題】ビデオ信号について、自動ゲイン調整により設定されるゲインに適応して、常に適度な強度でのノイズ除去を実行できるようにする。【解決手段】自動ゲイン調整されたビデオ信号を入力して、自動ゲイン調整の補正特性に対する逆の補正特性を与える。次に、この逆補正したビデオ信号を、ノイズが除去されたビデオ信号成分（ストラクチャ成分）とノイズ成分（テクスチャ成分）に分離する。ストラクチャ成分は、逆補正とは逆の補正特性を与える。次に、ストラクチャ成分とテクスチャ成分とを再合成してビデオ信号を再生成する。【選択図】図３
2010041321.tif 000002
【特許請求の範囲】
【請求項１】
自動ゲイン調整が行われたビデオ信号と、上記自動ゲイン調整により設定されたゲインを示すゲイン情報とを入力して、入力したビデオ信号について、上記ゲイン情報が示すゲインに対して逆の補正特性となる逆補正用ゲインを与えて出力するゲイン逆補正手段と、
上記ゲイン逆補正手段により出力されるビデオ信号からテクスチャ成分を除去するテクスチャ成分除去手段と、
上記テクスチャ成分除去手段により出力されるビデオ信号について、上記逆補正用ゲインに対して逆の補正特性となる逆−逆補正用ゲインを与えて出力するゲイン逆−逆補正手段と、
上記ゲイン逆補正手段により出力されるビデオ信号と上記テクスチャ成分除去手段により出力されるビデオ信号とを利用してテクスチャ成分信号を抽出する、テクスチャ成分抽出手段と、
上記ゲイン逆−逆補正手段により出力されるビデオ信号を基とするストラクチャ成分信号と、上記テクスチャ成分信号とを合成してビデオ信号を出力する信号合成手段と、
を備えるビデオ信号処理装置。
【請求項２】
上記ビデオ信号はデジタル形式とされたうえで、
上記自動ゲイン調整が行われたビデオ信号のビット数Ｎをビット数Ｍ（Ｍ＞Ｎ）に変換して上記ゲイン逆補正手段に入力させるビット変換手段をさらに備えるとともに、
上記ゲイン逆補正手段、上記テクスチャ成分除去手段、上記ゲイン逆−逆補正手段、上記テクスチャ成分抽出手段、及び上記信号合成手段は、上記ビット数Ｍのビデオ信号について処理を実行するように構成される、
請求項１に記載のビデオ信号処理装置。
【請求項３】
自動ゲイン調整が行われたビデオ信号と、上記自動ゲイン調整により設定されたゲインを示すゲイン情報とを入力して、入力したビデオ信号について、上記ゲイン情報が示すゲインに対して逆の補正特性となる逆補正用ゲインを与えて出力するゲイン逆補正手順と、
上記ゲイン逆補正手順により出力されるビデオ信号からテクスチャ成分を除去するテクスチャ成分除去手順と、
上記テクスチャ成分除去手順により出力されるビデオ信号について、上記逆補正用ゲインに対して逆の補正特性となる逆−逆補正用ゲインを与えて出力するゲイン逆−逆補正手順と、
上記ゲイン逆補正手順により出力されるビデオ信号と上記テクスチャ成分除去手順により出力されるビデオ信号とを利用してテクスチャ成分信号を抽出する、テクスチャ成分抽出手順と、
上記ゲイン逆−逆補正手順により出力されるビデオ信号を基とするストラクチャ成分信号と、上記テクスチャ成分信号とを合成してビデオ信号を出力する信号合成手順と、
を実行するビデオ信号処理方法。
【請求項４】
自動ゲイン調整が行われたビデオ信号と、上記自動ゲイン調整により設定されたゲインを示すゲイン情報とを入力して、入力したビデオ信号について、上記ゲイン情報が示すゲインに対して逆の補正特性となる逆補正用ゲインを与えて出力するゲイン逆補正手順と、
上記ゲイン逆補正手順により出力されるビデオ信号からテクスチャ成分を除去するテクスチャ成分除去手順と、
上記テクスチャ成分除去手順により出力されるビデオ信号について、上記逆補正用ゲインに対して逆の補正特性となる逆−逆補正用ゲインを与えて出力するゲイン逆−逆補正手順と、
上記ゲイン逆補正手順により出力されるビデオ信号と上記テクスチャ成分除去手順により出力されるビデオ信号とを利用してテクスチャ成分信号を抽出する、テクスチャ成分抽出手順と、
上記ゲイン逆−逆補正手順により出力されるビデオ信号を基とするストラクチャ成分信号と、上記テクスチャ成分信号とを合成してビデオ信号を出力する信号合成手順と、
をビデオ信号処理装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ信号を対象として信号処理を実行するビデオ信号処理装置とその方法に関する。また、ビデオ信号処理装置に実行させるプログラムに関する。
【背景技術】
【０００２】
特許文献１に記載されているように、ビデオ信号処理の１つとして、ビデオ信号からノイズを除去することが行われている。
【０００３】
【特許文献１】特開平１１−６９２０２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ただし、ビデオ信号に対するノイズ除去は、例えば処理対象のビデオ信号の状態などに応じて適切に実行されなければ、良好な画質を得ることができない。そこで、本願発明としては、ビデオ信号の状態、特に自動ゲイン調整により与えられたゲインに適応した適切なノイズ除去の動作が得られるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
そこで本発明は上記した課題を考慮して、ビデオ信号処理装置として次のように構成する。
つまり、自動ゲイン調整が行われたビデオ信号と、上記自動ゲイン調整により設定されたゲインを示すゲイン情報とを入力して、入力したビデオ信号について、上記ゲイン情報が示すゲインに対して逆の補正特性となる逆補正用ゲインを与えて出力するゲイン逆補正手段と、上記ゲイン逆補正手段により出力されるビデオ信号からテクスチャ成分を除去するテクスチャ成分除去手段と、上記テクスチャ成分除去手段により出力されるビデオ信号について、上記逆補正用ゲインに対して逆の補正特性となる逆−逆補正用ゲインを与えて出力するゲイン逆−逆補正手段と、上記ゲイン逆補正手段により出力されたビデオ信号と上記テクスチャ成分除去手段により出力されたビデオ信号とを利用してテクスチャ成分信号を抽出する、テクスチャ成分抽出手段と、上記ゲイン逆−逆補正手段により出力されるビデオ信号を基とするストラクチャ成分信号と、上記テクスチャ成分信号とを合成してビデオ信号を出力する信号合成手段とを備えることとした。
【０００６】
上記構成では、自動ゲイン調整されたビデオ信号を入力して、先ず、自動ゲイン調整の補正特性とは逆の補正特性を与えて（逆補正を行って）自動ゲイン調整により発生したノイズを、自動ゲイン調整前のレベルにまで抑制する。次に、この逆補正したビデオ信号を、ノイズが除去されたビデオ信号成分（ストラクチャ成分）とノイズ成分（テクスチャ成分）に分離する。ストラクチャ成分については、さらに逆補正とは逆の補正特性を与える。これにより、自動ゲイン調整されたのと同等の輝度でありながら、適切にノイズが除去されたビデオ信号を得る。次に、ストラクチャ成分とテクスチャ成分とを再合成してビデオ信号を再生成する。このようにして再生成されるビデオ信号は、自動ゲイン調整により与えられたゲインに対応して適切な強度でノイズが低減されている。
【発明の効果】
【０００７】
このようにして本発明は、自動ゲイン調整により設定されるゲインに適応して、常に適度な強度でのノイズ除去が可能なビデオ信号処理を実現できる。
【発明を実施するための最良の形態】
【０００８】
以下、本願発明を実施するための最良の形態（以下、実施形態という）について、下記の順により説明する。
１．全体構成
２．実施形態の基となるビデオ信号処理部の基本構成例
３．実施形態としてのビデオ信号処理部の構成例
【０００９】
＜１．全体構成＞
図１は、実施形態としてのビデオ信号処理部を有して構成される撮像システムについての全体的な構成例を示している。この図に示される撮像システムは、カメラユニット１、ビデオ信号処理部２、及びエンコーダ３を有して成るものとしている。
【００１０】
カメラユニット１は、撮像を行うとともに、撮像により得た撮像光から動画像としてのビデオ信号Ｓ１を生成して出力する。
【００１１】
この場合のカメラユニット１は、図示するようにして、光学系部１１、イメージセン１２、カメラ信号処理部１３、及びカメラ制御部１５から成るものとしている。
光学系部１１は、例えばズームレンズ、フォーカスレンズなども含む必要枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ１２の受光面に結像させる。
また、光学系部１１においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられているものとされる。これらの機構部は、カメラ制御部１５が実行するものとされる、ズーム（画角）制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御に応じて駆動される。
【００１２】
イメージセンサ１２は、上記光学系部１１にて得られる撮像光を電気信号に変換する、いわゆる光電変換を行う。このために、イメージセンサ１２は、光学系部１１からの撮像光を光電変換素子の受光面にて受光し、受光された光の強さに応じて蓄積される信号電荷を、所定タイミングにより順次出力するようにされる。これにより、撮像光に対応した電気信号(撮像信号)が出力される。
なお、イメージセンサ１２として採用される光電変換素子（撮像素子）としては、特に限定されるものではないが、現状であれば、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサやＣＣＤ(Charge Coupled Device)などを挙げることができる。
【００１３】
イメージセンサ１２から出力される撮像信号は、カメラ信号処理部１３に対して入力される。カメラ信号処理部１３においては、入力される撮像信号からデジタル形式のビデオ信号Ｓ１を生成して、所要の信号処理を施したうえで、カメラユニット１の外部に出力する。
この場合のカメラ信号処理部１３においては、ＡＧＣ(Auto Gain Control)部１４が示されている。これは、カメラ信号処理部１３が実行する信号処理として、少なくとも、自動ゲイン（利得）調整処理を実行することを示している。この自動ゲイン調整は、入力された撮像ビデオ信号の輝度（信号レベル）が高い場合、また低い場合に、この輝度が最適値となるようにしてゲイン（利得）を与えて増幅する処理となる。つまり、ビデオ信号のゲイン、輝度についての補正を行う。
なお、ＡＧＣ部１４が実行する上記の自動ゲイン調整のための構成については特に限定されるものではなく、例えばこれまでに知られている構成を採用することとすればよい。
この場合、カメラ信号処理部１３から出力されたビデオ信号Ｓ１は、ビデオ信号処理部２に入力されるようにしている。
【００１４】
ビデオ信号処理部２は、入力したビデオ信号Ｓ１について、後述するようにしてノイズ除去、輝度補正のためのデジタルビデオ信号処理を実行し、デジタル形式のビデオ信号Ｓ２として出力する。ビデオ信号Ｓ２は、エンコーダ３に対して出力される。
【００１５】
エンコーダ３は、入力されるビデオ信号Ｓ２について所定の方式に対応した圧縮符号化処理を実行して、所定形式による圧縮符号化ビデオ信号として出力する。
【００１６】
なお、エンコーダ３から出力された圧縮符号化ビデオ信号は、しかるべき後段の回路、装置等に対して出力される。
一例として、図１に示す撮像システムが、ビデオ会議システムの端末において、その場に居る会議参加者を撮像するためのものであるような場合には、エンコーダ３から出力された圧縮符号化ビデオ信号は、通信回路系を経由して、相手側（遠端側）のビデオ会議システム端末に対して送信される。遠端側のビデオ会議システム端末では、この圧縮符号化ビデオ信号を受信して、圧縮符号化に対応する復号処理を実行したうえで、例えば表示デバイスにより画像として表示させる。
【００１７】
また、上記図１に示されるビデオ信号処理部２及びエンコーダ３などのビデオ信号処理系は、その一部、あるいは全ての機能をＤＳＰ(Digital Signal Processor)により構成することができる。つまり、ＤＳＰに対して、インストラクション（プログラム）を実行させることにより、その処理を実現できる。
【００１８】
＜２．実施形態の基となるビデオ信号処理部の基本構成例＞
図２は、ビデオ信号処理部２として採り得る基本的な構成を示している。
この図に示されるビデオ信号処理部２は、ノイズ除去フィルタ２１、及び階調補正部２２とを備えて成るものとしている。
【００１９】
ノイズ除去フィルタ２１は、カメラユニット１から出力されるビデオ信号Ｓ１を入力し、ノイズを除去して出力する。例えばノイズ除去フィルタ２１は、ビデオ信号に対して、いわゆる空間軸方向でのノイズ除去処理、及び時間軸方向でのノイズ除去処理とを実行するように構成されている。空間軸方向でのノイズ除去処理とは、例えばフレーム画像ごとにその画像空間内におけるノイズを除去する処理をいう。時間軸方向でのノイズ除去処理とは、時間的に前後するフレーム間で発生するとされるノイズを除去する処理をいう。なお、このようなノイズ除去フィルタ２１の構成については、例えばこれまでに知られている技術を適用すればよい。
ノイズ除去フィルタ２１によりノイズが除去されたビデオ信号は、階調補正部２２に対して出力される。この場合、階調補正部２２から出力されるビデオ信号が、エンコーダ３に対する入力ビデオ信号であるビデオ信号Ｓ２となる。
【００２０】
階調補正部２２は、ノイズ除去フィルタ２１から入力されるビデオ信号に対する階調補正を実行する。
例えば、１つ前のフレームのビデオ信号の解析を行った結果に基づいて、現フレームのビデオ信号の画素ごとに、最適な明るさとなる階調値の補正特性（トーンカーブ）を生成する。これにより、例えば階調（輝度）の低いと判定される画素に応じては階調を高くするトーンカーブが生成され、階調が高いと判定される画素に応じては階調を低くするトーンカーブが生成される。そして、このトーンカーブに基づいて、画素単位で階調補正を行う。
【００２１】
このような階調補正の構成としては、例えばブライトフェイス（登録商標）といわれる信号処理機能として、例えばテレビ会議システムなどの撮像システムに実装されているものを採用することができる。
【００２２】
一般的なこととして、撮像装置では、絞りやＡＧＣなどによって撮像環境の照度に対して、撮像ビデオ信号の明るさ（階調、輝度）が最適となるように調整はしているが、画面内の明暗差が極端となるような条件では、その調整がうまくいかない場合がある。このような条件としては、例えば、逆光により、被写体は暗いのに対して周囲は明るいような場合や、暗い会議室においてプロジェクターなどにより投影表示される画像を撮像しているような場合を挙げることができる。このような条件の場合において、明るい画像領域に適応させて明るさを調整すると、暗い画像領域が真っ黒になって画像として識別できない、いわゆる黒つぶれが生じやすくなる。これに対して、暗い画像領域に適応させて明るさを調整すると、明るい画像領域が真っ白になって画像として識別できない、いわゆる白飛びが生じやすくなる。
【００２３】
そこで、階調補正部２２により上記した階調補正を行えば、例えば補正後のビデオ信号により得られる画像としては、暗い部分の輝度が持ち上げられ、明るすぎる部分の輝度が抑えられたものとなる。つまり、本来は明暗差の大きな画像であっても、黒つぶれや白飛びのない高い視認性の画像が得られることになる。
【００２４】
ところで、図１に示した構成では、カメラユニット１内にてＡＧＣ部１４を備え、これにより、ビデオ信号に与えるゲインを可変することが行われる。しかし、よく知られているように、ビデオ信号に対して高いゲインを与えるほど、高域のノイズが発生しやすくなる。ＡＧＣの処理において、この傾向は、元々のビデオ信号の輝度が低いほど顕著になる。ビデオ信号の輝度が低ければ、それだけ高いゲインを与えて増幅することになるからである。
【００２５】
このために、ビデオ信号処理部２としては、ＡＧＣ部１４によるゲイン調整により発生したノイズを有効に除去することが要求される。
即ち、例えば撮像ビデオ信号の輝度が低く、ＡＧＣ部１４により設定するゲインが高くなるほど、ゲイン増加に起因するビデオ信号Ｓ１のノイズ発生量も増加する。従って、ＡＧＣ部１４により設定するゲインが高くなるのに応じては、ノイズ除去の強度も高くしていくべきことになる。
これに対して、撮像ビデオ信号の輝度が高く、ＡＧＣ部１４により与えるゲイン値も小さくなるほど、ゲイン増加に起因するビデオ信号Ｓ１のノイズ発生量も少なくなる。このときに、ノイズ除去の強度が高いままであると、ビデオ信号の高域が必要以上に減衰されてぼけた画像になる。従って、ＡＧＣ部１４のゲインが低くなるのに応じては、ノイズ除去フィルタ２１によるノイズ除去の強度を小さくしていくべきことになる。
ノイズ除去フィルタ２１としては、上記したようなＡＧＣ部１４のゲインの設定状況に適応させた強度の変更が適切に行われることが好ましい。
【００２６】
しかし、例えば図２に示した構成においては、上記したようなＡＧＣ部１４のゲインの調整に適応させたノイズ除去の動作を実行させることが難しい。図１と図２との構成の組み合わせでは、ノイズ除去フィルタ２１は、単に、カメラユニット１からの自動ゲイン調整が施されたビデオ信号を入力しているだけであって、入力した後は、予め定められたアルゴリズムに従ってノイズ除去処理を実行するに過ぎないからである。
【００２７】
現実的なこととして、図１に示した構成の撮像システムを製造するのにあたっては、カメラユニット１として、１つの装置部品として完結したものを入手し、これにビデオ信号処理部２、エンコーダ３などの信号処理の構成を付加するという工程を採ることがある。
このような場合において、カメラユニット１としての部品に対して、単に、図２に示したビデオ信号処理部２としての部位を接続した構成とすれば、上記した問題は当然のこととして生じてくる。
【００２８】
１つの解決策としては、ノイズ除去フィルタ２１においてビデオ信号Ｓ１の輝度を検出することとして、この検出した輝度から、ＡＧＣ部１４により設定されたゲインを推定して、ノイズ除去の強度を設定するという手法を考えることができる。
しかし、この手法では、適切なノイズ除去の強度を設定することが難しく、現実には、必要な強度が設定されずにノイズが残留したり、逆に、必要以上の強度が設定されてしまい、結果、画像としては必要以上にぼやけた残像が残ってしまいやすい。
【００２９】
そこで、本実施形態としては、以降説明するようにして、ビデオ信号処理部２を構成することで、結果的に、ＡＧＣによるゲイン調整結果に適合したノイズ除去が行われるようにする。
【００３０】
＜３．実施形態としてのビデオ信号処理部の構成例＞
図３は、本実施形態としてのビデオ信号処理部２の構成例を示している。
この図に示される本実施形態のビデオ信号処理部２は、図２に示されていたノイズ除去フィルタ２１及び階調補正部２２に加え、ビット変換部３０、ゲイン逆補正部３１、ゲイン逆−逆補正部３２、テクスチャ成分抽出部３３、及び信号合成部３４を備えて成る。
【００３１】
さらに本実施形態では、図３において示すようにして、カメラユニット１のＡＧＣ部１４からゲイン情報信号Ｄ１を出力させ、これをビデオ信号処理部２に入力させる。このゲイン情報信号Ｄ１は、ビデオ信号処理部２におけるゲイン逆補正部３１とゲイン逆−逆補正部３２とに対して分岐して入力させることとしている。
ゲイン情報信号Ｄ１は、例えば設定(補正)したゲイン値を示す。なお、ここでのゲイン値とは、例えばｄＢ単位により表されるものとする。
【００３２】
なお、確認のために述べておくと、この本実施形態のビデオ信号処理部２を備える撮像システムの構成としては、上記のようにして、カメラユニット１のＡＧＣ部１４からビデオ信号処理部２に対してゲイン情報信号Ｄ１を入力させる以外、図１に示したのと同様でよい。
【００３３】
図３において、先ず、カメラユニット１から出力されるビデオ信号Ｓ１は、ビット変換部３０に入力される。ビット変換部３０は、ビデオ信号Ｓ１のビット数Ｍを、これより大きなビット数Ｎに変換し、ビデオ信号Ｓ１０として出力する。
例えば次に説明するゲイン逆補正部３１では、その逆補正の処理によってビデオ信号の輝度を低下させることになる。しかし、上記のようにビット変換を行ってビデオ信号のビット数を大きくすることで、ビデオ信号の情報量については極力失われないことになる。これにより、高画質化を図っている。
【００３４】
ビデオ信号Ｓ１０は、ゲイン逆補正部３１が入力する。また、ゲイン逆補正部３１には、上記したようにゲイン情報信号Ｄ１が入力される。
ゲイン逆補正部３１は、ゲイン情報信号Ｄ１からＡＧＣ部１４が設定したゲイン値を認識する。そして、ゲイン逆補正部３１は、入力したビデオ信号Ｓ１０について、ＡＧＣ部１４が設定したゲイン値に対応する補正特性に対して逆となる補正特性に従ってゲインを設定する(逆補正)。
【００３５】
図４には、補正特性Ａ，Ｂ，Ｃが示されている。図４においては横軸が入力ビデオ信号(ゲイン設定(補正)前のビデオ信号)の輝度値を示し、縦軸が出力ビデオ信号(ゲイン設定(補正)後のビデオ信号)の輝度値を示す。
ここで、ＡＧＣ部１４が設定したゲインに対応して得られる補正特性が、補正特性Ａであるとする。このとき、ゲイン逆補正部３１は、ビデオ信号Ｓ１０に対して、補正特性Ｂに対応したゲインを設定する。ここで、ゲイン特性Ａ、Ｂは、相互に逆特性となっている。このようにしてゲイン逆補正部３１は、上記の逆補正を実行する。
【００３６】
このような逆補正が行われたことにより、ビデオ信号としては、明るさ(輝度)はＡＧＣ部１４による補正前と同等にはなるものの、これに伴って、ノイズも、ＡＧＣ部１４による補正前と同等にまで抑制されることになる。
【００３７】
ゲイン逆補正部３１により上記の逆特性が与えられたビデオ信号Ｓ１１は、ノイズ除去フィルタ２１とテクスチャ成分抽出部３３とに分岐して入力される。
ノイズ除去フィルタ２１は、入力されたビデオ信号Ｓ１１からノイズ（テクスチャ成分）を除去する処理を実行して、ゲイン逆−逆補正部３２及びテクスチャ成分抽出部３３とに対して分岐して出力する。
【００３８】
テクスチャ成分抽出部３３は、ビデオ信号Ｓ１１，Ｓ１２を入力して、例えばビデオ信号Ｓ１１からビデオ信号Ｓ１２の成分を除去（減算）する処理を実行し、ビデオ信号Ｓ１４として出力する。
ここで、ビデオ信号Ｓ１２は、ビデオ信号Ｓ１１からノイズを除去したビデオ信号である。従って、ビデオ信号Ｓ１４としては、ビデオ信号Ｓ１１に混入していたノイズ成分のみからなる信号が得られることになる。本実施形態では、このノイズ成分としてのビデオ信号Ｓ１４を、ストラクチャ成分として扱う。これに対して、ノイズ除去フィルタ２１によりノイズが除去されたビデオ信号Ｓ１２がストラクチャ成分として扱われる。
つまり、ノイズ除去フィルタ２１とテクスチャ成分抽出部３３とにより、ビデオ信号Ｓ１１についてストラクチャ成分の信号とテクスチャ成分の信号とに分離する。また、この場合においてテクスチャ成分はＡＧＣにより発生した高域のノイズであるので、テクスチャ成分は、ビデオ信号の高域成分であるとしてみることができる。これに対してストラクチャ成分は、同じビデオ信号の低域成分であるとしてみることができる。
【００３９】
また、ゲイン逆−逆補正部３２においては、入力されたテクスチャ成分としてのビデオ信号Ｓ１２について、ゲイン逆補正部３１にて設定したゲインに対応する補正特性に対して逆となる補正特性（逆−逆補正特性）に対応するゲインを設定する。つまり、図４との対応では、補正特性Ａに対応するゲインを設定する。
これにより、ゲイン逆−逆補正部３２から出力されるビデオ信号Ｓ１３としては、ＡＧＣ部１４による補正後のビデオ信号Ｓ１１と同じ明るさ(輝度)に戻されることになる。ただし、ゲイン逆−逆補正部３２では、前段のノイズ除去フィルタ２１によってノイズが除去された後のビデオ信号Ｓ１２について補正を行う。このために、ビデオ信号Ｓ１３は、ビデオ信号Ｓ１１と同じ輝度でありながら、ノイズについては、ビデオ信号Ｓ１１と比較して抑制されていることになる。
【００４０】
なお、ここでのゲイン逆−逆補正部３２は、直接入力しているゲイン情報信号Ｄ１を利用して逆−逆補正特性とこれに対応するゲイン値を設定することとしている。しかし、例えば、ゲイン逆補正部３１にて設定した逆特性、ゲイン値に基づいて、逆−逆補正特性、ゲイン値を設定するように構成してもよい。この場合には、間接的にゲイン情報信号Ｄ１を利用して逆−逆補正特性、ゲイン値を設定していることになる。
【００４１】
階調補正部２２は、上記ビデオ信号Ｓ１３を入力し、前述した輝度補正の処理を実行して、ビデオ信号Ｓ１５として出力する。
【００４２】
信号合成部３４は、上記階調補正部２２からのビデオ信号Ｓ１５とテクスチャ成分抽出部３３から出力されるビデオ信号Ｓ１４とを合成して出力する。即ち、一旦は分離されたビデオ信号のテクスチャ成分とストラクチャ成分を再合成する。この再合成された信号が、この場合には、ビデオ信号Ｓ２としてエンコーダ３に対して出力される。
【００４３】
上記の説明から理解されるように、本実施形態のビデオ信号処理部２に対して、先ず、輝度の低い（暗い画像の）撮像ビデオ信号に基づくビデオ信号Ｓ１が入力される場合には、信号合成部３４から出力されるビデオ信号Ｓ２としては大幅にノイズが低減されたものとなる。つまり、この場合のビデオ信号Ｓ１には、ＡＧＣ部１４により高いゲインが設定されたことにより相当量のノイズ（テクスチャ成分）が発生しているが、ビデオ信号Ｓ２からは、このノイズが有効に低減されている。
この動作は、ビデオ信号処理部２のノイズ除去機能として、元々輝度の低いためにＡＧＣにより高いゲインで増幅されたビデオ信号が入力される状態では、強度なノイズ除去処理を実行していることに相当する。
なお、このときに信号合成部３４では、ノイズ（テクスチャ）成分であるビデオ信号Ｓ１４を、ストラクチャ成分であるビデオ信号Ｓ１４に合成する。しかし、ビデオ信号Ｓ１４としてのノイズ成分は、ゲイン逆補正部３１の出力されるビデオ信号Ｓ１１に重畳されるノイズの量に相当するので、ビデオ信号Ｓ１に重畳されるノイズと比較して非常に小さいために、特に問題にはならない。
【００４４】
これに対して、ビデオ信号Ｓ１の基である撮像ビデオ信号が、輝度の高い（明るい画像）のものであるほど、結果として、ビデオ信号処理部２としては、弱度のノイズ除去処理を実行することになる。つまり、必要以上に高域が低減されていない、はっきりした画のビデオ信号Ｓ２が得られる。
【００４５】
最もわかりやすい例として、撮像ビデオ信号の輝度が一定以上に充分であったために、ＡＧＣ部１４ではゲインを変更せずに、例えばゲイン値＝０ｄＢを設定して、ビデオ信号Ｓ１として出力したとする。
これに応じて、ゲイン逆補正部３１では、図４において示される補正特性Ｃを求める。これは実質的に逆補正を行わないことを意味する。従って、このときのゲイン逆補正部３１も、例えばビデオ信号Ｓ１０に対してゲイン値＝０ｄＢを設定してビデオ信号Ｓ１１を出力する。
ただし、確認のために述べておくと、この場合のビデオ信号Ｓ１にはＡＧＣ部１４による補正がされていない。従って、ビデオ信号Ｓ１０には、ＡＧＣ部１４の増幅に起因するノイズはほとんど発生していない。このために、ビデオ信号Ｓ１１に重畳されるノイズの量も、すでに少ない状態にある。
【００４６】
そして、このビデオ信号Ｓ１１は、先ず、ノイズ除去フィルタ２１によりノイズが除去されてストラクチャ成分のみが抽出された後、ゲイン逆−逆補正部３２に入力される。このときのゲイン逆−逆補正部３２も、補正特性Ｃに応じたゲイン値＝０ｄＢをビデオ信号Ｓ１２に設定してビデオ信号Ｓ１３を出力する。つまり、ここでも実質的な逆−逆補正は行われない。次に、ビデオ信号Ｓ１３は、階調補正部２２により輝度補正されてビデオ信号Ｓ１５として信号合成部３４に対して入力される。
そして、信号合成部３４においては、ストラクチャ成分である上記ビデオ信号Ｓ１５と、テクスチャ成分抽出部３３からのテクスチャ成分であるビデオ信号Ｓ１４とを合成してビデオ信号Ｓ２として出力する。
【００４７】
このような動作では、先ずビデオ信号処理部２におけるゲイン逆補正部３１及びゲイン逆−逆補正部３２は、実質的な逆補正、逆−逆補正を行ってはいない。また、この場合のビデオ信号Ｓ１１にはＡＧＣによるノイズは重畳していないので、ノイズ除去フィルタ２１においても理想的にはビデオ信号Ｓ１１とおなじビデオ信号Ｓ１２を出力する。従って、この場合において、信号合成部３４から出力されるビデオ信号Ｓ２は、ビデオ信号Ｓ１（Ｓ１０）について階調補正部２２による輝度補正のみを与えたものとなる。即ち、上記したように、ビデオ信号処理部２としてはノイズ除去を実行しないようにして動作しているものとしてみることができる。
【００４８】
ただし、現実的なこととして、ノイズ除去フィルタ２１は、ビデオ信号の入力に対して、ノイズ除去の処理を或る程度過剰に実行してしまう場合がある。この場合、ノイズの少ないビデオ信号が入力されると、必要以上に高域が低減されてしまいぼけ気味の画像になってしまう。
このことの対策として、本実施形態では信号合成部３４により、ストラクチャ成分（ビデオ信号Ｓ１５）に対してテクスチャ成分（ビデオ信号Ｓ１４）を再合成することとしている。テクスチャ成分（ビデオ信号Ｓ１４）は、ビデオ信号の高域成分である。従って、ストラクチャ成分（ビデオ信号Ｓ１５）に対してテクスチャ成分（ビデオ信号Ｓ１４）を合成すれば、ストラクチャ成分（ビデオ信号Ｓ１５）においてノイズ除去フィルタ２１により除去、低減された高域が復元される。これにより、ビデオ信号Ｓ２に基づく画像としては、ぼけ気味となることが回避され、はっきりした画とすることができる。
【００４９】
なお、確認のために述べておくと、ゲイン逆補正部３１及びゲイン逆−逆補正部３２は、それぞれ、ゲイン情報信号Ｄ１が示す正負のゲイン値に応じて補正特性（補正用のゲイン値）を設定するようにされている。より具体的には、ＡＧＣ部１４が設定したゲイン値が０ｄＢであれば、ゲイン逆補正部３１及びゲイン逆−逆補正部３２が設定するゲイン値も０ｄＢとなる。
また、ＡＧＣ部１４が設定した正のゲイン値が大きくなっていくことに応じては、ゲイン逆補正部３１で設定する負のゲイン値の絶対値が大きくなり、ゲイン逆−逆補正部３２で設定する正のゲイン値も大きくなっていく。
また、ＡＧＣ部１４が設定した負のゲイン値の絶対値が大きくなっていくことに応じては、ゲイン逆補正部３１で設定する正のゲイン値が大きくなり、ゲイン逆−逆補正部３２で設定する負のゲイン値の絶対値も大きくなっていく。
つまり、ゲイン逆補正部３１及びゲイン逆−逆補正部３２は、ＡＧＣ部１４により設定したゲインに適応させて、ダイナミックに補正特性（補正用のゲイン値）を可変設定する。
【００５０】
このようにして本実施形態では、ビデオ信号処理部２のノイズ除去機能として、入力ビデオ信号（Ｓ１）の輝度が低い、即ちＡＧＣによる増幅率が高いほどノイズ除去の強度を高くし、輝度が高い、即ちＡＧＣによる増幅率が低いほどノイズ除去の強度を小さくしていくように動作する。つまり、ビデオ信号の輝度変化、入力ビデオ信号に対するＡＧＣによるゲイン補正の強度に適応させて、適切なノイズ除去の強度を設定できるようにしている。
これにより、例えばビデオ信号の輝度変化などに関わらず、これまでよりも良質な画質を得ることができる。
なお、ノイズ除去の強度は、一般には、例えばローパスフィルタのカットオフ周波数、減衰率の組み合わせで表される。本実施形態では、このようなカットオフ周波数、減衰率の変更に相当する動作を、上記した構成により実現しているといえる。
【００５１】
なお、上記しているように、本実施形態のビデオ信号処理部２としては、入力ビデオ信号に対するＡＧＣのかかり具合に応じてノイズ除去処理の高度を可変することをその第１目的とする。この点からすると、階調補正部２２は必ずしも必要ではない。つまり、階調補正部２２を省略し、ビデオ信号Ｓ１５に代えて、ゲイン逆−逆補正部３２から出力されるビデオ信号Ｓ１３を、信号合成部３４に入力させる構成としてよい。
若しくは、ゲイン逆−逆補正部３２の後段に対して、階調補正部２２以外で特定のビデオ信号処理機能を有する部位を設けても構わない。即ち、信号合成部３４に対しては、ストラクチャ成分の信号として、ゲイン逆−逆補正部３２から出力されるビデオ信号Ｓ１３を基とした信号が入力されるようにすればよい。
【００５２】
また、先にも述べたように、信号合成部３４によりストラクチャ成分の信号に対してテクスチャ成分のビデオ信号を合成するのは、ノイズ除去フィルタ２１により損なわれた可能性のある高域成分を復元することを目的としている。この効果は、入力ビデオ信号（Ｓ１）の輝度が明るいほど有効になってくる。これは換言すれば、例えば入力ビデオ信号の輝度が一定以下の状態のときには、ストラクチャ成分のみのビデオ信号であっても、充分な画質を維持できる可能性があるともいえる。そこで、例えばビデオ信号処理部２として、入力ビデオ信号の輝度が一定以下であることを検出したときには、テクスチャ成分のビデオ信号（Ｓ１４）を合成せずに、ストラクチャ成分のビデオ信号のみを出力させる構成とすることも考えられる。
【００５３】
また、上記実施形態では、ビデオ信号処理部２を撮像システムに組み込んで構成している。しかし、本実施形態のビデオ信号処理部２に相当する構成は、撮像システム以外に適用してよい。
即ち、ビデオ信号処理部２の入力ビデオ信号（Ｓ１）の出力源としては上記撮像装置以外に、例えばビデオレコーダなどをはじめとするビデオ信号の出力が可能な装置、回路全般が対象となる。また、ビデオ信号処理部２の出力ビデオ信号を入力する装置、回路などとしても、圧縮符号化のためのエンコーダ以外のものが対象となってよい。
【００５４】
また、実施形態では、ビデオ信号を対象としているが、例えばオーディオ信号を対象とすることも考えられる。
【００５５】
また、本実施形態のビデオ信号処理部２は、先にも述べたように、ＤＳＰにより構成することができる。つまり、ＤＳＰが実行するプログラム（インストラクション）として、例えば図３にて説明した処理を実行させるためのものを作成してＤＳＰのＲＯＭなどの記憶装置に書き込む。これにより、ＤＳＰにて本実施形態のビデオ信号処理部２としての機能が得られる。
また、ＤＳＰではなく、ＣＰＵ(Central Processing Unit)に対応させて、本実施形態のビデオ信号処理部２としてのビデオ信号処理を実行させるプログラムを作成し、これをＣＰＵが利用する記憶装置に記憶させておくようにしてもよい。これにより、例えばパーソナルコンピュータを始め、ＣＰＵを有して構成される情報処理装置全般において、本実施形態のビデオ信号処理部２のビデオ信号処理機能を与えることが可能になる。
【００５６】
上記のプログラムは、上記もしているように予め記憶装置に記憶させておくほか、例えばリムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む)させるようにして上記記憶装置などに記憶させることが考えられる。また、データインターフェイス経由により、他のホストとなる機器からの制御によってプログラムのインストールを行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、例えばネットワーク経由でサーバからダウンロードして取得できるように構成することも考えられる。
【００５７】
また、上記実施形態では、ビデオ信号処理部２についてデジタル信号処理によりビデオ信号処理を実行するようにして構成しているが、アナログ信号処理によって実現する構成とすることも可能である。
【図面の簡単な説明】
【００５８】
【図１】本発明の実施形態に対応する撮像システムの構成例を示す図である。
【図２】撮像システムのビデオ信号処理部として採用し得る基本構成例を示す図である。
【図３】本実施形態としてのビデオ信号処理部の構成例を示す図である。
【図４】本実施形態に関連するゲイン（輝度）の補正特性を示す図である。
【符号の説明】
【００５９】
１  カメラユニット、２  ビデオ信号処理部、３  エンコーダ、１４  ＡＧＣ、２１  ノイズ除去フィルタ、２２  階調補正部、３０  ビット変換部、３１  ゲイン逆補正部、３２  ゲイン逆−逆補正部、３３  テクスチャ成分抽出部、３４  信号合成部
【図１】
2010041321.tif 000003
【図２】
2010041321.tif 000004
【図３】
2010041321.tif 000005
【図４】
2010041321.tif 000006
【手続補正書】
【提出日】平成21年7月13日(2009.7.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
自動ゲイン調整が行われたビデオ信号と、上記自動ゲイン調整により設定されたゲインを示すゲイン情報とを入力して、入力したビデオ信号について、上記ゲイン情報が示すゲインに対して逆の補正特性となる逆補正用ゲインを与えて出力するゲイン逆補正手段と、
上記ゲイン逆補正手段により出力されるビデオ信号からテクスチャ成分を除去するテクスチャ成分除去手段と、
上記テクスチャ成分除去手段により出力されるビデオ信号について、上記逆補正用ゲインに対して逆の補正特性となる逆−逆補正用ゲインを与えて出力するゲイン逆−逆補正手段と、
上記ゲイン逆補正手段により出力されるビデオ信号と上記テクスチャ成分除去手段により出力されるビデオ信号とを利用してテクスチャ成分信号を抽出する、テクスチャ成分抽出手段と、
上記ゲイン逆−逆補正手段により出力されるビデオ信号を基とするストラクチャ成分信号と、上記テクスチャ成分信号とを合成してビデオ信号を出力する信号合成手段と、
を備えるビデオ信号処理装置。
【請求項２】
上記ビデオ信号はデジタル形式とされたうえで、
上記自動ゲイン調整が行われたビデオ信号のビット数Ｎをビット数Ｍ（Ｍ＞Ｎ）に変換して上記ゲイン逆補正手段に入力させるビット変換手段をさらに備えるとともに、
上記ゲイン逆補正手段、上記テクスチャ成分除去手段、上記ゲイン逆−逆補正手段、上記テクスチャ成分抽出手段、及び上記信号合成手段は、上記ビット数Ｍのビデオ信号について処理を実行するように構成される、
請求項１に記載のビデオ信号処理装置。
【請求項３】
自動ゲイン調整が行われたビデオ信号と、上記自動ゲイン調整により設定されたゲインを示すゲイン情報とを入力して、入力したビデオ信号について、上記ゲイン情報が示すゲインに対して逆の補正特性となる逆補正用ゲインを与えて出力するゲイン逆補正手順と、
上記ゲイン逆補正手順により出力されるビデオ信号からテクスチャ成分を除去するテクスチャ成分除去手順と、
上記テクスチャ成分除去手順により出力されるビデオ信号について、上記逆補正用ゲインに対して逆の補正特性となる逆−逆補正用ゲインを与えて出力するゲイン逆−逆補正手順と、
上記ゲイン逆補正手順により出力されるビデオ信号と上記テクスチャ成分除去手順により出力されるビデオ信号とを利用してテクスチャ成分信号を抽出する、テクスチャ成分抽出手順と、
上記ゲイン逆−逆補正手順により出力されるビデオ信号を基とするストラクチャ成分信号と、上記テクスチャ成分信号とを合成してビデオ信号を出力する信号合成手順と、
を実行するビデオ信号処理方法。
【請求項４】
ビデオ信号処理装置に、
自動ゲイン調整が行われたビデオ信号と、上記自動ゲイン調整により設定されたゲインを示すゲイン情報とを入力して、入力したビデオ信号について、上記ゲイン情報が示すゲインに対して逆の補正特性となる逆補正用ゲインを与えて出力するゲイン逆補正手順と、
上記ゲイン逆補正手順により出力されるビデオ信号からテクスチャ成分を除去するテクスチャ成分除去手順と、
上記テクスチャ成分除去手順により出力されるビデオ信号について、上記逆補正用ゲインに対して逆の補正特性となる逆−逆補正用ゲインを与えて出力するゲイン逆−逆補正手順と、
上記ゲイン逆補正手順により出力されるビデオ信号と上記テクスチャ成分除去手順により出力されるビデオ信号とを利用してテクスチャ成分信号を抽出する、テクスチャ成分抽出手順と、
上記ゲイン逆−逆補正手順により出力されるビデオ信号を基とするストラクチャ成分信号と、上記テクスチャ成分信号とを合成してビデオ信号を出力する信号合成手順と、
を実行させるためのプログラム。