(57)【特許請求の範囲】
【請求項１】
入力映像信号に対して縮小処理を行い縮小映像信号を生成する縮小処理部と、
前記縮小映像信号に対して映像信号処理を行う信号処理部と、
前記映像信号処理がなされた縮小映像信号に対して拡大処理を行う拡大処理部と、
前記入力映像信号と前記拡大処理がなされた映像信号との混合処理を行う第２の信号処理部と、
を具備し、
前記信号処理部は、
前記縮小映像信号に対して第１の映像信号処理を行う第１の信号処理部と、
前記縮小映像信号と、前記第１の映像信号処理がなされた縮小映像信号と、の差または比を計算することにより、前記第１の映像信号処理に起因する変化成分を前記映像信号処理がなされた縮小映像信号として抽出する差分計算処理部と、
を有して構成されたものであることを特徴とする映像信号処理装置。
【請求項２】
前記第２の信号処理部は、前記入力映像信号と前記拡大処理がなされた映像信号との加算、減算、乗算、または除算を前記混合処理として行う加減乗除計算処理部を有して構成されたものであることを特徴とする請求項１に記載の映像信号処理装置。
【請求項３】
前記第２の信号処理部は、前記差分計算処理部により差を計算した場合には、前記入力映像信号と前記拡大処理がなされた映像信号との加算または減算を行い、前記差分計算処理部により比を計算した場合には、前記入力映像信号と前記拡大処理がなされた映像信号との乗算または除算を行う加減乗除計算処理部を有して構成されたものであることを特徴とする請求項１に記載の映像信号処理装置。
【請求項４】
前記第１の信号処理部は、
映像信号処理としてのノイズ低減処理を行うノイズ低減部と、
映像信号処理としてのエッジ強調処理を行うエッジ強調部と、
映像信号処理としての階調変換処理を行う階調変換部と、
の内の少なくとも１つを有して構成されたものであることを特徴とする請求項１に記載の映像信号処理装置。
【請求項５】
前記第１の信号処理部は、
さらに、映像信号処理の何れかが行われた縮小映像信号に対して、該映像信号処理の何れかをさらに行わせるように制御する反復制御部を有して構成されたものであることを特徴とする請求項４に記載の映像信号処理装置。
【請求項６】
前記第１の信号処理部は、
前記ノイズ低減部と、前記エッジ強調部と、前記階調変換部と、の内の少なくとも２つを有して構成されたものであって、さらに、
前記複数の映像信号処理の何れかが行われた縮小映像信号に対して、該複数の映像信号処理の何れかをさらに行わせるように制御する反復制御部を有して構成されたものであることを特徴とする請求項４に記載の映像信号処理装置。
【請求項７】
前記縮小処理部は、前記入力映像信号に対して複数の縮小率による縮小処理を行い複数の縮小映像信号を生成するものであり、
前記信号処理部は、前記複数の縮小映像信号に対して映像信号処理を行うものであり、
前記拡大処理部は、前記映像信号処理がなされた複数の縮小映像信号に対して拡大処理を行うものであり、
前記第２の信号処理部は、前記入力映像信号と前記拡大処理がなされた複数の映像信号との混合処理を行うものであることを特徴とする請求項１に記載の映像信号処理装置。
【請求項８】
前記拡大処理部は、前記映像信号処理がなされた縮小映像信号に対して、前記縮小処理部における縮小率の逆数倍に拡大する拡大処理を行うものであることを特徴とする請求項１に記載の映像信号処理装置。
【請求項９】
前記入力映像信号はカラー映像信号であって、
前記カラー映像信号を輝度信号と色差信号とに分離する輝度色差分離部をさらに具備し、
前記縮小処理部、前記信号処理部、前記拡大処理部、および前記第２の信号処理部は、前記輝度信号と前記色差信号との少なくとも一方に対して、前記各処理を行うものであることを特徴とする請求項１に記載の映像信号処理装置。
【請求項１０】
前記縮小処理部、前記信号処理部、前記拡大処理部、および前記第２の信号処理部によって処理がなされた輝度信号と色差信号との一方と、
前記縮小処理部、前記信号処理部、前記拡大処理部、および前記第２の信号処理部によって処理がなされた／なされていない輝度信号と色差信号との他方と、
を結合する輝度色差結合部をさらに具備したことを特徴とする請求項９に記載の映像信号処理装置。
【請求項１１】
前記信号処理部は、
前記縮小処理部により前記輝度信号に縮小処理が行われた場合に、生成された縮小輝度信号に対して映像信号処理としての輝度信号処理を行う輝度信号処理部と、
前記縮小処理部により前記輝度信号に縮小処理が行われた場合に、前記縮小輝度信号と、前記輝度信号処理がなされた縮小輝度信号と、の差または比を計算することにより、前記輝度信号処理に起因する変化成分を抽出する輝度差分計算処理部と、
前記縮小処理部により前記色差信号に縮小処理が行われた場合に、生成された縮小色差信号に対して映像信号処理としての色差信号処理を行う色差信号処理部と、
前記縮小処理部により前記色差信号に縮小処理が行われた場合に、前記縮小色差信号と、前記色差信号処理がなされた縮小色差信号と、の差または比を計算することにより、前記色差信号処理に起因する変化成分を抽出する色差差分計算処理部と、
を有して構成されたものであることを特徴とする請求項９に記載の映像信号処理装置。
【請求項１２】
前記信号処理部は、前記輝度信号処理部と前記色差信号処理部との少なくとも一方を選択して映像信号処理を行わせるように制御する制御部をさらに有して構成されたものであることを特徴とする請求項１１に記載の映像信号処理装置。
【請求項１３】
前記第２の信号処理部は、
前記輝度色差分離部により分離された輝度信号と前記拡大処理がなされた輝度信号との加算、減算、乗算、または除算を前記混合処理として行う輝度加減乗除計算処理部と、
前記輝度色差分離部により分離された色差信号と前記拡大処理がなされた色差信号との加算、減算、乗算、または除算を前記混合処理として行う色差加減乗除計算処理部と、
を有して構成されたものであることを特徴とする請求項９に記載の映像信号処理装置。
【請求項１４】
前記第２の信号処理部は、
前記輝度差分計算処理部により差を計算した場合には、前記輝度色差分離部により分離された輝度信号と前記拡大処理がなされた輝度信号との加算または減算を行い、前記輝度差分計算処理部により比を計算した場合には、前記輝度色差分離部により分離された輝度信号と前記拡大処理がなされた輝度信号との乗算または除算を行う輝度加減乗除計算処理部と、
前記色差差分計算処理部により差を計算した場合には、前記輝度色差分離部により分離された色差信号と前記拡大処理がなされた色差信号との加算または減算を行い、前記色差差分計算処理部により比を計算した場合には、前記輝度色差分離部により分離された色差信号と前記拡大処理がなされた色差信号との乗算または除算を行う色差加減乗除計算処理部と、
を有して構成されたものであることを特徴とする請求項１１に記載の映像信号処理装置。
【請求項１５】
前記輝度信号処理部は、
輝度信号処理としてのノイズ低減処理を行うノイズ低減部と、
輝度信号処理としてのエッジ強調処理を行うエッジ強調部と、
輝度信号処理としての階調変換処理を行う階調変換部と、
の内の少なくとも１つを有して構成されたものであることを特徴とする請求項１１に記載の映像信号処理装置。
【請求項１６】
前記輝度信号処理部は、さらに、前記輝度信号処理の何れかが行われた縮小輝度信号に対して、該輝度信号処理の何れかをさらに行わせるように制御する反復制御部を有して構成されたものであることを特徴とする請求項１５に記載の映像信号処理装置。
【請求項１７】
前記輝度信号処理部は、
前記ノイズ低減部と、前記エッジ強調部と、前記階調変換部と、の内の少なくとも２つを有して構成されたものであって、さらに、
前記複数の輝度信号処理の何れかが行われた縮小輝度信号に対して、該複数の輝度信号処理の何れかをさらに行わせるように制御する反復制御部を有して構成されたものであることを特徴とする請求項１５に記載の映像信号処理装置。
【請求項１８】
前記色差信号処理部は、
色差信号処理としてのノイズ低減処理を行うノイズ低減部と、
色差信号処理としてのエッジ強調処理を行うエッジ強調部と、
色差信号処理としての階調変換処理を行う階調変換部と、
色差信号処理としての色強調処理を行う色強調部と、
の内の少なくとも１つを有して構成されたものであることを特徴とする請求項１１に記載の映像信号処理装置。
【請求項１９】
前記色差信号処理部は、
さらに、前記色差信号処理の何れかが行われた縮小色差信号に対して、該色差信号処理の何れかをさらに行わせるように制御する反復制御部を有して構成されたものであることを特徴とする請求項１８に記載の映像信号処理装置。
【請求項２０】
前記色差信号処理部は、
前記ノイズ低減部と、前記エッジ強調部と、前記階調変換部と、前記色強調部と、の内の少なくとも２つを有して構成されたものであって、さらに、
前記複数の色差信号処理の何れかが行われた縮小色差信号に対して、該複数の色差信号処理の何れかをさらに行わせるように制御する反復制御部を有して構成されたものであることを特徴とする請求項１８に記載の映像信号処理装置。
【請求項２１】
入力映像信号に対して縮小処理を行い縮小映像信号を生成する縮小処理ステップと、
前記縮小映像信号に対して映像信号処理を行う信号処理ステップと、
前記映像信号処理がなされた縮小映像信号に対して拡大処理を行う拡大処理ステップと、
前記入力映像信号と前記拡大処理がなされた映像信号との混合処理を行う第２の信号処理ステップと、
を具備し、
前記信号処理ステップは、
前記縮小映像信号に対して第１の映像信号処理を行う第１の信号処理ステップと、
前記縮小映像信号と、前記第１の映像信号処理がなされた縮小映像信号と、の差または比を計算することにより、前記第１の映像信号処理に起因する変化成分を前記映像信号処理がなされた縮小映像信号として抽出する差分計算処理ステップと、
を有することを特徴とする映像信号処理プログラム。
【請求項２２】
前記第２の信号処理ステップは、前記入力映像信号と前記拡大処理がなされた映像信号との加算、減算、乗算、または除算を前記混合処理として行う加減乗除計算処理ステップを有するステップであることを特徴とする請求項２１に記載の映像信号処理プログラム。
【請求項２３】
前記第２の信号処理ステップは、前記第１の信号処理ステップにより差を計算した場合には、前記入力映像信号と前記拡大処理がなされた映像信号との加算または減算を行い、前記第１の信号処理ステップにより比を計算した場合には、前記入力映像信号と前記拡大処理がなされた映像信号との乗算または除算を行う加減乗除計算処理ステップを有するステップであることを特徴とする請求項２１に記載の映像信号処理プログラム。
【請求項２４】
前記第１の信号処理ステップは、
映像信号処理としてのノイズ低減処理を行うノイズ低減ステップと、
映像信号処理としてのエッジ強調処理を行うエッジ強調ステップと、
映像信号処理としての階調変換処理を行う階調変換ステップと、
の内の少なくとも１つを有するステップであることを特徴とする請求項２１に記載の映像信号処理プログラム。
【請求項２５】
前記第１の信号処理ステップは、
さらに、前記映像信号処理の何れかが行われた縮小映像信号に対して、該映像信号処理の何れかをさらに行わせるように制御する反復制御ステップを有するステップであることを特徴とする請求項２４に記載の映像信号処理プログラム。
【請求項２６】
前記第１の信号処理ステップは、
前記ノイズ低減ステップと、前記エッジ強調ステップと、前記階調変換ステップと、の内の少なくとも２つを有するステップであって、さらに、
前記複数の映像信号処理の何れかが行われた縮小映像信号に対して、該複数の映像信号処理の何れかをさらに行わせるように制御する反復制御ステップを有するステップであることを特徴とする請求項２４に記載の映像信号処理プログラム。
【請求項２７】
前記入力映像信号はカラー映像信号であって、
前記カラー映像信号を輝度信号と色差信号とに分離する輝度色差分離ステップをさらに有し、
前記縮小処理ステップ、前記信号処理ステップ、前記拡大処理ステップ、および前記第２の信号処理ステップは、前記輝度信号と前記色差信号との少なくとも一方に対して、前記各処理を行うステップであることを特徴とする請求項２１に記載の映像信号処理プログラム。
【請求項２８】
前記縮小処理ステップ、前記信号処理ステップ、前記拡大処理ステップ、および前記第２の信号処理ステップによって処理がなされた輝度信号と色差信号との一方と、
前記縮小処理ステップ、前記信号処理ステップ、前記拡大処理ステップ、および前記第２の信号処理ステップによって処理がなされた／なされていない輝度信号と色差信号との他方と、
を結合する輝度色差結合ステップをさらに有することを特徴とする請求項２７に記載の映像信号処理プログラム。
【請求項２９】
前記信号処理ステップは、
前記縮小処理ステップにより前記輝度信号に縮小処理が行われた場合に、生成された縮小輝度信号に対して映像信号処理としての輝度信号処理を行う輝度信号処理ステップと、
前記縮小処理ステップにより前記輝度信号に縮小処理が行われた場合に、前記縮小輝度信号と、前記輝度信号処理がなされた縮小輝度信号と、の差または比を計算することにより、前記輝度信号処理に起因する変化成分を抽出する輝度差分計算処理ステップと、
前記縮小処理ステップにより前記色差信号に縮小処理が行われた場合に、生成された縮小色差信号に対して映像信号処理としての色差信号処理を行う色差信号処理ステップと、
前記縮小処理ステップにより前記色差信号に縮小処理が行われた場合に、前記縮小色差信号と、前記色差信号処理がなされた縮小色差信号と、の差または比を計算することにより、前記色差信号処理に起因する変化成分を抽出する色差差分計算処理ステップと、
を有するステップであることを特徴とする請求項２７に記載の映像信号処理プログラム。
【請求項３０】
前記信号処理ステップは、前記輝度信号処理ステップと前記色差信号処理ステップとの少なくとも一方を選択して映像信号処理を行わせるように制御する制御ステップをさらに有するステップであることを特徴とする請求項２９に記載の映像信号処理プログラム。
【請求項３１】
前記第２の信号処理ステップは、
前記輝度色差分離ステップにより分離された輝度信号と前記拡大処理がなされた輝度信号との加算、減算、乗算、または除算を前記混合処理として行う輝度加減乗除計算処理ステップと、
前記輝度色差分離ステップにより分離された色差信号と前記拡大処理がなされた色差信号との加算、減算、乗算、または除算を前記混合処理として行う色差加減乗除計算処理ステップと、
を有するステップであることを特徴とする請求項２７に記載の映像信号処理プログラム。
【請求項３２】
前記第２の信号処理ステップは、
前記輝度差分計算処理ステップにより差を計算した場合には、前記輝度色差分離ステップにより分離された輝度信号と前記拡大処理がなされた輝度信号との加算または減算を行い、前記輝度差分計算処理ステップにより比を計算した場合には、前記輝度色差分離ステップにより分離された輝度信号と前記拡大処理がなされた輝度信号との乗算または除算を行う輝度加減乗除計算処理ステップと、
前記色差差分計算処理ステップにより差を計算した場合には、前記輝度色差分離ステップにより分離された色差信号と前記拡大処理がなされた色差信号との加算または減算を行い、前記色差差分計算処理ステップにより比を計算した場合には、前記輝度色差分離ステップにより分離された色差信号と前記拡大処理がなされた色差信号との乗算または除算を行う色差加減乗除計算処理ステップと、
を有するステップであることを特徴とする請求項２９に記載の映像信号処理プログラム。
【請求項３３】
前記輝度信号処理ステップは、
輝度信号処理としてのノイズ低減処理を行うノイズ低減ステップと、
輝度信号処理としてのエッジ強調処理を行うエッジ強調ステップと、
輝度信号処理としての階調変換処理を行う階調変換ステップと、
の内の少なくとも１つを有するステップであることを特徴とする請求項２９に記載の映像信号処理プログラム。
【請求項３４】
前記輝度信号処理ステップは、さらに、前記輝度信号処理の何れかが行われた縮小輝度信号に対して、該輝度信号処理の何れかをさらに行わせるように制御する反復制御ステップを有するステップであることを特徴とする請求項３３に記載の映像信号処理プログラム。
【請求項３５】
前記輝度信号処理ステップは、
前記ノイズ低減ステップと、前記エッジ強調ステップと、前記階調変換ステップと、の内の少なくとも２つを有するステップであって、さらに、
前記複数の輝度信号処理の何れかが行われた縮小輝度信号に対して、該複数の輝度信号処理の何れかをさらに行わせるように制御する反復制御ステップを有するステップであることを特徴とする請求項３３に記載の映像信号処理プログラム。
【請求項３６】
前記色差信号処理ステップは、
色差信号処理としてのノイズ低減処理を行うノイズ低減ステップと、
色差信号処理としてのエッジ強調処理を行うエッジ強調ステップと、
色差信号処理としての階調変換処理を行う階調変換ステップと、
色差信号処理としての色強調処理を行う色強調ステップと、
の内の少なくとも１つを有するステップであることを特徴とする請求項２９に記載の映像信号処理プログラム。
【請求項３７】
前記色差信号処理ステップは、さらに、前記色差信号処理の何れかが行われた縮小色差信号に対して、該色差信号処理の何れかをさらに行わせるように制御する反復制御ステップを有するステップであることを特徴とする請求項３６に記載の映像信号処理プログラム。
【請求項３８】
前記色差信号処理ステップは、
前記ノイズ低減ステップと、前記エッジ強調ステップと、前記階調変換ステップと、前記色強調ステップと、の内の少なくとも２つを有するステップであって、さらに、
前記複数の色差信号処理の何れかが行われた縮小色差信号に対して、該複数の色差信号処理の何れかをさらに行わせるように制御する反復制御ステップを有するステップであることを特徴とする請求項３６に記載の映像信号処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号に対して例えばノイズ低減処理やエッジ強調処理、階調変換処理などの映像信号処理を行う映像信号処理装置、映像信号処理プログラムに関する。
【背景技術】
【０００２】
映像信号に対してノイズ低減処理やエッジ強調処理、階調変換処理などの映像信号処理を行う技術は、従来より多数のものが提案されている。このような映像信号処理は、基本的に映像信号の全体に対して行われるものである。従って、より高品位な映像信号を得るための工夫や改善を行うと、それに従って映像信号処理に要する処理時間が長くなる傾向にある。これは、近年の高画素化された映像信号においては特に顕著となる。
【０００３】
ところで、例えば特開平１１−１６２１１８号公報には、輝度成分を高解像度で保持する一方で、色差成分を低解像度で保持する技術が記載されている。該公報に記載の技術は、画像を再生する際に高解像度の輝度成分と低解像度の色差成分とを用いることにより、ファイルサイズを小さく抑制しながら、高画質の画像再生を実現することを目的としたものとなっている。
【特許文献１】特開平１１−１６２１１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述したように、映像信号の全てに対してノイズ低減処理やエッジ強調処理、階調変換処理などの映像信号処理を行って高品位の映像信号を得ようとすると、処理時間が長くなるという課題がある。
【０００５】
また、上記特開平１１−１６２１１８に記載されたような技術では、輝度成分については高解像度に保持されているために、輝度成分に関しては信号処理に要する時間を短縮することができないという課題がある。
【０００６】
さらに、映像信号全体に対して一様に信号処理を行うと、人の視覚特性に対応した周波数帯域と合わない場合が生じ、主観的に高品位な映像信号を得ることができないことがあるという課題がある。
【０００７】
本発明は上記事情に鑑みてなされたものであり、映像信号処理の負荷を軽減して処理時間を短縮することができる映像信号処理装置、映像信号処理プログラムを提供することを目的としている。
【０００８】
また、本発明は、空間周波数帯域に応じて変化する人の視覚特性を考慮した映像信号処理を行い、主観的に高品位な映像信号を得ることができる映像信号処理装置、映像信号処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００９】
（第１の発明の態様）
上記の目的を達成するために、第１の発明の態様による映像信号処理装置は、入力映像信号に対して縮小処理を行い縮小映像信号を生成する縮小処理部と、前記縮小映像信号に対して映像信号処理を行う信号処理部と、前記映像信号処理がなされた縮小映像信号に対して拡大処理を行う拡大処理部と、前記入力映像信号と前記拡大処理がなされた映像信号との混合処理を行う第２の信号処理部と、を具備したものである。
【００１０】
（対応する発明の実施形態）
この発明の態様には、例えば実施形態１〜３が対応する。縮小処理部は図１，図２９，図４６に示される縮小処理部１０５が、信号処理部は図１，図２，図２９，図３２，図４６に示される信号処理部１０７が、拡大処理部は図１，図２９，図４６に示される拡大処理部１０８が、第２の信号処理部は図１，図３，図２９，図３４，図４６に示される第２の信号処理部１１０が、それぞれ例えば該当する。
【００１１】
この発明の態様の好ましい適用例は、縮小処理部１０５により入力映像信号を縮小し、縮小映像信号に信号処理部１０７により例えばノイズ低減等の映像信号処理を行い、処理後の信号を拡大処理部１０８により拡大し、拡大後の信号と入力映像信号とを第２の信号処理部１１０により混合する映像信号処理装置である。
【００１２】
（作用）
入力映像信号を縮小し、例えばノイズ低減などの映像信号処理を行い、拡大し、元の入力映像信号との混合処理を行う。
【００１３】
（効果）
縮小した映像信号に対して映像信号処理を行っているために、処理の負荷を軽減し、処理時間を短縮することができる。また、元の入力映像信号と、あるサイズに縮小され各種の映像信号処理がなされた後の映像信号と、を混合することにより、空間周波数に依存する人の視覚特性に対応した高品位な映像信号を得ることができる。
【００１４】
（第２の発明の態様）
また、第２の発明の態様による映像信号処理装置は、上記第１の発明の態様による映像信号処理装置において、前記信号処理部が、前記縮小映像信号に対して第１の映像信号処理を行う第１の信号処理部と、前記縮小映像信号と前記第１の映像信号処理がなされた縮小映像信号との差または比を計算することにより前記第１の映像信号処理に起因する変化成分を抽出する差分計算処理部と、を有して構成されたものである。
【００１５】
（対応する発明の実施形態）
この発明の態様には、例えば実施形態１〜３が対応する。第１の信号処理部は図２に示される信号処理選択部２０１、ノイズ低減部２０２、エッジ強調部２０３、階調変換部２０４が、差分計算処理部は図２に示される差分計算処理部２０５が、それぞれ例えば該当する。
【００１６】
（作用）
縮小映像信号に対して第１の映像信号処理を行い、縮小映像信号と第１の映像信号処理がなされた縮小映像信号との差または比を計算することにより、第１の映像信号処理に起因する変化成分を抽出する。
【００１７】
作用の具体例としては、縮小された信号に対して、ノイズ低減処理を行うか、エッジ強調を行うか、階調変換を行うかを選択して、選択された処理を行う。さらに、処理後の縮小映像信号と処理前の縮小映像信号との差または比を算出する。ここで、より具体的には、ノイズ低減処理またはエッジ強調処理を行ったときには差または比を算出し、階調変換処理を行ったときには差を算出する。
【００１８】
（効果）
縮小映像信号に対して、例えばノイズ低減等の映像信号処理を行い、処理前の信号と処理後の信号との差または比を算出することにより、変化成分を抽出することができる。これにより、ある空間周波数帯域のノイズ成分を抽出することが可能となるために、人の視覚特性を考慮した最適な映像信号処理を行うことが可能となり、高品位な映像信号を得ることができる。
【００１９】
（第３の発明の態様）
さらに、第３の発明の態様による映像信号処理装置は、上記第１の発明の態様による映像信号処理装置において、前記第２の信号処理部が、前記入力映像信号と前記拡大処理がなされた映像信号との加算、減算、乗算、または除算を前記混合処理として行う加減乗除計算処理部を有して構成されたものである。
【００２０】
（対応する発明の実施形態）
この発明の態様には、例えば実施形態１〜３が対応する。加減乗除計算処理部は、図３に示される加減乗除計算処理部３０１が例えば該当する。
【００２１】
（作用）
入力映像信号と拡大処理がなされた映像信号との加算、減算、乗算、または除算を行う。
【００２２】
（効果）
抽出された変化成分と入力映像信号とを混合処理することにより、入力映像信号の構造を保持した信号処理を行うことが可能となる。実施形態においては、低周波域から中周波域に各種処理がなされ、高周波域は原信号が保持された映像信号となるために、主観的に好ましい高品位な映像信号を得ることができる。
【００２３】
（第４の発明の態様）
第４の発明の態様による映像信号処理装置は、上記第２の発明の態様による映像信号処理装置において、前記第２の信号処理部が、前記差分計算処理部により差を計算した場合には、前記入力映像信号と前記拡大処理がなされた映像信号との加算または減算を行い、前記差分計算処理部により比を計算した場合には、前記入力映像信号と前記拡大処理がなされた映像信号との乗算または除算を行う加減乗除計算処理部を有して構成されたものである。
【００２４】
（対応する発明の実施形態）
この発明の態様には、例えば実施形態１〜３が対応する。加減乗除計算処理部は、図３に示される加減乗除計算処理部３０１が例えば該当する。
【００２５】
（作用）
差分計算処理部により差を計算した場合には、第２の信号処理部が入力映像信号と拡大処理がなされた映像信号との加算または減算を行い、差分計算処理部により比を計算した場合には、第２の信号処理部が入力映像信号と拡大処理がなされた映像信号との乗算または除算を行う。
【００２６】
（効果）
抽出された変化成分と入力映像信号とを、差分計算処理と関連した四則演算を行って混合処理することにより、変化成分との相関がより高い信号処理を行うことができ、高品位な映像信号を得ることができる。また、四則演算は処理量が比較的少ないために、高速な処理系を低コストに提供することが可能となる。
【００２７】
（第５の発明の態様）
第５の発明の態様による映像信号処理装置は、上記第２の発明の態様による映像信号処理装置において、前記第１の信号処理部が、映像信号処理としてのノイズ低減処理を行うノイズ低減部と、映像信号処理としてのエッジ強調処理を行うエッジ強調部と、映像信号処理としての階調変換処理を行う階調変換部と、の内の少なくとも１つを有して構成されたものである。
【００２８】
（対応する発明の実施形態）
この発明の態様には、例えば実施形態１〜３が対応する。ノイズ低減部は図２に示されるノイズ低減部２０２が、エッジ強調部は図２に示されるエッジ強調部２０３が、階調変換部は図２に示される階調変換部２０４が、それぞれ例えば該当する。
【００２９】
（作用）
縮小映像信号に対して、ノイズ低減部によりノイズ低減処理を、エッジ強調部によりエッジ強調処理を、階調変換部により階調変換処理を、行う。
【００３０】
（効果）
ノイズ低減処理とエッジ強調処理と階調変換処理との内の少なくとも１つを行うことにより、高品位な映像信号を得ることができる。
【００３１】
（第６、第７の発明の態様）
第６の発明の態様による映像信号処理装置は、上記第５の発明の態様による映像信号処理装置において、前記第１の信号処理部が、さらに、映像信号処理の何れかが行われた縮小映像信号に対して、該映像信号処理の何れかをさらに行わせるように制御する反復制御部を有して構成されたものである。
【００３２】
第７の発明の態様による映像信号処理装置は、上記第５の発明の態様による映像信号処理装置において、前記第１の信号処理部が、前記ノイズ低減部と前記エッジ強調部と前記階調変換部との内の少なくとも２つを有して構成されたものであって、さらに、前記複数の映像信号処理の何れかが行われた縮小映像信号に対して該複数の映像信号処理の何れかをさらに行わせるように制御する反復制御部を有して構成されたものである。
【００３３】
（対応する発明の実施形態）
この発明の態様には、例えば実施形態１〜３が対応する。具体的な構成は、例えば図３５，図３６に示される。反復制御部は、図３５，図３６に示される制御部１１２が例えば該当する。
【００３４】
（作用）
反復制御部が、映像信号処理の何れかが行われた縮小映像信号に対して、映像信号処理の何れかをさらに行わせるように制御する。
【００３５】
（効果）
ノイズ低減、エッジ強調、階調変換などの処理を行うことにより、さらに高品位な映像信号を得ることができる。
【００３６】
（第８の発明の態様）
第８の発明の態様による映像信号処理装置は、上記第１の発明の態様による映像信号処理装置において、前記縮小処理部が、前記入力映像信号に対して複数の縮小率による縮小処理を行い複数の縮小映像信号を生成するものであり、前記信号処理部は、前記複数の縮小映像信号に対して映像信号処理を行うものであり、前記拡大処理部は、前記映像信号処理がなされた複数の縮小映像信号に対して拡大処理を行うものであり、前記第２の信号処理部は、前記入力映像信号と前記拡大処理がなされた複数の映像信号との混合処理を行うものである。
【００３７】
（対応する発明の実施形態）
この発明の態様には、例えば実施形態３が対応する。縮小処理部は図４６に示される縮小処理部１０５が、信号処理部は図４６に示される信号処理部１０７が、拡大処理部は図４６に示される拡大処理部１０８が、第２の信号処理部は図４６に示される第２の信号処理部１１０が、それぞれ例えば該当する。
【００３８】
（作用）
複数の縮小率による縮小処理を行い、複数の縮小映像信号に対して映像信号処理、拡大処理、混合処理を行う。
【００３９】
（効果）
人の視覚特性は空間周波数帯域により異なるが、複数の縮小率による縮小処理を行っているために、視覚特性を考慮した信号処理が可能となり主観的に好ましい高品位な映像信号を得ることができる。
【００４０】
（第９の発明の態様）
第９の発明の態様による映像信号処理装置は、上記第１の発明の態様による映像信号処理装置において、前記拡大処理部が、前記映像信号処理がなされた縮小映像信号に対して、前記縮小処理部における縮小率の逆数倍に拡大する拡大処理を行うものである。
【００４１】
（対応する発明の実施形態）
この発明の態様には、例えば実施形態１が対応する。
【００４２】
（作用）
映像信号処理がなされた縮小映像信号に対して、縮小処理部における縮小率の逆数倍に拡大する拡大処理を行う。
【００４３】
（効果）
縮小率の逆数倍に拡大することにより、元の映像信号と同じサイズになるために、その後の加減乗除計算を容易に行うことができる。そして、四則演算は処理量が比較的少ないために、高速な処理系を低コストに提供することが可能となる。
【００４４】
（第１０の発明の態様）
第１０の発明の態様による映像信号処理装置は、上記第１の発明の態様による映像信号処理装置において、前記入力映像信号がカラー映像信号であって、前記カラー映像信号を輝度信号と色差信号とに分離する輝度色差分離部をさらに具備し、前記縮小処理部、前記信号処理部、前記拡大処理部、および前記第２の信号処理部は、前記輝度信号と前記色差信号との少なくとも一方に対して、前記各処理を行うものである。
【００４５】
（対応する発明の実施形態）
この発明の態様には、例えば実施形態２が対応する。輝度色差分離部は図２９に示される輝度色差分離部４０１が例えば該当する。
【００４６】
この発明の態様の好ましい適用例は、カラー映像信号を輝度信号と色差信号とに分離し、分離した信号の両方または何れか一方に、縮小処理、映像信号処理、拡大処理、混合処理を行うことを可能とする映像信号処理装置である。
【００４７】
（作用）
カラー映像信号を輝度信号と色差信号とに分離して、縮小処理、映像信号処理、拡大処理、および混合処理を、分離した信号の少なくとも一方に対して行う。
【００４８】
（効果）
輝度信号と色差信号とを各別に処理することができるために、輝度の特性と色差の特性とに各応じた処理を行うことが可能となって、処理の自由度が増す。また、カラー映像信号に対応することができるために、従来の処理系との親和性が高く、多くのシステムへの適用が可能となる。
【００４９】
（第１１の発明の態様）
第１１の発明の態様による映像信号処理装置は、上記第１０の発明の態様による映像信号処理装置において、前記縮小処理部、前記信号処理部、前記拡大処理部、および前記第２の信号処理部によって処理がなされた輝度信号と色差信号との一方と、前記縮小処理部、前記信号処理部、前記拡大処理部、および前記第２の信号処理部によって処理がなされた／なされていない輝度信号と色差信号との他方と、を結合する輝度色差結合部をさらに具備したものである。
【００５０】
（対応する発明の実施形態）
この発明の態様には、例えば実施形態２が対応する。輝度色差結合部は図３４に示される輝度色差結合部９０３が例えば該当する。
【００５１】
この発明の態様の好ましい適用例は、分離された輝度信号と色差信号との少なくとも一方に縮小処理、映像信号処理、拡大処理、混合処理を行い、これらの処理後に、輝度信号と色差信号とを結合する映像信号処理装置である。
【００５２】
（作用）
縮小処理、映像信号処理、拡大処理、および混合処理がなされた輝度信号と色差信号との一方と、これら各処理がなされた／なされていない輝度信号と色差信号との他方と、を結合する。
【００５３】
（効果）
分離し処理した後の輝度信号と色差信号とを結合しているために、従来の処理系との親和性、互換性が高くなり、多くのシステムへの適用が可能となる。なお、輝度信号と色差信号とを結合することなくそのまま出力することも可能であるために、その後の処理の自由度が増す利点がある。
【００５４】
（第１２の発明の態様）
第１２の発明の態様による映像信号処理装置は、上記第１０の発明の態様による映像信号処理装置において、前記信号処理部が、前記縮小処理部により前記輝度信号に縮小処理が行われた場合に生成された縮小輝度信号に対して映像信号処理としての輝度信号処理を行う輝度信号処理部と、前記縮小処理部により前記輝度信号に縮小処理が行われた場合に前記縮小輝度信号と前記輝度信号処理がなされた縮小輝度信号との差または比を計算することにより前記輝度信号処理に起因する変化成分を抽出する輝度差分計算処理部と、前記縮小処理部により前記色差信号に縮小処理が行われた場合に生成された縮小色差信号に対して映像信号処理としての色差信号処理を行う色差信号処理部と、前記縮小処理部により前記色差信号に縮小処理が行われた場合に前記縮小色差信号と前記色差信号処理がなされた縮小色差信号との差または比を計算することにより前記色差信号処理に起因する変化成分を抽出する色差差分計算処理部と、を有して構成されたものである。
【００５５】
（対応する発明の実施形態）
この発明の態様には、例えば実施形態２が対応する。輝度信号処理部は図３２に示される輝度信号処理部７０１が、色差信号処理部は図３２に示される色差信号処理部７０２が、輝度差分計算処理部は図３２に示される輝度差分計算処理部７０３が、色差差分計算処理部は図３２に示される色差差分計算処理部７０４が、それぞれ例えば該当する。
【００５６】
（作用）
輝度信号に縮小処理が行われた場合に、縮小輝度信号に対して輝度信号処理を行い、処理前後の信号の差または比を計算することにより輝度信号処理に起因する変化成分を抽出し、色差信号に縮小処理が行われた場合に、縮小色差信号に対して色差信号処理を行い、処理前後の信号の差または比を計算することにより色差信号処理に起因する変化成分を抽出する。
【００５７】
（効果）
輝度信号と色差信号とで各別に変化成分を抽出することができるために、その後の処理の自由度が増す。また、輝度信号と色差信号とのそれぞれに適した映像信号処理を行うことができるために、より高品位な映像信号を得ることができる。
【００５８】
（第１３の発明の態様）
第１３の発明の態様による映像信号処理装置は、上記第１２の発明の態様による映像信号処理装置において、前記信号処理部が、前記輝度信号処理部と前記色差信号処理部との少なくとも一方を選択して映像信号処理を行わせるように制御する制御部をさらに有して構成されたものである。
【００５９】
（対応する発明の実施形態）
この発明の態様には、例えば実施形態２が対応する。輝度信号処理部は図３２に示される輝度信号処理部７０１が、色差信号処理部は図３２に示される色差信号処理部７０２が、制御部は図３２等に示される制御部１１２が、それぞれ例えば該当する。
【００６０】
（作用）
輝度信号処理部と色差信号処理部との少なくとも一方を選択して、映像信号処理を行わせる。
【００６１】
（効果）
輝度信号に対するノイズ低減処理等の輝度信号処理と、色差信号に対するノイズ低減処理等の色差信号処理と、を選択して行うことができ、それぞれ個別に変化成分を抽出することができるために、その後の処理の自由度が増す。また、例えば色ノイズの多い映像信号の場合には色差にのみノイズ低減処理を行うなどを選択することができるために、無駄な処理を省略しながら、高品位な映像信号を得ることが可能となる。
【００６２】
（第１４の発明の態様）
第１４の発明の態様による映像信号処理装置は、上記第１０の発明の態様による映像信号処理装置において、前記第２の信号処理部が、前記輝度色差分離部により分離された輝度信号と前記拡大処理がなされた輝度信号との加算、減算、乗算、または除算を前記混合処理として行う輝度加減乗除計算処理部と、前記輝度色差分離部により分離された色差信号と前記拡大処理がなされた色差信号との加算、減算、乗算、または除算を前記混合処理として行う色差加減乗除計算処理部と、を有して構成されたものである。
【００６３】
（対応する発明の実施形態）
この発明の態様には、例えば実施形態２が対応する。輝度加減乗除計算処理部は図３４に示される輝度加減乗除計算処理部９０１が、色差加減乗除計算処理部は図３４に示される色差加減乗除計算処理部９０２が、それぞれ例えば該当する。
【００６４】
（作用）
分離された輝度信号と拡大処理がなされた輝度信号との加算、減算、乗算、または除算を行い、分離された色差信号と拡大処理がなされた色差信号との加算、減算、乗算、または除算を行う。
【００６５】
（効果）
抽出された輝度信号の変化成分と元の輝度信号とを混合処理することにより元の輝度信号の構造を保持した信号処理が可能となり、高品位な輝度信号が得られる。また、抽出された色差信号の変化成分と元の色差信号とを混合処理することにより元の色差信号の構造を保持した信号処理が可能となり、高品位な色差信号が得られる。そして、四則演算は処理量が比較的少ないために、高速な処理系を低コストに提供することができる。
【００６６】
（第１５の発明の態様）
第１５の発明の態様による映像信号処理装置は、上記第１２の発明の態様による映像信号処理装置において、前記第２の信号処理部が、前記輝度差分計算処理部により差を計算した場合には前記輝度色差分離部により分離された輝度信号と前記拡大処理がなされた輝度信号との加算または減算を行い、前記輝度差分計算処理部により比を計算した場合には前記輝度色差分離部により分離された輝度信号と前記拡大処理がなされた輝度信号との乗算または除算を行う輝度加減乗除計算処理部と、前記色差差分計算処理部により差を計算した場合には前記輝度色差分離部により分離された色差信号と前記拡大処理がなされた色差信号との加算または減算を行い、前記色差差分計算処理部により比を計算した場合には前記輝度色差分離部により分離された色差信号と前記拡大処理がなされた色差信号との乗算または除算を行う色差加減乗除計算処理部と、を有して構成されたものである。
【００６７】
（対応する発明の実施形態）
この発明の態様には、例えば実施形態２が対応する。輝度加減乗除計算処理部は図３４に示される輝度加減乗除計算処理部９０１が、色差加減乗除計算処理部は図３４に示される色差加減乗除計算処理部９０２が、それぞれ例えば該当する。
【００６８】
（作用）
輝度差分計算処理部により差を計算した場合には分離された輝度信号と拡大処理がなされた輝度信号との加算または減算を行い、輝度差分計算処理部により比を計算した場合には分離された輝度信号と拡大処理がなされた輝度信号との乗算または除算を行い、色差差分計算処理部により差を計算した場合には分離された色差信号と拡大処理がなされた色差信号との加算または減算を行い、色差差分計算処理部により比を計算した場合には輝度色差分離部により分離された色差信号と拡大処理がなされた色差信号との乗算または除算を行う。
【００６９】
（効果）
抽出された輝度変化成分と元の輝度信号とを、輝度差分計算処理と関連した四則演算で混合処理することにより、変化成分とより相関の高い信号処理を行うことができ、高品位な輝度信号を得ることができる。また、抽出された色差変化成分と元の色差信号とを、色差差分計算処理と関連した四則演算で混合処理することにより、変化成分とより相関の高い信号処理を行うことができ、高品位な輝度信号を得ることができる。
【００７０】
（第１６の発明の態様）
第１６の発明の態様による映像信号処理装置は、上記第１２の発明の態様による映像信号処理装置において、前記輝度信号処理部が、輝度信号処理としてのノイズ低減処理を行うノイズ低減部と、輝度信号処理としてのエッジ強調処理を行うエッジ強調部と、輝度信号処理としての階調変換処理を行う階調変換部と、の内の少なくとも１つを有して構成されたものである。
【００７１】
（対応する発明の実施形態）
この発明の態様には、例えば実施形態２が対応する。ノイズ低減部は図３５に示されるノイズ低減部１００２が、エッジ強調部は図３５に示されるエッジ強調部１００３が、階調変換部は図３５に示される階調変換部１００４が、それぞれ例えば該当する。
【００７２】
（作用）
縮小輝度信号に対して、ノイズ低減部によりノイズ低減処理を、エッジ強調部によりエッジ強調処理を、階調変換部により階調変換処理を、行う。
【００７３】
（効果）
ノイズ低減処理とエッジ強調処理と階調変換処理との内の少なくとも１つを行うことにより、高品位な輝度信号を得ることができる。
【００７４】
（第１７、第１８の発明の態様）
第１７の発明の態様による映像信号処理装置は、上記第１６の発明の態様による映像信号処理装置において、前記輝度信号処理部が、さらに、前記輝度信号処理の何れかが行われた縮小輝度信号に対して、該輝度信号処理の何れかをさらに行わせるように制御する反復制御部を有して構成されたものである。
【００７５】
第１８の発明の態様による映像信号処理装置は、上記第１６の発明の態様による映像信号処理装置において、前記輝度信号処理部が、前記ノイズ低減部と前記エッジ強調部と前記階調変換部との内の少なくとも２つを有して構成されたものであって、さらに、前記複数の輝度信号処理の何れかが行われた縮小輝度信号に対して該複数の輝度信号処理の何れかをさらに行わせるように制御する反復制御部を有して構成されたものである。
【００７６】
（対応する発明の実施形態）
この発明の態様には、例えば実施形態２が対応する。反復制御部は、図３５に示される制御部１１２が例えば該当する。
【００７７】
（作用）
反復制御部が、輝度信号処理の何れかが行われた縮小輝度信号に対して、輝度信号処理の何れかをさらに行わせるように制御する。
【００７８】
（効果）
縮小輝度信号に対して、ノイズ低減処理、エッジ強調処理、階調変換処理などの処理を行うことにより、さらに高品位な輝度信号を得ることができる。
【００７９】
（第１９の発明の態様）
第１９の発明の態様による映像信号処理装置は、上記第１２の発明の態様による映像信号処理装置において、前記色差信号処理部が、色差信号処理としてのノイズ低減処理を行うノイズ低減部と、色差信号処理としてのエッジ強調処理を行うエッジ強調部と、色差信号処理としての階調変換処理を行う階調変換部と、色差信号処理としての色強調処理を行う色強調部と、の内の少なくとも１つを有して構成されたものである。
【００８０】
（対応する発明の実施形態）
この発明の態様には、例えば実施形態２が対応する。ノイズ低減部は図３６に示されるノイズ低減部１１０２が、エッジ強調部は図３６に示されるエッジ強調部１１０３が、階調変換部は図３６に示される階調変換部１１０４が、色強調部は図３６に示される色強調部１１０５が、それぞれ例えば該当する。
【００８１】
（作用）
縮小色差信号に対して、ノイズ低減部によりノイズ低減処理を、エッジ強調部によりエッジ強調処理を、階調変換部により階調変換処理を、色強調部により色強調処理を、行う。
【００８２】
（効果）
ノイズ低減処理とエッジ強調処理と階調変換処理と色強調処理との内の少なくとも１つを行うことにより、高品位な色差信号を得ることができる。
【００８３】
（第２０、第２１の発明の態様）
第２０の発明の態様による映像信号処理装置は、上記第１９の発明の態様による映像信号処理装置において、前記色差信号処理部が、さらに、前記色差信号処理の何れかが行われた縮小色差信号に対して、該色差信号処理の何れかをさらに行わせるように制御する反復制御部を有して構成されたものである。
【００８４】
第２１の発明の態様による映像信号処理装置は、上記第１９の発明の態様による映像信号処理装置において、前記色差信号処理部が、前記ノイズ低減部と前記エッジ強調部と前記階調変換部と前記色強調部との内の少なくとも２つを有して構成されたものであって、さらに、前記複数の色差信号処理の何れかが行われた縮小色差信号に対して、該複数の色差信号処理の何れかをさらに行わせるように制御する反復制御部を有して構成されたものである。
【００８５】
（対応する発明の実施形態）
この発明の態様には、例えば実施形態２が対応する。反復制御部は、図３６に示される制御部１１２が例えば該当する。
【００８６】
（作用）
反復制御部が、色差信号処理の何れかが行われた縮小色差信号に対して、色差信号処理の何れかをさらに行わせるように制御する。
【００８７】
（効果）
縮小色差信号に対して、ノイズ低減処理、エッジ強調処理、階調変換処理、色強調処理などの処理を行うことにより、さらに高品位な色差信号を得ることができる。
【００８８】
（第２２の発明の態様）
第２２の発明の態様による映像信号処理プログラムは、入力映像信号に対して縮小処理を行い縮小映像信号を生成する縮小処理ステップと、前記縮小映像信号に対して映像信号処理を行う信号処理ステップと、前記映像信号処理がなされた縮小映像信号に対して拡大処理を行う拡大処理ステップと、前記入力映像信号と前記拡大処理がなされた映像信号との混合処理を行う第２の信号処理ステップと、を有するプログラムである。
【００８９】
（対応する発明の実施形態、作用、効果）
第１の発明の態様とほぼ同様である。
【００９０】
（第２３の発明の態様）
第２３の発明の態様による映像信号処理プログラムは、第２２の発明の態様による映像信号処理プログラムにおいて、前記信号処理ステップが、前記縮小映像信号に対して第１の映像信号処理を行う第１の信号処理ステップと、前記縮小映像信号と前記第１の映像信号処理がなされた縮小映像信号との差または比を計算することにより前記第１の映像信号処理に起因する変化成分を抽出する差分計算処理ステップと、を有するステップである。
【００９１】
（対応する発明の実施形態、作用、効果）
第２の発明の態様とほぼ同様である。
【００９２】
（第２４の発明の態様）
第２４の発明の態様による映像信号処理プログラムは、上記第２２の発明の態様による映像信号処理プログラムにおいて、前記第２の信号処理ステップが、前記入力映像信号と前記拡大処理がなされた映像信号との加算、減算、乗算、または除算を前記混合処理として行う加減乗除計算処理ステップを有するステップである。
【００９３】
（対応する発明の実施形態、作用、効果）
第３の発明の態様とほぼ同様である。
【００９４】
（第２５の発明の態様）
第２５の発明の態様による映像信号処理プログラムは、上記第２３の発明の態様による映像信号処理プログラムにおいて、前記第２の信号処理ステップが、前記第１の信号処理ステップにより差を計算した場合には、前記入力映像信号と前記拡大処理がなされた映像信号との加算または減算を行い、前記第１の信号処理ステップにより比を計算した場合には、前記入力映像信号と前記拡大処理がなされた映像信号との乗算または除算を行う加減乗除計算処理ステップを有するステップである。
【００９５】
（対応する発明の実施形態、作用、効果）
第４の発明の態様とほぼ同様である。
【００９６】
（第２６の発明の態様）
第２６の発明の態様による映像信号処理プログラムは、上記第２３の発明の態様による映像信号処理プログラムにおいて、前記第１の信号処理ステップが、映像信号処理としてのノイズ低減処理を行うノイズ低減ステップと、映像信号処理としてのエッジ強調処理を行うエッジ強調ステップと、映像信号処理としての階調変換処理を行う階調変換ステップと、の内の少なくとも１つを有するステップである。
【００９７】
（対応する発明の実施形態、作用、効果）
第５の発明の態様とほぼ同様である。
【００９８】
（第２７、第２８の発明の態様）
第２７の発明の態様による映像信号処理プログラムは、上記第２６の発明の態様による映像信号処理プログラムにおいて、前記第１の信号処理ステップが、さらに、前記映像信号処理の何れかが行われた縮小映像信号に対して、該映像信号処理の何れかをさらに行わせるように制御する反復制御ステップを有するステップである。
【００９９】
第２８の発明の態様による映像信号処理プログラムは、上記第２６の発明の態様による映像信号処理プログラムにおいて、前記第１の信号処理ステップが、前記ノイズ低減ステップと前記エッジ強調ステップと前記階調変換ステップとの内の少なくとも２つを有するステップであって、さらに、前記複数の映像信号処理の何れかが行われた縮小映像信号に対して、該複数の映像信号処理の何れかをさらに行わせるように制御する反復制御ステップを有するステップである。
【０１００】
（対応する発明の実施形態、作用、効果）
第６、第７の発明の態様とほぼ同様である。
【０１０１】
（第２９の発明の態様）
第２９の発明の態様による映像信号処理プログラムは、上記第２２の発明の態様による映像信号処理プログラムにおいて、前記入力映像信号はカラー映像信号であって、前記カラー映像信号を輝度信号と色差信号とに分離する輝度色差分離ステップをさらに有し、前記縮小処理ステップ、前記信号処理ステップ、前記拡大処理ステップ、および前記第２の信号処理ステップは、前記輝度信号と前記色差信号との少なくとも一方に対して、前記各処理を行うステップである。
【０１０２】
（対応する発明の実施形態、作用、効果）
第１０の発明の態様とほぼ同様である。
【０１０３】
（第３０の発明の態様）
第３０の発明の態様による映像信号処理プログラムは、上記第２９の発明の態様による映像信号処理プログラムにおいて、前記縮小処理ステップ、前記信号処理ステップ、前記拡大処理ステップ、および前記第２の信号処理ステップによって処理がなされた輝度信号と色差信号との一方と、前記縮小処理ステップ、前記信号処理ステップ、前記拡大処理ステップ、および前記第２の信号処理ステップによって処理がなされた／なされていない輝度信号と色差信号との他方と、を結合する輝度色差結合ステップをさらに有するプログラムである。
【０１０４】
（対応する発明の実施形態、作用、効果）
第１１の発明の態様とほぼ同様である。
【０１０５】
（第３１の発明の態様）
第３１の発明の態様による映像信号処理プログラムは、上記第２９の発明の態様による映像信号処理プログラムにおいて、前記信号処理ステップが、前記縮小処理ステップにより前記輝度信号に縮小処理が行われた場合に生成された縮小輝度信号に対して映像信号処理としての輝度信号処理を行う輝度信号処理ステップと、前記縮小処理ステップにより前記輝度信号に縮小処理が行われた場合に前記縮小輝度信号と前記輝度信号処理がなされた縮小輝度信号との差または比を計算することにより前記輝度信号処理に起因する変化成分を抽出する輝度差分計算処理ステップと、前記縮小処理ステップにより前記色差信号に縮小処理が行われた場合に生成された縮小色差信号に対して映像信号処理としての色差信号処理を行う色差信号処理ステップと、前記縮小処理ステップにより前記色差信号に縮小処理が行われた場合に前記縮小色差信号と前記色差信号処理がなされた縮小色差信号との差または比を計算することにより前記色差信号処理に起因する変化成分を抽出する色差差分計算処理ステップと、を有するステップである。
【０１０６】
（対応する発明の実施形態、作用、効果）
第１２の発明の態様とほぼ同様である。
【０１０７】
（第３２の発明の態様）
第３２の発明の態様による映像信号処理プログラムは、上記第３１の発明の態様による映像信号処理プログラムにおいて、前記信号処理ステップが、前記輝度信号処理ステップと前記色差信号処理ステップとの少なくとも一方を選択して映像信号処理を行わせるように制御する制御ステップをさらに有するステップである。
【０１０８】
（対応する発明の実施形態、作用、効果）
第１３の発明の態様とほぼ同様である。
【０１０９】
（第３３の発明の態様）
第３３の発明の態様による映像信号処理プログラムは、上記第２９の発明の態様による映像信号処理プログラムにおいて、前記第２の信号処理ステップが、前記輝度色差分離ステップにより分離された輝度信号と前記拡大処理がなされた輝度信号との加算、減算、乗算、または除算を前記混合処理として行う輝度加減乗除計算処理ステップと、前記輝度色差分離ステップにより分離された色差信号と前記拡大処理がなされた色差信号との加算、減算、乗算、または除算を前記混合処理として行う色差加減乗除計算処理ステップと、を有するステップである。
【０１１０】
（対応する発明の実施形態、作用、効果）
第１４の発明の態様とほぼ同様である。
【０１１１】
（第３４の発明の態様）
第３４の発明の態様による映像信号処理プログラムは、上記第３１の発明の態様による映像信号処理プログラムにおいて、前記第２の信号処理ステップが、前記輝度差分計算処理ステップにより差を計算した場合には前記輝度色差分離ステップにより分離された輝度信号と前記拡大処理がなされた輝度信号との加算または減算を行い、前記輝度差分計算処理ステップにより比を計算した場合には前記輝度色差分離ステップにより分離された輝度信号と前記拡大処理がなされた輝度信号との乗算または除算を行う輝度加減乗除計算処理ステップと、前記色差差分計算処理ステップにより差を計算した場合には前記輝度色差分離ステップにより分離された色差信号と前記拡大処理がなされた色差信号との加算または減算を行い、前記色差差分計算処理ステップにより比を計算した場合には前記輝度色差分離ステップにより分離された色差信号と前記拡大処理がなされた色差信号との乗算または除算を行う色差加減乗除計算処理ステップと、を有するステップである。
【０１１２】
（対応する発明の実施形態、作用、効果）
第１５の発明の態様とほぼ同様である。
【０１１３】
（第３５の発明の態様）
第３５の発明の態様による映像信号処理プログラムは、上記第３１の発明の態様による映像信号処理プログラムにおいて、前記輝度信号処理ステップが、輝度信号処理としてのノイズ低減処理を行うノイズ低減ステップと、輝度信号処理としてのエッジ強調処理を行うエッジ強調ステップと、輝度信号処理としての階調変換処理を行う階調変換ステップと、の内の少なくとも１つを有するステップである。
【０１１４】
（対応する発明の実施形態、作用、効果）
第１６の発明の態様とほぼ同様である。
【０１１５】
（第３６、第３７の発明の態様）
第３６の発明の態様による映像信号処理プログラムは、上記第３５の発明の態様による映像信号処理プログラムにおいて、前記輝度信号処理ステップが、さらに、前記輝度信号処理の何れかが行われた縮小輝度信号に対して、該輝度信号処理の何れかをさらに行わせるように制御する反復制御ステップを有するステップである。
【０１１６】
第３７の発明の態様による映像信号処理プログラムは、上記第３５の発明の態様による映像信号処理プログラムにおいて、前記輝度信号処理ステップが、前記ノイズ低減ステップと前記エッジ強調ステップと前記階調変換ステップとの内の少なくとも２つを有するステップであって、さらに、前記複数の輝度信号処理の何れかが行われた縮小輝度信号に対して、該複数の輝度信号処理の何れかをさらに行わせるように制御する反復制御ステップを有するステップである。
【０１１７】
（対応する発明の実施形態、作用、効果）
第１７、第１８の発明の態様とほぼ同様である。
【０１１８】
（第３８の発明の態様）
第３８の発明の態様による映像信号処理プログラムは、上記第３１の発明の態様による映像信号処理プログラムにおいて、前記色差信号処理ステップが、色差信号処理としてのノイズ低減処理を行うノイズ低減ステップと、色差信号処理としてのエッジ強調処理を行うエッジ強調ステップと、色差信号処理としての階調変換処理を行う階調変換ステップと、色差信号処理としての色強調処理を行う色強調ステップと、の内の少なくとも１つを有するステップである。
【０１１９】
（対応する発明の実施形態、作用、効果）
第１９の発明の態様とほぼ同様である。
【０１２０】
（第３９、第４０の発明の態様）
第３９の発明の態様による映像信号処理プログラムは、上記第３８の発明の態様による映像信号処理プログラムにおいて、前記色差信号処理ステップが、さらに、前記色差信号処理の何れかが行われた縮小色差信号に対して、該色差信号処理の何れかをさらに行わせるように制御する反復制御ステップを有するステップである。
【０１２１】
第４０の発明の態様による映像信号処理プログラムは、上記第３８の発明の態様による映像信号処理プログラムにおいて、前記色差信号処理ステップが、前記ノイズ低減ステップと前記エッジ強調ステップと前記階調変換ステップと前記色強調ステップとの内の少なくとも２つを有するステップであって、さらに、前記複数の色差信号処理の何れかが行われた縮小色差信号に対して、該複数の色差信号処理の何れかをさらに行わせるように制御する反復制御ステップを有するステップである。
【０１２２】
（対応する発明の実施形態、作用、効果）
第２０、第２１の発明の態様とほぼ同様である。
【発明の効果】
【０１２３】
本発明の映像信号処理装置、映像信号処理プログラムによれば、映像信号処理の負荷を軽減して処理時間を短縮することができる。
【０１２４】
また、本発明の映像信号処理装置、映像信号処理プログラムによれば、空間周波数帯域に応じて変化する人の視覚特性を考慮した映像信号処理を行い、主観的に高品位な映像信号を得ることができる。
【発明を実施するための最良の形態】
【０１２５】
以下、図面を参照して本発明の実施の形態を説明する。
【０１２６】
［実施形態１］
図１から図２８は本発明の実施形態１を示したものであり、図１は映像信号処理装置の構成を示すブロック図、図２は信号処理部の構成を示すブロック図、図３は第２の信号処理部の構成を示すブロック図、図４は元信号の例を示す線図、図５は図４の元信号をローパスフィルタ処理した後の信号を示す線図、図６は図５の信号をダウンサンプリング処理した後の信号（縮小信号）を示す線図、図７は図６の信号をノイズ低減処理した後の信号を示す線図、図８は図６に示したダウンサンプリング処理後の信号と図７に示したノイズ低減処理後の信号との差を示す線図、図９は図８の信号を拡大処理した後の信号を示す線図、図１０は図４の元信号と図９の拡大処理後の信号との差を示す線図、図１１は図６のダウンサンプリング処理後の信号と図７のノイズ低減処理後の信号との比を示す線図、図１２は図１１の信号を拡大処理した後の信号を示す線図、図１３は図４の元信号を図１２の拡大処理後の信号により除算して得られた信号を示す線図、図１４は図６の信号をエッジ強調処理した後の信号を示す線図、図１５は図６のダウンサンプリング処理後の信号と図１４のエッジ強調処理後の信号との差を示す線図、図１６は図１５の信号を拡大処理した後の信号を示す線図、図１７は図４の元信号と図１６の拡大処理後の信号との差を示す線図、図１８は図６のダウンサンプリング処理後の信号と図１４のエッジ強調処理後の信号との比を示す線図、図１９は図１８の信号を拡大処理した後の信号を示す線図、図２０は図４の元信号を図１９の拡大処理後の信号により除算して得られた信号を示す線図、図２１は図６のダウンサンプリング処理後の信号を１よりも大きいγにより階調変換処理した後の信号を示す線図、図２２は図６のダウンサンプリング処理後の信号と図２１の階調変換処理後の信号との差を示す線図、図２３は図２２の信号を拡大処理した後の信号を示す線図、図２４は図４の元信号と図２３の拡大処理後の信号との差を示す線図、図２５は映像信号処理プログラムによる処理全体の流れを示すフローチャート、図２６は図２５のＳ２における縮小処理の詳細を示すフローチャート、図２７は図２５のＳ３における信号処理の詳細を示すフローチャート、図２８は図２５のＳ４における拡大処理の詳細を示すフローチャート、である。
【０１２７】
図１に示すように、この映像信号処理装置は、レンズ系１０１と、ＣＣＤ１０２と、Ａ／Ｄ変換部１０３と、バッファ１０４と、縮小処理部１０５と、縮小バッファ１０６と、信号処理部１０７と、拡大処理部１０８と、拡大バッファ１０９と、第２の信号処理部１１０と、出力部１１１と、制御部１１２と、外部Ｉ／Ｆ部１１３と、を有しており、例えばデジタルカメラやデジタルビデオカメラ等として構成されたものとなっている。
【０１２８】
レンズ系１０１は、被写体の光学像をＣＣＤ１０２の撮像面に結像するための光学系である。
【０１２９】
ＣＣＤ１０２は、Ａ／Ｄ変換部１０３、バッファ１０４、縮小処理部１０５、縮小バッファ１０６、信号処理部１０７、拡大処理部１０８、拡大バッファ１０９、第２の信号処理部１１０を介して出力部１１１へ接続されている。バッファ１０４は、第２の信号処理部１１０へも接続されている。
【０１３０】
また、制御部１１２は、マイクロコンピュータなどで構成されており、Ａ／Ｄ変換部１０３、縮小処理部１０５、信号処理部１０７、拡大処理部１０８、第２の信号処理部１１０、出力部１１１と双方向に接続されていて、これらを制御するようになっている。
【０１３１】
さらに、外部Ｉ／Ｆ部１１３は、電源スイッチや、撮影開始の指示入力を行うためのレリーズボタン、撮影時の各種モードの切り換えを行うためのモード切換スイッチ等を備えたインターフェースであり、この外部Ｉ／Ｆ部１１３も制御部１１２と双方向に接続されている。
【０１３２】
次に、図１に示したような映像信号処理装置の作用を、信号の流れに沿って説明する。
【０１３３】
撮影を行うに先立って、撮像しようとする画像のサイズや圧縮率などの撮影条件を外部Ｉ／Ｆ部１１３を介して設定しておく。
【０１３４】
そして、撮影が開始されると、レンズ系１０１を介して結像された光学像がＣＣＤ１０２により光電変換され、アナログ映像信号として出力される。
【０１３５】
Ａ／Ｄ変換部１０３は、ＣＣＤ１０２からのアナログ映像信号をデジタル映像信号へ変換する。このＡ／Ｄ変換部１０３から出力されたデジタル映像信号は、バッファ１０４へ転送されて格納される。
【０１３６】
縮小処理部１０５は、制御部１１２の制御に基づき、バッファ１０４からの映像信号に対して、前段の処理として所定のローパスフィルタ処理を、後段の処理として所定の縮小率に対応するダウンサンプリング処理を、行う。ここに、上記ローパスフィルタ処理に用いられるローパスフィルタは、縮小率に応じて予め複数種類用意されているものとする。そして、ローパスフィルタの種類と上記縮小率とは、外部Ｉ／Ｆ部１１３を介して使用者が指定するように構成しても構わないし、予め設定しておいた標準値を用いるように構成しても良い。この縮小処理部１０５による処理後の映像信号は、縮小バッファ１０６へ転送されて格納される。
【０１３７】
信号処理部１０７は、所定の映像信号処理を行い、その後に、この映像信号処理に起因する変化成分の抽出を行う。この信号処理部１０７による映像信号処理の詳細は、後で図２を参照して詳細に説明する。
【０１３８】
拡大処理部１０８は、信号処理部１０７からの映像信号、すなわち変化成分を、制御部１１２から与えられる拡大率に応じて拡大する処理を行う。ここに、制御部１１２が与える上記拡大率は、縮小処理部１０５により行われた縮小処理の縮小率の逆数（すなわち、縮小率が０．５である場合には拡大率は２、縮小率が０．１である場合には拡大率は１０など）となっている。この拡大処理部１０８により生成された拡大映像信号は、拡大バッファ１０９へ転送されて格納される。
【０１３９】
第２の信号処理部１１０は、バッファ１０４からの映像信号と拡大バッファ１０９からの映像信号とに関して所定の信号処理を行う。具体的には、バッファ１０４からの映像信号と、信号処理部１０７の映像信号処理に起因する変化成分が拡大処理された信号と、を混合処理する。この第２の信号処理部１１０による処理の詳細は、後で図３を参照して詳細に説明する。この第２の信号処理部１１０による処理後の映像信号は、出力部１１１へ転送される。
【０１４０】
出力部１１１は、第２の信号処理部１１０からの映像信号を、メモリカードなどの記録媒体に記録して保存する。
【０１４１】
次に、図２を参照して、信号処理部１０７の構成の一例について説明する。
【０１４２】
この信号処理部１０７は、信号処理選択部２０１と、ノイズ低減部２０２と、エッジ強調部２０３と、階調変換部２０４と、差分計算処理部２０５と、を有して構成されている。
【０１４３】
縮小バッファ１０６は、信号処理選択部２０１と差分計算処理部２０５とへ接続されている。信号処理選択部２０１は、ノイズ低減部２０２とエッジ強調部２０３と階調変換部２０４とへ接続されている。ノイズ低減部２０２とエッジ強調部２０３と階調変換部２０４とは、差分計算処理部２０５へ接続されている。差分計算処理部２０５は、拡大処理部１０８へ接続されている。
【０１４４】
制御部１１２は、信号処理選択部２０１、ノイズ低減部２０２、エッジ強調部２０３、階調変換部２０４、差分計算処理部２０５と双方向に接続されていて、これらを制御するようになっている。
【０１４５】
信号処理選択部２０１は、信号処理を選択するための情報を制御部１１２から受信する。ここに、信号処理を選択するための情報は、外部Ｉ／Ｆ部１１３から使用者によって入力されるか、または制御部１１２に予め記憶されている初期値を与えることを想定している。この図２に示す構成例においては、具体的な映像信号処理の選択肢としては、ノイズ低減部２０２によるノイズ低減処理と、エッジ強調部２０３によるエッジ強調処理と、階調変換部２０４による階調変換処理と、がある。
【０１４６】
ノイズ低減部２０２は、制御部１１２の制御に基づき、公知のノイズ低減処理を行う。
【０１４７】
エッジ強調部２０３は、制御部１１２の制御に基づき、公知のエッジ強調処理を行う。
【０１４８】
階調変換部２０４は、制御部１１２の制御に基づき、公知の階調変換処理を行う。
【０１４９】
差分計算処理部２０５は、ノイズ低減部２０２とエッジ強調部２０３と階調変換部２０４との内の何れかによる処理が行われた後の映像信号と、縮小バッファ１０６からの映像信号と、の差または比を計算する。なお、本実施形態においては、差は「縮小バッファ１０６の映像信号−映像信号処理が行われた後の映像信号」を、比は「縮小バッファ１０６の映像信号÷映像信号処理が行われた後の映像信号」を、それぞれ想定している。ただし、差や比やこの順に行うに限るものではなく、逆順であっても構わない。
【０１５０】
より詳しくは、差分計算処理部２０５は、ノイズ低減部２０２によるノイズ低減処理が行われた信号かまたはエッジ強調部２０３によるエッジ強調処理が行われた信号に対しては差または比を計算し、階調変換部２０４による階調変換処理が行われた信号に対しては差を計算するようになっている。なお、差を計算するかまたは比を計算するかの切り替えは、信号処理選択部２０１からの情報に基づいて、制御部１１２が制御するようになっている。
【０１５１】
この差分計算処理部２０５により処理された映像信号は、その後、拡大処理部１０８へ転送される。
【０１５２】
次に、図３を参照して、第２の信号処理部１１０の構成の一例について説明する。
【０１５３】
この第２の信号処理部１１０は、加減乗除計算処理部３０１を有して構成されている。
【０１５４】
バッファ１０４と拡大バッファ１０９とは、加減乗除計算処理部３０１へ接続されている。加減乗除計算処理部３０１は、出力部１１１へ接続されている。制御部１１２は、加減乗除計算処理部３０１と双方向に接続されていて、これを制御するようになっている。
【０１５５】
加減乗除計算処理部３０１は、制御部１１２の制御に基づいて、バッファ１０４からの映像信号と拡大バッファ１０９からの映像信号とを加算、減算、乗算、または除算し、計算後の信号を出力部１１１へ転送する。なお、本実施形態においては、減算は「バッファ１０４からの映像信号−拡大バッファ１０９の映像信号」を、除算は「バッファ１０４からの映像信号÷拡大バッファ１０９の映像信号」を、それぞれ想定している。そして、加減乗除計算処理部３０１は、上述した信号処理部１０７においてノイズ低減処理またはエッジ強調処理が行われた場合には加算と減算と乗算と除算との内の何れか一つを、また、階調変換が行われた場合には加算と減算との何れか一方を、行うようになっている。
【０１５６】
より詳しくは、加減乗除計算処理部３０１は、上述した信号処理部１０７において「縮小バッファ１０６の映像信号−映像信号処理が行われた後の映像信号」が算出された場合には「バッファ１０４からの映像信号−拡大バッファ１０９の映像信号」の算出（つまり減算）を、「映像信号処理が行われた後の映像信号−縮小バッファ１０６の映像信号」が算出された場合には「バッファ１０４からの映像信号＋拡大バッファ１０９の映像信号」の算出（つまり加算）を、「縮小バッファ１０６の映像信号÷映像信号処理が行われた後の映像信号」が算出された場合には「バッファ１０４からの映像信号÷拡大バッファ１０９の映像信号」の算出（つまり除算）を、「映像信号処理が行われた後の映像信号÷縮小バッファ１０６の映像信号」が算出された場合には「バッファ１０４からの映像信号×拡大バッファ１０９の映像信号」の算出（つまり乗算）を、それぞれ行うようになっている。
【０１５７】
なお、この加減乗除計算処理部３０１におけるビット精度としては、８ビット（０〜２５５）を想定しており、加減乗除算を行う際に映像信号がオーバーフロー（桁溢れ）する可能性もあり得る。この場合には、映像信号の信号値を、最大値（８ビットの場合には２５５）に切り下げるか、または最小値（同８ビットの場合には０）に切り上げる処理を行えば良い。
【０１５８】
この加減乗除計算処理部３０１による処理後の映像信号は、出力部１１１へ出力される。
【０１５９】
上述したような構成の映像信号処理装置において、信号処理選択部２０１によりノイズ低減処理を選択した場合の作用や効果について、図４〜図１３を参照して説明する。これらの図は一次元信号の例を模式的に示したものであり、図の横方向が空間位置（横軸を明示したとすれば空間座標）、図の縦方向が信号のレベル（縦軸を明示したとすれば信号値）となっている。
【０１６０】
まず、図４は、ノイズが含まれている入力映像信号（適宜、元信号という）を模式的に示している。この図４に示す例の元信号は、概要として、信号の左側と右側が低レベル、中央部分が高レベルの信号となっている。そして、左側の低レベル部分には相対的に低周波数のノイズが、中央部分には相対的に中周波数のノイズが、右側の低レベル部分には相対的に高周波数のノイズが、それぞれのっている例となっている。この図４に示す元信号は、Ａ／Ｄ変換部１０３によりＡ／Ｄ変換されてバッファ１０４に記憶されている信号の例である。なお、この図４に示すような元信号を一つの具体例とする一般的な元信号をｆ（ｘ）（ここに、ｘは空間座標を示す）として表し、低周波ノイズをＮl（ｘ）、中周波ノイズをＮm（ｘ）、高周波ノイズをＮh（ｘ）とし、これらのノイズ成分を除いた信号成分をｆ0（ｘ）とすると、元信号ｆ（ｘ）は次の数式
ｆ（ｘ）＝ｆ0（ｘ）＋Ｎl（ｘ）＋Ｎm（ｘ）＋Ｎh（ｘ）
により表すことができる。
【０１６１】
図５は、図４の元信号に対して、縮小処理部１０５の前段により、所定のローパスフィルタ処理を行った後の信号を示している。この図５に示す例では、右側の低レベル部分の高周波ノイズ（より詳しくは、ノイズであるか否かに関わらず高周波成分）が取り除かれるが、それ以外の中周波ノイズや低周波ノイズはそのままである。この処理により得られる信号は、
ｆ0（ｘ）＋Ｎl（ｘ）＋Ｎm（ｘ）
である。
【０１６２】
図６は、図５のローパスフィルタ処理後の信号に対して、縮小処理部１０５の後段により、所定のダウンサンプリング処理（縮小処理）を実施した後の信号（縮小信号）を示している。ここに、ダウンサンプリングは、空間方向に行われるものである。この処理により得られる信号は、
ｆ0（αｘ）＋Ｎl（αｘ）＋Ｎm（αｘ）
である。ここに、αはスケール変換におけるファクターであり、縮小処理の場合にはα＞１となる。この図６に示す縮小信号が、縮小バッファ１０６に記憶される。
【０１６３】
図７は、図６の縮小信号に対して、信号処理選択部２０１によりノイズ低減処理を選択し、ノイズ低減部２０２により所定のノイズ低減処理を実施した後の信号を示している。この図７に示す例では、左側の低レベル部分の低周波ノイズおよび中央部分の中周波ノイズが取り除かれている。この処理により得られる信号は、
ｆ0（αｘ）
である。
【０１６４】
図８は、差分計算処理部２０５により、図６の縮小信号から図７のノイズ低減処理後の信号を差し引いた後の信号を示している。図６の信号と図７の信号とは同位相であるために、図８に示すようなノイズ低減処理による変化成分である低周波のノイズ成分が抽出される。この処理により得られる信号は、
Ｎl（αｘ）＋Ｎm（αｘ）
である。
【０１６５】
図９は、拡大処理部１０８により、図８の信号（縮小信号のノイズ成分）に所定の拡大処理を実施した後の信号を示している。この拡大処理部１０８により行われる拡大処理の拡大率は、上述したように、縮小処理部１０５により行われた縮小処理の縮小率の逆数である。従って、この図９に示す信号の空間的な大きさは、縮小処理前の図４や図５に示した信号の空間的な大きさと同一になる。この図９に示す信号が、拡大バッファ１０９に記憶される。この処理により得られる信号は、
Ｎl（ｘ）＋Ｎm（ｘ）
である。
【０１６６】
図１０は、第２の信号処理部１１０の加減乗除計算処理部３０１により、図４の元信号から図９の拡大処理後の信号（ノイズ成分）を差し引いた後の信号を示している。図４の信号と図９の信号とは同位相であるために、図１０に示すような、左側の低レベル部分の低周波ノイズおよび中央部分の中周波ノイズがほぼ取り除かれ、右側の低レベル部分の高周波ノイズのみが残る信号が得られる。この信号は、元信号に対して中低周波のノイズ低減が行われた信号となる。この処理により得られる信号は、
ｆ0（ｘ）＋Ｎh（ｘ）
である。
【０１６７】
なお、ここでは、差分計算処理部２０５が縮小バッファ１０６の映像信号（図６参照）からノイズ低減部２０２による処理後の映像信号（図７参照）を差し引き、加減乗除計算処理部３０１が元の信号（図４参照）から拡大処理後のノイズ成分（図９参照）を差し引いていた。しかし、上述したようにこれに限るものではなく、差分計算処理部２０５における減算の順序を交換するようにしても良い。すなわち、差分計算処理部２０５がノイズ低減部２０２による処理後の映像信号（図７参照）から縮小バッファ１０６の映像信号（図６参照）を差し引くようにしても良い。この場合には、加減乗除計算処理部３０１が、元の信号（図４参照）に対して、拡大処理後の逆順序の減算信号を、加算処理することになる。
【０１６８】
これら図８〜図１０に示した処理は、図６の縮小信号と図７のノイズ低減処理後の信号との差をとることにより、図１０に示すような低周波数および中周波数のノイズが取り除かれた信号を得る処理であった。これに対して、次の図１１〜図１３に示す処理は、図６の縮小信号と図７のノイズ低減処理後の信号との比をとることにより、ほぼ同様の結果を得るものとなっている。
【０１６９】
すなわち、図１１は、差分計算処理部２０５により、図６の縮小信号を図７のノイズ低減処理後の信号により除算した（比を計算した）信号を示している（差分計算処理部２０５は、上述したように、比も計算するものとなっている。）。この処理の結果、中低周波のノイズ成分が、比として抽出される。このとき、例えば信号の左側部分は低レベルであるためにノイズの振幅が増大した比が得られ、中央部分は高レベルであるためにノイズの振幅が小さくなった比が得られる（相対的に暗い所は比の振れ幅が大きく、相対的に明るい所は比の振れ幅が小さい）。なお、図６の信号と図７の信号とは同位相であるために、図１１の信号の中心レベルは、基本的に「１」である。この処理により得られる信号は、
｛ｆ0（αｘ）＋Ｎl（αｘ）＋Ｎm（αｘ）｝／ｆ0（αｘ）
である。
【０１７０】
図１２は、拡大処理部１０８により、図１１の信号に所定の拡大処理を実施した後の信号を示している。このときの拡大率は図９において説明したのと同様である。この処理により得られる信号は、
｛ｆ0（ｘ）＋Ｎl（ｘ）＋Ｎm（ｘ）｝／ｆ0（ｘ）
である。
【０１７１】
図１３は、第２の信号処理部１１０の加減乗除計算処理部３０１により、図４の元信号を図１２の拡大処理後の信号によって除算した後の信号を示している。この処理により得られる信号は、
｛ｆ0（ｘ）＋Ｎl（ｘ）＋Ｎm（ｘ）＋Ｎh（ｘ）｝
／［｛ｆ0（ｘ）＋Ｎl（ｘ）＋Ｎm（ｘ）｝／ｆ0（ｘ）］
＝ｆ0（ｘ）［１＋Ｎh（ｘ）／｛ｆ0（ｘ）＋Ｎl（ｘ）＋Ｎm（ｘ）｝］
となる。ここで、ｆ0（ｘ）>>Ｎl（ｘ）かつｆ0（ｘ）>>Ｎm（ｘ）であるという条件を付加すれば、近似的に
ｆ0（ｘ）＋Ｎh（ｘ）
が得られる。すなわち、ノイズレベルが大きくなければ、このような処理によっても、図１０の信号とほぼ同様の、左側の低レベル部分の低周波ノイズおよび中央部分の中周波ノイズがほぼ取り除かれ、右側の低レベル部分の高周波ノイズのみが残る信号、つまり、元信号に対して中低周波のノイズ低減が行われた信号、が得られる。
【０１７２】
なお、ここでは、差分計算処理部２０５が縮小バッファ１０６の映像信号（図６参照）をノイズ低減部２０２による処理後の映像信号（図７参照）により除算し、加減乗除計算処理部３０１が元の信号（図４参照）を拡大処理後のノイズ成分の比（図１１参照）により除算していた。しかし、上述したようにこれに限るものではなく、差分計算処理部２０５における除算の順序を交換するようにしても良い。すなわち、差分計算処理部２０５がノイズ低減部２０２による処理後の映像信号（図７参照）を縮小バッファ１０６の映像信号（図６参照）により除算するようにしても良い。この処理を行うと、ノイズ成分とは逆位相の比が得られる。そして、この場合には、加減乗除計算処理部３０１が、元の信号（図４参照）に対して、拡大処理後の逆順序の除算信号（逆位相の比）を乗算処理することになる。
【０１７３】
次に、図１〜図３に示したような構成の映像信号処理装置において、信号処理選択部２０１によりエッジ強調処理を選択した場合の作用や効果について、図４〜図６，図１４〜図２０を参照して説明する。なお、これらの図の横方向や縦方向が表す意味は、上述と同様である。
【０１７４】
上述と同様の処理を行うことにより、図４に示す元信号から、図６に示すような縮小信号を得る。
【０１７５】
図１４は、信号処理選択部２０１によりエッジ強調処理を選択し、エッジ強調部２０３により図６の縮小信号に対して所定のエッジ強調を実施した後の信号を示している。図４に示すような例の元信号においては、中央部分の高レベルの信号部分と、左側部分および右側部分の低レベルの信号部分と、の間の、信号の傾きが急峻である部分がエッジとなる。従って、このエッジを強調した信号、すなわち、中央部分の両端がより高レベルに強調され、左側の低レベル部分における右端と、右側の低レベル部分における左端と、がより低レベルに強調された信号が得られる。
【０１７６】
図１５は、差分計算処理部２０５により、図６の縮小信号から図１４のエッジ強調処理後の縮小信号を差し引いた後の信号を示している。この処理により、エッジ強調による変化成分が求められる。この変化成分は、図１５に示すように、位相が反転したエッジ強調成分となる。
【０１７７】
図１６は、拡大処理部１０８により、図１５の信号に所定の拡大処理を実施した後の信号を示している。このときの拡大率は図９において説明したのと同様である。
【０１７８】
図１７は、加減乗除計算処理部３０１により、図４の元信号から図１６の拡大処理後の信号（逆位相のエッジ強調成分）を差し引いた後の信号を示している。これにより、元信号からノイズ等を除いた成分（本来の信号成分（図７の信号を拡大処理して得られるような信号成分であり、例えば上述したｆ0（ｘ））であって、全てのノイズよりも低周波の成分となる）にエッジ強調が行われ、ノイズ等の高周波成分（上述したような相対的な意味での、低周波ノイズＮl、中周波ノイズＮm、および高周波ノイズＮhを全て含む）は基本的にそのままとなる。
【０１７９】
なお、このエッジ強調においても、上述したノイズ低減と同様に、差分計算処理部２０５における減算の順序を交換するようにしても良い。この場合に、加減乗除計算処理部３０１が、元の信号（図４参照）に対して、拡大処理後の逆順序の減算信号を加算処理することも、上述と同様である。
【０１８０】
これら図１５〜図１７に示した処理は、図６の縮小信号と図１４のエッジ強調処理後の信号との差をとることにより、図１５に示すようなエッジ強調成分を得る処理であった。これに対して、次の図１８〜図２０に示す処理は、図６の縮小信号と図１４のエッジ強調処理後の信号との比をとることにより、ほぼ同様の結果を得るものとなっている。
【０１８１】
すなわち、図１８は、差分計算処理部２０５により、図６の縮小信号を図１４のエッジ強調処理後の信号で除算した（比を計算した）信号を示している。この処理の結果、位相が反転したエッジ強調成分の比が抽出される。そして、相対的に暗い所は比の振れ幅が大きく、明るい所は比の振れ幅が小さいのは、ノイズ低減の時と同様である。
【０１８２】
図１９は、拡大処理部１０８により、図１８の信号に所定の拡大処理を実施した後の信号を示している。このときの拡大率は図９において説明したのと同様である。
【０１８３】
図２０は、第２の信号処理部１１０の加減乗除計算処理部３０１により、図４の元信号を図１９の拡大処理後の信号（逆位相のエッジ強調成分）によって除算した後の信号を示している。この処理によっても、図１７の信号とほぼ同様の、元信号にノイズ強調処理のみが行われた信号が得られる。
【０１８４】
なお、このエッジ強調においても、上述したノイズ低減と同様に、差分計算処理部２０５における除算の順序を交換するようにしても良い。この場合に、加減乗除計算処理部３０１が、元の信号（図４参照）に対して、拡大処理後の逆順序の除算信号を乗算処理することも、上述と同様である。
【０１８５】
続いて、図１〜図３に示したような構成の映像信号処理装置において、信号処理選択部２０１により階調変換処理を選択した場合の作用や効果について、図４〜図６，図２１〜図２４を参照して説明する。なお、これらの図の横方向や縦方向が表す意味は、上述と同様である。
【０１８６】
上述と同様の処理を行うことにより、図４に示す元信号から、図６に示すような縮小信号を得る。
【０１８７】
図２１は、信号処理選択部２０１により階調変換処理を選択し、階調変換部２０４により図６の縮小信号に対して所定の階調変換を実施した後の信号を示している。なお、図２１においては、図６の縮小信号を点線により示している。この図２１に示す例は、階調変換におけるγを１よりも大きい値（γ＞１）にしたときの例を示しており、低レベルの信号は比較的大きい幅でレベルが高くなっているが、高レベルの信号は僅かにレベルが高くなる程度となっている。
【０１８８】
図２２は、差分計算処理部２０５により、図６の縮小信号から図２１の階調変換処理後の縮小信号を差し引いた後の信号を示している。この処理により、階調変換による変化成分が求められる。この変化成分は、図２２に示すように、γ＞１であるために負の信号となり、さらに、元信号から階調変換処理後の信号を差し引いているために位相が反転した信号になる。
【０１８９】
図２３は、拡大処理部１０８により、図２２の信号に所定の拡大処理を実施した後の信号を示している。このときの拡大率は図９において説明したのと同様である。
【０１９０】
図２４は、加減乗除計算処理部３０１により、図４の元信号から図２３の逆位相の信号を差し引いた後の信号を示している。これにより、図２４の実線に示すような、元信号に対して高周波の成分（ノイズ等の成分）は振幅を保持したままバイアスされ、低周波の成分（本来の信号成分であり、例えば上述したｆ0（ｘ））には通常の階調変換が行われたのと同様の信号が得られる。
【０１９１】
なお、この階調変換においても、上述したノイズ低減やエッジ強調と同様に、差分計算処理部２０５における減算の順序を交換するようにしても良い。この場合に、加減乗除計算処理部３０１が、元の信号（図４参照）に対して、拡大処理後の逆順序の減算信号を加算処理することも、上述と同様である。
【０１９２】
さらに、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものではない。例えば、ＣＣＤ１０２からの映像信号を未処理のままのＲａｗデータとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報（例えば撮影時の露光条件など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである映像信号処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
【０１９３】
図２５を参照して、映像信号処理プログラムによる処理全体の流れについて説明する。
【０１９４】
この処理を開始すると、まず、デジタル映像信号を読み込むとともに、露光条件などのヘッダ情報を読み込む（ステップＳ１）。
【０１９５】
次に、後で図２６を参照して説明するように、映像信号を縮小する縮小処理を行う（ステップＳ２）。
【０１９６】
続いて、後で図２７を参照して説明するように、縮小された映像信号に対して信号処理を行い、さらに、信号処理に起因する変化成分の抽出を行う（ステップＳ３）。
【０１９７】
そして、後で図２８を参照して説明するように、信号処理が行われた映像信号を拡大する拡大処理を行う（ステップＳ４）。
【０１９８】
加えて、ステップＳ４の処理により拡大された映像信号と、ステップＳ１の処理により入力された映像信号と、の加減乗除計算を行う（ステップＳ５）。
【０１９９】
その後、処理後の映像信号を出力して（ステップＳ６）、この処理を終了する。
【０２００】
次に、図２６を参照して、図２５のステップＳ２における縮小処理ついて説明する。
【０２０１】
まず、処理を開始するにあたって、映像信号を縮小するためのローパスフィルタが予め複数種類準備されているものとする。
【０２０２】
そして、処理を開始すると、まず、縮小率を読み込む（ステップＳ１１）。
【０２０３】
続いて、ステップＳ１１により入力された縮小率に合わせて、ローパスフィルタの係数を設定する（ステップＳ１２）。
【０２０４】
さらに、ステップＳ１２により設定された係数のローパスフィルタを使用して、高周波成分の除去を行う（ステップＳ１３）。
【０２０５】
次に、ステップＳ１１により入力された縮小率に基づいて、ダウンサンプリング処理を行う（ステップＳ１４）。
【０２０６】
その後、縮小処理後の映像信号を出力して（ステップＳ１５）、この処理から図２５に示した処理へリターンする。
【０２０７】
次に、図２７を参照して、図２５のステップＳ３における信号処理について説明する。
【０２０８】
この処理を開始すると、まず、入力映像信号に対して、ノイズ低減処理を行うか否かを判定する（ステップＳ２１）。
【０２０９】
ここで、ノイズ低減処理を行わないと判定された場合には、次に、入力映像信号に対して、エッジ強調処理を行うか否かを判定する（ステップＳ２２）。
【０２１０】
ステップＳ２１において、ノイズ低減処理を行うと判定された場合には、入力映像信号に対してノイズ低減処理を行う（ステップＳ２３）。
【０２１１】
また、ステップＳ２１においてノイズ低減処理を行わないと判定され、ステップＳ２２においてエッジ強調処理を行うと判定された場合には、入力映像信号に対してエッジ強調処理を行う（ステップＳ２４）。
【０２１２】
一方、ステップＳ２１においてノイズ低減処理を行わないと判定され、ステップＳ２２においてエッジ強調処理を行わないと判定された場合には、入力映像信号に対して階調変換処理を行う（ステップＳ２５）。
【０２１３】
ステップＳ２３〜Ｓ２５の何れかの処理が行われたら、元の入力映像信号と処理後の映像信号との差（または比）を算出する（ステップＳ２６）。ここに、上述したように、ノイズ低減処理またはエッジ強調処理が行われた場合には差または比を算出し、階調変換処理が行われた場合には差を算出する。
【０２１４】
そして、処理後の映像信号を出力して（ステップＳ２７）、この処理から図２５に示した処理へリターンする。
【０２１５】
続いて、図２８を参照して、図２５のステップＳ４における拡大処理について説明する。
【０２１６】
この処理を開始すると、図２６のステップＳ１４において行ったダウンサンプリングの縮小率の逆数を拡大率として読み込むとともに、バイリニア法またはバイキュービック法などの拡大方法を読み込む（ステップＳ３１）。
【０２１７】
次に、ステップＳ３１により入力された拡大率と拡大方法とに基づいて、ステップＳ３の信号処理が行われた信号の拡大補間処理を行う（ステップＳ３２）。
【０２１８】
そして、拡大処理後の映像信号を出力して（ステップＳ３３）、この処理から図２５に示した処理へリターンする。
【０２１９】
このような実施形態１によれば、元画像を縮小してから、ノイズ低減、エッジ強調、階調変換などの各種の映像信号処理を行うようにしたために、信号処理の負荷を軽減して処理時間の短縮を図ることが可能となる。
【０２２０】
また、人の視覚特性は空間周波数帯域に応じて変化するが、上述したように本実施形態では縮小率を変えることも可能であって所望の空間周波数帯域に対する処理が可能となるために、人の視覚特性を考慮した各種の映像信号処理を実現することができ、主観的に高品位な映像信号を得ることが可能となる。
【０２２１】
［実施形態２］
図２９から図４５は本発明の実施形態２を示したものであり、図２９は映像信号処理装置の構成を示すブロック図、図３０はバッファの構成を示すブロック図、図３１は縮小バッファの構成を示すブロック図、図３２は信号処理部の構成を示すブロック図、図３３は拡大バッファの構成を示すブロック図、図３４は第２の信号処理部の構成を示すブロック図、図３５は輝度信号処理部の構成を示すブロック図、図３６は色差信号処理部の構成を示すブロック図、図３７は図６の信号を色強調処理した後の信号を示す線図、図３８は図６の信号と図３７の色強調処理後の信号との差を示す線図、図３９は図３８の信号を拡大処理した後の信号を示す線図、図４０は図４の元信号と図３９の拡大処理後の信号との差を示す線図、図４１は映像信号処理プログラムによる処理全体の流れを示すフローチャート、図４２は図４１のステップＳ４２における輝度色差分離処理の詳細を示すフローチャート、図４３は図４１のステップＳ４４における輝度信号処理の詳細を示すフローチャート、図４４は図４１のステップＳ４５における色差信号処理の詳細を示すフローチャート、図４５は図４１のステップＳ４８における輝度色差結合処理の詳細を示すフローチャート、である。
【０２２２】
この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０２２３】
上述した実施形態１は、映像信号一般についての実施形態であったが、この実施形態２は、映像信号が特にカラー映像信号である場合の実施形態となっている。
【０２２４】
すなわち、本実施形態においては、ＣＣＤ１０２が原色単板カラー撮像素子であることを想定している。
【０２２５】
そして、図２９に示すように、本実施形態の映像信号処理装置は、上述した実施形態１の図１に示した構成に、輝度色差分離部４０１を追加したものとなっている。
【０２２６】
これにより、この映像信号処理装置は、カラー映像信号を輝度信号と色差信号とに分解して処理を行うようになっている。
【０２２７】
Ａ／Ｄ変換部１０３は、輝度色差分離部４０１へ接続されている。輝度色差分離部４０１は、バッファ１０４へ接続されている。
【０２２８】
制御部１１２は、輝度色差分離部４０１とも双方向に接続されていて、これを制御するようになっている。
【０２２９】
また、図２９に示した映像信号処理装置の各部の詳細については、後で、図３０〜図３６を参照して説明する。
【０２３０】
次に、輝度色差分離部４０１の作用について説明する。
【０２３１】
輝度色差分離部４０１は、制御部１１２の制御に基づき、Ａ／Ｄ変換部１０３からの映像信号に所定の補間処理を行う（例えばＣＣＤ１０２が原色単板カラー撮像素子である場合には、１画素に付きＲＧＢの内の１つの色信号しか得られないために、欠落している２つの色信号を補間する処理を行う）。これにより、各画素に対してＲＧＢ３色の色信号が得られる。そして、輝度色差分離部４０１は、制御部１１２の制御に基づき、各画素毎に、ＲＧＢ信号を次の数式１に示すように輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒへ変換する。  
［数１］
Ｙ ＝  ０．２９９００Ｒ＋０．５８７００Ｇ＋０．１１４００Ｂ
Ｃｂ＝−０．１６８７４Ｒ−０．３３１２６Ｇ＋０．５００００Ｂ
Ｃｒ＝  ０．５００００Ｒ−０．４１８６９Ｇ−０．０８１３１Ｂ
【０２３２】
その後、輝度色差分離部４０１は、変換後の輝度信号および色差信号をバッファ１０４へ出力して格納させる。
【０２３３】
次に、図３０を参照して、バッファ１０４の構成の一例について説明する。
【０２３４】
このバッファ１０４は、輝度バッファ５０１と、色差バッファ５０２と、を有して構成されている。輝度色差分離部４０１は、輝度バッファ５０１と色差バッファ５０２とへ接続されている。輝度バッファ５０１は、縮小処理部１０５と第２の信号処理部１１０とへ接続されている。色差バッファ５０２も、輝度バッファ５０１と同様に、縮小処理部１０５と第２の信号処理部１１０とへ接続されている。
【０２３５】
このような構成において、輝度色差分離部４０１により分離された輝度信号は輝度バッファ５０１に、色差信号は色差バッファ５０２に、それぞれ格納されるようになっている。
【０２３６】
続いて、図３１を参照して、縮小バッファ１０６の構成の一例について説明する。
【０２３７】
この縮小バッファ１０６は、縮小輝度バッファ６０１と、縮小色差バッファ６０２と、を有して構成されている。縮小処理部１０５は、縮小輝度バッファ６０１と縮小色差バッファ６０２とへ接続されている。縮小輝度バッファ６０１と縮小色差バッファ６０２とは、信号処理部１０７へ接続されている。
【０２３８】
このような構成において、縮小処理部１０５により縮小処理がなされた輝度信号は縮小輝度バッファ６０１に格納されるようになっている。また、縮小処理部１０５により縮小処理がなされた色差信号は縮小色差バッファ６０２に格納されるようになっている。
【０２３９】
次に、図３２を参照して、信号処理部１０７の構成の一例について説明する。
【０２４０】
この信号処理部１０７は、輝度信号処理部７０１と、色差信号処理部７０２と、輝度差分計算処理部７０３と、色差差分計算処理部７０４と、を有して構成されている。
【０２４１】
縮小輝度バッファ６０１は、輝度信号処理部７０１と輝度差分計算処理部７０３とへ接続されている。縮小色差バッファ６０２は、色差信号処理部７０２と色差差分計算処理部７０４とへ接続されている。輝度信号処理部７０１は、輝度差分計算処理部７０３へ接続されている。色差信号処理部７０２は、色差差分計算処理部７０４へ接続されている。輝度差分計算処理部７０３と色差差分計算処理部７０４とは、拡大処理部１０８へ接続されている。
【０２４２】
制御部１１２は、輝度信号処理部７０１、色差信号処理部７０２、輝度差分計算処理部７０３、色差差分計算処理部７０４と双方向に接続されていて、これらを制御するようになっている。
【０２４３】
輝度信号処理部７０１は、輝度信号についてノイズ低減、エッジ強調、階調変換等の輝度信号処理を行うものであり、その詳細については後で図３５を参照して説明する。
【０２４４】
色差信号処理部７０２は、色差信号についてノイズ低減、エッジ強調、階調変換、色強調等の色差信号処理を行うものであり、その詳細については後で図３６を参照して説明する。
【０２４５】
輝度差分計算処理部７０３は、制御部１１２の制御に基づき、輝度信号処理部７０１からの映像信号と、縮小輝度バッファ６０１に格納されている映像信号と、の差または比を計算し、拡大処理部１０８へ転送する。
【０２４６】
色差差分計算処理部７０４は、制御部１１２の制御に基づき、色差信号処理部７０２からの映像信号と、縮小色差バッファ６０２に格納されている映像信号と、の差または比を計算し、拡大処理部１０８へ転送する。
【０２４７】
続いて、図３３を参照して、拡大バッファ１０９の構成の一例について説明する。
【０２４８】
この拡大バッファ１０９は、拡大輝度バッファ８０１と、拡大色差バッファ８０２と、を有して構成されている。
【０２４９】
拡大処理部１０８は、拡大輝度バッファ８０１と拡大色差バッファ８０２とへ接続されている。拡大輝度バッファ８０１と拡大色差バッファ８０２とは、第２の信号処理部１１０へ接続されている。
【０２５０】
このような構成において、拡大処理部１０８により拡大処理がなされた輝度信号は拡大輝度バッファ８０１に格納されるようになっている。また、拡大処理部１０８により拡大処理がなされた色差信号は拡大色差バッファ８０２に格納されるようになっている。
【０２５１】
続いて、図３４を参照して、第２の信号処理部１１０の構成の一例について説明する。
【０２５２】
この第２の信号処理部１１０は、輝度加減乗除計算処理部９０１と、色差加減乗除計算処理部９０２と、輝度色差結合部９０３と、を有して構成されている。
【０２５３】
輝度バッファ５０１と拡大輝度バッファ８０１とは、輝度加減乗除計算処理部９０１へ接続されている。色差バッファ５０２と拡大色差バッファ８０２とは、色差加減乗除計算処理部９０２へ接続されている。輝度加減乗除計算処理部９０１と色差加減乗除計算処理部９０２とは、輝度色差結合部９０３へ接続されている。輝度色差結合部９０３は出力部１１１へ接続されている。
【０２５４】
制御部１１２は、輝度加減乗除計算処理部９０１、色差加減乗除計算処理部９０２、輝度色差結合部９０３と双方向に接続されていて、これらを制御するようになっている。
【０２５５】
輝度加減乗除計算処理部９０１は、制御部１１２の制御に基づき、輝度バッファ５０１に格納されている輝度信号と拡大輝度バッファ８０１に格納されている輝度信号とを加算、減算、乗算、または除算して、計算後の信号を輝度色差結合部９０３へ転送する。ここに、輝度加減乗除計算処理部９０１は、上述した信号処理部１０７の輝度信号処理部７０１においてノイズ低減処理またはエッジ強調処理が行われた場合には加算と減算と乗算と除算との内の何れか一つを、また、階調変換処理が行われた場合は加算と減算との何れか一方を、上述した実施形態１の加減乗除計算処理部３０１と同様に行うようになっている。なお、輝度信号処理部７０１におけるノイズ低減、エッジ強調、階調変換の選択については、後で図３５を参照して説明する。
【０２５６】
色差加減乗除計算処理部９０２は、制御部１１２の制御に基づき、色差バッファ５０２に格納されている色差信号と拡大色差バッファ８０２に格納されている色差信号とを加算、減算、乗算、または除算して、計算後の信号を輝度色差結合部９０３へ転送する。ここに、色差加減乗除計算処理部９０２は、上述した信号処理部１０７の色差信号処理部７０２においてノイズ低減処理またはエッジ強調処理が行われた場合には加算と減算と乗算と除算との内の何れか一つを、階調変換処理または色強調処理が行われた場合には加算と減算の何れか一方を、上述した実施形態１の加減乗除計算処理部３０１と同様に行うようになっている。なお、色差信号処理部７０２におけるノイズ低減、エッジ強調、階調変換、色強調の選択については、後で図３６を参照して説明する。
【０２５７】
なお、輝度加減乗除計算処理部９０１と色差加減乗除計算処理部９０２とにおけるビット精度としては、８ビット（０〜２５５）を想定しており、加減乗除算を行う際に映像信号がオーバーフロー（桁溢れ）する可能性もあり得る。この場合には、映像信号の信号値を、最大値（８ビットの場合には２５５）に切り下げるか、または最小値（８ビットの場合には０）に切り上げる処理を行えば良い。
【０２５８】
輝度色差結合部９０３は、制御部１１２の制御に基づき、輝度加減乗除計算処理部９０１からの輝度信号Ｙと色差加減乗除計算処理部９０２からの色差信号Ｃｂ，Ｃｒとを用いて、次の数式２に基づきＲＧＢカラー映像信号に変換して変換したＲＧＢ信号を出力部１１１へ出力するか、または、この変換を行うことなく輝度信号Ｙと色差信号Ｃｂ，Ｃｒとをそのまま出力部１１１へ出力する。  
［数２］
Ｒ＝Ｙ                    ＋１．４０２００Ｃｒ
Ｇ＝Ｙ−０．３４４１４Ｃｂ−０．７１４１４Ｃｒ
Ｂ＝Ｙ＋１．７７２００Ｃｂ
【０２５９】
次に、図３５を参照して、輝度信号処理部７０１の構成の一例について説明する。
【０２６０】
この輝度信号処理部７０１は、輝度信号処理選択部１００１と、ノイズ低減部１００２と、エッジ強調部１００３と、階調変換部１００４と、一時輝度バッファ１００５と、を有して構成されている。
【０２６１】
縮小輝度バッファ６０１は輝度信号処理選択部１００１へ接続されている。輝度信号処理選択部１００１は、ノイズ低減部１００２とエッジ強調部１００３と階調変換部１００４とへ接続されている。ノイズ低減部１００２とエッジ強調部１００３と階調変換部１００４とは、一時輝度バッファ１００５へ接続されている。一時輝度バッファ１００５は、輝度信号処理選択部１００１と輝度差分計算処理部７０３とへ接続されている。
【０２６２】
制御部１１２は、輝度信号処理選択部１００１、ノイズ低減部１００２、エッジ強調部１００３、階調変換部１００４と双方向に接続されていて、これらを制御するようになっている。
【０２６３】
輝度信号処理選択部１００１は、信号処理を選択するための情報を制御部１１２から受信する。ここに、信号処理を選択するための情報は、外部Ｉ／Ｆ部１１３から使用者によって入力されるか、または制御部１１２に予め記憶されている初期値を与えることを想定している。この図３５に示す構成例においては、具体的な映像信号処理（輝度信号処理）の選択肢としては、ノイズ低減部１００２によるノイズ低減処理と、エッジ強調部１００３によるエッジ強調処理と、階調変換部１００４による階調変換処理と、がある。
【０２６４】
ノイズ低減部１００２は、制御部１１２の制御に基づき、公知のノイズ低減処理を行う。
【０２６５】
エッジ強調部１００３は、制御部１１２の制御に基づき、公知のエッジ強調処理を行う。
【０２６６】
階調変換部１００４は、制御部１１２の制御に基づき、公知の階調変換処理を行う。
【０２６７】
これらノイズ低減部１００２、エッジ強調部１００３、階調変換部１００４の何れかにより処理された後の映像信号は、一時輝度バッファ１００５へ転送されて記憶される。
【０２６８】
この一時輝度バッファ１００５に記憶された映像信号を、制御部１１２の制御に基づき、再び輝度信号処理選択部１００１へ転送することにより、反復的にノイズ低減、エッジ強調、階調変換の各処理を組み合わせて処理することも可能となっている。なお、このような反復処理は、輝度信号を映像信号に置き換えることにより、上述した実施形態１に対しても適用することが可能である。
【０２６９】
こうして、必要な映像信号処理が行われた映像信号は、一時輝度バッファ１００５から輝度差分計算処理部７０３へ転送される。
【０２７０】
輝度差分計算処理部７０３は、映像信号に対して行われた信号処理に階調変換が含まれている場合には差を計算し、階調変換が含まれていない場合（ノイズ低減と、エッジ強調と、ノイズ低減およびエッジ強調と、の内の何れかである場合）には差または比を計算するようになっている。なお、この輝度差分計算処理部７０３における処理の切り替えは、輝度信号処理選択部１００１からの情報に基づいて、制御部１１２が制御するようになっている。
【０２７１】
続いて、図３６を参照して、色差信号処理部７０２の構成の一例について説明する。
【０２７２】
この色差信号処理部７０２は、色差信号処理選択部１１０１と、ノイズ低減部１１０２と、エッジ強調部１１０３と、階調変換部１１０４と、色強調部１１０５と、一時色差バッファ１１０６と、を有して構成されている。
【０２７３】
縮小色差バッファ６０２は色差信号処理選択部１１０１へ接続されている。色差信号処理選択部１１０１は、ノイズ低減部１１０２とエッジ強調部１１０３と階調変換部１１０４と色強調部１１０５とへ接続されている。ノイズ低減部１１０２とエッジ強調部１１０３と階調変換部１１０４と色強調部１１０５とは、一時色差バッファ１１０６へ接続されている。一時色差バッファ１１０６は、色差信号処理選択部１１０１と色差差分計算処理部７０４とへ接続されている。
【０２７４】
制御部１１２は、色差信号処理選択部１１０１、ノイズ低減部１１０２、エッジ強調部１１０３、階調変換部１１０４、色強調部１１０５と双方向に接続されていて、これらを制御するようになっている。
【０２７５】
色差信号処理選択部１１０１は、信号処理を選択するための情報を制御部１１２から受信する。ここに、信号処理を選択するための情報は、外部Ｉ／Ｆ部１１３から使用者によって入力されるか、または制御部１１２に予め記憶されている初期値を与えることを想定している。この図３６に示す構成例においては、具体的な映像信号処理（色差信号処理）の選択肢としては、ノイズ低減部１１０２によるノイズ低減処理と、エッジ強調部１１０３によるエッジ強調処理と、階調変換部１１０４による階調変換処理と、色強調部１１０５による色に応じた強調処理と、がある。
【０２７６】
ノイズ低減部１１０２は、制御部１１２の制御に基づき、公知のノイズ低減処理を行う。
【０２７７】
エッジ強調部１１０３は、制御部１１２の制御に基づき、公知のエッジ強調処理を行う。
【０２７８】
階調変換部１１０４は、制御部１１２の制御に基づき、公知の階調変換処理を行う。
【０２７９】
色強調部１１０５は、制御部１１２の制御に基づき、公知の色強調処理を行う。
【０２８０】
これらノイズ低減部１１０２、エッジ強調部１１０３、階調変換部１１０４、色強調部１１０５の何れかにより処理された後の映像信号は、一時色差バッファ１１０６へ転送されて記憶される。
【０２８１】
この一時色差バッファ１１０６に記憶された映像信号を、制御部１１２の制御に基づき、再び色差信号処理選択部１１０１へ転送することにより、反復的にノイズ低減、エッジ強調、階調変換、色強調の各処理を組み合わせて処理することも可能となっている。
【０２８２】
こうして、必要な映像信号処理が行われた映像信号は、一時色差バッファ１１０６から色差差分計算処理部７０４へ転送される。
【０２８３】
色差差分計算処理部７０４は、映像信号に対して行われた信号処理に階調変換と色強調との少なくとも一方が含まれている場合には差を計算し、階調変換と色強調との何れも含まれていない場合（ノイズ低減と、エッジ強調と、ノイズ低減およびエッジ強調と、の内の何れかである場合）には差または比を計算するようになっている。なお、この色差差分計算処理部７０４における処理の切り替えは、色差信号処理選択部１１０１からの情報に基づいて、制御部１１２が制御するようになっている。
【０２８４】
また、本実施形態においては、輝度信号処理選択部１００１において選択される信号処理と、色差信号処理選択部１１０１において選択される信号処理とは、互いに関連性があり、標準的な処理の組み合わせであることを想定している。具体的には、輝度信号処理選択部１００１において例えばノイズ低減が選択された場合には、色差信号処理選択部１１０１においても同様にノイズ低減が選択されるなどである。しかし、このような組み合わせに限らず、任意の処理の組み合わせを選択することももちろん可能である。
【０２８５】
上述したような構成の映像信号処理装置において、色差信号処理選択部１１０１により色強調処理を選択した場合の作用や効果について、図４〜図６，図３７〜図４０を参照して説明する。なお、これらの図の横方向や縦方向が表す意味は、上述とほぼ同様である。ただし、図の縦方向については、色差信号のレベルとなる。
【０２８６】
上述と同様の処理を行うことにより、図４に示すような色差の元信号から、図６に示すような縮小信号を得る。
【０２８７】
図３７は、図６の縮小信号（図３７において点線で示している）に対して、色差信号処理選択部１１０１により色強調を選択し、色強調部１１０５により所定の色強調処理を実施した後の信号（色強調後縮小信号）を示している。ここでは、色強調として固定のゲインを上げることを想定しており、図３７に示すような各レベルが上昇した信号が得られる。
【０２８８】
図３８は、色差差分計算処理部７０４により、図６の縮小信号から図３７の色強調処理後の信号を差し引いた後の信号を示している。この処理により、色強調による変化成分が求められる。ここでは固定のゲインを上げているために、この変化成分は、図３８に示すように負の信号となり、さらに、元信号から色強調処理後の信号を差し引いているために位相が反転した信号になる。
【０２８９】
図３９は、拡大処理部１０８により、図３８の信号（縮小色差信号の色強調成分）に所定の拡大処理を実施した後の信号を示している。この拡大処理部１０８により行われる拡大処理の拡大率は、上述したように、縮小処理部１０５により行われた縮小処理の縮小率の逆数である。従って、この図３９に示す信号の空間的な大きさは、縮小処理前の図４や図５に示した信号の空間的な大きさと同一になる。この図３９に示す信号が、拡大バッファ１０９の拡大色差バッファ８０２に記憶される。
【０２９０】
図４０は、第２の信号処理部１１０の色差加減乗除計算処理部９０２により、図４の元信号（図４０において点線で示している）から図３９の逆位相の色強調成分を差し引いた後の色強調された信号を示している。これにより、図４０の実線に示すような、元信号に対して高周波の成分（ノイズ等の成分）は振幅を保持したままバイアスされ、低周波の成分（本来の信号成分であり、例えば上述したｆ0（ｘ））には通常の色強調が行われたのと同様の信号が得られる。
【０２９１】
なお、この色強調処理においても、上述したノイズ低減処理やエッジ強調処理、階調変換処理などと同様に、色差差分計算処理部７０４における減算の順序を交換するようにしても良い。この場合に、加減乗除計算処理部３０１が、元の信号（図４参照）に対して、拡大処理後の逆順序の減算信号を加算処理することも、上述と同様である。
【０２９２】
さらに、本実施形態においてもハードウェアによる処理を前提としていたが、上述した実施形態１と同様に、映像信号処理プログラムをコンピュータに実行させて処理することも可能である。
【０２９３】
図４１を参照して、映像信号処理プログラムによる処理全体の流れについて説明する。
【０２９４】
この処理を開始すると、まず、デジタル映像信号を読み込むとともに、露光条件などのヘッダ情報を読み込む（ステップＳ４１）。
【０２９５】
次に、後で図４２を参照して説明するように、公知の補間処理を行うとともに、ＲＧＢ信号を輝度信号および色差信号へ変換する（ステップＳ４２）。
【０２９６】
続いて、図２６を参照して説明したように、映像信号を縮小する縮小処理を行う（ステップＳ４３）。
【０２９７】
そして、後で図４３を参照して説明するように、縮小された輝度信号に対して輝度信号処理を行い、さらに、輝度信号処理に起因する変化成分の抽出を行う（ステップＳ４４）。
【０２９８】
一方、後で図４４を参照して説明するように、縮小された色差信号に対して色差信号処理を行い、さらに、色差信号処理に起因する変化成分の抽出を行う（ステップＳ４５）。
【０２９９】
次に、図２８を参照して説明したように、信号処理が行われた映像信号（輝度信号および色差信号）を拡大する拡大処理を行う（ステップＳ４６）。
【０３００】
続いて、ステップＳ４６の処理により拡大された映像信号（輝度信号および色差信号）と、ステップＳ４１の処理により入力された映像信号（輝度信号および色差信号）と、の加減乗除計算を行う（ステップＳ４７）。
【０３０１】
さらに、後で図４５を参照して説明するように、輝度信号と色差信号とを結合してＲＧＢカラー映像信号に変換する処理を行う（ステップＳ４８）。
【０３０２】
その後、処理後の映像信号を出力して（ステップＳ４９）、この処理を終了する。
【０３０３】
次に、図４２を参照して、図４１のステップＳ４２における輝度色差分離処理について説明する。
【０３０４】
ステップＳ４１において入力されたＲＧＢカラー映像信号に対して、公知の補間処理を行うとともに、数式１に示したような処理を行うことにより、ＲＧＢ信号を輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒへ変換する（ステップＳ５１）。
【０３０５】
そして、ステップＳ５１の処理により変換した、輝度信号を出力するとともに（ステップＳ５２）、色差信号を出力して（ステップＳ５３）、この処理から図４１に示した処理へリターンする。
【０３０６】
次に、図４３を参照して、図４１のステップＳ４４における輝度信号処理について説明する。
【０３０７】
この処理を開始すると、まず、輝度信号に対して、ノイズ低減処理を行うか否かを判定する（ステップＳ６１）。
【０３０８】
ここで、ノイズ低減処理を行わないと判定された場合には、次に、輝度信号に対して、エッジ強調処理を行うか否かを判定する（ステップＳ６２）。
【０３０９】
ステップＳ６１において、ノイズ低減処理を行うと判定された場合には、輝度信号に対してノイズ低減処理を行う（ステップＳ６３）。
【０３１０】
また、ステップＳ６１においてノイズ低減処理を行わないと判定され、ステップＳ６２においてエッジ強調処理を行うと判定された場合には、輝度信号に対してエッジ強調処理を行う（ステップＳ６４）。
【０３１１】
一方、ステップＳ６１においてノイズ低減処理を行わないと判定され、ステップＳ６２においてエッジ強調処理を行わないと判定された場合には、輝度信号に対して階調変換処理を行う（ステップＳ６５）。
【０３１２】
ステップＳ６３〜Ｓ６５の何れかの処理が行われたら、次に、輝度信号処理をさらに継続して行うか否か（すなわち、反復的にノイズ低減処理、エッジ強調処理、階調変換処理を行うか否か）を判定する（ステップＳ６６）。
【０３１３】
ここで、継続して行うと判定された場合には、ステップＳ６１へ戻って上述したような処理を繰り返して行う。
【０３１４】
また、ステップＳ６６において、輝度信号処理を継続しては行わないと判定された場合には、元の輝度信号と処理後の映像信号との差（または比）を算出する（ステップＳ６７）。ここに、上述したように、実行された輝度信号処理の中に階調変換処理が含まれていない場合には差または比を算出し、階調変換処理が含まれている場合には差を算出する。
【０３１５】
そして、処理後の輝度信号を出力して（ステップＳ６８）、この処理から図４１に示した処理へリターンする。
【０３１６】
次に、図４４を参照して、図４１のステップＳ４５における色差信号処理について説明する。
【０３１７】
この処理を開始すると、まず、色差信号に対して、ノイズ低減処理を行うか否かを判定する（ステップＳ７１）。
【０３１８】
ここで、ノイズ低減処理を行わないと判定された場合には、次に、色差信号に対して、エッジ強調処理を行うか否かを判定する（ステップＳ７２）。
【０３１９】
ここで、エッジ強調処理を行わないと判定された場合には、次に、色差信号に対して、階調変換処理を行うか否かを判定する（ステップＳ７３）。
【０３２０】
ステップＳ７１において、ノイズ低減処理を行うと判定された場合には、色差信号に対してノイズ低減処理を行う（ステップＳ７４）。
【０３２１】
また、ステップＳ７２において、エッジ強調処理を行うと判定された場合には、色差信号に対してエッジ強調処理を行う（ステップＳ７５）。
【０３２２】
さらに、ステップＳ７３において、階調変換処理を行うと判定された場合には、色差信号に対して階調変換処理を行う（ステップＳ７６）。
【０３２３】
一方、ステップＳ７３において、階調変換処理を行わないと判定された場合には、色差信号に対して色強調処理を行う（ステップＳ７７）。
【０３２４】
ステップＳ７４〜Ｓ７７の何れかの処理が行われたら、次に、色差信号処理をさらに継続して行うか否か（すなわち、反復的にノイズ低減処理、エッジ強調処理、階調変換処理、色強調処理を行うか否か）を判定する（ステップＳ７８）。
【０３２５】
ここで、継続して行うと判定された場合には、ステップＳ７１へ戻って上述したような処理を繰り返して行う。
【０３２６】
また、ステップＳ７８において、色差信号処理を継続しては行わないと判定された場合には、元の色差信号と処理後の映像信号との差（または比）を算出する（ステップＳ７９）。ここに、上述したように、行われた色差信号処理に階調変換処理と色強調処理との何れもが含まれていない場合には差または比を算出し、階調変換処理と色強調処理との少なくとも一方が含まれている場合には差を算出する。
【０３２７】
そして、処理後の色差信号を出力して（ステップＳ８０）、この処理から図４１に示した処理へリターンする。
【０３２８】
次に、図４５を参照して、図４１のステップＳ４８における輝度色差結合処理について説明する。
【０３２９】
この処理を開始すると、輝度信号を入力するとともに（ステップＳ８１）、色差信号を入力する（ステップＳ８２）。
【０３３０】
次に、入力した輝度信号と色差信号とを用いて数式２に示したようにＲＧＢ信号を算出し（ステップＳ８３）、図４１に示した処理へリターンする。
【０３３１】
なお、上述では、輝度信号と色差信号とを結合してＲＧＢカラー映像信号に変換してから出力したが、これに限るものではなく、輝度信号と色差信号とをそのまま出力するようにしても構わない。このように、出力信号として、ＲＧＢカラー信号や輝度色差信号の何れでも可能とすることにより、その後の処理の自由度が増す利点がある。
【０３３２】
このような実施形態２によれば、カラー映像信号に対して、上述した実施形態１とほぼ同様の効果を奏することができる。そして、カラー映像信号を、輝度信号と色差信号とに分けて処理を行っているために、それぞれの信号に適した処理を行うことが可能となり、より高品質な映像信号を得ることが可能となる。
【０３３３】
また、色差信号については、縮小してから、ノイズ低減、エッジ強調、階調変換のみならず色強調も行うようにしたために、色強調についても信号処理の負荷を軽減して処理時間の短縮を図ることが可能となる。
【０３３４】
［実施形態３］
図４６から図５４は本発明の実施形態３を示したものであり、図４６は映像信号処理装置の構成を示すブロック図、図４７は図５の信号をローパスフィルタ処理した後の信号を示す線図、図４８は図４７の信号を第２の縮小率によりダウンサンプリング処理した後の信号を示す線図、図４９は図４８の信号をノイズ低減処理した後の信号を示す線図、図５０は図４８の信号と図４９のノイズ低減処理後の信号との差を示す線図、図５１は図５０の信号を第２の拡大率により拡大処理した後の信号を示す線図、図５２は図９の信号と図５１の信号との差を示す線図、図５３は図４の元信号と図５２の信号との差を示す線図、図５４は映像信号処理プログラムによる処理全体の流れを示すフローチャートである。
【０３３５】
この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０３３６】
上述した実施形態１は、ある一種類の縮小率により映像信号を縮小して映像信号処理を行う実施形態であったが、この実施形態３は、複数種類の縮小率により映像信号を縮小してそれぞれに映像信号処理を行う実施形態となっている。なお、ここでは２種類の縮小率の場合を例に挙げて説明する。
【０３３７】
本実施形態の映像信号処理装置は、上述した実施形態１の図１に示した構成と基本的には同様である。しかし、図４６に示すように、各部の内部構成がやや異なるものとなっている。
【０３３８】
すなわち、縮小処理部１０５は、第１縮小率縮小処理部１２０１と、第２縮小率縮小処理部１２０７と、を有して構成されている。
【０３３９】
縮小バッファ１０６は、第１縮小バッファ１２０２と、第２縮小バッファ１２０８と、を有して構成されている。
【０３４０】
信号処理部１０７は、第１縮小率信号処理部１２０３と、第１縮小率差分計算処理部１２０４と、第２縮小率信号処理部１２０９と、第２縮小率差分計算処理部１２１０と、を有して構成されている。
【０３４１】
拡大処理部１０８は、第１拡大率拡大処理部１２０５と、第２拡大率拡大処理部１２１１と、を有して構成されている。
【０３４２】
拡大バッファ１０９は、第１拡大バッファ１２０６と、第２拡大バッファ１２１２と、を有して構成されている。
【０３４３】
第２の信号処理部１１０は、加減乗除計算処理部１２１３を有して構成されている。
【０３４４】
バッファ１０４は、第１縮小率縮小処理部１２０１と第２縮小率縮小処理部１２０７とへ接続されている。第１縮小率縮小処理部１２０１は、第１縮小バッファ１２０２へ接続されている。第１縮小バッファ１２０２は、第１縮小率信号処理部１２０３と第１縮小率差分計算処理部１２０４とへ接続されている。第１縮小率信号処理部１２０３は、第１縮小率差分計算処理部１２０４へ接続されている。第１縮小率差分計算処理部１２０４は、第１拡大率拡大処理部１２０５へ接続されている。第１拡大率拡大処理部１２０５は、第１拡大バッファ１２０６へ接続されている。第１拡大バッファ１２０６は、加減乗除計算処理部１２１３へ接続されている。
【０３４５】
第２縮小率縮小処理部１２０７は、第２縮小バッファ１２０８へ接続されている。第２縮小バッファ１２０８は、第２縮小率信号処理部１２０９と第２縮小率差分計算処理部１２１０とへ接続されている。第２縮小率信号処理部１２０９は、第２縮小率差分計算処理部１２１０へ接続されている。第２縮小率差分計算処理部１２１０は、第２拡大率拡大処理部１２１１へ接続されている。第２拡大率拡大処理部１２１１は、第２拡大バッファ１２１２へ接続されている。第２拡大バッファ１２１２は、加減乗除計算処理部１２１３へ接続されている。加減乗除計算処理部１２１３は、出力部１１１へ接続されている。
【０３４６】
制御部１１２は、第１縮小率縮小処理部１２０１、第１縮小率信号処理部１２０３、第１縮小率差分計算処理部１２０４、第１拡大率拡大処理部１２０５、第２縮小率縮小処理部１２０７、第１縮小率信号処理部１２０９、第１縮小率差分計算処理部１２１０、第１拡大率拡大処理部１２１１、加減乗除計算処理部１２１３と双方向に接続されていて、これらを制御するようになっている。
【０３４７】
次に、このような構成の映像信号処理装置の作用の内の、実施形態１と異なる部分を説明する。
【０３４８】
本実施形態の映像信号処理装置は、制御部１１２の制御に基づき、複数種類の縮小率、ここでは第１の縮小率と第２の縮小率との２種類の縮小率に対応した縮小処理を行うようになっている。ただし、２種類の縮小率に限るものではないことはもちろんである。さらに、ここでは簡単のために、第１の縮小率は、上述した実施形態１における縮小率と同一であるとし、第２の縮小率はこの第１の縮小率よりも高い縮小率（つまり、映像信号をより縮小する縮小率）であるものとする。
【０３４９】
第１縮小率縮小処理部１２０１、第１縮小率信号処理部１２０３、第１縮小率差分計算処理部１２０４、第１拡大率拡大処理部１２０５は、第１の縮小率に基づき、上述した実施形態１の縮小処理部１０５、信号処理部１０７、拡大処理部１０８と同様の処理を行う。このときには、第１縮小バッファ１２０２および第１拡大バッファ１２０６を、上述した実施形態１の縮小バッファ１０６および拡大バッファ１０９と同様に使用する。
【０３５０】
また、第２縮小率縮小処理部１２０７、第２縮小率信号処理部１２０９、第２縮小率差分計算処理部１２１０、第２拡大率拡大処理部１２１１は、第２の縮小率に基づき、上述した実施形態１の縮小処理部１０５、信号処理部１０７、拡大処理部１０８と同様の処理を行う。このときには、第２縮小バッファ１２０８および第２拡大バッファ１２１２を、上述した実施形態１の縮小バッファ１０６および拡大バッファ１０９と同様に使用する。
【０３５１】
加減乗除計算処理部１２１３は、制御部１１２の制御に基づき、バッファ１０４からの映像信号と、第１拡大バッファ１２０６からの映像信号と、第２拡大バッファ１２１２からの映像信号と、を加算、減算、乗算、または除算し、計算後の信号を出力部１１１へ転送する。なお、ここでは、信号処理部１０７において減算と除算との何れか一方が行われることを想定しており、信号処理部１０７において減算が行われた場合にはこの加減乗除計算処理部１２１３において加算または減算を、信号処理部１０７において除算が行われた場合にはこの加減乗除計算処理部１２１３において乗算または除算を、それぞれ行うようになっている。
【０３５２】
上述したような構成の映像信号処理において、信号処理部１０７によりノイズ低減処理を行う場合の作用や効果について、図４〜図９，図４７〜図５３を参照して説明する。なお、これらの図の横方向や縦方向が表す意味は、上述と同様である。
【０３５３】
まず、実施形態１において説明したような処理を行うことにより、図４に示す元信号から図９に示すような信号が得られるのは、上述した通りである。
【０３５４】
なお、本実施形態においては、上述したように、第１の縮小率を上述した実施形態１における縮小率と同一としているために、第１縮小率縮小処理部１２０１の作用は実施形態１の縮小処理部１０５の作用と、第１縮小バッファ１２０２の作用は実施形態１の縮小バッファ１０６の作用と、第１縮小率信号処理部１２０３および第１縮小率差分計算処理部１２０４の作用は実施形態１の信号処理部１０７の作用と、第１拡大率拡大処理部１２０５の作用は実施形態１の拡大処理部１０８の作用と、第１拡大バッファ１２０６の作用は実施形態１の拡大バッファ１０９の作用と、それぞれ同様である。
【０３５５】
一方、図４７は、図４の元信号に対して、第２縮小率縮小処理部１２０７の前段により所定のローパスフィルタ処理を行った後の信号を示している。この図４７に示す例では、右側の低レベル部分の高周波ノイズ（より詳しくは、ノイズであるか否かに関わらず高周波成分）および中央の高レベル部分の中周波ノイズ（より詳しくは、ノイズであるか否かに関わらず中周波成分）が取り除かれるが、左側の低レベル部分の低周波ノイズはそのままである。すなわち、この図４７に示す信号は、図５に示した信号（第１縮小率縮小処理部１２０１の前段により所定のローパスフィルタ処理が行われた信号）とは、中周波ノイズが取り除かれたか否かの相違がある。
【０３５６】
図４８は、図４７の信号に対して、第２縮小率縮小処理部１２０７の後段により第２の縮小率に基づく所定のダウンサンプリング処理を実施した後の信号を示している。第２の縮小率により縮小された図４８に示す信号は、第１の縮小率により縮小された図６に示す信号よりも、より一層小さく縮小されたものとなっている。この図４８に示す縮小信号が、第２縮小バッファ１２０８に記憶される。
【０３５７】
図４９は、図４８の縮小信号に対して、第２縮小率信号処理部１２０９により所定のノイズ低減処理を実施した後の信号を示している。この図４９に示す例では、左側の低レベル部分の低周波ノイズが取り除かれている。
【０３５８】
図５０は、第２縮小率差分計算処理部１２１０により、図４８の縮小信号から図４９のノイズ低減処理後の信号を差し引いた後の信号を示している。図４８の信号と図４９の信号とは同位相であるために、図５０に示すようなノイズ低減処理による変化成分である低周波のノイズ成分が抽出される。
【０３５９】
図５１は、第２拡大率拡大処理部１２１１により、図５０の信号に所定の拡大処理を実施した後の信号を示している。この第２拡大率拡大処理部１２１１により行われる拡大処理の拡大率（第２の拡大率）は、第２縮小率縮小処理部１２０７により行われた縮小処理における第２の縮小率の逆数である。従って、この図５１に示す信号の空間的な大きさは、縮小処理前の図４や図５に示した信号、あるいは縮小後に再び拡大された図９に示した信号の空間的な大きさと同一になる。この図５１に示す信号が、第２拡大バッファ１２１２に記憶される。
【０３６０】
図５２は、加減乗除計算処理部１２１３により、図９の信号から図５１の信号を差し引いた後の信号を示している。図９の信号には低周波ノイズおよび中周波ノイズが含まれ、図５１の信号には低周波ノイズが含まれているために、この減算処理を行うことにより、図５２に示すような中周波ノイズ成分のみが抽出される。
【０３６１】
図５３は、加減乗除計算処理部１２１３により、図４の元信号から図５２の信号を差し引いた後の信号を示している。図４の信号と図５２の信号とは同位相であるために、図５３に示すような、元信号に対して中周波のノイズ低減が行われたのと同様の信号が得られる。
【０３６２】
また、図示はしないが、加減乗除計算処理部１２１３により、図４の元信号から図５１に示すような低周波のノイズ成分を差し引くことによって、元信号に対して低周波のノイズ低減が行われたのと同様の信号が得られる。
【０３６３】
さらに、図示はしないが、加減乗除計算処理部１２１３により、図４の元信号から図９に示すような低周波のノイズ成分および中周波のノイズ成分を差し引くことによって、元信号に対して低周波および中周波のノイズ低減が行われたのと同様の信号が得られる。
【０３６４】
このように、元信号から、図９の信号、図５１の信号、図９の信号と図５１の信号とを組み合わせて得られる信号、の何れかを差し引くことにより、周波数帯域毎に独立したノイズ低減を行うことが可能となる。
【０３６５】
また、加減乗除計算処理部１２１３により減算処理を行う場合に、元信号から減算する信号に０から１の間の重み付けを行うことにより、レベルを可変にしたノイズ低減を行うことが可能である。これにより、より緩やかなノイズ低減を行うこともできる。このレベルを可変にする技術は、上述した実施形態１，２にも同様に適用可能である。
【０３６６】
なお、ここではノイズ低減の場合についてを説明したが、実施形態１，２において説明したようなエッジ強調、階調変換、色強調の各処理を、複数種類の縮小率の場合に適用して上述したように行ってももちろん構わない。
【０３６７】
さらに、本実施形態においてもハードウェアによる処理を前提としていたが、上述した実施形態１，２と同様に、映像信号処理プログラムをコンピュータに実行させて処理することも可能である。
【０３６８】
図５４を参照して、映像信号処理プログラムによる処理全体の流れについて説明する。
【０３６９】
この処理を開始すると、まず、デジタル映像信号を読み込むとともに、露光条件などのヘッダ情報を読み込む（ステップＳ９１）。
【０３７０】
次に、その後の縮小処理、映像信号処理、拡大処理などの映像信号処理を何回繰り返して行うかの回数を入力する（ステップＳ９２）。この繰り返し回数は、縮小率の種類が何種類であるかに応じた回数である。
【０３７１】
続いて、図２６を参照して説明したように、映像信号を縮小する縮小処理を行う（ステップＳ９３）。
【０３７２】
そして、図２７を参照して説明したように、縮小された映像信号に対して映像信号処理を行い、さらに、映像信号処理に起因する変化成分の抽出を行う（ステップＳ９４）。
【０３７３】
次に、図２８を参照して説明したように、映像信号処理が行われた映像信号を拡大する拡大処理を行う（ステップＳ９５）。
【０３７４】
続いて、ステップＳ９２において入力された繰り返し回数に達しているか否かを判定する（ステップＳ９６）。
【０３７５】
ここで、繰り返し回数に達していないと判定された場合には、ステップＳ９３へ戻って上述したような処理を繰り返して行う。
【０３７６】
一方、ステップＳ９６において、繰り返し回数に達していると判定された場合には、繰り返しの回数（つまり縮小率の種類の数）だけ生成されステップＳ９５の処理により拡大された映像信号同士の加算、減算、乗算、または除算を行うことにより、周波数帯域毎の変化成分をまず抽出する。次に、抽出した変化成分とステップＳ９１の処理により入力された映像信号との加算、減算、乗算、または除算を行う（ステップＳ９７）。
【０３７７】
その後、処理後の映像信号を出力して（ステップＳ９８）、この処理を終了する。
【０３７８】
このような実施形態３によれば、上述した実施形態１，２とほぼ同様の効果を奏するとともに、複数の異なる縮小率で処理を行うことにより、異なる周波数帯域に対して別々の処理を行うことができるようになるために、周波数帯域を考慮したノイズ低減処理やエッジ強調処理、階調変換処理、色強調処理などの映像信号処理を行うことができるようになる。
【０３７９】
なお、上述した各実施形態では、映像信号処理として、ノイズ低減処理、エッジ強調処理、階調変換処理、色強調処理を例に挙げたが、これらに限られるものではなく、その他の各種の信号処理に適用することが可能である。
【０３８０】
また、上述では、縮小映像信号に対して映像信号処理を行う前後の変化成分を検出して、この変化成分を拡大した後に元の入力映像信号と混合したが、これに限るものではなく、映像信号処理が行われた縮小映像信号を（変化成分を算出することなく）そのまま拡大して、元の入力映像信号と混合処理（例えば重み付け加算等）することも可能である。
【０３８１】
さらに、上述では、映像信号処理装置および映像信号処理プログラムについて述べたが、同様の処理を行う映像信号処理方法であっても構わない。
【０３８２】
そして、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【産業上の利用可能性】
【０３８３】
本発明は、映像信号に対して例えばノイズ低減処理やエッジ強調処理、階調変換処理などの映像信号処理を行う映像信号処理装置、映像信号処理プログラムに好適に利用することができる。
【図面の簡単な説明】
【０３８４】
【図１】本発明の実施形態１における映像信号処理装置の構成を示すブロック図。
【図２】上記実施形態１における信号処理部の構成を示すブロック図。
【図３】上記実施形態１における第２の信号処理部の構成を示すブロック図。
【図４】上記実施形態１における元信号の例を示す線図。
【図５】上記実施形態１において、図４の元信号をローパスフィルタ処理した後の信号を示す線図。
【図６】上記実施形態１において、図５の信号をダウンサンプリング処理した後の信号（縮小信号）を示す線図。
【図７】上記実施形態１において、図６の信号をノイズ低減処理した後の信号を示す線図。
【図８】上記実施形態１において、図６に示したダウンサンプリング処理後の信号と図７に示したノイズ低減処理後の信号との差を示す線図。
【図９】上記実施形態１において、図８の信号を拡大処理した後の信号を示す線図。
【図１０】上記実施形態１において、図４の元信号と図９の拡大処理後の信号との差を示す線図。
【図１１】上記実施形態１において、図６のダウンサンプリング処理後の信号と図７のノイズ低減処理後の信号との比を示す線図。
【図１２】上記実施形態１において、図１１の信号を拡大処理した後の信号を示す線図。
【図１３】上記実施形態１において、図４の元信号を図１２の拡大処理後の信号により除算して得られた信号を示す線図。
【図１４】上記実施形態１において、図６の信号をエッジ強調処理した後の信号を示す線図。
【図１５】上記実施形態１において、図６のダウンサンプリング処理後の信号と図１４のエッジ強調処理後の信号との差を示す線図。
【図１６】上記実施形態１において、図１５の信号を拡大処理した後の信号を示す線図。
【図１７】上記実施形態１において、図４の元信号と図１６の拡大処理後の信号との差を示す線図。
【図１８】上記実施形態１において、図６のダウンサンプリング処理後の信号と図１４のエッジ強調処理後の信号との比を示す線図。
【図１９】上記実施形態１において、図１８の信号を拡大処理した後の信号を示す線図。
【図２０】上記実施形態１において、図４の元信号を図１９の拡大処理後の信号により除算して得られた信号を示す線図。
【図２１】上記実施形態１において、図６のダウンサンプリング処理後の信号を１よりも大きいγにより階調変換処理した後の信号を示す線図。
【図２２】上記実施形態１において、図６のダウンサンプリング処理後の信号と図２１の階調変換処理後の信号との差を示す線図。
【図２３】上記実施形態１において、図２２の信号を拡大処理した後の信号を示す線図。
【図２４】上記実施形態１において、図４の元信号と図２３の拡大処理後の信号との差を示す線図。
【図２５】上記実施形態１における映像信号処理プログラムによる処理全体の流れを示すフローチャート。
【図２６】上記実施形態１において、図２５のステップＳ２における縮小処理の詳細を示すフローチャート。
【図２７】上記実施形態１において、図２５のステップＳ３における信号処理の詳細を示すフローチャート。
【図２８】上記実施形態１において、図２５のステップＳ４における拡大処理の詳細を示すフローチャート。
【図２９】本発明の実施形態２における映像信号処理装置の構成を示すブロック図。
【図３０】上記実施形態２におけるバッファの構成を示すブロック図。
【図３１】上記実施形態２における縮小バッファの構成を示すブロック図。
【図３２】上記実施形態２における信号処理部の構成を示すブロック図。
【図３３】上記実施形態２における拡大バッファの構成を示すブロック図。
【図３４】上記実施形態２における第２の信号処理部の構成を示すブロック図。
【図３５】上記実施形態２における輝度信号処理部の構成を示すブロック図。
【図３６】上記実施形態２における色差信号処理部の構成を示すブロック図。
【図３７】上記実施形態２において、図６の信号を色強調処理した後の信号を示す線図。
【図３８】上記実施形態２において、図６の信号と図３７の色強調処理後の信号との差を示す線図。
【図３９】上記実施形態２において、図３８の信号を拡大処理した後の信号を示す線図。
【図４０】上記実施形態２において、図４の元信号と図３９の拡大処理後の信号との差を示す線図。
【図４１】上記実施形態２における映像信号処理プログラムによる処理全体の流れを示すフローチャート。
【図４２】上記実施形態２において、図４１のステップＳ４２における輝度色差分離処理の詳細を示すフローチャート。
【図４３】上記実施形態２において、図４１のステップＳ４４における輝度信号処理の詳細を示すフローチャート。
【図４４】上記実施形態２において、図４１のステップＳ４５における色差信号処理の詳細を示すフローチャート。
【図４５】上記実施形態２において、図４１のステップＳ４８における輝度色差結合処理の詳細を示すフローチャート。
【図４６】本発明の実施形態３における映像信号処理装置の構成を示すブロック図。
【図４７】上記実施形態３において、図５の信号をローパスフィルタ処理した後の信号を示す線図。
【図４８】上記実施形態３において、図４７の信号を第２の縮小率によりダウンサンプリング処理した後の信号を示す線図。
【図４９】上記実施形態３において、図４８の信号をノイズ低減処理した後の信号を示す線図。
【図５０】上記実施形態３において、図４８の信号と図４９のノイズ低減処理後の信号との差を示す線図。
【図５１】上記実施形態３において、図５０の信号を第２の拡大率により拡大処理した後の信号を示す線図。
【図５２】上記実施形態３において、図９の信号と図５１の信号との差を示す線図。
【図５３】上記実施形態３において、図４の元信号と図５２の信号との差を示す線図。
【図５４】上記実施形態３における映像信号処理プログラムによる処理全体の流れを示すフローチャート。
【符号の説明】
【０３８５】
１０１…レンズ系
１０２…ＣＣＤ
１０３…Ａ／Ｄ変換部
１０４…バッファ
１０５…縮小処理部
１０６…縮小バッファ
１０７…信号処理部
１０８…拡大処理部
１０９…拡大バッファ
１１０…第２の信号処理部
１１１…出力部
１１２…制御部（反復制御部）
１１３…外部Ｉ／Ｆ部
２０１…信号処理選択部（第１の信号処理部）
２０２…ノイズ低減部（第１の信号処理部）
２０３…エッジ強調部（第１の信号処理部）
２０４…階調変換部（第１の信号処理部）
２０５…差分計算処理部
３０１…加減乗除計算処理部
４０１…輝度色差分離部
５０１…輝度バッファ
５０２…色差バッファ
６０１…縮小輝度バッファ
６０２…縮小色差バッファ
７０１…輝度信号処理部
７０２…色差信号処理部
７０３…輝度差分計算処理部
７０４…色差差分計算処理部
８０１…拡大輝度バッファ
８０２…拡大色差バッファ
９０１…輝度加減乗除計算処理部
９０２…色差加減乗除計算処理部
９０３…輝度色差結合部
１００１…輝度信号処理選択部
１００２…ノイズ低減部
１００３…エッジ強調部
１００４…階調変換部
１００５…一時輝度バッファ
１１０１…色差信号処理選択部
１１０２…ノイズ低減部
１１０３…エッジ強調部
１１０４…階調変換部
１１０５…色強調部
１１０６…一時色差バッファ
１２０１…第１縮小率縮小処理部
１２０２…第１縮小バッファ
１２０３…第１縮小率信号処理部
１２０４…第１縮小率差分計算処理部
１２０５…第１拡大率拡大処理部
１２０６…第１拡大バッファ
１２０７…第２縮小率縮小処理部
１２０８…第２縮小バッファ
１２０９…第２縮小率信号処理部
１２１０…第２縮小率差分計算処理部
１２１１…第２拡大率拡大処理部
１２１２…第２拡大バッファ
１２１３…加減乗除計算処理部
【図１】
0005155641.tif 000002
【図２】
0005155641.tif 000003
【図３】
0005155641.tif 000004
【図４】
0005155641.tif 000005
【図５】
0005155641.tif 000006
【図６】
0005155641.tif 000007
【図７】
0005155641.tif 000008
【図８】
0005155641.tif 000009
【図９】
0005155641.tif 000010
【図１０】
0005155641.tif 000011
【図１１】
0005155641.tif 000012
【図１２】
0005155641.tif 000013
【図１３】
0005155641.tif 000014
【図１４】
0005155641.tif 000015
【図１５】
0005155641.tif 000016
【図１６】
0005155641.tif 000017
【図１７】
0005155641.tif 000018
【図１８】
0005155641.tif 000019
【図１９】
0005155641.tif 000020
【図２０】
0005155641.tif 000021
【図２１】
0005155641.tif 000022
【図２２】
0005155641.tif 000023
【図２３】
0005155641.tif 000024
【図２４】
0005155641.tif 000025
【図２５】
0005155641.tif 000026
【図２６】
0005155641.tif 000027
【図２７】
0005155641.tif 000028
【図２８】
0005155641.tif 000029
【図２９】
0005155641.tif 000030
【図３０】
0005155641.tif 000031
【図３１】
0005155641.tif 000032
【図３２】
0005155641.tif 000033
【図３３】
0005155641.tif 000034
【図３４】
0005155641.tif 000035
【図３５】
0005155641.tif 000036
【図３６】
0005155641.tif 000037
【図３７】
0005155641.tif 000038
【図３８】
0005155641.tif 000039
【図３９】
0005155641.tif 000040
【図４０】
0005155641.tif 000041
【図４１】
0005155641.tif 000042
【図４２】
0005155641.tif 000043
【図４３】
0005155641.tif 000044
【図４４】
0005155641.tif 000045
【図４５】
0005155641.tif 000046
【図４６】
0005155641.tif 000047
【図４７】
0005155641.tif 000048
【図４８】
0005155641.tif 000049
【図４９】
0005155641.tif 000050
【図５０】
0005155641.tif 000051
【図５１】
0005155641.tif 000052
【図５２】
0005155641.tif 000053
【図５３】
0005155641.tif 000054
【図５４】
0005155641.tif 000055