(57)【要約】【課題】映像信号についてのＬＰＦ処理を、回路規模の増大化を抑制しつつ実現する。【解決手段】フレーム画像を複数画素ごとに分割して得られる各領域をブロックとしたとき、入力映像信号に基づき、各ブロック内の画素値の平均値をそのブロックの代表値として計算すると共に、低域成分抽出値の計算対象とする画素の近傍に位置する複数の上記ブロックの代表値を用いたスプライン補間を行って、上記計算対象とする画素の上記低域成分抽出値を計算する。このようにスプライン補間で求めた値をＬＰＦの出力結果として代用することで、通常のＬＰＦを行う場合との比較で回路規模を大幅に削減できる。【選択図】図２
2014017692.tif 000002
【特許請求の範囲】
【請求項１】
フレーム画像を複数画素ごとに分割して得られる各領域をブロックとしたとき、入力映像信号に基づき、各ブロック内の画素値の平均値をそのブロックの代表値として計算する代表値計算部と、
低域成分抽出値の計算対象とする画素の近傍に位置する複数の上記ブロックの代表値を用いたスプライン補間を行って、上記計算対象とする画素の上記低域成分抽出値を計算する低域成分抽出値計算部と
を備える信号処理装置。
【請求項２】
上記低域成分抽出値計算部は、
上記計算対象とする画素の近傍の水平４個×垂直４個＝１６個のブロックの代表値を用いたスプライン補間を行う
請求項１に記載の信号処理装置。
【請求項３】
上記１６個のブロックについて、垂直方向に並ぶ４つのブロックをそれぞれ列としたとき、
上記低域成分抽出値計算部は、
各列ごとに、その列を構成する４つのブロックの代表値を用いた垂直方向スプライン補間を行って、上記計算対象とする画素と同一水平ライン上の４点の低域成分抽出値を求めると共に、
該４点の低域成分抽出値を用いた水平方向スプライン補間を行うことで、上記計算対象とする画素の低域成分抽出値を求める
請求項２に記載の信号処理装置。
【請求項４】
上記低域成分抽出値計算部は、
上記計算対象とする画素が有効映像領域の端部の画素である場合は、その代表値を有効映像領域内の画素値から求めたブロックの代表値に基づき外挿した代表値を用いてスプライン補間を行う
請求項１に記載の信号処理装置。
【請求項５】
上記低域成分抽出値計算部は、
１フレーム前の映像信号ついて計算された代表値を用いて上記スプライン補間を行う
請求項１に記載の信号処理装置。
【請求項６】
上記代表値計算部は、
上記各ブロックの画素値の平均値として、上記各ブロックの輝度値の平均値を計算する請求項１に記載の信号処理装置。
【請求項７】
上記代表値計算部は、
上記各ブロックの画素値の平均値として、上記各ブロックのＲＧＢ信号の値の絶対値の最大値の平均値を計算する請求項１に記載の信号処理装置。
【請求項８】
上記入力映像信号の画素値に対し、その画素位置の上記低域成分抽出値との差分値に基づき決定したゲインを与えるゲイン計算・付与部を備える
請求項１に記載の信号処理装置。
【請求項９】
上記ゲイン計算・付与部は、
上記差分値と第１の関数とに基づき、上記差分値に応じたゲインである差分値側ゲインを求めるものとされ、
上記第１の関数は、上記差分値の最大値近傍及び最小値近傍に対応したゲインが抑制されるように設定されている
請求項８に記載の信号処理装置。
【請求項１０】
上記ゲイン計算・付与部は、
上記入力映像信号の画素値とその画素位置の上記低域成分抽出値との差分値に基づく差分値ゲインと、該画素位置のＲＧＢ信号の値の絶対値の最大値又は該画素位置の輝度値に基づく比較用ゲインとを求め、それら差分値ゲインと比較用ゲインとに基づいて、上記入力映像信号に与えるゲインを決定する
請求項８に記載の信号処理装置。
【請求項１１】
上記ゲイン計算・付与部は、
上記差分値ゲインと比較用ゲインとのうち値の小さい方を上記入力映像信号に与えるゲインとして決定する
請求項１０に記載の信号処理装置。
【請求項１２】
フレーム画像を複数画素ごとに分割して得られる各領域をブロックとしたとき、入力映像信号に基づき、各ブロック内の画素値の平均値をそのブロックの代表値として計算する代表値計算手順と、
低域成分抽出値の計算対象とする画素の近傍に位置する複数の上記ブロックの代表値を用いたスプライン補間を行って、上記計算対象とする画素の上記低域成分抽出値を計算する低域成分抽出値計算手順と
信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、入力映像信号に信号処理を施す信号処理装置とその方法とに関するものであり、特に、映像の低域成分を抽出する技術に関する。
【先行技術文献】
【特許文献】
【０００２】
【特許文献１】特開２０１１−３０４８号公報
【背景技術】
【０００３】
映像信号処理装置においては、入力映像信号に対しＬＰＦ処理（ＬＰＦ：Low Pass Filter）を施すものがある。
一例として、このようなＬＰＦ処理は、入力映像信号の画素値とＬＰＦ処理後の値との差分に応じたゲインを入力映像信号に与えることでコントラスト調整を行う、いわゆるダイナミックコントラスト補正のために実行される。
ダイナミックコントラスト補正では、周波数成分の高いパターンに対して限定的にゲインをかけることができ、それによりメリハリのある画を作ることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、例えば上記のようなダイナミックコントラスト補正では、よりメリハリの効いた画を実現しようとすると、入力映像信号に対して比較的強いＬＰＦをかける（すなわちカットオフ周波数のより低いＬＰＦをかける）ことが要請される。
【０００５】
しかしながら通常、入力映像信号に対して強いＬＰＦをかけるには、多くのＴＡＰ（乗算器）数が必要となるために回路規模の増大化を招いてしまう。
すなわち、通常のＬＰＦでは、単純に対象画素の近傍のデータを使用するため、ＬＰＦのカットオフ周波数を低くすればするほどフィルタのＴＡＰ数が多くなってしまうものである。
【０００６】
このような回路規模の増大化に起因して、現実的に実現できるＬＰＦの強度が制限されてしまう虞がある。
【０００７】
本技術はかかる問題点に鑑み為されたものであり、映像信号についてのＬＰＦ処理を、回路規模の増大化を抑制しつつ実現することをその課題とする。
【課題を解決するための手段】
【０００８】
上記課題の解決のため、本技術では信号処理装置を以下のように構成することとした。
すなわち、本技術の信号処理装置は、フレーム画像を複数画素ごとに分割して得られる各領域をブロックとしたとき、入力映像信号に基づき、各ブロック内の画素値の平均値をそのブロックの代表値として計算する代表値計算部を備える。
また、低域成分抽出値の計算対象とする画素の近傍に位置する複数の上記ブロックの代表値を用いたスプライン補間を行って、上記計算対象とする画素の上記低域成分抽出値を計算する低域成分抽出値計算部を備えるものである。
【０００９】
上記のように本技術では、入力映像について、複数画素で成るブロックごとに画素値の平均値をとり、該平均値を用いたスプライン補間により対象画素の低域成分抽出値を求めるものとしている。すなわち、このようにスプライン補間で求めた値を、ＬＰＦ（Low Pass Filter）の出力結果として代用するものである。
このような本技術の低域成分抽出手法によれば、通常のＬＰＦ（単純に対象画素の近傍の画素値を用いるＬＰＦ）を行う場合と比較して、大幅に回路規模を削減することができる。
【発明の効果】
【００１０】
本技術によれば、通常のＬＰＦを行う場合との比較で大幅に回路規模を削減できる。これにより、回路規模の観点でＬＰＦの強度が制限されてしまう事態を効果的に回避できる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態の低域成分抽出手法を用いて行われるダイナミックコントラスト補正の概要についての説明図である。
【図２】実施の形態の低域成分抽出手法についての説明図である。
【図３】計算対象とする画素位置と補間用値読出対象ブロックとの関係についての説明図である。
【図４】スプライン補間の概念図である。
【図５】有効映像領域の切れ目とブロックの切れ目とが一致しない場合の対策についての説明図である。
【図６】有効映像領域内の端部の画素位置についてのスプライン補間時に必要とされる代表値を例示した図である。
【図７】代表値の外挿手法の例を示した図である。
【図８】輝度値と低域成分抽出値との差分からゲインを求めるための関数を例示した図である。
【図９】ＲＧＢ最大値からゲインを求めるための関数を例示した図である。
【図１０】実施の形態の信号処理装置の内部構成を示したブロック図である。
【図１１】実施の形態としての低域成分抽出手法を実現するために実行されるべき処理手順を示したフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本技術に係る実施の形態について説明する。
なお、説明は以下の順序で行う。
＜１．実施の形態の低域成分抽出手法の適用例＞
＜２．実施の形態の低域成分抽出手法＞
＜３．ダイナミックコントラスト補正の具体例＞
＜４．実施の形態の信号処理装置の構成＞
＜５．変形例＞
【００１３】
＜１．実施の形態の低域成分抽出手法の適用例＞
図１は、実施の形態の低域成分抽出手法を用いて行われるダイナミックコントラスト補正の概要についての説明図である。
なおこの図１では、横軸を画素位置、縦軸を輝度値として、入力画素値（この場合は輝度値）を実線、ＬＰＦ（Low Pass Filter）出力値を破線により表している。
【００１４】
ダイナミックコントラスト補正では、先ず、各画素位置ごとに、入力画素値とＬＰＦ出力値との差分を求める。図中では、縦方向の矢印が、この差分の値に相当する。
そして、このように求めた差分値に応じたゲインを、対応する画素位置の入力映像信号に対して与える。
【００１５】
このようなダイナミックコントラスト補正によれば、周波数成分の高いパターンに対して限定的にゲインをかけることができ、メリハリのある画を作ることができる。
【００１６】
本実施の形態では、入力映像信号に対して行うＬＰＦ処理として、例えばこのようなダイナミックコントラスト補正において実行されるＬＰＦ処理を例に挙げる。
なお、ダイナミックコントラスト補正の具体的な内容については後に改めて説明する。
【００１７】
＜２．実施の形態の低域成分抽出手法＞
ここで、ダイナミックコントラスト補正では、よりメリハリの効いた画を実現しようとしたときに、比較的強いＬＰＦをかけることが要請されることになる。具体的には、例えば周辺数十画素を参照するような比較的強いＬＰＦを水平方向及び垂直方向にかけることが要請される（例えば水平３２画素×垂直３２画素程度の移動平均フィルタ）。
【００１８】
しかしながら、このように周辺数十画素を参照するような比較的強いＬＰＦを水平方向及び垂直方向にかけるとしたときに、単純に通常の手法によるＬＰＦを適用した場合には、その画素数と同数のＴＡＰ（乗算器）数が必要となってしまう。また同時に、垂直方向の映像を保持するため、ＬＰＦで参照する垂直方向画素数とほぼ同数のラインメモリを用意する必要がある。
現状において、このようなＴＡＰ数やラインメモリ容量は、現実的に実装可能な回路規模で賄うことが非常に困難なものとされる。換言すれば、現実的な回路規模で上記のような強いＬＰＦをかけることはほぼ不可能とされるものである。
【００１９】
そこで本実施の形態では、通常なＬＰＦに代えて、回路規模を抑えることが可能な低域成分抽出手法を提案する。
【００２０】
図２は、実施の形態の低域成分抽出手法についての説明図である。
先ずは、実施の形態の低域成分抽出手法の大まかな手順を以下に示す。
（手順１）
入力映像信号を水平α画素×垂直α画素による複数画素ごとに分割（本例では水平３２画素×垂直３２画素ごとに分割）し、それにより得られる各領域（以下、ブロックとする）内の画素値の平均値をそれぞれそのブロックの代表値として計算する（図２Ａ）
（手順２）
低域成分抽出値の計算対象とする画素（図２Ｂ中、座標（ｎ，ｍ））の近傍に位置する複数のブロックの上記代表値を用いたスプライン補間を行って、上記計算対象とする画素の上記低域成分抽出値Ｏlpfを計算する（図２Ｃ及び図２Ｄ）
【００２１】
ここで、本説明では、低域成分抽出値Ｏlpfの計算対象とする画素の位置を座標（ｎ，ｍ）により表す。ここで、「ｎ」は水平方向における画素位置（Ｈ_ｎ）を表す値（つまり垂直ラインの別を表す値）であり、「ｍ」は垂直方向における画素位置（Ｖ_ｍ）を表す値（つまり水平ラインの別を表す値）である。
【００２２】
先ず、上記（手順１）について具体的に説明する。
本例では、水平３２画素×垂直３２画素の領域を１ブロックとして、該ブロックにより映像の表示エリアを分割する。
上記（手順１）では、これらのブロックごとに、そのブロックを構成する各画素の輝度値の平均値を、そのブロックの代表値として求める。
この代表値は、そのブロックの中心位置の値として管理する。具体的には、例えばそのブロック内の水平方向における１６番目の画素位置（Ｈ_b16）と垂直方向における１６番目の画素位置（Ｖ_b16）と定まる画素位置（b16，b16）の値として管理する。
【００２３】
上記（手順１）では、このようにブロックごとに求めた代表値（中心値）を、所要のメモリに格納しておく。
【００２４】
続いて、上記（手順２）について、上記スプライン補間としては、図２Ｃに示す垂直方向のスプライン補間（Ｖ方向スプライン補間とも表記する）と、該Ｖ方向スプライン補間で求めた値に基づく水平方向のスプライン補間（Ｈ方向スプライン補間とも表記する）とを行う（図２Ｃ及び図２Ｄ）。
【００２５】
具体的に、これらのスプライン補間を行う上では、図２Ｂ中の太枠で「ＲＢ」と示すように、低域成分抽出値Ｏlpfの計算対象とする画素位置（ｎ，ｍ）の近傍に位置する複数のブロックの代表値を読み出す。
ここで、このようにスプライン補間の実行にあたり代表値の読み出し対象とされる複数のブロックのことを、以下、「補間用値読出対象ブロックＲＢ」と表記する。
【００２６】
ここで、このような補間用値読出対象ブロックＲＢは、計算対象とする画素位置に応じて決定されることになる。
計算対象とする画素位置と補間用値読出対象ブロックＲＢとの関係を、図３を参照して説明する。
なお図３では、表示画面の一部領域をブロック単位で分割して示している。
【００２７】
先ず前提として、スプライン補間では、最小で４つの値を用いることになる（後述する［数１］）。
図２Ｄに示すように、最終的に低域成分抽出値Ｏlpfが求まるＨ方向スプライン補間では、その計算に４値を用いることとなるため、該Ｈ方向スプライン補間の前に行う図２ＣのＶ方向スプライン補間としては、水平方向における４箇所でそれぞれ行うことが必要とされる。
従って、本例のスプライン補間の実現にあたっては、このような水平方向の４箇所でそれぞれ行うべきＶ方向スプライン補間の実現のために、合計で４×４＝１６個のブロックの代表値を使用することを要する。換言すれば、補間用値読出対象ブロックＲＢのブロック数は４×４＝１６となるものである。
【００２８】
図３に示すように、補間用値読出対象ブロックＲＢには、その中心領域ＣＲが設定される。具体的に、当該中心領域ＣＲは、その読出対象ブロックＲＢの中心部に形成される水平２個×垂直２個＝４個のブロックのそれぞれの中心位置を結んで形成された領域となる。なお確認のため述べておくと、本例における中心位置は、前述のようにそのブロック内の水平方向における１６番目の画素位置と垂直方向における１６番目の画素位置とで定まる画素位置である。
【００２９】
対象とする画素位置（ｎ，ｍ）が、このように定められた中心領域ＣＲ内であるときに、該中心領域ＣＲを有する補間用値読出対象ブロックＲＢが上記対象とする画素位置（ｎ，ｍ）に対応する読出対象ブロックＲＢとして選択（決定）されるものである。
【００３０】
説明を図２に戻す。
図２Ｃに示すＶ方向スプライン補間を実行するにあたっては、上記のようにして計算対象とする画素位置（ｎ，ｍ）から決定される補間用値読出対象ブロックＢＲに関して、該補間用値読出対象ブロックＢＲを構成する各ブロックの代表値を上述のメモリより読み出す。
そして、このように読み出した１６の代表値を用いて、水平方向における４箇所でそれぞれ垂直方向のスプライン補間を行って、対象とする画素位置（ｎ，ｍ）と同一水平ライン上における４点の値（低域成分抽出値）を求める。
具体的には、補間用値読出対象ブロックＲＢ内における、垂直方向に配列された４つのブロックをそれぞれ「列」としたとき、それら４本の「列」の１本ごとに、４つの代表値を用いたスプライン補間を行うものである。
これにより、各列の中心位置（本例ではその列を構成するブロック内の水平方向の１６番目の画素位置）と、対象とする画素位置（ｎ，ｍ）の垂直方向の画素位置（Ｖ_ｍ）とで定まる４点の低域成分抽出値が求まる。これら４点の低域成分抽出値（Ｖ方向スプライン補間結果値）を、左側から順にＡ１、Ａ２、Ａ３、Ａ４とおく。
【００３１】
ここで確認のため、スプライン補間の具体的な内容について説明しておく。
図４は、スプライン補間の概念図を示している。
この図４に示すようにスプライン補間は、等間隔αで配された４つの信号値Ｓ１〜Ｓ４を用いて、中心部の信号値Ｓ２と信号値Ｓ３との間の任意の位置の信号値を求める補間手法となる。
ここで、信号値Ｓ２から計算対象とする任意点（図中×印）までの離間距離を「Ｘ」とすると、スプライン補間（Blend Spline）は、該Ｘの値とＳ１，Ｓ２，Ｓ３，Ｓ４の値とを用いて、以下の［数１］により行われる。なお、先の説明からも理解されるように、本例の場合α＝３２である。
【数１】
2014017692.tif 000003
【００３２】
説明を図２に戻す。
上記［数１］で表されるＶ方向スプライン補間によって対象とする画素位置（ｎ，ｍ）と同一水平ライン上の４値（Ａ１〜Ａ４）を求めた後は、図２Ｄに示すＨ方向スプライン補間を行う。具体的には、これらＶ方向スプライン補間結果値Ａ１〜Ａ４を用いた水平方向のスプライン補間を行うことで、対象とする画素位置（ｎ，ｍ）の低域成分抽出値Ｏlpfを求める。
なお、このＨ方向スプライン補間としては、用いるＳ１〜Ｓ４の値をＡ１〜Ａ４として上記［数１］により行う。
【００３３】
ここで、本例では、上記のようなスプライン補間で用いる代表値について、現フレームの入力映像信号から計算した代表値を用いるものとはせず、１フレーム前の入力映像信号について計算した代表値を用いるものとしている。
これにより、必要メモリ容量の削減を図るものとしている。
【００３４】
後述する本例のダイナミックコントラスト補正では、画素位置ごとに与えるべきゲインの決定に際し、入力映像信号の輝度値と、本例の低域成分抽出手法で計算した低域成分抽出値Ｏlpfとを画素単位で比較するということを行う。
この前提の下で、仮に、現フレームの入力映像信号について計算した代表値を用いるとすると、入力映像信号１フレーム分の画素値を保持するメモリが必要となってしまう。
本例のようにスプライン補間に１フレーム前の入力映像信号について計算した代表値を用いるものとすれば、必要メモリ容量は１画面を構成するブロック数分であればよく、この点で、必要メモリ容量を削減できるものである。
【００３５】
なお、このようにスプライン補間に１フレーム前の画像の代表値を用いる手法によると、１フレーム前の画像の低域成分抽出値と現フレームの輝度値とを比較することになるため、厳密には正確な比較とはならないと言える。しかしながら、実使用上は、画の破綻を招くなどの大きな問題が生じないことを確認している。
【００３６】
ここで確認のため述べておくと、上記により説明した本例の低域成分の抽出処理は、有効映像領域内の画素について実行されるものである。
このとき、有効映像領域の切れ目は、必ずしもブロックの切れ目と一致するとは限らない点を考慮すべきである。
【００３７】
図５Ａは、このように有効映像領域（図中、スクリーン部）の切れ目がブロックの切れ目と一致しない場合の様子を示しているが、このような場合には、有効映像領域の切れ目が属するブロックの代表値は、図５Ｂに示すように、そのブロック内に存在する有効画素の画素値（本例では輝度値）のみの平均値を計算し、これをメモリに格納する。
【００３８】
ここで以下、有効映像領域内の画素値からその代表値が計算されるブロックの集合を、図５Ａ中の太枠で示すように「有効ブロック領域」とする。
【００３９】
ところで、先に説明したスプライン補間の手法によると、有効映像領域内の端部近傍に位置する画素位置に関しては、そのスプライン補間（低域成分抽出値Ｏlpfの計算）を行うにあたり、有効映像領域の外側に位置する代表値を用いる必要があることが分かる。
【００４０】
図６は、有効映像領域の端部近傍の画素位置について低域成分抽出値Ｏlpfを計算するにあたって必要とされる代表値を例示している（図中黒及びグレーの丸印）。
このうち、黒丸印は、有効映像領域内の画素値から計算された代表値を表している。
なおこの図では簡単のため、有効映像領域の切れ目とブロックの切れ目とが一致していることを前提としている。
【００４１】
図６では、図中の一点鎖線枠により、有効映像領域内の４隅部の画素位置についてスプライン補間による低域成分抽出値Ｏlpf計算のために必要とされる補間用値読出対象ブロックＲＢをそれぞれ示している。
これにより理解されるように、４隅部の画素位置について低域成分抽出値Ｏlpfを計算するにあたっては、有効映像領域内の画素値から計算した４つの代表値（一点鎖線枠内の黒丸印）のみでなく、有効映像領域の２ブロック分外側までの計１２点の代表値（一点鎖線枠内のグレー丸印）が必要となる。
また図示による説明は省略するが、有効映像領域の上側端部近傍の画素位置について低域成分抽出値Ｏlpfを計算するためには、有効映像領域の上辺の２ブロック分外側までの代表値が必要となる。つまりこの図の場合は、上側２つの一点鎖線枠の間に示される計２０点の代表値（グレー丸印）をさらに要するものである。また、有効映像領域の下側も同様に、端部近傍の画素位置について低域成分抽出値Ｏlpfを計算するためには、有効映像領域の下辺の２ブロック分外側までの代表値が必要となり、この図の場合は、下側２つの一点鎖線枠の間に示される計２０点の代表値（グレー丸印）をさらに要することになる。
さらに、有効映像領域の左側端部近傍の画素位置について低域成分抽出値Ｏlpfを計算するためには、有効映像領域の左辺の２ブロック分外側までの代表値が必要となり（この図の場合は図中左側２つの一点鎖線枠の間に示される２個の代表値をさらに要し）、また右側端部近傍の画素位置について低域成分抽出値Ｏlpfを計算するためには、有効映像領域の右辺の２ブロック分外側までの代表値が必要となる（この図の場合は図中右側２つの一点鎖線枠の間に示される２個の代表値をさらに要する）ことになる。
以上より、先に説明したスプライン補間によって有効映像領域内の全画素位置について低域成分抽出値Ｏlpfを計算するにあたっては、有効映像領域内の画素値から計算した全ての代表値（図中黒丸印）と共に、有効映像領域の端から外側２ブロック分の代表値が必要となるものである。
【００４２】
有効映像領域端の外側２ブロック分の代表値は、有効映像領域内の画素値に基づき計算した代表値に基づき外挿する。
具体的に本例では、図７に示すように、有効ブロック領域の端部のブロックの代表値をそのまま外挿するものとしている。
より具体的に、本例では、有効ブロック領域内の代表値で最も距離の近い代表値の値をそのまま外挿するものとしている。換言すれば、有効ブロック領域内のブロックのうちその中心位置が最も近いブロックの代表値の値をそのまま外挿するものである。
【００４３】
なお、外挿手法としては上記に限定されず、他の手法を採り得ることは言うまでもない（例えば二次近似を使うなど）。
【００４４】
上記により説明した実施の形態の低域成分抽出手法によれば、スプライン補間で求めた値をＬＰＦ出力結果として代用するものとしたことで、通常のＬＰＦ（単純に対象画素の近傍の画素値を用いるＬＰＦ）を行う場合との比較で、大幅に回路規模を削減できる。
具体的に本例の場合、同じ強度のＬＰＦを実現するにあたり、通常のＬＰＦとの比較で３２画素分のＴＡＰ（乗算器）と、垂直３２画素を保持するための３１ライン分のラインメモリを削減することができる。
【００４５】
このように回路規模の削減が図られることで、回路規模の観点でＬＰＦの強度が制限されてしまう事態を効果的に回避できる。
【００４６】
また本実施の形態では、スプライン補間で用いる代表値として、１フレーム過去のものを用いることとしている。これにより、入力映像信号を１フレーム分格納しておくためのフレームメモリを省略できる。
【００４７】
＜３．ダイナミックコントラスト補正の具体例＞
本実施の形態では、上記により説明した低域成分抽出手法で得た低域成分抽出値Ｏlpfを、先の図１でその概要を説明したダイナミックコントラスト補正に使用する。
前述のようにダイナミックコントラスト補正は、入力映像信号に対して、各画素の画素値と低域成分抽出値Ｏlpfとの差分に基づき決定したゲインを与えるものである。
ここで、画素値としては、輝度値、又はＲＧＢ最大値（ＲＧＢ信号の絶対値の最大値：以下、最大値ＲＧＢmaxとも表記）を用いることができる。以下の説明では、画素値として輝度値（以下、輝度値Ｙとする）を用いる場合を例示する。
【００４８】
本例では、ダイナミックコントラスト補正の手法として具体的に以下のような手法を採る。
（手順３）
対象とする画素について、その画素の輝度値Ｙと低域成分抽出値Ｏlpf（以下、輝度平均値Ｙ'とも表記）との差分Ｙ−Ｙ'を計算する
（手順４）
差分Ｙ−Ｙ'と第１ゲイン導出関数とに基づき、対象とする画素に与えるべき仮のゲインＧpre（以下、第１ゲイン候補値Ｇpreと表記）を求める
（手順５）
対象とする画素のＲＧＢ最大値（最大値ＲＧＢmax）と第２ゲイン導出関数とに基づき、比較用のゲインＧth（第２ゲイン候補値Ｇth）を求める
（手順６）
第１ゲイン候補値Ｇpreと第２ゲイン候補値Ｇthのうち値の小さい方を対象とする画素に与えるべき最終的なゲインＧとして決定し、該ゲインＧを該対象とする画素の映像信号に与える
【００４９】
図８は、上記（手順４）で用いる第１ゲイン導出関数の例を示している。
本例の第１ゲイン導出関数では、図のように差分Ｙ−Ｙ'の値の大きさに応じた領域分けを行っている。具体的に、差分Ｙ−Ｙ'の値が正側の領域では、値の小さい方から順に領域１，２，３の３つの領域分けを行っている。また差分Ｙ−Ｙ'の値が負側の領域では、値の大きい方から順に（絶対値が小さい方から順に）領域４，５，６の３つの領域分けを行っている。
領域１,４は輝度差の少ない領域、領域２,５は或る程度の輝度差がある領域、領域３,６は輝度差の大きい領域と言うことができる。
【００５０】
正側の領域に関して、領域１は、差分Ｙ−Ｙ'の値の大きさに応じてゲインＧpreを１から最大値に上昇させる領域となり、領域２は、差分Ｙ−Ｙ'の大きさに関わらずゲインＧpreを最大値とする領域であり、領域３は、差分Ｙ−Ｙ'の値の大きさに応じてゲインＧpreを最大値から１に低下させる領域となる。
また負側の領域にて、領域４は、差分Ｙ−Ｙ'の値の大きさに応じてゲインＧpreを１から最小値に低下させる領域となり、領域５は、差分Ｙ−Ｙ'の大きさに関わらずゲインＧpreを最小値とする領域であり、領域６は、差分Ｙ−Ｙ'の値の大きさに応じてゲインＧpreを最小値から１に上昇させる領域となる。
【００５１】
本例の場合、領域３については、差分Ｙ−Ｙ'の値が最大値（この場合は２０４７）に至る前にゲインＧpreの値を１まで低下させるものとしている。同様に、領域６についても、差分Ｙ−Ｙ'の値が最小値（この場合は−２０４７）に至る前にゲインＧpreの値を１まで上昇させるものとしている。
【００５２】
上記のような第１ゲイン導出関数の設定により、ダイナミックコントラスト補正として、白飛びや黒潰れの防止を図りつつ、メリハリのある画を得る補正を実現できる。
特に、領域３でゲインＧpreを抑えていることで白飛びの防止が図られ、領域６でゲインＧpreを抑えていることで黒潰れの防止が図られる。
【００５３】
なお、本例では、領域１,３において、差分Ｙ−Ｙ'の絶対値が所定値となるまでゲイン＝１を維持するものとしているが、このことで、入力画素値と平均値との差が小さい場合のゲインを抑えることができ、不自然な画となることの防止が図られる。
【００５４】
ここで、第１ゲイン導出関数を設定するためのパラメータ（領域１〜６の各領域の長さや傾き等）は、システムが持つレジスタなどで、プログラマブルに設定できるようにする。
図８では説明の便宜上、領域１〜３と領域４〜６のゲインカーブの形状が対称であるものとしたが、これらを完全に対称としてしまうと、白側が強調されたような画となってしまう虞がある。
ゲインカーブを設定するためのパラメータをプログラマブルに設定可能としておくことで、領域１〜３と領域４〜６のゲインカーブの形状を非対象に設定できるようにする。
【００５５】
図９は、上記（手順５）で用いる第２ゲイン導出関数の例を示している。
先ず図９Ａの例では、最大値ＲＧＢmaxの値の大きさに応じて領域１，２，３の３つの領域分けを行っている。最大値ＲＧＢmaxの値が小さい方から領域１，２，３の順となる。
領域１では、最大値ＲＧＢmaxの値が大きくなるに従ってゲインＧthの値を１から徐々に最大値に上昇させ、領域２では最大値ＲＧＢmaxの値に関わらずゲインＧth＝１とし、領域３では領域２よりもゲインＧthの値が小さくなるようにしている。具体的に、この場合の領域３では最大値ＲＧＢmaxの値がその最大値（この場合は２０４７）に至る前にゲインＧthの値を１まで低下させるものとしている。
【００５６】
この図９Ａに示す第２ゲイン導出関数によれば、最大値ＲＧＢmaxの値が大の領域（領域３）、つまり明るさが大の領域でゲインＧthが抑えられることで、白飛びの防止が図られる。
また、最大値ＲＧＢmaxの値が小の領域（領域１）、つまり暗い領域でゲインＧthが抑えられることで、黒浮きの防止が図られ、コントラスト感の低下の防止が図られる。
【００５７】
なお、白飛びの防止のみを図るのであれば、第２ゲイン導出関数としては、図９Ｂに示すように図９Ａの領域１を省略した関数を用いることができる。
【００５８】
ここで、上述のように本例のダイナミックコントラスト補正では、差分Ｙ−Ｙ'の値と図８に示した第１ゲイン導出関数とで求めた第１ゲイン候補値Ｇpreと、最大値ＲＧＢmaxの値と図９に示した第２ゲイン導出関数とで求めた第２ゲイン候補値Ｇthとに基づき、最終的なゲインＧが決定される。具体的には、第１ゲイン候補値Ｇpreと第２ゲイン候補値Ｇthとのうち値の小さい方を最終的なゲインＧとするものである。
【００５９】
このように最終的なゲインＧの決定に最大値ＲＧＢmaxの値（単純にその画素の明るさを表す値）も加味するものとしたことで、より確実に白飛びの発生を防止することができる。
また図９Ａに示す関数を用いた場合は、黒浮きの防止が図られる。
【００６０】
なお、上記説明からも理解されるように、第２ゲイン候補値Ｇthとしては、最大値ＲＧＢmaxの代わりに輝度値Ｙを用いて生成することもできるものである。その場合、第２ゲイン導出関数としては、輝度値Ｙの値に応じて対応するゲインＧthが求まるように設定する。
【００６１】
＜４．実施の形態の信号処理装置の構成＞
図１０は、これまでで説明した低域成分の抽出とダイナミックコントラスト補正とを実現する実施の形態の信号処理装置１の内部構成を示したブロック図である。
この図に示すように、信号処理装置１は、第１遅延回路２、第２遅延回路３、ゲイン付与部４、及びゲイン計算部５を備える。
【００６２】
信号処理装置１には、入力映像信号として、ＲＧＢ信号が入力される（図中、入力ＲＧＢ）。
このＲＧＢ信号は、第１遅延回路２とゲイン計算部５とに入力される。
【００６３】
第１遅延回路２→第２遅延回路３→ゲイン付与部４を経由するＲＧＢ信号が本線信号となる。この本線信号としてのＲＧＢ信号に対し、ゲイン付与部４が、ゲイン計算部５で求まったゲインＧを付与することで、前述したダイナミックコントラスト補正が実現されるものである。
【００６４】
ゲイン計算部５には、図のように輝度値計算部６、第３遅延回路７、平均値計算部８、代表値格納メモリ９、補間用値読出部１０、スプライン補間部１１、タイミング制御部１２、第２ゲイン候補値計算部１３、第１ゲイン候補値計算部１４、及びゲイン選択部１５が備えられる。
【００６５】
輝度値計算部６は、入力されるＲＧＢ信号に基づき輝度値Ｙを計算する。この輝度値Ｙは、第３遅延回路７により遅延された後に第１ゲイン候補値計算部１４に入力されると共に、図のように平均値計算部８に対して入力される。
【００６６】
平均値計算部８は、タイミング制御部１２からのタイミング信号に基づき、先の図２等で説明したブロック単位（本例では水平３２×垂直３２のブロック）で輝度値Ｙの平均値を計算することで、ブロックごとの代表値を得る。
【００６７】
ここで、タイミング制御部１２は、入力される同期信号（例えばフレーム周期や有効映像領域を表す信号）に基づき、現在の処理対象の画素位置を表すタイミング信号を生成し、該タイミング信号を平均値計算部８、補間用値読出部１０、及びスプライン補間部１１に与える。
【００６８】
平均値計算部８には、輝度値計算部６より、１フレームを構成する各画素の輝度値Ｙが走査状に入力される。すなわち、最左最上位置の画素から最右最下位置の画素にかけて順に入力される。
平均値計算部８は、このように走査状に入力される輝度値Ｙに基づき、ブロックの代表値を、１行ごとに計算していくことになる。
具体的に、平均値計算部８は、１フレームの最初の１ライン目の入力時において、水平３２画素ごとの区切り（つまりブロックの区切り）で、それぞれ輝度値Ｙを入力順に積算する。そして、次の２ライン目の入力時には、同じ水平３２画素ごとの区切りで、それぞれ前のラインで得られた積算結果値に対しさらに入力輝度値Ｙの積算を行う。
このように水平３２画素ごとの区切りで輝度値Ｙを入力順に積算していく処理を３２ライン分行う。そして、それにより得られた水平３２画素の区切りごとの積算結果値を、それぞれ３２×３２＝１０２４で除算する。これにより、１行分の各ブロックの代表値が得られる。
なお確認のため述べておくと、このとき必要とされるメモリは、ブロックごとに１値の積算結果値を保持しておくためのメモリとなり、その総容量は、１行分のブロックの総数分の容量（例えば水平１９２０画素であれば６０画素分の容量）となる。この点より、従来のＬＰＦで必要とされていた３１ライン分のラインメモリが不要なことが理解できる。
平均値計算部８は、上記のような１行分の各ブロックの代表値の計算を繰り返し実行して、全ブロックについての代表値を得る。
このとき、平均値計算部８は、３２ライン分の輝度値の入力に応じ１行分の各ブロックの代表値を計算し終えるごとに、それら計算した代表値により、代表値格納メモリ９に格納されている対応する１行分の代表値（１フレーム前の代表値）を更新する。
このような３２ラインごとの更新を繰り返し行って、平均値計算部８は、代表値格納メモリ９内の格納値を前フレームのものから現フレームのものへと順次更新していく。
【００６９】
なお、このように３２ラインごとの代表値格納メモリ９の更新を行うと、スプライン補間では、前フレームの画像から計算された代表値と現フレームの画像から計算された代表値とが混在して用いられることになる（対象画素位置が３３ライン目に至った以降）。但し、前述のように前フレームの代表値を用いたとしても、実使用上は画の破綻を招くなどの大きな問題は生じないものである。
【００７０】
ここで、スプライン補間で前フレームの代表値と現フレームの代表値とが混在して用いられることを防止するのであれば、代表値格納メモリ９の更新タイミングを所定ライン数分の時間だけ遅らせればよい。
例えば先の図３で説明した補間用値読出対象ブロックＢＲの大きさによると、代表値格納メモリ９に格納された最上部の行の代表値は、対象とする画素位置が３２＋３２＋１５＝７９ライン目の最後の画素位置に至るまで使用されるものである。現フレームについて平均値計算部８が最上部の行の代表値を計算するには３２ライン分の時間を要することから、スプライン補間で前フレームと現フレームの代表値が混在して用いられることを防止するには、７９−３２＝４７ライン分の時間だけ、代表値格納メモリ９内の最上部の行の代表値の更新を待てばよい。
このことからも理解されるように、前／現フレームの代表値が混在して用いられることを防止するには、平均値計算部８が、現フレームの輝度値Ｙに基づき１行分の代表値を計算してから４７ライン分の時間を待って、代表値格納メモリ９内の対応する行の代表値を更新するものとすればよい。
なおこの場合、最下部の２行分の代表値については、４７ライン分の時間を待つことなく、最終ライン上の最終画素位置についてのスプライン補間が行われたことに応じて、代表値格納メモリ９内の対応する値を更新するようにする（現フレームの処理時間内に代表値格納メモリ９の更新を完了させるため）。
【００７１】
補間用値読出部１０は、タイミング制御部１２からのタイミング信号に基づき、代表値格納メモリ９から現在の画素位置についての低域成分抽出値Ｏlpfの計算に必要な代表値を読み出す。
具体的には、先の図３で説明したように現在の画素位置に対応した補間用値読出対象ブロックＢＲが決定されるので、該補間用値読出対象ブロックＢＲとしての１６個のブロックの代表値を取得するものである。
ここで、補間用値読出１０は、先の図６で説明したように有効映像領域外の代表値が必要とされる場合には、それらの代表値を、代表値格納メモリ９から読み出した代表値（有効映像領域内の画素の輝度値Ｙから計算された代表値）に基づき外挿し、必要な１６点の代表値を取得する。
【００７２】
スプライン補間部１１は、補間用値読出部１０で得られた１６点の代表値に基づき、先に説明した４つのＶ方向スプライン補間と、それらＶ方向スプライン補間で求まった４点の値を用いたＨ方向スプライン補間とを行って、対象とする画素位置についての低域成分抽出値Ｏlpf（輝度平均値Ｙ'）を得る。
スプライン補間部１１は、タイミング制御部１２より指示されるタイミング信号に応じたタイミングで輝度平均値Ｙ'（Ｏlpf）を計算し、これを第１ゲイン候補値計算部１４に順次出力する。
【００７３】
第１ゲイン候補値計算部１４は、スプライン補間部１１で得られた対象とする画素位置の輝度平均値Ｙ'と、第３遅延回路７を介して入力された同画素位置の輝度値Ｙとに基づき、差分Ｙ−Ｙ'を計算する。そして、該差分Ｙ−Ｙ'と先の図８に示した第１ゲイン導出関数とに基づき、第１ゲイン候補値Ｇpreを計算する。
【００７４】
また、第２ゲイン候補値計算部１３は、第１遅延回路２を介して得られる対象とする画素位置のＲＧＢ信号値と、先の図９で説明した第２ゲイン導出関数とに基づき、第２ゲイン候補値Ｇthを計算する。具体的に第２ゲイン候補値計算部１３は、第１遅延回路２を介して得られるＲＧＢ信号値に基づき、対象とする画素位置の最大値ＲＧＢmax（ＲＧＢ信号の絶対値の最大値）を求め、該最大値ＲＧＢmaxの値と上記第２ゲイン導出関数とに基づき第２ゲイン候補値Ｇthの値を得る。
【００７５】
ゲイン選択部１５は、第１ゲイン候補値計算部１４で得られた第１ゲイン候補値Ｇpreと第２ゲイン候補値計算部１３で得られた第２ゲイン候補値Ｇthのうち値の小さい方を最終的なゲインＧとして選択（図中、ｍｉｎ(Ｇpre，Ｇth)）し、該ゲインＧをゲイン付与部４に与える。
【００７６】
これによりゲイン付与部４では、対象とする画素位置のＲＧＢ信号に対してゲインＧが付与される。
ゲイン付与部４でゲインＧが付与されたＲＧＢ信号は、ダイナミックコントラストの補正結果として信号処理装置１の外部に出力される（図中、ＲＧＢ出力）。
【００７７】
なお確認のため述べておくと、第１遅延回路２の遅延時間は、第２ゲイン候補値計算部１３で第２ゲイン候補値Ｇthの計算に要する時間と第１ゲイン候補値計算部１４で第１ゲイン候補値Ｇpreの計算に要する時間とを考慮し、ゲイン選択部１５にて同じ画素位置についての第１ゲイン候補値Ｇpreと第２ゲイン候補値Ｇthとの比較が行われるように適切に調整されるべきものである。
また、第２遅延回路３の遅延時間は、ゲイン選択部１５で対象とする画素位置について求められたゲインＧが、ゲイン付与部４にて該対象とする画素位置のＲＧＢ信号に対して付与されるように適切に調整されるべきものである。
また第３遅延回路７の遅延時間は、第１ゲイン候補値計算部１４にて同じ画素位置についての輝度値Ｙと平均輝度値Ｙ'との差分が計算されるように適切に設定されるべきものである。
【００７８】
確認のため、図１１のフローチャートに、実施の形態としての低域成分抽出手法を実現するために実行されるべき処理手順を示しておく。
なおこの図１１では、１フレームごとに実行されるべき処理の手順を示している。
また、この図では、平均値計算部８によるブロックごとの代表値の計算処理や代表値格納メモリ９への代表値の格納処理（更新処理）は省略している。
【００７９】
先ず、ステップＳ１０１では、画素位置Ｐを初期値「０」にリセットする。
そして、続くステップＳ１０２では、現在の画素位置に対応する１６点の代表値を取得する。つまりこの処理は、補間用値読出部１０が代表値格納メモリ９に保持された代表値に基づき現在の画素位置に対応する１６点の代表値を取得する処理に相当する（外挿が必要な場合は外挿を行う）。
【００８０】
ステップＳ１０２で１６点の代表値を取得した後は、ステップＳ１０３にてＶ方向スプライン補間を行う。すなわち、スプライン補間部１１が、補間用値読出部１０で取得された１６点の代表値に基づき４列分のＶ方向スプライン補間を実行して、先の図２Ｃで説明したＡ１〜Ａ４の値（対象とする画素位置と同一水平ライン上における４点の値）を求めることに相当する。
【００８１】
Ｖ方向スプライン補間を実行した後は、ステップＳ１０４にてＨ方向スプライン補間を行う。これは、スプライン補間部１１がＡ１〜Ａ４の４値を用いて、スプライン補間により対象とする画素位置の低域成分抽出値Ｏlpfを計算することに相当する。
【００８２】
Ｈ方向スプライン補間により低域成分抽出値Ｏlpfを計算した後は、ステップＳ１０５にて対象とする画素位置が最終画素位置である（Ｐ＝Ｐmax）か否かを判別する。
最終画素位置ではないとの否定結果が得られた場合は、ステップＳ１０６で画素位置Ｐの値を１インクリメント（Ｐ＝Ｐ＋１）した後、先のステップＳ１０２に戻る。つまりこれにより、次の画素位置について、スプライン補間により低域成分抽出値Ｏlpfの計算が行われるものである。
【００８３】
一方、最終画素位置であるとの肯定結果が得られた場合は、この図に示す１フレーム分の低域成分抽出処理は終了となる。
【００８４】
＜５．変形例＞
以上、本技術の実施の形態について説明したが、本技術はこれまでで説明した具体例に限定されるべきものではない。
例えばこれまでの説明では、α＝３２として、１つのブロックが水平３２画素×垂直３２画素で構成される場合を例示したが、αの値はこれに限定されるべきものではない。１つのブロックを構成する画素数をより多くすることは、より強いＬＰＦをかけることに相当する。
【００８５】
また、ブロックの水平画素数と垂直画素数は同数に限定されるべきものではない。
また、各ブロックの大きさは同じに限定されず、異なる大きさのブロックが存在してもよい。
【００８６】
またこれまでの説明では、輝度値Ｙに基づきブロックの代表値を計算するものとしたが、代表値は最大値ＲＧＢmaxに基づき計算（つまりブロック内の画素の最大値ＲＧＢmaxの平均値を代表値とする）してもよい。
【００８７】
また、本技術としては以下に示す構成を採ることもできる。
（１）
フレーム画像を複数画素ごとに分割して得られる各領域をブロックとしたとき、入力映像信号に基づき、各ブロック内の画素値の平均値をそのブロックの代表値として計算する代表値計算部と、
低域成分抽出値の計算対象とする画素の近傍に位置する複数の上記ブロックの代表値を用いたスプライン補間を行って、上記計算対象とする画素の上記低域成分抽出値を計算する低域成分抽出値計算部と
を備える信号処理装置。
（２）
上記低域成分抽出値計算部は、
上記計算対象とする画素の近傍の水平４個×垂直４個＝１６個のブロックの代表値を用いたスプライン補間を行う
上記（１）に記載の信号処理装置。
（３）
上記１６個のブロックについて、垂直方向に並ぶ４つのブロックをそれぞれ列としたとき、
上記低域成分抽出値計算部は、
各列ごとに、その列を構成する４つのブロックの代表値を用いた垂直方向スプライン補間を行って、上記計算対象とする画素と同一水平ライン上の４点の低域成分抽出値を求めると共に、
該４点の低域成分抽出値を用いた水平方向スプライン補間を行うことで、上記計算対象とする画素の低域成分抽出値を求める
上記（２）に記載の信号処理装置。
（４）
上記低域成分抽出値計算部は、
上記計算対象とする画素が有効映像領域の端部の画素である場合は、その代表値を有効映像領域内の画素値から求めたブロックの代表値に基づき外挿した代表値を用いてスプライン補間を行う
上記（１）乃至（３）何れかに記載の信号処理装置。
（５）
上記低域成分抽出値計算部は、
１フレーム前の映像信号ついて計算された代表値を用いて上記スプライン補間を行う
上記（１）乃至（４）何れかに記載の信号処理装置。
（６）
上記代表値計算部は、
上記各ブロックの画素値の平均値として、上記各ブロックの輝度値の平均値を計算する上記（１）乃至（５）何れかに記載の信号処理装置。
（７）
上記代表値計算部は、
上記各ブロックの画素値の平均値として、上記各ブロックのＲＧＢ信号の値の絶対値の最大値の平均値を計算する上記（１）乃至（５）何れかに記載の信号処理装置。
（８）
上記入力映像信号の画素値に対し、その画素位置の上記低域成分抽出値との差分値に基づき決定したゲインを与えるゲイン計算・付与部を備える
上記（１）乃至（７）何れかに記載の信号処理装置。
（９）
上記ゲイン計算・付与部は、
上記差分値と第１の関数とに基づき、上記差分値に応じたゲインである差分値側ゲインを求めるものとされ、
上記第１の関数は、上記差分値の最大値近傍及び最小値近傍に対応したゲインが抑制されるように設定されている
上記（８）に記載の信号処理装置。
（１０）
上記ゲイン計算・付与部は、
上記入力映像信号の画素値とその画素位置の上記低域成分抽出値との差分値に基づく差分値ゲインと、該画素位置のＲＧＢ信号の値の絶対値の最大値又は該画素位置の輝度値に基づく比較用ゲインとを求め、それら差分値ゲインと比較用ゲインとに基づいて、上記入力映像信号に与えるゲインを決定する
上記（８）又は（９）何れかに記載の信号処理装置。
（１１）
上記ゲイン計算・付与部は、
上記差分値ゲインと比較用ゲインとのうち値の小さい方を上記入力映像信号に与えるゲインとして決定する
上記（１０）に記載の信号処理装置。
【符号の説明】
【００８８】
１  信号処理装置、２  第１遅延回路、３  第２遅延回路、４  ゲイン付与部、５  ゲイン計算部、６  輝度値計算部、７  第３遅延回路、８  平均値計算部、９  代表値格納メモリ、１０  補間用値読出部、１１  スプライン補間部、１２  タイミング制御部、１３  第２ゲイン候補値計算部、１４  第１ゲイン候補値計算部、１５  ゲイン選択部
【図１】
2014017692.tif 000004
【図２】
2014017692.tif 000005
【図３】
2014017692.tif 000006
【図４】
2014017692.tif 000007
【図５】
2014017692.tif 000008
【図８】
2014017692.tif 000009
【図９】
2014017692.tif 000010
【図１０】
2014017692.tif 000011
【図１１】
2014017692.tif 000012
【図６】
2014017692.tif 000013
【図７】
2014017692.tif 000014