(57)【要約】【課題】入力映像内の陰影に起因する輝度又は色の差異を低減するよう、入力映像内の画素値を局所的に補正する映像補正装置及びそのプログラムを提供する。【解決手段】本発明の映像補正装置１は、入力映像から背景画像を生成する背景画像生成部１０、背景画像内で補正対象とする対象領域とその補正の参照とすべき参照領域を指定する領域指定部１１、対象領域及び参照領域の各特徴を抽出する特徴抽出部１２、対象領域及び参照領域に関して背景画像の全体を領域分類したラベル画像を生成する判別部１３、背景画像における対象領域及び参照領域に関する画素値の統計量を算出する画素値統計部１４、各統計量に基づき当該対象領域に係る入力映像の画素値を当該参照領域に係る画素値に近似するための補正パラメータを導出する補正パラメータ導出部１５、及び当該補正パラメータに基づいて該入力映像を補正し補正済映像を生成する補正部１６を備える。【選択図】図１
2020135653.tif 000002
【特許請求の範囲】
【請求項１】
入力映像内の画素値を局所的に補正する映像補正装置であって、
入力映像の時系列から、動物体を除去した背景画像を生成する背景画像生成手段と、
前記背景画像の中から画素値の補正の対象とする領域を対象領域として、当該補正の度合いを決定するための参照とすべき領域を参照領域として定め、前記背景画像の全体について、前記背景画像の各画素位置が当該参照領域に属する画素値を持つか当該対象領域に属する画素値を持つかを少なくとも判別し、該判別結果を画像として表したラベル画像を生成する判別手段と、
前記ラベル画像に基づいて、前記背景画像について当該対象領域に属する画素値を持つ各画素位置の画素値の統計量を対象領域画素値統計量として、当該参照領域に属する画素値を持つ各画素位置の画素値の統計量を参照領域画素値統計量として算出する画素値統計手段と、
前記対象領域画素値統計量及び前記参照領域画素値統計量に基づき、当該対象領域に属する画素値を持つ各画素位置における入力映像の画素値を、当該参照領域に属する画素値を持つ各画素位置における該入力映像の画素値に近似するよう変換する補正パラメータを導出する補正パラメータ導出手段と、
前記ラベル画像に対応付けられた当該補正パラメータに基づいて、該入力映像の画素値を変換して補正済映像を生成する補正手段と、
を備えることを特徴とする映像補正装置。
【請求項２】
前記背景画像の中から画素値の補正の対象とする領域を対象領域として、当該補正の度合いを決定するための参照とすべき領域を参照領域として指定する領域指定手段を更に備えることを特徴とする、請求項１に記載の映像補正装置。
【請求項３】
前記対象領域内の背景画像の特徴を対象領域特徴として、及び前記参照領域内の背景画像の特徴を参照領域特徴として定量的に抽出する特徴抽出手段を更に備え、
前記判別手段は、前記参照領域特徴及び前記対象領域特徴に基づき、前記ラベル画像を生成することを特徴とする、請求項１又は２に記載の映像補正装置。
【請求項４】
前記参照領域特徴及び前記対象領域特徴の各々は、対応する平均色ベクトルで表される特徴、或いは該平均色ベクトルと分散・共分散行列で表される特徴を含み、
前記判別手段は、各画像座標における前記背景画像の画素値と前記参照領域特徴との間のマハラノビス距離、及び前記背景画像の画素値と前記対象領域特徴との間のマハラノビス距離を用いた分類で前記ラベル画像を生成することを特徴とする、請求項３に記載の映像補正装置。
【請求項５】
前記ラベル画像に対し、モルフォロジフィルタ処理を施すモルフォロジフィルタ手段を更に備えることを特徴とする、請求項１から４のいずれか一項に記載の映像補正装置。
【請求項６】
コンピュータを、請求項１から５のいずれか一項に記載の映像補正装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビジョンカメラ等により撮影された映像を入力し、その画素値を補正する技術に関し、特に、入力映像内の陰影に起因する輝度又は色の差異を低減するよう、入力映像内の画素値を局所的に補正する映像補正装置及びそのプログラムに関する。
【背景技術】
【０００２】
写真やビデオ映像の色や輝度、コントラストの補正方法として、撮影時に色補正フィルタ（アンバーやブルーなどの色を持つＣＣ(Color Correction Filter)フィルタ）やＮＤ(Neutral Density Filter)フィルタ、或いは原色フィルタ（イエロー、シアン、マゼンタなどの色を持つフィルタ）などの光学フィルタを光路上に配する技法がある。また、絞り、シャッター速度、又は感度（ゲイン）を調整することで輝度（透過率、反射率）の加減が行われる。
【０００３】
銀塩写真における印画紙焼き付け時においては、原色フィルタを光路上に配することや、露出時間を増減すること、現像時間や現像温度を加減すること、現像液の処方を変更することなどが行われる。そして、画像内で部分的な色や輝度の差異を補正又は強調するため、撮影時又は焼き付け時に部分的に濃度の異なるＮＤフィルタ（例えばハーフＮＤフィルタ）を使用することや、部分的に色味の異なる光学フィルタを用いることも行われる。
【０００４】
また、銀塩写真や銀塩映画の印画紙焼き付け時やフィルムデュープ、ポジ起こし時においては、部分的に遮光、減光又は調色するマスクを露光時間の一部乃至全部において適用するいわゆる覆い焼き技法や焼込み技法によって、得られる写真の透過率や反射率、色味を部分的に調整することも行われる。
【０００５】
一方で、デジタル画像やデジタルビデオ映像においては、撮像センサの感度の調整や、撮像センサの出力に適用するトーンカーブ、ルックアップテーブル、色変換行列、或いはバイアスを加えることによって色や輝度、コントラストを調整することが行われる。
【０００６】
また、映像編集機等においては、画像の部分領域に対してマスクを適用し、マスク領域の内外において適用するトーンカーブ、ルックアップテーブル、色変換行列、或いはバイアスを違えて加えることで、画面内で部分的に色や輝度、コントラストを調整することも行われている。
【０００７】
また、映像編集機等において、被写体が動物体である場合に当該マスク領域を被写体の動きに追従して移動させること（いわゆるマッチムーブ）で、色や輝度、コントラストを調整する領域を移動させることもある。
【０００８】
尚、部分的に光量を調整可能とした液晶フィルタをカメラの光路上に配する技術が知られている（例えば、特許文献１参照）。特許文献１には、補正対象が動画である場合に複数フレームから背景画像を作成し、該背景画像に基づいて部分的な補正値（光量調整信号）を生成する方法も開示されている。また、特許文献１には、背景画像にローパスフィルタを適用しシーンの明暗部境界における液晶フィルタの急激な濃度変化を回避し、撮像画像における不自然な境界線の発生を防ぐことも開示されている。
【０００９】
被写体が適切な露光量となるようデジタルカメラ等の撮影装置の感度（ゲイン）、絞り、シャッター速度を自動調整する技術として、画像を部分領域に分割し部分領域ごとの輝度の差異等に応じて被写体や情景を推定して調整量を算出する分割測光方式や、顔画像検出（例えば、非特許文献１参照）等の被写体認検出を行った後で該被写体が適切な露光量となるよう調整量を算出する測光方式がある。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００１−３３３３２９号公報
【非特許文献】
【００１１】
【非特許文献１】Paul Viola and Michael Jones, “Rapid Object Detection using a Boosted Cascade of Simple Features,” Proceeding of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp.511-518, Date of Conference: 8-14 Dec. 2001, Date Added to IEEE Xplore: 15 April 2003.
【発明の概要】
【発明が解決しようとする課題】
【００１２】
上述したように、静止画や動画に対し色や輝度の補正を行う技法には、光学的に行うものや、画像処理で行うものなど種々のものがある。しかし、光学フィルタによる色や輝度の補正は、とくに銀塩写真以外においては、撮影時にのみ適用可能であり、撮影事後にその効果を変更することはできない。また、部分的に色味や輝度を補正したい場合、その部分形状に合わせて光学フィルタの濃度を変化させる必要があり、多様なシーンや時々刻々変化する動画への適用は困難である。
【００１３】
また、映像編集機等の場合、事後の色や輝度の補正は可能であるが、例えばサッカー場のような競技場の一部が屋根の影で暗くなっている場合があるサッカー競技の撮影映像など、時々刻々、影領域が変化する映像の場合には、マスク形状を次々刻々変更する必要が生じ、膨大な手間がかかる。また、上述したマッチムーブは比較的明瞭な画像特徴を有する被写体の追随には好適であるものの、影領域は輪郭が不鮮明な影領域の追随には適していない。また、影領域の動きとテクスチャの動きは一般的には一致しないため（影領域は照明光の移動に起因する一方、テクスチャの移動は被写体の運動に起因するため）、マッチムーブが誤動作する危険性もある。
【００１４】
さらに、上述した分割測光方式や顔画像検出等による測光技術は、或る特定の被写体に適切な露出を設定するには好適であるが、陰影パターンや被写体形状を正確に捉える方式ではないため部分的な露出補正に応用することは困難である。
【００１５】
尚、分割測光方式は、その実装によっては被写体の内容（人物の顔であるか否か、風景であるか否か）などを推定し、該推定結果に応じた適切な露出設定を可能とする。このように分割測光方式は被写体を特定する機能を有するともいえるが、測光結果に応じて制御されるのは高々感度（ゲイン）、絞り、シャッター速度、及びＮＤフィルタであり、画面全体の一様な露出制御に留まる。
【００１６】
一方で、特許文献１においては、光量調整信号の生成法の一例として輝度ヒストグラムに基づき、所定の輝度超となる時には液晶フィルタの透過率を減じ、また別の輝度未満となる時には液晶フィルタの透過率を増ずる方法が開示されている。特許文献１の図３に示されるような液晶フィルタの透過率調整によれば、あたかもガンマやニー、ルックアップテーブルのような輝度変換曲線による輝度変換の効果が光学的に得られ、撮像素子のダイナミックレンジを有効に活用することができる。
【００１７】
しかし、このような透過率調整は、シーンの明暗のみに応じて、明るい箇所を暗く抑え、暗い箇所を明るくするよう画面全体を補正するものであるため、特定の被写体部分（或いは背景部分）のみの輝度を増減する（換言すれば、特定の被写体以外の部分は明るかろうと暗かろうと補正しない）といった局所的な輝度補正を実現するものではない。例えばサッカー場のような競技場の一部が屋根の影で暗くなっている場合など、背景たる芝生において影になっている領域のみについて芝生及び選手の輝度を明るく持ち上げる目的においては、特許文献１の技術は有効ではない。
【００１８】
そこで、本発明の目的は、上述の問題に鑑みて、入力映像内の陰影に起因する輝度又は色の差異を低減するよう、入力映像内の画素値を局所的に補正する映像補正装置及びそのプログラムを提供することにある。
【課題を解決するための手段】
【００１９】
本発明の映像補正装置は、入力映像内の画素値を局所的に補正する映像補正装置であって、入力映像の時系列から、動物体を除去した背景画像を生成する背景画像生成手段と、前記背景画像の中から画素値の補正の対象とする領域を対象領域として、当該補正の度合いを決定するための参照とすべき領域を参照領域として定め、前記背景画像の全体について、前記背景画像の各画素位置が当該参照領域に属する画素値を持つか当該対象領域に属する画素値を持つかを少なくとも判別し、該判別結果を画像として表したラベル画像を生成する判別手段と、前記ラベル画像に基づいて、前記背景画像について当該対象領域に属する画素値を持つ各画素位置の画素値の統計量を対象領域画素値統計量として、当該参照領域に属する画素値を持つ各画素位置の画素値の統計量を参照領域画素値統計量として算出する画素値統計手段と、前記対象領域画素値統計量及び前記参照領域画素値統計量に基づき、当該対象領域に属する画素値を持つ各画素位置における入力映像の画素値を、当該参照領域に属する画素値を持つ各画素位置における該入力映像の画素値に近似するよう変換する補正パラメータを導出する補正パラメータ導出手段と、前記ラベル画像に対応付けられた当該補正パラメータに基づいて、該入力映像の画素値を変換して補正済映像を生成する補正手段と、を備えることを特徴とする。
【００２０】
また、本発明の映像補正装置において、前記背景画像の中から画素値の補正の対象とする領域を対象領域として、当該補正の度合いを決定するための参照とすべき領域を参照領域として指定する領域指定手段を更に備えることを特徴とする。
【００２１】
また、本発明の映像補正装置において、前記対象領域内の背景画像の特徴を対象領域特徴として、及び前記参照領域内の背景画像の特徴を参照領域特徴として定量的に抽出する特徴抽出手段を更に備え、前記判別手段は、前記参照領域特徴及び前記対象領域特徴に基づき、前記ラベル画像を生成することを特徴とする。
【００２２】
また、本発明の映像補正装置において、前記参照領域特徴及び前記対象領域特徴の各々は、対応する平均色ベクトルで表される特徴、或いは該平均色ベクトルと分散・共分散行列で表される特徴を含み、前記判別手段は、各画像座標における前記背景画像の画素値と前記参照領域特徴との間のマハラノビス距離、及び前記背景画像の画素値と前記対象領域特徴との間のマハラノビス距離を用いた分類で前記ラベル画像を生成することを特徴とする。
【００２３】
また、本発明の映像補正装置において、前記ラベル画像に対し、モルフォロジフィルタ処理を施すモルフォロジフィルタ手段を更に備えることを特徴とする。
【００２４】
また、本発明のプログラムは、コンピュータを、本発明の映像補正装置として機能させるためのプログラムとして構成されている。
【発明の効果】
【００２５】
本発明によれば、入力映像内の陰影を示すラベル画像を基に入力映像を補正して補正済映像を得るように構成されるため、リアルタイムに入力される映像であっても、その入力映像内の陰影に起因する輝度や色の差異が小さくなるよう当該入力映像の各画素値を補正することができる。特に、本発明では、好適には、そのラベル画像に対し本発明に係るモルフォロジフィルタを適用することで、入力映像に含まれるノイズや背景画像の模様に起因するラベル画像の所定サイズ以下のパターン（数画素単位の細かい任意形状の小領域）を除去し、当該補正済映像に生じ得る細かい輝度のむらを抑えることができる。
【図面の簡単な説明】
【００２６】
【図１】本発明による第１実施形態の映像補正装置の概略構成を例示するブロック図である。
【図２】本発明による第１実施形態の映像補正装置の動作を示すフローチャートである。
【図３】（ａ），（ｂ）は、本発明による第１実施形態の映像補正装置における背景画像の生成に関する説明図である。
【図４】（ａ），（ｂ）は、本発明による第１実施形態の映像補正装置におけるラベル画像の生成に関する説明図である。
【図５】（ａ），（ｂ）は、本発明による第１実施形態の映像補正装置における入力映像内の暗領域の輝度（明るさ）を明領域の輝度と同等になるよう補正した補正済画像の生成に関する説明図である。
【図６】本発明による第２実施形態の映像補正装置の概略構成を例示するブロック図である。
【図７】本発明による第２実施形態の映像補正装置におけるモルフォロジフィルタの動作に関する説明図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照しながら、本発明による各実施形態の映像補正装置１について説明する。
【００２８】
〔第１実施形態〕
（装置構成）
図１は、本発明による第１実施形態の映像補正装置１の概略構成を例示するブロック図である。第１実施形態の映像補正装置１は、テレビジョンカメラ等により撮影された映像を入力し、この入力映像Ｉ内の陰影に起因する輝度又は色の差異を低減するよう、入力映像Ｉ内の画素値を局所的に補正して補正済映像Ｊとして出力する装置であり、背景画像生成部１０、領域指定部１１、特徴抽出部１２、判別部１３、画素値統計部１４、補正パラメータ導出部１５、及び補正部１６を備える。
【００２９】
本願明細書中、時刻ｔ、画像座標（ｘ，ｙ）における映像の画素値は、映像を表す文字の後に（ｔ；ｘ，ｙ）を付して示すものとする。例えば、入力映像Ｉの、時刻ｔ、画像座標（ｘ，ｙ）における画素値はＩ（ｔ；ｘ，ｙ）と記す。尚、画素値はスカラー量であっても構わないし（例えば、モノクロ映像の場合）、ベクトル量であっても構わない（例えば、カラー映像において、赤、緑及び青の３成分からなるベクトル値）。
【００３０】
以下の説明では、代表的な例として、第１実施形態の映像補正装置１は、画角が固定されたテレビジョンカメラ等により撮影された映像を入力し、入力映像Ｉ内の画素値をリアルタイムで補正して出力する例を説明する。ただし、第１実施形態の映像補正装置１は、収録済みの映像を再生入力し、その再生映像内の画素値をリアルタイムで補正して再記録するとしてもよい。
【００３１】
背景画像生成部１０は、入力映像Ｉの時系列（複数の入力映像フレーム）から、動物体を除去した背景画像Ｂを生成し、特徴抽出部１２、及び判別部１３に出力する。背景画像の生成は、背景差分法に用いられる既存の手法を用いることができる。例えば、背景画像生成部１０は、特許第５２２７２２６号明細書の［数８］に示される背景生成法によって背景画像Ｂを生成する。
【００３２】
尚、本例のように画角が固定された入力映像を対象としているときは、補正開始時に背景画像Ｂを作成すれば、繰り返し作成せずとも以降の入力映像に対して利用できる。ただし、入力映像内でシーンチェンジが発生するときや、日照条件等で明暗に差異が生じることもある。このような場合にも対応できるように、公知のシーンチェンジ検出技術を利用した入力映像に対するシーンチェンジ検出部を設け、そのシーンチェンジ検出時に、背景画像生成部１０を自動的に再起動させてもよい。また、外部操作で任意時刻に背景画像Ｂの作成を背景画像生成部１０に指示する機能部や、背景画像Ｂの作成を定期的にユーザに通知する機能部、或いは一定期間毎に背景画像Ｂを自動作成する機能部等を設けてもよい。
【００３３】
以下、画像座標（ｘ，ｙ）における画像の画素値は、画像を表す文字の後に（ｘ，ｙ）を付して示すものとする。例えば、背景画像Ｂの、画像座標（ｘ，ｙ）における画素値はＢ（ｘ，ｙ）と記す。
【００３４】
領域指定部１１は、背景画像Ｂにおいて、背景画像Ｂの中から画素値の補正の対象とする領域を対象領域ＱＴとして、当該補正の度合いを決定するための参照とすべき領域を参照領域ＱＲとして、背景画像Ｂ上で外部から指定するユーザインタフェースを有する。
【００３５】
このようなユーザインタフェースは、背景画像生成部１０によって背景画像Ｂが生成されるとその背景画像Ｂをディスプレイ（図示せず）に表示させ、ユーザに対し対象領域ＱＴ及び参照領域ＱＲを指定するように操作指示が提示されるように構成される。このユーザインタフェースの形態は、マウスや、ペンタブレット、液晶ペンタブレット、タッチパネル、ディジタイザ、トラックボール、ジョイスティック、ライトペンといった座標指定デバイスによって画像領域又は画像座標（絶対座標であっても、相対座標（カーソルの移動量）であってもよい）を指示するものであってもよいし、キーボードや画面上に表示されたグラフィカルユーザインタフェース（例えば、ボタン）で構成して、座標値を打ち込むものであっても構わない。尚、本例のユーザインタフェースは、ユーザが任意時刻で作動させることができ、背景画像生成部１０に対し背景画像Ｂを生成するよう指示する機能も有している。また、シーンチェンジや定期的な制御で背景画像生成部１０が背景画像Ｂを自動生成する構成とする場合では、その背景画像Ｂの生成をトリガとして、このユーザインタフェースによる設定を背景画像生成部１０から領域指定部１１にアナウンスする形態とすることもできる。
【００３６】
これにより、領域指定部１１は、背景画像Ｂ上において２つの領域、即ち対象領域ＱＴ及び参照領域ＱＲ（例えば、矩形領域）を指定することができ、指定された対象領域ＱＴ及び参照領域ＱＲの情報は特徴抽出部１２に出力される。
【００３７】
特徴抽出部１２は、背景画像生成部１０により生成された背景画像Ｂと、領域指定部１１によって指定された対象領域ＱＴ及び参照領域ＱＲの情報を入力し、対象領域ＱＴ内の背景画像Ｂの特徴、及び参照領域ＱＲ内の背景画像Ｂの特徴を定量的に抽出し、その結果としてそれぞれ得られる対象領域特徴、及び参照領域特徴の各情報を判別部１３に出力する。
【００３８】
例えば、特徴抽出部１２は、参照領域特徴として、［数１］に示すように、参照領域ＱＲ内の背景画像Ｂの平均色ベクトルμＲを算出する。尚、以下において、ベクトルは列ベクトルとする。
【００３９】
【数１】
2020135653.tif 000003
【００４０】
この変形例として、特徴抽出部１２は、平均色ベクトルμＲに加えて、［数２］に示すように、参照領域ＱＲ内の背景画像Ｂの分散・共分散行列ＶＲを算出し、参照領域特徴として含めてもよい。
【００４１】
【数２】
2020135653.tif 000004
【００４２】
尚、右上付きのＴは、ベクトル又は行列の転置を表す演算子であり、対象領域を示す右下付きのＴとは区別される。
【００４３】
同様に、特徴抽出部１２は、対象領域特徴として、［数３］に示すように、対象領域ＱＴ内の背景画像Ｂの平均色ベクトルμＴを算出する。
【００４４】
【数３】
2020135653.tif 000005
【００４５】
この変形例として、特徴抽出部１２は、平均色ベクトルμＴに加えて、［数４］に示すように、参照領域ＱＴ内の背景画像Ｂの分散・共分散行列ＶＴを算出し、対象領域特徴として含めてもよい。
【００４６】
【数４】
2020135653.tif 000006
【００４７】
判別部１３は、特徴抽出部１２から得られる参照領域特徴及び対象領域特徴に基づき、背景画像生成部１０から得られる背景画像Ｂの全体について、背景画像Ｂの各画素位置が参照領域ＱＲに属する画素値を持つか対象領域ＱＴに属する画素値を持つかを少なくとも判別し、該判別結果を画像として表したラベル画像Ｌを生成して、画素値統計部１４、及び補正部１６に出力する。
【００４８】
ここで、判別部１３は、背景画像Ｂの各画素位置が参照領域ＱＲに属する画素値を持つか対象領域ＱＴに属する画素値を持つかの二択で分類する二値でラベル画像Ｌを生成する方法と、背景画像Ｂの各画素位置が参照領域ＱＲに属する画素値を持つか対象領域ＱＴに属する画素値を持つか、或いはそれ以外（otherwise）のが装置を持つかの三択で分類する多値（二値化以外の実数値を含む）でラベル画像Ｌを生成する方法がある。
【００４９】
（二値のラベル画像Ｌ）
二値のラベル画像Ｌの生成例として、例えば、判別部１３は、画像座標（ｘ，ｙ）における背景画像Ｂの画素値Ｂ（ｘ，ｙ）と参照領域ＱＲにおける参照領域特徴との間のマハラノビス(Mahalanobis)距離ｄＲ（ｘ，ｙ）、及び画素値Ｂ（ｘ，ｙ）と対象領域ＱＴにおける対象領域特徴との間のマハラノビス距離ｄＴ（ｘ，ｙ）をそれぞれ求め、距離ｄＴ（ｘ，ｙ）及び距離ｄＲ（ｘ，ｙ）の大小で二分類して二値化したラベル画像Ｌを生成する。
【００５０】
マハラノビス距離ｄＲ及びｄＴは、次式の［数５］により計算される。
【００５１】
【数５】
2020135653.tif 000007
【００５２】
また、二値化したラベル画像Ｌの画素値Ｌ（ｘ，ｙ）は、例えば、次式の［数６］により決定される。
【００５３】
【数６】
2020135653.tif 000008
【００５４】
上記の［数６］により、背景画像Ｂの各画素位置において、対象領域ＱＴに属する画素値を持つときはラベル画像Ｌ上では画素値０となり、参照領域ＱＲに属する画素値を持つときはラベル画像Ｌ上では画素値１となる。尚、［数６］では、具体的な画素値として｛０，１｝のいずれかとしているが、例えば｛０，２５５｝などのように任意の数値で二値化してもよい。
【００５５】
（多値のラベル画像Ｌ）
多値のラベル画像Ｌの生成例として、例えば、判別部１３は、上記と同様に、マハラノビス距離ｄＲ（ｘ，ｙ）、及びマハラノビス距離ｄＴ（ｘ，ｙ）をそれぞれ求め、距離ｄＴ（ｘ，ｙ）及び距離ｄＲ（ｘ，ｙ）について、０＜ｋ１＜ｋ２なる２実数ｋ１及びｋ２に対し、以下に示す［数７］又は［数８］のように、多値（二値化以外の実数値を含む）で三分類して多値化したラベル画像Ｌを生成する。
【００５６】
【数７】
2020135653.tif 000009
【００５７】
【数８】
2020135653.tif 000010
【００５８】
上記の［数７］においてＬ（ｘ，ｙ）＝０．５の画素は対象領域ＱＴ及び参照領域ＱＲのいずれにも属さないものと扱ってもよいし、上記の［数８］のように画素値が大きいほど参照領域らしく、その画素値が小さいほど対象領域らしいものとして、３値を超える多値のラベル画像Ｌとしてもよい。
【００５９】
画素値統計部１４は、ラベル画像Ｌに基づいて、背景画像Ｂについて対象領域ＱＴに属する画素値を持つ各画素位置（領域ＱＴ）の画素値の統計量を対象領域画素値統計量ＳＴとして、参照領域ＱＲに属する画素値を持つ各画素位置（領域ＱＲ）の画素値の統計量を参照領域画素値統計量ＳＲとして算出し、それぞれ補正パラメータ導出部１５に出力する。
【００６０】
画素値統計部１４は、シーンチェンジや日照状況等の変化で生成された背景画像Ｂの生成時にのみ実行してもよいし、背景画像Ｂに対する対象領域ＱＴ及び参照領域ＱＲの指定変更されたときなどラベル画像Ｌの生成時にのみ実行しても構わないし、また、背景画像Ｂやラベル画像Ｌの生成をタイマー等によって定期的に実行させたときに実行しても構わない。以下、画素値統計部１４の実行のタイミングを時刻ｔ０とする。
【００６１】
対象領域画素値統計量ＳＴ及び参照領域画素値統計量ＳＲとしては、例えば、３次元の色ヒストグラム、色成分ごとの１次元ヒストグラム、色ベクトルの平均ベクトル、色ベクトルの分散・共分散行列、各色成分の信号値の最小値、最大値、平均値、中央値、最頻値、或いは分散値（又は標準偏差）を用いることができる。
【００６２】
［数６］や［数７］で示されるように、ラベル画像Ｌの画素値が、対象領域ＱＴに属する画素値を持つ各画素位置（領域ＱＴ）において０、参照領域ＱＲに属する画素値を持つ各画素位置（領域ＱＲ）において１をそれぞれとる場合に、対象領域の平均色ベクトルｍＴ及び分散・共分散行列ＷＴ、並びに参照領域の平均色ベクトルｍＲ及び分散・共分散行列ＷＲは、それぞれ以下に示す［数９］及び［数１０］により算出することができる。
【００６３】
【数９】
2020135653.tif 000011
【００６４】
【数１０】
2020135653.tif 000012
【００６５】
また、ラベル画像Ｌが、［数８］で示されるように多値で表される場合には、対象領域の平均色ベクトルｍＴ及び分散・共分散行列ＷＴ、並びに参照領域の平均色ベクトルｍＲ及び分散・共分散行列ＷＲは、それぞれ以下に示す［数１１］及び［数１２］により算出することができる。
【００６６】
【数１１】
2020135653.tif 000013
【００６７】
【数１２】
2020135653.tif 000014
【００６８】
補正パラメータ導出部１５は、画素値統計部１４で算出された対象領域画素値統計量ＳＴ及び参照領域画素値統計量ＳＲに基づき、対象領域ＱＴに属する画素値を持つ各画素位置（領域ＱＴ）における入力映像Ｉの画素値を、参照領域ＱＲに属する画素値を持つ各画素位置（領域ＱＲ）における入力映像Ｉの画素値に近似するよう変換する補正パラメータを導出し、補正部１６に出力する。この補正パラメータは、バイアス及びゲインで表されるものであってもよいし、色変換行列であってもよいし、色変換のためのルックアップテーブルであっても構わない。
【００６９】
補正パラメータ導出部１５の出力する補正パラメータがバイアスｂ及びゲインＧである場合には、例えば、次式の［数１３］のように入力及び出力の画素値の各色成分独立にバイアスｂ及びゲインＧを定めてもよい。
【００７０】
【数１３】
2020135653.tif 000015
【００７１】
尚、上記の［数１３］において、右上付きの（Ｒ）、（Ｇ）及び（Ｂ）は色成分（又は色差成分）を区別する文字である。
【００７２】
補正部１６は、ラベル画像Ｌに対応付けられた補正パラメータ導出部１５から得られる補正パラメータに基づいて、入力映像Ｉの画素値を変換して補正済映像Ｊを生成し、外部に出力する。
【００７３】
補正パラメータ導出部１５の出力する補正パラメータがバイアスｂ及びゲインＧである場合には、補正部１６は、次式の［数１４］により出力すべき補正済映像の画素値Ｊ（ｔ;ｘ，ｙ）を算出することができる。
【００７４】
【数１４】
2020135653.tif 000016
【００７５】
ここで、ラベル画像Ｌが３値以上の多値をとる場合に、補正部１６は、次式の［数１５］のようにラベル画像Ｌの画素値に応じて補正の度合いを調整するよう構成してもよい。
【００７６】
【数１５】
2020135653.tif 000017
【００７７】
ここで、ラベル画像Ｌが３値以上の多値をとる場合に、補正部１６は、次式の［数１５］のようにラベル画像Ｌの画素値に応じて補正の度合いを調整するよう構成してもよい。
【００７８】
（装置動作）
以下、図２に示すフローチャートに基づいて、図３乃至図５を参照しながら、第１実施形態の映像補正装置１の動作をより分かりやすく説明する。図２は、本発明による第１実施形態の映像補正装置１の動作を示すフローチャートである。図３（ａ），（ｂ）は、背景画像Ｂの生成に関する説明図であり、図４（ａ），（ｂ）は、ラベル画像Ｌの生成に関する説明図である。また、図５（ａ），（ｂ）は、入力映像Ｉ内の暗領域の輝度（明るさ）を明領域の輝度と同等になるよう補正した補正済画像Ｊの生成に関する説明図である。
【００７９】
まず、図２に示すように、映像補正装置１は、背景画像生成部１０により、入力映像Ｉの時系列（複数の入力映像フレーム）から、動物体を除去した背景画像Ｂを生成する（ステップＳ１）。
【００８０】
例えば、図３（ａ）に示すように、背景画像生成部１０は、入力映像Ｉから抽出した複数の入力映像フレームを用いて、背景差分法により、時刻ｔ＝ｔａの入力映像Ｉの各画素位置（ｘ，ｙ）の画素値Ｉ（ｔ＝ｔａ；ｘ，ｙ）から、時刻ｔ＝ｔｂの入力映像Ｉの各画素位置（ｘ，ｙ）の画素値Ｉ（ｔ＝ｔｂ；ｘ，ｙ）までを比較して差分すると、時刻ｔ＝ｔａの入力映像Ｉ内に写り込んでいた動物体Ｍ１，Ｍ２や、時刻ｔ＝ｔｂの入力映像Ｉ内に写り込んでいた動物体Ｍ１，Ｍ２，Ｍ３を抽出することができる。そして、図３（ｂ）に示すように、これらの動物体を除去した画素値Ｂ（ｘ，ｙ）を持つ背景画像Ｂを得ることができる。
【００８１】
続いて、映像補正装置１は、特徴抽出部１２により、背景画像生成部１０により生成された背景画像Ｂと、領域指定部１１によって指定された対象領域ＱＴ及び参照領域ＱＲの情報を入力し、対象領域ＱＴ内の背景画像Ｂの特徴を対象領域特徴として、参照領域ＱＲ内の背景画像Ｂの特徴を参照領域特徴として定量的に抽出する（ステップＳ２）。
【００８２】
例えば、図４（ａ）に示すように、領域指定部１１は、ユーザインタフェースを介して、背景画像Ｂの中から画素値の補正の対象とする領域を対象領域ＱＴとして、当該補正の度合いを決定するための参照とすべき領域を参照領域ＱＲとして指定する。尚、図４（ａ）に示す例では、背景画像Ｂ内の暗領域（影領域）を対象領域ＱＴとし、背景画像Ｂ内の明領域（非影領域）を参照領域ＱＲとして指定した例を示している。そして、特徴抽出部１２は、領域指定部１１によって指定された対象領域ＱＴ及び参照領域ＱＲの情報を入力し、対象領域ＱＴ内の背景画像Ｂの特徴を対象領域特徴として、参照領域ＱＲ内の背景画像Ｂの特徴を参照領域特徴として定量的に抽出することができる。
【００８３】
続いて、映像補正装置１は、判別部１３により、参照領域特徴及び対象領域特徴に基づき、背景画像Ｂの全体について、背景画像Ｂの各画素位置が参照領域ＱＲに属する画素値を持つか対象領域ＱＴに属する画素値を持つかを少なくとも判別する領域分類を行い、その領域分類を画像として表したラベル画像Ｌを生成する（ステップＳ３）。
【００８４】
例えば、図４（ｂ）に極端な例として示すように、判別部１３は、背景画像Ｂの全体について、背景画像Ｂの各画素位置が参照領域ＱＲに属する画素値を持つか対象領域ＱＴに属する画素値を持つかを少なくとも判別する領域分類を行い、その領域分類を画像として表したラベル画像Ｌを生成することができる。
【００８５】
続いて、映像補正装置１は、画素値統計部１４により、ラベル画像Ｌに基づいて、背景画像Ｂについて対象領域ＱＴに属する画素値を持つ各画素位置（領域ＱＴ）の画素値の統計量を対象領域画素値統計量ＳＴとして、参照領域ＱＲに属する画素値を持つ各画素位置（領域ＱＲ）の画素値の統計量を参照領域画素値統計量ＳＲとして算出する（ステップＳ４）。
【００８６】
続いて、映像補正装置１は、補正パラメータ導出部１５により、対象領域画素値統計量ＳＴ及び参照領域画素値統計量ＳＲに基づき、対象領域ＱＴに属する画素値を持つ各画素位置（領域ＱＴ）における入力映像Ｉの画素値を、参照領域ＱＲに属する画素値を持つ各画素位置（領域ＱＲ）における入力映像Ｉの画素値に近似するよう変換する補正パラメータを導出する（ステップＳ５）。
【００８７】
続いて、映像補正装置１は、補正部１６により、ラベル画像Ｌに対応付けられた補正パラメータに基づいて、入力映像Ｉの画素値を変換して補正済映像Ｊを生成し、外部に出力する（ステップＳ６）。
【００８８】
例えば、図５（ａ）に示すように或る時刻ｔ（ｔ０以降）に動物体Ｍ４，Ｍ５が写り込んだ入力映像Ｉが補正対象として補正部１６に入力されたとすると、補正部１６は、その入力映像Ｉにおける動物体Ｍ４，Ｍ５の有無に影響されず、背景画像Ｂ上で暗領域を示していた領域を、本例では補正境界ＢＬを境に、背景画像Ｂ上で明領域を示していた領域と同等の輝度又は色合いに補正した補正済映像Ｊを生成することができる。
【００８９】
このように、本実施形態の映像補正装置１は、入力映像Ｉ内の陰影を示すラベル画像Ｌを基に入力映像Ｉを補正して補正済映像Ｊを得るように構成されるため、リアルタイムに入力される映像であっても、その入力映像Ｉ内の陰影に起因する輝度や色の差異が小さくなるよう当該入力映像Ｉの各画素値を補正することができる。
【００９０】
〔第２実施形態〕
（装置構成）
図６は、本発明による第２実施形態の映像補正装置１の概略構成を例示するブロック図である。第２実施形態の映像補正装置１において、図１に示すものと同様の構成要素には、同一の参照番号を付している。
【００９１】
第２実施形態の映像補正装置１は、背景画像生成部１０、領域指定部１１、特徴抽出部１２、判別部１３、画素値統計部１４、補正パラメータ導出部１５、補正部１６、及びモルフォロジフィルタ１７を備え、図１に示すものと比較してモルフォロジフィルタ１７を更に備える点で相違しており、その他の機能部は第１実施形態と同様に機能する。
【００９２】
まず、第１実施形態の構成では、入力映像Ｉの信号対雑音比（Ｓ／Ｎ）が不良である場合（例えば、Ｓ／Ｎが２０ｄＢ未満の場合）に、その雑音に起因して判別部１３の出力するラベル画像Ｌ内には細かい（例えば、孤立点や３×３画素程度以下の孤立領域である）領域が生じうる。このような場合、補正部１６により、そのラベル画像Ｌに基づいた補正パラメータを用いて入力映像Ｉを補正すると、補正済映像Ｊに細かいまだら模様が生じ、不自然な補正済映像Ｊが出力されてしまう可能性がある。このとき、ラベル画像Ｌに対し、例えば３×３等の空間ローパスフィルタを適用しても、十分に当該まだら模様を抑圧できないことがある。そこで、本実施形態では、ラベル画像Ｌに対し、モルフォロジフィルタ処理を適用することで、補正済映像Ｊのまだら模様を抑圧するようにした。
【００９３】
モルフォロジフィルタ１７は、判別部１３によって生成されたラベル画像Ｌにおける対象領域ＱＴに属する画素値を持つ各画素位置（領域ＱＴ）に対して走査（移動処理）しながら、モルフォロジフィルタ処理を適用することにより、領域ＱＴ内で所定サイズ以下のパターン（数画素単位の細かい任意形状の小領域）を除去し、当該モルフォロジフィルタ処理後のラベル画像Ｌを画素値統計部１４、及び補正部１６に出力する。
【００９４】
（領域ＱＴが暗領域のとき）
領域ＱＴが暗領域の場合、モルフォロジフィルタ１７は、ラベル画像Ｌにおける領域ＱＴに対して、図７の上段に示すラベル画像Ｌにおける注目画素Ｐ（ｘ、ｙ）について例えば半径ｋ（２画素）の円形カーネル内で、［数１６］に示す収縮演算ｅｒｏｋ及び膨張演算ｄｉｌｋを順次適用するオープニング演算を適用する。例えば、図７の中段に示すように、領域ＱＴに収縮演算ｅｒｏｋを適用することで、注目画素Ｐ（ｘ、ｙ）の画素値を、円形カーネル内で最小の画素値を示すＬｍｉｎに置き換えたｅｒｏｋ［Ｌ］（ｘ，ｙ）の画素値を得ることができる。これにより、領域ＱＴ内の細かい白点状の小領域（例えば、孤立点や３×３画素程度以下の孤立領域）を消去することができる。
【００９５】
【数１６】
2020135653.tif 000018
【００９６】
【数１７】
2020135653.tif 000019
【００９７】
（領域ＱＴが明領域のとき）
領域ＱＴが明領域の場合、モルフォロジフィルタ１７は、ラベル画像Ｌにおける領域ＱＴに対して、図７の上段に示すラベル画像Ｌにおける注目画素Ｐ（ｘ、ｙ）について例えば半径ｋ（２画素）の円形カーネル内で、［数１６］に示す膨張演算ｄｉｌｋ及び収縮演算ｅｒｏｋを順次適用するクロージング演算を適用する。例えば、図７の下段に示すように、領域ＱＴに収縮演算ｄｉｌｋを適用することで、注目画素Ｐ（ｘ、ｙ）の画素値を、円形カーネル内で最大の画素値を示すＬｍａｘに置き換えたｄｉｌｋ［Ｌ］（ｘ，ｙ）の画素値を得ることができる。これにより、領域ＱＴ内の細かい黒点状の小領域（例えば、孤立点や３×３画素程度以下の孤立領域）を消去することができる。
【００９８】
【数１８】
2020135653.tif 000020
【００９９】
これにより、入力映像Ｉの信号対雑音比（Ｓ／Ｎ）が不良である場合（例えば、Ｓ／Ｎが２０ｄＢ未満の場合）でも、より自然な補正済映像Ｊを生成することができる。
【０１００】
尚、モルフォロジフィルタ１７は、上述の例では、ラベル画像Ｌにおける領域ＱＴに対してのみ、モルフォロジフィルタを適用する例を説明したが、ラベル画像Ｌ全体に対して、明領域であるか暗領域であるかでモルフォロジフィルタを切り替え適用する構成としてもよい。
【０１０１】
もしくは、モルフォロジフィルタ１７はラベル画像Ｌ全体に対して、明領域であるか暗領域であるかでモルフォロジフィルタを切り替えることなく、以下の［数１９］乃至［数２１］のいずれかの演算を適用してもよい。
【０１０２】
【数１９】
2020135653.tif 000021
【０１０３】
上記の［数１９］における２重に順次適用するｄｉｌｋを、半径２ｋ（例えば４画素）の例えば円形のカーネルによる膨張演算ｄｉｌ２ｋに置き換えて、以下の［数２０］のように実装してもよい。
【０１０４】
【数２０】
2020135653.tif 000022
【０１０５】
【数２１】
2020135653.tif 000023
【０１０６】
上記の［数２１］における２重に順次適用するｅｒｏｋを、半径２ｋ（例えば４画素）の例えば円形のカーネルによる収縮演算ｅｒｏ２ｋに置き換えて、以下の［数２２］のように実装してもよい。
【０１０７】
【数２２】
2020135653.tif 000024
【０１０８】
尚、［数１９］及び［数２０］はオープニング演算の後にクロージング演算を適用するモルフォロジフィルタである。一方、［数２１］及び［数２２］はクロージング演算の後にオープニング演算を適用するモルフォロジフィルタである。［数１９］乃至［数２２］のいずれによっても、細かい黒点状の小領域及び細かい白点状の小領域の両方を消去することができる。このような［数１９］乃至［数２２］のいずれかに従うモルフォロジフィルタであれば、明領域であるか暗領域であるかの判別が不要となり、明領域と暗領域が複雑に分類されるような場合では特に処理負担を軽減させ、且つ高精度に補正済映像Ｊのまだら模様を抑圧できるようになる。
【０１０９】
これにより、入力映像Ｉの信号対雑音比（Ｓ／Ｎ）が不良である場合（例えば、Ｓ／Ｎが２０ｄＢ未満の場合）でも、より自然な補正済映像Ｊを生成することができる。
【０１１０】
このように、本実施形態の映像補正装置１においても、入力映像Ｉ内の陰影を示すラベル画像Ｌを基に入力映像Ｉを補正して補正済映像Ｊを得るように構成されるため、リアルタイムに入力される映像であっても、その入力映像Ｉ内の陰影に起因する輝度や色の差異が小さくなるよう当該入力映像Ｉの各画素値を補正することができる。
【０１１１】
特に、本実施形態の映像補正装置１は、そのラベル画像Ｌに対し本発明に係るモルフォロジフィルタを適用することで、入力映像Ｉに含まれるノイズや背景画像の模様に起因するラベル画像Ｌの所定サイズ以下のパターン（数画素単位の細かい任意形状の小領域）を除去し、当該補正済映像Ｊに生じ得る細かい輝度のむらを抑えることができる。
【０１１２】
上述した各実施形態の例に関して、映像補正装置１として機能するコンピュータを構成し、これらの装置の各手段を機能させるためのプログラムを好適に用いることができる。具体的には、各手段を制御するための制御部をコンピュータ内の中央演算処理装置（ＣＰＵ）で構成でき、且つ、各手段を動作させるのに必要となるプログラムを適宜記憶する記憶部を少なくとも１つのメモリで構成させることができる。即ち、そのようなコンピュータに、ＣＰＵによって該プログラムを実行させることにより、上述した各手段の有する機能を実現させることができる。更に、各手段の有する機能を実現させるためのプログラムを、前述の記憶部（メモリ）の所定の領域に格納させることができる。そのような記憶部は、装置内部のＲＡＭ又はＲＯＭなどで構成させることができ、或いは又、外部記憶装置（例えば、ハードディスク）で構成させることもできる。また、そのようなプログラムは、コンピュータで利用されるＯＳ上のソフトウェア（ＲＯＭ又は外部記憶装置に格納される）の一部で構成させることができる。更に、そのようなコンピュータに、各手段として機能させるためのプログラムは、コンピュータ読取り可能な記録媒体に記録することができる。また、上述した各手段をハードウェア又はソフトウェアの一部として構成させ、各々を組み合わせて実現させることもできる。
【０１１３】
上述の各実施形態については代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換することができることは当業者に明らかである。例えば、上述の実施形態の例では、暗領域を対象領域とし明領域を参照領域として、その暗領域を明領域に近づけるべく補正する例を説明したが、明領域を暗領域に近づけるべく補正するとしてもよいし、特定の色合いを他の色合いに近づけるべく補正するとしてもよい。従って、本発明は、上述の各実施形態によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。
【産業上の利用可能性】
【０１１４】
本発明によれば、映像内の陰影に起因する輝度や色の差異を小さくすることができるので、テレビジョンカメラ等で撮影した映像を扱う用途に有用である。
【符号の説明】
【０１１５】
１  映像補正装置
１０  背景画像生成部
１１  領域指定部
１２  特徴抽出部
１３  判別部
１４  画素値統計部
１５  補正パラメータ導出部
１６  補正部
１７  モルフォロジフィルタ
【図１】
2020135653.tif 000025
【図２】
2020135653.tif 000026
【図３】
2020135653.tif 000027
【図４】
2020135653.tif 000028
【図５】
2020135653.tif 000029
【図６】
2020135653.tif 000030
【図７】
2020135653.tif 000031