(57)【要約】【課題】領域判定精度を向上させた領域判定装置を提供する。【解決手段】映像合成装置１は、映像記憶部１０と、各画素の画素値を直線にフィッティングする直線近似部２０と、背景モデルを生成する背景モデル生成部３０と、背景モデルを記憶する背景モデル記憶部４０と、背景モデルを更新する背景モデル更新部５０と、背景モデルを用いて、撮影映像の被写体領域、影領域、半影領域及び背景領域を判定する判定部６０と、部品映像記憶部７０と、映像合成部８０とを備える。【選択図】図１
2019102008.tif 000002
【特許請求の範囲】
【請求項１】
動いている被写体を固定カメラで撮影した所定時間分の撮影映像に含まれる被写体領域、影領域、半影領域及び背景領域を判定する領域判定装置であって、
所定時間分の学習映像から各時刻で同一座標の画素の画素値を取得し、取得した当該同一座標の画素毎に、前記各時刻の画素の画素値を直交ＲＧＢ色空間内の直線で近似する直線近似部と、
前記学習映像の画素毎に、前記直交ＲＧＢ色空間の原点を始点として予め設定した環境光反射ベクトル、及び、前記環境光反射ベクトルの終点から前記直線を延長した位置までの主光源反射ベクトルからなる背景モデルを生成する背景モデル生成部と、
各時刻の前記撮影映像から同一座標の画素を観測画素として取得し、取得した当該観測画素の画素値うち、前記背景モデルにおいて、前記直線で前記原点に近い側の端点に最寄の画素値を最近画素値、及び、前記直線で前記原点から遠い側の端点に最寄の画素値を最遠画素値として更新する背景モデル更新部と、
前記観測画素の画素値が、前記主光源反射ベクトル上で前記最近画素値と前記最遠画素値との間の背景判定基準線分から予め設定した距離以上離れる場合、前記観測画素を前記被写体領域の画素と判定する被写体領域判定部と、
前記最近画素値から前記原点までの基準方向で前記原点から所定距離の基準位置を予め設定し、前記観測画素の画素値が、前記環境光反射ベクトル又は前記主光源反射ベクトルで前記基準位置から前記最近画素値までの範囲に含まれる場合、前記観測画素を前記影領域の画素と判定する影領域判定部と、
前記基準方向で前記最近画素値から所定距離の半影判定位置を予め設定し、前記観測画素の画素値が、前記背景判定基準線分上で前記最近画素値から前記半影判定位置までの範囲に含まれる場合、前記観測画素を前記半影領域の画素と判定する半影領域判定部と、
前記観測画素の画素値が、前記背景判定基準線分上で前記半影判定位置から前記最遠画素値までの範囲に含まれる場合、前記観測画素を前記背景領域の画素と判定する背景領域判定部と、
を備えることを特徴とする領域判定装置。
【請求項２】
前記影領域判定部は、前記観測画素の画素値が、前記基準位置から前記最近画素値までの範囲に含まれ、前記環境光反射ベクトル又は前記主光源反射ベクトルから予め設定した距離以内の場合、前記観測画素を前記影領域の画素と判定することを特徴とする請求項１に記載の領域判定装置。
【請求項３】
前記半影領域判定部は、前記観測画素の画素値が、前記最近画素値から前記半影判定位置までの範囲に含まれ、前記背景判定基準線分から予め設定した距離以内の場合、前記観測画素を前記半影領域の画素と判定することを特徴とする請求項１又は請求項２に記載の領域判定装置。
【請求項４】
前記背景領域判定部は、前記観測画素の画素値が、前記半影判定位置から前記最遠画素値までの範囲に含まれ、前記背景判定基準線分から予め設定した距離以内の場合、前記観測画素を前記背景領域の画素と判定することを特徴とする請求項１から請求項３の何れか一項に記載の領域判定装置。
【請求項５】
前記最遠画素値を当該最遠画素値の平均に合わせたときの各背景判定基準線分の最近画素値の平均を求め、前記最近画素値の平均を始点とした各背景判定基準線分の最遠画素値の平均を求め、前記原点から前記最近画素値の平均までの環境光ベクトル、及び、前記原点から前記最遠画素値の平均までの主光源ベクトルを表した合成情報を生成する合成情報生成部、をさらに備えることを特徴とする請求項１から請求項４の何れか一項に記載の領域判定装置。
【請求項６】
コンピュータを、請求項１から請求項５の何れか一項に記載の領域判定装置として機能させるための領域判定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、領域判定装置及びそのプログラムに関する。
【背景技術】
【０００２】
従来より、背景差分法は、固定カメラの映像から、動いている被写体と背景とを分離する手法として知られている。背景差分法の基本原理は、予め撮影した背景のみの映像と現在の映像との間で座標毎の画素値の差分値を求め、その大きさを基準として、背景領域であるか被写体領域（動物体領域）であるかを判定するものである。この基本原理では、被写体が背景に落とした影により、影部分が背景でないと誤判定されることがあり、領域判定精度が低下する。
【０００３】
そこで、従来の背景差分法を拡張した手法が提案されている（非特許文献１，２）。非特許文献１に記載の手法は、背景モデルをデータベース化し、背景の各画素に複数の背景モデルを持たせるものである。この手法は、背景モデルを追加することや、背景モデルの闊値（ボックス）を拡大することで、明るさが変化する場合、木の葉が揺れる場合、ある座標の画素が別の被写体に表す場合にも対応できる。また、非特許文献２に記載の手法は、明度変化を統計的に処理することで、被写体が背景に落とす影にも対応できる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Kyungnam Kim, Thanarat H.Chalidabhongse, David Harwood, Larry Davis,"Real-time foreground-background segmentation using codebook model," AVSS '09 Sixth IEEE International Conference on Advanced Video and Signal Based Survei11ance, PP,454
【非特許文献２】森田順也，岩井儀雄，谷内田正彦，“室内における背景と物体の分離”，情報処理学会研究報告 CVIM, PP9-16,2002
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、非特許文献１，２に記載の手法は、照明の色温度が変化すること、つまり、時間の経過に伴って環境光の色が変化することを考慮しておらず、領域判定精度が低下するという問題がある。
【０００６】
そこで、本発明は、領域判定精度を向上させた領域判定装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記した課題に鑑みて、本発明に係る領域判定装置は、動いている被写体を固定カメラで撮影した所定時間分の撮影映像に含まれる被写体領域、影領域、半影領域及び背景領域を判定する領域判定装置であって、直線近似部と、背景モデル生成部と、背景モデル更新部と、被写体領域判定部と、影領域判定部と、半影領域判定部と、背景領域判定部とを備える構成とした。
【０００８】
かかる構成によれば、領域判定装置は、直線近似部によって、所定時間分の学習映像から各時刻で同一座標の画素の画素値を取得し、取得した当該同一座標の画素毎に、各時刻の画素の画素値を直交ＲＧＢ色空間内の直線で近似する。
そして、領域判定装置は、背景モデル生成部によって、学習映像の画素毎に、直交ＲＧＢ色空間の原点を始点として予め設定した環境光反射ベクトル、及び、環境光反射ベクトルの終点から直線を延長した位置までの主光源反射ベクトルからなる背景モデルを生成する。
【０００９】
ここで、被写体領域が日向に位置する場合、反射光は、重み付けた主光源反射ベクトルと環境光反射ベクトルで表される（但し、重み係数は、０〜１の間で照明条件に応じて変化）。一方、被写体領域が日陰に位置する場合、反射光は、環境光反射ベクトルのみで表される。そして、これら反射光の強度が、撮影映像の被写体輝度に影響を及ぼす。例えば、被写体領域が日向から日陰に移動すると、反射光は、重み付けた主光源反射ベクトルと環境光反射ベクトルとを加えたものから環境光反射ベクトルに変化し、環境光反射ベクトルが支配的となる。
【００１０】
背景モデルとは、主光源反射ベクトルや環境光反射ベクトルを用いて、照明条件による色や輝度の変動をモデル化したものである。
照明条件には、例えば、日向や日陰といった影の有無、光の入射角の変化、天候の変化、主光源の遮蔽の有無といったものが含まれる。
【００１１】
領域判定装置は、背景モデル更新部によって、各時刻の撮影映像から同一座標の画素を観測画素として取得し、取得した観測画素の画素値うち、原点に最も近い画素値に直線上で最寄の画素値を最近画素値、及び、原点から最も遠い画素値に直線上で最寄の画素値を最遠画素値として更新する。
このように、領域判定装置は、照明条件の変化に対して頑健となるように背景モデルを更新（学習）する。
【００１２】
領域判定装置は、被写体領域判定部によって、観測画素の画素値が、主光源反射ベクトル上で最近画素値と最遠画素値との間の背景判定基準線分から予め設定した距離以上離れる場合、観測画素を被写体領域の画素と判定する。
そして、領域判定装置は、影領域判定部によって、最近画素値から原点までの基準方向で原点から所定距離の基準位置を予め設定し、観測画素の画素値が、環境光反射ベクトル又は主光源反射ベクトルで基準位置から最近画素値までの範囲に含まれる場合、観測画素を影領域の画素と判定する。
【００１３】
領域判定装置は、半影領域判定部によって、基準方向で最近画素値から所定距離の半影判定位置を予め設定し、観測画素の画素値が、背景判定基準線分上で最近画素値から半影判定位置までの範囲に含まれる場合、観測画素を半影領域の画素と判定する。
領域判定装置は、背景領域判定部によって、観測画素の画素値が、背景判定基準線分上で半影判定位置から最遠画素値までの範囲に含まれる場合、観測画素を背景領域の画素と判定する。
このように、領域判定装置は、更新した背景モデルを用いることで、領域判定精度を向上させることができる。
【発明の効果】
【００１４】
本発明によれば、以下のような優れた効果を奏する。
本発明に係る領域判定装置は、主光源反射ベクトル及び環境光反射ベクトルを用いて、照明条件による色や輝度の変動をモデル化する。そして、領域判定装置は、背景モデルを更新し、その背景モデルを用いることで、領域判定精度を向上させることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１実施形態に係る映像合成装置の構成を示すブロック図である。
【図２】半影領域及び影領域を説明する説明図である。
【図３】学習映像を説明する説明図である。
【図４】背景モデルの第１例を説明する説明図である。
【図５】背景モデルの第２例を説明する説明図である。
【図６】背景モデルにおける物体反射光の変動範囲を説明する説明図であり、（ａ）は図４の背景モデルに対応し、（ｂ）が図５の背景モデルに対応する。
【図７】撮影映像を説明する説明図である。
【図８】最近画素値及び最遠画素値の更新と被写体領域の判定とを説明する説明図である。
【図９】影領域、半影領域及び背景領域の判定を説明する説明図である。
【図１０】領域判定を説明する説明図であり、（ａ）は判定対象の撮影映像であり、（ｂ）は背景モデルである。
【図１１】映像合成を説明する説明図である。
【図１２】図１の映像合成装置の動作を示すフローチャートである。
【図１３】本発明の第２実施形態に係る映像合成装置の構成を示すブロック図である。
【図１４】合成情報の生成を説明する説明図である。
【図１５】図１３の映像合成装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の手段及び同一の処理には同一の符号を付し、説明を省略した。
【００１７】
（第１実施形態）
［映像合成装置の概略］
図１を参照し、本発明の第１実施形態に係る映像合成装置（領域判定装置）１の概略について説明する。
スポーツ競技において、時間の経過とともに、選手がどのようにフィールドで移動したか、どのように体を捌いたのかといったことを、番組の視聴者に直感的に伝えることが困難である。特に、選手の動きが速い場合、この問題は顕著となる。
【００１８】
この問題に対処すべく、番組制作においては、カメラワークやスローモーションでの表示などの工夫が行われている。その工夫の一つが、連続写真風に表示するマルチモーションという手法である。このマルチモーションは、固定カメラの撮影映像から、動いている被写体を切り出し、背景映像に、時間経過により得られる被写体を合成することで、被写体の動きを直感的に理解できるように表示する。
【００１９】
しかし、従来の背景差分法では、影領域の判定精度が不十分で、違和感のあるマルチモーション表現に留まっていた。そこで、本実施形態では、映像合成装置１をマルチモーションに適用することとして説明する。特に屋外における競技場でのスポーツ競技では、広く上に開けた施設であり、日中、主光源である太陽が支配的である半面、天空光が一様な青空や曇などで単純な環境光となることが多く、映像合成装置１には好条件である。
【００２０】
映像合成装置１は、ビデオカメラ２で撮影した撮影映像の被写体領域、影領域、半影領域及び背景領域を判定するものである。
ビデオカメラ（固定カメラ）２は、動いている被写体を同一画角で撮影するものである。このビデオカメラ２は、姿勢及びズームを変更せずに被写体を撮影し、図１に示すように、その撮影映像を映像合成装置１に出力する。
【００２１】
＜被写体領域、影領域、半影領域、背景領域＞
図２を参照し、撮影映像の被写体領域、影領域、半影領域及び背景領域について説明する。
図２に示すように、ビデオカメラ２で屋外の被写体９０を撮影する場合を考える。このとき、主光源が光源９１となり、環境光が天空光となる。
【００２２】
ここで、被写体９０を撮影する際、光源９１による影ができる。この影は、周囲の半影領域９２と、半影領域９２より中心側に位置する影領域９３とを有する。
被写体領域とは、被写体９０の領域のことである。
半影領域９２とは、被写体９０の影が薄い領域のことである。
影領域９３とは、被写体９０の影が濃い領域のことである。
背景領域とは、被写体領域、半影領域９２及び影領域９３以外の領域のことである。
【００２３】
［映像合成装置の構成］
図１に戻り、映像合成装置１の構成について説明する。
図１に示すように、映像合成装置１は、映像記憶部１０と、直線近似部２０と、背景モデル生成部３０と、背景モデル記憶部４０と、背景モデル更新部５０と、判定部６０と、部品映像記憶部７０と、映像合成部８０とを備える。
【００２４】
映像記憶部１０は、ビデオカメラ２から入力された所定時間分の撮影映像を記憶するデータベースである。例えば、映像記憶部１０としては、一般的なＨＤＤ(Hard Disk Drive)、ＳＳＤ(Solid State Drive)等の記憶装置があげられる。
また、映像記憶部１０は、撮影映像Ｖ（図７）と共に、学習映像Ｆを記憶してもよい。本実施形態では、映像記憶部１０は、図３に示すように、時刻ｔ＝１，２，３，…，Ｔの学習映像Ｆ（Ｆ１，Ｆ２，Ｆ３，…，ＦＴ）を記憶する。
【００２５】
学習映像Ｆとは、後記する背景モデルを生成するための映像のことである。ここで、学習映像Ｆは、水平方向にｘ個、垂直方向にｙ個の画素Ｐ（ｊ，ｋ）で構成されている。このｊ，ｋは、それぞれ、学習映像Ｆｔの水平座標及び垂直座標を表す（但し、０≦ｊ≦ｘ−１、０≦ｋ≦ｙ−１）。
なお、学習映像は、特に制限されないが、処理簡略化のため、撮影映像と同一画素数の映像とすることが好ましい。例えば、ビデオカメラ２がスポーツ競技を撮影した映像の一部を学習映像Ｆとし、残りを撮影映像としてもよい。
【００２６】
直線近似部２０は、映像記憶部１０に記憶されている学習映像から各時刻で同一座標の画素の画素値を取得し、取得した同一座標の画素毎に、各時刻の画素の画素値を直交ＲＧＢ色空間内の直線で近似するものである。そして、直線近似部２０は、近似した直線を背景モデル生成部３０に出力する。
なお、直線近似部２０の詳細は、後記する。
【００２７】
背景モデル生成部３０は、直線近似部２０から入力された直線を用いて、背景モデルを生成するものである。そして、背景モデル生成部３０は、生成した背景モデルを背景モデル記憶部４０に書き込む。
【００２８】
＜背景モデル及びその生成＞
図４〜図６を参照し、背景モデル及びその生成について説明する（適宜図１参照）。
背景モデルＭは、図４に示すように、環境光反射ベクトルＥＶ、及び、主光源反射ベクトルＭＶで構成されている。この背景モデルＭは、学習映像Ｆの画素Ｐ毎に生成するので、画素Ｐと同数のｘ×ｙ個存在する。画素Ｐ（ｊ，ｋ）の背景モデルをＭ（ｊ，ｋ）とする。図４の背景モデルＭ（０，０）は、学習映像Ｆ１，…，ＦＴの画素Ｐ１（０，０），…，ＰＴ（０，０）に対応する。また、図５の背景モデルＭ（ｊ，ｋ）は、学習映像Ｆ１，…，ＦＴの画素Ｐ１（ｊ，ｋ），…，ＰＴ（ｊ，ｋ）に対応する。
【００２９】
直交ＲＧＢ色空間は、直交する３軸で画素のＲＧＢ値を表す３次元の色空間であり、原点Ｏが黒色を表している。
環境光反射ベクトルＥＶは、直交ＲＧＢ色空間の原点Ｏを始点として予め設定したベクトルである。この環境光反射ベクトルＥＶは、環境光のみの反射光ベクトルである。ここで、直線近似部２０が求めた直線から原点Ｏに線分を伸ばし、その線分と原点Ｏとを結んだ方向が、環境光反射ベクトルＥＶの方向となる。
【００３０】
主光源反射ベクトルＭＶＯは、直交ＲＧＢ色空間の原点Ｏから、直線近似部２０が求めた直線だけ延長した位置までのベクトルである。この主光源反射ベクトルＭＶ０は、主光源のみの反射光ベクトルである。
また、主光源反射ベクトルＭＶは、主光源反射ベクトルＭＶＯの始点を環境光反射ベクトルＥＶの終点に移動させたベクトルである。
【００３１】
図６（ａ）及び図６（ｂ）に示すように、背景モデルＭは、直交ＲＧＢ色空間の原点Ｏを始点とする環境光反射ベクトルＥＶと、環境光反射ベクトルＥＶの終点に連結した主光源反射ベクトルＭＶとからなる。ここで、環境光反射ベクトルＥＶと、主光源反射ベクトルＭＶと、原点Ｏ及び主光源反射ベクトルＭＶの終点を結ぶ直線（破線で図示）とで囲まれた領域（ハッチングで図示）に着目する。すると、背景モデルＭでは、照明条件に応じて物体反射光Ｌがこの領域内を移動する（つまり、物体反射光Ｌの画素がこの領域内の画素値となる）。このように、背景モデルＭは、主光源反射ベクトルＭＶ及び環境光反射ベクトルＥＶを用いて、照明条件による色や輝度の変動をモデル化したものである。
【００３２】
以下、背景モデルＭの生成について説明する。
直線近似部２０は、学習映像Ｆから各時刻で同一座標の画素Ｐの画素値を取得し、取得した同一座標の画素Ｐ毎に、各時刻の画素Ｐの画素値を直交ＲＧＢ色空間内の直線で近似する。
【００３３】
例えば、直線近似部２０は、図３の学習映像Ｆ１，…，ＦＴのそれぞれから、左上画素Ｐ１（０，０），…，ＰＴ（０，０）の画素値を取得する。そして、直線近似部２０は、取得した全ての左上画素Ｐ（０，０）の画素値を直線にフィッティング（近似）する。例えば、フィッティングの手法としては、最小二乗法をあげることができる。
【００３４】
また、直線近似部２０は、図３の学習映像Ｆ１，…，ＦＴのそれぞれから、画素Ｐ１（ｊ，ｋ），…，ＰＴ（ｊ，ｋ）の画素値を取得する。そして、直線近似部２０は、取得した全ての画素Ｐ（ｊ，ｋ）の画素値を最小二乗法により直線にフィッティングする。
【００３５】
続いて、背景モデル生成部３０は、学習映像Ｆの画素Ｐ毎に、環境光反射ベクトルＥＶ、及び、環境光反射ベクトルＥＶの終点から直線を延長した位置までの主光源反射ベクトルＭＶからなる背景モデルＭを生成する。具体的には、背景モデル生成部３０は、環境光反射ベクトルＥＶの終点に主光源反射ベクトルＭＶを連結させて、画素Ｐ（０，０）の背景モデルＭ（０，０）を生成する。さらに、背景モデル生成部３０は、画素Ｐ（０，０）と同様、画素Ｐ（ｊ，ｋ）の背景モデルＭ（ｊ，ｋ）を生成する。
なお、直線近似部２０及び背景モデル生成部３０は、学習映像Ｆの全画素Ｐに対して処理を行う。
【００３６】
図１に戻り、映像合成装置１の構成について、説明を続ける。
背景モデル記憶部４０は、背景モデルＭを記憶するデータベースである。例えば、背景モデル記憶部４０としては、一般的なＨＤＤ、ＳＳＤ等の記憶装置があげられる。
背景モデル更新部５０は、背景モデル記憶部４０に記憶されている背景モデルＭを更新するものである。
【００３７】
＜背景モデルの更新＞
図７，図８を参照し、背景モデルＭの更新について説明する（適宜図１参照）。
背景モデル更新部５０は、図７に示すように、映像記憶部１０に記憶されている時刻ｔ＝１，２，３，…，Ｔの学習映像Ｖ（Ｖ１，Ｖ２，Ｖ３，…，ＶＴ）から、同一座標（ｊ，ｋ）の画素を観測画素Ｑ１（ｊ，ｋ），Ｑ２（ｊ，ｋ），Ｑ３（ｊ，ｋ），…，ＱＴ（ｊ，ｋ）として取得する。
【００３８】
そして、背景モデル更新部５０は、取得した観測画素Ｑ（ｊ，ｋ）の画素値うち、背景モデルＭ（ｊ，ｋ）において、最近画素値Ｑｍｉｎ及び最遠画素値Ｑｍａｘを更新する。この最近画素値Ｑｍｉｎ及び最遠画素値Ｑｍａｘは、後記する背景判定基準線分を主光源反射ベクトルＭＶに設定するときの基準になる。
【００３９】
ここで、時刻ｔ＝１の観測画素Ｑ１（ｊ，ｋ）が原点Ｏに近い側の端点に最寄の画素値を有し、時刻ｔ＝２の観測画素Ｑ２（ｊ，ｋ）が原点Ｏから遠い側の端点に最寄の画素値を有する場合を考える。この場合、背景モデル更新部５０は、図８に示すように、背景モデル記憶部４０の背景モデルＭ（ｊ，ｋ）について、観測画素Ｑ１（ｊ，ｋ）の画素値を最近画素値Ｑｍｉｎとして更新する。さらに、背景モデル更新部５０は、観測画素Ｑ２（ｊ，ｋ）の画素値を最遠画素値Ｑｍａｘとして更新する。
【００４０】
その後、背景モデル更新部５０は、観測画素Ｑ（ｊ，ｋ）を判定部６０に出力する。
なお、背景モデル更新部５０は、撮影映像Ｖの全観測画素Ｑに対して処理を行う。
【００４１】
図１に戻り、映像合成装置１の構成について、説明を続ける。
判定部６０は、背景モデル記憶部４０の背景モデルＭを参照し、観測画素Ｑ（ｊ，ｋ）が、被写体領域、影領域、半影領域又は背景領域の何れに属するか判定するものである。図１に示すように、判定部６０は、被写体領域判定部６１と、影領域判定部６３と、半影領域判定部６５と、背景領域判定部６７とを備える。
【００４２】
＜被写体領域の判定＞
被写体領域判定部６１は、図８に示すように、観測画素Ｑ（ｊ，ｋ）の画素値が、背景判定基準線分ＢＬから予め設定した距離Ｄ１以上離れる場合、観測画素Ｑ（ｊ，ｋ）を被写体領域の画素と判定するものである。この背景判定基準線分ＢＬは、主光源反射ベクトルＭＶ上で最近画素値Ｑｍｉｎと最遠画素値Ｑｍａｘとの間の線分である。
【００４３】
つまり、被写体領域判定部６１は、観測画素Ｑ（ｊ，ｋ）の画素値が、背景判定基準線分ＢＬから距離Ｄ１までの範囲αから外れる場合、観測画素Ｑ（ｊ，ｋ）を被写体領域の画素と判定する。
なお、図８では、範囲αを矩形状の領域として図示したが、ＲＧＢ色空間内において、この範囲αは、背景判定基準線分ＢＬを中心とした円筒形状の領域となる。
【００４４】
観測画素Ｑ（ｊ，ｋ）が被写体領域の場合、被写体領域判定部６１は、観測画素Ｑ（ｊ，ｋ）と、観測画素Ｑ（ｊ，ｋ）が被写体領域であることを示すフラグ（例えば、‘１’）とを関連付けて、部品映像記憶部７０に書き込む。
観測画素Ｑ（ｊ，ｋ）が被写体領域の画素でない場合、判定部６０は、観測画素Ｑ（ｊ，ｋ）が影領域の画素であるかを判定する。
このようにして、被写体領域判定部６１は、被写体領域の観測画素Ｑ（ｊ，ｋ）を、はずれ値として背景領域の判定処理から除外する。
【００４５】
＜影領域の判定＞
影領域判定部６３は、図９に示すように、観測画素Ｑ（ｊ，ｋ）の画素値が、環境光反射ベクトルＥＶ又は主光源反射ベクトルＭＶで基準位置ＳＰから最近画素値Ｑｍｉｎまでの範囲に含まれる場合、観測画素Ｑ（ｊ，ｋ）を影領域の画素と判定するものである。
【００４６】
まず、影領域判定部６３は、最近画素値Ｑｍｉｎから原点Ｏまでの基準方向ＳＤに沿って、原点Ｏから所定距離Ｌ１に基準位置ＳＰを設定する。この距離Ｌ１は、経験則により任意に設定可能である。
【００４７】
ここで、影領域、半影領域又は背景領域を判定する際、ビデオカメラ２のノイズや画素値が離散的であることから、観測画素Ｑ（ｊ，ｋ）の画素値が、環境光反射ベクトルＥＶ又は主光源反射ベクトルＭＶの上から外れることがある。そこで、影領域判定部６３は、観測画素Ｑ（ｊ，ｋ）の画素値が、環境光反射ベクトルＥＶ又は主光源反射ベクトルＭＶから予め設定した距離Ｄ２以内の場合、観測画素Ｑ（ｊ，ｋ）を影領域の画素と判定することとした（但し、距離Ｄ１＞距離Ｄ２）。
【００４８】
つまり、影領域判定部６３は、観測画素Ｑ（ｊ，ｋ）の画素値が、基準方向ＳＤに沿って基準位置ＳＰから最近画素値Ｑｍｉｎまでの間、かつ、環境光反射ベクトルＥＶ又は主光源反射ベクトルＭＶから距離Ｄ２までの範囲β１に含まれる場合、観測画素Ｑ（ｊ，ｋ）を影領域の画素と判定する。
【００４９】
なお、図９では、範囲β１〜β３を矩形状の領域として図示したが、ＲＧＢ色空間内において、この範囲β１〜β３は、環境光反射ベクトルＥＶや主光源反射ベクトルＭＶを中心とした円筒形状の領域となる。
【００５０】
観測画素Ｑ（ｊ，ｋ）が影領域の画素の場合、影領域判定部６３は、観測画素Ｑ（ｊ，ｋ）と、この観測画素Ｑ（ｊ，ｋ）が影領域であることを示すフラグ（例えば、‘２’）とを関連付けて、部品映像記憶部７０に書き込む。
観測画素Ｑ（ｊ，ｋ）が影領域の画素でない場合、判定部６０は、観測画素Ｑ（ｊ，ｋ）が半影領域の画素であるかを判定する。
【００５１】
＜半影領域の判定＞
半影領域判定部６５は、観測画素Ｑ（ｊ，ｋ）の画素値が、背景判定基準線分ＢＬ上で最近画素値Ｑｍｉｎから半影判定位置までの範囲に含まれる場合、観測画素Ｑ（ｊ，ｋ）を半影領域の画素と判定するものである。
【００５２】
まず、半影領域判定部６５は、基準方向ＳＤに沿って、最近画素値Ｑｍｉｎから所定距離Ｌ２の半影判定位置ＨＰを予め設定する。この距離Ｌ２は、経験則により任意に設定可能である。
【００５３】
また、半影領域判定部６５は、影領域判定部６３と同様、背景判定基準線分ＢＬから距離Ｄ２以内の場合、観測画素Ｑ（ｊ，ｋ）を半影領域の画素と判定する。
つまり、半影領域判定部６５は、観測画素Ｑ（ｊ，ｋ）の画素値が、基準方向ＳＤに沿って最近画素値Ｑｍｉｎから半影判定位置ＨＰまでの間、かつ、背景判定基準線分ＢＬから距離Ｄ２までの範囲β２に含まれる場合、観測画素Ｑ（ｊ，ｋ）を半影領域の画素と判定する。
【００５４】
観測画素Ｑ（ｊ，ｋ）が半影領域の画素の場合、半影領域判定部６５は、観測画素Ｑ（ｊ，ｋ）と、この観測画素Ｑ（ｊ，ｋ）が半影領域であることを示すフラグ（例えば、‘３’）とを関連付けて、部品映像記憶部７０に書き込む。
観測画素Ｑ（ｊ，ｋ）が半影領域の画素でない場合、判定部６０は、観測画素Ｑ（ｊ，ｋ）が背景領域の画素であるかを判定する。
【００５５】
＜背景領域の判定＞
背景領域判定部６７は、観測画素Ｑ（ｊ，ｋ）の画素値が、背景判定基準線分ＢＬ上で半影判定位置から最遠画素値Ｑｍａｘまでの範囲に含まれる場合、観測画素Ｑ（ｊ，ｋ）を背景領域の画素と判定するものである。
【００５６】
ここで、背景領域判定部６７は、影領域判定部６３と同様、背景判定基準線分ＢＬから距離Ｄ２以内の場合、観測画素Ｑ（ｊ，ｋ）を背景領域の画素と判定する。
つまり、背景領域判定部６７は、観測画素Ｑ（ｊ，ｋ）の画素値が、基準方向ＳＤに沿って半影判定位置ＨＰから最遠画素値Ｑｍａｘまでの間、かつ、背景判定基準線分ＢＬから距離Ｄ２までの範囲β３に含まれる場合、観測画素Ｑ（ｊ，ｋ）を背景領域の画素と判定する。
【００５７】
観測画素Ｑ（ｊ，ｋ）が背景領域の画素の場合、背景領域判定部６７は、観測画素Ｑ（ｊ，ｋ）と、この観測画素Ｑ（ｊ，ｋ）が背景領域であることを示すフラグ（例えば、‘４’）とを関連付けて、部品映像記憶部７０に書き込む。
なお、判定部６０は、座標（ｊ，ｋ）の観測画素Ｑだけでなく、撮影映像Ｖの全観測画素Ｑに対して処理を行うことは言うまでもない。
【００５８】
＜領域判定の具体例＞
図１０を参照し、判定部６０による領域判定の具体例を説明する（適宜図１参照）。
図１０（ａ）に示すように、撮影映像Ｖ（Ｖ１，Ｖ２，Ｖ３）では、被写体９０が左から右に動いている。そこで、この撮影映像Ｖで同一座標の観測画素Ｑ（Ｑ１，Ｑ２，Ｑ３）が、どのように領域判定されるか説明する。
【００５９】
影領域判定部６３は、図１０（ｂ）に示すように、観測画素Ｑ１が範囲β１に含まれるので、観測画素Ｑ１を影領域の画素と判定する。
被写体領域判定部６１は、観測画素Ｑ２が、範囲α，β１〜β３の何れにも含まれないので、観測画素Ｑ２を被写体領域の画素と判定する。
背景領域判定部６７は、観測画素Ｑ３が範囲β３に含まれるので、観測画素Ｑ３を背景領域の画素と判定する。
なお、図１０（ｂ）では、図面を見やすくするため、背景モデルＭの一部を図示した。
【００６０】
図１に戻り、映像合成装置１の構成について、説明を続ける。
部品映像記憶部７０は、判定部６０の判定結果として、撮影映像Ｖの観測画素Ｑの画素値と、この観測画素Ｑの領域を示すフラグとを記憶するデータベースである。言い換えるなら、部品映像記憶部７０は、撮影映像Ｖを、被写体領域、影領域、半影領域、背景領域等の部品映像毎に分割して記憶する。例えば、部品映像記憶部７０としては、一般的なＨＤＤ、ＳＳＤ等の記憶装置があげられる。
【００６１】
映像合成部８０は、部品映像記憶部７０に記憶された撮影映像Ｖを合成し、マルチモーション映像を生成するものである。そして、映像合成部８０は、生成したマルチモーション映像を出力する。
【００６２】
＜映像合成の具体例＞
図１１を参照し、映像合成の具体例について説明する（適宜図１参照）。
映像合成部８０は、図１１（ａ−１）の撮影映像Ｖ１，Ｖ２の背景領域、半影領域、影領域、被写体領域の順で上書き合成することで、マルチモーション映像を生成する。
【００６３】
被写体領域と半影領域及び影領域とについては、異なる時間で抽出された重複部分が生じる。そこで、映像合成部８０は、図１１（ａ−２）の被写体領域と、図１１（ａ−３）の半影領域及び影領域を分離する。そして、映像合成部８０は、半影領域の画素の画素値を加重平均し、背景領域に合成する。さらに、映像合成部８０は、影領域の画素の画素値を加重平均し、背景領域に合成する。最後に、映像合成部８０は、被写体領域を時間順に背景領域に合成する。これにより、図１１（ａ−４）に示すように、影領域の前後関係に不整合が生じることがなく、視聴者に違和感を与えることがない。
【００６４】
一方、従来手法では、図１１（ｂ−２）に示すように半影領域や影領域を分離しないので、図１１（ｂ−３）に示すように、被写体９０の前面に影が合成されるといった影領域の前後関係に不整合が生じ、視聴者に違和感を与えてしまう。
【００６５】
［映像合成装置の動作］
図１２を参照し、映像合成装置１の動作について説明する（適宜図１参照）。
ここでは、学習映像Ｆ及び撮影映像Ｖが映像記憶部１０に記憶されていることとする。
【００６６】
図１２に示すように、直線近似部２０は、時刻１，…，Ｔの学習映像Ｆから同一座標の画素Ｐの画素値を取得する（ステップＳ１）。
直線近似部２０は、取得した同一座標の画素Ｐ毎に、各時刻の画素Ｐの画素値を直交ＲＧＢ色空間内の直線で近似する。そして、背景モデル生成部３０は、直線近似部２０が近似した直線を用いて、背景モデルＭを生成する（ステップＳ２）。
【００６７】
映像合成装置１は、カウンタｉが１，…，Ｔの間、ステップＳ３〜Ｓ１０までの処理を繰り返す（ステップＳ３）。
映像合成装置１は、映像記憶部１０から、時刻ｉの撮影映像Ｖを読み出す（ステップＳ４）。
映像合成装置１は、カウンタｊが１，…の間、ｘ、カウンタｋが１，…，ｙの間、ステップＳ５〜Ｓ９までの処理を繰り返す（ステップＳ５）。なお、ｘ，ｙは、それぞれ、予め設定した撮影映像Ｖの水平最大画素数、垂直最大画素数である。
【００６８】
背景モデル更新部５０は、時刻ｉの撮影映像Ｖから座標（ｊ，ｋ）の観測画素Ｑを取得する（ステップＳ６）。
背景モデル更新部５０は、観測画素Ｑ（ｊ，ｋ）の背景モデルＭにおいて、最近画素値及び最遠画素値を更新する（ステップＳ７）。
【００６９】
判定部６０は、観測画素Ｑ（ｊ，ｋ）が、被写体領域、影領域、半影領域又は背景領域の何れか判定する。
具体的には、被写体領域判定部６１は、観測画素Ｑ（ｊ，ｋ）の画素値が範囲α（図８）から外れる場合、観測画素Ｑ（ｊ，ｋ）を被写体領域の画素と判定する。
また、影領域判定部６３は、観測画素Ｑ（ｊ，ｋ）の画素値が範囲β１（図９）に含まれる場合、観測画素Ｑ（ｊ，ｋ）を影領域の画素と判定する。
そして、半影領域判定部６５は、観測画素Ｑ（ｊ，ｋ）の画素値が範囲β２（図９）に含まれる場合、観測画素Ｑ（ｊ，ｋ）を半影領域の画素と判定する。
さらに、背景領域判定部６７は、観測画素Ｑ（ｊ，ｋ）の画素値が範囲β３（図９）に含まれる場合、観測画素Ｑ（ｊ，ｋ）を背景領域の画素と判定する（ステップＳ８）。
【００７０】
映像合成装置１は、カウンタｊ，ｋをインクリメントする（ステップＳ９）。
映像合成装置１は、カウンタｉをインクリメントする（ステップＳ１０）。
映像合成部８０は、撮影映像の背景領域、半影領域、影領域、被写体領域の順で上書き合成することで、マルチモーション映像を生成する（ステップＳ１１）。
【００７１】
［作用・効果］
以上のように、映像合成装置１は、主光源反射ベクトルＭＶ及び環境光反射ベクトルＥＶを用いて、照明条件による色や輝度の変動を、背景モデルＭとしてモデル化する。そして、映像合成装置１は、背景モデルＭの性質により背景モデルＭを更新し、その背景モデルＭを用いることで、領域判定精度を向上させることができる。
【００７２】
すなわち、映像合成装置１は、時間の経過に伴って環境光の色が変化することの影響を背景モデルＭに逐次更新する。そして、映像合成装置１は、頑健に被写体領域の抽出を可能とするので、合成映像の品質を向上させることができる。さらに、映像合成装置１は、背景領域や影領域の抽出精度の向上により、映像表現の自由度を拡大することができる。
【００７３】
（第２実施形態）
［映像合成装置の構成］
図１３を参照し、本発明の第２実施形態に係る映像合成装置１Ｂの構成について、第１実施形態と異なる点を説明する。
映像合成装置１Ｂは、外部で映像合成を行うための合成情報を生成する点が、第１実施形態と異なる。
【００７４】
図１３に示すように、映像合成装置１Ｂは、映像記憶部１０と、直線近似部２０と、背景モデル生成部３０と、背景モデル記憶部４０と、背景モデル更新部５０と、判定部６０と、部品映像記憶部７０と、映像合成部８０と、合成情報生成部８１とを備える。
なお、合成情報生成部８１以外の各手段は、第１実施形態と同様のため、説明を省略する。
【００７５】
合成情報生成部８１は、背景モデル生成部３０に記憶されている背景モデルＭを参照し、灰色世界仮説を前提として、合成情報を生成するものである。そして、合成情報生成部８１は、生成した合成情報を外部（例えば、映像処理装置）に出力する。
なお、灰色世界仮説とは、物体の平均色が灰色になるという仮説のことである。
【００７６】
＜合成情報の生成＞
図１４を参照し、合成情報の生成について説明する（適宜図１参照）。
ここでは、説明を簡易にするため、異なる３座標の観測画素Ｑ１〜Ｑ３の背景モデルＭを扱うこととする。
【００７７】
合成情報生成部８１は、図１４（ａ）に示すように、それぞれの背景モデルＭから背景判定基準線分ＢＬ１〜ＢＬ３を抽出し、同一の直交ＲＧＢ色空間に配置する。ここで、背景判定基準線分ＢＬ１〜ＢＬ３の端点をそれぞれ、最近画素値Ｑｍｉｎ１〜Ｑｍｉｎ３、最遠画素値Ｑｍａｘ１〜Ｑｍａｘ３とする。
【００７８】
次に、合成情報生成部８１は、図１４（ｂ）に示すように、最遠画素値Ｑｍａｘ１〜Ｑｍａｘ３を、最遠画素値Ｑｍａｘ１〜Ｑｍａｘ３の平均位置に合わせるように背景判定基準線分ＢＬ１〜ＢＬ３を移動させる。そして、合成情報生成部８１は、移動後の背景判定基準線分ＢＬ１〜ＢＬ３において、最近画素値Ｑｍｉｎ１〜Ｑｍｉｎ３の平均を求める。
【００７９】
次に、合成情報生成部８１は、図１４（ｃ）に示すように、最近画素値Ｑｍｉｎ１〜Ｑｍｉｎ３の平均ＱＡｖｅを求め、この平均ＱＡｖｅが始点となるように背景判定基準線分ＢＬ１〜ＢＬ３を移動させる。そして、合成情報生成部８１は、移動後の背景判定基準線分ＢＬ１〜ＢＬ３において、最遠画素値Ｑｍａｘ１〜Ｑｍａｘ３の平均を求める。
【００８０】
次に、合成情報生成部８１は、原点Ｏから、求めた最近画素値Ｑｍｉｎ１〜Ｑｍｉｎ３の平均までのベクトルを環境光ベクトルとして生成する。さらに、合成情報生成部８１は、原点Ｏから最遠画素値Ｑｍａｘ１〜Ｑｍａｘ３の平均までのベクトルを主光源ベクトルとして生成する。
【００８１】
［映像合成装置の動作］
図１５を参照し、映像合成装置１Ｂの動作について説明する（適宜図１３参照）。
なお、ステップＳ１〜Ｓ１１の処理は、第１実施形態と同様のため、説明を省略する。
【００８２】
図１５に示すように、合成情報生成部８１は、背景モデル生成部３０に記憶されている背景モデルＭを参照し、合成情報を生成する。
具体的には、合成情報生成部８１は、最遠画素値Ｑｍａｘを同一位置に合わせたときの最近画素値Ｑｍｉｎの平均、及び、最近画素値Ｑｍｉｎの平均ＱＡｖｅを始点とした最遠画素値Ｑｍａｘの平均を求める。そして、合成情報生成部８１は、原点Ｏから最近画素値Ｑｍｉｎの平均までの環境光ベクトル、及び、原点Ｏから最遠画素値Ｑｍａｘの平均までの主光源ベクトルを合成情報として生成する（ステップＳ１２）。
【００８３】
［作用・効果］
以上のように、映像合成装置１Ｂは、第１実施形態と同様、領域判定精度を向上させることができる。さらに、映像合成装置１Ｂは、灰色世界仮説を前提として合成情報を生成するので、外部で映像合成を行う場合でも、領域判定精度を向上させることができる。
【００８４】
（変形例）
以上、本発明の各実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【００８５】
前記した各実施形態では、背景領域が変化しないことを想定しているが、本発明は、背景領域が変化する場合（例えば、木の葉が揺れる場合）にも適用することができる。
この場合、直線近似部は、学習映像の各画素の画素値をクラスタリングし、クラスタ毎に最小二乗法によるフィッティングを行う。ここで、クラスタリングの手法としては、例えば、Mean Shift法があげられ、処理時間を短縮できるので、K-means法、X-means法等を用いることが好ましい。
その後、被写体領域判定部、影領域判定部、半影領域判定部及び背景領域判定部は、クラスタ毎の直線に対して判定を行えばよい。
【００８６】
前記した各実施形態では、映像合成装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した映像合成装置として協調動作させる
映像合成プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【産業上の利用可能性】
【００８７】
本発明は、動画コンテンツの映像合成に利用することができる。また、本発明は、監視カメラによる移動物体の検知や統計情報抽出の前処理に利用することができる。
【符号の説明】
【００８８】
１，１Ｂ  映像合成装置（領域判定装置）
２  ビデオカメラ（固定カメラ）
１０  映像記憶部
２０  直線近似部
３０  背景モデル生成部
４０  背景モデル記憶部
５０  背景モデル更新部
６０  判定部
６１  被写体領域判定部
６３  影領域判定部
６５  半影領域判定部
６７  背景領域判定部
７０  部品映像記憶部
８０  映像合成部
８１  合成情報生成部
９０  被写体
９１  光源
９２  半影領域
９３  影領域
【図１】
2019102008.tif 000003
【図２】
2019102008.tif 000004
【図３】
2019102008.tif 000005
【図４】
2019102008.tif 000006
【図５】
2019102008.tif 000007
【図６】
2019102008.tif 000008
【図７】
2019102008.tif 000009
【図８】
2019102008.tif 000010
【図９】
2019102008.tif 000011
【図１０】
2019102008.tif 000012
【図１１】
2019102008.tif 000013
【図１２】
2019102008.tif 000014
【図１３】
2019102008.tif 000015
【図１４】
2019102008.tif 000016
【図１５】
2019102008.tif 000017