(57)【要約】【課題】オブジェクトの追跡がオクルージョンにより妨げられても、これを回復できる自由視点映像生成装置を提供する。【解決手段】オブジェクト追跡部１０４は、前回フレームのオブジェクトと今回フレームのオブジェクトを比較し、同一のオブジェクトに同一の追跡IDを対応付ける追跡を繰り返す。補正ID対応付け部１０５は、今回フレームについて、前回フレームのいずれのオブジェクトとも対応付けられなかったオブジェクトに補正IDを対応付ける。修正操作受付部１０７は、指定されたフレームにおいて、補正IDを追跡IDに修正するID修正操作を受け付ける。ID修正部１０８は、指定フレームの各補正IDを修正操作にしたがって追跡IDに修正する。修正反映部１０９は、前記修正内容を各フレームの補正IDに反映することにより、全フレームを通じて同一オブジェクトには同一の追跡IDが付与されるようにして各追跡IDの一貫性を担保する。【選択図】図２
2014199560.tif 000002
【特許請求の範囲】
【請求項１】
複数の動的なオブジェクトを含む動画から自由視点映像を生成する装置において、
動画の各フレームからオブジェクトを識別するオブジェクト識別手段と、
所定の初期設定フレームから識別された各オブジェクトに追跡IDを対応付ける追跡ID対応付け手段と、
今回フレームにおいて前回フレームと同一のオブジェクトに同一の追跡IDを対応付けるオブジェクト追跡手段と、
今回フレームにおいて前回フレームと同一の追跡IDを対応付けられなかったオブジェクトに補正IDを対応付ける補正ID対応付け手段と、
補正IDを追跡IDに修正する操作を受け付ける修正操作受付手段と、
前記修正操作を各フレームの補正IDに反映させる修正反映手段とを具備したことを特徴とする自由視点映像生成装置。
【請求項２】
前記オブジェクト識別手段は、識別されたオブジェクトに外接領域を設定する外接領域設定手段を具備し、
前記オブジェクト追跡手段は、前回フレームにおいて各オブジェクトに設定された各外接領域と今回フレームにおいて各オブジェクトに設定された各外接領域とを比較し、前回フレームの外接領域と最尤である今回フレームの外接領域に同一の追跡IDを対応付けることを特徴とする請求項１に記載の自由視点映像生成装置。
【請求項３】
前記オブジェクト識別手段は、識別された各オブジェクトの外接領域に対して当該オブジェクトの代表的な色情報を登録し、
前記オブジェクト追跡手段は、前記色情報および各オブジェクトの今回フレームにおける存在確率に基づいて各外接領域の尤度を求めることを特徴とする請求項２に記載の自由視点映像生成装置。
【請求項４】
前記オブジェクト識別手段は、各フレーム画像を二値化してシルエット領域を抽出する手段を具備し、当該シルエット領域をオブジェクトとして識別することを特徴とする請求項１ないし３のいずれかに記載の自由視点映像生成装置。
【請求項５】
前記修正操作受付手段は、修正対象のフレームを指定するフレーム指定操作および当該指定フレームにおいて補正IDを追跡IDに修正する修正操作を受け付け、当該指定フレーム指定の各補正IDを前記修正操作に応じて追跡IDに修正することを特徴とする請求項１ないし４のいずれかに記載の自由視点映像生成装置。
【請求項６】
前記修正操作受付手段は、IDの修正を反映させるフレーム範囲の指定を受け付け、
前記修正反映手段は、前記指定されたフレーム範囲内において各補正IDを前記修正操作に応じて追跡IDに修正することを特徴とする請求項５に記載の自由視点映像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の動的オブジェクトを含む動画像から自由視点映像を生成する装置に係り、特に、複数の動的オブジェクトが重なることにより生じるオクルージョンに因る画像破綻を改善できる自由視点映像生成装置に関する。
【背景技術】
【０００２】
大空間で実施されるスポーツ競技を複数カメラで撮影した多視点映像を対象に、対象オブジェクトのオクルージョンを検出し、他カメラで対応するオブジェクトの3次元位置に基づき各オブジェクトの追跡を行う手法が、特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特願2011-196928号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
サッカー等の屋外大空間で実施されるスポーツ映像を対象としたオブジェクト追跡手法は数多く提案されているものの、同一チームの複数選手が重なりあうようなシーンでは追跡誤りが避けられず、精度面で十分と言える手法は未だ確立されていない。特に、自由視点合成において、オブジェクトの追跡結果を使用する場合、オブジェクト同士が重なるオクルージョン領域の検出と、オクルージョン前後のフレーム間において同一オブジェクトのテクスチャで補間する処理が不可欠となるが、追跡誤りが含まれる場合、同一オブジェクトの特定が正しく行われず、結果として、自由視点合成の結果が破綻するという技術課題があった。
【０００５】
本発明の目的は、上記した従来技術の課題を解決し、オブジェクトの追跡がオクルージョンにより妨げられても、これを回復することにより自由視点合成の結果が破綻しない自由視点映像生成装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために、本発明は、複数の動的なオブジェクトを含む動画から自由視点映像を生成する装置において、動画の各フレームからオブジェクトを識別するオブジェクト識別手段と、所定の初期設定フレームから識別された各オブジェクトに追跡IDを対応付ける追跡ID対応付け手段と、今回フレームにおいて前回フレームと同一のオブジェクトに同一の追跡IDを対応付けるオブジェクト追跡手段と、今回フレームにおいて前回フレームと同一の追跡IDを対応付けられなかったオブジェクトに補正IDを対応付ける補正ID対応付け手段と、補正IDを追跡IDに修正する操作を受け付ける修正操作受付手段と、修正操作を各フレームの補正IDに反映させる修正反映手段とを具備した。
【発明の効果】
【０００７】
本発明によれば、追跡対象のオブジェクトにオクルージョンが発生して追跡IDを対応付け続けることができなくなっても、オクルージョンの解消により改めて出現するオブジェクトに補正IDが一時的に付与され、その後、補正IDと正規の追跡IDとがマニュアル操作により対応付けられると、これが各フレームにも反映されて各追跡IDの一貫性が担保されるので、各オブジェククトの追跡IDに基づく連続した追跡が可能になる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る自由視点映像生成装置の主要部の構成を示した機能ブロック図である。
【図２】本発明に一実施形態の動作を示したフローチャートである。
【図３】シルエット領域の抽出方法を示した図である。
【図４】外接領域および追跡IDの対応付け方法を示した図である。
【図５】追跡ID、ラベルIDおよび補正IDの関係を示した図である。
【図６】補正IDから追跡IDへの修正が各フレームに反映されて追跡IDの一貫性が担保される様子を示した図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施の形態について説明する。図１は、本発明の一実施形態に係る自由視点映像生成装置の主要部の構成を示した機能ブロック図であり、ここでは本発明の説明に不要な構成は図示が省略されている。
【００１０】
映像入力部１０１には、例えばサッカーの中継映像のように、複数の選手が動的なオブジェクトとして写る動画がフレーム単位で入力される。オブジェクト識別１０２は、シルエット領域抽出部１０２ａおよび外接領域設定部１０２ｂを含み、前記動画の各フレームからオブジェクトを識別する。
【００１１】
前記シルエット領域抽出部１０２ａは、後に詳述するように、フレーム内の各画素をその画素値に基づいて二値化することによりシルエット領域と背景領域とに分類する。外接領域設定部１０２ｂは、各シルエット領域に外接する矩形の閉領域を抽出してオブジェクトの外接領域に設定する。追跡ID対応付け部１０３は、前記初期設定フレームにおいて識別された各オブジェクトに固有の追跡IDを対応付ける。
【００１２】
オブジェクト追跡部１０４は、前回フレームメモリ１０４ａおよび今回フレームメモリ１０４ｂを備え、前回フレームにおいて識別された各オブジェクトと今回フレームにおいて識別された各オブジェクトとを比較する。そして、同一のオブジェクトには同一の追跡IDを対応付ける追跡を繰り返すことで、全フレームを通して同一のオブジェクトに同一の追跡IDを対応付ける。
【００１３】
補正ID対応付け部１０５は、今回フレームについて、前回フレームのいずれのオブジェクトとも対応付けられなかったオブジェクトに補正IDを対応付ける。設定記憶部１０６には、各フレームにおいて各オブジェクトに設定された外接領域、追跡IDおよび補正IDなどの情報が蓄積される。
【００１４】
修正操作受付部１０７は、オブジェクトに補正IDが対応付けられているフレームを指定するフレーム指定操作、および当該指定フレームの設定情報を蓄積部１０６から読み出して各補正IDを対応する追跡IDに修正するID修正操作を受け付ける。ID修正部１０８は、前記指定フレームの各補正IDを前記修正操作にしたがって追跡IDに修正する。修正反映部１０９は、前記修正内容を各フレームの補正IDに反映することにより、全フレームを通じて同一オブジェクトには同一の追跡IDが付与されるようにして各追跡IDの一貫性を担保する。
【００１５】
次いで、図２のフローチャートを参照して本実施形態の動作を説明する。ステップＳ１では、動画ファイルからオブジェクト識別部１０２へ初期設定フレームが読み込まれる。この初期設定フレームには、追跡対象の全てのオブジェクトが表示されていることが望ましい。ステップＳ２では、前記シルエット領域抽出部１０２ａにより、初期設定フレームからオブジェクトのシルエットが抽出される。
【００１６】
本実施形態では、次式(1)に基づいてフレーム内の全画素の画素値Icを識別することで、図３に示したように、オブジェクトと背景とに二値化されたシルエット画像が取得され、背景領域以外がオブジェクトobjのシルエット領域に分類される。なお、Icは注目している画素値、Ic_aveはフレーム内の全画素値の平均値、σcは全画素値の分散、thcは所定の閾値である。
【００１７】
【数１】
2014199560.tif 000003
【００１８】
ステップＳ３では、図４(a)に示したように、各オブジェクトobjに対して外接領域Fa，Fb，Fcが設定される。本実施形態では、各シルエット領域の８近傍で隣接する矩形の閉領域が外接領域Fとして設定される。このとき、外接領域Fbのように、複数のオブジェクトが重なるオクリュージョン領域については、ステップＳ４において、当該外接領域Fbを、同図(b)に示したようにオブジェクト毎に分割する分割処理がマニュアル操作により行われる。ステップＳ５では、同図(c)に示したように、前記追跡ID対応付け部１０３により各オブジェクトの各外接領域Fに固有の追跡ID (IDtr1，IDtr2，IDtr3，IDtr4) が対応付けられる。
【００１９】
ステップＳ６では、各外接領域FにN個の粒子フィルタが設定される。このとき、前記動画がサッカー中継であれば、各粒子フィルタには各チームのユニフォーム色が設定される。本実施形態では、各粒子の状態量c(t)が、画素の二次元座標(u(t),v(t))ならびに横方向の速度および縦方向の速度(Δu(t),Δv(t))を用いて次式(2)で定義される。
【００２０】
【数２】
2014199560.tif 000004
【００２１】
また、状態遷移関数は、フレーム間で等速直線運動を仮定し、ガウスノイズω(t)を用いて次式(3)のように定義される。
【００２２】
【数３】
2014199560.tif 000005
【００２３】
ステップＳ７では、動画ファイルから次フレームが読み出されて今回フレームとされる。ステップＳ８，Ｓ９では前記ステップＳ２，３と同様に、今回フレームから各オブジェクトのシルエット領域が抽出され、さらに各シルエット領域に対して外接領域Fが設定される。ステップＳ１０では、今回フレームの各外接領域に一時的なラベルID (IDlabel) が対応付けられる。ステップＳ１１では、前回フレームにおいて各オブジェクトに対応付けられた追跡IDと今回フレームにおいて各オブジェクトに対応付けられたラベルIDとの対応付けが行われる。
【００２４】
本実施形態では、各粒子フィルタtrを構成する粒子pの尤度 wtr,pが次式(4)により算出される。なお、ρback(p)は各オブジェクトの存在確率であり、次式(5)により求められる。また、ρuni(tr,p)は各オブジェクトのユニフォーム色に基づくオブジェクトらしさであり、次式(6)により求められる。λは、前記ρback(p)，ρuni(tr,p)の重みである。
【００２５】
【数４】
2014199560.tif 000006
【００２６】
【数５】
2014199560.tif 000007
【００２７】
【数６】
2014199560.tif 000008
【００２８】
そして、前回フレームの追跡IDごとに、その外接領域Fと各ラベルIDに対応した外接領域Fとの尤度 wtr,pが求められ、最尤の外接領域Fに対応付けられているラベルIDが当該追跡IDに対応付けられ、これが全ての追跡IDに対して繰り返される。ステップＳ１２では、いずれの追跡IDとも対応付けられなかったラベルIDが補正IDに変更される。
【００２９】
図５は、前記追跡ID、ラベルIDおよび補正IDの関係を模式的に示した図であり、前回フレームｆt-1では、同図(a)に示したように、例えば３つのオブジェクトobj1，obj2，obj3に対して、それぞれ追跡IDtr1，IDtr2，IDtr3が対応付けられていたところ、今回フレームftでは、同図(b)に示したように、オブジェクトobj1，obj2にオクルージョンが生じている。このため、前記ステップＳ９ではオブジェクトobj1，obj2の両方を含む矩形領域F1のみが抽出される。
【００３０】
前記ステップＳ１０では、同図(c)に示したように、オブジェクトobj1，obj2の両方を含む外接領域F1にラベルIDとしてIDlabel1が対応付けられる。また、オブジェクトobj3を含む外接領域F3にはIDlabel３が対応付けられる。前記ステップＳ１１では、同図(d)に示したように、1つのラベルIDlabel1に２つの追跡IDtr1，IDtr2が対応付けられ、これによりオクルージョンが判断される。
【００３１】
次のフレームft+1において、オブジェクトobj1，obj2のオクルージョンが解消されると、同図(e)に示したように、ステップＳ８では改めて３つのオブジェクトobj1，obj2，obj3が検出され、ステップＳ９では各オブジェクトに対して外接領域F1，F2，F3がそれぞれ設定され、ステップＳ１０では各外接領域FにラベルIDとしてIDlabel1，IDlabel2，IDlabel3がそれぞれ対応付けられる。
【００３２】
ステップＳ１１では、同図(f)に示したように、フレームftにおける追跡IDtr1，IDtr2が、いずれもフレームft+1のラベルIDlabel2と対応付けられる。また、フレームftにおける追跡IDtr3がラベルIDlabel3と対応付けられる。ステップＳ１２では、同図(g)に示したように、追跡IDが対応付けられなかったラベルIDlabel1の外接領域F1に補正IDとしてIDamd1が対応付けられる。
【００３３】
ステップＳ１３では、今回フレームの各オブジェクトに対応付けられた追跡IDおよび補正IDが記憶される。ステップＳ１４では、次フレームの有無が確認され、次フレームがあれば、ステップＳ７へ戻って上記の各処理がフレームごとに繰り返される。
【００３４】
その後、全てのフレームについて、各オブジェクトに対する追跡IDまたは補正IDの対応付けが完了するとステップＳ１５へ進み、前記補正IDを本来の追跡IDに修正する修正処理が受け付けられる。
【００３５】
この修正処理では、補正IDを対応付けられているオブジェクト（外接領域）を含むフレームをオペレータが指定する操作が前記修正操作受付部１０７で受け付けられ、さらに前記指定フレームに関して補正IDがオペレータのマニュアル操作により正規の追跡IDに修正されると、これが前記ID修正部１０８により当該指定フレームに反映される。ステップＳ１６では、前記修正反映部１０９により、当該修正内容が全てのフレームに反映され、各フレームにおいて同一の補正IDを対応付けられている外接領域の当該補正IDが全て同一の追跡IDに修正される。
【００３６】
なお、前記ステップＳ１５における修正操作受付時に、IDの修正を反映させるフレーム範囲が指定されていれば、前記ステップＳ１６では、当該フレーム範囲内の補正IDのみに前記修正内容が反映される。
【００３７】
図６は、補正IDを追跡IDに修正する方法を模式的に示した図であり、フレームft+nが補正操作の対象フレームとして指定され、その補正IDamd2が追跡IDtr1に修正され、補正IDamd1が追跡IDtr2に修正されている。そして、この修正内容は他のフレームにも反映され、各フレームにおいて、補正IDamd2は追跡IDtr1に修正され、補正IDamd1は追跡IDtr2に修正される。
【００３８】
本実施形態によれば、追跡対象のオブジェクトにオクルージョンが発生して追跡IDを対応付け続けることができなくなっても、オクルージョンの解消により改めて出現するオブジェクトには補正IDが一時的に付与され、その後、補正IDと正規の追跡IDとがマニュアル操作により対応付けられると、これが各フレームにも反映されて各追跡IDの一貫性が担保されるので、各オブジェククトの追跡IDに基づく連続した追跡が可能になる。
【符号の説明】
【００３９】
１０１…映像入力部，１０２…オブジェクト識別，１０２ａ…シルエット領域抽出部，１０２ｂ…外接領域抽出部，１０３…追跡ID対応付け部，１０４…オブジェクト追跡部，１０４ａ…前回フレームメモリ，１０４ｂ…今回フレームメモリ，１０５…補正ID対応付け部，１０６…設定記憶部，１０７…修正操作受付部，１０８…ID修正部，１０９…修正反映部
【図１】
2014199560.tif 000009
【図２】
2014199560.tif 000010
【図３】
2014199560.tif 000011
【図４】
2014199560.tif 000012
【図５】
2014199560.tif 000013
【図６】
2014199560.tif 000014