(57)【要約】【課題】動体撮影を行う撮影装置に関し、位置と姿勢が固定されたカメラの視野内に映っている移動物体を検出し、その移動物体が占める画像領域に移動物体の属性情報を自動的に付与する撮像装置を提供することを目的とする。【解決手段】画像情報を生成する撮像手段５と、移動物体に装着され固有情報を保持するＲＦタグ１と、無線通信してＲＦタグ１の位置を認識可能とする指向性アンテナ２と、該アンテナ２を介してＲＦタグ１と固有情報の読取りなど行うＲＦタグリーダ・ライタ３と、画像情報から移動物体領域を検出する移動物体検出手段６と、移動物体領域を含む切出し領域を抽出するとともに、切出し領域の輪郭サイズに応じて拡縮率を算出して切出し領域に対応付ける切出し領域・拡縮率算出手段７と、ＲＦタグリーダ・ライタ３からの固有情報に基づき属性情報を生成して切出し領域に対応付けて付与し、属性情報と拡縮率情報とが付与された属性付き映像情報を出力する属性情報付与手段4,8とを有する。【選択図】図１
2006279568.tif 000002
【特許請求の範囲】
【請求項１】
固定された所望の撮影視野を撮影して画像情報を生成する撮像手段を有して成る、映像情報を出力する撮影装置であって、
撮影対象である移動物体に装着され、該移動物体の固有情報を保持する無線通信可能なＲＦタグと、
該ＲＦタグと無線通信するとともに、前記ＲＦタグの存在位置を認識可能とする指向性アンテナと、
該指向性アンテナを介して前記ＲＦタグと前記固有情報の読取りまたは書込みを行うＲＦタグリーダ・ライタと、
前記撮像手段からの前記画像情報から移動物体領域を検出する移動物体検出手段と、
前記画像情報から少なくとも前記移動物体領域を含む切出し領域を抽出するとともに、該切出し領域の輪郭サイズに応じて所望サイズへの拡縮率を算出して該切出し領域に対応付ける切出し領域・拡縮率算出手段と、
前記ＲＦタグリーダ・ライタからの前記固有情報に基づき属性情報を生成して前記切出し領域に対応付けて付与し、該属性情報と前記拡縮率情報とが付与された属性付き映像情報を出力する属性情報付与手段と、
を有することを特徴とする撮影装置。
【請求項２】
請求項１記載の撮影装置において、
前記移動物体検出手段は、
所定の背景差分法により第１の移動物体領域を検出する背景差分法検出手段と、
該第１の移動物体領域に基づいて検出対象範囲を限定して所定の局所相関法により第２の移動物体領域を検出する局所相関法検出手段と、
を有することを特徴とする撮影装置。 
【請求項３】
請求項１記載の撮影装置において、
前記切出し領域・拡縮率算出手段は、
前記移動物体領域の輪郭内に前記指向性アンテナで位置認識された前記ＲＦタグが存在するとともに、前記移動物体領域内の特定位置の移動速度と移動方向とが前記ＲＦタグの移動速度と移動方向とに一致した場合に、前記移動物体領域と前記固有情報とを対応付けて前記切出し領域を抽出する
ことを特徴とする撮影装置。
【請求項４】
請求項１または請求項２記載の撮影装置において、
前記移動物体検出手段は、
予め獲得した前記ＲＦタグの存在位置情報に基づいて、前記画像情報に対する前記移動物体領域の検出対象範囲を限定する
ことを特徴とする撮影装置。 
【請求項５】
請求項１記載の撮影装置において、
前記属性情報付与手段は、
前記属性付き映像情報を格納する手段を有して、
前記属性情報に関連する属性関連情報の設定に基づいて、前記格納された前記属性付き映像情報から前記属性情報に関連付けられた映像区間のみを抽出して出力する
ことを特徴とする撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動体撮影を行う撮影装置に関し、特に撮影時に映像の各場面の属性情報を自動的に生成することで、映像の編集作業を簡略化させる撮影装置に関する。
【０００２】
近年、インターネット回線などを使用することで、デジタルコンテンツの配信・放送が容易になるに従い、大量の映像素材を短時間で加工・編集できる装置が求められている。例えば、スポーツ映像などで、ライブ中継を行なうと同時に、ハイライト場面などを切出して、リプレイ映像を生成するための装置などが該当する。
【背景技術】
【０００３】
従来から、映像編集の代表的な装置として、ノンリニア編集装置がある。本装置では、ビデオカメラで取得した映像やテープに録画されている映像をデジタルデータへ変換し、パソコンのハードディスクなどに取り込んで加工・編集する。例えば、サッカーのゴールシーンを切り出すには、ハードディスクに格納されている映像を再生し、切出しの開始位置と終了位置とを人手で設定し、該当区間を別のデータファイルとして保存またはビデオテープへ記録するなどして、リプレイ映像を作成する。しかしながら、ノンリニア編集装置では、切出し区間の指定やリプレイ映像の保存などの編集作業を人手で行なう必要があるため、多大な手間とコストを要する。
【０００４】
そこで、映像内の各場面に属性情報を与え、その属性情報を検索することで自動的に切出し区間を特定する方法が、幾つか提案されている。
【０００５】
例えばその１つに、撮影対象に装着した赤外線ＬＥＤ(Light Emitting Diode)から発せられるＩＤ(Identification)信号を認識し、蓄積されるビデオデータに実時間でインデックス付けする方法がある（例えば、非特許文献１）。しかしながら、ＬＥＤを信号源として用いているため、発光方向に受光器が存在しない、あるいはＬＥＤと受光器との間に遮る障害物がある場合などには、ＩＤ情報を受け取れないという問題がある。
【０００６】
他の１つに、カメラ画像を記録する際、同時に被写体に装着されたＲＦ(Radio Frequency)タグなどのＩＤ情報を読み取って画像データと共に保存することで、画像の改ざんを防止する方法がある（例えば、特許文献１）。また、同発明は、指向性アンテナによってカメラが向いているＲＦタグからのみ信号を受信するものである。しかし、指向性アンテナとカメラ視野とを関連付ける方法に関する具体的な手段は無い。つまり、ＲＦタグのＩＤ情報が記録されている場合でも、該当する撮影対象が映っているかどうかが保証されないという問題がある。
【０００７】
また他の１つに、指向性アンテナを用いて、ＲＦタグの方向を検出し、同方向へＬＥＤなどのビーム光を照射することで、所望の物品を見つけやすくする方法がある（例えば、特許文献２）。しかし、指向性アンテナを用いるものの、アンテナとカメラとを関連付けたり、ＲＦタグのＩＤ情報と移動物体とを関連付けたりする手段は無い。
【０００８】
更に他の１つに、局所相関法などの画像処理手法を用いて、移動物体が映像内のどこの領域に存在しているかを追跡する方法がある（例えば、非特許文献２）。しかし、各移動物体がどのような属性を持っているかを、リアルタイムで自動的に与えることはできないといった問題があった。
【特許文献１】特開２０００−２６１７５１号公報
【特許文献２】特開２００２−２７１２２９号公報
【非特許文献１】角、伊藤、松口、SＩＤney Fels、内海、鈴木、中原、岩澤、小暮、間瀬、萩田著、「複数センサ群による協調的なインタラクションの記録」、インタラクション2003論文集 情報処理学会、pp。255-262。
【非特許文献２】森田、「局所相関演算による動きの検知と追跡」、 電子情報通信学会論文誌 D-II、 Vol。J84-D-II、 No。2、 pp。299-309、 2001。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
前記した従来の技術あるいはそれらの単なる組合せでは、カメラ視野内にあるＲＦタグが装着された移動物体を検出できないため、目的とする移動物体が占める画像領域への属性情報付与や、対象移動物体のズーミングおよび追尾撮影、対象移動物体が存在する映像区間の抽出などができないという問題があった。
【００１０】
そこで本発明は、位置と姿勢が固定されたカメラの視野内に映っている移動物体を検出し、その移動物体が占める画像領域に移動物体の属性情報を自動的に付与する撮像装置を提供することを目的とする。 
【課題を解決するための手段】
【００１１】
第１の発明の撮影装置は、固定された所望の撮影視野を撮影して画像情報を生成する撮像手段を有して成る、映像情報を出力する撮影装置であって、撮影対象である移動物体に装着され、該移動物体の固有情報を保持する無線通信可能なＲＦタグと、該ＲＦタグと無線通信するとともに、前記ＲＦタグの存在位置を認識可能とする指向性アンテナと、該指向性アンテナを介して前記ＲＦタグと前記固有情報の読取りまたは書込みを行うＲＦタグリーダ・ライタと、前記撮像手段からの前記画像情報から移動物体領域を検出する移動物体検出手段と、前記画像情報から少なくとも前記移動物体領域を含む切出し領域を抽出するとともに、該切出し領域の輪郭サイズに応じて所望サイズへの拡縮率を算出して該切出し領域に対応付ける切出し領域・拡縮率算出手段と、前記ＲＦタグリーダ・ライタからの前記固有情報に基づき属性情報を生成して前記切出し領域に対応付けて付与し、該属性情報と前記拡縮率情報とが付与された属性付き映像情報を出力する属性情報付与手段とを有する構成とする。
【００１２】
前記第１の発明によれば、移動物体領域を含む切出し領域と、移動物体に装着されたＲＦタグからの属性情報とを対応付け、更に拡縮率も対応付けた属性付き映像情報として出力することから、付与された属性情報を利用することによって編集作業が容易な属性付き映像情報を得ることができるとともに、追尾撮影された所望の移動物体のズーム映像が得られる。
【００１３】
第２の発明の撮影装置は、前記第１の発明の撮影装置において、前記移動物体検出手段は、所定の背景差分法により第１の移動物体領域を検出する背景差分法検出手段と、該第１の移動物体領域に基づいて検出対象範囲を限定して所定の局所相関法により第２の移動物体領域を検出する局所相関法検出手段とを有する構成とする。
【００１４】
前記第２の発明によれば、背景差分法によって大まかに移動物体領域が求め、次に、その求められた移動物体領域に基づいて移動物体の検出対象範囲を限定し、局所相関法によって、より細かく移動物体領域を決定することから、明るさの変動などのノイズに強く、より短い処理時間にて属性付き映像情報が得られる。
【００１５】
第３の発明の撮影装置は、前記第１の発明の撮影装置において、前記切出し領域・拡縮率算出手段は、前記移動物体領域の輪郭内に前記指向性アンテナで位置認識された前記ＲＦタグが存在するとともに、前記移動物体領域内の特定位置の移動速度と移動方向とが前記ＲＦタグの移動速度と移動方向とに一致した場合に、前記移動物体領域と前記固有情報とを対応付けて前記切出し領域を抽出する構成とする。
【００１６】
前記第３の発明によれば、移動物体領域内の特定位置の移動速度と移動方向とが前記ＲＦタグの移動速度と移動方向とに一致した場合に、その切出し領域にＲＦタグからの属性情報が付与されることから、移動物体とＲＦタグとが確実に対応の取れた属性付き映像情報を得ることができる。
【００１７】
第４の発明の撮影装置は、前記第１および第２の発明の撮影装置において、前記移動物体検出手段は、予め獲得した前記ＲＦタグの存在位置情報に基づいて、前記画像情報に対する前記移動物体領域の検出対象範囲を限定する構成とする。
【００１８】
前記第４の発明によれば、移動物体領域の検出対象範囲が限定されることから、移動物体領域の検出処理を高速にすることができる。
【００１９】
第５の発明の撮影装置は、前記第１の発明の撮影装置において、前記属性情報付与手段は、前記属性付き映像情報を格納する手段を有して、前記属性情報に関連する属性関連情報の設定に基づいて、前記格納された前記属性付き映像情報から前記属性情報に関連付けられた映像区間のみを抽出して出力する構成とする。
【００２０】
前記第５の発明によれば、格納された属性付き映像情報から属性情報に関連付けられた映像区間のみを抽出できることから、所望の撮影対象や映像シーンを選択あるいは抽出する際、付与された属性情報を利用することで編集作業が容易に実施できる。
【発明の効果】
【００２１】
本発明によれば、カメラの視野内に映っている移動物体を検出し、その移動物体が占める画像領域に移動物体の属性情報を自動的に付与できることから、取得した映像情報から所望の撮影対象や映像シーンを選択あるいは抽出する際、付与された属性情報を利用することによって編集作業の自動化が可能となる。
【００２２】
また、タグを装着した特定の人物などの被写体をズームアップしながら、自動的に追従撮影することができる。
【発明を実施するための最良の形態】
【００２３】
（実施例１）
以下、本発明の実施の形態について、図を参照して説明する。図１は、本発明の実施例の撮影装置の構成を示す図である。
【００２４】
図１において、撮影装置は、ＲＦタグ１と、指向性アンテナ２と、ＲＦタグリーダ・ライタ３と、属性情報生成部４と、撮像部５と、移動物体検出部６と、切出し領域・拡縮率算出部７と、属性付き映像生成部８とを有する構成である。
〔ＲＦタグ１〕
ＲＦタグ１は、少なくともメモリ内蔵（外付けメモリでも良い）のＩＣチップとアンテナ（コイルアンテナなど）とから成り、無線を用いることで、非接触でＲＦタグリーダ・ライタ３との通信を行なうことができるデバイスである。ＲＦタグ１としては、電池などの電源を内蔵せず、ＲＦリーダ・ライタ３から発信される電磁波から駆動用の電力を生成するタイプのＲＦタグ（パッシブタグ）、または電池内蔵タイプのＲＦタグ（アクティブタグ）のいずれを使用であっても構わない。ＲＦタグ１の移動物体への装着場所としては、移動物体の動きが極力少ない場所が望ましく、例えば人の場合では、動きの比較的安定している頭や胸に装着することが望ましい。
【００２５】
また、ＲＦタグ１内のメモリには、例えばＲＦタグ1が装着される撮影対象に応じて、その対象の名称や特徴（色、形状、ＩＤ番号など）、仕様など、あるいはそれらが記載されたネットワークアドレスなどの固有情報を予め格納しておく。更に、書込みも可能なＲＦタグを使用した場合には、カメラで撮影している最中に、ＲＦタグ１内のメモリに格納されたデータ内容を、必要に応じて書き替えることも可能である。
〔指向性アンテナ２〕
指向性アンテナ２は、ＲＦタグ１と無線通信するとともに、ＲＦタグ１の存在位置を認識可能とするために指向性が可変制御できるアンテナである。指向性アンテナ２として、例えば指向性パターンが可変なアダプティブアレーアンテナを用いる。図２に示すように、アダプティブアレーアンテナでは、複数のアンテナ・エレメントで受信した信号に対して重み付けをし、重みを適宜変更することで指向性パターンがコントロールできるものである。
【００２６】
指向性アンテナに対するＲＦタグ１からの電波の到来方向をθとし、アンテナ・エレメントが直線状に等間隔Ｄで並んでいる場合、基準となるアンテナと比較したときの第i番目のアンテナへの伝播遅延時間τi(θ)は、
【００２７】
【数１】
2006279568.tif 000003
で表わされる。なお、ｃは、伝播速度である。変調信号をm(n)、搬送波の角周波数をω、第i番目のアンテナ出力をxi(n)、ｎを時間とすると、
【００２８】
【数２】
2006279568.tif 000004
となる。
【００２９】
所望の信号波形が既知で参照信号d(n)として利用できる場合、アレーの出力信号y(n)との平均２乗誤差を最小にすることで、重み係数を決定できる。u(n)を干渉や雑音などの誤差成分とする。
【００３０】
【数３】
2006279568.tif 000005
各アンテナの入力信号xi(n)、重み係数ｗi(θ)をベクトルで表現し、各エレメントの合成出力をy(n)として、上式に代入する。
【００３１】
【数４】
2006279568.tif 000006
なお、添え字Tは転置、Hは複素共役転置を表わす。このとき、誤差成分の２乗の期待値Jは次式で表わされる。
【００３２】
【数５】
2006279568.tif 000007
各アンテナの入力信号の自己相関行列をRxx=E{x(n)x(n)H}、参照信号と各アンテナの入力信号との相互相関行列をrxd=E{x(n)d*(n)}と定義すると、最適な重みは、期待値Jを重みベクトルWで偏微分することにより、
【００３３】
【数６】
2006279568.tif 000008
で与えられる。
【００３４】
上述のように、電波の飛来方向θと、重み係数W(θ)とを対応付けることができる。そこで、指定した範囲θ1<θ<θ2でアンテナの指向性を変化させるとき、対応する重み係数を、W(θ1)からW(θ2)の範囲内で徐々に変化させることによって、アンテナの方向を走査することができる。例えば、刻み幅Δθでアンテナの方向を振るとき、予め、重み係数を、
【００３５】
【数７】
2006279568.tif 000009
のように算出しておき、刻み値k・Δθに応じて、重み係数Wを変化させることで、アンテナの指向性パターンをコントロールすることができる。
【００３６】
また、指向性アンテナを、八木アンテナなどの指向性パターンが固定されているアンテナを用いて、機械的にアンテナを回転させる機構で構成しても良い。本構成の場合では、アンテナの回転角θを、指定範囲θ1<θ<θ2で変化させることによって、上記のアダプティブアレーアンテナと等価の処理を実現できる。
【００３７】
更に、指向性アンテナとカメラとの位置関係について述べる。検出対象とする移動物体を検出する際、上述した方法で得たＲＦタグ１からの電波の飛来方向θと、後述するカメラ画像内の注視領域とを対応付ける処理を行う。このとき、移動物体、アンテナおよびカメラが同一直線状にある必要がある。移動物体の位置は不特定であることから、同一直線状という条件を満たすためには、アンテナの中心位置とカメラレンズの焦点位置が鉛直軸上で一致していることが望ましい。
〔ＲＦタグリーダ・ライタ３〕
ＲＦタグリーダ・ライタ３は、ＲＦタグ１からのデータ読込みの場合、指向性アンテナから出力された信号y(n)から、ＲＦタグ１のデータによって変調された信号を復調し、更に、ＡＤ変換を施すことによって、ＲＦタグ１に基づく固有のデジタルデータを得る。得られたデジタルデータは、映像に関する属性を表わす元データであり、属性情報生成部４へ出力する。また、ＲＦタグ１へのデータ書込みの場合、データ読込み時とは逆の処理を行なうことによって、デジタルデータをＲＦタグ１内のメモリに書き込む。 
〔属性情報生成部４〕
属性情報生成部４は、ＲＦタグリーダ・ライタ３から出力されたデジタルデータに予め決められた規則を適用し、デジタルデータを属性値へ変換することで、属性データを生成する。属性値への変換例を、図３を参照して説明する。図３は、ＲＦタグの固有データから属性データへの変換例を示す図である。
【００３８】
例えば撮影装置をマラソン競技に適用する場合、ＲＦタグ１のメモリには、ランナーの固有データであるゼッケン番号、競技日、スタート時刻、種目などのための数値や文字列データが格納されている。これらの数値や文字列データをＲＦリーダ・ライタ３で読み取った後に、図３のような具体的な属性値へと変換する。なお、ＲＦタグ１のメモリ容量が大きく、属性値そのものの形態（例えばコード化情報）で格納できる場合には、その変換が不要なことは言うまでもない。
【００３９】
なお、属性データは、有効なＲＦタグ１に対応するデジタルデータからのみ生成するものとする。その場合のＲＦタグ１の有効または無効は、次のようにして判定する。現在撮影中のカメラの視野角の上下限をθmax、θminとし、 ＲＦタグに対する読み込み操作を行なったときの指向性アンテナの角度をθR(=θ1 ＋k・Δθ)とする。θRが、次式の
【００４０】
【数８】
2006279568.tif 000010
を満たすときに(図４に示すケース)、そのＲＦタグ１を有効と判定する。
〔撮像部５〕
撮像部５は、固定された所望の撮影視野を撮影して画像データを生成するカメラであり、例えばＣＣＤカメラなどのテレビカメラが使用される。画像データは、一定のサンプリング時間間隔 (例えば、３３ｍｓ）で取得され、動画像が生成される。
【００４１】
画像データの１つの画素は、カラー画像の場合では、赤成分（Ｒ）、緑成分（Ｇ）、青成分（Ｂ）の階調値で、一方、白黒画像の場合では、輝度の階調値で与えられる。例えば、整数ｘ、ｙで示される座標（ｘ、ｙ）の画素の赤成分（Ｒ）、緑成分（Ｇ）、青成分（Ｂ）、輝度（I）の階調値はそれぞれ、デジタル値Ｒ（ｘ、ｙ）、Ｇ（ｘ、ｙ）、Ｂ（ｘ、ｙ）、I（ｘ、ｙ）で与えられる。なお、説明の都合上、以降の計算で使用する画素値には、輝度(白黒濃淡値)を用いる。
〔移動物体検出部６〕
移動物体検出部６は、撮像部５から出力された画像データから、その画像データ中に含まれる移動物体の領域である移動物体領域を検出して抽出する。移動物体検出部６は、図５に示すように、所定の背景差分法を利用した背景差分法検出部と所定の局所相関法を利用した局所相関法検出部とを組み合わせる。
【００４２】
背景差分法は、予め移動物体が含まれない画像を背景画像として用意しておき、次に、移動物体が含まれる画像との差分を取り、差の大きい部分を移動物体とする方法である。しかし、本方法は、より短い処理時間で処理可能であるが、明るさの変動などのノイズに弱いという欠点がある。 
【００４３】
他方の局所相関法は、先ず画像を格子状のブロック（例えば、８×８画素）に分割する。次に、或るサンプリング時刻のフレームと次のサンプリング時刻で取得したフレームとの間で、近傍にあるブロック同士の相関値を求め、その値の大小によって、ブロックが移動したか否かを判定する。しかし、本方法は、計算量が多いために、画像サイズを大きくできない、更に相関計算を実施するブロック間の距離が制限されて、動きの早い物体に追従できないなどという欠点があるものの、背景差分法よりもノイズに対する耐性が大きいものである。
【００４４】
そこで本発明では、先ず、背景差分法によって大まかに移動物体領域を求め、次に、その求められた移動物体領域に基づいて移動物体の検出対象範囲を限定し、局所相関法によって、より細かく移動物体領域を決定する手順を用いる。次に、それら方法による処理について、説明する。
〔背景差分法〕
先ず、背景差分法によって、取得画像の中から動きのある領域である移動物体領域を検出する。図６は、背景差分法での処理を示すフローチャートであり、同図に沿って、背景差分法によって移動物体領域を検出する処理を説明する。なお、以下のカッコ付き記号は、同図中のカッコ付き記号に対応する。
【００４５】
(a) 先ず、撮像部で得られてビットマップ形式とされた画像データを、一定周期(サンプリング時間毎)で取得する。
【００４６】
(b) 次に、各画素の時系列データをローパスフィルタに通す。本処理を行なうことで、例えば、低いカットオフ周波数を持つローパスフィルタを用いると（図中(b1)）、動きのない物体の画像、つまり、背景画像を得ることができる。また、カットオフ周波数を上記に比べて高くすると（図中(b2)）、動きのある物体を残したまま、蛍光灯のちらつきの影響を除いた画像を取得できる。そこで、以降の処理では、低いカットオフ周波数を適用したものを背景画像として使用し、一方、高いカットオフ周波数を適用した画像を現サンプリングの現画像として用いるものとする。 
【００４７】
(c) 現画像と背景画像とをそれぞれ、サブ区画（ｎ×ｎ画素の正方形）で区切り、それぞれの両サブ区画内の同位置にある画素間の差の総和Ｔを、各サブ区画に対して計算する。その計算式を、次に示す。
【００４８】
【数９】
2006279568.tif 000011
なお、ＩＣ(x、y)は現画像における画素位置(x、y)の白黒濃淡値を、ＩＢ(x、y)は
背景画像における画素位置(x、y)の白黒濃淡値を、Rsubはサブ区画を表わす。
【００４９】
・  算出された値Ｔが設定値（閾値）Ｔth以上のときは、背景画像と異なる物体が存在していることを示しており、動きがあるサブ区画として判定し、抽出する。サブ区画同士の比較を、画像データの全領域について実施することで、動きのある全領域を検出することができる。
〔局所相関法〕
局所相関法では、上述した背景差分法によって動きがあると判定されたサブ区画が、前フレーム画像の、どのサブ区画から移動してきたかを、ブロック同士の相関計算によって探し出す。図７は、サブ区画、サブ区画テンプレートおよび追跡ブロックを示す図である。同図中、取得画像は背景差分法にて一定周期で取得された画像データであり、サブ区画は縦ｎ画素×横ｎ画素の正方形から成るものであり、サブ区画テンプレートは同一物体のサブ区画の集まり（背景差分法で検出された全サブ区画）であって移動物体の領域を示す。
【００５０】
また、追跡ブロックは、サブ区画テンプレートを取り囲むように設定（追跡ブロックの境界線がｍ画素外側になるように配置）した領域であって、局所相関法による探索は追跡ブロックで囲まれた領域の中で実行される。
【００５１】
図８は、局所相関法での処理を示すフローチャートであり、同図に沿って、局所相関法によって、動きのあるサブ区画を検出する処理を説明する。なお、以下のカッコ付き記号は、同図中のカッコ付き記号に対応する。
【００５２】
(a) 局所相関法では、背景差分法で検出した動きのあるサブ区画を対象とする。このような２段階での抽出処理を実行することで、ノイズなどの影響で誤検出したサブ区画を取り除くことができる。
【００５３】
(b) 次に、現フレーム画像の注目しているサブ区画Sp(x、y)が、前フレーム画像のどのサブ区画Sq(x'、y')から移動してきたのかを、相関演算を用いて探索する。サブ区画SpとSqとの相関値Cは、次式によって算出する。
【００５４】
【数１０】
2006279568.tif 000012
上式において、Ｉｐ(x、y)、Ｉｑ(x’、y’)は各サブ区画Sp、Sq内の画素の白黒濃淡値を、また、Rp、Rqはサブ区画領域内であることを表わす。
【００５５】
(c) 所定のゼロ比較法によって（前記非特許文献２に記載）、(b)で求めた候補が、移動サブ区画か否かを判定する。ゼロ比較法では、先ず、注目しているサブ区画と同位置にある前フレームのサブ区画との相関値C0と、走査範囲内の全サブ区画との相関計算から求めた相関値の最小値C1、との差Qを求める。
【００５６】
【数１１】
2006279568.tif 000013
次に、移動を判定するための設定値（閾値）Ｍthと比較し、
【００５７】
【数１２】
2006279568.tif 000014
であれば、注目しているサブ区画Sp(x、y)が、移動サブ区画であると判定する。
【００５８】
(d) 移動サブ区画と判定された区画を、有効領域として設定する。
【００５９】
(e) 前フレームの移動元のサブ区画と、注目している現フレームのサブ区画の位置関係から、移動の速さおよび方向を算出する。算出した速さと方向を、隣接している上下左右のサブ区画と比較する。このとき、速さおよび方向の相違が一定値以下であるかどうかを調べる。
【００６０】
(f) 一定値以下の場合は、同一速度で進んでいると判断し、隣接サブ区画と結合し、１つの追跡ブロックを割り当てる。
【００６１】
(g) 一定値以上の場合は、それぞれのサブ区画は異なる物体の領域であると判断し、注目しているサブ区画が中心位置になるような新規の追跡ブロックを、サブ区画1つ毎に作成する。
【００６２】
(h) 隣接サブ区画同士の集合（以降、サブ区画テンプレートと称す）に対し、追跡ブロックを１個定義する。追跡ブロックの範囲は、サブ区画テンプレートの上下左右端から一定の大きさ（m画素）になるように設定する。
【００６３】
(h-1) 追跡ブロックの設定方法について説明する。サブ区画テンプレートの上下左右端を、ｘsub_min、ｘsub_max、ｙsub_min、ｙsub_maxとおく。このとき、追跡ブロックの範囲を、オペレータが予め決めた画素値ｍ(>0)を用いて次のように与える。
【００６４】
【数１３】
2006279568.tif 000015
また、追跡ブロックの中心位置を次式で与える。
【００６５】
【数１４】
2006279568.tif 000016
(h-2) １つ前のフレームk-1で求めた追跡ブロックの中心位置の移動速さと移動方向ベクトルを、
【００６６】
【数１５】
2006279568.tif 000017
とおき、現フレームkの追跡ブロックの中心位置の移動速さと移動方向ベクトルを、
【００６７】
【数１６】
2006279568.tif 000018
とおく。
【００６８】
(h-3) 移動速さの差が閾値以上、あるいは、移動方向ベクトルの内積が閾値以下のときは、別の追跡ブロックであると見做して、追跡対象から外す。追跡対象条件は、
【００６９】
【数１７】
2006279568.tif 000019
で与えられる。
【００７０】
(h-4) 追跡ブロックが、連続したfokフレームの間、追跡対象条件を満たしたとき、同領域は移動物体であると判定する。例えば、fok=3とすると、３フレーム連続で上記の追跡対象条件を満たせば、移動物体であるとする。 
【００７１】
(i) 追跡対象条件を満たした場合、サブ区画テンプレートを移動物体と見做す。
【００７２】
以上のような手順を踏むことによって、取得した画像の中から、移動物体領域を抽出することができる。
〔切出し領域・拡縮率算出部７〕
切出し領域・拡縮率算出部７は、画像データから、移動物体検出部６からの移動物体領域を含む切出し領域を抽出し、その切出し領域の輪郭サイズに応じて所望サイズへの拡縮率を算出して切出し領域に対応付ける。先ず、指向性アンテナ２で検出されたＲＦタグ１と、前述した方法で抽出した移動物体(そのＲＦタグを装着した走者)領域とを関連付ける方法を、以下に説明する。
【００７３】
図９は、ＲＦタグと移動物体領域との関連付けを説明する図であり、同図(a)の画像サイズとアンテナ方向との関係を示す図は、カメラや、カメラで取得した画像、ＲＦタグのアンテナ検出角度θR、走者などを俯瞰した模式図を示すものである。また、同図(b)のＲＦタグ位置と移動物体の中心位置との関係を示す図は、同図(a)の画像の部分を拡大した図である。なお、以下の説明では、説明の都合上、水平方向においてＲＦタグと移動物体とを対応付けるものとしているが、垂直方向においても同様の方法で対応付けることができるため、垂直方向の説明は省略する。
【００７４】
アンテナ方向θmax、θminは、カメラ視野角の水平方向の上下限に一致しているため、画像の左右端ｘmax、ｘminにそれぞれ対応付けられる。画像の左端ｘminを基準として、移動物体（斜線部）のｘ方向の中心位置をｘgとし、その中心位置ｘgは、前述した(h-1)のサブ区画テンプレートあるいは追跡ブロックの中心位置に一致する。
【００７５】
【数１８】
2006279568.tif 000020
移動物体が装着しているＲＦタグの画像領域における位置との関係から、次式が成立すると考えられる。
【００７６】
【数１９】
2006279568.tif 000021
Δｘは、アンテナの検出誤差や移動物体の検出誤差などに依存する定数である。同様に、画像領域における、移動物体の速度ｖgと、ＲＦタグの移動速度ｖθは、
【００７７】
【数２０】
2006279568.tif 000022
のような関係式を満たす。そのことから、移動物体の中心位置ｘgでの速度ｖgと、ＲＦタグの検出方向θRでの移動速度ｖθとが上記の式を満たせば、そのＲＦタグは、検出された移動物体に装着されているものと見做すことができる。
【００７８】
以上のように、ＲＦタグと移動物体とを関連付けたとき、切出し領域（ROI: Region of Interest）を次のように定める。図９の(b)の斜線部に示したような移動物体領域を表わすサブ区画テンプレートの上下左右端を、ｘsub_min、ｘsub_max、ｙsub_min、ｙsub_maxとおいたとき、切出し領域は、点（ｘsub_min、ｙsub_min）、（ｘsub_min、ｙsub_max）、（ｘsub_max、ｙsub_min）、（ｘsub_max、ｙsub_max）を結んだ矩形で表わせる（例えば、図９(b)内の太線枠）。
【００７９】
また、注目している移動物体をズーミングするときの拡縮率zは、表示画像の表示サイズｘdisp_max、ｘdisp_minを用いて、
【００８０】
【数２１】
2006279568.tif 000023
のように求まる。
【００８１】
また、表示するときの画像を分割する場合は、分割数に応じて、表示サイズｘdisp_max、ｘdisp_minを変更する。例えば、４分割する場合の表示サイズは、１分割に対し、ｘdisp_max/2、ｘdisp_min/2となる。
【００８２】
なお、図９では、走者は１人しか居ないが、複数の走者が居る場合でも同様の方法でＲＦタグと画像内のサブ区画テンプレートを対応付けることができる。
【００８３】
上述の一連の処理を実行することで、注目している移動物体を追尾して撮影することができる。図１０の(a)は、背景差分法＋局所相関法を適用して、1フレーム毎に移動物体を検出した例を示した図である。また、図１０(b)は、同図(a)に切出し領域・拡縮率算出部を適用し、モニターに追尾した移動物体を表示させたときの例を示す図である。撮像部５であるカメラは固定されているため、移動物体は、同図(a)のように画面上を移動するが、移動物体検出部で検出された移動物体のサブ区画テンプレートを切出して、同領域を拡大すると、各フレームに対して同図(b)のように表示される。以上のようにして、カメラが固定されていても追尾撮影が実現できる。
〔属性付き映像生成部８〕
属性付き映像生成部８は、撮像部５からの画像データと属性情報生成部４から出力されるＲＦタグの属性データとを関連付けし、属性付き映像データを出力する。なお、映像データの出力先としては、例えば、テレビモニタや、インターネットを利用したストリーミング中継など、更に、ＤＶＤやビデオテープ、ハードディスク、ＣＤ−ＲＯＭなどを記録媒体とする記録再生機器（パソコンも含む）が考えられる。
【００８４】
図１１は、映像データと属性データとの関連付けの一例を示す図である。通常、撮像部５からは、適当なサンプリング周期（例えば３３ｍｓ）で、１画面映像である１フレーム分の画像データが出力される。そこで図１１に示すように、例えばフレームの番号（フレームデータ欄）と、属性情報生成部４から出力される有効なＲＦタグ１に基づく各々の属性データ（タグ１欄およびタグ２欄）とを対応付けた形式で表現する。
【００８５】
図１１においては、タグ１の属性値（属性データ）D1は、第３、４フレームの映像データに追記され、タグ２の属性値D２は、第４、５フレームの映像データにそれぞれ追記されている。映像データに属性値を追記する際、全てのフレームと関連付けるのではなく、適当な間隔を空けて（例えば１０フレーム毎）、属性付き映像データを生成しても良い。また、属性値をそのまま映像データに追記するのではなく、電子透かしなどの方法で、映像データ中に埋め込む方法を取っても良い。
【００８６】
更に、MPEG７などの所定の規格を使用し、ＲＦタグの属性値をMPEG7のメタデータとして記述することで、属性付き映像データを生成しても良い。なお、映像データと属性値とは、例えばハードディスクなどの記録媒体上にそれぞれを別ファイルとして保存しても良い。
【００８７】
〔処理の説明〕
次に、本発明の処理について説明する。図１２は、本発明の撮影装置の処理を示すフローチャートである。同図に沿って、撮影装置の処理動作を説明する。なお、以下のカッコ付き記号は、同図中のカッコ付き記号に対応する。
(a) 次の項目を、予めセットする。
【００８８】
(1) 指向性アンテナ２（アダプティブアレーアンテナ）の重み係数とアンテナの角度とを、予め用意した参照表（テーブル）などを用いて対応付ける。
【００８９】
(2) ＲＦタグ１内の固有データを属性値に変換するための規則をセットする。
【００９０】
(3) ＲＦタグ１へ、属性値に対応する固有データを書き込む。
【００９１】
(4) 移動物体領域の検出に用いる閾値Ｔth(背景差分法)や閾値Ｍth(局所相関法)、ＲＦタグ１と移動物体の対応付けで用いる判定量Δｘなどの各値。
(b) ＲＦタグ１を撮影対象（例えば走者）の適切な位置に装着し、撮影を開始する。
(c) 刻み角に応じて指向性アンテナ２の重み係数を変化させ、アンテナの方向を走査する。
(d) アンテナ方向にＲＦタグ１が有るか否かを判定する。
(e) 指向性アンテナ２が受信したＲＦタグ１からの無線信号を、ＲＦタグリーダ・ライタ３にてデジタルデータ（固有データ）へ変換する。
(f) ＲＦタグ１を検出したときのアンテナの角度θRが、カメラの視野角内にあれば、そのＲＦタグ１は有効であると判定する。
(g) 有効と判定された場合、デジタルデータを予め設定した規則によって属性データへ変換する。なお、無効と判定された場合には、そのデジタルデータを無効とし、前記(c)に戻る。
(h) 移動物体検出部６での背景差分法によって、移動物体領域を検出して候補を抽出する。
(i) 背景差分法により抽出された候補領域に、次は局所相関法を適用して、移動物体領域を決定する。
(j) 切出し領域・拡縮率算出部７は、ＲＦタグ１のアンテナ検出角θRと、決定された移動物体領域の中心位置Ｘgの関係から、ＲＦタグ１がその移動物体領域内の移動物体に装着されているかを調べる。
(k) ＲＦタグ１が、該当(移動物体領域内に存在)する移動物体に装着されているか否かを判定する。
(l) 装着されていると判定（Yes判定）されたとき、移動物体領域を基に切出し領域を決定するとともに、その拡縮率を算出し、両者を対応付ける。なお、装着されていないと判定（No判定）された場合には、それらを無効とし、前記(c)に戻る。
(m) 該当する切出し領域を抽出し、算出された拡縮率を用いて画像をズーミングする。
(n) カメラで取得した画像データに属性値を追記し、属性付き映像データを出力する。
【００９２】
なお、例えば撮影部５であるカメラ自身によりズーム操作されることで、カメラ視野角がθmax’、θmin’に変化した場合には、属性情報生成部４でのＲＦタグの有効または無効を判定する範囲を、
【００９３】
【数２２】
2006279568.tif 000024
とすることで、ズーム操作にも追従させることが可能となる。
【００９４】
以上説明した構成と処理によって、カメラ視野内に映っている移動物体が検出され、その移動物体が占める画像領域に移動物体の属性データを自動的に付与できることから、生成された映像データから所望の撮影対象や映像シーンを選択あるいは抽出する際、付与された属性情報を利用することによって編集作業の自動化が可能となる。また、ＲＦタグを装着した撮影対象をズームアップなどしながら、自動的に追尾撮影することができる。
【００９５】
更に、移動物体検出部６において、指向性アンテナ２で検出したＲＦタグ１の角度（存在位置）に基づき、背景差分法と局所相関法とにおける移動物体領域の探索の走査範囲（検出対象範囲）を限定させることにより、移動物体領域の検出処理を高速化することが可能になる。以下に、その場合について説明する。
【００９６】
(1) 背景差分法においては、探索の走査範囲を前述では全画面（１画面全体）としていたものを、検出されたＲＦタグの周りだけとして走査範囲を狭めることから、高速化できる。
【００９７】
(2) 局所相関法においては、追跡ブロックの大きさを狭めることで相関演算の計算回数を少なくすることから、高速化できる。
【００９８】
具体的な処理の流れを、図を参照して説明する。図１３は、移動物体領域の検出対象範囲の限定を説明する図である。同図中において、ｘmax、ｘmin、θmaxおよびθminは既知の値であり、また、ｘmax、ｘminはカメラ視野に対応する画像左右端の最大・最小値であり、θmax、θminはアンテナ方向の上下限値を示す。このとき、移動物体の画像上における位置ｘtagは、
【００９９】
【数２３】
2006279568.tif 000025
で表わされる。
【０１００】
このとき、走査範囲は、ｘtagを中心として、移動物体の速さやカメラのズーム倍率を考慮して予め与えた幅のｘscanを上下限とする同図中のハッチ部分とする。限定されたその走査範囲(ｘtag−ｘscan、ｘtag＋ｘscan)を、前述した背景差分法の処理の説明(d)で示した画像データの全領域、あるいは局所相関法で設定した追跡ブロックと重なる領域と置き換えることによって、ＲＦタグに関係のない領域を対象とする相関演算が削除できる。
【０１０１】
また、本発明の撮影装置では、前述したように、画像データとＲＦタグの属性データとを適当なサンプリング周期で同時に記録する映像データを、生成することができる。その映像データの格納先として、例えばパソコンなどのハードディスクとした場合、パソコンが有する機能を利用して、全映像データの中から、所望の撮影対象が映っている映像区間のみを容易に抽出させることが可能になる。
【０１０２】
図１４は、映像データの一部抽出を説明する図であり、属性付き映像データから、所望の映像区間を抽出する動作を示す。同図に示すように、前述した属性付き映像生成部８に映像抽出部を設けて、映像抽出部に属性付き映像データと、所望の撮影対象に関する属性値とを入力する。映像抽出部は、属性付き映像データに同時に記録された属性値と、入力された属性値とを比較し、属性値が一致した区間のフレーム（同図中、Ａ部分）のみを抽出映像データとして出力する。
【０１０３】
よって、所望の映像区間だけが抽出できる。抽出された抽出映像データは、次段の例えば配信処理部などへ送られ、配信などされる。その抽出映像データは属性データを含んだままであることから、抽出映像データを再度映像抽出部またはそれ相当の機能手段に入力し、他の属性値を入力して抽出させることにより、更なる抽出が行われた抽出映像データが得られることは言うまでもない。
【図面の簡単な説明】
【０１０４】
【図１】本発明の実施例の撮影装置の構成を示す図
【図２】本発明の指向性アンテナを説明する図
【図３】ＲＦタグの固有データから属性データへの変換例を示す図
【図４】カメラ視野角とアンテナ方向との関係を示す図
【図５】移動物体検出部の構成を示す図
【図６】背景差分法での処理を示すフローチャート
【図７】サブ区画、サブ区画テンプレートおよび追跡ブロックを示す図
【図８】局所相関法での処理を示すフローチャート
【図９】ＲＦタグと移動物体領域との関連付けを説明する図
【図１０】移動物体領域の検出と追尾撮影とを説明する図
【図１１】映像データと属性データとの関連付けの一例を示す図
【図１２】本発明の撮影装置の処理を示すフローチャート
【図１３】移動物体領域の検出対象範囲の限定を説明する図
【図１４】映像データの一部抽出を説明する図
【符号の説明】
【０１０５】
１  ＲＦタグ
２  指向性アンテナ
３  ＲＦタグリーダ・ライタ
４  属性情報生成部
５  撮像部
６  移動物体検出部
７  切出し領域・拡縮率算出部
８  属性付き映像生成部
【図１】
2006279568.tif 000026
【図２】
2006279568.tif 000027
【図３】
2006279568.tif 000028
【図４】
2006279568.tif 000029
【図５】
2006279568.tif 000030
【図６】
2006279568.tif 000031
【図７】
2006279568.tif 000032
【図８】
2006279568.tif 000033
【図９】
2006279568.tif 000034
【図１０】
2006279568.tif 000035
【図１１】
2006279568.tif 000036
【図１２】
2006279568.tif 000037
【図１３】
2006279568.tif 000038
【図１４】
2006279568.tif 000039