(57)【要約】【課題】動画像の撮影に並行して被写体に関する情報を取得したときに、動画データ及び被写体データの管理を容易にする。【解決手段】動画像を撮影するビデオカメラ１１と、ビデオカメラ１１で撮影を行っているときに、被写体からの無線信号を受信するカメラ連動リーダ１３と、ビデオカメラ１１が撮影した動画像に関する動画データと、カメラ連動リーダ１３が受信した無線信号に基づく被写体データとを関連づけたストリームデータを生成するストリームデータ生成部２１と、ストリームデータ生成部２１が生成したストリームデータを記憶するストリームデータ記憶部２５と、を備える。【選択図】図１
2008172485.tif 000002
【特許請求の範囲】
【請求項１】
動画像を撮影する動画撮影手段と、
前記動画撮影手段で撮影を行っているときに、被写体からの無線信号を受信する無線手段と、
前記動画撮影手段が撮影した動画像に関する動画データと、前記無線受信手段が受信した無線信号に基づく被写体データとを関連づけたストリームデータを生成するストリームデータ生成手段と、
前記ストリームデータ生成手段が生成したストリームデータを記憶するストリームデータ記憶手段と、を備えるストリームデータの生成装置。
【請求項２】
前記ストリームデータ生成手段は、前記動画撮影手段の視野に含まれている被写体からの無線信号に基づく被写体データと、前記動画データとを関連づけることを特徴とする請求項１記載のストリームデータの生成装置。
【請求項３】
前記視野内で複数の被写体が重なって写っている場合、前記受信したそれぞれの被写体からの無線信号に基づいて、手前の被写体を特定する奥行き判定手段をさらに備え、
前記ストリームデータ生成手段は、前記特定された手前の被写体の被写体データを優先させて前記動画データと関連づけることを特徴とする請求項２記載のストリームデータの生成装置。
【請求項４】
前記ストリームデータは、フレーム別画像の画像データと、各フレーム別画像に写っている被写体の被写体データとが対応付けられて構成されていることを特徴とする請求項１記載のストリームデータ生成装置。
【請求項５】
前記無線手段は、前記動画撮影手段の光軸と同一方向へ指向した、所定の問い合わせ信号を発信する発信手段と、前記被写体に取り付けられた無線装置からの前記問い合わせ信号に対する応答信号を受信する受信手段とを備え、
前記発信手段は、前記動画撮影手段の画角と同じ角度になるように、前記問い合わせ信号の広がる角度を制御することを特徴とする請求項１記載のストリームデータの生成装置。
【請求項６】
前記受信手段が受信した前記被写体からの応答信号の受信角度と前記動画撮影手段の画角とに基づいて、前記視野内での前記被写体の位置を特定する被写体位置特定手段をさらに備え、
前記被写体からの無線信号には、当該被写体の識別情報が含まれていて、
前記被写体データには、少なくとも前記視野内での被写体位置及び前記被写体の識別情報が含まれることを特徴とする請求項５記載のストリームデータの生成装置。
【請求項７】
動画像に関する動画データと、前記動画像に写っている被写体の識別情報を含む被写体データとを関連づけたストリームデータを記憶するストリームデータ記憶手段と、
前記被写体の識別情報を含む被写体のメタデータを記憶したメタデータ記憶手段と、
前記ストリームデータ記憶手段に記憶されているストリームデータに基づいて、表示装置に動画像を再生表示させる動画再生手段と、
前記ストリームデータに含まれている被写体の識別情報に基づいて、前記表示装置で再生表示されている動画像に写っている被写体のメタデータを前記メタデータ記憶手段から取得して出力する出力手段と、を備えるストリームデータの再生装置。
【請求項８】
前記動画再生手段によって動画像が生成されているとき、あるいはその動画像再生の一時停止中に、前記表示装置に表示されている画像像に含まれる被写体の選択を受け付ける選択手段をさらに備え、
前記出力手段は、前記選択された被写体のメタデータを、前記メタデータ記憶手段から取得して出力することを特徴とする請求項７記載のストリームデータの再生装置。
【請求項９】
前記被写体データには、少なくとも、前記動画データのフレーム画像に写っている被写体の、当該フレーム画像内での被写体位置及び前記被写体の識別情報が含まれていて、
前記選択手段は、所定のポインタを用いて前記フレーム画像が前記表示装置に表示されているときに被写体の選択を受け付けると、選択されたときのポインタ位置及び前記被写体データに基づいて選択された被写体を特定することを特徴とする請求項８記載のストリームデータの再生装置。
【請求項１０】
動画像を撮影するステップと、
前記動画を撮影しているときに、被写体からの無線信号を受信するステップと、
前記撮影した動画像に関する動画データと、前記受信した無線信号に基づく被写体データとを関連づけたストリームデータを生成するステップと、
前記生成したストリームデータを記憶装置に記憶するステップと、を有するストリームデータの生成方法。
【請求項１１】
ストリームデータを生成するためのコンピュータプログラムであって、
動画像を撮影して得られた動画データを取得するステップと、
動画を撮影しているときに、被写体から受信した無線信号に基づく前記被写体に関する被写体データを取得するステップと、
前記取得した動画データと、前記取得した被写体データとを関連づけたストリームデータを生成するステップと、
前記生成したストリームデータを記憶装置に記憶するステップと、をコンピュータに実行させるためのコンピュータプログラム。
【請求項１２】
動画像に関する動画データと、前記動画像に写っている被写体の識別情報を含む被写体データとを関連づけたストリームデータに基づいて、表示装置で動画像を再生表示させるステップと、
前記ストリームデータに含まれている被写体の識別情報に基づいて、前記表示装置で再生表示されている動画像に写っている被写体のメタデータを出力するステップと、を有するストリームデータの再生方法。
【請求項１３】
ストリームデータを再生するためのコンピュータプログラムであって、
動画像に関する動画データと、前記動画像に写っている被写体の識別情報を含む被写体データとを関連づけたストリームデータに基づいて、表示装置で動画を再生させるステップと、
前記ストリームデータに含まれている被写体の識別情報に基づいて、前記表示装置で再生表示されている動画像に写っている被写体のメタデータを出力するステップと、をコンピュータに実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ストリームデータ（ストリーム形式のデータ）の生成及び再生のための技術に関し、特に被写体のメタデータを含むストリームデータを生成及び再生する技術に関する。
【背景技術】
【０００２】
従来、被写体の映像を容易に識別するための被写体識別システムが知られている。すなわち、特許文献１には、動画像の撮影を行いながら、被写体に取り付けられた無線タグから被写体の識別情報を示す電波を受信し、動画データ及び被写体の識別情報などをそれぞれ記録する被写体識別システムが記載されている。
【特許文献１】特開２００４−８０３４７公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に記載の技術では、動画データと被写体に関するデータとがそれぞれ別々のＤＢに分離して記憶されている。従って、映像データと被写体データとを別々に管理しなければならず、複写する際などにいずれか一方を複写し忘れるおそれがあった。さらに、データの本数が増加すれば、その管理の手間は飛躍的に増大する。
【０００４】
また、特許文献１の技術では、画像において各被写体が写っている位置は大まかにしか把握できないので、複数の被写体が同一画面に写っているときに、それらを正確に判別できないことがある。
【０００５】
そこで、本発明の目的は、動画像の撮影に並行して被写体に関する情報を取得したときに、動画データ及び被写体データの管理を容易にするための技術を提供することである。
【０００６】
本発明の他の目的は、動画像の撮影に並行して被写体に関する情報を取得したときに、画像内での被写体のより正確な位置を把握するための技術を提供することである。
【０００７】
本発明のさらに別の目的は、動画像に写っている被写体のメタデータの提供を容易にすることである。
【課題を解決するための手段】
【０００８】
本発明の一実施態様に従うストリームデータの生成装置は、動画像を撮影する動画撮影手段と、前記動画撮影手段で撮影を行っているときに、被写体からの無線信号を受信する無線手段と、前記動画撮影手段が撮影した動画像に関する動画データと、前記無線受信手段が受信した無線信号に基づく被写体データとを関連づけたストリームデータを生成するストリームデータ生成手段と、前記ストリームデータ生成手段が生成したストリームデータを記憶するストリームデータ記憶手段と、を備える。
【０００９】
好適な実施形態では、前記ストリームデータ生成手段は、前記動画撮影手段の視野に含まれている被写体からの無線信号に基づく被写体データと、前記動画データとを関連づけるようにしてもよい。
【００１０】
好適な実施形態では、前記視野内で複数の被写体が重なって写っている場合、前記受信したそれぞれの被写体からの無線信号に基づいて、手前の被写体を特定する奥行き判定手段をさらに備えてもよい。このとき、前記ストリームデータ生成手段は、前記特定された手前の被写体の被写体データを優先させて前記動画データと関連づけるようにしてもよい。
【００１１】
好適な実施形態では、前記ストリームデータは、フレーム別画像の画像データと、各フレーム別画像に写っている被写体の被写体データとを対応付けることによって構成することもできる。
【００１２】
好適な実施形態では、前記無線手段は、前記動画撮影手段の光軸と同一方向へ指向した、所定の問い合わせ信号を発信する発信手段と、前記被写体に取り付けられた無線装置からの前記問い合わせ信号に対する応答信号を受信する受信手段とを備えるようにしてもよい。このとき、前記発信手段は、前記動画撮影手段の画角と同じ角度になるように、前記問い合わせ信号の広がる角度を制御することができる。
【００１３】
好適な実施形態では、前記受信手段が受信した前記被写体からの応答信号の受信角度と前記動画撮影手段の画角とに基づいて、前記視野内での前記被写体の位置を特定する被写体位置特定手段をさらに備えてもよい。このとき、前記被写体からの無線信号には、当該被写体の識別情報が含まれていて、前記被写体データには、少なくとも前記視野内での被写体位置及び前記被写体の識別情報が含まれるようにしてもよい。
【００１４】
本発明の他の実施態様に従うストリームデータの再生装置は、動画像に関する動画データと、前記動画像に写っている被写体の識別情報を含む被写体データとを関連づけたストリームデータを記憶するストリームデータ記憶手段と、前記被写体の識別情報を含む被写体のメタデータを記憶したメタデータ記憶手段と、前記ストリームデータ記憶手段に記憶されているストリームデータに基づいて、表示装置に動画像を再生表示させる動画再生手段と、前記ストリームデータに含まれている被写体の識別情報に基づいて、前記表示装置で再生表示されている動画像に写っている被写体のメタデータを前記メタデータ記憶手段から取得して出力する出力手段と、を備える。
【００１５】
好適な実施形態では、前記動画再生手段によって動画像が生成されているとき、あるいはその動画像再生の一時停止中に、前記表示装置に表示されている画像像に含まれる被写体の選択を受け付ける選択手段をさらに備え、前記出力手段は、前記選択された被写体のメタデータを、前記メタデータ記憶手段から取得して出力するようにしてもよい。
【００１６】
好適な実施形態では、前記被写体データには、少なくとも、前記動画データのフレーム画像に写っている被写体の、当該フレーム画像内での被写体位置及び前記被写体の識別情報が含まれていてもよい。このとき、前記選択手段は、所定のポインタを用いて前記フレーム画像が前記表示装置に表示されているときに被写体の選択を受け付けると、選択されたときのポインタ位置及び前記被写体データに基づいて選択された被写体を特定するように構成してもよい。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の一実施形態に係るストリームデータ生成システムについて、図面を参照して説明する。
【００１８】
図１は、本実施形態に係るストリームデータ生成及び再生システム１の機能構成図であり、図２は、本実施形態に係るストリームデータ生成及び再生システム１で被写体を撮影する際のビデオカメラ等の配置を示す図である。
【００１９】
本実施形態に係るストリームデータ生成及び再生システム１は、動画撮影を行うとともに、被写体からの無線信号を受信して、動画データと被写体データとを関連づけたストリームデータを生成するものである。特に、本実施形態では、被写体に無線装置としてＲＦＩＤ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）タグを予め取り付けておき、動画撮影と並行してＲＦＩＤタグからの無線信号を所定のリーダで読み取ることにより、動画データ及び被写体データを取得するものを一例に挙げて説明する。しかしながら、本発明にとってＲＦＩＤを用いることは必須ではない。すなわち、被写体ないし被写体に取り付けられた所定の装置からの信号を受信することによって、被写体及びその位置を特定できればよいので、他の方法による無線通信、あるいは赤外線による通信などを用いることもできる。
【００２０】
ストリームデータ生成及び再生システム１は、図１に示すように、ストリームデータ処理装置１０に、ビデオカメラ１１と、ＲＦＩＤタグの読み取りを行うリーダ（カメラ連動リーダ１３及び固定リーダ１５）と、表示装置２と入力装置３とが接続されている。ストリームデータ処理装置１０は、その内部機能として、リーダ制御部１７と、ストリームデータを生成するストリームデータ生成部２１と、被写体の位置を検出する被写体位置検出部２３と、ストリームデータを記憶するストリームデータ記憶部２５と、被写体に関するメタデータを記憶するメタデータ記憶部２７と、ストリームデータ及びメタデータを出力する出力制御部２９とを備える。
【００２１】
ストリームデータ処理装置１０は、例えば汎用的なコンピュータシステムにより構成され、以下に説明するストリームデータ処理装置１０内の個々の構成要素または機能は、例えば、コンピュータプログラムを実行することにより実現される。
【００２２】
ビデオカメラ１１は、被写体の動画撮影を行う。例えば、このビデオカメラ１１には、一般的なディジタルビデオカメラを用いることができる。撮影した動画データ及び音声データは、ストリームデータ生成部２１へ渡される。
【００２３】
被写体に取り付けられたＲＦＩＤタグ５（５ａ〜ｃ）の読み取りを行うリーダには、カメラ連動リーダ１３及び固定リーダ１５がある。カメラ連動リーダ１３及び固定リーダ１５は、それぞれ、予め被写体に取り付けられているＲＦＩＤタグ５からの無線信号を読み取る。
【００２４】
ＲＦＩＤタグ５には、電源を内蔵して自ら電波を発信する能動型、及び電源を内蔵せずにリーダからの問い合わせ信号に応答する電波を発信する受動型のいずれを用いてもよい。以下の実施形態では、受動型のＲＦＩＤタグ５を用いた場合を例に説明する。
【００２５】
カメラ連動リーダ１３及び固定リーダ１５は、それぞれ、問い合わせ信号を発信する発信部１３１，１５１と、ＲＦＩＤタグ５からの応答信号を受信する受信部１３２，１５２を備えている。応答信号には、少なくとも、それぞれのＲＦＩＤが付されている各被写体を識別するための識別情報（被写体ＩＤ）が含まれている。
【００２６】
ＲＦＩＤタグ５（５ａ，５ｂ，５ｃ）が取り付けられている被写体Ａ，Ｂ，Ｃと、ビデオカメラ１１、カメラ連動リーダ１３及び固定リーダ１５は、例えば図２のように配置されていてもよい。
【００２７】
つまり、カメラ連動リーダ１３は、ビデオカメラ１１と連動して移動するように構成されている。そして、カメラ連動リーダ１３は、ビデオカメラ１１と実質的に同じ位置から問い合わせ信号を発信し、これに対するＲＦＩＤ５からの応答信号を受信する。例えば、カメラ連動リーダ１３は、問い合わせ信号をビデオカメラ１１の光軸と同一方向へ指向させて発信するようにしてもよい。このとき、さらに、問い合わせ信号の広がる範囲が、ビデオカメラ１１の画角と一致するようにしてもよい。つまり、ビデオカメラ１１の画角の変化に連動して、問い合わせ信号の出力角度も変化させるようにしてもよい。この制御は、後述するように、リーダ制御部１７からの制御信号に従って行う。
【００２８】
一方、固定リーダ１５は、図２に示すように、所定の固定された位置に配置されていて、ここから被写体に対して問い合わせ信号を発信し、これに対する応答信号を受信する。固定リーダ１５は、カメラ連動リーダ１３と重ならない位置に配置されていてもよい。例えば同図に示すように、カメラ連動リーダ１３から被写体のいる方向へ向かうベクトルと、固定リーダ１５から被写体のいる方向へ向かうベクトルとが、平行にならないような位置に、カメラ連動リーダ１３及び固定リーダ１５を配置してもよい。
【００２９】
リーダ制御部１７は、カメラ連動リーダ１３の問い合わせ信号の出力に関する制御を行う。
【００３０】
図３は、カメラ連動リーダ１３の問い合わせ信号の出力とビデオカメラ１１の画角との関係を示す図である。
【００３１】
例えば、同図に示すように、リーダ制御部１７は、ビデオカメラ１１から、現在撮影中の画角１１０を示す情報を取得して、カメラ連動リーダ１３から出力される問い合わせ信号の広がり角度１３０が、この画角１１０に一致するようにカメラ連動リーダ１３を制御する。なお、図２では、ビデオカメラ１１の画角１１０及び問い合わせ信号の広がり角度１３０について、左右方向の広がりしか表現していないが、上下方向についても同様の制御が行われる。つまり、リーダ制御部１７は、ビデオカメラ１１から左右の画角及び上下の画角をそれぞれ取得して、カメラ連動リーダ１３から出力される問い合わせ信号の左右及び上下の広がり角度が、それぞれ一致するように制御する。
【００３２】
これにより、カメラ連動リーダ１３は、ビデオカメラ１１の視野に含まれる被写体のＲＦＩＤ５にだけ問い合わせ信号が届き、その結果、その視野に含まれる被写体のＲＦＩＤ５からのみ応答信号が返される。これを、以下に具体的に説明する。
【００３３】
図４及び図５には、ビデオカメラ１１の画角及び問い合わせ信号の広がり角度を変動させたときの様子を示す。
【００３４】
図４Ａは、カメラ連動リーダ１３が発する問い合わせ信号の広がり角度を、ビデオカメラ１１の画角に連動させた結果、広がり角度が小さくなっている場合を示す。このとき、被写体Ａ，Ｂには問い合わせ信号が到達するが、被写体Ｃには到達しない。従って、被写体Ａ，ＢのＲＦＩＤ５ａ、５ｂが応答信号を発信し、被写体ＣのＲＦＩＤ５ｃは応答信号を発信しない。
【００３５】
また、このときのビデオカメラ１１の視野２０は、図５Ａに示すようになっている。つまり、被写体Ａ、Ｂが視野２０に入っており、被写体Ｃは視野２０に含まれない。
【００３６】
また、図４Ｂは、カメラ連動リーダ１３が発する問い合わせ信号の広がり角度を、ビデオカメラ１１の画角に連動させた結果、広がり角度が大きくなっている場合を示す。このとき、被写体Ａ，Ｂ及びＣのすべてに問い合わせ信号が到達し、すべての被写体Ａ〜ＣのＲＦＩＤ５ａ〜ｃが応答信号を発信している。
【００３７】
このときのビデオカメラ１１の視野２０は、図５Ｂに示すようになっている。つまり、被写体Ａ、Ｂ及びＣのいずれもが視野２０に入っている。
【００３８】
このように、カメラ連動リーダ１３が発する問い合わせ信号の広がり角度を、ビデオカメラ１１の画角に連動させることにより、視野に含まれる、つまりビデオカメラ１１で撮影している映像に写っている被写体だけから応答信号受信するようにできる。
【００３９】
再び図１を参照すると、被写体位置検出部２３は、カメラ連動リーダ１３及び固定リーダ１５の出力と、ビデオカメラ１１の画角に基づいて、被写体の位置を検出する。
【００４０】
例えば、カメラ連動リーダ１３は、受信した応答信号がどの方向から送られてきた方向を特定するために、応答信号の受信角度を検出する。そして、被写体位置検出部２３は、カメラ連動リーダ１３から、この応答信号に含まれる被写体ＩＤ及びその受信角度を取得する。さらに、被写体位置検出部２３は、その応答信号受信時の画角を示す情報をビデオカメラ１１から取得する。そして、被写体位置検出部２３は、これらに基づいてビデオカメラ１１の視野内における被写体の相対的な位置を特定する。
【００４１】
この被写体の位置特定は、フレーム単位で行われる。例えば、被写体位置検出部２３は、それぞれのフレームにおいて、視野内で被写体が写っている位置（正確に言えば被写体に付されたＲＦＩＤタグの位置）を特定する。複数の被写体が視野に含まれるときは、それぞれの位置を特定する。
【００４２】
例えば、図４Ａに示す例では、視野２０内に被写体Ａ，Ｂが写っている。このとき、被写体位置検出部２３は、ビデオカメラ１１から画角情報、カメラ連動リーダ１３から応答信号の受信角度情報を取得する。そして、被写体位置検出部２３は、視野２０内での被写体Ａ，Ｂの位置座標を算出する。
【００４３】
ここで、図６を用いて、被写体の位置座標の特定方法を具体的に説明する。
【００４４】
同図Ａは、視野２０により定まる画角と受信角度との関係を示す。ビデオカメラ１１及びカメラ連動リーダ１３の位置をＯ’とすると、位置Ｏ’から見た左右の画角及び上下の画角により視野２０の範囲が定まる。ここで、カメラ連動リーダ１３が視野２０内にある被写体から応答信号を受信すると、視野の中心を原点Ｏとしたとき、原点Ｏからの水平方向の変位角θと垂直方向の変位角φにより、受信角度（θ，φ）が定まる。
【００４５】
同図Ｂは、視野２０を正面から見た図、つまり、ビデオカメラ１１が撮影した画像である。ここで、被写体位置検出部２３は、受信角度（θ，φ）を、画角を用いて視野２０における（ｘ，ｙ）座標に変換する。つまり、被写体位置検出部２３は、水平方向の変位角θと左右の画角を用いてｘ座標に変換し、垂直方向の変位角φと上下の画角を用いてｙ座標に変換することにより、視野２０内での被写体位置を特定する。この（ｘ，ｙ）座標は、ビデオカメラ１１の撮像素子の画素の位置で表してもよい。
【００４６】
なお、カメラ連動リーダ１３が発する問い合わせ信号の広がり角度を、ビデオカメラ１１の画角に連動させないときは、視野の外にある被写体からも応答信号を受信する場合があるが、このときは、上述の応答信号の受信角度と画角を用いることにより、視野の外の被写体を識別可能である。そして、視野外の被写体の情報はフレームデータ生成部２１へ通知しないようにしてもよい。
【００４７】
また、被写体位置検出部２３は、ビデオカメラ１１に対する被写体の奥行き方向の位置を特定するようにしてもよい。例えば、図２に示すように、被写体Ａ〜Ｃに対して、カメラ連動リーダ１３と固定リーダ１５とが互いに異なる向きを向いているときに、被写体位置検出部２３は、視野に含まれる複数の被写体の、ビデオカメラ１１に対する前後関係（いずれが手前か）を判定する。
【００４８】
まず、被写体位置検出部２３は、カメラ連動リーダ１３から取得する情報の他に、固定リーダ１５から、固定リーダ１５が受信した応答信号に含まれる被写体ＩＤ及びその受信角度を取得する。そして、カメラ連動リーダ１３及び固定リーダ１５の位置が既知であれば、被写体位置検出部２３は、被写体ＩＤをキーにして、カメラ連動リーダ１３の応答信号の受信角度と固定リーダ１５の応答信号の受信角度とを組み合わせることで、少なくとも、複数の被写体の位置をビデオカメラ１１から近いものから順に順位を付けることができる（例えば、最も近いものから順に、１，２，３，…と順位を付ける）。このように、各被写体のビデオカメラ１１に対する近さを順位付けする特定することは、撮影した画像において、複数の被写体が重なる場合に、手前に写っている被写体を特定するために特に有効である。
【００４９】
さらに、ビデオカメラ１１に対する被写体の奥行き方向の位置の特定は、カメラ連動リーダ１３が受信する応答信号の受信強度によって行うようにしてもよい。奥行き方向の位置特定を行わないとき、または、カメラ連動リーダ１３の受信する信号で奥行き方向の位置特定が可能なときは、固定リーダ１５を省略することができる。
【００５０】
また、ビデオカメラ１１にＲＦＩＤタグを取り付け、固定リーダ１５がそれを読み取ることにより、ビデオカメラ１１の位置を特定するようにしてもよい。このときには、被写体位置検出部２３がカメラ連動リーダ１３及び固定リーダ１５の出力に基づいて、各被写体の３次元的な位置を特定してから、各被写体のビデオカメラ１１に対する近さについての位置関係を特定してもよい。
【００５１】
被写体位置検出部２３は、各フレームについて、被写体ＩＤ別に、それぞれの被写体位置（座標）及びビデオカメラ１１に対する近さの順位をフレームデータとして、ストリームデータ生成部２１へ通知する。
【００５２】
ストリームデータ生成部２１は、ビデオカメラ１１から動画データを取得し、被写体位置検出部２３からフレームデータを取得すると、これらをフレームごとに互いに関連づけてストリームデータを生成し、ストリームデータ記憶部２５へ格納する。
【００５３】
このとき、ビデオカメラ１１の視野内で、複数の被写体間の距離が所定距離以内の近さであるときは、手前（つまりビデオカメラ１１側）に位置する被写体に関するデータを、動画データに優先させて関連づけるようにしてもよい。被写体間の距離が所定距離以内とは、例えば、ビデオカメラ１１が撮影した映像において重なってしまう程度近いような場合である。ここで、優先させて関連づけるとは、例えば、手前の被写体に関するデータのみを動画データと関連づけて記憶し、奥に位置する被写体のデータは関連づけないようにしてもよいし、手前側の被写体から順に、優先順位を付けて関連づけるようにしてもよい。
【００５４】
ストリームデータ記憶部２５は、ストリームデータ生成部２１で生成されたストリームデータ２５０を記憶する。
【００５５】
メタデータ記憶部２７は、被写体に関するメタデータ２７０が予め記憶されている。
【００５６】
図７に、ストリームデータ記憶部２５及びメタデータ記憶部２７のデータ構造の一例を示す。
【００５７】
ストリームデータ記憶部２５は、同図Ａに示すように、フレームＮｏ２５１と、そのフレームの画像データ２５２及び音声データ２５３と、そのフレームと関連づけられた被写体ＩＤ２５４及びフレーム内の被写体位置２５５とを含む。一つのフレームに複数の被写体が写っているときは、被写体ＩＤ２５４及び被写体位置２５５を、各被写体分だけ追加してもよい。また、被写体位置２５４は、省略してもよい。
【００５８】
メタデータ記憶部２７に格納されるメタデータは、例えば、同図Ｂに示すように、被写体ＩＤ２７１と、被写体名称２７２と、被写体属性２７３と、参照情報２７４とを含む。参照情報２７４は、例えば、その被写体と関連する情報にアクセスするためのＵＲＬ（Ｕｎｉｖｅｒｓａｌ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）などのリンク情報でもよい。
【００５９】
出力制御部２９は、ストリームデータ記憶部２５に記憶されているストリームデータ２５０に基づいて、所定の表示装置２に対して動画データを、動画再生可能に出力する。これにより、ストリームデータ２５０を通常のビデオ映像と同様に動画再生することができる。
【００６０】
また、出力制御部２９は、ストリームデータ２５０に含まれている被写体のデータと、メタデータ記憶部２７のメタデータ２７０に基づいて、動画に写っている被写体のメタデータ２７０を出力する。例えば、表示装置２において動画再生中、または、動画再生の一時停止中に、動画の視聴者から、入力装置３を用いて映像に写っている被写体の選択を受け付けると、出力制御部２９は、その選択された被写体のメタデータ２７０をメタデータ記憶部２７から取得して、表示装置２に表示させる。
【００６１】
被写体の選択は、例えば、図５Ｂに示すように、表示装置２にポインタ２０１を表示させ、写っている被写体を選択させるようにしてもよい。
【００６２】
ここで、図５を参照して、表示装置２に表示される画像について説明する。
【００６３】
同図に示すように、表示装置２にフレームごとに撮影された画像が表示される。例えば、同図Ｂに示すフレームＮｏ２２２の場合のように、視聴者が入力装置３に対して所定の操作を行って、ポインタ２０１を用いて被写体Ａを選択したとすると、吹き出し２０２に被写体Ａのメタデータが表示される。なお、ここでは被写体をポインタを用いて選択しているが、ポインタではなく、別の方法で被写体を選択してもよい。
【００６４】
このときの処理は、例えば以下のように行う。すなわち、視聴者が被写体Ａを選択すると、このときのポインタ２０１の位置が、入力装置３から出力制御部２９へ通知される。出力制御部２９は、この通知を受けると、現在のフレームにおける、通知されたポインタ位置近傍の被写体位置２５５を有する被写体ＩＤ２５４を特定し、その被写体ＩＤ２７１の被写体名称２７２、被写体属性２７３及び参照情報２７４を取得して、表示装置２に表示させている。なお、ポインタ位置から被写体位置２５５までの距離が所定距離より近い被写体が複数あるとき、それら複数の被写体について、被写体名称２７２、被写体属性２７３及び参照情報２７４のうちの一つ以上を表示するようにしてもよい。
【００６５】
なお、ストリームデータ２５０に被写体位置２５５が含まれていないときは、そのフレームに含まれる全被写体の被写体名称２７２を表示装置２に一覧表示させて、その中からさらに視聴者に選択させて、被写体属性２７３及び参照情報２７４を表示させるようにしてもよい。さらに、ユーザが選択したフレームに、優先順位がつけられて複数の被写体データが格納されているときは、その優先順位に従って表示するようにしてもよい。
【００６６】
次に、上述のような構成を備えたストリームデータ生成及び再生システム１における処理手順について説明する。
【００６７】
図８は、ストリームデータの生成手順を示すフローチャートである。
【００６８】
まず、ビデオカメラ１１で動画撮影を行う（Ｓ１１）。
【００６９】
これと並行して、カメラ連動リーダ１３及び固定リーダ１５が、被写体に付けられているＲＦＩＤからの無線信号を受信する（Ｓ１３）。被写体位置検出部２３は、この無線信号の受信角度及び視野の画角に基づいて、被写体の位置検出を行う（Ｓ１４）。
【００７０】
そして、ストリームデータ生成部２１が、動画データ及び被写体データを関連づけて、ストリームデータを生成し（Ｓ１７）、ストリームデータ記憶部２５へ格納する（Ｓ１８）。
【００７１】
これにより、動画データ及びその動画に写っている被写体のデータを、ストリームデータとして一体に管理することができ、データの取扱が容易になる。
【００７２】
図９は、ストリームデータの再生手順を示すフローチャートである。
【００７３】
出力制御部２９は、ストリームデータ記憶部２５からストリームデータを取得して、表示装置２に動画再生する（Ｓ２１）。出力制御部２９は、この動画再生中、あるいは一時停止中に、表示されている画像に対して被写体が入力装置３のポインタなどを使って選択されたか否かを判定する（Ｓ２３）。
【００７４】
ここで、被写体が選択されると（Ｓ２３：Ｙｅｓ）、出力制御部２９は、ストリームデータ記憶部２５を参照し、ポインタ位置に基づいて被写体を特定する（Ｓ２５）。そして、特定された被写体のメタデータをメタデータ記憶部２７から取得し、表示装置２に表示させる（Ｓ２７）。
【００７５】
なお、ステップS２３の被写体の選択を行わなくても、再生中の動画に写っている被写体のメタデータを表示装置２に表示させてもよい。
【００７６】
これにより、視聴者は、動画像の再生中に、その映像に写っている被写体のメタデータを簡単に取得することができる。
【００７７】
さらに、ストリームデータには、画像内での被写体の位置が含まれているので、視聴者がより簡単な操作で被写体を選択することができる。
【００７８】
上述した本発明の実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。
【００７９】
例えば、上述の実施形態でストリームデータ処理装置１０に含まれる構成要素を一つのコンピュータマシン上に実現してもよいし、ストリームデータ記憶部２５，メタデータ記憶部２７及び出力制御部２９は、他の構成要素とは別のコンピュータマシン上に実現してもよい。
【００８０】
さらに、入力装置３及び表示装置２は、例えば、インターネットなどの所定のネットワークを介して接続されていてもよい。このとき、表示装置２及び入力装置３は、ネットワークに接続されたコンピュータマシン、あるいはテレビ受信機により実現することができる。
【００８１】
また、メタデータは、必ずしも動画像を表示する表示装置と同一の表示装置に出力する必要はなく、別の出力装置に出力してもよい。
【図面の簡単な説明】
【００８２】
【図１】本発明の一実施形態に係るストリームデータ生成及び再生システム１を示す。
【図２】被写体を撮影する際のビデオカメラ等の配置を示す図である。
【図３】カメラ連動リーダ１３の問い合わせ信号の出力とビデオカメラ１１の画角との関係を示す。
【図４】ビデオカメラ１１の画角と問い合わせ信号の広がり角度との関連を示す。
【図５】ビデオカメラ１１の画角と問い合わせ信号の広がり角度との関連を示す。
【図６】被写体の位置座標の特定の方法を示す。
【図７】ストリームデータ記憶部２５及びメタデータ記憶部２７のデータ構造の一例を示す。
【図８】ストリームデータの生成手順を示すフローチャートである。
【図９】ストリームデータの再生手順を示すフローチャートである。
【符号の説明】
【００８３】
１      ストリームデータ生成及び再生システム
２      表示装置
３      入力装置
５      タグ
１０    ストリームデータ処理装置
１１    ビデオカメラ
１３    カメラ連動リーダ
１５    固定リーダ
１７    リーダ制御部
２０    視野
２１    ストリームデータ生成部
２３    被写体位置検出部
２５    ストリームデータ記憶部
２７    メタデータ記憶部
２９    出力制御部
【図１】
2008172485.tif 000003
【図２】
2008172485.tif 000004
【図３】
2008172485.tif 000005
【図４】
2008172485.tif 000006
【図５】
2008172485.tif 000007
【図６】
2008172485.tif 000008
【図７】
2008172485.tif 000009
【図８】
2008172485.tif 000010
【図９】
2008172485.tif 000011