(57)【要約】【課題】  動画像を検索可能にすることができる動画像処理装置を提供する。【解決手段】  動画像処理装置１は、動画像の撮影時における人物、物及びこれらの動作のうちの少なくともいずれか一つを検出するセンサからのセンサ情報を管理するセンサ管理部６１乃至６ｎと、あらかじめ与えられた異種のセンサ情報の組み合わせの意味づけを反映したメタデータを格納するデータベース８と、センサ管理部６１乃至６ｎからのセンサ情報に基づいて、データベース８を参照して、センサ情報の組み合わせを判定して動画像に対してメタデータを付与するセンサ組み合わせ判定部９と、センサ情報及びメタデータを関連付けてデータベース１０に記録するセンサ情報記録部１１と、入力された検索条件及びメタデータに基づいて動画像を検索する検索部１２とを備える。【選択図】          図１
2006121264.tif 000002
【特許請求の範囲】
【請求項１】
動画像の撮影時における人物、物及びこれらの動作のうちの少なくとも一つをセンサ情報として検出するセンサを管理する管理手段と、
前記管理手段からのセンサ情報に基づいて、前記センサ情報の組み合わせを判定して前記動画像に対してメタデータを付与する付与手段と
を備えることを特徴とする動画像処理装置。
【請求項２】
前記動画像処理装置は更に、前記付与手段が参照し、前記センサ情報の組み合わせの意味づけを反映したメタデータを格納する格納手段を備えることを特徴とする請求項１記載の動画像処理装置。
【請求項３】
前記動画像処理装置は更に、前記センサ情報及び前記メタデータを関連付けて所定のデータベースに記録する記録手段を備えることを特徴とする請求項１又は請求項２記載の動画像処理装置。
【請求項４】
前記動画像処理装置は更に、前記動画像を時刻情報と共に所定のデータベースに記録する映像記録手段を備えることを特徴とする請求項１から請求項３のいずれか一項に記載の動画像処理装置。
【請求項５】
前記動画像処理装置は更に、入力された検索条件及び前記メタデータに基づいて前記動画像を検索する検索手段を備えることを特徴とする請求項１から請求項４のいずれか一項に記載の動画像処理装置。
【請求項６】
前記管理手段は、前記人、物及びこれらの動作をＩＤにより管理するＩＤ管理手段を含むことを特徴とする請求項１記載の動画像処理装置。
【請求項７】
前記管理手段は、前記センサの検出時刻を提供する管理手段を含むことを特徴とする請求項１記載の動画像処理装置。
【請求項８】
前記管理手段は、ＵＲＬ表現の形式で前記付与手段との間で通信を行うことを特徴とする請求項１記載の動画像処理装置。
【請求項９】
前記管理手段は、発言を検出するセンサを管理する管理手段、位置情報を検出するセンサを管理する管理手段及び手書き入力を検出するセンサを管理する管理手段のうちの少なくともいずれかの管理手段を含む請求項１記載の動画像処理装置。
【請求項１０】
前記付与手段は、前記管理手段からのセンサ情報に基づいて、ホワイトボードに所定のペンを用いて描いた場合には、強い主張とのメタデータを付与することを特徴とする請求項１記載の動画像処理装置。
【請求項１１】
前記付与手段は、前記管理手段からのセンサ情報に基づいて、発言ボタンあるいは会議の参加者それぞれに与えられているマイクのスイッチを入れて発言した場合には、発言とのメタデータを付与する請求項１記載の動画像処理装置。
【請求項１２】
前記付与手段は、前記管理手段からのセンサ情報に基づいて、所定以上の人が挙手をしたことを検出した場合には、議決及び承認のうちの少なくともいずれか一方のメタデータを付与する請求項１記載の動画像処理装置。
【請求項１３】
前記付与手段は、前記管理手段からのセンサ情報に基づいて、会議の参加者に与えられている投票ボタンを押した場合には、議決および賛成、ならびに、議決および反対のうちのいずれか一方のメタデータを付与する請求項１記載の動画像処理装置。
【請求項１４】
前記付与手段は、前記管理手段からのセンサ情報に基づいて、部屋の照明及びプロジェクタの電源の状態に応じて、メタデータを付与する請求項１記載の動画像処理装置。
【請求項１５】
前記付与手段は、前記管理手段からのセンサ情報に基づいて、前記センサのグループの組み合わせを判定して前記動画像に対してメタデータを付与することを特徴とする請求項１記載の動画像処理装置。
【請求項１６】
動画像の撮影時における人物、物及びこれらの動作のうちの少なくとも一つをセンサによってセンサ情報として検出する検出ステップと、
前記センサからのセンサ情報に基づいて、前記センサ情報の組み合わせを判定して前記動画像に対してメタデータを付与する付与ステップと
を有することを特徴とする動画像処理方法。
【請求項１７】
前記付与ステップは、前記センサ情報の組み合わせの意味づけを反映したメタデータを格納する格納手段を参照して前記動画像に対して前記メタデータを付与することを特徴とする請求項１６記載の動画像処理装置。
【請求項１８】
動画像の撮影時における人物、物及びこれらの動作のうちの少なくとも一つを検出するセンサのセンサ情報を取得するステップ、
前記センサ情報に基づいて、前記センサ情報の組み合わせを判定して前記動画像に対してメタデータを付与する付与ステップをコンピュータに実行させるプログラム。
【請求項１９】
前記付与ステップは、前記センサ情報の組み合わせの意味づけを反映したメタデータを参照して、前記動画像に対して前記メタデータを付与することを特徴とする請求項１８記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像処理装置、動画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
メタデータは、データについての情報を記述したデータである。膨大なデータの山の中から目的のデータを探し出す手助けとするために作成される。メタデータを用いて動画を検索・編集することに関する従来技術として以下のようなものが提案されている。
【０００３】
特許文献１記載の動画像加工装置は、付帯するメタデータを利用して入力動画像の各フレームごとに適切な領域で切り出すことによって動画像特徴量や使用方法に応じた出力動画像を自動的に作成する。
【０００４】
特許文献２記載の動画像管理装置は、動画像に編集が加えられた後でも、当該動画像に付与されているメタデータを容易に適正化し、活用できるようにする。
【０００５】
特許文献３記載の動画像検索装置は、入力映像よりオブジェクト領域を抽出し、そのオブジェクト領域の連続するフレームの形状の変化をも含み変化する形状特徴を抽出して予めメタデータデータベースに格納する。検索のために指定された形状特徴のメタデータとメタデータデータベース中に予め格納されたメタデータとを比較し、類似度のある映像を表示する。
【０００６】
【特許文献１】特開２００４−１７２６７１号公報
【特許文献２】特開２００３−２５９２６８号公報
【特許文献３】特開２００１−２６８４７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、動画像を対象としたアノテーションの付与やメタデータの抽出は困難である。例えば、動画像群を対象として、それらを撮影する際にその動画に撮影される人や物についての録画と同時かつ自動的にメタデータを付与することは困難である。このため、このような動画像に対してメタデータを用いた検索を行うことができないという問題がある。上記特許文献によっては、このような動画像に対して自動的にメタデータを付与することはできない。
【０００８】
そこで、本発明は、上記問題点に鑑みてなされたもので、動画像を検索可能にすることができる動画像処理装置、動画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明は、動画像の撮影時における人物、物及びこれらの動作のうちの少なくとも一つをセンサ情報として検出するセンサを管理する管理手段と、前記管理手段からのセンサ情報に基づいて、前記センサ情報の組み合わせを判定して前記動画像に対してメタデータを付与する付与手段とを備える動画像処理装置である。本発明によれば、動画像の撮影時における人物、物及び該人物又は物の動作を検出するセンサのセンサ情報に基づいて、前記センサ情報の組み合わせを判定することで動画像に対して自動的にメタデータを付与することができる。これにより、撮影対象の人、物、動作の共通の特徴を有する動画像を検索可能にすることができる。なお、センサには、発言ボタン、マイク、位置情報センサ、手書き入力センサ等が含まれる。
【００１０】
本発明の動画像処理装置は更に、前記付与手段が参照し、前記センサ情報の組み合わせの意味づけを反映したメタデータを格納する格納手段を備える。本発明によれば、あらかじめ与えられた異種のセンサ情報の組み合わせの意味づけを反映したメタデータを付与することができる。これにより、撮影対象の人、物、動作の共通の特徴を有する動画像を検索可能にすることができる。
【００１１】
本発明の動画像処理装置は更に、前記センサ情報及び前記メタデータを関連付けて所定のデータベースに記録する記録手段を備える。本発明によれば、動画像に対して付与したメタデータに基づいて、動画像を提供することができる。
【００１２】
本発明の動画像処理装置は更に、前記動画像を時刻情報と共に所定のデータベースに記録する映像記録手段を備える。
【００１３】
本発明の動画像処理装置は更に、入力された検索条件及び前記メタデータに基づいて前記動画像を検索する検索手段を備える。本発明によれば、メタデータを用いて撮影対象の人、物、動作の共通の特徴を有する動画像を検索することができる。
【００１４】
前記管理手段は、前記人、物及びこれらの動作をＩＤにより管理するＩＤ管理手段を含む。また、前記管理手段は、前記センサの検出時刻を提供する管理手段を含む。本発明によれば、センサが時刻情報を持っていない場合でも、センサ情報と時刻情報と対応付けることができる。
【００１５】
前記管理手段は、ＵＲＬ表現の形式で前記付与手段との間で通信を行うのが好ましい。本発明によれば、異種のセンサデバイスを対象として、ＵＲＬのみによる動的な疎結合を実現することができる。
【００１６】
前記管理手段は、発言を検出するセンサを管理する管理手段、位置情報を検出するセンサを管理する管理手段及び手書き入力を検出するセンサを管理する管理手段のうちの少なくともいずれかの管理手段を含むのが好ましい。
【００１７】
例えば、前記付与手段は、前記管理手段からのセンサ情報に基づいて、ホワイトボードに所定のペンを用いて描いた場合、強い主張とのメタデータを付与する。また前記付与手段は、発言ボタンあるいは会議の参加者それぞれに与えられているマイクのスイッチを入れて発言した場合には、発言とのメタデータを付与する。また前記付与手段は、画像認識を用いて、所定以上の人が挙手をしたことを検出した場合には、議決及び承認のうちの少なくともいずれか一方のメタデータを付与する。前記付与手段は、会議の参加者に与えられている投票ボタンを押した場合には、議決および賛成、ならびに、議決および反対のうちのいずれか一方のメタデータを付与する。前記付与手段は、部屋の照明及びプロジェクタの電源の状態に応じて、メタデータを付与する。
【００１８】
前記付与手段は、前記管理手段からのセンサ情報に基づいて、前記センサのグループの組み合わせを判定して前記動画像に対してメタデータを付与するのが好ましい。
【００１９】
本発明は、動画像の撮影時における人物、物及びこれらの動作のうちの少なくとも一つをセンサによってセンサ情報として検出する検出ステップと、前記センサからのセンサ情報に基づいて、前記センサ情報の組み合わせを判定して前記動画像に対してメタデータを付与する付与ステップとを有する動画像処理方法である。本発明によれば、動画像の撮影時における人物、物及びこれらの動作を検出するセンサのセンサ情報に基づいて、前記センサ情報の組み合わせを判定することで動画像に対して自動的にメタデータを付与することができる。これにより、撮影対象の人、物、動作の共通の特徴を有する動画像を検索可能にすることができる。
【００２０】
前記付与ステップは、前記センサ情報の組み合わせの意味づけを反映したメタデータを格納する格納手段を参照して前記動画像に対して前記メタデータを付与するのが好ましい。本発明によれば、あらかじめ与えられた異種のセンサ情報の組み合わせの意味づけを反映したメタデータを付与することができる。これにより、撮影対象の人、物、動作の共通の特徴を有する動画像を検索可能にすることができる。
【００２１】
本発明は、動画像の撮影時における人物、物及びこれらの動作のうちの少なくとも一つを検出するセンサのセンサ情報を取得するステップ、前記センサ情報に基づいて、前記センサ情報の組み合わせを判定して前記動画像に対してメタデータを付与する付与ステップをコンピュータに実行させるプログラムである。本発明によれば、動画像の撮影時における人物、物及びこれらの動作を検出するセンサのセンサ情報に基づいて、前記センサ情報の組み合わせを判定することで動画像に対して自動的にメタデータを付与することができる。これにより、撮影対象の人、物、動作の共通の特徴を有する動画像を検索可能にすることができる。
【００２２】
前記付与ステップは、前記センサ情報の組み合わせの意味づけを反映したメタデータを参照して、前記動画像に対して前記メタデータを付与するのが好ましい。本発明によれば、あらかじめ与えられた異種のセンサ情報の組み合わせの意味づけを反映したメタデータを付与することができる。これにより、撮影対象の人、物、動作の共通の特徴を有する動画像を検索可能にすることができる。
【発明の効果】
【００２３】
本発明によれば、動画像を検索可能にすることができる動画像処理装置、動画像処理方法及びプログラムを提供することができる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明を実施するための最良の形態について実施例を用いて説明する。
【００２５】
［第１実施形態］図１は、第１実施形態による動画像処理装置の構成を示す図である。図１に示すように、動画像処理装置１は、複数のカメラ２ｎ、映像データベース３、映像記録部４、ＩＤ管理部５、発言センサ管理部６１、位置情報センサ管理部６２、手書き入力センサ管理部６３、センサｎ管理部６ｎ、時刻提供部７、センサの組み合わせの意味づけデータベース８、センサ組み合わせ判定部９、センサデータベース１０、センサ情報記録部１１及び検索部１２を備える。
【００２６】
動画像処理装置１は、動画像の撮影対象である人、物及びこれらの動作のＩＤ、位置情報、時間の刻印(timestamp)の組をセンサ情報として獲得し、あらかじめ与えられた異種のセンサ情報の組み合わせの意味づけを反映したメタデータを格納し、抽出されたメタデータを対象として撮影対象の人、物及びこれらの動作と共通の特徴を有する動画像を検索可能とする動画像データベースの実現可能とするものである。
【００２７】
カメラ２ｎは、例えば会議室等に設置され、撮影した映像とそのときの時刻情報を映像記録部４に出力する。映像データベース３は、動画像と撮影時の時刻情報を格納するものである。映像記録部４は、カメラ２１乃至２ｎで撮影した動画像を時刻情報と共に映像データベース３へ記録する。ＩＤ管理部５は、会議室内での動画像の撮影対象となる人、物およびこれらの動作をＩＤにより管理するものである。ここで、物には、例えばプロジェクタやホワイトボードなどが含まれる。動作には、例えば手書き入力などが含まれる。ＩＤ管理部５のＩＤは、例えばどの発言が誰の発言かを特定するために用いるものである。特に会議においては誰がどの動作を行ったかが重要となる。このため、ＩＤ管理部５によりＩＤを認識することにより、動画像を対象としたメタデータの付与において、動画像中の人の動作の主体を識別し、抽象度が高く利用価値の高いメタデータを生成することができる。センサ組み合わせ判定部９は、ＩＤ管理部５のＩＤによって撮影対象を認識することができる。
【００２８】
発言センサ管理部６１は、例えば発言ボタンまたはマイク等の発言センサを管理する。発言センサは、発言ボタンが押された場合あるいは会議の参加者それぞれに与えられているマイクのスイッチを入れて発言されたことを検出する。位置情報センサ管理部６２は、例えば、人が持つＩＤカードまたは会議室内に設置された物に付与されたＩＤを検出する位置情報センサを管理するものである。手書き入力センサ管理部６３は、例えばホワイトボードに所定のペンを用いて描いたことを検出する手書き入力センサを管理する。
【００２９】
センサ管理部６ｎは、発言センサ管理部６１、位置情報センサ管理部６２及び手書き入力センサ管理部６３以外のセンサ管理部であり、動画像の撮影時における人物、物及びこれらの動作を検出するセンサを管理する。各センサ管理部６１乃至６ｎは、ＵＲＬ表現の形式でセンサ組み合わせ判定部９との間で通信を行う。これにより、異種のセンサデバイスを対象として、ＵＲＬのみによる動的な疎結合を実現することができる。発言センサ管理部６１、位置情報センサ管理部６２、手書き入力センサ管理部６３乃至センサ管理部６ｎは、センサ情報を出力する。
【００３０】
時刻提供部７は、各センサが時刻情報を持たない場合、センサの検出時刻を各センサ管理部６１乃至６ｎに提供する。各センサ管理部６１乃至６ｎは、時刻提供部７からの時刻情報を受け、結合した後に時刻情報と共にセンサ情報を出力する。
【００３１】
センサの組み合わせの意味づけＤＢ８は、あらかじめ与えられた異種のセンサ情報の組み合わせの意味づけを反映したメタデータを格納する。センサの組み合わせ判定部９は、動画像の撮影対象である人、物及びこれらの動作ＩＤ、各センサ管理部６１乃至６ｎからのセンサ情報、時刻の刻印の組をセンサ情報として獲得し、センサの組み合わせの意味づけＤＢ８を参照し、センサ情報の組み合わせを判定して動画像に対してメタデータを付与する。センサデータベース１０は、例えばセンサＩＤ及び時刻情報等のセンサ情報、メタデータ、パラメータを格納するものである。センサ情報記録部１１は、センサ情報、時刻情報及びセンサ組み合わせ判定部９からのメタデータを関連付けてセンサデータベース１０に記録する。
【００３２】
検索部１２は、入力された検索条件及びセンサデータベース１０に格納されたメタデータに基づいて、映像データベース３内の動画像を検索する。検索部１２は、ユーザインタフェースＵＩとして時間軸に沿って動画像とそのメタデータを同時に表示し動画像を再生する部分を探す。検索部１２は、検索者がキーワード（検索条件）を入力することにより検索を行う。また、検索部１２は、センサデータベース１０より利用者の望む人、物及びこれらの動作を特定し、その時刻情報と同一あるいは近い時刻を持つ動画を映像データベースより獲得し、利用者へ提供する。
【００３３】
次に、センサデータベース１０のデータ構造について説明する。図２は、センサデータベースのデータ構造を示す図である。図２に示すように、センサデータベースには、センサＩＤ、時刻、メタデータ及びパラメータが格納される。センサＩＤ、時刻及びパラメータがセンサ情報である。また、メタデータを記録する場合、時刻及びメタデータを組として一つの要素を上記のデータ構造の一行として記録する。センサ群のデータを直接記録する場合には、センサＩＤ、時刻及びパラメータの組を記録する。パラメータが複数存在する場合には、複数の行に分割して記述する。ここで述べるパラメータとは、各センサに依存したセンサ固有（かつセンサＩＤや時刻以外の）の出力データを指す。例えば位置センサであればＸ、ＹおよびＺ座標、発言を検知するセンサであれば発言の有無、手書き入力センサであれば手書きの軌跡を記録した点データの集合を指す。
【００３４】
次に、センサの組み合わせの意味づけデータベース８のデータ構造について説明する。センサの組み合わせの条件とそれに対応するメタデータを、次の式の集合として記述する。このとき、左辺においては通常の論理式と同様に演算の優先順位を示す括弧「（）「」」を記述可能とする。
・（センサＩＤ1、パラメータの条件1）ａｎｄ／ｏｒ（センサＩＤ2、パラメータの条件2）ａｎｄ／ｏｒ…＝メタデータ
【００３５】
図３は、センサデバイス群の動的な疎結合を説明するための図である。図３のように、センサ組み合わせ判定部９とＩＤ管理部５、各センサ管理部６１乃至６ｎ及び時刻提供部７との接続において、通信の形式としてＵＲＬ表現の形式を定めておき、それに沿ってＩＤ管理部５、各センサ管理部６１乃至６ｎ、時刻提供部７は、センサＩＤ、時間、パラメータ１及びパラメータ２をセンサ組み合わせ判定部９及びセンサ情報記録部１１に送信する。なお、通常は双方においてシステム・インタフェースの統一などが課題となり大きな変更を伴う。また、各センサは、通常コンパクトな形状を有し、複雑な通信機構を導入することは困難である。
【００３６】
例えば、センサ組み合わせ判定部９をあるＷＷＷサーバ sensor.example.com において実現し、あるセンサを、センサ管理部６１乃至６ｎを通じて接続する場合、各センサ管理部６１乃至６ｎは、次のＵＲＬをアクセスすることによりセンサから得られたデータをセンサ組み合わせ判定部９に送信する。この送信形式のみを知るのみで他の詳細は知る必要がない。
http://sensor.example.com/send.cgi?sensorid=0001&time=2004/09/08+20:21:58&x=100&y=120
【００３７】
このように実現することにより、動的に、かつ、センサデバイス群の構成を変更することなく、各センサデバイス群を容易に接続・変更・切断することが可能となる。
【００３８】
次に、センサ組み合わせ判定部９のメタデータの付与例について説明する。センサ組み合わせ判定部９は、センサの組み合わせの意味づけＤＢ８を参照して、あらかじめ与えられた異種のセンサ情報の組み合わせの意味づけを、反映し、それをメタデータとして付与する。あらかじめ与えられた異種のセンサ情報の組み合わせの意味づけには、例えば、ホワイトボード付近にある人が３次元ペンを用いて図形を描いた場合は強い主張とする等が含まれる。この異種のセンサ情報の組み合わせの意味づけとしては、次の例が考えられる。
【００３９】
（１）ホワイトボード付近にある人が３次元ペンを用いて図形を描いた場合、「強い主張」とのメタデータを付与する。
（２）発言ボタンあるいは会議の参加者それぞれに与えられているマイクのスイッチを入れて発言した場合には、「発言」とのメタデータを付与する。
（３）画像認識を用いて挙手を検出し、多くの人が同時に挙手をした場合は「議決」や「承認」とのメタデータを与える。
（４）会議の参加者に与えられている投票ボタン（賛成or反対）を押した場合には、メタデータを「議決」および「賛成」、または、「議決」および「反対」とする。
（５）部屋のライトが消灯されプロジェクタの電源がＯＮされると「プレゼンテーションの開始」、逆にプロジェクタの電源がＯＦＦされライト点灯されると「プレゼンテーションの終了」とメタデータを付与する。
【００４０】
次に、センサ組み合わせ判定部９のメタデータの付与手順について説明する。図４は、センサ組み合わせ判定部９のメタデータの付与手順を示すフローチャートである。ステップＳ１で、センサ組み合わせ判定部９には、ＩＤ管理部５、センサ管理部６１乃至６ｎ及び時刻提供部７からのセンサ情報が、独立に入力される。ステップＳ２で、センサ組み合わせ判定部９は、「センサの組み合わせの意味づけ」データベース８に記録されているセンサ情報の組み合わせとその意味づけの組をチェックする。
【００４１】
ステップＳ３で、センサ組み合わせ判定部９は、ステップＳ２において一致する組が存在する場合はそれに対応する意味づけをメタデータとしてセンサ情報記録部１１へ出力する。センサ組み合わせ判定部９は、ステップＳ２において一致する組が存在しない場合はなにも出力しない。センサ情報記録部１１は、ＩＤ管理部５、各センサ管理部６１乃至６ｎからの出力、およびセンサ組み合わせ判定部９からのメタデータを入力として受け、センサデータベース１０に格納する。
【００４２】
これにより、動画像の撮影時における人物、物及びこれらの動作を検出するセンサのセンサ情報に基づいて、センサ情報の組み合わせを判定することで動画像に対して自動的にメタデータを付与することができる。これにより、撮影対象の人、物、動作の共通の特徴を有する動画像を検索可能にすることができる。
【００４３】
［第２実施形態］次に第２実施形態について説明する。図５は、第２実施形態に係る動画像処理装置の構成を示す図である。図５に示すように、動画像処理装置１０１は、複数のカメラ２１、映像データベース３、映像記録部４、ＩＤ管理部５、時刻提供部７、センサの組み合わせの意味づけデータベース８、センサ組み合わせ判定部９、センサデータベース１０、センサ情報記録部１１、検索部１２、音センサ管理部７１及び７２、位置センサ管理部７３及び７４並びにセンサ管理部７ｎを備える。第１実施形態に係るシステムと同一箇所については同一符号を付して説明する。
【００４４】
音センサ管理部７１及び７２は、それぞれ例えば会議室内のマイクに接続され、マイクからの音響情報をセンサ情報として管理する。音センサ管理部７１及び７２は、音センサグループ８１を形成する。位置センサ管理部７３及び７４は、例えば会議室内に設置されたＩＤ検出装置に接続され、会議室内に存在する人又は物の位置情報をセンサ情報として管理する。位置センサ管理部７３及び７４は、位置センサグループ８２を形成する。複数のセンサｎ管理部７ｎは、センサグループ８３を形成する。このように、複数のセンサ管理部によってセンサグループを形成する。
【００４５】
次に、センサ組み合わせ判定部９のメタデータの付与手順について説明する。図６は、センサ組み合わせ判定部９のメタデータの付与手順を示すフローチャートである。ステップＳ１１で、複数のセンサがグループ分けされており、ＩＤ管理部５、複数のセンサ管理部７１乃至７ｎ及び時刻提供部７から、センサ情報が、独立にセンサ組み合わせ判定部９に入力される。ステップＳ１２で、図５における「センサの組み合わせの意味づけ」データベース８には、センサ情報のグループの組とその意味づけが記録されている。センサ組み合わせ判定部９は、その組をチェックする。ステップＳ１３で、センサ組み合わせ判定部９は、ステップＳ２においてセンサ情報のグループの組が一致する場合はそれに対応する意味づけをメタデータとしてセンサ情報記録部１１へ出力する。
【００４６】
一方、センサ組み合わせ判定部９は、ステップＳ２においてセンサのグループの組が存在しない場合はなにも出力しない。他の変形例として、このセンサ組み合わせ判定部９において、「センサの組み合わせの意味づけ」データベース８に記録されている組み合わせのうち、一部でも合致していたら意味づけを与えるなどの柔軟な意味づけの方法が考えられる。センサ情報記録部１１は、ＩＤ管理部５、各センサ管理部７１乃至７ｎからの出力、およびセンサ組み合わせ判定部９からのメタデータを入力として受け、センサデータベース１０に格納する。
【００４７】
第２実施形態のポイントは、センサをグルーピングすることによって，センサデータとメタデータとの関連付けを容易に構成可能な点にある。本発明によれば、図５における「センサの組み合わせの意味づけ」データベース８を、あらかじめ構成しておく必要があるが、その前持った準備を効率化することが可能となる。具体的には、本発明によれば任意のセンサを接続可能であるが、センサの種類を限ってしまい（例えば会議においてはカメラ、マイク、人のＩＤ、各位置センサ、所定のペンしか用いない）、種類ごとにセンサ情報のグループを形成しておきそのグループ単位で意味づけを記述することにより、新たにセンサが接続されても、どのグループに属するかを決めるのみで、図５における「センサの組み合わせの意味づけ」データベース８を再構成することなく、メタデータを抽出することが可能となる。
【００４８】
このように、動画像の撮影時における人物、物及びこれらの動作を検出するセンサのセンサ情報に基づいて、センサ情報の組み合わせを判定することで動画像に対して自動的にメタデータを付与することができる。よって、撮影対象の人、物又はこれらの動作の共通の特徴を有する動画像を検索可能にすることができる。
【００４９】
上記実施形態によれば、動画像群を対象として、それらを撮影する際にその動画に撮影される人や物についての実時間のセンサ情報や時間情報を録画と同時に付与することにより、動画像のメタデータを自動付与し、それらのメタデータを対象として検索を可能にすることができる。動画像を対象としたアノテーションの付与やメタデータの抽出は困難であるという問題点が解決される。
【００５０】
なお、本発明による動画像処理方法は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等を用いて実現され、プログラムをハードディスク装置や、ＣＤ−ＲＯＭ、ＤＶＤまたはフレキシブルディスクなどの可搬型記憶媒体等からインストールし、または通信回路からダウンロードし、ＣＰＵがこのプログラムを実行することで、各ステップが実現される。
【００５１】
このプログラムは、動画像の撮影時における人物、物及びこれらの動作のうちの少なくともいずれか一つを検出するセンサのセンサ情報を取得するステップ、前記センサ情報に基づいて、前記センサ情報の組み合わせを判定して前記動画像に対してメタデータを付与する付与ステップをコンピュータに実行させる。このとき、付与ステップは、あらかじめ与えられた異種のセンサ情報の組み合わせの意味づけを反映したメタデータを参照して、前記動画像に対して前記メタデータを付与するのが好ましい。なお、ＩＤ管理部５、各センサ管理部６１乃至６ｎ及び時刻提供部７が管理手段に、センサ組み合わせ判定部９が付与手段に、センサの組み合わせの意味づけＤＢ８が格納手段に、センサ情報記録部１１が記録手段に、映像記録部４が映像記録手段にそれぞれ対応する。
【００５２】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。なお、本発明の動画像処理装置を例えば、携帯電話、ビデオカメラ等に組み込んでもよい。
【図面の簡単な説明】
【００５３】
【図１】第１実施形態による動画画像処理装置の構成を示す図である。
【図２】センサデータベースのデータ構造を示す図である。
【図３】センサデバイス群の動的な疎結合を説明するための図である。
【図４】センサ組み合わせ判定部のメタデータの付与手順を示すフローチャートである。
【図５】第２実施形態に係る動画像処理装置の構成を示す図である。
【図６】センサ組み合わせ判定部のメタデータの付与手順を示すフローチャートである。
【符号の説明】
【００５４】
１、１０１  システム            ６３  手書き入力センサ管理部
２  カメラ                      ６ｎ  センサ管理部
３  映像データベース            ７  時刻提供部
４  映像記録部                  ８、１０  データベース
５  ＩＤ管理部                  ９  センサ組み合わせ判定部
６１  発言センサ管理部          １１  センサ情報記録部
６２  位置情報センサ管理部    
【図１】
2006121264.tif 000003
【図２】
2006121264.tif 000004
【図３】
2006121264.tif 000005
【図４】
2006121264.tif 000006
【図５】
2006121264.tif 000007
【図６】
2006121264.tif 000008