(57)【特許請求の範囲】
【請求項１】
映像データから当該映像データの部分である部分映像データを特定する部分映像データ特定手段と、
特定した部分映像データに対してデータを関連付けるデータ関連付け手段と、
部分映像データに関連付けられたデータの存在を示すデータを映像データ中の当該部分映像データと視覚的に関連付けて提示する関連データ提示手段と、を備え、
関連データ提示手段は、部分映像データに関連付けられたデータの存在を示すデータとして、当該部分映像データの形状に基づく形状を有する影のデータを提示する、
ことを特徴とする映像処理装置。
【請求項２】
映像データから当該映像データの部分である部分映像データを特定する部分映像データ特定手段と、
特定した部分映像データに対してデータを関連付けるデータ関連付け手段と、
部分映像データに関連付けられたデータの存在を示すデータを映像データ中の当該部分映像データと視覚的に関連付けて提示する関連データ提示手段と、を備え、
関連データ提示手段は、部分映像データに関連付けられたデータの存在を示すデータとして、映像データのフレームの外側であって当該フレームの外側に設けられた枠の内側に、当該部分映像データのフレーム内での水平位置を示すデータ及び垂直位置を示すデータを提示する、
ことを特徴とする映像処理装置。
【請求項３】
請求項１又は請求項２に記載の映像処理装置において、
部分映像データ特定手段は、映像データに含まれる同一の対象のデータについての時間幅を有する部分映像データを特定する、
ことを特徴とする映像処理装置。
【請求項４】
請求項３に記載の映像処理装置において、
映像データは音声データと対応しており、
部分映像データ特定手段は、映像データに含まれる単数又は複数の人物のデータについて、当該人物のデータに対応した音声データが有効である時間幅を有する部分映像データを特定する、
ことを特徴とする映像処理装置。
【請求項５】
請求項１乃至請求項４のいずれか１項に記載の映像処理装置において、
部分映像データ特定手段は、映像データのフレーム内で部分映像データが位置する領域を特定するデータを用いて当該部分映像データを特定する、
ことを特徴とする映像処理装置。
【請求項６】
請求項１乃至請求項５のいずれか１項に記載の映像処理装置において、
部分映像データ特定手段は、複数の部分映像データの候補を特定する部分映像データ候補特定手段と、特定した部分映像データ候補に含まれる部分映像データの指定をユーザから受け付ける部分映像データ指定受付手段とを有し、指定を受け付けた部分映像データを特定した部分映像データとする、
ことを特徴とする映像処理装置。
【請求項７】
請求項１乃至請求項６のいずれか１項に記載の映像処理装置において、
部分映像データに関連付けられたデータから当該部分映像データを特定する関連部分映像データ特定手段を備えた、
ことを特徴とする映像処理装置。
【請求項８】
請求項１乃至請求項７のいずれか１項に記載の映像処理装置において、
部分映像データに関連付けられたデータの存在を示すデータと所定の処理とが対応付けられており、
提示された部分映像データに関連付けられたデータの存在を示すデータの指定をユーザから受け付ける提示データ指定受付手段と、
指定を受け付けたデータに対応付けられた処理を実行する提示データ対応処理実行手段と、
を備えたことを特徴とする映像処理装置。
【請求項９】
請求項１乃至請求項８のいずれか１項に記載の映像処理装置において、
複数の端末装置により同一の映像データに関する操作を実行することが可能である、
ことを特徴とする映像処理装置。
【請求項１０】
映像処理装置に備えられた部分映像データ特定手段が、映像データから当該映像データの部分である部分映像データを特定し、
前記映像処理装置に備えられたデータ関連付け手段が、特定した部分映像データに対してデータを関連付け、
前記映像処理装置に備えられた関連データ提示手段が、部分映像データに関連付けられたデータの存在を示すデータとして、当該部分映像データの形状に基づく形状を有する影のデータを、映像データ中の当該部分映像データと視覚的に関連付けて提示する、
ことを特徴とする映像処理方法。
【請求項１１】
映像処理装置に備えられた部分映像データ特定手段が、映像データから当該映像データの部分である部分映像データを特定し、
前記映像処理装置に備えられたデータ関連付け手段が、特定した部分映像データに対してデータを関連付け、
前記映像処理装置に備えられた関連データ提示手段が、部分映像データに関連付けられたデータの存在を示すデータとして、映像データのフレームの外側であって当該フレームの外側に設けられた枠の内側に、当該部分映像データのフレーム内での水平位置を示すデータ及び垂直位置を示すデータを、映像データ中の当該部分映像データと視覚的に関連付けて提示する、
ことを特徴とする映像処理方法。
【請求項１２】
映像処理装置を構成するコンピュータに実行させるプログラムであって、
映像データから当該映像データの部分である部分映像データを特定する機能と、
特定した部分映像データに対してデータを関連付ける機能と、
部分映像データに関連付けられたデータの存在を示すデータとして、当該部分映像データの形状に基づく形状を有する影のデータを、映像データ中の当該部分映像データと視覚的に関連付けて提示する機能を、当該コンピュータに実現させる、
ことを特徴とするプログラム。
【請求項１３】
映像処理装置を構成するコンピュータに実行させるプログラムであって、
映像データから当該映像データの部分である部分映像データを特定する機能と、
特定した部分映像データに対してデータを関連付ける機能と、
部分映像データに関連付けられたデータの存在を示すデータとして、映像データのフレームの外側であって当該フレームの外側に設けられた枠の内側に、当該部分映像データのフレーム内での水平位置を示すデータ及び垂直位置を示すデータを、映像データ中の当該部分映像データと視覚的に関連付けて提示する機能を、当該コンピュータに実現させる、
ことを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像処理装置における映像データに対するリンクの提示に関する装置または方法に関し、特に、作業領域を確保して、映像データから部分映像データを抽出し、当該部分映像データに対して、テキスト・データ、音声データ、画像データ、関連資料ファイルデータ、映像データなどをリンク・データの内容として、リンク・データを利用者または利用者間で容易かつ適切に関連付けさせることが可能な映像処理装置および映像処理方法に関する。
【０００２】
【従来の技術】
近年、インターネットを介してマルチメディア・データを利用した意思伝達のためのコミュニケーション・ツールや会議システム情報共有が個人や企業において進展している。その中で、従来の印刷物にマーカーやメモの書き込みを行うのと同様にデジタル・ドキュメントやビデオ映像にテキスト注釈を付加するシステムが提案されている。特開平８−２７２９８９号公報「映像仕様による資料作成支援システム」では、公報でテキスト情報と映像情報とを関連付けて資料として取り扱うことが可能である。以下、この技術を第１の従来技術と呼ぶことにする。
【０００３】
次に、特開２０００−２５０８６４号公報「協調作業支援システム」では、さまざまな形式の注釈が可能な技術として、プレゼンテーション資料などストリーミング・データに対して、メモや質問などのテキスト・データが付加可能でかつ複数のクライアント間で共有可能である。以下、この技術を第２の従来技術と呼ぶことにする。
【０００４】
また、特開平６−２７４５５２号公報「マルチメディアデータリンク方式」では、画面に表示されている動画像中の任意エリアまたは一連の動画像データ中の任意画面を指定することにより、当該画面にデータを表示可能である。以下、この技術を第３の従来技術と呼ぶことにする。
【０００５】
さらに、Y.Yamamoto,CHI2001「Time-ART」では、ビデオや音声データを視聴中に自由にクリッピングできるユーザ・インターフェイスを備え、テキストによる注釈機能を持ったツールが提案されている。以下、この技術を第４の従来技術と呼ぶことにする。
一方、特開平１０−２１０２９号公報「テロップ表示装置」では、テロップを簡単に利用者が作成でき、音声情報や画像情報を付加情報として簡単に追加できる表示装置が存在する。以下、この技術を第５の従来技術と呼ぶことにする。
【０００６】
また、従来、ワールド・ワイド・ウェブを閲覧するためのウェブ・ブラウザでホーム・ぺ一ジを閲覧する場合、そのホーム・ぺ一ジにいわゆるイメージ・マップとしてリンク情報が埋め込まれる場合がある。利用者はウェブ・ブラウザで提示されるホーム・ぺ一ジのイメージ・マップを構成している領域上にマウスを移動させ、マウスをクリックすることにより、リンクされている情報にアクセスすることが可能である。以下、この技術を第６の従来技術と呼ぶことにする。
【０００７】
特開平８−３２９０９６号公報「画像データ検索装置」では、画像データに、付加情報として、その画像の特徴を簡潔に表すアイコンを設定する手段を有し、そのアイコンを１次元以上の軸を有するマップ上の所定の位置に配置し、そのアイコンを用いて係るアイコンに関連する画像データを検索する画像データ検索装置の技術が公開されている。以下、この技術を第７の従来技術と呼ぶことにする。
【０００８】
さらに、特開平８−３２９０９７号公報「画像データ検索装置」では、画像データに、付加情報として、その画像に対するキーワードを設定する手段を有し、そのキーワードを用いて、画像データを検索する画像データ検索装置の技術が公開されている。以下、この技術を第８の従来技術と呼ぶことにする。
【０００９】
また、特開平８−３２９０９８号公報「画像データ検索装置」では、１次元以上の軸を有する第１のマップ上の画像データと１次元以上の軸を有する第２のマップ上の付加情報とを関連付けて、画像データを検索することができる画像データ検索装置の技術が公開されている。以下、この技術を第９の従来技術と呼ぶことにする。
【００１０】
特開平１１−３９１２０号公報「コンテンツ表示・選択装置およびコンテンツ表示・選択方法、並びにコンテンツ表示・選択方法のプログラムが記録された記録媒体」では、ＨＴＭＬ文書コンテンツを二次元配列に配置することにより、マウス・ポインタなしでブラウジング（内容の一覧）を可能とする技術が公開されている。以下、この技術を第１０の従来技術と呼ぶことにする。
【００１１】
【発明が解決しようとする課題】
しかしながら、従来の技術では、以下に示すような種々な問題があった。
まず、上述した第１から第５までの従来システムの共通な問題点として、利用者は映像データの再生中に別の画面に部分映像データを抽出して、当該映像データの内容に、音声データなどから参照しながらリンク・データを付加することができないという問題があった。
【００１２】
また、部分映像データに付加したリンク・データについて、部分映像データ上の任意の場所にリンク・データを付加することができず、どこに付加したのか分からないという問題があった。例えば、映像データに、人物と資料などのオブジェクトが複数映っているときに、当該部分映像データに対して、リンク・データを付加する場合、従来技術では、リンク・データのコメントが、どのオブジェクトを指しているか判別できないといった問題があった。
さらに、関連するリンク・データの付加情報を部分画像データの任意指定部分に、複数リンク・データの重ね合わせができないという問題点があった。
【００１３】
次に、前記の第６の従来技術では、イメージ・マップを含むＨＴＭＬ文書コンテンツを利用者に提示する場合、利用者がブラウザ内のイメージ・マップを含むＨＴＭＬ文書コンテンツの領域上にマウスを移動しなければ、イメージ・マップの存在を利用者が知ることはできなかった。
【００１４】
次に、第７、第８および第９の従来技術は、画像データに対して、アイコンやテキスト・データあるいは付加情報などを関連付けられるものの、利用者に対してリンクの視覚的なフィードバックを与える技術ではなく、同一の画像データに対して、複数のリンクを付加した場合に、利用者に視覚的なフィードバックを与えて、各リンクを区別し、リンクされた情報を利用できるものではない。
【００１５】
同じく、第１０の従来技術を用いても、利用者はＨＴＭＬ文書コンテンツ中、特に画像データや映像データ中に表現されている人や物など特定領域に関連付けられたイメージ・マップの存在を利用者に提示できないという問題があった。
また、第６から第１０までの従来技術のいずれを用いても、映像データ中に表現されている人や物などの特定領域といわゆる電子掲示板システムあるいは電話など通話・通信システムと連携して利用することはできないという問題があった。
【００１６】
本発明は、このような従来の課題を解決するためになされたもので、映像データから特定される部分映像データに対して当該部分映像データに関連付けられたデータの存在を提示することに関して有効な映像処理装置などを提供することを目的とする。
【００１７】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る映像処理装置では、部分映像データ特定手段が映像データから当該映像データの部分である部分映像データを特定し、データ関連付け手段が特定した部分映像データに対してデータを当該データの存在を提示可能なように関連付ける。
従って、映像データから部分映像データを特定して当該部分映像データに対してデータをその存在が提示可能な態様で関連付けることができ、これにより、当該部分映像データに関連付けられたデータの存在を提示可能とすることができる。
【００１８】
ここで、映像処理装置としては、種々な装置として構成されてもよく、例えばコンピュータを用いて構成することができる。
また、映像データとしては、例えば時間的に連続した映像データが用いられ、具体的には、フレーム内の平面的な画像データが時間的に連続して変化していくようなデータが用いられ、この場合、フレーム内の位置を表す座標（横軸及び縦軸）の値と時間軸の値とで映像データ中の一点を示すことができる。
【００１９】
また、部分映像データとしては、種々なデータが用いられてもよく、例えば、１つのフレームの画像データや、１つのフレームの画像データ中の特定の対象のデータや、時間幅を有したフレームの画像データつまり時間的に連続した複数のフレームの画像データや、時間幅を有した特定の対象のデータなどを用いることができる。
【００２０】
また、部分映像データを特定する仕方としては、種々な仕方が用いられてもよく、例えばユーザからの指定に基づいて特定する仕方や、映像処理装置が予め定められた手順で自動的に特定する仕方や、これら両方を併用する仕方などを用いることができる。
【００２１】
また、部分映像データに対して関連付けるデータとしては、種々なデータが用いられてもよく、テキストのデータや、音声のデータや、画像のデータなどを用いることができる。
また、部分映像データに対して関連付けるデータの数としては、単数であってもよく、複数であってもよい。
【００２２】
また、本発明に係る映像処理装置では、部分映像データ特定手段は、映像データに含まれる同一の対象のデータについての時間幅を有する部分映像データを特定する。
従って、映像データに含まれる時間幅を有する同一の対象のデータに対してデータを関連付けることができる。
【００２３】
ここで、同一の対象のデータとしては、種々な対象のデータが用いられてもよく、例えば人物を対象とするデータや、物を対象とするデータや、フレーム内の所定の領域を対象とするデータなどを用いることができる。なお、同一の対象を特定する仕方としては、種々な仕方が用いられてもよく、例えば静止しているものについては同一の場所に存するものを同一の対象とみなす仕方を用いることができ、動作を行うものについては同一の形状などの特徴を有するものを同一の対象とみなす仕方を用いることができる。
また、時間幅としては、種々な時間幅を用いることができる。
【００２４】
また、本発明に係る映像処理装置では、映像データは音声データと対応している。そして、部分映像データ特定手段は、映像データに含まれる単数又は複数の人物のデータについて、当該人物のデータに対応した音声データが有効である時間幅を有する部分映像データを特定する。
従って、単数又は複数の人物を対象として、当該対象に対応した音声が有効である時間幅を有するデータを部分映像データとして特定することができる。
【００２５】
ここで、音声データとしては、例えば対応する映像データ中の人物などにより発せられる音声のデータが用いられ、例えば当該映像データと時間軸で対応する。
また、単数の人物のデータについては、例えば当該人物が発するとみなされる音声が連続的に続く間の時間幅或いは所定の閾値未満の無音声期間を除いて当該人物が発するとみなされる音声が連続的に続く間の時間幅などを、当該人物のデータに対応した音声データが有効である時間幅として決定することができる。
【００２６】
同様に、複数の人物のデータについては、例えばこれら複数の人物の中の少なくとも一人の人物が音声を発しているとみなされる状態が連続的に続く間の時間幅或いは所定の閾値未満の無音声期間を除いてこのような状態が連続的に続く間の時間幅などを、当該複数の人物のデータに対応した音声データが有効である時間幅として決定することができる。
【００２７】
また、本発明に係る映像処理装置では、部分映像データ特定手段は、映像データのフレーム内で部分映像データが位置する領域を特定するデータを用いて当該部分映像データを特定する。
従って、例えばフレーム内での座標位置のデータなどを用いることにより、部分映像データを構成する各フレーム内の画像領域を特定して当該部分映像データを特定することができる。
【００２８】
また、本発明に係る映像処理装置では、部分映像データ特定手段は、部分映像データ候補特定手段により複数の部分映像データの候補を特定し、部分映像データ指定受付手段により特定した部分映像データ候補に含まれる部分映像データの指定をユーザから受け付け、そして、指定を受け付けた部分映像データを特定した部分映像データとする。
従って、映像処理装置により自動的に部分映像データの候補を複数特定した後に、これら複数の候補の中からユーザにより部分映像データを指定する仕方により、当該指定された部分映像データを最終的に特定した部分映像データとすることができる。
【００２９】
ここで、部分映像データの候補の数としては、種々な数が用いられてもよく、例えば単数である場合があってもよい。
また、部分映像データの候補を特定する仕方としては、種々な仕方が用いられてもよく、例えば映像データのフレーム内に存する各対象毎のデータをそれぞれ部分映像データの候補として特定することができる。
また、部分映像データ指定受付手段としては、例えばユーザにより操作されるキーボードやマウスなどを用いることができる。
【００３０】
また、本発明に係る映像処理装置では、関連部分映像データ特定手段が、部分映像データに関連付けられたデータから当該部分映像データを特定する。
従って、例えば部分映像データに関連付けられたデータがユーザにより指定された場合などに、当該データが関連付けられた当該部分映像データを特定することができる。
【００３１】
また、本発明に係る映像処理装置では、関連データ提示手段が、部分映像データに関連付けられたデータの存在を示すデータを、映像データ中の当該部分映像データと視覚的に関連付けて提示する。
従って、部分映像データに関連付けられたデータの存在を当該部分映像データと視覚的に関連付けて提示することができ、これにより、当該関連付けられたデータの存在や当該関連付けをユーザに対して視覚的に把握可能とすることができる。
【００３２】
ここで、部分映像データに関連付けられたデータの存在を示すデータとしては、例えばアイコンのデータを用いることができ、また、後述するように種々なデータを用いることができる。
また、部分映像データに関連付けられたデータの存在を示すデータと当該部分映像データとを視覚的に関連付ける仕方としては、種々な仕方が用いられてもよく、例えばこれらのデータを近隣に配置する仕方や、これらのデータの一部を重ねて配置する仕方などを用いることができる。
また、提示の仕方としては、例えば画面に表示出力する仕方や、紙面に印刷出力する仕方などを用いることができる。
【００３３】
また、本発明に係る映像処理装置では、関連データ提示手段は、部分映像データに関連付けられたデータの存在を示すデータとして、当該部分映像データの形状に基づく形状を有するデータを提示する。
従って、部分映像データの形状に基づく形状を有するデータを提示することにより、当該データと当該部分映像データとの関連付けをユーザにより視覚的に把握し易くすることができる。
【００３４】
ここで、部分映像データの形状に基づく形状を有するデータとしては、種々なデータが用いられてもよく、例えば部分映像データの形状に基づく形状を有する影のデータなどを用いることができる。
【００３５】
また、本発明に係る映像処理装置では、関連データ提示手段は、部分映像データに関連付けられたデータの存在を示すデータとして、映像データのフレームの外側であって当該フレームの外側に設けられた枠の内側に、当該部分映像データのフレーム内での水平位置を示すデータ及び垂直位置を示すデータを提示する。
従って、映像データのフレーム内ではなくフレーム外に設けられた枠に、部分映像データに関連付けられたデータの存在を示すデータが提示されるため、フレーム内の画像をそのまま見易いものとすることができる。また、提示されるデータにより、部分映像データのフレーム内での水平位置及び垂直位置を示すことができる。
【００３６】
映像データのフレームの外側に設けられた枠としては、種々な枠が用いられてもよく、例えば映像データのフレームと比べて一回り大きいような枠が用いられ、当該フレームの外側であって当該枠の内側には映像データは提示されない。
また、部分映像データは、その水平位置での垂直線とその垂直位置での水平線とが直交する位置に存することとなる。
【００３７】
また、本発明に係る映像処理装置では、部分映像データに関連付けられたデータの存在を示すデータと所定の処理とが対応付けられている。そして、提示データ指定受付手段が提示されたデータ（部分映像データに関連付けられたデータの存在を示すデータ）の指定をユーザから受け付け、提示データ対応処理実行手段が指定を受け付けたデータに対応付けられた処理を実行する。
従って、ユーザは、提示されたデータを指定することにより、当該データに対応付けられた処理を実行させることができる。
【００３８】
ここで、所定の処理としては、種々な処理が用いられてもよく、例えば提示されたデータに関連する文書処理やメールやインターネットなどに関するプログラムを起動する処理や、これにより提示されたデータに関連するデータを表示や送信などする処理などを用いることができ、更に具体的には、例えば提示されたデータに関連するデータを画面上に表示する処理や、当該データを電子メールにより設定されたアドレスに対して送信する処理や、当該データを電話により設定された電話番号に対して音声送信する処理などを用いることができる。
また、提示データ指定受付手段としては、例えばユーザにより操作されるキーボードやマウスなどを用いることができる。
【００３９】
また、本発明に係る映像処理装置では、複数の端末装置により同一の映像データに関する操作を実行することが可能である。
従って、例えば一つの端末装置（例えば一人のユーザ）により同一の映像データに関する操作を実行することばかりでなく、複数の端末装置（例えば複数のユーザ）により同一の映像データに関する操作を実行することができ、これにより、同一の映像データに関する部分映像データや当該部分映像データに関連付けられるデータなどを共有することや共同で編集することなどができる。
【００４０】
ここで、端末装置としては、種々な装置が用いられてもよく、例えばコンピュータを用いることができる。
また、複数の端末装置の数としては、種々な数が用いられてもよい。
また、同一の映像データに関する操作としては、種々な操作が用いられてもよく、例えば映像データから部分映像データを特定する操作や、特定された部分映像データにデータを関連付ける操作などを用いることができる。
【００４１】
また、一構成例として、複数の端末装置は有線や無線のネットワークなどを介して通信可能に接続され、これら複数の端末装置によりアクセス可能な共通の記憶装置が設けられて、当該記憶装置に操作対象となるデータが保存される。
【００４２】
また、本発明に係る映像処理装置では、複数関連データ提示手段が、映像データから特定された当該映像データの部分である部分映像データに関連付けられた複数のデータの存在を示すデータを、当該映像データ中の当該部分映像データと視覚的に関連付けて提示する。
従って、部分映像データに関連付けられた複数のデータの存在を当該部分映像データと視覚的に関連付けて提示することができ、これにより、当該関連付けられた複数のデータの存在や当該関連付けをユーザに対して視覚的に把握可能とすることができる。
【００４３】
ここで、部分映像データに関連付けられた複数のデータの数としては、種々な数が用いられてもよい。
また、部分映像データに関連付けられた複数のデータの存在を示すデータとしては、例えば部分映像データに単数のデータが関連付けられた場合とは異なるデータが用いられ、更に好ましい態様例として、部分映像データに関連付けられた複数のデータの数を表すデータが用いられる。
【００４４】
また、本発明に係る映像処理装置では、複数関連データ提示手段は、部分映像データに関連付けられた複数のデータの存在を示すデータとして、当該関連付けられたデータの数と同数のデータを提示する。
従って、部分映像データに関連付けられたデータの数をユーザにより視覚的に把握可能に提示することができる。
【００４５】
ここで、部分映像データに関連付けられたデータの数と同数のデータとしては、好ましい態様例としてそれぞれが同一又は類似の形状を有するデータを用いることができ、或いは、例えばそれぞれが異なる形状を有するデータが用いられてもよい。
【００４６】
また、本発明に係る映像処理装置では、複数関連データ提示手段は、部分映像データに関連付けられた各データの存在を示すデータを当該関連付けられた各データ毎に識別可能な態様で提示する。
従って、部分映像データに関連付けられた各データ毎に、その存在を示すデータをユーザにより視覚的に識別可能とすることができる。
【００４７】
ここで、部分映像データに関連付けられた各データ毎にその存在を示すデータが識別可能な態様としては、例えば当該各データ毎にその存在を示すデータの形状や色や輝度や配置位置などを異ならせるような態様を用いることができる。
【００４８】
なお、以上に示した本発明と同様に同一の画像のデータに関連付けられた複数のデータの存在を示すデータを当該画像データと視覚的に関連付けて提示する技術や当該複数と同数のデータを提示する技術や当該各データ毎に識別可能とする技術などは、必ずしも映像データから特定された部分映像データに限られずに、種々な画像データに適用することが可能であり、例えば当該画像データとして静止画像のデータに適用することも可能である。
【００４９】
また、本発明では、以上に示したような各種の処理を実現する映像処理方法を提供する。
例えば、本発明に係る映像処理方法では、映像データから当該映像データの部分である部分映像データを特定し、特定した部分映像データに対してデータを当該データの存在を提示可能なように関連付ける。
また、本発明に係る映像処理方法では、映像データから特定された当該映像データの部分である部分映像データに関連付けられた複数のデータの存在を示すデータを、当該映像データ中の当該部分映像データと視覚的に関連付けて提示する。
【００５０】
また、本発明では、以上に示したような各種の処理を実現するプログラムを提供する。なお、本発明では、このようなプログラムを格納した記憶媒体を提供することも可能である。
例えば、本発明に係るプログラムでは、映像データから当該映像データの部分である部分映像データを特定する処理と、特定した部分映像データに対してデータを当該データの存在を提示可能なように関連付ける処理とをコンピュータに実行させる。
また、本発明に係るプログラムでは、映像データから特定された当該映像データの部分である部分映像データに関連付けられた複数のデータの存在を示すデータを当該映像データ中の当該部分映像データと視覚的に関連付けて提示する処理をコンピュータに実行させる。
【００５１】
【発明の実施の形態】
本発明に係る実施例を図面を参照して説明する。
まず、本発明の第１実施例に係る映像処理装置や映像処理方法を説明する。
図１は、本発明に係る映像処理装置の一例を示すブロック図である。映像処理装置１は、記憶部１１と、リンク対象領域指定部１２と、リンク生成部１３と、映像提示部１４と、リンク管理部１５とから構成される。
【００５２】
記憶部１１は、一般的な記憶装置から構成され、リンク（関連付け）される一方の対象となる映像データ（以下、単に映像データと記述することもある）およびリンク・データ（関連付けに関するデータ）並びにリンクされるもう一方の対象となる被リンク・データを保持する。
リンク対象領域指定部１２は、マウスやデジタイザなどの座標入力装置から構成され、利用者（ユーザ）から映像データ中のリンク対象となる領域の座標データ(以下、リンク対象領域座標データと記述することもある)を入力し、係るリンク対象領域座標データをリンク生成部１３に出カする。
【００５３】
リンク生成部１３は、利用者からダイアログ形式のユーザ・インタフェースによって入カされる被リンク・データの識別子あるいは名前を入力する。また、リンク生成部１３は、リンク対象領域指定部１２から入カされたリンク対象領域座標データと利用者から入力された被リンク・データとをリンクしてリンク・データとして記憶部１１に出力する。
映像提示部１４は、ディスプレイから構成され、視覚化されたリンク・データおよび映像データを利用者に提示する。
リンク管理部１５は、記憶部１１、リンク対象領域指定部１２、リンク生成部１３、映像提供部１４を管理し、制御する。
【００５４】
本例では、映像データは、動画データおよび音声データが組み合わされたデータ、または、動画データまたは音声データのいずれか一方のデータを意味することとして、説明を行う。また、本例では、部分映像データは、映像データ中の時間的または空間的（領域的）な一部分のデータを意味する。
なお、本発明に言う映像データは、例えば画像のみのデータから構成され、また、例えば当該画像データに対して音声などのデータが対応付けられる場合も含む。
【００５５】
図２は、図１の映像処理装置を詳細化したブロック図である。
図２に示すように、記憶部１１は、映像記憶装置２１およびリンク・データ記憶装置２６から構成される。リンク対象領域指定部１２は、（任意）部分映像データ指定装置２３および部分映像データ提示装置２４から構成される。リンク生成部１３は、リンク・データ付加装置２５から構成される。映像提示部１４は、映像データ提示装置２２、部分映像データ提示装置２４、およびリンク・データ提示装置２７から構成される。
【００５６】
映像記憶装置２１は、一般的なメモリで構成され、入力された映像データを保持する。
映像データ提示装置２２は、ディスプレイで構成され、映像記憶装置２１に保持されている映像データを利用者に提示する。
【００５７】
部分映像データ指定装置２３は、マウスなどの座標入カ装置によって構成され、映像データ提示装置２２によって提示されている映像データの任意の一部を指定し、その指定された部分映像データを、部分映像データ提示装置２４に転送する。
部分映像データ提示装置２４は、部分映像データ指定装置２３から転送された部分映像データを提示する。
【００５８】
リンク・データ付加装置２５は、部分映像データ提示装置２４によって提示されている部分映像データに対して、リンク・データを付加し、リンク・データ記憶装置２６に転送する。
リンク・データ記憶装置２６は、リンク・データ付加装置２５によって付加されたリンク・データ、及び部分映像データを保持する。
リンク・データ提示装置２７は、リンク・データ付加装置２５によって付加されたリンク・データならびにリンク・データ群を提示する。
【００５９】
ここで、映像データ中の任意の部分映像データの抽出について説明する。
映像データから部分映像データを抽出する形態としては、利用者が映像データ処理装置１の提供するユーザ・インタフェースを通して、人手で部分映像データの画像上の外形(輪郭)もしくは外接矩捗を指定することによって部分映像データを抽出する方法や、映像処理装置１により自動的に抽出された部分映像データの侯補を利用者が選択する方法などの形態がある。
【００６０】
ここでは、映像処理装置１が自動的に部分映像データの候補を抽出する場合における部分映像データの抽出方法について説明する。
部分映像データを抽出するべき映像データが図３に示されるような場合を想定する。つまり、映像データ（Video.mpg）３１の或るフレーム（本例では、フレーム番号１２０から１５０までの３１フレーム）のフレーム上の矩形領域（ｘ-ｙ直交座標の表現で{(1O,30),(1O,10),(20,10),(20,30)})の内部に部分映像データの候補として抽出されるべき人が記録されているとする。なお、同図には、水平方向を表すｘ座標の軸と、垂直方向を表すｙ座標の軸と、時間の流れを表す時間ｔの軸を示してある。
【００６１】
この部分映像データ抽出手続きは、図４に示すように、各フレームにおける輪郭抽出処理（ステップＳ１）、各フレームにおける外接矩形計算処理（ステップＳ２）、フレーム間差分算出処理（ステップＳ３）、部分映像データ検出処理（ステップＳ４）、部分映像データ候補提示処理（ステップＳ５）からなる。
【００６２】
具体的には、まず、各フレームにおける輪郭抽出処理では、部分映像データの矩形領域を特定するために、映像処理装置１は、映像データ３１中の各フレームにおいて輪郭抽出処理を行う（ステップＳ１）。輪郭抽出は、通常の画像処理で用いられるいわゆる微分フィルタを用いることにより人の画像のエッジを抽出し、そのエッジを連結することで輪郭を抽出することが可能である。また、輪郭抽出処理によって、人が複数の小領域に分割されている場合でも、従来の領域分割・統合処理によって人単位の領域（輪郭）を抽出することが可能である。
【００６３】
次に、この人単位の輪郭を抽出した後、各フレームにおける外接矩形計算処理において当該輪郭を包含する外接矩形３３を算出する（ステップＳ２）。ここで、この外接矩形算出処理によって、フレーム番号１２０から１５０までの３１フレームにおいて、フレーム上の座標表現で{(10,30),(10,10),(20,10),(20,30)}の外接矩形３３を計算することができる。
【００６４】
続いて、フレーム間差分算出処理および部分映像データ検出処理において、各フレームを比較して、同一の部分映像データ中の人を単一のオブジェクト（部分映像データ）として取り扱えるか否かの検査を行う（ステップＳ３、ステップＳ４）。つまり、ＭＰＥＧ２などで用いられているような各フレーム間のフレーム差分を計算することによって、或るフレームと次のフレームで記録されているものが同一か否かを判断する。
【００６５】
具体的には、フレーム間差分算出処理において（ステップＳ３）、フレーム番号１１９のフレームとフレーム番号１２０とのフレーム差分では、フレーム番号１１９のフレームには人が記録されず、フレーム番号１２０のフレームには人が記録されているため、フレーム差分の結果（例えば、各画素の差分の総和）は大きな値を持つことになる。同じように、フレーム番号１５０のフレームとフレーム番号１５１のフレームとのフレーム差分も大きな値を持つことになる。それに対して、フレーム番号１２０から１５０までのフレームでは、先の同一の矩形領域３３に人が記録されているため、そのフレームにおけるフレーム差分は小さな値を持つ。
【００６６】
部分映像データ検出処理において（ステップＳ４）、以上のフレーム差分の値と矩形領域３３が存在するか否かの情報から、フレーム番号１２０から１５０までのフレームには、部分映像データの候補となる人が記録されていることが分かる。
そこで、部分映像データ候補提示処理において、それらのフレームの当該矩形領域３３の部分を単一の部分映像データ３２として映像処理装置１の利用者に提示する。
【００６７】
次に、図５に示すように、本例に係る映像処理装置１の処理手順について説明する。
この処理手順は、映像の提示（ステップＳ１１）、部分映像の指定（ステップＳ１２）、部分映像の提示（ステップＳ１３）、リンク・データ付加（ステップＳ１４）、およびリンク・データ保存（ステップＳ１５）からなる。
【００６８】
まず、映像提示においては、映像データ提示装置２２は映像処理装置１の映像記憶装置２１に保持されている映像データを提示する（ステップＳ１１）。
次に、部分映像の指定においては、部分映像データ指定装置２３を使って利用者によって指定される映像データのいわゆるタイム・コードまたはフレーム番号、および座標データを取得する（ステップＳ１２）。
【００６９】
続いて、部分映像の提示においては、部分映像データ提示装置２３は、利用者によって指定された部分映像データを提示する（ステップＳ１３）。
リンク・データ付加においては、利用者は部分映像データ提示装置２３により提示された部分映像データに対して、リンク・データ付加装置２５を使って、関連するデータ（リンク・データ）を付加する（ステップＳ１４）。
最後に、リンク・データ保存においては、リンク・データ記憶装置２６は、利用者によって付加されたリンク・データ、および映像データのいわゆるタイム・コードまたはフレーム番号、および座標データを保持する（ステップＳ１５）。
【００７０】
図６は、リンク・データ記憶装置２６に記憶されるデータのデータ構造を示す。また、図７は、リンク・データ記憶装置２６に記憶されるデータの拡張されたデータ構造を示す。
リンク・データ記憶装置２６は、部分画像データのタイム・コード４１を保持し、リンク・データ付加装置２５によって入力された被リンク対象データ４３、部分映像データ提示装置２４で指定された任意の座標データ４２、記憶装置名４４、部分画像アイコン・データ４５を格納し、拡張されたデータ構造では、更に、協調作業などを行うために利用者データ４６を格納する。
【００７１】
例えば、タイム・コード４１には、或るフレームの静止画像部分からリンク・データが付加される場合は、部分映像データ提示装置２４の映像データのその地点のタイム・コードが記録される。また、「ここからここまで」という指定の場合は、リンク・データを付加する開始点と終了点の情報がタイム・コード４１に記録される。
【００７２】
座標データ４２は、部分映像データ提示装置２４に、リンク対象領域座標として(x1,y1)、(x1,y2)、(x2,y2)、( x2,y1)の２次元座標を与え、マウスなどの入力装置によってプロットされたテキスト・データや部分画像アイコンを、(x1,y1)、(x1,y2)、(x2,y2)、(x2,y1)として、リンク対象領域座標の２次元座標値を保持する。
被リンク対象データ４３は、コメントや電子データファイルの情報や、テキスト・データやファイル格納先の情報を保持する。
【００７３】
次に、図８の本例に係るユーザ・インタフェース例を用いて操作手順について説明する。
利用者は、映像データ提示画面５１に提示されている映像から、リンク・データを付加したい部分映像を指定することにより、部分映像データ提示画面５２に、指定した部分映像が映し出される。
【００７４】
部分映像データ提示画面５２上の利用者が指定した任意の場所において、リンク・データ付加画面５３から、当該提示画像に複数のテキスト・データによるコメントや電子データファイルを部分画像アイコン６１ａ〜６１ｃとして付加することが可能である。この場合、図６や図７が示すとおり、リンク・データが付加される指定時間をタイム・コード４１で保存し、部分映像データ提示画面５２上のどの部分に利用者がリンク・データを付加したかを示す場所情報を座標データ４２で保持し、付加したテキスト・データによるコメントや電子データファイルを被リンク対象データ４３として保持して、これら３つを１つのデータとして保持するデータ構造を持つ。
【００７５】
図９は、部分映像データにリンク・データが付加された後のデータ構造を示す。
図９は、タイム・コード(00:01:00.00)において、３つのリンク・データ（「質問について」ならびに「このコメントがポイント」のコメント(テキスト・データ)と“abc.mpg"という名称の関連映像データ）を保持していることを示す。このように、指定した任意の部分映像データ毎にデータが保持されているので、一時的に付加されたリンク・データを部分映像データ上から消去することも可能な構造を持つ。
【００７６】
また、保管先として、記憶装置先を指定できる。これは、リンク・データを付加した映像データを記憶装置名４４のように公開（Public）サーバまたは非公開（Private）サーバに保管する場合、および複数の利用者間で同一の映像データに対して協調してリンク・データの付加作業を行う場合に利用される。
【００７７】
さらに、図８に示されるように、部分映像データ提示画面５２上の指定した任意の領域に同一の関連したデータとしてリンク・データを付加する場合、テキスト・データのコメントや関連電子データなどのリンク・データの重ね合わせが可能である。ここでは、座標位置に対して、アイコンやコメントが重なるだけでなく、関連したリンク・データをグループとして登録することも可能である。図９のリンク・データの“＊"を付したものが、グループ化された情報で保持される。
【００７８】
図１０に示すように、部分映像データ提示画面５２上の人物のオブジェクト７１や場所のオブジェクト７２に対してリンク・データを付加した場合、当該オブジェクト７１、７２にリンク・データを付加するとメッセージを送ることが可能である。
例えば、人物７１に対してリンク・データを付加する場合は、人物用メッセージ送付用リンク・データ７３を用いる。これによると、会議を行った映像データに対して或る参加者に質問するには、利用者は、部分映像データ提示画面上に表示される参加者に対してコメントと電子メールアドレスを付加することにより、当該参加者にメッセージを送ることが可能である。また、当該メッセージを送付する場合、コメントのみならず利用者がリンク・データを付加した当該リンク・データも送付することが可能である。これにより、どのような状況での質問であるかや、指定時間やその場の状況を端的かつ適切に把握することが可能となる。
【００７９】
また、場所のオブジェクトに対してリンク・データを付加する場合は、場所空間用メッセージ送付用リンク・データ７４を用いる。利用方法としては次のような想定をしている。すなわち、指定した任意の部分映像データが重要な人物のコメントを保持していて、その情報を未来の会議で利用したい場合に、会議が行われる場所に対して電子メールのようなメッセージサービスを利用してデータを送付する。実際に利用するときは、当該場所にある端末または利用者の端末を利用して開示する。
【００８０】
被リンク対象データ提示画面５４には、当該映像データの中で利用者によって付加されたリンク・データ付きの部分映像データ提示画面６２ａ〜６２ｅが複数提示されている。また、被リンク対象データ提示画面５４に提示されたリンク・データ群として、当該映像データから抽出したリンク・データのみならず、当該映像データ以外のリンク・データも指定可能である。
【００８１】
次に、複数の利用者間でネットワークを介して映像データやリンク・データを付加する手順について説明する。
図１１は、複数の利用者間で利用する場合に主に利用される装置およびユーザ・インタフェースの一例を示す。
利用者Ａおよび利用者Ｂは、映像記憶装置２１から映像データを取り出して、リンク・データを付加する任意の部分映像データを指定する。
【００８２】
図１１では、同じ部分映像データに対して、利用者Ａは、リンク・データ付加用入カダイアログ（リンク・データ付加画面）５３を用いて、１個のリンク・データ「この人はＸ氏」を付加し、利用者Ｂは、リンク・データ付加用入カダイアログ５３を用いて、２個のリンク・データ「この会話の関連映像」(テキスト・データ)と“xyz.mpg"(映像データ)を付加することを示している。これらデータは、リンク・データ記憶装置２６に保持される。そのデータ構造は図１２で表され、利用者Ａおよび利用者Ｂのタイム・コードや座標データなどがそれぞれ保持されている。図１３は、利用者Ａおよび利用者Ｂが付加したリンク・データを表現する部分画像アイコン８１ａ、８３ａ〜８３ｃを同時に提示したイメージ図を示す。なお、各利用者Ａ、Ｂの被リンク対象データ提示画面５３には、それぞれのリンクデータ付きの部分画像データ８２ａ〜８２ｃ、８４ａ〜８４ｄが示される。
【００８３】
また、事前に利用者Ａがリンク・データを付加する部分映像データを指定して、後で利用者Ｂに対して、当該部分映像データの存在場所を電子メールなどで伝えて、リンク・データを付加するような、非同期的な協調作業が可能である。さらに、利用者単体もしくは複数の利用者間で、リンクデータ記憶装置２６にアクセスして、事前に作成した部分映像データやリンク・データの再編集が可能である。
【００８４】
また、利用者単体または複数の利用者間で、リンク・データを付加、保持ならびに提示可能とするために、図１４のような構成を用いることが可能である。この構成では、利用者Ａの端末装置と、利用者Ｂの端末装置と、利用者間で共有されるリンク・データ記憶装置９８と、利用者間で共有される映像記憶装置９７とがネットワークを介して接続されている。また、各利用者Ａ、Ｂの装置には、それぞれ、映像データ提示装置９１ａ、９１ｂと、（任意）部分映像データ指定装置９２ａ、９２ｂと、部分映像データ提示装置９３ａ、９３ｂと、リンク・データ付加装置９４ａ、９４ｂと、リンク・データ提示装置９５ａ、９５ｂと、リンク・データ記憶装置９６ａ、９６ｂとが備えられている。
【００８５】
図１５および図１６を参照して、被リンク対象データと映像データで構成される事前に作成した映像データ１と映像データ２を再利用して合成された映像データを作成する場合について説明する。
図１５は、映像データ１０１に被リンク対象データ１０２がリンクされている様子を示す。
【００８６】
図１６は、本例の映像処理装置１を用いて、映像データを再利用して編集する例を示す。
或る会議が開催される前に会議の主催者などは、これまでの経緯を短時間のうちに理解ならびに参加者間で共有するために、この会議に関連する事前に作成した映像データ１と映像データ２にアクセスして、個々の被リンク対象データ１１４ａ、１１５ａ、１１５ｂ、１１６ａ〜１１６ｃ、１２４ａ、１２５ａ〜１２５ｃ、１２６ａである会議議事録や資料を閲覧しながら、複数ある映像データ１１１〜１１３、１２１〜１２３の中からもっとも関連する映像データを取り出して並べ替えなどの編集を行って、合成された映像データを制作することが可能である。
【００８７】
続いて、映像データからリンク・データの対象となる映像フレームを自動抽出する処理について説明する。
リンク・データ付加装置２５は、前述のとおり利用者が部分映像データを指定することを可能とする以外に、指定した任意の部分映像データの後の映像データ中の動画データや当該動画データ中の動画オブジェクトならびに音声データを解析して、リンク・データを指定した部分映像データの当該フレーム上で、同一人物の発言と推定される部分音声データならびに複数の人物間の対話で同一の内容であると推定される部分音声データを抜き出して、抜き出した部分音声データに対応した部分の映像データ（部分映像データ）とリンク・データを付加する。
【００８８】
例えば、図１７は、同一人物の発言推測の開始点と終了点を抽出する一例である。
この場合、時間ｔの軸に対して連続した複数のフレームＦ１〜Ｆ７の中で、被リンク対象データを付加したいフレーム（例えば、フレームＦ１或いはフレームＦ４）の音声データが次のフレーム（例えば、フレームＦ２或いはフレームＦ７）をまたがっていてそして音声データが途切れるところまでを発言推測箇所Ｔ１、Ｔ２として提示して、その音声データの開始点と終了点にあたる映像フレームを被リンク対象データを付加するフレームとする。
【００８９】
図１８は、複数の人物間の対話推測の開始点と終了点を抽出する一例である。この場合も、時間ｔの軸に対して連続した複数のフレームＦ１１〜Ｆ１７の中で、図１７の場合と同様に、対話推測箇所Ｔ１１〜Ｔ１４を抽出する。ただし、本例では、この場合には、対話中に生じる会話Ｔ２１、Ｔ２２の間の部分の時間をΔｔとして、図１９に示すとおり、当該Δｔが或る一定の間隔より短ければ、これを同一の対話部分と推測する。
【００９０】
次に、本発明の第２実施例に係る映像処理装置や映像処理方法を説明する。
なお、本例の映像処理装置１の概略的な構成や動作は、例えば上記した第１実施例で示したものと同様であり、本例では、異なる部分について詳しく説明する。
【００９１】
図２０は、本例に係るリンク・データのデータ構造の一例を示すブロック図である。
本例のリンク・データは、識別子１３１、映像データのファイル名１３２、フレーム開始番号１３３、フレーム終了番号１３４、リンク対象領域座標１３５、被リンク対象データ名（例えばＵＲＬ）１３６、および視覚的フィードバック・データ１３７から構成される。
【００９２】
識別子１３１は、リンク・データ自身を区別するためのデータであり、リンク管理部１５によって、リンク・データ毎に割り当てられる。
映像データのファイル名１３２は、リンクの対象となる映像データを特定する。
フレーム開始番号１３３は、係る映像データのリンク対象となるフレームの開始番号である。
フレーム終了番号１３４は、係る映像データのリンク対象となるフレームの終了番号である。
【００９３】
リンク対象領域座標１３５は、利用者によって指定される映像データ中のリンク対象となる座標データである。
被リンク対象データ名１３６は、係る映像データにリンクされるデータの名前である。
視覚的フィードバック・データ１３７は、映像データに対してリンクが存在することを利用者に視覚的にフィードバックするために利用されるデータである。
【００９４】
ここで、識別子１３１は、リンク管理部１５によって設定される。
映像データ名１３２、フレーム開始番号１３３、フレーム終了番号１３４、およびリンク対象領域座標１３５は、リンク対象領域指定部１２によって利用者から入カされる。
また、被リンク対象データ名１３６は、リンク生成部１３によって利用者からダイアログ形式のユーザ・インタフェースを使って入力される。
視覚的フィードバック・データ１３７は、リンク生成部１３によって生成される。
【００９５】
図２１は、本例に係る主要なユーザ・インタフェースを示す図である。
主要なユーザ・インタフェース１４１は、映像提示画面１４２、映像再生ボタン１４３、映像停止ボタン１４４、リンク開始ボタン１４５、リンク終了ボタン１４６、被リンク対象データ名入カダイアログ１４７から構成される。
【００９６】
映像提示画面１４２は、記憶部１１に保持されている映像データを利用者に対して提示する。
映像再生ボタン１４３は、利用者がマウスなどでクリックすることにより、係る映像データの再生を開始することを可能とする。
映像終了ボタン17は、利用者がマウスなどでクリックすることにより、係る映像データの再生を停止することを可能とする。
【００９７】
リンク開始ボタン１４５は、利用者がマウスなどでクリックすることにより、リンクされるべき係る再生中の映像データの開始フレームを指定することを可能とする。
リンク終了ボタン１４６は、利用者がマウスなどでクリックすることにより、リンクされるべき係る再生中の映像データの終了フレームを指定することを可能とする。
被リンク対象データ名入カダイアログ１４７は、利用者が係る映像データに対して、リンクされるべき被リンク対象データ名をダイアログを通して入力することを可能とする。
【００９８】
図２２は、本例の映像処理装置１のリンク付け処理の一例を示すフローチャート図である。
図２２に示すように、リンク付け処理は、初期化処理（ステップＳ２１）、映像再生検知処理（ステップＳ２２）、リンク開始検知処理（ステップＳ２３）、リンク終了検知処理（ステップＳ２４）、リンク対象領域定義処理（ステップＳ２５）、被リンク対象入力処理（ステップＳ２６）、リンク生成処理（ステップＳ２７）、リンク提示処理（ステップＳ２８）、および映像停止検知処理（ステップＳ２９）から構成される。
【００９９】
続いて、図２２のフローチャート図を用いて、本例の映像処理装置１の処理手順を説明する。
まず、初期化処理においては、映像処理装置１の記憶部１１、リンク対象領域指定部１２、リンク生成部１３、映像提示部１４、およびリンク管理部１５の各部が初期化される（ステップＳ２１）。
【０１００】
つまり、まず、リンク管理部１５によってリンク・データが生成され、初期化される。具体的には、ダイアログ入力を用いるなどして、記憶部１１に保持されている利用する映像データのファイル名を映像データ名１３２の値としてリンク・データに設定する。また、リンク・データの識別子１３１は、リンク管理部１５により、当該映像処理装置１に固有な識別子が設定される。リンク・データのフレーム開始番号１３３およびフレーム終了番号１３４は既定値として０などの値がリンク管理部１５によって設定される。同じく、リンク・データのリンク対象領域座標１３５、被リンク対象データ名１３６、および視覚的フィードバック・データ１３７の既定の値がリンク管理部１５によって設定される。リンク管理部１５によって生成されたリンク・データは記憶部１１によって保持される。
【０１０１】
次に、映像再生検知処理においては、利用者によって指定された映像データに対して、利用者からのマウスまたはタブレットを使用した映像再生ボタン１４３のクリックを検知することによって再生を開始する（ステップＳ２２）。
続いて、リンク開始検知処理においては、リンク管理部１５は、利用者からのリンク開始ボタン１４５のクリックを検知することにより、映像データに対するリンク領域を定義するためのフレーム開始番号を決定し、その値をリンク・データのフレーム開始番号１３３として設定する（ステップＳ２３）。
【０１０２】
続いて、リンク終了検知処理においては、リンク管理部１５は、利用者からのリンク終了ボタン１４６のクリックを検知することにより、映像データに対するリンク領域を定義するためのフレーム終了番号を決定し、その値をリンク・データのフレーム終了番号１３４として設定する（ステップＳ２４）。ここで、リンク管理部１５は、映像データの再生を一時停止する。
【０１０３】
リンク対象領域定義処理においては、リンク管理部１５は、まず、利用者に対して、映像提示画面１４２にリンク対象領域の定義が可能であることを、そのメッセージと映像データを重ね合わせるなどして通知する。また、リンク対象領域指定部１２は、利用者からのマウスによる指定によって映像提示画面１４２に提示されている映像データのリンク対象となる領域の座標データを取得する。ここで、リンク対象領域指定部１２は、利用者の指定した領域を白線で囲むなどの視覚的フィードバックを利用者に与える。リンク対象領域指定部１２は、利用者から取得したリンク対象領域を定義する座標データ（以下、リンク対象領域定義座標データと記述することもある。）を、記憶部１１に保持されているリンク・データのリンク対象領域座標１３５の値として設定する（ステップＳ２５）。
【０１０４】
被リンク対象入力処理においては、リンク管理部１５は、利用者から被リンク対象データ名入カダイアログによって指定される被リンク対象データ名を取得し、記憶部１１に保持されているリンク・データの被リンク対象データ名１３６の値として設定する（ステップＳ２６）。
リンク生成処理においては、リンク生成部１３は、記憶部１１に保持されているリンク・データのリンク対象領域座標１３５の値およびフレーム開始番号１３３からフレーム終了番号１３４までに対応する映像データから、利用者に対する視覚的フィードバック用の画像データおよび関連座標データを生成する。当該画像データおよび関連座標データをリンク・データの視覚的フィードバック・データとして設定する（ステップＳ２７）。
【０１０５】
リンク提示処理においては、リンク・データの視覚的フィードバック・データ１３７の関連座標データを用いて、映像データに係る画像データを重ね合わせて映像提示画面１４２に提示する（ステップＳ２８）。
映像停止検知処理においては、利用者が映像停止ボタンをマウスでクリックしたか否かを検知し、クリックした場合においては、映像データの提示を停止し、リンク付け処理を終了する（ステップＳ２９）。一方、クリックをしていない場合においては、再度、リンク開始検知処理以降の処理を行う（ステップＳ２３〜ステップＳ２９）。
【０１０６】
ここで、図２３から図３１を用いて、リンク対象領域定義処理（ステップＳ２５）およびリンク生成処理（ステップＳ２７）を詳述する。
図２３は、部分映像データとしてリンクされる映像オブジェクト（文字「Ｙ」のロゴ）１５１の例を示す。
この図２３は、記憶部１１に保持されているフレーム開始番号１３３からフレーム終了番号１３４までに対応する映像データ（各フレームにおいては、静止画像データ）を示す。
【０１０７】
図２４は、利用者によるマウス操作によって、当該映像オブジェクト１５１が選択されている様子を枠１５２によって映像提示画面１４２を使って利用者に提示している図を示す。
図２５は、当該映像オブジェクト１５１を画像処理により斜めに倒した映像オブジェクト１５３の図を示す。
図２６は、図２５の斜めにされた映像オブジェクト１５３をエッジ抽出（境界抽出）および色変換の画像処理により影データ１５４を生成した図を示す。
【０１０８】
図２７は、図２３のオリジナルの映像オブジェクト１５１と図２６の影データ１５４とを合成した図を示す。
図２８は、映像提示画面１４２を使って利用者に提示すべき領域を図２７のデータから抽出した図を示す。
【０１０９】
リンク対象領域定義処理（ステップＳ２５）では、前述したように、まず、映像オブジェクトに対してリンク付け可能であることを、映像提示画面１４２の枠の色を変更するあるいはリンク開始ボタン１４５の色を変更するなどして、利用者に通知する。
次に、利用者は映像提示画面１４２に提示されている図２３の映像オブジェクト１５１を参照しつつ、マウスを操作して、リンク付けを行うべき映像オブジェクト（ここでは、「Ｙ」のロゴ）１５１を選択する。選択結果は、図２４に示す枠１５２で示される。
【０１１０】
この枠１５２を表現する座標（例えば、左上角および右下角の座標）はリンク対象領域定義座標データとして、記憶部１１に保持されているリンク・データのリンク対象領域座標１３５に設定される。
続いて、リンク生成処理においては（ステップＳ２７）、図２４の画像を射影変換するなどの画像処理を行い図２３のオリジナルの映像オブジェクト１５１と区別可能にする。さらに、斜めにされた映像オブジェクト１５３に対する微分フィルタを用いた輪郭抽出などをして、映像オブジェクト１５３と背景の境界を決定し、映像オブジェクト１５３の領域の色変換を行うことによって、影データ１５４を生成する。
【０１１１】
さらに、図２３のオリジナルの映像オブジェクト１５１と生成した影データ１５４を合成することによって図２７の画像を得る。
最後に、利用者に対して映像提示画面１４２に提示すべき領域のクリッピング処理を行うことによって視覚的フィードバック・データ１３７を生成する。当該クリッピングされた影データ１５５の背景ないしオリジナルの映像オブジェクト１５１との境界の座標値を関連座標データとして、影データ１５４とともに記憶部１１において保持されている視覚的フィードバック・データ１３７として設定する。続いて、リンク生成処理では（ステップＳ２７）、図２８の映像を映像提示画面１４２に提示する。
【０１１２】
ここで、１つの映像オブジェクトに複数のリンク付けをする場合のリンク生成処理（ステップＳ２７）について説明する。
１つの映像オブジェクトに対してリンク付けを複数行う場合には、図２９に示すように、異なる角度で斜めにした映像オブジェクトを複数生成し、影の色を変更するなどしてそれぞれの影データ１５６ａ、１５６ｂを生成することにより、利用者にそれぞれのリンクを区別可能とする。その影データ１５６ａ、１５６ｂを図３０に示すように図２３のオリジナルの映像データ１５１と重ね合わせ、さらに図３１のようにクリッピング処理を行うことによって、当該クリッピング処理後の映像１５７ａ、１５７ｂを用いて視覚的フィードバック・データ１３７を生成する。
【０１１３】
続いて、利用者が視覚的フィードバックによって提示されている影データをマウスによって指定することでリンク対象提示を指示した場合のユーザ・インタフェースの様子について説明する。
まず、映像提示画面１４２に提示されている映像オブジェクトにリンクが関連付けられている場合、前述したように影データが重ね合わせて表示されている。利用者がマウスを用いてこの影データをクリックした場合、リンク管理部１５は、リンク・データ中の識別子１３１、映像データ名１３２、フレーム開始番号１３３、フレーム終了番号１３４、および視覚的フィードバック・データ１３７に一致ないし包含されるか否かを判断し、一致ないし包含されている場合、被リンク対象データ名１３６の値を被リンク対象データ名入カダイアログ１４７に表示することによって、利用者が被リンク対象データにアクセス可能とする。あるいは、被リンク対象データ名１３６の内容を別のウィンドウないしディスプレイに（例えば、映像提示画面１４２を画面分割して、その１つの画面に）提示する。
【０１１４】
以上の説明においては、映像データおよび被リンク対象データが同一の映像処理装置１の記憶部１１に保持されていることを前提に説明したが、映像データまたは被リンク対象データが例えばネットワークを介して係る映像処理装置１に接続されて、映像処理装置１から当該映像データまたは被リンク対象データにアクセスするように構成することも可能である。この場合、図２０の映像データ名１３２または被リンク対象データ名１３６は、それぞれ、映像データのアクセス先を表現するいわゆるＵＲＬまたは被リンク対象データのアクセス先を表現するＵＲＬとして構成することができる。
【０１１５】
また、映像データおよび被リンク対象データが同一の映像処理装置１の記憶部１１に保持されていることを前提に説明したが、図３２に示すように、クライアント１６１およびサーバ１６２がネットワーク１６３を介して接続され、クライアント１６１またはサーバ１６２に前述した映像処理装置１の各部の機能を分離配置し、リンク付けを行うように構成することができる。例えば、図３２に示すように、リンク生成部１７３をサーバ１６２に配置し、他の処理部である記憶部１７１、リンク対象指定部１７２、映像指示部１７４、リンク管理部１７５をクライアント１６１に配置する構成とすることも可能である。
【０１１６】
図３３は、ネットワークに伝送されるリンク・データの形式の例を示す。
図３３に示すように図２０のリンク・データの構造を例えばいわゆるＸＭＬ形式に変換してネットワークに伝送することによって、図３２のようなクライアント１６１とサーバ１６２をネットワーク１６３を介して接続した場合にリンク・データを転送して利用することが可能となる。
【０１１７】
同じく、図３４は、ネットワークに伝送されるリンク・データの形式の他の例を示す。図３４では、被リンク対象データとして、リンク・データが指定されている様子を示す。
具体的には、〈resource-name〉要素として、LlNK001のリンク・データの識別子が設定されている。このように被リンク対象データとしてリンク・データを指定した場合、リンク管理部１７５は、図３４のＸＭＬ形式のリンク・データ（識別子がLINK003のリンク・データ）を解釈し、L1NK001のリンク・データを取得する。さらに、リンク管理部１７５は、図３３のＸＭＬ形式のリンク・データ（識別子がLlNKOO1のリンク・データ）を解釈し、<audiovisual-data>要素にVideo.mpgのデータが設定され、かつ<resource-name>要素にAnnotation.txtのデータが設定されていることを検知する。
【０１１８】
続いて、リンク管理部１７５は、利用者に対してVideo.mpgのデータかAnnotation.txtのデータかのいずれを利用するかを選択させ、選択されたデータを映像提示画面１４２に提示する。仮に〈resource-name〉要素として、さらにリンク・データの識別子が設定されている場合には、同様の動作を繰り返して、リンクをたどっていく。このように、被リンク対象データ名１３６または〈resource-name〉要素にリンク・データの識別子を設定することによって、リンク・データを再利用することができる。また、ＸＭＬ形式化されたリンク・データを電子メールなどで転送し、転送された利用者の映像処理装置１で当該ＸＭＬ形式化されたリンク・データを利用することにより、リンク・データを再利用することも可能である。
【０１１９】
次に、リンクされたテキスト・データ、音声データ、または映像データなどの電子データからリンクされる任意の部分映像データを特定する手段およびステップについて説明する。
ここで、図３５に示すようなリンク・データが記憶部１１に保持されているとする。
つまり、リンク識別子１３１に“LlNK001”の値が設定され、映像データ名１３２に“Video.mpg”の値が設定され、フレーム開始番号１３３に“１２０”の値が設定され、フレーム終了番号１３４に“150”の値が設定され、リンク対象領域座標１３５に“{(1O,30),(10,10),(20,10),(20,30)}”の値が設定され、被リンク対象データ名１３６に“Annotation.txt”の値が設定され、視覚的フィードバック・データ１３７に“Visual.dat”が設定されていたとする。
【０１２０】
利用者がリンクされたテキスト・データ、音声データまたは映像データなどの電子データから任意の部分映像データを特定する場合、まず、利用者は図２１の被リンク対象データ名入カダイアログ１４７から所望の被リンク対象データ名（当該電子データの名前）を入力する。つまり、利用者は被リンク対象データ名入カダイアログ１４７を使って“Annotation.txt”を入力する。被リンク対象データ名入カダイアログ１４７から被リンク対象データ名が入力されると、映像処理装置１のリンク管理部１５は、記憶装置１１に保持されているリンク・データの中から、被リンクデータ名の値が一致するリンク・データを検索し、取得する。
【０１２１】
次に、リンク管理部１５は、当該リンク・データの映像データ名１３２を参照し、映像データ名に一致する映像データを記憶部１１から取得する。つまり、リンク管理部１５は、当該リンク・データ中の映像データ名１３２の値“Video.mpg”を参照し、当該“Video.mpg”に一致する映像データを記憶部１１から取得する。
【０１２２】
続いて、リンク管理部１５は、リンク・データ中のフレーム開始番号１３３およびフレーム終了番号１３４の値“１２０”および“１５０”を参照して、映像データ中から抽出すべきフレーム、すなわち、フレーム番号１２０から１５０までのフレームを抽出する。さらに、リンク管理部１５は、リンク・データを参照してリンク対象領域座標１３５を参照し、リンク対象領域座標として“{(10,30),(1O,1O),(20,1O),(20,30)}”の値を得る。
【０１２３】
そこで、リンク管理部１５は、前述の抽出した各フレームのリンク対象領域座標に一致する領域、ここでは(10,30),(10,10),(20,10),(20,30)の各座標に囲まれる領域に対して、リンク・データの視覚的フィードバック・データ１３７に対応するデータを配置し、映像提示画面１４２に提示する。
そこで、利用者は、被リンク対象データ名“Annotation.txt”に対応した、映像データ“Video.mpg”中の視覚的フィードバックで示される領域を特定することができる。
【０１２４】
次に、リンクされたテキスト・データ、音声データまたは映像データなどの電子データを電子掲示板システムまたは電話などの通話ないし通信システムに転送し、リンクされた任意の部分映像データに関連する対象に当該電子データを引き渡す手段およびステップについて説明する。
【０１２５】
図３６は、図１の映像処理装置１と同様に記憶部１９１とリンク対象領域指定部１９２とリンク生成部１９３と映像提示部１９４とリンク管理部１９５とを備えた構成に、リンク・データ転送部１９６および電話通話部１９７を付加した拡張した映像処理装置１８１の一例を示すブロック図である。
【０１２６】
リンク・データ転送部１９６は、ＣＰＵおよびバッファ記憶装置から構成され、記憶部１９１から転送すべき被リンク対象データを入力し、電話通話部１９７に転送する。
電話通話部１９７は、通常の電話の通話機能を有するサブシステムであり、リンク・データ転送部１９６から入力された被リンク対象データを外部の電話に送信する。
【０１２７】
ここで、図３７に示すようなリンク・データが記憶部１９１に保持されているとする。つまり、リンク識別子１３１に“LlNK002”の値が設定され、映像データ名１３２に“Video.mpg”の値が設定され、フレーム開始番号１３３に“１２０”の値が設定され、フレーム終了番号１３４に“１５０”の値が設定され、リンク対象領域座標１３５に“{(10,30),(10,10),(20,1O),(20,30)}”の値が設定され、被リンク対象データ名１３６に“Voice.dat”の値が設定され、視覚的フィードバック・データ１３７に“Visual2.dat”が設定されていたとする。また、音声データであるVoice.datは記憶部１９１に保持され、“Voice.dat”と組み合わせて、当該音声データ“Voice.dat”に対応する通話用の電話番号“O120-123-4567”が同じく記憶部１９１に保持されているとする。
【０１２８】
利用者が映像提示画面１４２に提示されている視覚的フィードバックにより、識別子“Link002”で識別されるリンク・データをマウスを使って選択したとする。
リンク管理部１９５は、記憶部１９１に保持されているリンク・データを参照し、被リンク対象データが音声データである“Voice.dat”であることを特定すると、当該“Voice.dat”に対応する通話用の電話番号“O120-123-4567”を取得する。
【０１２９】
次に、リンク管理部１９５は、“Voice.dat”をリンク・データ転送部１９６に転送する。続いて、電話通話部１９７は、取得した電話番号“0120-123-4567”を使って通話先を呼び出し、呼び出しがあった場合、“Voice.dat”を音声データとして再生し、通話を完了する。
【０１３０】
ここでは、通常の公衆電話網の電話に接続することを想定したが、電話通話部１９７に代えて、データ送出機能を準備し、被リンク対象データがテキスト・データである場合には、電子掲示板に転送するように構成することもできる。同じく、通常の電話機能に代えて、いわゆるインターネット電話機能を持つデータ送出機能を準備し、インターネット電話に対して被リンク対象データを送出するように構成することも可能である。
【０１３１】
次に、本発明の第３実施例に係る映像処理装置や映像処理方法を説明する。
図３８および図３９は、本例の映像処理装置１の映像提示画面２０１に映像オブジェクト２０３が１個である映像データおよび枠２０２並びに視覚的フィードバック２０４ａ、２０４ｂ、２０５ａ、２０５ｂ、２０６ａ、２０６ｂが提示されているユーザ・インタフェースの例を示す図である。
図４０は、本例の映像処理装置１の映像提示画面２０１に映像オブジェクト２０３、２０７が２個である映像データおよび枠２０２並びに視覚的フィードバック２０５ａ、２０５ｂ、２０６ａ、２０６ｂ、２０８ａ、２０８ｂが提示されているユーザ・インタフェースの例を示す図である。
【０１３２】
図３８は、映像オブジェクト（“Ｙ”のロゴ）２０３に対して、１個のリンクが設定されている場合を示す。
一方、図３９は、同一の映像オブジェクト（“Ｙ”のロゴ）２０３に対して、２個のリンクが設定されている場合を示す。このように複数のリンクが設定されている場合には、相異なる色の図形を映像提示画面２０１の枠２０２に提示することにより、リンクを区別することが可能となる。
【０１３３】
図３８、図３９、および図４０に示すように、リンクが設定されている映像オブジェクト（“Ｙ”のロゴ）２０３、２０７から距離が短い枠２０２の二辺であって当該映像オブジェクト２０３、２０７の水平位置（例えば、横軸）及び垂直位置（例えば、縦軸）に対応する位置にそれぞれリンクを示す図形２０４ａ、２０４ｂ、２０５ａ、２０５ｂ、２０６ａ、２０６ｂ、２０８ａ、２０８ｂを配置することにより、利用者はリンクの存在を示す視覚的フィードバックを得ることが可能となる。
【０１３４】
以上のように、本発明の実施例に係る映像処理装置や映像処理方法では、映像データ中の任意の部分映像データを指定する手段と、映像データと指定した任意の部分映像データを同時に提示する手段と、指定した任意の部分映像データに対してリンク・データを付加する手段と、指定した任意の部分映像データ上にリンクされる対象データを提示する手段を備えた構成において、指定した任意の部分映像データに対して１個以上の関連するリンク・データを付加し、当該リンク・データを示す１個以上の部分画像アイコンを重ねて提示する、または、隣接してもしくは重ね合わせて視覚的にリンクの存在を提示する手段を備えた。
【０１３５】
そして、映像データに対してテキスト・データによるコメントや利用された関連した資料などを付加して映像データを提示し、注釈を付加する任意の部分映像データを指定し、当該映像データと指定した部分映像データを同時に提示し、指定した部分映像データに対してリンク・データを付加し、付加したリンク・データをリンクされる任意の部分映像データに隣接してまたは重ね合わせて視覚的にリンクの存在を提示する。
【０１３６】
従って、リンク・データをリンクされる任意の部分映像データに隣接してまたは重ね合わせて視覚的にリンクの存在を提示することによって、任意の部分映像データにリンク・データが存在していることを利用者に対して視覚的にフィードバックすることができる。
また、利用者は指定したフレームを抽出する部分映像データについて、リンク・データを付加したい当該部分映像データに対して、テキスト・データ、音声データ、画像データ、関連資料ファイルデータ、動画像データなどを容易かつ適切に関連付けることが可能となる。
また、関連付けを行うユーザ・インタフェースは、映像データと任意部分映像データを両方表示して、当該映像データを再生することにより、利用者は抽出した部分映像データを参照しながらリンク・データを付加することが可能となる。
【０１３７】
また、本発明の実施例に係る映像処理装置や映像処理方法では、リンク・データは部分映像データの時間範囲を含み、リンク・データを付加する手段は当該部分映像データの時間範囲を指定する手段を備えた。
従って、リンク・データを付加する部分映像データの指定範囲として、映像データの時間範囲も指定することができる。
【０１３８】
また、本発明の実施例に係る映像処理装置や映像処理方法では、リンク・データ或いは部分映像データは部分映像データの映像データにおける領域情報を含み、リンク・データを付加する手段は、部分映像データ上の領域情報を取得し、リンク・データを構成する。
従って、リンク・データを付加する手段により、部分映像データ上の領域情報を含んだリンク・データを構成することが可能となる。
【０１３９】
また、本発明の実施例に係る映像処理装置や映像処理方法では、リンク・データの提示手段は、１個以上の部分画像アイコンを時間軸上、映像データ上（空間軸上）に提示する。
従って、１個以上の部分画像アイコンを時間軸上、映像データ上（空間軸上）に提示することが可能となる。
【０１４０】
また、本発明の実施例に係る映像処理装置や映像処理方法では、リンクされる任意の部分映像データに隣接してまたは重ね合わせて視覚的にリンクの存在を提示する手段は、係る任意の部分映像データまたは当該領域中の映像対象の影、または類似する形状の輝度変化によって、視覚的にリンクの存在を提示する。
従って、係る任意の部分映像データまたは当該領域中の映像対象の影または類似形状の輝度変化による視覚的フィードバックを利用者に提供することによって、係る任意の部分映像データまたは当該領域中の映像対象の形状に対応した影または類似形状の輝度変化による視覚的フィードバックを利用者に提供することができる。
【０１４１】
また、本発明の実施例に係る映像処理装置や映像処理方法では、映像の任意部分データ中にある任意の場所に対して、複数の関連するデータを示す場合に、部分画像を重ねて付加する手段を備えた。
従って、映像データ中の任意の部分データ中にある任意の映像対象に対して、複数のリンク・データが関連する場合に、部分画像アイコンなどによってリンク・データを重ね合わせて付加することが可能となる。
【０１４２】
また、本発明の実施例に係る映像処理装置や映像処理方法では、任意の部分映像データまたは当該領域中の映像対象の影または類似形状の輝度変化としては、当該任意の部分映像データまたは当該領域中の映像対象の形状から提示すべき影の形状または類似した形状などを生成する。
従って、任意の部分映像データまたは当該領域中の映像対象の影または類似形状の輝度変化として、当該任意の部分映像データまたは当該領域中の映像対象の形状から提示すべき影の形状または類似した形状などを生成することによって、オリジナルの映像データに対して違和感のない視覚的フィードバックを利用者に提供することができる。
【０１４３】
また、本発明の実施例に係る映像処理装置や映像処理方法では、同一の画像データに対して複数のリンクを付加した場合に、利用者に視覚的なフィードバックを与えて、各リンクを区別し、リンクされた情報を有効に利用させることができる。
【０１４４】
また、本発明の実施例に係る映像処理装置や映像処理方法では、リンクされる任意の部分映像データに隣接してまたは重ね合わせて視覚的にリンクの存在を提示する手段は、任意の部分映像データ内の輝度変化から映像対象を抽出する手段を備えた。
従って、任意の部分映像データの映像対象を、当該任意の部分映像データ内の輝度から抽出することができる。
【０１４５】
また、本発明の実施例に係る映像処理装置や映像処理方法では、リンク・データを付加する手段は、映像データの輝度変化などから抽出された映像データ中の映像対象を利用者により選択させる。
従って、映像データの輝度変化などから抽出された映像データ中の映像対象を利用者が選択することが可能となる。
【０１４６】
また、本発明の実施例に係る映像処理装置や映像処理方法では、リンクされる任意の部分映像データに隣接してまたは重ね合わせて視覚的にリンクの存在を提示する手段は、２つ以上のリンクを提示する場合に、係る任意の部分映像データまたは当該領域中の映像対象の相異なる影または相異なる類似形状の輝度変化もしくは色の変化などによって、視覚的にリンクの存在を提示する。
従って、同一の部分映像データに複数のリンク・データが付加された場合に、これら複数のリンクを識別可能に提示することができる。
【０１４７】
また、本発明の実施例に係る映像処理装置や映像処理方法では、任意部分映像データに指定したリンク・データを付加すると同時に、部分映像データにリンク・データを単独ならびに重ね合わせて提示することにより、任意の部分映像データの指定部分画像に対して、関連するリンク・データを付加することに加えて、リンク・データを指定部分画像に重ね合わせることが可能となる。
【０１４８】
また、本発明の実施例に係る映像処理装置や映像処理方法では、付加されたリンク・データは、他の任意の部分映像データや他の任意の部分映像データに付加されたリンク・データに対して、リンク・データのリンク・データを生成する手段を備えた。
従って、付加されたリンク・データにより、他の任意の部分映像データや他の任意の部分映像データに付加されたリンク・データに対して、関連付けが可能となる。
【０１４９】
このように、本発明の実施例に係る映像処理装置や映像処理方法では、映像データ中の同一の領域または当該領域中の同一の映像対象に対して複数のリンクを関連付けることができ、また、リンク・データが付加された指定した任意の部分映像データを、映像データ中の他の任意の部分映像データや他のリンク・データに対して関連付けることが可能となる。
【０１５０】
また、本発明の実施例に係る映像処理装置や映像処理方法では、リンク・データの内容として、テキスト・データ、音声データもしくは映像データなどの電子データや、電子ファイルまたはリンク・データなどをリンク対象とすることを記述する。
従って、映像データにリンクされるデータの内容として、テキスト・データ、音声データまたは映像データなどの電子データなどをリンクすることができる。
【０１５１】
このように、本発明の実施例に係る映像処理装置や映像処理方法では、指定した任意の部分映像データに、関連する電子メールなどの既存の電子文書や、会議で用いられた画像データ、関連した部分音声データ、映像データなどの電子ファイルを関連付けさせることができる。
【０１５２】
また、本発明の実施例に係る映像処理装置や映像処理方法では、単独または複数の利用者がリンク・データを付加、共有、提示または配布する手段を備えた。
従って、例えば、利用者は、保存されたリンク・データについて、情報携帯端末およびリンク・データを付加、共有、提示または配布する手段を利用して、リンク・データを取得し、リンクされた映像データに対してリンクを付加するなどの種々な再編集を行うことが可能となる。また、利用者は、複数の利用者間でリンク・データを付加、共有、提示または配布する手段を利用してリンク・データならびにリンク・データが付加された映像データまたは被リンク対象データを取得して、これにより、リンク・データ、リンク・データが付加された映像データまたは被リンク対象データを合成するなどの種々な再編集を行うことが可能となる。
【０１５３】
また、本発明の実施例に係る映像処理装置や映像処理方法では、リンク・データを付加する手段は、指定した任意の部分映像データ中の単一または複数の人物に対して、音声データが有効であるときに、当該動画データおよび音声データから部分映像データの時間範囲を抽出する手段を備えた。
従って、リンク・データを付加する手段により、指定された任意の部分映像データ中の音声データなどを解析して、同一人物の発言の部分やあるいは質疑応答などの複数人物間の対話で同一の内容である部分を推測して切り出し、当該部分のデータに相当する部分映像データを抽出して、当該部分映像データに対してリンク・データを付加することが可能となる。
【０１５４】
また、本発明の実施例に係る映像処理装置や映像処理方法では、リンクされたテキスト・データ、音声データまたは映像データなどの電子データなどからリンクされる任意の部分映像データを特定する手段を備えた。
従って、リンクされたテキスト・データ、音声データまたは映像データなどの電子データなどからリンクされる任意の部分映像データを特定することにより、リンクされた電子データなどからリンクされる任意の部分映像データを参照することが可能となる。
【０１５５】
また、本発明の実施例に係る映像処理装置や映像処理方法では、利用者が部分映像データまたは部分映像データ内の映像対象を指定することによって、リンクされたテキスト・データ、音声データまたは映像データなどの電子データなどを電子掲示板システムや、電話または電子メールなどの通話ないし通信システムに転送し、リンクされた任意の部分映像データに関連する対象に当該電子データなどを引き渡す手段を備えた。
従って、任意の部分映像データから、係る電子掲示板システムまたは電話ないし通信システムを利用して、任意の部分映像データに関連する相手側のデータを参照することや、当該相手に対して当該電子データなどを通知ないし転送することが可能となる。
【０１５６】
また、本発明の実施例に係る映像処理装置や映像処理方法では、映像データを提示し、当該映像データに対してリンク・データを保持し、処理する構成において、リンク・データがリンクされる任意の部分映像データに対応して、映像データの外枠に視覚的にリンクの存在を提示する手段を備えた。
従って、提示される映像データを邪魔することなく、その外枠を用いて部分映像データに対するリンクの存在を提示することができる。
【０１５７】
以上のように、本発明の実施例に係る映像処理装置や映像処理方法では、リンク・データがリンクされた映像データを利用者に提示する場合に、例えば利用者が映像処理装置内の映像提示画面に提示されている映像データの領域上にマウスを移動しなくても、利用者に対してリンクの視覚的なフィードバックを与えることができ、単数または複数のリンクの存在を利用者に知らせることができる。また、リンクされたテキスト・データ、音声データまたは映像データなどの電子データなどから任意の部分映像データを参照することが可能となる。さらに、視覚的なフィードバックを通して、任意の部分映像データから、電子掲示板システムまたは電話ないし通信システムを介して、当該任意の部分映像データに関連する対象を参照または利用すること、などが可能となる。
【０１５８】
なお、本発明の実施例に係る映像処理装置などでは、映像データから部分映像データを特定するリンク対象領域指定部１２などの機能により部分映像データ特定手段が構成されており、部分映像データと他のデータとを関連付ける（リンクする）リンク生成部１３などの機能によりデータ関連付け手段が構成されている。
また、本発明の実施例に係る映像処理装置などの部分映像データ特定手段では、部分映像データの候補を特定する機能により部分映像データ候補特定手段が構成されており、当該候補の中から部分映像データの指定をユーザから受け付ける機能により部分映像データ指定受付手段が構成されている。
【０１５９】
また、本発明の実施例に係る映像処理装置などでは、部分映像データに関連付けられたデータから当該部分映像データを特定するリンク管理部１５などの機能により関連部分映像データ特定手段が構成されており、部分映像データに関連付けられたデータの存在を示すデータ（視覚的フィードバック・データ）を当該部分映像データと視覚的に関連付けて提示する映像提示部１４などの機能により関連データ提示手段が構成されている。
【０１６０】
また、本発明の実施例に係る映像処理装置などでは、視覚的フィードバック・データと所定の処理とが記憶部１１において対応付けられており、提示された視覚的フィードバック・データの指定をユーザから受け付ける映像提示部１４などの機能により提示データ指定受付手段が構成されており、指定を受け付けた視覚的フィードバック・データに対応付けられた処理を実行するリンク管理部１５などの機能により提示データ対応処理実行手段が構成されている。
【０１６１】
また、本発明の実施例に係る映像処理装置などでは、部分映像データに関連付けられた複数のデータの存在を示す例えば複数の視覚的フィードバック・データを当該部分映像データと視覚的に関連付けて提示する映像提示部１４などの機能により複数関連データ提示手段が構成されている。
【０１６２】
ここで、本発明に係る映像処理装置や映像処理方法などの構成や態様としては、必ずしも以上に示したものに限られず、種々な構成や態様が用いられてもよい。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
【０１６３】
また、本発明に係る映像処理装置や映像処理方法などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭ（Read Only Memory）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（Compact Disc）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。
【０１６４】
【発明の効果】
以上説明したように、本発明に係る映像処理装置や映像処理方法などでは、例えば、映像データから当該映像データの部分である部分映像データを特定し、特定した部分映像データに対してデータを当該データの存在を提示可能なように関連付けるようにしたため、当該部分映像データに関連付けられたデータの存在を提示可能とすることができる。
つまり、本発明に係る映像処理装置や映像処理方法などでは、例えば、部分映像データに関連付けられたデータの存在を示すデータを、映像データ中の当該部分映像データと視覚的に関連付けて提示するようにしたため、当該関連付けられたデータの存在や当該関連付けをユーザに対して視覚的に把握可能とすることができる。
【０１６５】
また、本発明に係る映像処理装置や映像処理方法などでは、例えば、映像データから特定された当該映像データの部分である部分映像データに関連付けられた複数のデータの存在を示すデータを、当該映像データ中の当該部分映像データと視覚的に関連付けて提示するようにしたため、当該関連付けられた複数のデータの存在や当該関連付けをユーザに対して視覚的に把握可能とすることができる。
【図面の簡単な説明】
【図１】  本発明に係る映像処理装置の構成例を示す図である。
【図２】  本発明に係る映像処理装置の詳細な構成例を示す図である。
【図３】  映像データから部分映像データを抽出する様子を示す図である。
【図４】  部分映像データを抽出する処理の手順の一例を示す図である。
【図５】  部分映像データにリンク・データを付加する処理の手順の一例を示す図である。
【図６】  リンク・データ付加記憶装置のデータ構造の一例を示す図である。
【図７】  リンク・データ付加記憶装置の拡張されたデータ構造の一例を示す図である。
【図８】  ユーザ・インタフェースの一例を示す図である。
【図９】  部分映像データにリンク・データを付加した後のデータ構造の一例を示す図である。
【図１０】  リンク・データ付加提示のユーザ・インタフェースの一例を示す図である。
【図１１】  協調作業における装置構成とユーザ・インタフェースの具体例を示す図である。
【図１２】  部分映像データにリンク・データを付加した後のデータ構造の他の一例を示す図である。
【図１３】  複数の利用者により付加されたリンク・データを表現する部分画像アイコンを提示した一例を示す図である。
【図１４】  編集作業を行うシステムの構成例を示す図である。
【図１５】  被リンク・対象データと映像データの構造の一例を示す図である。
【図１６】  複数の映像データの部分から合成した映像データを生成する様子の一例を示す図である。
【図１７】  リンク・データ付加時における発言推測の一例を示す図である。
【図１８】  リンク・データ付加時における対話推測の一例を示す図である。
【図１９】  リンク・データ付加時における対話推測の仕方の一例を説明するための図である。
【図２０】  リンク・データのデータ構造の一例を示す図である。
【図２１】  ユーザ・インタフェースの一例を示す図である。
【図２２】  リンク付け処理の手順の一例を示す図である。
【図２３】  映像オブジェクトの一例を示す図である。
【図２４】  映像オブジェクトを枠で囲んだものの一例を示す図である。
【図２５】  映像オブジェクトを斜めに倒したものの一例を示した図である。
【図２６】  影データの一例を示した図である。
【図２７】  映像オブジェクトと影データとを合成したものの一例を示す図である。
【図２８】  映像オブジェクトと影データの提示すべき領域を抽出したものの一例を示す図である。
【図２９】  複数の影データの一例を示す図である。
【図３０】  映像オブジェクトと複数の影データとを合成したものの一例を示す図である。
【図３１】  映像オブジェクトと複数の影データの提示すべき領域を抽出したものの一例を示す図である。
【図３２】  ネットワークを介してリンク付け処理を行う構成の一例を示す図である。
【図３３】  ネットワークに伝送されるリンク・データの形式の一例を示す図である。
【図３４】  ネットワークに伝送されるリンク・データの形式の他の一例を示す図である。
【図３５】  リンク・データの値の一例を示す図である。
【図３６】  拡張した映像処理装置の構成例を示す図である。
【図３７】  リンク・データの値の一例を示す図である。
【図３８】  映像処理装置の映像提示画面に映像オブジェクトが１個である映像データ及び枠並びに視覚的フィードバックが提示されているユーザ・インタフェースの一例を示す図である。
【図３９】  映像処理装置の映像提示画面に映像オブジェクトが１個である映像データ及び枠並びに視覚的フィードバックが提示されているユーザ・インタフェースの一例を示す図である。
【図４０】  映像処理装置の映像提示画面に映像オブジェクトが２個である映像データ及び枠並びに視覚的フィードバックが提示されているユーザ・インタフェースの一例を示す図である。
【符号の説明】
１、１８１・・映像処理装置、  １１、１７１、１９１・・記憶部、
１２、１７２、１９２・・リンク対象領域指定部、
１３、１７３、１９３・・リンク生成部、
１４、１７４、１９４・・映像提示部、
１５、１７５、１９５・・リンク管理部、  ２１、９７・・映像記憶装置、
２２、９１ａ、９１ｂ・・映像データ提示装置、
２３、９２ａ、９２ｂ・・任意部分映像データ指定装置、
２４、９３ａ、９３ｂ・・部分映像データ提示装置、
２５、９４ａ、９４ｂ・・リンク・データ付加装置、
２６、９６ａ、９６ｂ、９８・・リンク・データ記憶装置、
２７、９５ａ、９５ｂ・・リンク・データ提示装置、
３１、１０１、１１１〜１１３、１２１〜１２３、Ｆ１〜Ｆ７、Ｆ１１〜Ｆ１７・・映像データ、
３２・・部分映像データ、  ３３・・外接矩形、  ４１・・タイム・コード、
４２・・座標データ、
４３、１０２、１１４ａ、１１５ａ、１１５ｂ、１１６ａ、１１６ｂ、１１６ｃ、１２４ａ、１２５ａ、１２５ｂ、１２５ｃ、１２６ａ・・被リンク対象データ、
４４・・記憶装置名、  ４５・・部分画像アイコン・データ、
４６・・利用者データ、  ５１・・映像データ提示画面、
５２・・部分映像データ提示画面、  ５３・・リンク・データ付加画面、
５４・・被リンク対象データ提示画面、
６２ａ〜６２ｅ、８２ａ〜８２ｃ、８４ａ〜８４ｄ・・リンク・データ付きの部分映像データ、
７１、７２・・オブジェクト、
７３、７４・・メッセージ送付用リンク・データ、
８１ａ、８３ａ〜８３ｃ・・部分画像アイコン、
Ｔ１、Ｔ２・・発言推測箇所、
Ｔ１１〜Ｔ１４、Ｔ２１、Ｔ２２・・対話推測箇所、  １３１・・識別子、
１３２・・映像データ名、  １３３・・フレーム開始番号、
１３４・・フレーム終了番号、  １３５・・リンク対象領域座標、
１３６・・被リンク対象データ名、
１３７・・視覚的フィードバック・データ、
１４１・・ユーザ・インタフェース、  １４２、２０１・・映像提示画面、
１４３・・映像再生ボタン、  １４４・・映像停止ボタン、
１４５・・リンク開始ボタン、  １４６・・リンク終了ボタン、
１４７・・被リンク対象データ名入力ダイアログ、
１５１、２０３、２０７・・映像オブジェクト、  １５２・・枠、
１５３・・斜めに倒した映像オブジェクト、
１５４、１５６ａ、１５６ｂ、１５７ａ、１５７ｂ・・影データ、
１５５・・影データの提示すべき領域を抽出したもの、
１６１・・クライアント、  １６２・・サーバ、  １６３・・ネットワーク、
１９６・・リンク・データ転送部、  １９７・・電話通話部、
２０２・・映像提示画面の枠、
２０４ａ、２０４ｂ、２０５ａ、２０５ｂ、２０６ａ、２０６ｂ、２０８ａ、２０８ｂ・・視覚的フィードバック、
【図１】
0004045768.tif 000002
【図２】
0004045768.tif 000003
【図３】
0004045768.tif 000004
【図４】
0004045768.tif 000005
【図５】
0004045768.tif 000006
【図６】
0004045768.tif 000007
【図７】
0004045768.tif 000008
【図８】
0004045768.tif 000009
【図９】
0004045768.tif 000010
【図１０】
0004045768.tif 000011
【図１１】
0004045768.tif 000012
【図１２】
0004045768.tif 000013
【図１３】
0004045768.tif 000014
【図１４】
0004045768.tif 000015
【図１５】
0004045768.tif 000016
【図１６】
0004045768.tif 000017
【図１７】
0004045768.tif 000018
【図１８】
0004045768.tif 000019
【図１９】
0004045768.tif 000020
【図２０】
0004045768.tif 000021
【図２１】
0004045768.tif 000022
【図２２】
0004045768.tif 000023
【図２３】
0004045768.tif 000024
【図２４】
0004045768.tif 000025
【図２５】
0004045768.tif 000026
【図２６】
0004045768.tif 000027
【図２７】
0004045768.tif 000028
【図２８】
0004045768.tif 000029
【図２９】
0004045768.tif 000030
【図３０】
0004045768.tif 000031
【図３１】
0004045768.tif 000032
【図３２】
0004045768.tif 000033
【図３３】
0004045768.tif 000034
【図３４】
0004045768.tif 000035
【図３５】
0004045768.tif 000036
【図３６】
0004045768.tif 000037
【図３７】
0004045768.tif 000038
【図３８】
0004045768.tif 000039
【図３９】
0004045768.tif 000040
【図４０】
0004045768.tif 000041