(57)【要約】【課題】映像に注釈を適切に付与することができるようにする。【解決手段】カメラサーバ１０１、１０２で撮影される映像に対する注釈を登録する旨のリクエストが、端末２００、６０１、６０２からあった場合、注釈サーバ４００において、上記注釈を上記映像に同期させて表示するための同期記述を生成し、上記生成した同期記述と注釈データとを保存する。そして、上記端末２００、６０１、６０２から上記注釈を取得する旨のリクエストのあった場合に、上記保存した音声注釈データと上記同期記述とを、リクエストのあった端末２００、６０１、６０２に配送する。これにより、端末２００、６０１、６０２では、カメラサーバ１０１、１０２から配信された映像を画面上に表示しながら、必要に応じて適切な注釈を付与することができる。【選択図】      図１
2004193979.tif 000002
【特許請求の範囲】
【請求項１】
撮影された映像データを配信するための映像配信装置と、上記映像データに付与する注釈データを配信するための注釈配信装置と、上記映像配信装置から配信された映像データに基づく映像と、上記注釈配信装置から配信された注釈データに基づく注釈とを再生する再生装置とをネットワークを介して通信可能に接続した映像配信システムであって、
上記注釈配信装置は、上記注釈データを含む関連データを取得するデータ取得手段と、
上記データ取得手段により取得された注釈データを記録媒体に保存する注釈保存手段と、
上記データ取得手段により取得された関連データに基づいて、上記映像データと、上記注釈保存手段により保存された注釈データとを対応付けるための情報を記述した同期記述を作成する同期記述作成手段とを有し、
上記再生装置は、上記同期記述作成手段により作成された同期記述に基づいて、上記映像配信装置から配信された映像データに基づく映像と、上記注釈保存手段により保存された注釈データに基づく注釈とを同期させて再生する再生手段を有することを特徴とする映像配信システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像配信システムに関し、特に映像に注釈を付与するために用いて好適なものである。
【０００２】
【従来の技術】
本発明に関係する既存の技術は、以下の通りである。
[映像通信システム]
インターネットなどの通信インフラストラクチャを使って、撮影した映像を配信するとともに、撮影のためのカメラ設定やカメラ操作などを指示する技術が確立され、製品が販売されている。
【０００３】
例えば、キヤノン社の映像配信システム「WebView/LiveScope」、および同社のネットワークカメラサーバ「VB101」などである。
【０００４】
[第三世代携帯電話技術]
第三世代(3G)の携帯電話では、電話通話しながらインターネットアクセスなどのデータ通信が可能となっている。
【０００５】
例えば、インターネット上の映像データにアクセス(映像再生)しながら、通話することができる。例えば、NTTDoCoMo社によるFOMAサービスでは、マルチアクセスと呼ばれる接続形態を用意しており、これを利用することで、データ通信を行いながら、電話通話を可能にしている。
【０００６】
さらに、第三世代の携帯電話端末では、端末自体の処理能力も強化されており、これまでＰＣ(パーソナルコンピュータ)などで行っていた作業を携帯電話端末で処理することが可能になっている。例えば、メイルやウェブブラウジングなどの機能を実装している携帯電話端末が普及している。
【０００７】
[同期記述]
Ｗ３Ｃ(the World Wide Web Consortium)の規定するＳＭＩＬ(the Synchronized Multimedia Integration Language)を使って、一連の独立したマルチメディアオブジェクト(映像や音声、あるいは、テキストや静止画など)を１つの同期マルチメディア表現に統合することができる。
【０００８】
ＳＭＩＬなどの同期記述に対応したプレーヤも実装されている。例えば、RealNetworks社のRealPlayerである。
【０００９】
[音声のテキスト化]。
音声解析モデル、コンピュータの計算能力の向上や、大規模コーパス(言語分析用の言語の資料)の充実などの相乗効果により、音声のテキスト化については、飛躍的な向上が見られている。例えば、ＰＣ用音声認識ソフトウェアとして、日本電気社のSmartVoiceや、ＩＢＭ社のViaVoiceなどが商品化されている。
【００１０】
[セキュア通信技術]
ＨＴＴＰによるＷｅｂアクセスなどの通信において安全性を提供するプロトコルとして、ＳＳＬ（Secure Socket Layer）が、ネットスケープ社から提案され、同社のブラウザソフトウェアを初めとして多くのソフトウェアに実装されている。
【００１１】
ＳＳＬは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）の上位に位置し、なおかつＨＴＴＰ（Hyper Text Transfer Protocol）やＦＴＰ（File Transfer Protocol）などアプリケーションプロトコルの下位に位置し、サーバ認証、通信データの暗号化、及びクライアント認証（オプショナル）の機能を提供する。
【００１２】
また、ワイヤレス通信において、安全性を提供する方式としては、ＷＡＰ（Wireless Application Protocol）プロトコルの一部として、ＷＴＬＳ（Wireless Transport Layer Security）がＷＡＰフォーラムによって定義されている。
【００１３】
これは、ＳＳＬをベースに設計されており、データインテグリティ、暗号化、及び端末認証など、ＳＳＬとほぼ同様の機能を提供するものである。
なお、通信における認証機能を提供する方法としては、ＲＦＣ１３３４として定義されているＣＨＡＰ（Challenge-Handshake Authentication Protocol）方式が知られている。
【００１４】
この方式は、主に、ＰＰＰ（Point-to-Point Protocol：ＲＦＣ１６６１で定義されている）で利用されている。
【００１５】
[ＭＰＥＧ−７]
ＭＰＥＧ(Motion Picture Expert Group)では、映像や静止画などのメディアデータ(コンテンツ)に関するメタデータを、ＸＭＬ準拠の記述とするための規格として、ＭＰＥＧ−７を定めている。このＭＰＥＧ−７では、記述子や記述子間の関係を定義できるようになっている。ＭＰＥＧ−７は、メタデータの仕様であって、コンテンツ自体のコーデックや蓄積方法には、依存しない。
【００１６】
コンテンツのメタデータを記述する類似の規格として、テレビ番組コンテンツを検索する目的のメタデータ記述方式の規格である「TV Anytime」、主に著作権管理を目的とする「Content ID」などがある。
【００１７】
【発明が解決しようとする課題】
ところで、近年、上述した従来の技術を用いて、カメラで映像された映像に、多人数がアクセスすることが可能な構成の映像配信システムが考えられている。また、ユーザが映像にアクセスして、その映像に注釈を付与するようにすることも考えられている。
【００１８】
しかしながら、映像に注釈を付与する際に上述した従来の技術を用いると、適切なタイミングで映像に注釈を付与することが困難であるなど、映像に適切な注釈を付与することが困難であるという問題点があった。
本発明は、このような問題に鑑みなされたものであり、映像に注釈を適切に付与することができるようにすることを目的とする。
【００１９】
【課題を解決するための手段】
上記課題を解決するため、本発明は、撮影された映像データを配信するための映像配信装置と、上記映像データに付与する注釈データを配信するための注釈配信装置と、上記映像配信装置から配信された映像データに基づく映像と、上記注釈配信装置から配信された注釈データに基づく注釈とを再生する再生装置とをネットワークを介して通信可能に接続した映像配信システムであって、上記注釈配信装置は、上記注釈データを含む関連データを取得するデータ取得手段と、上記データ取得手段により取得された注釈データを記録媒体に保存する注釈保存手段と、上記データ取得手段により取得された関連データに基づいて、上記映像データと、上記注釈保存手段により保存された注釈データとを対応付けるための情報を記述した同期記述を作成する同期記述作成手段とを有し、上記再生装置は、上記同期記述作成手段により作成された同期記述に基づいて、上記映像配信装置から配信された映像データに基づく映像と、上記注釈保存手段により保存された注釈データに基づく注釈とを同期させて再生する再生手段を有することを特徴としている。
かかる構成では、映像データと注釈データとを対応付ける同期記述に基づいて、上記映像データに基づく映像に、上記注釈データに基づく注釈を同期させて付与する。
【００２０】
【発明の実施の形態】
（第１の実施形態）
以下、本発明の映像配信システムの第１の実施形態を、図面を参照して説明する。
第１の実施形態では、カメラサーバ１０１、１０２から送られる映像に、携帯電話端末６０１、６０２から入力した音声注釈を連動させる例について説明する。
【００２１】
この中で、注釈サーバ４００が音声注釈を収集し、それを蓄積映像再生と合わせてユーザに提供するための同期記述を生成する例についても説明する。特に、本実施形態の注釈サーバ４００では、カメラ制御権をもつユーザによる音声注釈を、他ユーザによる注釈と区別するための手段を提供する点に特徴がある。
【００２２】
図１は、本発明の実施の形態を示し、映像配信装置を適用した映像配信システムの構成の一例を示した図である。
１０１および１０２はカメラサーバ、２００はクライアント端末（ビューワ）である。カメラサーバ１０１、１０２と、クライアント端末２００とはそれぞれネットワークに接続される。クライアント端末２００からネットワークを介してリクエストがカメラサーバ１０１、１０２へ送られる。
【００２３】
カメラサーバ１０１、１０２でこのリクエストが受け入れられると、カメラサーバ１０１、１０２からクライアント端末２００へ映像データが配送される。これにより、クライアント端末２００でカメラ映像を見ることが可能となる。
【００２４】
また、クライアント端末２００からカメラ制御コマンドがカメラサーバ１０１、１０２へ送られる。これにより、カメラのズーム、パン、チルトなどの操作が可能となる。さらに、ネットワーク上には、中継サーバ３００が置かれ、クライアント端末２００とカメラサーバ１０１、１０２との通信を中継することがある。
【００２５】
さらに、４００は注釈サーバであり、カメラサーバ１０１、１０２が提供する映像データに関する注釈を収集および管理する。
また、５００はネットワークと携帯電話回線網とを仲介するルータである。６０１および６０２は、ビューワプログラムを搭載した携帯電話端末である。このルータ５００を介して、ネットワークに接続された機器と携帯電話端末６０１、６０２とが通信する。
【００２６】
なお、携帯電話端末６０１、６０２上のビューワプログラムは、典型的には、工場出荷時にインストールされるが、Java（登録商標）プログラムのように、実行時にダウンロードされて実行される形態であっても良い。
【００２７】
図１に示したネットワークは、企業あるいは組織内で運用されるイントラネットである場合もあり、また、広く世界をつないでいるインターネットである場合もある。
【００２８】
また、中継サーバ３００や注釈サーバ４００は、典型的には、インターネットイクスチェンジ（ＩＸ）やデータセンター（ＩＤＣ：Internet Data Center）に配置され、通信負荷の軽減を図るよう設計されている。
【００２９】
図２は、図１の映像配信システムに、広く普及したＷｅｂ技術を併用した映像配信システムの構成の一例を示した図である。
図２に示した映像配信システムシステムでは、ネットワークに接続されたＷＷＷサーバ７００が必要となる。
【００３０】
ＷＷＷサーバ７００内のＷｅｂページデータには、どのアドレスでカメラサーバ１０１、１０２へ接続できるかを示すリンクが配置されている。これにより、所望のカメラサーバ１０１、１０２へ容易に接続することが可能となる。
【００３１】
図３は、カメラサーバ１０１のハードウェア構成の一例を示した図である。なお、カメラサーバ１０２は、カメラサーバ１０１と同じ構成であるので、ここではカメラサーバ１０１について説明を行う。
図３において、カメラサーバ１０１は、実際に撮像を行うカメラ装置３０１と、コンピュータ３０２とを備えている。
【００３２】
コンピュータ３０２は、より詳細には、プログラムやデータを格納する記憶装置３０３と、映像データを取り込むための映像キャプチャボード３０４と、カメラ装置３０１にコマンドを送るためのシリアルＩ／Ｆ３０５と、ネットワークと接続するためのネットワークＩ／Ｆ３０６と、プログラムによる各種の処理を実行するＣＰＵ３０７とを有している。
【００３３】
上記において、記憶装置３０３は、主記憶装置となるＲＡＭ（メモリ）３０３ａ、フラッシュメモリやＨＤ装置などからなる二次記憶装置（ＨＤ装置）３０３ｂ、およびプログラムを媒体からロードするためのＦＤ装置３０３ｃなどから構成される。
【００３４】
また、図示しないが、コンピュータ３０２は、各種の設定などを行うための入出力装置を備える場合もある。
上記入出力装置は、具体的には、ディスプレイを接続する表示装置や、キーボードおよびマウスなどのコントローラなどである。
【００３５】
図１２は、注釈サーバ４００を動作させるハードウェア構成の一例を示した図である。
図１２において、注釈サーバ４００は、サーバ向けコンピュータにより構成される。
【００３６】
より詳細には、注釈サーバ４００は、プログラムやデータを格納する記憶装置１２０１と、ネットワークと接続するためのネットワークＩ／Ｆ１２０２と、プログラムによる各種の処理を実行するＣＰＵ１２０３とを備えている。
【００３７】
上記において、記憶装置１２０１は、主記憶装置となるＲＡＭ（メモリ）１２０１ａ、フラッシュメモリやＨＤ装置などからなる二次記憶装置（ＨＤ装置）１２０１ｂ、およびプログラムを媒体からロードするためのＦＤ装置１２０１ｃなどから構成される。
【００３８】
また、図示しないが、注釈サーバ４００は、各種の設定などを行うための入出力装置を備える場合もある。
上記入出力装置は、具体的には、ディスプレイを接続する表示装置や、キーボードやマウスなどのコントローラなどである。
【００３９】
図４は、ビューワプログラムを動作させるハードウェア構成の一例を示した図である。すなわち、図４は、クライアント端末２００のハードウェア構成の一部を示した図である。
図４において、ビューワプログラムを動作させるハードウェアは、一般のコンピュータにより構成される。
【００４０】
このコンピュータは、より詳細には、プログラムやデータを格納する記憶装置４０１と、ネットワークと接続するためのネットワークＩ／Ｆ４０２と、プログラムによる各種の処理を実行するＣＰＵ４０３と、周辺装置４０４とを備えている。
【００４１】
上記において、記憶装置４０１は、主記憶装置となるＲＡＭ（メモリ）４０１ａ、フラッシュメモリやＨＤ装置などからなる二次記憶装置（ＨＤ装置）４０１ｂ、およびプログラムを媒体からロードするためのＦＤ装置４０１ｃなどから構成される。
【００４２】
周辺装置４０４は、マウス４０４ａやキーボード４０４ｂなどの入力装置、ディスプレイ装置４０４ｃなどの表示出力装置、あるいはマイクロフォンやスピーカなどの音声入出力装置４０４ｄを含む。なお、マウス４０４ａ、キーボード４０４ｂ、および音声入出力装置４０４ｄは、周辺コントローラ４０５を介して内部と接続される。また、ディスプレイ装置４０４ｃは、表示ボード４０６を介して内部と接続される。
【００４３】
なお、携帯電話端末６０１、６０２を使ってビューワプログラムを動作させる場合にも、ほぼ同様の構成である。しかしながら、サイズおよび携帯性などの制約から、記憶装置は、ＲＡＭやフラッシュメモリなどに限定され、また、入力装置も、携帯電話端末６０１、６０２上に配置されたボタンやスイッチ類に限定される。
【００４４】
図５は、図１及び図２に示した映像配信システムを動作させる際のプログラムを構成する部分を模式化して示した図である。
図５において、カメラサーバ１０１内には、カメラの制御をつかさどるカメラ制御サーバ５０１と、映像の配送をつかさどる映像サーバ５０２との２つのモジュールを含む。
【００４５】
同様に、クライアント端末２００及び携帯電話端末６０１、６０２内には、カメラ制御の指令や状態通知に対応するカメラ制御部５０３と、カメラ映像の表示を担当する映像表示部５０４と、コメントなどの音声注釈データを注釈サーバ４００に送付する注釈入力部５０５と、蓄積映像の再生時に対応する注釈などを同期させる同期再生部５０６とが含まれている。
【００４６】
さらに、注釈サーバ４００には、得られた注釈を蓄えるデータベース部５０７と、対応する映像に対する同期記述を生成する同期生成部５０８とがある。
【００４７】
図６は、クライアント端末２００や携帯電話端末６０１、６０２の動作の一例を説明するフローチャートである。なお、以下では、クライアント端末２００及び携帯電話端末６０１、６０２を総称してビューワマシンと称する。
【００４８】
ステップＳ６０１において、ビューワマシン上のＷｅｂブラウザが、指示されたＵＲＬに対応するＷＷＷサーバ７００に接続し、ＨＴＭＬ形式で記述されたＷｅｂページデータをリクエストする。
【００４９】
続いて、ステップＳ６０２において、ビューワマシンは、ＷＷＷサーバ７００からＷｅｂページデータを受け取り、これをＷｅｂブラウザに表示し始める。ここで受け取ったＷｅｂページデータの中には、本実施形態の映像配信システムのビューワを起動し、カメラサーバ１０１、１０２や注釈サーバ４００などへ接続するための接続情報が含まれる。
【００５０】
また、この接続情報は、ビューワの実装形態によって異なる方法で提供される。ビューワの実装形態としては、Java（登録商標）アプレット、外部プログラム、およびプラグインなどを用意している。例えば、外部プログラムを利用する場合には、次のようなハイパーリンクを用いて上記接続情報を指定する。
<a href="camera1.wvh">
【００５１】
また、プラグインを利用してｗｅｂページに上記接続情報を埋め込む場合には、次のようなembedタグを用いる。
<embed src="camera1.wvp" width=480 height=320>
次に、ステップＳ６０３において、ビューワマシン上のＷｅｂブラウザは、ＷＷＷサーバ７００へアクセスして指定された上記接続情報を取得する。
【００５２】
次に、ステップＳ６０４において、ビューワマシンは、上記取得した接続情報の識別子に対応するプログラム、すなわち本映像配信システムのビューワプログラムを起動する。
【００５３】
次に、ステップＳ６０５において、上記起動したビューワプログラムにより、上記取得（ダウンロード）した接続情報を読み出す。そして、上記読み出した接続情報に記載されているカメラサーバ１０１、１０２を構成する映像サーバ５０２のアドレスおよび接続ポートの情報に従い、ビューワマシンを映像サーバ５０２へ接続する。
【００５４】
ここで、接続以降の処理を行うための動作プログラム（実現方法としては、スレッドあるいはプロセスの起動となる）が起動され、この映像表示用スレッドは、終了までステップＳ６３１の処理を繰り返す。すなわち、ビューワマシンは、映像サーバ５０２からの映像データが届くたびにそれを受け取り、ディスプレイ装置４０４ｃなどに表示する。
【００５５】
さらに、ステップＳ６０６において、上記起動したビューワプログラムは、上記接続情報に記載されている注釈サーバ４００のアドレスおよび接続ポートの情報に従い、ビューワマシンを注釈サーバ４００へ接続する。
【００５６】
ここで、接続以降の処理を行うための動作プログラムが（スレッドあるいはプロセスとして）起動され、この注釈用スレッドは、終了までステップＳ６２１からステップＳ６２４までの処理を繰り返す。すなわち、ビューワマシンは、注釈サーバ４００との間で注釈データの受け渡しをする。なお、この動作の詳細に関しては、後述する。
【００５７】
さらに、ステップＳ６０７において、ビューワマシンのメインのプログラムは、上記ダウンロードした接続情報に記載されているカメラ制御サーバ５０１のアドレスおよび接続ポートの情報に従い、ビューワマシンをカメラ制御サーバ５０１へ接続する。これ以降ビューワマシンのメインプログラムは、ユーザからの操作要求を受け付けて実行するメインループへ続く。
【００５８】
このメインループでは、まず、ステップＳ６０８において、マウス４０４ａの操作、あるいはキーボード４０４ｂの操作によってユーザが行ったメニュー操作などの操作内容を受け取る。
【００５９】
この受け取ったユーザの操作内容が、カメラ制御に関する場合には、ステップＳ６０９に進み、カメラ制御サーバ５０１へコマンドを発する。
また、上記受け取ったユーザの操作内容が、上記映像サーバ５０２に関する場合には、ステップＳ６１０に進み、映像サーバ５０２へコマンドを発する。
【００６０】
さらに、上記受け取ったユーザの操作内容が、ビューワの状態を変更する（たとえば表示サイズを変更する）ものの場合には、ステップＳ６１１に進み、内部状態を更新する。
【００６１】
そして、上記ユーザの操作が終了したと判断した場合には、ビューワマシンの動作に関連する各プログラムを順次終了する。このようにして、ステップＳ６０９〜Ｓ６１１の処理が完了するとステップＳ６０８へ戻り、ユーザの操作入力を待つ。
【００６２】
ビューワマシンを注釈サーバ４００へ接続する処理（ステップＳ６０６）で起動する上記注釈用スレッドでは、まず、ステップＳ６２１において、ビューワマシン上の音声入出力装置４０４ｄを初期化する。
【００６３】
次に、ステップＳ６２２において、一定時間（例えば、１秒間）音声データを取得(キャプチャ)する。
そして、ステップＳ６２３において、上記取得した音声データのホワイトノイズを除去した上で、一定レベル（音量）以上の音声データが所定の処理結果から得られた場合には、それをエンコード/圧縮して、ステップＳ６２４に進む。一方、一定レベル（音量）以上の音声データが得られない場合には、ステップＳ６２２に戻る。
【００６４】
そして、ステップＳ６２４において、上記得られた一定レベル以上の音声データと合わせて、映像サーバ５０２の識別子（典型的には、前記接続情報に記載されている映像サーバのアドレスおよび接続ポート情報である）、映像サーバ５０２との接続のセッション識別子、現在表示している映像のタイムスタンプ、カメラ制御権の有無、パンやズームや逆光補正などカメラ制御パラメータなどの情報を注釈サーバ４００に送信する。そして、最後に、ステップＳ６２２に戻る。
【００６５】
なお、本実施形態では、ユーザからの音声注釈の有無をレベル（音量）から自動判別しているが、ユーザが明示的に注釈の開始と終了を指定してもよい。この場合、例えば、予め設定したキーボード４０４ｂ上のキーや、ディスプレイ装置４０４ｃの画面上に表示されているボタンを押し下げた(KeyDown)時点で、注釈音声の取得を開始し、キーを上げた(KeyUp)時点で注釈音声の取得を終了するようにすればよい。
【００６６】
蓄積映像にアクセスする際のビューワマシンにおける動作の流れも、図６に示したものと同様である。異なる部分は、カメラ制御サーバ５０１への接続を行わない点と、映像サーバ５０２への接続に先立って注釈サーバ４００に接続し同期記述を取得する点である。
【００６７】
一方、ディスプレイ装置４０４ｃの表示画面の内容は大きく異なり、カメラ制御インターフェースに変わって、蓄積映像の再生制御インターフェースを表示する（図１４を参照）。
【００６８】
また、再生映像に関するタイムスケールを表示し、再生している映像が、どの映像であるのかをユーザに伝える。さらに、注釈音声の存在を明示するためのアイコン（図１４のビューワ画面１４００の左下に表示されているベルのマーク）を表示する。
【００６９】
図７は、カメラサーバ１０１内のカメラ制御サーバ５０１の動作の一例を説明するフローチャートである。
カメラ制御サーバ５０１は、まず起動時にステップＳ７０１において、特定のファイル（ＯＳによってはレジストリなどのシステムデータベース）からカメラ制御サーバ５０１の動作設定情報を読み出して、それに基づき動作を開始する。ここで、クライアントであるビューワプログラム（ビューワマシン）からのリクエストを受け付けるポートを開く。
【００７０】
続いて、ステップＳ７０２において、ビューワプログラムからのリクエストを受け付ける状態に入る。リクエスト（接続リクエストもしくは操作コマンドリクエスト）が受け付けられたら、ステップＳ７０２を抜けて、ステップＳ７０３に進み、リクエストが接続リクエストならば接続の可否を判定する。
【００７１】
この判定の結果、接続を拒否するならば、接続拒否のエラーコードをビューワマシンに返してステップＳ７０２に戻る。一方、接続を許可するならば、ステップＳ７０４に進んでビューワマシンとカメラ制御サーバ５０１との接続処理を行う。
【００７２】
そして、クライアント（ビューワマシン）からのコマンドの受付処理を行うスレッドを生成し、クライアントの登録を行ってから、ステップＳ７０２に戻る。
【００７３】
このステップＳ７０４で生成されたスレッドは、ステップＳ７０７において、対応するクライアント（ビューワマシン）からのコマンドの受付処理を行う。そして、コマンドが届いたならば、それを受け付けて、カメラ操作を行う主プログラムへ受け渡す。
【００７４】
そして、ステップＳ７０２において、主プログラムは、ステップＳ７０４で生成されたスレッドから、上記コマンドを受け取る。受け取ったコマンドが操作コマンドである場合には、ステップＳ７０５へ進み、カメラ操作を行う。そして、その結果（操作が成功か失敗かを示すコードなど）を、カメラ操作の要求（リクエスト）を行ったクライアント（ビューワマシン）に対応しているスレッドへ伝える。
【００７５】
次に、ステップＳ７０８において、上記リクエスト（上記カメラの操作の要求）を行ったクライアント（ビューワマシン）に対応しているスレッドは、ステップＳ７０５で行われたカメラ操作の結果を、上記カメラ操作の要求を行ったクライアント（ビューワマシン）へ送り返す。
【００７６】
また、ステップＳ７０６において、主プログラムは、ステップＳ７０５で行ったカメラ操作により変化した制御状態（たとえば、パン・チルト・ズームの値）を、各クライアント（ビューワマシン）に対応する全てのスレッドに伝える。
【００７７】
そして、ステップＳ７０９において、各クライアントに対応する全てのスレッドは、カメラ操作により生じた制御状態の変化を、該当するクライアント（ビューワマシン）へ通達する。
【００７８】
また、各クライアントに対応するスレッドは、クライアント（ビューワマシン）から接続終了のコマンドを受け取ると、それを主プログラムへ通達し、さらにステップＳ７１０において、自身のスレッドを終了する。
【００７９】
なお、上記操作コマンドの扱いにおいては、具体的な操作コマンドを発行する前に、カメラ操作権の割り当て要求を必要とすることも可能である。このようにすれば、複数の人間がカメラの操作を要求するような状況での混乱を無くすようにすることができる。
【００８０】
この場合、まず、クライアント（ビューワマシン）は、カメラ操作権の獲得を要求するためのコマンドをカメラ制御サーバ５０１に発行する。上記カメラ操作権の獲得を要求するためのコマンドを受け取ったカメラ制御サーバ５０１は、カメラ制御権の現在の割り当て状態から、拒絶、割り当て、順番待ちの何れかを選んでクライアント（ビューワマシン）へ返答する。
【００８１】
カメラ制御権は、前もって定められた特定の時間と、クライアント（ビューワマシン）が接続を終了するまでの時間とのうち、短いほうの時間が経過することで剥奪され、次の順番待ちの人に割り当てられる。
【００８２】
順番待ち人数は、やはり前もって定められた人数（たとえば５人）に制限され、それ以上のリクエストは拒絶される。
クライアント（ビューワマシン）は、カメラ制御権が獲得されてから剥奪されるまでの間だけ、上記操作コマンドを発行する。カメラ制御サーバ５０１は、カメラ制御権が付与されているクライアント（ビューワマシン）からの操作コマンドのみを受け付ける。
【００８３】
図８は、カメラサーバ１０１内の映像サーバ５０２の動作の一例を説明するフローチャートである。
映像サーバ５０２は、まず起動時にステップＳ８０１において、特定のファイル（ＯＳによってはレジストリなどのシステムデータベース）から映像サーバ５０２の動作設定情報を読み出して、それに基づき動作を開始する。
【００８４】
ここで、映像の獲得と符号化と蓄積とを行うスレッドを生成する（最初このスレッドは休止状態）。そして、クライアントであるビューワプログラム（ビューワマシン）からのリクエストを受け付けるポートを開く。
【００８５】
続いて、ステップＳ８０２において、ビューワプログラムからのリクエストを受け付ける状態に入る。リクエスト（接続リクエストもしくはコマンドリクエスト）が受け付けられたら、ステップＳ８０２を抜けて、ステップＳ８０３に進み、リクエストが接続リクエストならば接続の可否を判定する。
【００８６】
この判定の結果、接続を拒否するならば、接続拒否のエラーコードをビューワプログラムに返して、ステップＳ８０２に戻る。一方、接続を許可するならば、ステップＳ８０４に進んでビューワマシンと映像サーバ５０２との接続処理を行う。
【００８７】
そして、クライアント（ビューワマシン）ごとのセッションを識別するためのセッション識別子を生成するとともに、クライアント（ビューワマシン）からのコマンドの受付処理を行うスレッドを生成し、クライアントの登録を行ってから、ステップＳ８０２に戻る。
【００８８】
なお、この際、リクエストの内容がライブ映像への接続であり、かつ映像の獲得と符号化とを行うスレッドが休止状態ならば、ステップＳ８０２に戻る前に、動作開始を指示する。
【００８９】
このステップＳ８０４で生成された各クライアントに対応する各スレッドは、ステップＳ８０７において、対応するクライアント（ビューワマシン）からのコマンドの受付処理を行う。そして、コマンドが届いたならば、それを受け付けて、映像処理を行う主プログラムへ受け渡す。
【００９０】
そして、ステップＳ８０２において、主プログラムは、ステップＳ８０４で生成されたスレッドから、上記コマンドを受け取る。受け取ったコマンドが操作コマンドである場合には、ステップＳ８０５へ進み、映像の獲得や符号化・送信などに関する設定の変更操作を行う。そして、その結果（操作の成功か失敗を示すコード）を、リクエスト（映像の取得要求）を行ったクライアント（ビューワマシン）に対応しているスレッドへ伝える。
【００９１】
次に、ステップＳ８０８において、上記リクエスト（映像の取得要求）を行ったクライアントに対応しているスレッドは、ステップＳ８０５で行われた設定の変更操作の結果を、上記リクエスト（映像の取得要求）を行ったクライアント（ビューワマシン）へ送り返す。
【００９２】
また、ステップＳ８０６において、主プログラムは、ステップＳ８０４における映像の獲得と符号化とを行うスレッドへの動作開始の指示により、前もって設定された時間間隔で映像データを、映像キャプチャボードを使って獲得し、これを圧縮データに変換する。
【００９３】
さらに、この圧縮データをタイムスタンプと合わせて、映像蓄積処理を行い、さらに、ライブ映像に接続している各クライアント（ビューワマシン）に対応する全てのスレッドに伝える。
【００９４】
なお、この映像蓄積処理では、受け取ったタイムスタンプ付き圧縮データを、動作設定情報に指定された時間間隔、レート、および圧縮方式などで、記憶装置に蓄積する。
【００９５】
そして、ステップＳ８０９において、各クライアントに対応しているスレッドは、クライアント（ビューワマシン）から、次の映像フレームの送信要求があるか否かを判定する。この判定の結果、送信要求があるならば、タイムスタンプ付き圧縮データをクライアント（ビューワマシン）へ配送する。
【００９６】
ライブ映像に接続しているクライアント（ビューワマシン）に対応するスレッドが、クライアント（ビューワマシン）から、次の映像フレームの送信要求（これはクライアント（ビューワマシン）での圧縮映像データの受け取り完了に対して、送り返されるのが一般的である）を受け取った場合には、映像フレームの送信要求のフラグを設定する。
【００９７】
一方で、蓄積映像に接続しているクライアント（ビューワマシン）に対応するスレッドが、クライアント（ビューワマシン）から、次の映像フレームの送信要求を受け取った場合には、この送信要求で指定された映像フレームを記憶装置から単純に取り出し、映像データをクライアント（ビューワマシン）に配送する。
【００９８】
また、各クライアント（ビューワマシン）に対応するスレッドは、クライアント（ビューワマシン）から接続終了のコマンドを受け取ると、それを主プログラムへ通達し、さらにステップＳ８１０において、自身のスレッドを終了する。
【００９９】
図９は、ビューワプログラムが動作している時のクライアント（ビューワマシン）における表示画面の一例を示した図である。
【０１００】
図９において、９０１はＷｅｂブラウザプログラムであり、NetScape社のNavigatorや、MicroＳoft社のInternet Explorerなどがある。
９０２は、Ｗｅｂブラウザプログラム９０１の表示領域内で動作するビューワプログラムである。
９０３は映像表示部である。９０４はパン（カメラの横振り）用のスクロールバーである。９０５はチルト（カメラの縦振り）用のスクロールバーである。９０６はズーム用のスクロールバーである。９０７はカメラ制御権の要求のためのボタンである。９０８はカメラ制御権の状態を表示する部分である。９０９は逆光補正用のボタンである。
【０１０１】
図９に示したビューワは、ユーザが操作を行うためのＧＵＩであり（図６のステップＳ６０８）、ステップＳ６３１において受け取った映像データは映像表示部９０３に表示され、スクロールバー９０４〜９０６や操作ボタンからの指示は、ステップＳ６０８で受け取られ、ステップＳ６０９〜Ｓ６１１で処理され、カメラ制御サーバ５０１などへ送られる。
【０１０２】
図１０は、カメラサーバ１０１の用いる設定値、すなわちステップＳ７０１、Ｓ８０１でカメラ制御サーバ５０１や映像サーバ５０２が読み出す動作設定情報を特定のファイル（ＯＳによってはレジストリなどのシステムデータベース）に設定するカメラサーバ設定プログラムの表示画面の一例を示した図である。
【０１０３】
図１０に示した表示画面１０００により、カメラ制御サーバ５０１、映像サーバ５０２、動画品質、及び接続制限事項などに関する各種のパラメータを設定することができるようになっている。
【０１０４】
ＯＫボタン１００１を押すと設定した値が特定のファイルあるいはレジストリに書き込まれ、キャンセルボタン１００２を押してキャンセルすると、各種パラメータは書き込まれずに終了する。
【０１０５】
図１１は、図１０に示したカメラサーバ１０１の設定プログラムの動作の一例を説明するフローチャートである。
設定プログラムは、起動時にまずステップＳ１１０１において、カメラ制御サーバ５０１および映像サーバ５０２に関する設定情報を格納した特定のファイル（ＯＳによってはレジストリなどのシステムデータベース）から設定情報を読み出し、内部データとして設定する。
【０１０６】
以降、ユーザからの操作入力を受け取り、設定プログラムを実施するループを繰り返す。
ステップＳ１１０２において、ユーザからの操作入力を待ち、入力があればそれを受け取る。
【０１０７】
続いてステップＳ１１０３において、ステップＳ１１０２で入力された値が適正範囲内であるか否かを判定する。この判定の結果、入力された値が適正範囲内でなければステップ１１０４に進み、エラーメッセージを出力する。そして、入力された値を元の値を戻して、ユーザからの操作入力を待つステップＳ１１０２へ戻る。
【０１０８】
一方、入力された値が適正範囲内であるならば、内部データを更新して、ユーザからの操作入力を待つステップＳ１１０２に戻る。
【０１０９】
ここで、ユーザからの操作入力に基づいて設定できる値は、例えば、次の項目のものである。
すなわち、カメラ制御の通信用のＴＣＰポート番号、カメラと接続するＣＯＭ（シリアル）ポート、シャッタースピード、カメラ制御関連のログ情報の有無とログファイル名、映像関連の通信用のＴＣＰポート番号、ログ情報の有無とログファイル名、映像をキャプチャする時間間隔を規定するフレームレートと圧縮の品質を決めるQ-Factor、圧縮の元データの画面サイズ、１つのクライアントビューワの最大接続時間、カメラ制御に関する制御権の順番待ち人数、１つのビューワの制御権保持占有時間、及び映像とカメラ制御に関する接続可能な最大クライアント数などである。
【０１１０】
また、ステップＳ１１０２において、ユーザからの操作入力がＯＫボタン１００１の押下によるものであると判定した場合には、ステップＳ１１０５に進み、カメラ制御サーバ５０１および映像サーバ５０２に関する設定情報を格納する特定のファイルなどへ更新された内部データを書き出す。
【０１１１】
そして、ステップＳ１１０６において、更新された内部データをその後の処理に反映させるために、カメラサーバ１０１を再起動するか否かを尋ねるパネルを出力する。
【０１１２】
ユーザがこのパネルの表示内容に基づいて、再起動することを選択した場合には、ステップＳ１１０７に進み、カメラ制御サーバ５０１や映像サーバ５０２などを再起動して、ステップＳ１１０８で設定プログラムを終了する。
【０１１３】
一方、再起動しないことを選択した場合には、ステップＳ１１０６からステップＳ１１０８に直接進み、設定プログラムを終了する。
【０１１４】
また、ステップＳ１１０２において、ユーザからの操作入力がキャンセルボタン１１０２である場合には、ステップＳ１１０８に直接進み、設定プログラムを終了する。
【０１１５】
図１３は、注釈サーバ４００の動作の一例を説明するフローチャートである。
【０１１６】
注釈サーバ４００は、まず起動時にステップＳ１３０１において、特定のファイル（ＯＳによってはレジストリなどのシステムデータベース）から注釈サーバ４００の動作設定情報を読み出して、それに基づき動作を開始する。ここで、クライアントであるビューワマシンからのリクエストを受け付けるポートを開く。
【０１１７】
続いて、ステップＳ１３０２において、ビューワマシンからのリクエストを受け付ける状態に入る。リクエスト（注釈保存リクエストもしくは注釈検索リクエスト）が受け付けられたら、ステップＳ１３０２を抜けて、ステップＳ１３０３に進み、接続の可否の判定する。
【０１１８】
この判定の結果、接続を拒否するならば、接続拒否のエラーコードをビューワマシンに返して、ステップＳ１３０２に戻る。一方、接続を許可するならば、ステップＳ１３０４に進んでビューワマシンと注釈サーバ４００との接続処理を行う。
【０１１９】
そして、クライアント（ビューワマシン）との間で情報の受け渡しを行うスレッドを生成し、クライアントの登録を行ってから、ステップＳ１３０２に戻る。
【０１２０】
このステップＳ１３０４で生成された各クライアントに対応する各スレッドは、ステップＳ１３０７において、対応するクライアント（ビューワマシン）からのリクエストの受付処理を行う。そして、リクエストが届いたならば、それを受け付け、リクエスト内容に応じて処理を行う。
【０１２１】
リクエスト内容が、音声注釈データの登録である場合には、ステップＳ１３１０に進み、リクエストに付随する映像サーバ５０２とのセッション識別子、タイムスタンプ、カメラ制御権の有無、および音声注釈データなどの情報を取り出す。そして、それらの情報から同期記述を生成し、受け取った音声注釈データとともにデータベース部を介して保存する。
【０１２２】
この時、カメラ制御権が有であった場合には、予め設定された予鈴音（ジングル）データを、受け取った音声注釈データに前置きするよう合成する。
また、この同期記述の生成に際して、同じ時刻に複数の音声注釈データが発生した場合には、カメラ制御権をもつ注釈を最優先とする。それ以外の場合には、後から登録された注釈を優先し、排他的に再生するような同期記述を生成する。
【０１２３】
一方、リクエスト内容が、音声注釈データの検索である場合には、ステップＳ１３１１に進み、リクエストで要求された映像サーバ識別子に関して、指定された時間帯の注釈データを、データベース部を介して抽出する。そして、得られた同期記述と注釈データとをクライアント（ビューワマシン）に配送する。
【０１２４】
また、クライアント（ビューワマシン）から接続終了リクエストを受けたならば、ステップＳ１３１２に進み、ビューワマシンとの接続終了を主プログラムへ通達し、自身のスレッドを終了する。
【０１２５】
なお、本実施の形態の映像配信システムで生成される同期記述の一例は、図１５に示す通りである。
この図１５に示す同期記述１５００には、アドレス（bar.xyz.co.jp）に配置されたカメラサーバ１０１のカメラ装置camera0の２０００年１０月２１日１０時３０分４５秒から２０００年１０月２１日１０時４５分２０秒までの期間の蓄積映像について、アドレス（foo.xyz.co.jp）に配置されている注釈サーバ４００から４つの音声注釈データを取り出して同期再生することが記述されている．
【０１２６】
以上の構成で、携帯電話端末６０１、６０２上に実装されたビューワを使う複数のユーザは、映像サーバ５０２が提供する映像データを携帯電話端末６０１、６０２上の画面に見ながら、必要に応じて、リアルタイムで適切な注釈を音声で入力する。そして、ビューワに内蔵された注釈用スレッドが、入力した注釈を注釈サーバ４００に転送し、注釈サーバ４００が適切な同期記述を生成した上で、入力した注釈を保存する。
【０１２７】
これによって、蓄積映像を参照するユーザは、映像に同期する形で、それに付随する適切な注釈を得ることが可能となる。
特に、カメラ制御権を取得してカメラ制御を行うユーザの注釈に、予鈴音声を合成するようにしたので、他の傍観者の注釈と区別することができるとともに、カメラ制御を行った意図を示す注釈を、容易に認識することが可能となる。
【０１２８】
このように本実施形態では、映像に付与された注釈を分別して再生することが可能になり、映像アーカイブの作成や、映像を介したコミュニティ形成を効果的に進めることが可能となる。
【０１２９】
例えば、本実施形態の映像配信システムを利用して、結婚式会場の映像を中継および蓄積する際に、カメラを制御するユーザによって行われた映像のパンやズームなどの意図と、結婚式映像を見ている傍観者ユーザの祝辞や感想とを、適切に再現し、これらを明確に区別することが可能となる。
【０１３０】
以上で、映像蓄積機能を備えるカメラサーバ１０１がネットワークを介して映像を配信する映像に、複数のユーザが携帯電話端末６０１、６０２を介してリアルタイムで音声注釈を付与することができる。しかも、本実施形態の注釈サーバ４００では、カメラ制御権をもつユーザを識別し、その音声注釈データには、予鈴音声を挿入（前置きに）するようにしたので、カメラ制御権をもつユーザによる注釈と、他の傍観者ユーザによる注釈とを再生時に区別できる。また、注釈が付与された映像を再生する場合にも、それらの注釈を区別できる。
【０１３１】
なお、本実施形態では、カメラサーバ１０１とは独立に注釈サーバ４００が実装される例について説明したが、注釈サーバ４００が、カメラサーバ１０１とビューワマシンとを中継する位置に配置されても良い。この場合のネットワークシステムの構成は、例えば、図１６のようにすればよい。
【０１３２】
すなわち、カメラ制御サーバ５０１とカメラ制御部５０３とを中継する制御中継部１６０１と、映像サーバ５０２と映像表示部５０４とを中継する映像中継部１６０２とを備える中継サーバ３００と、注釈サーバ４００とを有する中継マシン１６０４をカメラサーバ１０１とビューワマシンとの間に配置するようにする。
【０１３３】
また、本実施形態では、音声注釈データをビューワマシン側でエンコード/圧縮してから注釈サーバ４００に登録する例について説明したが、音声注釈データのエンコード/圧縮を、注釈サーバ４００で行うようにしても良い。また、携帯電話網とネットワークとのゲートウェイになっているルータ装置５００においてエンコード/圧縮を行うことも考えられる。
【０１３４】
また、本実施形態では、カメラサーバ１０１の映像サーバ５０２が自身の記憶装置に映像を蓄積する例について説明したが、映像を蓄積するのは、カメラサーバ１０１の近傍などに設置されたホームサーバであっても良い。また、データセンターなどに設置されたストーレージサーバやＷｅｂサーバ（ｗｗｗサーバ７００など）に映像を蓄積するようにしてもよい。そして、これらのサーバへ映像データを送信する際には、ＦＴＰ（File Transfer Protocol)やＨＴＴＰ（HyperText Transfer Protocol）などのＰＯＳＴメソッドなどを利用するようにすればよい。
【０１３５】
また、本実施形態では、時間軸上で音声注釈の重複があった場合、優先順位をつけて、排他的に再生するような同期記述を生成していたが、他と区別することが可能な形式で音声注釈を合成することも考えられる。例えば、ステレオ音声合成技術を用いて、優先順位の高い注釈の仮想音源位置を近くに配置し、優先順位が低くなるに従い、遠くに配置するようにすることが考えられる。
【０１３６】
また、本実施形態では、ライブ映像に音声注釈を付与する例について説明しているが、同様の手法で、テキスト注釈を付与することも可能である。この場合には、ビューワを実装するプログラム上での注釈の扱いにおいて、音声注釈データの処理に加えて（あるいは、代えて）、テキスト注釈データの処理を実装すればよい。
【０１３７】
近年では、メイルやＳＭＳ(Short Message Service)の普及から、多くの携帯電話端末において、テキスト作成/表示機能が実装されており、これを利用してテキスト注釈の入力/再生を実現することができる。
【０１３８】
また、本実施形態では、予鈴音声を合成することで、カメラ制御中の注釈を他の注釈と区別するようにしたが、これらを区別する方法は、予鈴音声の合成に限定されない。例えば、携帯電話端末のバイブレーション機能を使う方法や、図１７のように表示画面１７００上へテロップを挿入する方法や、図１８のように表示画面１８００上でふきだし表示する際のふきだしの形状を変える方法や「、音声注釈データのエンコード時にフィルターを適用して他の音声との区別を図る方法などを用いてカメラ制御中の注釈を他の注釈と区別するようにしてもよい。
【０１３９】
また、本実施形態では、携帯電話端末６０１、６０２からの注釈を注釈サーバ４００が受け付けた時点で予鈴音声の合成を行うようにしたが、予鈴音声を合成するタイミングは、これに限定されない。例えば、注釈サーバ４００が注釈を受け付けた時点では、予鈴音データへの参照のみを挿入し、注釈データが参照された時点で実際の予鈴音データを合成するようにして、予鈴音データの合成を遅らせるようにしてもよい。
これによって、注釈データの参照時点までの間に、予鈴音データを差し替えることが可能になり、利用形態の柔軟性を増すことが可能となる。
【０１４０】
また、本実施形態では、すべてのユーザが注釈を付与/参照することができる場合について説明したが、注釈の付与/参照を限定的に行うようにしてもよい。例えば、カメラ制御権を持つユーザの注釈付与のみを許可するようにしてもよい。また、ユーザ単位の認証手段を設けることにより注釈の付与/参照を限定してもよい。典型的には、特定グループに登録されたユーザにのみ注釈を提供し、それ以外のユーザには、ソース映像のみを提供する。特定グループのユーザとは、例えば、課金されたユーザである。
【０１４１】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。なお、本実施形態においても、上述した第１の実施形態と同様に、カメラサーバから送られる映像に、携帯電話端末から入力した音声注釈を連動させる例について説明する。
【０１４２】
本実施形態では、特に、カメラ制御パラメータが、事前に指定された範囲内にある際に行われた音声注釈には、複数種類の予鈴音データの中から、カメラ制御パラメータに応じた予鈴音データを選択し、それを音声注釈に合成する点に特徴がある。このように、本実施形態と第１の実施形態とでは、図１３に示した注釈サーバ４００の動作の一部が、第１の実施形態と異なる。したがって、第１の実施形態と同一の部分については図１〜図１７と同一の符号を付して詳細な説明を省略する。
【０１４３】
本実施形態では、音声注釈データの登録を行う図１３のステップＳ１３１０の処理を、以下のステップＳ１３５０のように変更することで、音声注釈の登録リクエストを受けた際のカメラ制御パラメータに応じて予鈴音データを選択し、注釈音声データに合成する。
【０１４４】
このステップＳ１３５０では、リクエストに付随する映像サーバ５０２とのセッション識別子、タイムスタンプ、カメラ制御権の有無、パンやズームや逆光補正などカメラ制御パラメータ、および音声注釈データなどの情報を取り出す。そして、それらの情報から同期記述を生成し、受け取った音声注釈データとともにデータベース部を介して保存する。
【０１４５】
この時、カメラ制御パラメータが、事前に指定された範囲内にある場合には、事前に設定された予鈴音(ジングル)データを選択的に、受け取った音声注釈データに合成する。
【０１４６】
なお、同じ時刻に複数の音声注釈データが発生した場合の同期記述の生成に関しては、ステップＳ１３１０と同様である。
【０１４７】
カメラ制御パラメータが、事前に指定された範囲内にあるか否かの判定には、次の表１に示すような事前登録の表を利用する。
【０１４８】
【表１】
2004193979.tif 000003
【０１４９】
表１中の略語の意味は、以下の通りである。
ｔｒｕｅ：値の如何に関わらず条件を満たすと見做す。
Ｐ：水平方向制御角(パン角度)．±１７０°。
Ｔ：垂直方向制御角(チルト角度)．−３０°〜＋９０°。
Ｚ：ズーム値．×１〜×１６ズーム。
ＢＣ：逆光補正値。
ＳＮＤ：予鈴音データ。
【０１５０】
以上のようにして、カメラ制御パラメータが事前に指定された範囲内にある際に行われた音声注釈には、カメラ制御パラメータに応じた予鈴音データを選択的に合成し、映像に付与するようにしたので、上述した第１の実施の形態の効果に加え、予鈴音データをより適切に選択することができ、ユーザの使い勝手を向上させることができるという効果を有する。
【０１５１】
なお、本実施形態では、予め設定された複数の予鈴音データを、登録される音声注釈データに合成する例について説明したが、合成する予鈴音データは、事前に登録されたものに限定されない。例えば、別途設置した広告サーバと連動することによって、広告内容を含む音声を予鈴音データとして音声注釈データに合成し、映像に付与することも考えられる。
【０１５２】
また、本実施形態では、予鈴音データの選択に、カメラ制御パラメータを利用するようにしたが、カメラ制御パラメータに関する条件を、音声注釈データの付与/参照の許可条件に適用することも考えられる。
【０１５３】
また、本実施形態では、カメラ制御パラメータのみを条件判定に用いるようにしたが、合成すべき予鈴音データの選択条件は、これに限定されない。例えば、注釈付与の頻度(時間軸上での出現率)を判定条件に加え、音声注釈が頻繁である場合には、短めの予鈴音データを選択し、反対に、音声注釈が少ない場合には、長めの音声データを合成することも考えられる。
【０１５４】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。なお、本実施形態においても、上述した第１の実施形態と同様に、カメラサーバから送られる映像に、携帯電話端末から入力した音声注釈を連動させる例について説明する。
【０１５５】
本実施形態では、特に、付与された音声注釈データに含まれるキーワードの出現頻度などに応じて、音声注釈データを評価し、音声注釈データの再生時にその評価結果を反映する点に特徴がある。このように、本実施形態と第１の実施形態とでは、図１３に示した注釈サーバ４００の動作の一部が、第１の実施形態と異なる。したがって、第１の実施形態と同一の部分については図１〜図１７と同一の符号を付して詳細な説明を省略する。
【０１５６】
本実施形態では、音声注釈データの登録を行う図１３のステップＳ１３１０の処理を、以下のステップＳ１３７０のように変更することで、音声注釈データを評価する。
【０１５７】
このステップＳ１３７０では、リクエストに付随する映像サーバ５０２とのセッション識別子、タイムスタンプ、カメラ制御権の有無、および音声注釈データなどの情報を取り出す。そして、それらの情報から同期記述を生成し、受け取った音声注釈データとともにデータベース部を介して保存する。
【０１５８】
この時、音声注釈データを、テキストデータに変換し、さらにそのテキストデータに含まれるキーワードの出現回数と重み付けに応じて、音声注釈データを評価する。そして、この評価結果を、予鈴音データの選択や合成、並びに同期記述の生成に反映する。
【０１５９】
具体的に、評価結果ｅは、次の（１式）で決定される。
【０１６０】
【数１】
2004193979.tif 000004
【０１６１】
ただし、上記（１式）において、O(Ki)は、i番目の登録キーワードの出現回数である。W(Ki)は、i番目の登録キーワードの重みである。nは、キーワードの登録数である。
また、登録キーワードと重み付けについては、次の表２を参照する。
【０１６２】
【表２】
2004193979.tif 000005
【０１６３】
さらに、この評価結果に基づく、予鈴音の選択には、次の表３を参照する。
【０１６４】
【表３】
2004193979.tif 000006
【０１６５】
ただし、評価結果が５以下の場合には、予鈴音データを合成しない。
【０１６６】
このように、本実施形態では、キーワードの出現回数と重み付けに基づいて、音声注釈データを評価し、音声注釈データの再生時にその評価結果を反映するようにしたので、上述した第１の実施形態の効果に加えて、予鈴音データをより適切に選択することができ、ユーザの使い勝手を向上させることができるという効果を有する。
【０１６７】
なお、本実施形態では，音声注釈データをテキスト変換してからキーワードの抽出を行う例について説明したが、音声データの状態で、登録キーワードとのマッチングおよび抽出を行うようにしてもよい。
【０１６８】
（本発明の他の実施形態）
上述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【０１６９】
また、この場合、前記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０１７０】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【０１７１】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
【０１７２】
本発明の実施態様の例を以下に列挙する。
（実施態様１）  撮影された映像データを配信するための映像配信装置と、上記映像データに付与する注釈データを配信するための注釈配信装置と、上記映像配信装置から配信された映像データに基づく映像と、上記注釈配信装置から配信された注釈データに基づく注釈とを再生する再生装置とをネットワークを介して通信可能に接続した映像配信システムであって、上記注釈配信装置は、上記注釈データを含む関連データを取得するデータ取得手段と、上記データ取得手段により取得された注釈データを記録媒体に保存する注釈保存手段と、上記データ取得手段により取得された関連データに基づいて、上記映像データと、上記注釈保存手段により保存された注釈データとを対応付けるための情報を記述した同期記述を作成する同期記述作成手段とを有し、上記再生装置は、上記同期記述作成手段により作成された同期記述に基づいて、上記映像配信装置から配信された映像データに基づく映像と、上記注釈保存手段により保存された注釈データに基づく注釈とを同期させて再生する再生手段を有することを特徴とする映像配信システム。
【０１７３】
（実施態様２）  上記注釈配信装置は、上記データ取得手段により取得された関連データに基づいて、上記注釈データの発行者と、上記映像配信装置の接続状態とを識別する識別手段を有し、上記同期記述作成手段は、上記識別手段により識別された内容に基づいて、上記同期記述を作成することを特徴とする実施態様１に記載の映像配信システム。
【０１７４】
（実施態様３）  上記識別手段は、上記注釈データが、カメラ制御権を有するユーザによって発行されたものであるか否かを識別することを特徴とする実施態様２に記載の映像配信システム。
【０１７５】
（実施態様４）  上記識別手段は、上記注釈データが、カメラ制御パラメータが事前に設定された条件を満たす状況で発行されたものであるか否かを識別することを特徴とする実施態様２または３に記載の映像配信システム。
【０１７６】
（実施態様５）  上記識別手段は、上記注釈データ内に事前に設定されたキーワードが含まれているか否かを識別することを特徴とする実施態様２〜４の何れか１態様に記載の映像配信システム。
【０１７７】
（実施態様６）  上記再生装置は、上記撮影された映像データに付与する注釈データをユーザからの指示に基づいて入力する注釈入力手段を有し、上記データ取得手段は、上記注釈入力手段により入力された注釈データを取得することを特徴とする実施態様１〜５の何れか１態様に記載の映像配信システム。
【０１７８】
（実施態様７）  上記再生装置は、携帯電話端末であり、上記注釈入力手段は、上記携帯電話端末が有するデータ入力機能を利用して音声入力を行い、上記注釈データを音声データとして入力することを特徴とする実施態様１〜６の何れか１態様に記載の映像配信システム。
【０１７９】
（実施態様８）  上記データ取得手段により取得された関連データに基づいて、上記取得された注釈データを加工する注釈加工手段を有し、上記注釈保存手段は、上記注釈加工手段により加工された注釈データを記録媒体に保存することを特徴とする実施態様１〜７の何れか１態様に記載の映像配信システム。
【０１８０】
（実施態様９）  上記注釈加工手段は、上記データ取得手段により取得された注釈データの一部を選択的に加工することを特徴とする実施態様８に記載の映像配信システム。
【０１８１】
（実施態様１０）  上記注釈データは音声注釈データであり、上記注釈加工手段は、事前に設定された予鈴音を上記音声注釈データに合成することを特徴とする実施態様８または９に記載の映像配信システム。
【０１８２】
（実施態様１１）  上記注釈データは音声注釈データであり、上記注釈加工手段は、別途設置された広告サーバに保存されている広告データを上記音声注釈データに合成することを特徴とする実施態様８〜１０の何れか１態様に記載の映像配信システム。
【０１８３】
（実施態様１２）  上記注釈加工手段は、上記注釈データ内の音声注釈データを廃棄することを特徴とする実施態様８または９に記載の映像配信システム。
【０１８４】
（実施態様１３）  上記注釈加工手段は、上記注釈データの再生時における表現方法を加工することを特徴とする実施態様８〜１２の何れか１態様に記載の映像配信システム。
【０１８５】
（実施態様１４）  上記再生装置は、携帯電話端末であり、上記注釈加工手段は、上記携帯電話端末のバイブレーション機能により上記注釈データが再生されるように、上記注釈データを加工することを特徴とする実施態様１３に記載の映像配信システム。
【０１８６】
（実施態様１５）  上記注釈加工手段は、上記再生装置の表示装置の表示画面上へテロップが挿入されるように、上記注釈データを加工することを特徴とする実施態様１３の映像配信システム。
【０１８７】
（実施態様１６）  上記映像配信装置は、上記撮影された映像データを記録媒体に蓄積する映像データ蓄積手段を有することを特徴とする実施態様１〜１５の何れか１態様に記載の映像配信システム。
【０１８８】
（実施態様１７）  ネットワークを介して通信可能に接続された再生装置の表示装置に表示される映像に注釈を付与すべく、上記再生装置に注釈データを配信する注釈配信装置であって、上記注釈データを含む関連データを取得するデータ取得手段と、上記データ取得手段により取得された注釈データを記録媒体に保存する注釈保存手段と、上記データ取得手段により取得された関連データに基づいて、上記再生装置の表示装置に映像を表示するための映像データと、上記注釈保存手段により保存された注釈データとを対応付けるための情報を記述した同期記述を作成する同期記述作成手段と、上記同期記述作成手段により作成された同期記述を、上記再生装置からの要求に応じて配信する同期記述配信手段とを有することを特徴とする注釈配信装置。
【０１８９】
（実施態様１８）  上記データ取得手段により取得された関連データに基づいて、上記注釈データの発行者と、上記映像配信装置の接続状態とを識別する識別手段を有し、上記同期記述作成手段は、上記識別手段により識別された内容に基づいて、上記同期記述を作成することを特徴とする実施態様１７に記載の注釈配信装置。
【０１９０】
（実施態様１９）  上記データ取得手段により取得された関連データに基づいて、上記注釈データを加工する注釈加工手段を有し、上記注釈保存手段は、上記注釈加工手段により加工された注釈データを記録媒体に保存することを特徴とする実施態様１７または１８に記載の注釈配信装置。
【０１９１】
（実施態様２０）  上記注釈加工手段は、上記注釈データの再生時における表現方法を加工することを特徴とする実施態様１９に記載の注釈配信装置。
【０１９２】
（実施態様２１）  ネットワークを介して配信された映像データに基づく映像と、注釈データに基づく注釈とを再生する再生装置であって、上記映像データと上記注釈データとを対応付けるための情報が記述された同期記述を取得する同期記述取得手段と、上記同期記述取得手段により取得された同期記述に基づいて、上記映像データに基づく映像と、上記注釈データに基づく注釈とを同期させて再生する再生手段とを有することを特徴とする再生装置。
【０１９３】
（実施態様２２）  映像データに基づく映像と、上記映像データに対応する注釈データに基づく注釈とを再生する映像再生方法であって、上記注釈データを含む関連データを取得するデータ取得処理と、上記データ取得処理により取得された注釈データを記録媒体に保存する注釈保存処理と、上記データ取得処理により取得された関連データに基づいて、上記映像データと、上記注釈保存処理により保存された注釈データとを対応付けるための情報を記述した同期記述を作成する同期記述作成処理と、上記同期記述作成処理により作成された同期記述に基づいて、上記映像データに基づく映像と、上記注釈保存処理により保存された注釈データに基づく注釈とを同期させて再生する再生処理とを行うことを特徴とする映像再生方法。
【０１９４】
（実施態様２３）  上記データ取得処理により取得された関連データに基づいて、上記注釈データの発行者と、上記映像配信装置の接続状態とを識別する識別処理を行い、上記同期記述作成処理は、上記識別処理により識別された内容に基づいて、上記同期記述を作成することを特徴とする実施態様２２に記載の映像再生方法。
【０１９５】
（実施態様２４）  上記識別処理は、上記注釈データが、カメラ制御権を有するユーザによって発行されたものであるか否かを識別することを特徴とする実施態様２３に記載の映像再生方法。
【０１９６】
（実施態様２５）  上記識別処理は、上記注釈データが、カメラ制御パラメータが事前に設定された条件を満たす状況で発行されたものであるか否かを識別することを特徴とする実施態様２３または２４に記載の映像再生方法。
【０１９７】
（実施態様２６）  上記識別処理は、上記注釈データ内に事前に設定されたキーワードが含まれているか否かを識別することを特徴とする実施態様２３〜２５の何れか１態様に記載の映像再生方法。
【０１９８】
（実施態様２７）  上記撮影された映像データに付与する注釈データをユーザからの指示に基づいて入力する注釈入力処理を行い、上記データ取得処理は、上記注釈入力処理により入力された注釈データを取得することを特徴とする実施態様２２〜２６の何れか１態様に記載の映像再生方法。
【０１９９】
（実施態様２８）  上記注釈入力処理は、上記携帯電話端末が有するデータ入力機能を利用して音声入力を行い、上記注釈データを音声データとして入力することを特徴とする実施態様２３〜２７の何れか１態様に記載の映像再生方法。
【０２００】
（実施態様２９）  上記データ取得処理により取得された関連データに基づいて、上記取得された注釈データを加工する注釈加工処理を行い、上記注釈保存処理は、上記注釈加工処理により加工された注釈データを記録媒体に保存することを特徴とする実施態様２２〜２８の何れか１態様に記載の映像再生方法。
【０２０１】
（実施態様３０）  上記注釈加工処理は、上記データ取得処理により取得された注釈データの一部を選択的に加工することを特徴とする実施態様２９に記載の映像再生方法。
【０２０２】
（実施態様３１）  上記注釈データは音声注釈データであり、上記注釈加工処理は、事前に設定された予鈴音を上記音声注釈データに合成することを特徴とする実施態様２９または３０に記載の映像再生方法。
【０２０３】
（実施態様３２）  上記注釈データは音声注釈データであり、上記注釈加工処理は、別途設置された広告サーバに保存されている広告データを上記音声注釈データに合成することを特徴とする実施態様２９〜３１の何れか１態様に記載の映像再生方法。
【０２０４】
（実施態様３３）  上記注釈加工処理は、上記注釈データ内の音声注釈データを廃棄することを特徴とする実施態様２９または３０に記載の映像再生方法。
【０２０５】
（実施態様３４）  上記注釈加工処理は、上記注釈データの再生時における表現方法を加工することを特徴とする実施態様２９〜３３の何れか１態様に記載の映像再生方法。
【０２０６】
（実施態様３５）  上記注釈加工処理は、携帯電話端末のバイブレーション機能により上記注釈データが再生されるように、上記注釈データを加工することを特徴とする実施態様３４に記載の映像再生方法。
【０２０７】
（実施態様３６）  上記注釈加工処理は、上記再生装置の表示装置の表示画面上へテロップが挿入されるように、上記注釈データを加工することを特徴とする実施態様３５に記載の映像再生方法。
【０２０８】
（実施態様３７）  上記撮影された映像データを記録媒体に蓄積する映像データ蓄積処理を行うことを特徴とする実施態様２２〜３６の何れか１態様に記載の映像再生方法。
【０２０９】
（実施態様３８）  映像データに基づく映像と、上記映像データに対応する注釈データに基づく注釈とを再生するに際し、上記注釈データを含む関連データを取得するデータ取得処理と、上記データ取得処理により取得された注釈データを記録媒体に保存する注釈保存処理と、上記データ取得処理により取得された関連データに基づいて、上記映像データと、上記注釈保存処理により保存された注釈データとを対応付けるための情報を記述した同期記述を作成する同期記述作成処理と、上記同期記述作成処理により作成された同期記述に基づいて、上記映像データに基づく映像と、上記注釈保存処理により保存された注釈データに基づく注釈とを同期させて再生する再生処理とをコンピュータに実行させることを特徴とするコンピュータプログラム。
【０２１０】
（実施態様３９）  上記実施態様３８に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【０２１１】
【発明の効果】
以上説明したように本発明によれば、映像データと注釈データとを対応付けるための情報を記述した同期記述に基づいて、上記映像データに基づく映像と、上記注釈データに基づく注釈とを同期させて再生するようにしたので、上記映像に付与される注釈を分別して再生することが可能になり、映像アーカイブの作成や、映像を介したコミュニティ形成を効果的に進めることが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態を示し、映像配信装置を適用したネットワークシステムの構成の一例を示した図である。
【図２】本発明の第１の実施形態を示し、図１のネットワークシステムに、広く普及したＷｅｂ技術を併用したネットワークシステムの構成の一例を示した図である。
【図３】本発明の第１の実施形態を示し、カメラサーバのハードウェア構成の一例を示した図である。
【図４】本発明の第１の実施形態を示し、ビューワを動作させるハードウェア構成の一例を示した図である。
【図５】本発明の第１の実施形態を示し、ネットワークシステムを動作させる際のプログラムを構成する部分を模式化して示した図である。
【図６】本発明の第１の実施形態を示し、ビューワ側での動作の一例を説明するフローチャートである。
【図７】本発明の第１の実施形態を示し、カメラサーバ内のカメラ制御サーバの動作の一例を説明するフローチャートである。
【図８】本発明の第１の実施形態を示し、カメラサーバ内の映像サーバの動作の一例を説明するフローチャートである。
【図９】本発明の第１の実施形態を示し、ビューワプログラムが動作している時のクライアント（ビューワマシン）における表示画面の一例を示した図である。
【図１０】本発明の第１の実施形態を示し、カメラサーバ設定プログラムの表示画面の一例を示した図である。
【図１１】本発明の第１の実施形態を示し、カメラサーバの設定プログラムの動作の一例を説明するフローチャートである。
【図１２】本発明の第１の実施形態を示し、注釈サーバを動作させるハードウェア構成の一例を示した図である。
【図１３】本発明の第１の実施形態を示し、注釈サーバの動作の一例を説明するフローチャートである。
【図１４】本発明の第１の実施形態を示し、蓄積映像を再生する際の表示画面（ビューワ画面）の一例を示した図である。
【図１５】本発明の第１の実施形態を示し、同期記述の内容の一例を示した図である。
【図１６】本発明の第１の実施形態の変形例を示し、ネットワークシステムの構成の一例を示した図である。
【図１７】本発明の第１の実施形態の変形例を示し、蓄積映像を再生する際にテロップ表示を挿入した表示画面（ビューワ画面）の一例を示した図である。
【図１８】本発明の第１の実施の形態の変形例を示し、蓄積映像を再生する際にふきだし表示を挿入した表示画面（ビューワ画面）の一例を示した図である。
【符号の説明】
１０１、１０２  カメラサーバ
２００  クライアント端末
３００  中継サーバ
４００  注釈サーバ
５００  ルータ
５０１  カメラ制御サーバ
５０２  映像サーバ
５０３  カメラ制御部
５０４  映像表示部
５０５  注釈入力部
５０６  同期再生部
５０７  データベース部
５０８  同期生成部
６０１、６０２  携帯電話端末
７００  ＷＷＷサーバ
【図１】
2004193979.tif 000007
【図２】
2004193979.tif 000008
【図３】
2004193979.tif 000009
【図４】
2004193979.tif 000010
【図５】
2004193979.tif 000011
【図６】
2004193979.tif 000012
【図７】
2004193979.tif 000013
【図８】
2004193979.tif 000014
【図９】
2004193979.tif 000015
【図１０】
2004193979.tif 000016
【図１１】
2004193979.tif 000017
【図１２】
2004193979.tif 000018
【図１３】
2004193979.tif 000019
【図１４】
2004193979.tif 000020
【図１５】
2004193979.tif 000021
【図１６】
2004193979.tif 000022
【図１７】
2004193979.tif 000023
【図１８】
2004193979.tif 000024