(57)【要約】【課題】  映像クリップの再生表示時において次に起こるカメラ制御内容を容易に知ることができる。【解決手段】  映像ファイルの映像表示に先立ち、映像ファイルに含まれるカメラ制御情報を抽出し、映像ファイルの映像を表示するとともに、抽出されたカメラ制御情報に基づき、表示されていない時間帯の映像に関るカメラ制御内容を表示する。【選択図】  図９
2006211524.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介して接続されたカメラサーバから受信した映像ファイルを表示する映像表示装置であって、
前記映像ファイルの映像表示に先立ち、前記映像ファイルに含まれるカメラ制御情報を抽出する情報抽出手段と、
前記映像ファイルの映像を表示するとともに、前記情報抽出手段により抽出されたカメラ制御情報に基づき、表示されていない時間帯の映像に関るカメラ制御内容を表示する表示手段と、
を備えることを特徴とする映像表示装置。
【請求項２】
前記抽出手段は、カメラ制御情報として、カメラサーバへの接続情報とカメラ制御コマンドとを抽出することを特徴とする請求項１の映像表示装置。
【請求項３】
前記抽出手段は、前記映像ファイルに含まれる全時間の映像に関するカメラ制御情報を抽出することを特徴とする請求項１または２に記載の映像表示装置。
【請求項４】
前記抽出手段は、前記映像ファイルに含まれる一部の時間の映像に関するカメラ制御情報を抽出することを特徴とする請求項１または２に記載の映像表示装置。
【請求項５】
前記抽出手段は、前記映像表示装置の利用可能記憶容量に基づき、前記映像ファイルに含まれる一部の時間の映像に関するカメラ制御情報を抽出することを特徴とする請求項１または２に記載の映像表示装置。
【請求項６】
前記表示手段は、抽出されたカメラ制御情報に評価関数を適用し、評価値が設定された閾値を越えた場合のみ前記制御内容を表示することを特徴とする請求項５の映像表示装置。
【請求項７】
前記表示手段は、抽出されたカメラ制御情報に加えてカメラ変動累積値を含む履歴情報をも併せて評価関数を適用し、評価値が設定された閾値を越えた場合のみ前記制御内容を表示することを特徴とする請求項６の映像表示装置。
【請求項８】
カメラ制御内容に関連付けされている映像部分を直接表示させるための映像セグメントマーカを生成する生成手段をさらに備えることを特徴とする請求項１の映像表示装置。
【請求項９】
カメラサーバにカメラ制御コマンドを発行する発行手段をさらに備え、前記抽出手段は、映像ファイルから接続先カメラサーバ情報を抽出し、前記発行手段は、接続先のカメラサーバにカメラ制御コマンドを発行することを特徴とする請求項１の映像再生表示装置。
【請求項１０】
前記抽出手段は、複数の映像ファイルからカメラ制御情報を抽出し、得られた各映像ファイルのカメラ制御情報を組み合わせて利用することを特徴とする請求項９に記載の映像表示装置。
【請求項１１】
前記抽出手段が１つの映像ファイルの情報を抽出しているときに、前記表示手段は異なる映像ファイルを表示していることを特徴とする請求項１０に記載の映像表示装置。
【請求項１２】
前記発行手段は、前記抽出したカメラ制御情報の一部を、選択的にカメラサーバに適用して自動制御する選択的自動制御コマンドを発行することを特徴とする請求項９〜１１のいずれかに記載の映像表示装置。
【請求項１３】
前記発行手段は、ユーザが前記カメラ制御コマンドによる制御に割り込み、前記制御を一時停止、あるいは、ユーザ入力に基づくカメラ制御操作をするコマンドを発行することを特徴とする請求項１２のいずれかに記載の映像表示装置。
【請求項１４】
ネットワークを介して接続されたカメラサーバから受信した映像ファイルを表示する映像表示装置の制御方法であって、
前記映像ファイルの映像表示に先立ち、前記映像ファイルに含まれるカメラ制御情報を抽出する情報抽出工程と、
前記映像ファイルの映像を表示するとともに、前記情報抽出工程により抽出されたカメラ制御情報に基づき、表示されていない時間帯の映像に関るカメラ制御内容を表示する表示工程と、
を備えることを特徴とする映像表示装置の制御方法。
【請求項１５】
ネットワークを介して接続されたカメラサーバから受信した映像ファイルを表示する映像表示装置の制御方法を実行するためのプログラムであって、
前記映像ファイルの映像表示に先立ち、前記映像ファイルに含まれるカメラ制御情報を抽出する情報抽出ステップと、
前記映像ファイルの映像を表示するとともに、前記情報抽出ステップにより抽出されたカメラ制御情報に基づき、表示されていない時間帯の映像に関るカメラ制御内容を表示する表示ステップと、
を備えることを特徴とするプログラム。
【請求項１６】
ネットワークを介して接続されたカメラサーバから受信した映像ファイルを表示する映像表示装置の制御方法を実行するためのプログラムコードを記憶した記憶媒体であって、
前記映像ファイルの映像表示に先立ち、前記映像ファイルに含まれるカメラ制御情報を抽出する情報抽出コードと、
前記映像ファイルの映像を表示するとともに、前記情報抽出コードにより抽出されたカメラ制御情報に基づき、表示されていない時間帯の映像に関るカメラ制御内容を表示する表示コードと、
を備えることを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークを介して接続されたカメラサーバから受信した映像ファイルを表示する映像表示装置、映像処理装置の制御方法、プログラム、及び記憶媒体に関するものである。
【背景技術】
【０００２】
カメラ装置などのライブ映像ソースの制御情報を反映して作成された映像データ（映像クリップ）を再生利用する場合の映像クリップ再生利用技術が知られている。以下この技術に関係する既存の技術を説明する。
【０００３】
＜ライブ映像通信システム＞
撮影したライブ映像を、インターネットなどの通信インフラストラクチャを使って配信するとともに、撮影のためのカメラ設定やカメラ操作などを指示する技術が確立され、製品が販売されている。例えば、キヤノン社の映像配信システムＷｅｂＶｉｅｗ／Ｌｉｖｅｓｃｏｐｅ、および、同社のライブネットワークカメラサーバＶＢ１０１やネットワークカメラＶＢ−Ｃ１０などである。
【０００４】
キヤノン社の映像配信システムなどでは、映像配信に加えて、パン、チルト、ズーム、逆光補正といったカメラ制御を、ネットワークを介して提供可能となっている。また、アクセス制御機能を備え、利用者のアクセス権限に応じて、カメラ制御や映像配信の制限を行うことができる。
【０００５】
さらに、カメラ制御によって撮像される領域に関しても制限することが可能になっている。例えば、特権ユーザでは、カメラに備わるズーム機能のすべてを利用できるが、通常ユーザは、ズーム機能の一部（たとえば、テレ端を使い切れない）のみ利用可能とするような制限である。パン機能やチルト機能についても同様である。
【０００６】
＜第三世代携帯電話技術＞
従来の携帯電話サービスよりも高い電波利用効率と通信帯域を備えた携帯電話サービスとして、第三世代（３Ｇ）の携帯電話サービスが提供されるようになっている。例えば、ＮＴＴドコモ社の第三世代（３Ｇ）携帯電話サービスＦＯＭＡやＫＤＤＩ社のｃｄｍａ２０００  １ｘがある。
【０００７】
第三世代（３Ｇ）の携帯電話では、電話通話しながらインターネットアクセスなどのデータ通信が可能となっている。例えば、ＮＴＴドコモ社によるＦＯＭＡサービスでは、マルチアクセスと呼ばれる接続形態を用意しており、これを利用することで、ウェブブラウジングなどのデータ通信を行いながら、電話通話を可能にしている。
【０００８】
さらに、第三世代携帯電話端末では、端末自体の処理能力も強化されており、これまでＰＣ（パーソナルコンピュータ）などで行っていた作業を携帯電話端末で処理可能になっている。例えば、メイルやウェブブラウジングおよび映像送受信などの機能を実装している携帯電話端末が提供されている。また、第三世代携帯電話サービスでは、映像配信のサービスも行われており、ドコモ社のｉモーションやＭ−ｓｔａｇｅ  Ｖｉｓｕａｌ、あるいは、ＫＤＤＩ社のｅｚｍｏｖｉｅなどのサービスが行われている。
【０００９】
＜ＭＰＥＧ−４コーデック＞
移動体通信網に接続する携帯情報端末から広帯域インターネットに接続するＰＣまでの映像送受信端末の広がりを受けて、数十ｋｐｂｓから数十Ｍｂｐｓの広いビットレートをカバーする高圧縮符号化効率、および、無線やインターネットなどの伝送路誤りに対する強い耐性などを備えた動画像圧縮符号化方式として、ＩＳＯで１９９９年にＭＰＥＧ−４が制定されている。
【００１０】
また、ＭＰＥＧ−４を用いた映像配信サービスが、個人情報端末（ＰＤＡ）や携帯電話端末向けに提供されている。例えば、ＮＴＴドコモ社やＫＤＤＩ社の第三世代（３Ｇ）携帯電話サービスでは、携帯電話端末（ビジュアル端末）間でＭＰＥＧ−４を用いて相互に映像を送受信するサービスを提供している。
【００１１】
＜携帯電話向けＭＰＥＧ−４クリップ技術＞
携帯電話端末に映像クリップ（ファイル）を表示する技術が提供されている。例えば、ＮＴＴドコモ社のｉモーションやＭ−ｓｔａｇｅ  ｖｉｓｕａｌ、あるいは、ＫＤＤＩ社のｅｚｍｏｖｉｅなどがある。
【００１２】
これらのサービスでは、ＭＰＥＧ−４コーデックなどで圧縮符号化された映像データ（映像クリップあるいは映像ファイル）をサーバに保存し、携帯電話端末に内蔵するデータ通信機能を使ってサーバからダウンロードした上で、同じく携帯電話端末に内蔵するデコーダを使って映像を携帯電話端末の画面に表示する。
【００１３】
また、これらの映像クリップのデータフォーマットは、マイクロソフト社のＡＳＦ（Ａｄｖａｎｃｅｄ  Ｓｔｒｅａｍｉｎｇ  Ｆｏｒｍａｔ）形式や、ＩＳＯ標準のＭＰ４形式（ＩＳＯ／ＩＥＣ１４４９６−１  Ａｍｄ１  ＭＰＥＧ−４システムＶｅｒｓｉｏｎ２）など、インターネットやＰＣなどで広く普及している形式に準拠している。
【００１４】
また、これらのサービスでは、いずれも映像クリップの上限が決められており、例えば、ＫＤＤＩ社のｅｚｍｏｖｉｅの場合、２４０ｋｂｙｔｅｓが上限となっている。
【００１５】
＜映像クリップへのリンクやコマンドの関連付け技術＞
マイクロソフト社のＡＳＦ（Ａｄｖａｎｃｅｄ  Ｓｔｒｅａｍｉｎｇ  Ｆｏｒｍａｔ）形式やＡｐｐｌｅ社ＱｕｉｃｋＴｉｍｅ  Ｆｉｌｅ  Ｆｏｒｍａｔなどでは、映像クリップにＵＲＬなどのハイパーリンク機能を関連付けることができる。
【００１６】
例えば、ＡＳＦでは、“Ｓｃｒｉｐｔ  Ｃｏｍｍａｎｄ  Ｏｂｊｅｃｔ”を定義することが可能であり、このオブジェクト内に、ＡＳＦファイル再生時のタイムラインに同期するように設定したリンク情報をリストできる。さらに、ＡＳＦでは、Ｓｃｒｉｐｔ  Ｃｏｍｍａｎｄ  Ｏｂｊｅｃｔの名前のとおり、リンク情報ばかりでなく、スクリプトなどのコマンド情報も記述可能となっている。
【００１７】
また、ＫＤＤＩ社のｅｚｍｏｖｉｅ仕様にも、映像クリップにハイパーリンク機能付きのテキストテロップ（字幕）を追加する機能が備わっている。このテロップ記述言語には、ＫＤＤＩ社のＳＴＭＬ（Ｓｙｎｃｈｒｏｎｏｕｓ  Ｔｅｌｏｐ  Ｍａｒｋ−ｕｐ  Ｌａｎｇｕａｇｅの略）を利用する。この機能により、ユーザは、音声通話やメール送信やホームページリンクなどを、映像クリップと関連付けることができる。３ＧＰＰ（Ｔｈｅ  ３ｒｄ  Ｇｅｎｅｒａｔｉｏｎ  Ｐａｒｔｎｅｒｓｈｉｐ  Ｐｒｏｊｅｃｔ）の映像クリップ仕様３ｇｐも同様である。
【００１８】
＜映像クリップへのカメラ制御シーケンス組み込み技術＞
ネットワーク上に配置されたカメラサーバを映像ソースとして生成した映像クリップに、そのカメラサーバを制御するカメラ制御情報を組み込む方法が、特許文献１において開示されている。
【００１９】
ここでは、映像クリップが生成された時点でのカメラ制御情報シーケンスを、映像クリップの時系列に沿って、映像内容と同期するよう映像クリップに組み込む方法が示されている。さらに、そのカメラ制御情報シーケンスを、映像クリップ再生時点でカメラサーバに適用し、カメラ制御情報シーケンスに沿って制御したライブ映像を取得する方法が示されている。
【００２０】
＜デジタルＳＴＢ技術＞
ＣＡＴＶやインターネットＴＶなどで、デジタルＴＶ放送を受信するための機器として、デジタルＳＴＢ（Ｓｅｔ  Ｔｏｐ  Ｂｏｘ）と呼ばれる装置が、開発されている。これらの装置では、ストリーミング映像や映像クリップ（ファイル）を受信し、ＴＶ画面上に、再生映像を表示する機能が備わっている。これらの映像コーデックには、多くの場合、ＭＰＥＧ−２やＭＰＥＧ−４などの標準的な映像コーデックが利用される。また、ストリーミングの通信手順としては、ＲＴＳＰ（Ｒｅａｌ  Ｔｉｍｅ  Ｓｔｒｅａｍｉｎｇ  Ｐｒｏｔｏｃｏｌ；ＲＦＣ２３２６）やＲＴＰ（Ｒｅａｌ−ｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ；ＲＦＣ１８８９）などが利用されている。
【００２１】
さらに、ＩＳＭＡ（Ｉｎｔｅｒｎｅｔ  Ｓｔｒｅａｍｉｎｇ  Ｍｅｄｉａ  Ａｌｌｉａｎｃｅ）などの団体では、機器間の相互接続性を向上させる目的で、これら個々の規約を包括的にとりまとめた仕様を提案している。例えば、ＩＳＭＡでは、ＭＰＥＧ−４とＲＴＳＰとＲＴＰとを基本とし、ＩＳＭＡ  Ｐｒｏｆｉｌｅ  ０として、ＭＰＥＧ−４  Ｓｉｍｐｌｅ  Ｖｉｓｕａｌ  Ｐｒｏｆｉｌｅ、ＱＣＩＦ（１７６ｘ１４４）、１５ｆｐｓ、６４Ｋｂｐｓ  ｍａｘを既定している。同様に、ＩＳＭＡ  Ｐｒｏｆｉｌｅ  １として、ＭＰＥＧ−４  Ａｄｖａｎｃｅｄ  Ｓｉｍｐｌｅ  Ｐｒｏｆｉｌｅ（ＡＳＰ）ｏｒ  Ｓｉｍｐｌｅ  Ｖｉｓｕａｌ  Ｐｒｏｆｉｌｅ、ＣＩＦ（３５２ｘ２８８）、３０ｆｐｓ、１．５Ｍｂｐｓ  ｍａｘを既定している。
【特許文献１】特開２００４−３０４６５１号公報
【発明の開示】
【発明が解決しようとする課題】
【００２２】
しかしながら、インターネット上でサービスされている膨大な数のカメラ制御可能なカメラサーバの映像情報を映像クリップとして提供する場合、映像情報に付帯するカメラ制御情報（パン、チルト、ズーム、あるいは、制御権などの情報）が適切に利用できないという問題があった。あるいは、利用できた場合でも、そこに含まれるカメラ制御情報を、映像クリップ再生の利便性向上に利用することが困難だった。
【００２３】
また、従来、映像コンテンツの内容を、画像レベルで解析することで、シーン分割など区切りを検出する事が可能になっているが、多くの計算能力を必要とし、携帯電話端末やＳＴＢ（ＳｅｔＴｏｐＢｏｘ）などでの実現が、計算リソースあるいは消費電力などの点から困難であった。
【００２４】
また、インターネット上で流通する映像クリップの爆発的な増加や、ネットワークカメラなど動的に生成される映像クリップの登場のため、映像クリップの供給量が増え、ハードウェア性能の向上だけでは、問題解決に至っていない。
【００２５】
本発明は、上述した問題点を解決するためのものであり、映像クリップの再生表示時において次に起こるカメラ制御内容を容易に知ることができる映像表示装置、映像処理装置の制御方法、プログラム、及び記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【００２６】
上記目的を達成するために、本発明の映像表示装置は、ネットワークを介して接続されたカメラサーバから受信した映像ファイルを表示する映像表示装置であって、前記映像ファイルの映像表示に先立ち、前記映像ファイルに含まれるカメラ制御情報を抽出する情報抽出手段と、前記映像ファイルの映像を表示するとともに、前記情報抽出手段により抽出されたカメラ制御情報に基づき、表示されていない時間帯の映像に関るカメラ制御内容を表示する表示手段と、を備えることを特徴とする。
【００２７】
また、本発明の映像表示装置の制御方法は、ネットワークを介して接続されたカメラサーバから受信した映像ファイルを表示する映像表示装置の制御方法であって、前記映像ファイルの映像表示に先立ち、前記映像ファイルに含まれるカメラ制御情報を抽出する情報抽出工程と、前記映像ファイルの映像を表示するとともに、前記情報抽出工程により抽出されたカメラ制御情報に基づき、表示されていない時間帯の映像に関るカメラ制御内容を表示する表示工程と、を備えることを特徴とする。
【００２８】
また、本発明のプログラムは、ネットワークを介して接続されたカメラサーバから受信した映像ファイルを表示する映像表示装置の制御方法を実行するためのプログラムであって、前記映像ファイルの映像表示に先立ち、前記映像ファイルに含まれるカメラ制御情報を抽出する情報抽出ステップと、前記映像ファイルの映像を表示するとともに、前記情報抽出ステップにより抽出されたカメラ制御情報に基づき、表示されていない時間帯の映像に関るカメラ制御内容を表示する表示ステップと、を備えることを特徴とする。
【００２９】
また、本発明の記憶媒体は、ネットワークを介して接続されたカメラサーバから受信した映像ファイルを表示する映像表示装置の制御方法を実行するためのプログラムコードを記憶した記憶媒体であって、前記映像ファイルの映像表示に先立ち、前記映像ファイルに含まれるカメラ制御情報を抽出する情報抽出コードと、前記映像ファイルの映像を表示するとともに、前記情報抽出コードにより抽出されたカメラ制御情報に基づき、表示されていない時間帯の映像に関るカメラ制御内容を表示する表示コードと、を備えることを特徴とする。
【発明の効果】
【００３０】
本発明によれば、映像クリップの再生表示時において次に起こるカメラ制御内容を容易に知ることができる。また、映像クリップの内容に応じたカメラサーバへの接続も容易になる。
【発明を実施するための最良の形態】
【００３１】
以下、図面を参照して本発明の実施の形態を説明する。
【００３２】
（第１の実施形態）
第１の実施形態では、ネットワーク上に配置された多数のカメラサーバのライブ映像から生成したカメラ制御情報付き映像クリップを再生する例について説明する。
【００３３】
特に、映像クリップ再生中に、映像クリップを先読みし、映像の区切りとなるカメラ制御状態の変化を検出した上で、カメラ制御状態の変化を予報し、ユーザからの入力を受付ける、そして、ユーザ入力（ボタンクリックなど）があれば、映像クリップを早送りなどして予報地点の映像を提供する点に特徴がある。
【００３４】
図１は、本実施形態のシステム構成を示した図であり、１０１および１０２はライブ映像通信システムによるカメラサーバ、２００はネットワークに接続されたＰＣなどにインストールされたビューワである。カメラサーバとビューワとはそれぞれネットワークに接続され、ビューワからネットワークを介してリクエストがカメラサーバへ送られ、これが受け入れられるとカメラサーバからビューワへ映像データが配送され、ビューワでカメラ映像を表示することが可能となる。またビューワからカメラ制御コマンドがカメラサーバへ送られ、カメラのズーム、パン、チルトなどの操作が可能となる。さらに、ネットワーク上には、中継サーバ３００が置かれビューワとカメラサーバとの通信を中継することがある。
【００３５】
さらに、４００は本発明を適用可能な映像変換サーバであり、カメラサーバが提供する映像データを携帯電話端末向けに変換した上で、携帯電話向けに中継する。
【００３６】
また、５００は本実施形態のネットワークと携帯電話回線網とを仲介するゲートウェイであり、６０１および６０２は、本発明を適用可能なビューワを搭載した携帯電話端末である。このゲートウェイ５００を介して、本実施形態のネットワークに接続された機器と携帯電話端末６０１および６０２とが通信可能となる。なお、携帯電話端末上のビューワプログラムは、典型的には、工場出荷時にインストールされるが、Ｊａｖａ（登録商標）プログラムのように実行時（利用時）にダウンロードされて実行される形態であっても良い。
【００３７】
図のネットワークは企業あるいは組織内で運用されるイントラネットである場合もあり、広く世界をつないでいるインターネットである場合もある。また、中継サーバや映像変換サーバは、典型的には、インターネットイクスチェンジ（ＩＸ）やデータセンター（ＩＤＣ：Ｉｎｔｅｒｎｅｔ  Ｄａｔａ  Ｃｅｎｔｅｒ）に配置され、通信負荷の軽減を図るよう設計される。
【００３８】
図２は、映像変換サーバ４００を動作させるハードウェア構成の一例を示したものであり、サーバ向けコンピュータ、より詳細には、プログラムやデータを格納する記憶装置、ネットワークと接続するためのネットワークＩ／Ｆ２００１、プログラムによる各種の処理を実行するＣＰＵ２００２などからなる。記憶装置は、主記憶装置となるＲＡＭ２００３、フラッシュメモリやＨＤ装置などからなる二次記憶装置２００４、および、プログラムを媒体からロードするためのＦＤ装置２００５などから構成される。
【００３９】
また、図示しないが、設定などを行うための入出力装置を備える場合もある。具体的には、ディスプレイを接続する表示装置、キーボードやマウスなどのコントローラなどである。
【００４０】
図３はカメラサーバ１０２のハードウェア構成の一例を示したものであり、実際に撮像を行うカメラ装置３００１とコンピュータ、より詳細には、プログラムやデータを格納する記憶装置、映像データを取り込むための映像キャプチャボード３００２、カメラ装置３００１にコマンドを送るためのシリアルＩ／Ｆ３００３、ネットワークと接続するためのネットワークＩ／Ｆ３００４、プログラムによる各種の処理を実行するＣＰＵ３００５、などからなる。記憶装置は、主記憶装置となるＲＡＭ３００６、フラッシュメモリやＨＤ装置などからなる二次記憶装置３００７、および、プログラムを媒体からロードするためのＦＤ装置３００８などから構成される。
【００４１】
また、図示しないが、設定などを行うための入出力装置を備える場合もある。具体的には、ディスプレイを接続する表示装置、キーボードやマウスなどのコントローラなどである。
【００４２】
さらに、図示しないが、カメラサーバ１０２は、カメラ装置３００１とコンピュータとが一体化されたサーバ内蔵型ネットワークカメラで構成されても良い。
【００４３】
図４はビューワ２００を動作させるハードウェア構成の一例を示したものであり、携帯電話端末を使ってビューワを動作させる場合について説明している。より詳細には、プログラムやデータを格納する記憶装置４００１、携帯電話網と接続するための無線通信Ｉ／Ｆ４００２、プログラムによる各種の処理を実行するＣＰＵ４００３、ディスプレイ装置４００４における表示制御を行う表示コントローラ４００５、周辺装置を制御する周辺コントローラ４００６などからなる。記憶装置４００１は、主記憶装置となるＲＡＭ、フラッシュメモリなどからなる。周辺装置は、携帯電話端末上に配置されたボタン類４００７やスイッチ類４００８などの入力装置、ディスプレイ装置４００４などの表示出力装置、および、マイクロフォンやスピーカなどの音声入出力装置４００９を含む。
【００４４】
図５はプログラムの構成する部分を模式化した図であり、カメラサーバ１０１、１０２内にはカメラの制御をつかさどるカメラ制御サーバ５００１と映像の配送をつかさどる映像サーバ５００２の２つのモジュールを含む。
【００４５】
同様に、携帯電話端末上で動作するビューワ２００内にはカメラ制御コマンドの発行やカメラ状態通知に対応するカメラ制御入力部５００３、映像クリップの表示を担当する映像表示部５００４、ならびに、複数の映像クリップを識別管理するための映像クリップ管理部５００５を含む。
【００４６】
さらに、映像変換サーバ４００には、カメラ制御コマンド列（以下、ＰＴＺシーケンスと呼ぶ）を解釈し、カメラサーバにカメラ制御命令を発行するカメラ制御部５００６、ならびに、カメラサーバから映像を取得し、携帯電話向けに変換し、さらに、それを携帯電話網向け映像クリップに編集するモジュール（映像取得部５００７、映像変換部５００８、映像送信部５００９）、がそれぞれ含まれる。
【００４７】
図６は携帯電話上で映像クリップを再生表示する映像クリップビューワの動作の流れを示す図である。
【００４８】
ステップＳ６０１で、まず、映像変換サーバ４００の識別子を入手する。これは、ユーザが直接キー操作により識別子を入力するのでも良いし、メイルやウェブページに含まれる識別子を選択するのであっても良い。また、この場合の識別子は、典型的には、映像変換サーバ４００を識別するＵＲＬである。
【００４９】
続いて、ステップＳ６０２で、映像変換サーバ４００が接続すべきカメラサーバの識別子、そのカメラサーバに指示するカメラ制御用のＰＴＺシーケンス、および、ユーザ識別子やパスワードなどアクセス制御用のユーザ識別情報を入手する。
【００５０】
ここで、カメラサーバ識別子やＰＴＺシーケンスは、ユーザが直接キー操作によりカメラ制御コマンドを構成するよう入力するのでも良いし、メイルやウェブページに含まれるカメラサーバ識別子やＰＴＺシーケンスを選択するのであっても良い。また、ＰＴＺシーケンスは、空であっても構わない。この場合、カメラ制御を伴わないカメラサーバの現状の映像クリップを意味する。また、ユーザ識別情報は、通常、ユーザが直接キー操作により入力するが、空であっても構わない。この場合、通常ユーザとしてのカメラサーバへの接続を意味する。
【００５１】
続いてステップＳ６０３で、ゲートウェイ５００を経由して、入手した映像変換サーバ４００の識別子に基づき映像変換サーバ４００の映像送信部に接続する。さらにステップＳ６０４で、携帯電話ビューワ２００は、映像変換サーバ４００に映像クリップを要求する。この要求は、要求する映像クリップの作成方法の指定などを含み、典型的には、ＨＴＴＰプロトコルに則り送信される。
【００５２】
この際、ＰＴＺシーケンスを入手している場合には、そのＰＴＺシーケンスを映像変換サーバ４００に送信する。この要求およびＰＴＺシーケンスの送信は、ＨＴＴＰ接続のＧＥＴメソッドでＵＲＬに組み込んでも良いし、ＨＴＴＰ接続のＰＯＳＴメソッドで送信されても良い。ここでは、ＰＯＳＴメソッドで送信される場合について説明する。例えば、以下の通りである。なお、実際には、ＵＲＬエンコードが適用されるが、以下では、説明の都合上ＵＲＬエンコードを適用していない部分もある。
ＰＯＳＴ  ／ｇｅｔｖｉｄｅｏｃｌｉｐ／ＨＴＴＰ／１．１
Ｈｏｓｔ：２０２．２８．３０．２０８：８０８０
Ｕｓｅｒ−Ａｇｅｎｔ：ＭｏｚｉｌｅＰｈｏｎｅ／２．０  Ｃ２１０１Ｖ（ｃ１００）
Ｐｒａｇｍａ：ｎｏ−ｃａｃｈｅ
ｖｉｄｅｏｅｎｃｏｄｅｐａｒａｍ＝ＱＣＩＦ：ｆｐｓ１５．０：ｂｐｓ６４０００：ｉｎｔｒａｆｒａｍｅ５：ｍｅ８
ｃａｍｅｒａｓｅｒｖｅｒｓ＝ｗｅｂｖｉｅｗ：／／ｖｂ１０１＿４．ｘ−ｚｏｎｅ．ｃａｎｏｎ．ｃｏ．ｊｐ：３４５６０＋３４５６１＋３４５６２
ＰＴＺ＝ＨＺ１５＿３０Ｓ３＿４０Ｓ４＿４０Ｐ−１０＿２０
ｍｏｖｉｅｓｉｚｅｍａｘ＝２４０ｋｂｙｔｅｓ
ｎｏｔｉｆｙｔｏ＝ｍａｉｌｔｏ：ｒｉｙｏｕｓｈａ３＠ｍａｉｌｓｅｒｖｅｒ．ｕｓｅｒｓｉｔｅ．ｃｏ．ｊｐ
ｕｓｅｒｉｄ＝３３１２４５
ｕｓｅｒｐｗ＝１５２１５２９４
ただし、『ｖｉｄｅｏｅｎｃｏｄｅｐａｒａｍ＝』に続く部分は、映像変換サーバ４００がカメラサーバから受取ったソース映像を携帯電話向けにエンコードする際のパラメータ情報を指示するものである。また、『ｃａｍｅｒａｓｅｒｖｅｒｓ＝』に続く部分は、映像変換サーバ４００が接続するカメラサーバを指定している。また、『ＰＴＺ＝』に続く部分は、映像変換サーバ４００がカメラサーバに関して実行すべきカメラ制御のコマンドを並べたＰＴＺシーケンスを指定している。また、『ｍｏｖｉｅｓｉｚｅｍａｘ＝』に続く部分は、携帯電話端末あるいは携帯電話網が規定する映像クリップの最大サイズを指定している。また、『ｎｏｔｉｆｙｔｏ＝』に続く部分は、映像クリップ作成時に通知すべき連絡先である。典型的には、携帯電話端末ユーザのメイルアドレスを指定する。また、『ｕｓｅｒｉｄ＝』と『ｕｓｅｒｐｗ＝』とに続く部分は、それぞれ、ユーザ識別子とパスワードとである。
【００５３】
この中で、ＰＴＺシーケンスの構成要素は、以下のような意味を持つ。ｎは、数値データ（正負あり）である。
Ｐｎ    パン（水平方向カメラ制御）指定。
Ｔｎ    チルト（垂直方向カメラ制御）指定。
Ｚｎ    ズーム指定。
Ｂｎ    逆光補正。逆光補正のＯＮ／ＯＦＦ。
Ｈ      ホームポジション指定。
Ｓｎ    プリセット位置指定。ｎ番目のプリセット位置。
Ｃｎ    カメラサーバ接続切換え指定。ｎ番目のカメラサーバ。
Ｋｎ    カメラサーバ内カメラ切換え指定。ｎ番目のカメラ。
＿ｎ    時間経過指定。０．１秒単位。
【００５４】
続いて、ステップＳ６０５で、映像変換サーバ４００からのレスポンスを待つ。続いて、ステップＳ６０６で、映像変換サーバ４００から受取ったレスポンスを解釈して携帯電話端末の表示装置に表示する。例えば、図１５（ａ）の通りである。
【００５５】
もし、映像変換サーバ４００からのレスポンスが、何らかの理由からすぐに映像を生成できないことを示す内容であった場合には（Ｓ６０７、Ｎｏ）、ステップＳ６０９に進む。反対に、映像をすぐに生成できたことを示す内容であった場合には（Ｓ６０７、Ｙｅｓ）、ステップＳ６０８に進む。
【００５６】
ステップＳ６０９では、映像変換サーバ４００からのメイル通知を待受ける。メイル通知は、例えば、ＳＭＴＰ（Ｓｉｍｐｌｅ  Ｍａｉｌ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）によるが、ＳＭＳ  Ｓｈｏｒｔ  Ｍｅｓｓａｇｅ  Ｓｅｒｖｉｃｅ）であってもよい。メイル通知を受取った場合には、そのメイル内容を映像変換サーバ４００からのレスポンスとして表示し、ステップＳ６０８に進む。例えば、図１５（ｂ）の通りである。
【００５７】
ステップＳ６０８では、レスポンスに含まれる映像クリップの一つを選択し、ダウンロードして再生表示する。例えば、図１５（ｃ）の通りである。ここでは、ダウンロード完了を待っているが、映像クリップの再生表示処理は、ダウンロード完了を待たず、表示再生可能な映像クリップデータが揃った時点で、再生表示処理を開始しても良い。
【００５８】
この中で、ステップＳ６０８の携帯電話ビューワでの映像クリップ表示中には、映像クリップ中のリンク情報部分を先読みし、図９に示すように、リンク情報として組み込まれたカメラ制御情報を解析した上で、映像表示画面上にカメラ制御内容を予報し、ユーザによって番号ボタンが押された際には、その番号のリンク情報に対応する映像クリップの映像セグメント（映像チャプタ）までジャンプ（映像早送り）する。例えば、数字ボタンの『３』が押下られた場合、映像クリップ再生を４２秒先送りし、カメラ制御として、プリセット＃９０の選択が行われた際の映像を再生表示する。
［１］    ８秒後    パン右
［２］  １０秒後    ズーム遠
［３］  ４２秒後    プリセット＃９０
［４］  ５０秒後    カメラ＃２
［５］  ８３秒後    チルト下
［６］  ９６秒後    プリセット＃５
また、ステップＳ６０８の携帯電話ビューワでの映像クリップ表示中に、携帯電話端末ユーザがクリック（選択ボタンの押下）した場合には、クリック時点に表示中の映像データ（映像区間、または、映像セグメントと呼ぶ事がある）に対応するリンク情報が映像クリップから抽出され、携帯電話端末に備わるブラウザ機能を使って、そのリンク情報が示すリンク先情報にアクセスする。リンク先情報へのアクセスでは、典型的には、カメラ制御を可能とする専用ビューワを起動するが、携帯電話端末の設定によっては、設定されたアクションを行う場合もある。例えば、アクセスされたリンク情報をメイル添付したメイルの発信である。
【００５９】
図１４は、カメラサーバと通信しライブ映像の表示ならびにカメラ制御を行うライブ映像ビューワの動作の流れを説明している。
【００６０】
ステップＳ６５１で起動時に指示されたカメラサーバを構成する映像サーバのアドレスおよび接続ポートの情報に従い、映像サーバへ接続する。ここで、接続以降の処理を行うための動作プログラム（実現方法としては、スレッドあるいはプロセスの起動となる）が起動され、このプログラムは終了までステップＳ６６１を繰り返す。ステップＳ６６１では、映像サーバからの映像データが届くたびにそれを受け取り表示する。
【００６１】
さらにメインのプログラムはステップＳ６５２で、同じく起動時に指示されたカメラ制御サーバのアドレスおよび接続ポートの情報に従い、カメラ制御サーバへ接続する。
【００６２】
そして、これ以降メインプログラムはユーザからの操作要求を受け付け、実行するメインループへ続く。
【００６３】
まず、ステップＳ６５３でユーザの操作をキーボタン操作などから受け取る。これがカメラ制御に関する場合にはステップＳ６５４でカメラ制御サーバへコマンドを発行する。
【００６４】
また、映像サーバに関する場合にはステップＳ６５５で映像サーバへコマンドを発する。また、ユーザの操作がビューワの状態を変更する操作（たとえば表示サイズの変更操作など）の場合にはステップＳ６５６で内部状態を更新する。
【００６５】
そして、ユーザの操作が終了の場合には、ステップＳ６５７でビューワの動作に関連する各プログラムを順次終了する。Ｓ６５４〜Ｓ６５７の処理が完了するとＳ６５３へ戻り、ユーザの操作入力を待つ。
【００６６】
携帯電話端末上で動作するライブ映像ビューワは、携帯電話端末の出荷時に備わるソフトウェアとして実装される場合もあるが、Ｊａｖａ（登録商標）プログラムのようにネットワークからダウンロードして実装されるソフトウェアである場合もある。
【００６７】
図７はカメラサーバ内のカメラ制御サーバの動作を示した流れ図である。カメラ制御サーバはまず起動時にステップＳ７０１で特定のファイル（ＯＳによってはレジストリなどのシステムデータベース）からカメラ制御サーバの動作設定情報を読み出して、それに基づき動作を開始する。ここでクライアントであるビューワプログラムや映像変換サーバからのリクエストを受け付けるポートを開き、続いて、ステップＳ７０２のリクエスト受付状態に入る。
【００６８】
リクエスト（接続リクエストもしくは操作コマンドリクエスト）が受け付けられたら、Ｓ７０２を抜け、接続リクエストならばステップＳ７０３で接続の可否の判定を行う。否ならば接続拒否のエラーコードを返し、Ｓ７０２に戻る。可ならば、ステップＳ７０４で接続処理として、クライアントからのコマンドの受付処理を行うスレッドを生成し、クライアントの登録を行ってから、Ｓ７０２に戻る。
【００６９】
生成されたスレッドでは、ステップＳ７０７で対応するクライアントからのコマンドの受付を行う。コマンドが届いたならば、それを受け付け、カメラ操作を行う主プログラムへ受け渡す。主プログラムはステップＳ７０２でこれを受け、操作コマンドに対してはステップＳ７０５へ進み、操作コマンドを発行したスレッドが接続しているクライアントの権限に応じてカメラ操作を行って、その結果（操作が成功か失敗かを示すコードなど）をカメラ操作要求を受け付けたクライアント対応のスレッドへ伝える。
【００７０】
このクライアント対応のスレッドはステップＳ７０８で結果をクライアントへ送り返す。主プログラム部分では、ステップＳ７０６でカメラの操作により変化した状態（たとえば、パン・チルト・ズームの値、および、禁止エリア検出の有無などを含むカメラ状態情報など）をすべてのクライアント対応のスレッドに伝える。各クライアント対応のスレッドはステップＳ７０９でカメラ制御状態の変化をクライアントへ通達する。クライアント対応のスレッドはクライアントから接続終了のコマンドを受けたならば、それを主プログラムへ通達し、さらにステップＳ７１０で自身のスレッドを終了する。
【００７１】
尚、操作コマンドの扱いにおいては、具体的な操作コマンドの発行の前に、カメラ操作権の割り当て要求を必要とすることも可能である。これは複数の人間がカメラの操作を要求するような状況での混乱を無くす。この場合、まず、クライアントからはカメラ操作権獲得の要求コマンドが発行され、これに対して、カメラ制御サーバは現在のカメラ制御権の割り当て状態から、拒絶・割り当て・順番待ちを選びクライアントへ返答する。カメラ制御権は前もって定められた特定の時間か、クライアントが接続を終了するまでの短いほうの時間で剥奪され、次の順番待ちの人に割り当てられる。順番待ち人数はやはり前もって定められた人数（たとえば５人）に制限され、それ以上のリクエストは拒絶される。
【００７２】
クライアントはカメラ制御権が獲得されてから剥奪されるまでの間だけ、操作コマンドを発行する。カメラ制御サーバはカメラ制御権が付与されているクライアントからの操作コマンドのみを受け付ける。
【００７３】
また、特権ユーザからの接続に関しては、優先的にカメラ操作権を割り当てられる点、および、操作コマンドが、禁止エリアを含む撮像領域へのカメラ制御であっても許可される点などが、通常ユーザからの接続とは異なる。
【００７４】
図８はカメラサーバ内の映像サーバの動作を示した流れ図である。映像サーバはまず起動時にステップＳ８０１で特定のファイル（ＯＳによってはレジストリなどのシステムデータベース）から映像サーバの動作設定情報を読み出して、それに基づき動作を開始する。ここで、映像の獲得と符号化と蓄積を行うスレッドを生成し（最初このスレッドは休止状態）、クライアントであるビューワプログラムや映像変換サーバからのリクエストを受け付けるポートを開き、続いて、ステップＳ８０２のリクエスト受付状態に入る。
【００７５】
リクエスト（接続リクエストもしくはコマンドリクエスト）が受け付けられたら、Ｓ８０２を抜け、接続リクエストならばステップＳ８０３で接続の可否の判定を行う。否ならば接続拒否のエラーコードを返し、Ｓ８０２に戻る。
【００７６】
可ならば、ステップＳ８０４で接続処理として、クライアントごとのセッションを識別するためのセッション識別子を生成し、クライアントからのコマンドの受付処理を行うスレッドを生成し、接続リクエストを発行したクライアントのアクセス権情報などに則してクライアントの登録を行い、Ｓ８０２に戻る。なお、この際、リクエスト内容がライブ映像への接続であり、かつ、映像の獲得と符号化を行うスレッドが休止状態ならば、Ｓ８０２に戻る前に、動作開始を指示する。
【００７７】
生成されたクライアント対応のスレッドでは、ステップＳ８０７で対応するクライアントからのコマンドの受付を行う。コマンドが届いたならば、それを受け付け、映像処理を行う主プログラムへ受け渡す。
【００７８】
主プログラムはステップＳ８０２でこれを受け、操作コマンドに対してはステップＳ８０５へ進み、映像の獲得や符号化・送信などに関する設定の変更操作を行って、その結果（操作の成功か失敗を示すコード）をコマンド要求を受け付けたクライアント対応のスレッドへ伝える。
【００７９】
クライアント対応のスレッドはステップＳ８０８で、この結果をクライアントへ送り返す。
【００８０】
主プログラム部分では、ステップＳ８０４からの映像の獲得と符号化を行うスレッドへの動作開始の指示により、ステップＳ８０６では前もって設定された時間間隔で映像データを映像キャプチャボードを使って獲得し、これを圧縮データに変換する。さらにこの圧縮データを、ライブ映像に接続しているすべてのクライアント対応のスレッドに伝える。
【００８１】
各クライアント対応のスレッドはステップＳ８０９で、クライアントからの次映像フレーム送信要求の有無を判定し、要求があるならば、圧縮データをクライアントへ配送する。
【００８２】
この際、禁止エリアが検出されている場合には、登録されているクライアント情報に照らして、特権ユーザの接続以外には、禁止エリアに該当しているため圧縮データを配信しない旨（禁止エリア検出通知）を通知する。そして、ライブ映像に接続しているクライアント対応のスレッドが、クライアントからの次映像フレーム送信要求（これはクライアントでの圧縮映像データの受け取り完了に対して、送り返されるのが一般的である）を受け取った場合には映像フレーム送信要求のフラグを設定する。
【００８３】
また、クライアントから接続終了のコマンドを受けたならば、それを主プログラムへ通達し、さらにステップＳ８１０で自身のスレッドを終了する。
【００８４】
図１０はカメラサーバの用いる設定値、すなわち、カメラ制御サーバや映像サーバが読み出す動作設定情報を特定のファイル（ＯＳによってはレジストリなどのシステムデータベース）に設定するカメラサーバ設定プログラムの表示画面の一例を示した図であり、カメラ制御サーバ、映像サーバ、動画品質、接続制限事項などに関する各種のパラメータ（後述）を設定できるようになっている。ＯＫボタンを押すと設定した値が特定のファイルあるいはレジストリに書き込まれ、キャンセルすると書き込まれずに終了する。
【００８５】
図１１は、図１０のカメラサーバの設定プログラムの動作を示す流れ図である。設定プログラムは起動時にまずステップＳ１１０１でカメラ制御サーバおよび映像サーバに関する設定情報を格納した特定のファイル（ＯＳによってはレジストリなどのシステムデータベース）から設定情報を読み出し、内部データに設定する。以降、ユーザの操作入力を受け取り、実施するループを繰り返す。
【００８６】
ステップ１１０２でユーザの操作入力を待ち、入力があればそれを受け取り、続いてステップ１１０３で入力された値が適正範囲内であるか否かを判定し、適正でなければステップ１１０４でエラーメッセージを出力して、値を戻して、ユーザの入力待ちＳ１１０２へ戻る。適正範囲内であるならば、内部データを更新して、Ｓ１１０２に戻る。（ここで設定できる値には次の項目がある。カメラ制御の通信用のＴＣＰポート番号、カメラと接続するＣＯＭ（シリアル）ポート、シャッタースピード、カメラ制御関連のログ情報の有無とログファイル名、映像関連の通信用のＴＣＰポート番号、ログ情報の有無とログファイル名、映像をキャプチャする時間間隔を規定するフレームレートと圧縮の品質を決めるＱ−Ｆａｃｔｏｒ、圧縮の元データの画面サイズ、１つのクライアントビューワの最大接続時間、カメラ制御に関する制御権の順番待ち人数、１つのビューワの制御権保持占有時間、映像とカメラ制御に関する接続可能な最大クライアント数など）。
【００８７】
ユーザからの入力がＯＫボタンの場合には、Ｓ１１０２からステップＳ１１０５に進み、更新された内部データをカメラ制御サーバおよび映像サーバに関する設定情報を格納する特定のファイルなどへ書き出し、ステップＳ１１０６で変更を反映するためにカメラサーバを再起動するかを尋ねるパネルを出す。再起動する場合にはステップＳ１１０７でカメラ制御サーバや映像サーバなどを再起動して、ステップＳ１１０８で設定プログラムを終了する。再起動しない場合にはＳ１１０６から直接Ｓ１１０８に進み、終了する。また、Ｓ１１０２でのユーザの入力がキャンセルボタンである場合には、Ｓ１１０２から直接Ｓ１１０８に進み、終了する。
【００８８】
図１２は、映像変換サーバにおける映像データの大まかな流れを、模式化した図である。カメラサーバから送信されたソース映像データ（Ｍｏｔｉｏｎ  ＪＰＥＧ、ＱＶＧＡサイズ３２０ｘ２４０）は、映像変換サーバのカメラサーバ向け通信スタックを経由して受信され、ＪＰＥＧデコーダに渡され、続いて、携帯電話向けに設定されたＭＰＥＧ−４エンコーダに渡され、携帯電話向け映像データ（ＭＰＥＧ−４  ｓｉｍｐｌｅｐｒｏｆｉｌｅ、ＱＣＩＦサイズ１７６ｘ１４４、６４Ｋｂｐｓ）に加工された上で、映像クリップとして、携帯電話網向けの通信スタックを経由して、携帯電話ビューワへと送信される。
【００８９】
図１３は映像変換サーバの動作を示した流れ図である。映像変換サーバはまず起動時にステップＳ１３０１で特定のファイル（ＯＳによってはレジストリなどのシステムデータベース）から映像変換サーバの動作設定情報を読み出して、それに基づき動作を開始する。ここで、クライアントである携帯電話ビューワプログラムからのリクエストを受け付ける通信ポートを開き、続いて、ステップＳ１３０２のリクエスト受付状態に入る。
【００９０】
リクエスト（ＨＴＴＰリクエストのメッセージなど）が受け付けられたら、Ｓ１３０２を抜け、ステップＳ１３０３で接続の可否の判定を行う。否ならば接続拒否のエラーコードを返し、Ｓ１３０２に戻る。可ならば、ステップＳ１３０４で接続処理として、クライアントとの情報の受渡しを行うクライアント対応スレッドを生成し、クライアントの登録を行い、Ｓ１３０２に戻る。
【００９１】
生成されたクライアント対応スレッドでは、ステップＳ１３１１で対応するクライアントからのリクエストを読み込み、内容を解析する。リクエストは、典型的には、ＨＴＴＰリクエストとして、映像変換サーバに渡される。なお、ＨＴＴＰリクエストには、ＰＯＳＴメソッドが使われる場合もあり、ＧＥＴメソッドが利用される場合もある。
【００９２】
次に、ステップＳ１３１２で、リクエスト内容から、エンコードパラメータ情報（映像変換パラメータ）、カメラサーバへの接続情報（ソース映像情報）、ＰＴＺシーケンス、映像クリップの最大サイズ（映像クリップ上限値）、通知先情報（通知先アドレス）、および、ユーザ識別子やパスワードなどユーザ識別情報を取り出す。これらは、それぞれ『ｖｉｄｅｏｅｎｃｏｄｅｐａｒａｍ＝』『ｃａｍｅｒａｓｅｒｖｅｒｓ＝』『ＰＴＺ＝』『ｍｏｖｉｅｓｉｚｅｍａｘ＝』『ｎｏｔｉｆｙｔｏ＝』『ｕｓｅｒｉｄ＝』『ｕｓｅｒｐｗ＝』の値として指示されている。
【００９３】
映像変換パラメータは、変換用コーデックの選択やそのコーデックへのパラメータ、および、コーデック入力用／出力用のデータ形式などを記述している。ソース映像情報とは、例えば、ライブ映像を提供するカメラサーバのネットワークアドレスとポート番号などの通信属性情報である。通知先アドレスとは、典型的には、ユーザの携帯電話端末を指定したメイルアドレスである。
【００９４】
次に、ステップＳ１３１３で、ＨＴＴＰリクエストに対するＨＴＴＰレスポンスとして、『すぐに映像を生成できないので、しばらくしてメイル連絡します』との旨を示す情報を返す。次に、ステップＳ１３１４で、ソース映像情報およびユーザ識別情報にしたがって、映像取得部を初期化する。具体的には、ソース映像を提供するカメラサーバに接続し、ソース映像取得を開始する。
【００９５】
そして、ステップＳ１３１５に進み、映像変換パラメータに従って映像変換部を初期化する。この映像変換部は、ＭＰＥＧ−４エンコーダなどから構成される。そして、ステップＳ１３１６に進み、映像送信部を初期化する。この際、映像送信部に映像クリップ上限値、および、通知先アドレスを指示する。
【００９６】
さらに、ステップＳ１３１７に進み、映像取得部から映像変換部へ、映像変換部から映像送信部へとそれぞれの処理データが受渡しされるように相互の関連付けを行った上で、カメラ制御部が、ＰＴＺシーケンスにしたがってカメラサーバのカメラ制御を行う。そして、ステップＳ１３１８に進み、映像取得部、映像変換部、映像送信部の後処理を行う。そして、ステップＳ１３１９に進み、クライアント対応スレッドを終了する。
【００９７】
次に、図５の映像変換サーバの中で機能している映像取得部５００７、映像変換部５００８、映像送信部５００９、カメラ制御部５００６について順次説明する。
【００９８】
映像取得部５００７は、まず、初期化時に受取ったソース映像情報およびユーザ識別情報に従って、ライブ映像を提供するカメラサーバ（以下カメラサーバ１０１とする）に接続する。そして、カメラサーバ１０１から映像データを取得し、取得時のタイムスタンプを付与して映像データを映像変換部５００８へ渡す。本実施形態におけるカメラサーバ１０１は、映像データをＭｏｔｉｏｎ  ＪＰＥＧ形式で提供するので、タイムスタンプが付与されるのは、個々のＪＰＥＧデータである。また、カメラサーバから禁止エリア検出を通知された場合には、映像データに代えて禁止エリア検出通知を映像変換部５００８へ渡す。
【００９９】
次に、映像変換部５００８では、まず、初期化時に受取ったコーデックへのパラメータ、および、コーデック入力用／出力用のデータ形式などをＭＰＥＧ−４エンコーダに設定する。そして、映像取得部５００８から受取ったソース映像データを、コーデック入力用のデータ形式および画像サイズに整えてからＭＰＥＧ−４エンコーダに入力し、その処理結果を、映像送信部５００９へ渡す。本実施形態における映像変換部５００８では、ＪＰＥＧ形式のソース映像データを、予め、ＱＣＩＦサイズかつＹＵＶ４１１形式に整えてからＭＰＥＧ−４コーデックへ入力し、生成されたＭＰＥＧ−４データ（Ｉ−ｆｒａｍｅまたはＰ−ｆｒａｍｅ）を映像送信部５００９へ受け渡す。この際、映像取得部５００７で付与されたタイムスタンプも併せてＭＰＥＧ−４コーデックへ入力される。
【０１００】
なお、映像取得部５００７から禁止エリア検出が通知されている場合には、カメラ制御を制限された領域であって映像を表示できない旨を示す合成画面を、ソース映像データに代えて、ＭＰＥＧ−４コーデックへ入力する。
【０１０１】
次に、映像送信部５００９では、まず、初期化時に受取った映像クリップ上限値にしたがってメモリ領域を確保する。そして、映像変換部５００８が生成した携帯電話向け映像データを受取り、確保したメモリ領域に保持する。
【０１０２】
さらに、映像送信部５００９では、禁止エリア検出通知を受け取った時点で、メモリ領域の利用率をも加味した上で、映像クリップの分割点を決定する。そして、分割点と判断した場合には、携帯電話向け映像クリップのデータフォーマットに準拠したヘッダー情報を前置して、メモリ領域に保持している映像データをファイルとして保存し、メモリ領域を再利用する。これによって、映像クリップが複数のファイルに分割保存される。
【０１０３】
また、映像送信部５００９では、映像取得部５００７で得られるカメラ制御状態情報を受け取り、時間軸に沿って保持する。そして、予め設定されている時間周期でカメラ制御状態情報から、カメラ制御状態情報に相当するカメラ制御シーケンス（ＰＴＺシーケンス）を生成して、そのＰＴＺシーケンスをパラメータとする専用ビューワの起動支持をリンク情報として映像クリップに組み込む。典型的には、隣接するカメラ制御状態情報の差分からＰＴＺシーケンスを構成するが、ＰＴＺシーケンス初期値を指定する場合やプリセット位置やホームポジションなどと一致する場合には、絶対値指定を指示する。
【０１０４】
そして、カメラ制御部５００６からＰＴＺシーケンスの終了を通知された時点で、メモリ領域に保持している映像データの残りを同様にファイルとして保存した上で、それまでに保存している複数の映像クリップへのリンク情報を埋め込んだ携帯電話端末への通知情報を作成し、初期化時に受取った通知先アドレスへ通知する。これによって、通知情報を受取った携帯電話端末から各映像クリップへのダウンロード要求を可能とする。なお、映像送信部５００９は、ＨＴＴＰサーバ機能を備えており、携帯電話端末からのＨＴＴＰ利用の映像クリップのダウンロード要求に対応する。
【０１０５】
次に、カメラ制御部５００６では、ＰＴＺシーケンスを解釈して、カメラサーバ１０１に送るべきカメラ制御コマンドを作成し、ＰＴＺシーケンスに指示されたタイミングで作成したカメラ制御コマンドをカメラサーバ１０１に送信することで、カメラサーバ１０１のカメラ制御を行う。そして、ＰＴＺシーケンスを解釈し終えた時点で、ＰＴＺシーケンスの終了を映像送信部５００９に通知する。
【０１０６】
以上の構成で、携帯電話端末上に実装された映像クリップビューワを使うユーザは、映像変換サーバ４００に映像クリップを要求することができる。そして、映像変換サーバ４００の機能により、映像クリップが作成された時点のカメラ制御状態情報を、映像クリップ再生ユーザが利用可能となる。
【０１０７】
特に、本実施形態の映像クリップビューワでは、映像クリップ中にリンク情報として組み込まれたカメラ制御情報部分を先読みし、カメラ制御内容を解析した上で、映像表示画面上にカメラ制御内容を予報し、ユーザからの指示に応じて、予報先の映像セグメントにジャンプ（映像早送り）する点に特徴がある。
【０１０８】
本実施形態では、映像変換サーバ４００を介してカメラサーバへ間接的にアクセスする例について説明しているが、ビューワは、ステップ６０２で得られた情報（カメラ接続情報ならびにカメラ制御情報）に基づいて、直接カメラサーバ１０１へアクセスしても良い。
【０１０９】
本実施形態では、携帯電話網とネットワークとを結ぶゲートウェイ５００とは独立に、ネットワーク上に映像変換サーバ４００が実装される例について説明しているが、映像変換サーバ４００が、ゲートウェイ５００の一部として実装されても良い。また、映像変換サーバとゲートウェイとが、ＶＰＮ（Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）なども含めて専用線で接続されるような接続形態も容易に想像できる。
【０１１０】
また、本実施形態では、ＨＴＴＰ通信を用いて、携帯電話ビューワ２００と映像変換サーバ４００とが通信する例について説明しているが、この通信は、ＳＭＴＰ（Ｓｉｍｐｌｅ  Ｍａｉｌ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）を用いた通信であっても良い。
【０１１１】
また、携帯電話ビューワ２００と映像変換サーバ４００とのＨＴＴＰ通信やＳＭＴＰ通信は、ＳＳＬ（Ｓｅｃｕｒｅ  Ｓｏｃｋｅｔ  Ｌａｙｅｒ）などの併用により、安全な通信経路を利用しても良い。
【０１１２】
本実施形態では、カメラサーバ１０１と映像変換サーバ４００とが独立である例について説明しているが、カメラサーバ１０１と映像変換サーバ４００とは、一体化されていても良い。その場合、映像変換サーバ４００は、カメラサーバ１０１の映像サーバと同様に、カメラサーバ１０１のハードウェア構成の映像キャプチャボードを使って映像データを獲得すれば良い。また、カメラサーバ１０１と映像変換サーバ４００とが、一体化した映像変換サーバであっても、本実施形態同様に、他のカメラサーバの映像サーバからも映像データを取得できるよう設計することも容易に想像できる。これによって、カメラサーバのエンコード処理の負荷分散、配送処理の負荷分散、および、ネットワーク通信インフラにおける輻輳防止などの効果がある。
【０１１３】
本実施形態では、映像クリップ中のすべてのカメラ制御情報を先読みする例について説明しているが、先読み量は、映像クリップの全体に限定されない。例えば、映像クリップを再生する装置（本実施形態では、携帯電話端末）のメモリ容量に応じて、映像クリップの一部分を先読みし、その範囲内に検出された情報を予報する事も考えられる。
【０１１４】
また、カメラ制御内容（カメラ制御コマンドの種類、図９参照）やカメラ制御による変動の累積値から、一部のカメラ制御内容を選択的に予報することも容易に想像できる。例えば、カメラ制御内容を選択するために、変動累積値ならびにカメラ制御内容（カメラ制御コマンドの種類）を引数とする評価関数を導入しても良い。
【０１１５】
例えば、プリセット制御のように平均して大きな変動があるカメラ制御の場合は、大きな値を返し、単純なパン、チルト、ズームコマンドのように平均して小さな変動があるカメラ制御の場合は小さな値を返す関数を使用する。また、全コマンドによる変動を累積した変動累積値より求められた閾値に対して、それ単体のコマンドの変動値がある閾値より少ないコマンドは表示させないといった制御が可能である。図１９に、図９の制御を行う場合の一例を示す。この場合、１００秒間における変動累積値は１５であり、時間単位の平均値（１．５）よりも、値の低いコマンド［２］は表示させないようにする制御である。
【０１１６】
本実施形態では、映像クリップビューワが携帯電話端末で動作する例について説明しているが、動作環境は、これに限定されない。例えば、ＰＣなどとは異なり、様々な制約の多い環境で動作するという点では、ＳＴＢ（Ｓｅｔ  Ｔｏｐ  Ｂｏｘ）での利用も同様に説明できる。ＳＴＢへの適用では、表示画面としてＴＶ画面を用い、ユーザからの入力を受け取るボタンとしてＳＴＢのリモコン入力を用いる点、ならびに、通信媒体として携帯電話の無線通信に替えて、ＣＡＴＶ通信やインターネット通信を用いる点が異なる。
【０１１７】
本実施形態では、映像クリップビューワが、映像クリップの再生時に、映像クリップの各映像セグメントにリンク情報として関連付けられたカメラ制御情報を先読みする例について説明しているが、映像変換サーバが、カメラ制御情報をまとめて映像クリップのヘッダ情報などに組み入れる事で、再生時のビューワ負担を軽減することも容易に想像できる。
【０１１８】
図１５（ｂ）の映像セグメント分割と、直接表示のための映像分割点に対するマーク付け（映像セグメントマーカ）に関しては単純にデータ量に基づき行う手法があるが、この分割に関しても、上記のような評価関数を利用することができる。
【０１１９】
即ち、各制御が集中し評価値の平均が全体平均よりも高くなっている時間帯を短い映像クリップとなるようマーク付けし（例えば、図１５（ｂ）の３と４で適用）、表価値が全体平均よりも低くなる時間を長い映像クリップとなるようマーク付けする（例えば、図１５（ｂ）の１と２で適用）ことができる。
【０１２０】
本実施形態では、同一映像クリップ内に含まれる映像情報ならびにカメラ制御情報を先読みして再生時に利用する例について説明しているが、これは、同一映像クリップ（ファイル）に限定されない。異なるファイルとして提供されても良い。さらに、積極的に、異なる映像クリップ内に含まれる映像情報ならびにカメラ制御情報を組み合わせて利用してもよい。
【０１２１】
本実施形態では、再生中の映像クリップの再生表示時点からの相対時刻で、カメラ制御内容を予報する例について説明しているが、予報する時刻は、表示時点からの相対時刻に限定されない。例えば、映像クリップの冒頭からの相対時刻を利用することも容易に想像できる。また、映像クリップが生成時刻を保持している場合、絶対時刻で、カメラ制御内容を予報する事も考えられる。
【０１２２】
（第２の実施形態）
第２の実施形態では、第１の実施形態同様、インターネット上に配置されたカメラサーバから取得したライブ映像を映像クリップに変換して送信し再生表示する例について説明する。
【０１２３】
特に、本実施形態では、インターネットに接続された多数のカメラサーバのライブ映像から生成した膨大な数の映像クリップ群を蓄積および閲覧する蓄積映像クリップ用ビューワが、蓄積された膨大な数の映像クリップ群の中の、注目の映像クリップについて、カメラ制御情報をリスト表示し、その中の一部（区切り点として検出された部分）を、ユーザの識別しやすい方法で提供する点に特徴がある。
【０１２４】
さらに本実施形態では、注目している映像クリップから抽出したカメラ制御情報リストの一部をユーザが選択し、それを別の映像クリップに適用（ドラッグアンドドロップ操作）することで、適用された映像クリップを生成したカメラサーバへライブ接続し、さらに、選択されたカメラ制御情報に相当するカメラ制御内容（カメラ制御コマンド）を要求する点に特徴がある。
【０１２５】
本実施形態では、ネットワークの接続形態やハードウェア構成、および、各ソフトウェアの動作の多くは、第１の実施形態で説明した通りである。ただし、図４で説明したビューワを動作させるハードウェア構成は、携帯電話ではなく、ＰＣのハードウェアとなる（図示せず）。また、図６で示した映像クリップビューワの動作が、第１の実施形態と異なる。
【０１２６】
本実施形態では、映像クリップビューワがＰＣなどの制約の少ない環境上で動作しており、ＧＵＩを用いた操作によって、映像クリップの選択ならびに再生制御が行われる点で、第１の実施形態と異なる。
【０１２７】
第２の実施形態の映像クリップビューワは、蓄積映像クリップ用ビューワとして動作し、動作するハードウェア内あるいは映像蓄積サーバに蓄積されている作成済み映像クリップを表示対象とする。これらの映像クリップ中に、カメラサーバ接続情報ならびにカメラ制御情報が組み込まれている点は、第１の実施形態で説明した通りである。
【０１２８】
蓄積映像クリップ用ビューワの映像クリップ再生表示処理では、図１７に示すように、複数の映像クリップを同時に再生可能であり、第１の実施形態の映像クリップビューワ同様、リンク情報として組み込まれているカメラ制御情報を先読みし、予報する。
【０１２９】
さらに、複数の映像クリップの中で、注目している（フォーカスされている）映像クリップについては、より詳細なカメラ制御内容をリスト表示する。
【０１３０】
そして、リスト表示されたカメラ制御情報の一部を選択可能であり、蓄積映像クリップ用ビューワのマルチ表示している別の映像クリップ画面にｄｒａｇ−ｎ−ｄｒｏｐする事で、別の映像クリップを生成したカメラサーバにライブ接続し、選択したカメラ制御情報をカメラサーバに適用する。
【０１３１】
図１６は、第２の実施形態の映像クリップビューワの表示動作の流れを示す図である。
【０１３２】
ステップＳ１６０１で、ＰＣ内に保持されているカメラ制御情報付き映像クリップを複数取得する。これらの映像クリップは、ネットワークからのダウンロード、メイルへの添付、あるいは、メモリカードからのコピー、などの経路からＰＣ内の映像クリップビューワへ取得される。典型的には、映像蓄積サーバに蓄積されている作成済み映像クリップを取得する。
【０１３３】
続いて、ステップＳ１６０２で、カメラ制御情報を先読みし予報するための映像クリップを選択し、カメラ制御情報を先読みしてリスト表示する。典型的には、一つの映像クリップを選択するが、複数の映像クリップを選択して、それらの映像クリップに組み込まれたカメラ制御情報を連続して利用しても良い。これらを映像クリップＢ１〜映像クリップＢｎとする。
【０１３４】
続いて、ステップＳ１６０３では、接続先となるカメラサーバを指定するための映像クリップ（映像クリップＡ）を選択する。典型的には、ステップＳ１６０２で選択した映像クリップＢ１〜映像クリップＢｎを、映像クリップＡへドラッグアンドドロップ操作する（図１７）。
【０１３５】
そして、ステップＳ１６０４で、上記で選択された映像クリップＡに組み込まれたカメラ接続情報を取り出す。続いて、ステップＳ１６０５で、映像クリップＢ１〜映像クリップＢｎにおいて、ユーザに選択されたカメラ制御情報から、カメラ制御用のＰＴＺシーケンスを取り出す。
【０１３６】
そして、ステップＳ１６０６で、得られたカメラ接続情報を使って、指定のカメラサーバにライブ接続し、ＰＴＺシーケンスを、カメラ制御コマンドとして要求する。
【０１３７】
以上の構成で、ＰＣなどコンピュータ上に実装された映像クリップビューワを使うユーザは、映像変換サーバに映像クリップを要求することができる。そして、映像変換サーバの機能により、映像クリップが作成された時点のカメラ制御状態情報を、映像クリップ再生ユーザが利用可能となる。
【０１３８】
特に、本実施形態では、蓄積された膨大な数の映像クリップを再生表示する映像蓄積ビューワにおいて、映像クリップ中に組み込まれたカメラ制御情報を先読みし、予報情報を表示することで、それらのカメラ制御情報を部分的に選択し、別のカメラサーバへのライブ映像配信接続に適用する例について説明した。
【０１３９】
本実施形態では、映像クリップから抽出したカメラ制御情報を、ライブ映像配信中のカメラサーバを制御する例について説明しているが、これは、ライブ接続に限定されない。例えば、抽出したカメラ制御情報のＰＴＺシーケンスを利用して、再び映像クリップを作成することも容易に想像できる。
【０１４０】
また、本実施形態では、ライブ映像配信中のカメラサーバのカメラ制御に用いる場合にも、抽出したカメラ制御情報のＰＴＺシーケンス（の選択された部分）による自動制御を行う例について説明しているが、これは、自動制御に限定されない。例えば、自動制御に加えて、ユーザが自動制御に割り込んで、カメラ制御用のＰＴＺシーケンスを、早送り１８０１、逆送り１８０２、停止１８０３、一時停止１８０４、再生１８０５など操作することが考えられる。あるいは、自動制御を一時停止１０８４して、ユーザの好みに応じて、ＰＴＺシーケンスをスクロールバー１８０６を使用して手動制御しても良い（図１８）。この場合、ユーザ操作によるライブ制御と、ＰＴＺシーケンスによる自動制御とを、相互に排他制御する。
【０１４１】
（他の実施形態）
本発明の目的は、前述した各実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。
【０１４２】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【０１４３】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０１４４】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【０１４５】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【図面の簡単な説明】
【０１４６】
【図１】本発明を用いた典型的な利用形態を示した図である。
【図２】映像変換サーバのハードウェア構成の一例を示した図である。
【図３】カメラサーバのハードウェア構成の一例を示した図である。
【図４】ビューワを動作させるハードウェア構成の一例を示した図である。
【図５】プログラムの構成する部分を模式化した図である。
【図６】携帯電話の映像クリップビューワの動作の流れを示す図である。
【図７】カメラサーバ内のカメラ制御サーバの動作を示した流れ図である。
【図８】カメラサーバ内の映像サーバの動作を示した流れ図である。
【図９】携帯電話上での映像クリップ再生表示を例示した図である。
【図１０】カメラサーバの設定画面を例示した図である。
【図１１】カメラサーバの設定プログラムの動作を示す流れ図である。
【図１２】映像変換サーバにおける映像データの流れを模式化した図である。
【図１３】映像変換サーバの動作を示した流れ図である。
【図１４】ライブ映像ビューワの流れを示す図である。
【図１５】携帯電話端末上で映像クリップ選択画面を例示した図である。
【図１６】第２の実施形態の映像クリップビューワの動作の流れを示す図である。
【図１７】第２の実施形態のドラッグアンドドロップ画面を例示した図である。
【図１８】第２の実施形態の自動制御割り込み時の画面を例示した図である。
【図１９】評価関数によるコマンド選択を説明するための図である。
【符号の説明】
【０１４７】
１０１  カメラサーバ
１０２  カメラサーバ
２００  ビューワ
３００  中継サーバ
４００  映像変換サーバ
５００  ゲートウェイ
６０１  携帯電話端末
６０２  携帯電話端末
【図１】
2006211524.tif 000003
【図２】
2006211524.tif 000004
【図３】
2006211524.tif 000005
【図４】
2006211524.tif 000006
【図５】
2006211524.tif 000007
【図６】
2006211524.tif 000008
【図７】
2006211524.tif 000009
【図８】
2006211524.tif 000010
【図９】
2006211524.tif 000011
【図１０】
2006211524.tif 000012
【図１１】
2006211524.tif 000013
【図１２】
2006211524.tif 000014
【図１３】
2006211524.tif 000015
【図１４】
2006211524.tif 000016
【図１５】
2006211524.tif 000017
【図１６】
2006211524.tif 000018
【図１７】
2006211524.tif 000019
【図１８】
2006211524.tif 000020
【図１９】
2006211524.tif 000021