(57)【特許請求の範囲】
【請求項１】
撮影装置から第１の端末装置に配信するための第１の圧縮形式の映像情報を受信する映像情報受信手段と、
前記映像情報受信手段によって受信された第１の圧縮形式の映像情報を伸張する伸張手段と、
時間帯並びにパン、チルト及びズームの値のうち少なくとも１つを含む前記撮影装置の制御情報に対応した、前記伸張手段によって伸張された映像情報とは異なる情報を該映像情報に重畳させる位置及び該映像情報とは異なる情報のサイズに関する情報を有するデータベースと、
現在の時刻及び前記撮影装置の制御情報に対応する、位置及びサイズに関する情報を前記データベースから取得し、取得した前記位置及びサイズに関する情報に基づいて、前記伸張手段によって伸張された映像情報に該映像情報とは異なる情報を重畳する映像加工手段と、
前記映像加工手段によって加工された映像情報を前記第１の圧縮形式とは異なる第２の圧縮形式で圧縮する圧縮手段と、
前記圧縮手段によって圧縮された映像情報を前記第１の端末装置とは異なる種類の第２の端末装置に配信する配信手段と、を有することを特徴とする映像処理装置。
【請求項２】
前記伸張手段によって伸張された映像情報とは異なる情報は、少なくとも動画、静止画及びテキストの何れか１つを含むことを特徴とする請求項１に記載の映像処理装置。
【請求項３】
撮影装置から第１の端末装置に配信するための第１の圧縮形式の映像情報を受信する映像情報受信ステップと、
前記映像情報受信ステップによって受信された第１の圧縮形式の映像情報を伸張する伸張ステップと、
時間帯並びにパン、チルト及びズームの値のうち少なくとも１つを含む前記撮影装置の制御情報に対応した、前記伸張手段によって伸張された映像情報とは異なる情報を該映像情報に重畳させる位置及び該映像情報とは異なる情報のサイズに関する情報を有するデータベースから、現在の時刻及び前記撮影装置の制御情報に対応する位置及びサイズに関する情報を取得し、取得した前記位置及びサイズに関する情報に基づいて、前記伸張ステップによって伸張された映像情報に該映像情報とは異なる情報を重畳する映像加工ステップと、
前記映像加工ステップによって加工された映像情報を前記第１の圧縮形式とは異なる第２の圧縮形式で圧縮する圧縮ステップと、
前記圧縮ステップによって圧縮された映像情報を前記第１の端末装置とは異なる種類の第２の端末装置に配信する配信ステップと、を有することを特徴とする映像処理装置の映像処理方法。
【請求項４】
請求項３に記載の映像処理方法をコンピュータに実行させるためのプログラム。
【請求項５】
請求項４に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カメラサーバ装置のコストアップを回避しつつ、カメラサーバ装置で撮影される映像を他の装置に配信するための技術に関するものである。
【０００２】
【従来の技術】
特開平１０−０４０１８５号公報には、遠隔地に配置されたカメラの画像をインターネットなどのネットワーク経由で見ることができる機能を提供しているカメラが開示されている。以下では、このようなネットワーク機能を有したカメラをカメラサーバ装置と呼ぶ。本従来例は、多人数が同時にカメラサーバ装置からの映像を見ることができるだけでなく、カメラのパン・チルト角度やズーム倍率を遠隔から制御することが可能である。
【０００３】
このような、カメラの制御も許すようなカメラサーバ装置システムにおいて、多人数に1台のカメラ制御を許す場合には、物理的には1台しかないカメラを制御する権利を調停する必要がある。これに関しては特開平１０−０４２２７８号公報において開示されている。制御権という概念を導入することで、利用者が制御権を有している間だけカメラ制御できるようになっている。一方、このようなカメラサーバ装置からの映像に情報を重畳するという技術が特開平１１−１９６４０４号公報で開示されている。
【０００４】
【発明が解決しようとする課題】
近年、携帯電話や携帯端末技術の進歩により、こうした機器からもカメラ映像を見たり操作できるようになる可能性が出てきた。しかしながら、このようなカメラサーバ装置からの映像を従来どおりの端末にだけでなく、携帯電話や携帯端末等にも見せようとすると、映像の配送方法や映像フォーマットなどが異なるため、カメラサーバ装置に両方のインタフェースを持つ必要があり、カメラサーバ装置がコストアップしてしまうという問題点がある。これはカメラ制御についても同様であり、カメラサーバ装置側に携帯端末からのカメラ制御のための専用インタフェースを別途持つ必要があり、カメラサーバ装置の複雑化とコストアップになる。
【０００５】
一方、広告などを映像に重畳する機能を持たないカメラサーバ装置からの映像に対して、あとから柔軟に広告を重畳することはできなかった。また、重畳したい情報が非常に大きな場合、カメラサーバ装置に重畳情報を保持するのは本来の映像配信という目的と異なる機能であり、コスト面から現実的ではなかった。さらには、従来技術では、例えば、携帯電話には広告情報を重畳し、従来どおりの端末には広告情報を重畳しないといったことはできなかった。
【０００６】
そこで、本発明の目的は、撮影装置のコストアップを回避するとともに、必要な端末装置にのみ映像情報とともに広告等の情報を提供することを可能とすることにある。
【０００９】
【課題を解決するための手段】
本発明の映像処理装置は、撮影装置から第１の端末装置に配信するための第１の圧縮形式の映像情報を受信する映像情報受信手段と、前記映像情報受信手段によって受信された第１の圧縮形式の映像情報を伸張する伸張手段と、時間帯並びにパン、チルト及びズームの値のうち少なくとも１つを含む前記撮影装置の制御情報に対応した、前記伸張手段によって伸張された映像情報とは異なる情報を該映像情報に重畳させる位置及び該映像情報とは異なる情報のサイズに関する情報を有するデータベースと、現在の時刻及び前記撮影装置の制御情報に対応する、位置及びサイズに関する情報を前記データベースから取得し、取得した前記位置及びサイズに関する情報に基づいて、前記伸張手段によって伸張された映像情報に該映像情報とは異なる情報を重畳する映像加工手段と、前記映像加工手段によって加工された映像情報を前記第１の圧縮形式とは異なる第２の圧縮形式で圧縮する圧縮手段と、前記圧縮手段によって圧縮された映像情報を前記第１の端末装置とは異なる種類の第２の端末装置に配信する配信手段と、を有することを特徴とする。
本発明の映像処理装置の映像処理方法は、撮影装置から第１の端末装置に配信するための第１の圧縮形式の映像情報を受信する映像情報受信ステップと、前記映像情報受信ステップによって受信された第１の圧縮形式の映像情報を伸張する伸張ステップと、時間帯並びにパン、チルト及びズームの値のうち少なくとも１つを含む前記撮影装置の制御情報に対応した、前記伸張手段によって伸張された映像情報とは異なる情報を該映像情報に重畳させる位置及び該映像情報とは異なる情報のサイズに関する情報を有するデータベースから、現在の時刻及び前記撮影装置の制御情報に対応する位置及びサイズに関する情報を取得し、取得した前記位置及びサイズに関する情報に基づいて、前記伸張ステップによって伸張された映像情報に該映像情報とは異なる情報を重畳する映像加工ステップと、前記映像加工ステップによって加工された映像情報を前記第１の圧縮形式とは異なる第２の圧縮形式で圧縮する圧縮ステップと、前記圧縮ステップによって圧縮された映像情報を前記第１の端末装置とは異なる種類の第２の端末装置に配信する配信ステップと、を有することを特徴とする。
【００１５】
【発明の実施の形態】
以下、本発明の実施形態を添付図面を参照しながら詳細に説明する。
【００１６】
＜第１の実施形態＞
本実施形態は、遠隔制御可能なカメラサーバ装置で取り込んだ映像を、配送途中の変換サーバ装置にて広告などの情報を映像に重畳して、携帯表示端末に映像を配送し、さらに携帯表示端末からのカメラ制御を可能にするものである。
【００１７】
図１は本実施形態の物理的な構成の概要図である。まず図１を用いて構成の概要について説明する。まず、カメラサーバ装置1-1、表示操作端末1-2及びネットワーク1-3とともに、変換サーバ装置1-4、広告サーバ装置1-5、ネットワーク1-6、配送サーバ装置1-7、ネットワーク1-8、携帯表示端末1-9からカメラサーバ装置システムが構成されている。
【００１８】
カメラサーバ装置システムを構成する部分では、ネットワーク1-3経由で、操作表示端末1-2からカメラサーバ装置1-1のアドレスを指定して接続し、カメラサーバ装置1-1で撮影したリアルタイム映像を取得すると共に、必要に応じてカメラ制御権を取得してカメラ制御を行う。表示操作端末1-2、カメラサーバ装置1-1はネットワーク上で互いが識別できれば複数存在してもかまわない。
【００１９】
図２はカメラサーバ装置1-1のブロック図であり、撮像手段2-1すなわちカメラで撮影した映像を、映像取り込み圧縮手段2-2でデジタルデータとして取り込み、Motion JPEG形式の圧縮画像を生成し、映像通信手段2-5により、接続要求のあった表示操作端末に映像を配送する。接続要求が複数の表示操作端末からあれば、同時に複数の表示操作端末に対して映像配送を行う。また、カメラを制御する権利(制御権)を獲得した表示操作端末がカメラ制御手段2-3に対してカメラ制御コマンドを発行して、パン・チルト・ズームなどのカメラ制御できるようになっている。カメラ制御通信手段2-6はこうしたカメラ制御コマンドの生成・解釈、応答の制御を行う。通信制御手段2-7は、映像通信手段2-5、カメラ制御通信手段2-6と外部との通信を制御している。
【００２０】
表示操作端末1-2は、本実施形態ではグラフィカルな画面操作が可能なパーソナルコンピュータのような装置によって構成されているものとする。表示操作端末1-2よりカメラサーバ装置1-1のアドレスを指定してカメラサーバ装置に接続すると、図３のようなユーザインタフェース画面を表示する。図３において、3-1は映像表示部であり、カメラサーバ装置1-1から取得した映像が伸張して表示される。カメラ制御する場合には、3-5のボタンを押して、制御権が獲得できた後、カメラパンのためのスクロールバー3-2、カメラチルトのためのスクロールバー3-3、カメラズームのためのクスロールバー3-4を操作してカメラ制御するようになっている。なお、カメラ操作のための制御権は同時には1つのクライアントしか取得することはできない。こうした操作に対応してカメラ制御コマンドを発行するが、ここで用いるカメラ制御コマンドおよびカメラサーバ装置からの応答を図５に示す。コマンドについては後で詳述する。
【００２１】
変換サーバ装置1-4は、カメラサーバ装置1-1から取得したMotion JPEG形式の圧縮映像を、携帯表示端末1-9で表示できるような圧縮映像フォーマット（本実施形態ではMPEG4とする）に変換すると同時に、必要に応じて広告サーバ装置1-5から取得した情報を映像に重畳し、ネットワーク1-6を通じて配送サーバ装置1-7に流す。
【００２２】
さらに配送サーバ装置1-7では、接続中の複数の携帯表示端末1-9に映像を配送し、各携帯表示端末1-9では、受信したMPEG4映像をデコードして表示する。なお、携帯表示端末1-9は、例えば64kbps程度のデジタル映像を高速に受信し表示できるようなものを想定している。図４に携帯表示端末の例を示す。4-1は映像・情報表示部、4-2はキーボタン部である。
【００２３】
本実施形態においては、変換サーバ装置1-4はMotion JPEG映像からMPEG4映像に変換をするようになっている。従って、システムで用いられている映像フォーマットとしては、カメラサーバ装置1-1から変換サーバ装置1-4ないし表示操作端末1-2までの系ではMotion JPEG、変換サーバ装置1-4から携帯端末1-9までの系ではMPEG4のビジュアルの部分のシンプルプロファイルを想定している。
【００２４】
しかし、本実施形態では、映像の圧縮形式にこだわるものではなく、変換サーバ装置1-4において、カメラサーバ装置から受信した圧縮映像フォーマットを携帯端末1-9で表示できる圧縮映像フォーマットに変換できる、という条件を満たしているシステムであればよい。また、必ずしもフォーマット変換しなくても、映像が正しく流れて表示できれば、情報重畳だけできればよい。また、処理面およびネットワーク負荷面から考えて映像圧縮しなくても間に合うのであれば、非圧縮映像であってもかまわない。
【００２５】
なお、カメラ制御に関しては、携帯端末1-9からカメラサーバ装置1-1に制御権を要求・獲得して、制御コマンドを発行し、配送サーバ装置1-7、変換サーバ装置1-4を経由してカメラサーバ装置1-1に制御コマンドがわたるようになっている。携帯端末1-9から配送サーバ装置1-7、変換サーバ装置1-4までの系において、本実施形態では、通話用の双方向音声チャネルを用いて制御信号およびその応答を流すものとして説明する。この点に関しては後で詳述する。
【００２６】
なお、変換サーバ装置1-4は、カメラサーバ装置1-1から見れば、一部を除き表示操作端末と同等に見える。なお、本実施形態で述べる各装置には携帯表示端末1-9を除きネットワーク上で互いが一意に特定できる識別アドレスとしてIPアドレス(アドレスと以下呼ぶ)が割り振られているものとする。ただし、ネットワーク上の携帯表示端末1-9の識別は、携帯電話特有の仕組みすなわち電話番号を用いて識別できるようになっているものとする。しかし、互いの装置、端末の識別ができて通信が可能であれば、どんな識別機構であろうとかまわない。
【００２７】
ネットワーク1-3は、ネットワーク上にある複数の操作表示端末1-2や変換サーバ装置1-4、カメラサーバ装置1-1間でのカメラ制御コマンドや映像を相互に通すのに十分な帯域があるインターネットやイントラネット等のディジタルネットワークであればなんでもよい。なお、本実施形態ではネットワーク1-4を流れる映像はMotion JPEGをパケット化したものであり、カメラ制御コマンドおよびその応答もコマンドごとにパケット化したものである。
【００２８】
ネットワーク1-6は、変換サーバ装置1-4と配送サーバ装置1-7の間で映像およびカメラ制御コマンドおよび応答を通すのに十分な帯域があるインターネットやイントラネット等のディジタルネットワークであればなんでもよい。本実施形態ではネットワーク1-6を流れる映像はMPEG4映像をパケット化したものであり、カメラ制御コマンドおよび応答は、後述するように音声データをデジタル化してパケット化した双方向デジタル音声データである。
【００２９】
ネットワーク1-8は、本実施形態では配送サーバ装置1-7から携帯表示端末1-9に対して映像およびカメラ制御コマンドを通すのに十分な帯域がある携帯表示端末1-9側では無線になっている携帯電話網を想定しているが、論理的には、配送サーバ装置1-7と携帯端末1-9の間での通信に必要十分な帯域が確保できていれば物理的な構成にこだわるものではない。本実施形態ではネットワーク1-8を流れる映像はMPEG4映像をパケット化したものであり、カメラ制御コマンドおよび応答は、後述するようにネットワーク1-6，1-8上においては通話用の双方向音声チャネルの音として流れる。また、変換サーバ装置1-4と広告サーバ装置1-5の間は、広告情報を流すのに十分な帯域があるネットワークで接続されていれば何でもよい。
【００３０】
図６に、データの流れに着目した論理的な構成を示す。カメラサーバ装置6-1(1-1)にとって、表示操作端末6-2(1-2と同じ)は、カメラサーバ装置6-1にとってクライアントである。カメラサーバ装置6-1は、カメラ操作部6-21、表示部6-22からなる。図３の操作画面において、カメラ操作部6-21は3-2〜3-5に、表示部6-22は3-1に対応している。それぞれカメラサーバ装置6-1のカメラ制御通信手段、映像通信手段とデータをやり取りして、映像を3-1に表示し、3-2〜3-5を用いてカメラ制御を行うようになっている。なお、前述のように複数の表示操作端末6-2が1つのカメラサーバ装置6-1に同時に接続することができる。
【００３１】
変換サーバ装置6-3(1-4)は、映像の圧縮フォーマットを変換するストリーム変換と広告管理部6-51から取得した広告情報を映像に重畳することを実施する映像変換部6-32と、後述の制御権の管理と特定のデジタル音声データをカメラ制御コマンドに変換する制御権管理・音変換部6-31からなる。変換サーバ装置6-3を起動すると、配送サーバ装置6-4、広告サーバ装置6-5、カメラサーバ装置6-1にそれぞれアドレスを指定して接続する。それぞれの接続先のアドレスは、接続管理部6-33に保存されており、これを用いて接続する。なお、接続先の装置に関して、ネットワーク上に配送サーバ装置6-4、広告サーバ装置6-5、カメラサーバ装置6-1がそれぞれ複数ある場合もありうる。その場合には、各装置のなかから各1台ずつ指定すればよい。
【００３２】
配送サーバ装置6-4(1-7)は、音声配送部6-41と映像配送部6-42からなり、変換サーバ装置6-3とは1対1で接続するが、携帯表示端末6-6とは同時に複数台と接続し、データをやり取りする。音声配送部6-41は、携帯表示端末6-6〜8からのデジタル音声データを変換サーバ装置6-3の制御権管理・音変換部6-31に渡すとともに、制御権管理・音変換部6-31から返ってきたカメラサーバ装置6-1の応答(デジタル音声データ)を必要な携帯表示端末6-6に配送する。映像配送部6-42は、変換サーバ装置6-31から配送されてきたMPEG4映像ストリームを配送サーバ装置6-4に接続している複数の携帯表示端末6-6〜8に同時に配送する。
【００３３】
携帯表示端末6-6〜8(1-9)は、操作制御部6-61〜81と表示制御部6-62〜82からなり、操作制御部6-61〜81は図４のキーボタン4-1を押すことでキー押下音として発生するトーン信号(主力時はデジタル音声データになる)を、配送サーバ装置6-4に送るとともに、表示制御部6-62〜82は配送サーバ装置6-4から送られてきたMPEG4ストリームなどの映像や文字を表示部4-2に対して表示する制御を行う。
【００３４】
まず映像の流れに着目して図６の動作をもう少し詳しく説明する。カメラサーバ装置6-1は、カメラサーバ装置6-1に接続している全てのクライアント、すなわち表示操作端末6-2および変換サーバ装置6-3に対して撮像手段2-1で取り込んだMotion JPEG圧縮された映像を配送する。なお，表示操作端末6-2および変換サーバ装置6-3は図6では1つであるように記述されているが，当然それぞれ複数であってもかまわない．
【００３５】
図７に変換サーバ装置6-3の映像変換部6-32のフローを示す。映像変換部6-32では、受信したMotion JPEG圧縮画像を1フレームずつ一旦伸張し（S7003）、広告重畳が必要な場合には、映像に広告重畳処理し（S7005）、再度映像をMPEG4圧縮して（S7004）、配送サーバ装置6-4に送信する（S7007）。なおこの際に、広告重畳処理S7005では、広告サーバ装置6-5に、制御権管理・音変換部で保持しているPTZ値(パン角度、チルト角度、ズーム倍率)を渡し、広告データベース6-52から、このPTZ値に対応する必要な広告情報を取得し、この広告情報を用いて映像に重畳する。配送サーバ装置6-4では、受信したMPEG4映像ストリームを配送サーバ装置6-4に接続している複数の携帯表示端末(図６では6-6、6-7、6-8)に同時に配送する。なお、後述の図８から得られる広告情報が、時間帯やカメラのPTZ値によっては、何もない場合があるので、その場合は、広告は重畳しないことになる。つまり、Ｓ７００４で広告重畳OFFになる。
【００３６】
広告情報は、広告ファイルと重畳位置の組み合わせである。広告サーバ装置6-5内にデータベースを有しており、現在の時刻とカメラのPTZ値を与えて問い合わせると、広告ファイルと重畳位置が得られるようになっている。データベースでは、図８のような形式の表形式をエントリ番号の小さいほうから検索して、対応する時刻、PTZ範囲に当てはまる最初に見つかったエントリの広告ファイルと重畳位置情報を獲得する。*は範囲指定なし(常に当てはまること)を意味する。なお、得られる広告ファイルとしては、
・テロップ文字列
・静止画
・動画クリップ
等がある。
【００３７】
静止画、動画クリップについては、αプレーン情報を有しており、必要があれば、背景である映像が一部透けて見えるように重畳できるようになっている。動画の場合は、各フレームで時間的に同期させて重畳されることになる。なお、本実施形態では、広告情報としたが、広告情報にこだわるものではなく、途中で映像に付加したい情報ならなんでもかまわない。例えば、制御権待ち人数や制御権待ち時間、パン・チルト・ズーム値などの接続先カメラサーバ装置から得られるカメラサーバ装置の制御状態情報を重畳してもよい。なお、広告重畳処理S7005では、重畳位置情報を元に重畳位置(上下左右中央など)と広告情報表示サイズ(大・中・小)を決定している。
【００３８】
なお、配送サーバ装置6-4の携帯表示端末6-6〜6-8側のネットワークインタフェースとして電話番号を持っており、携帯表示端末6-6〜6-8がその電話番号に対して電話すると、接続が確立され、配送サーバ装置6-4から映像が流れてくるので、それを表示制御部6-62〜6-82で伸張表示するようになっている。複数の携帯表示端末6-6〜6-8から接続する場合でも、同じ電話番号で同時に接続できるようになっているものとする。配送サーバ装置6-4は複数の携帯表示端末6-6〜6-8に対して、映像および後述の双方向音声を流せるだけの能力を備えているものとする。なお、ここで、電話番号による接続でなくとも、NTT DoCoMo社のサービスであるi-mode(R)サービスのようなインターネット接続でのIPアドレスによる指定やWWWの接続先指定方法におけるURL(Uniform Resource Locator)指定であってもかまわない。
【００３９】
次に制御の流れに着目して図６の動作を詳しく説明する。図９にカメラ制御権取得から、カメラ制御コマンド発行の流れを示す。携帯表示端末6-6〜6-8、変換サーバ装置6-3、表示操作端末6-2いずれも、カメラ制御の際には、カメラサーバ装置に対して制御権取得の要求を発行し（S9002）、制御権を取得した後（S9003/yes）、制御権を失うまでカメラサーバ操作に対する制御コマンドの送信と、その応答の送受信を繰り返す（S9006、S9007）。このようにカメラ制御に係る部分の流れは、基本的には同じである。ただし、接続中の複数の携帯表示端末では、双方向音声データチャネル使えるようになっている点が異なる。
【００４０】
カメラ制御権要求及びカメラ制御コマンドは図５に示してある。図５には制御権要求、パン角度、チルト角度、ズーム変更などとその応答が示してある。ただし、携帯表示端末6-6の場合には、これらのコマンドを直接発行するわけではなく、図４の操作部4-2の各種キーボタンを用いて制御コマンドに対応する音声データを発行し、変換サーバ装置6-3で図５のようなカメラ制御コマンドに変換して、カメラ制御を行う。制御権要求でも全く同様である。
【００４１】
図１０に制御コマンドの流れを示す。携帯表示端末の操作部4-2の制御操作に対応する各種キーボタンを押すと、トーン信号音(制御コマンド音)が発生する。操作制御部6-61ではこれをGSM AMR等でエンコードしデジタル音声データに変換して、配送サーバ装置6-4の音声配送部6-41に渡す。音声配送部6-41では、変換サーバ装置6-3の制御権管理・音変換部6-31にそのまま音声データをスルーする。
【００４２】
制御権管理・音変換部6-31では、この音声データを取得し、これを対応するカメラ制御コマンドに変換し、カメラサーバ装置6-1に発行することでカメラ制御を行う。カメラ制御に対する応答はこれと逆の流れになる。図１１（ａ）にキーボタンとカメラ制御コマンドの対応表を示す。キーボタンの組み合わせ操作により、制御コマンド音とする。パン・チルト・ズーム値は数字キーを入れるようになっている。図１９は、カメラサーバ装置による制御コマンドに応じた応答動作の流れを示した図である。カメラサーバ装置は、対象の装置が制御権を有していると判断すると（S10102）、制御コマンドを受け付け（S10103）、応答情報を送信する(S10104)。一方で、制御権のない装置から制御コマンドを受け付けた場合には、NG応答を送信する(S10105)。
【００４３】
図１１（ｂ）にはカメラサーバ装置6-1からの応答と携帯表示端末6-6〜6-8で再生する応答音声の対応表を示す。応答が来ると、対応表にある言葉を読み上げた音声を生成する。なお、図１１（ｂ）中、θ、Φ、zは、パンチルト角度、ズーム倍率を示す数字である。
【００４４】
カメラ制御の例を挙げる。制御権が獲得できている状態で、キーボタンを4、2、0と3つ続けて押すと、変換サーバ装置6-4で左に20単位分パンするという図２１に示すようなカメラ制御コマンドを生成して、カメラサーバ装置6-1に渡す。(-20は現在位置から20単位左にパンするという意味である。+20なら20単位右にパンするという命令になる。)
【００４５】
なお、図５のカメラ制御コマンドおよび応答において、1、2番目の項目である送信元アドレス、送信先アドレスは、それぞれコマンド、応答の送信元装置、送信先装置のアドレスを示し、3番目の項目はコマンドないし応答の種類の識別文字列である。パン、チルト角度変更、ズーム倍率変更は、それぞれ変更角度を相対値で指定する。数値の＋はそれぞれ右パン、上チルト、ズーム拡大を示し、−はその逆である。また数値そのものは、最小制御量を1単位とするようになっている。カメラ制御応答には、制御した結果のパン、チルト角度、ズーム倍率が数値で返ってくる。
【００４６】
応答は、それぞれ制御コマンド音を発行した携帯表示端末にしか返らないが、カメラ制御応答だけは、接続中の全ての携帯表示端末に返すことでカメラのパン・チルト・ズームの状態を音声で通知するようになっている。配送サーバ装置6-4と変換サーバ装置6-3間でやりとりされる音声のデータ形式を図２２に示す。
【００４７】
実際の送信時には小パケットに分割してもよいが、上記のような形式のデータが双方向でやり取りされることになる。配送サーバ装置6-4から変換サーバ装置6-3に音声データを渡すときには、制御コマンド音に対応するデジタル音声データと制御コマンド音発行元の携帯表示端末識別子(電話番号)から構成され、逆に変換サーバ装置6-3から配送サーバ装置6-4に音声データを渡すときには、デジタル化された読み上げ音声と、音声を送信する先の携帯表示端末識別子(電話番号)から構成される。なお、カメラ制御応答のように、接続中の全ての携帯表示端末6-6〜6-8に音声データを返す場合には、携帯表示端末識別子(電話番号)として、図２３に示すように全て番号が0にする等、特定の携帯表示端末に渡す音声データではないことを一意的に示すようにする。
【００４８】
ここで、制御権の管理について説明する。カメラサーバ装置6-1の制御権管理フローを図２０に示す。基本的に制御権を待つ場合には待ち行列に並び、順番が回ってくると、待ち行列から取り出し(S12103)、制御権が獲得できるようになっている(S12104〜S12106)。制御時間持ちが終了してタイムアウトが発生して接続が切れると、S12201の制御権終了処理を行う。即ち、制御権要求の送信元Ａについて制御権を解除し（S12202）、タイムアウトの旨の応答情報を送信する。そして、その時点に他の制御待ちがあれば(S12204/yes)、その制御待ちに該当する装置に制御権を付与し、また制御待ちがなければカメラサーバ装置の制御状態をクリアする(S12206)。また、カメラサーバ装置との接続を絶つ場合には、図２４に示すように、カメラサーバ装置は送信元Ａによる制御が終了したことを確認した後（S12302/no）、待ち行列を削除する(S12303)。
【００４９】
また、図１２に示すように、カメラサーバ装置6-1は、制御権要求を受け付け、それらの制御権を保持した状態にあるとき（12002）、制御権の受け付けが待ち行列の最大長Nmaxを越えたか否かを判断する(S12003)。この判断において最大長Nmaxを超えると待つことはできなくなる(S12008)。なお、制御権には特権レベルがあり、他が制御していても特権レベルに応じて制御権の扱いが異なってくる。数値が大きいほど特権が大きくなるようになっている。表示操作端末6-2は通常特権レベル0でしか制御権を取得できない。また、特権レベル0では、同じアドレスの端末、装置からは待ち行列に並ぶことはできないが、特権レベルが1の場合には、同じアドレスで並べるようになっている。変換サーバ装置は特権レベル1で接続することで、制御待ち行列に複数並ぶことができるようになっている(S12004内の処理で重複応答S12010の場合)。
【００５０】
制御権管理・音変換部6-31における制御権要求時の流れの概略を図１３に示す。変換サーバ装置6-3は、携帯表示端末の識別子(電話番号)の待ち行列を持っており、携帯表示端末から制御権要求があると(S13001)、待ち行列に識別電話番号を登録する（S13003）。制御権OK応答がカメラサーバ装置6-1から返ってくると(S13006)、待ち行列の先頭から識別電話番号を取り出し(S13007)、対応する携帯表示端末に対応音声を返すようになっている(S13008)。
【００５１】
なお、変換サーバ装置、配送サーバ装置、広告サーバ装置で実現している機能については、それぞれの機能が実現できれば、物理的な装置構成にこだわるものではなく、例えば全て同じ装置上で実現されていてもかまわない。
【００５２】
本実施形態によれば、配送途中の経路に変換サーバ装置を用いることで、必要な端末にのみ広告情報のような付加情報を重畳した異なる映像を配信することができる。また、広告サーバ装置との連携により、この付加情報は、時刻、カメラ制御値（PTZ値)によって異なる情報切替えて重畳できる。また付加情報には、静止画だけでなく動画、テキストを使用することが可能である。
【００５３】
さらに、本実施形態では、携帯電話のようなキーボタンからの制御を直接受け付けられないカメラサーバ装置のような制御装置に対して、変換サーバ装置にてキーボタンの音データを制御コマンドに変換することにより、カメラ制御制御権獲得やカメラ制御操作をキーボタンで行うことが可能になった。また、カメラサーバ装置からの応答を音声に変換するので、音声で制御内容を確認することが可能である。カメラのパン・チルト・ズームの状態も音声で確認することが可能である。
【００５４】
＜第２の実施形態＞
第１の実施形態では、配送サーバ装置、変換サーバ装置で、接続先カメラが起動時に決まっていた。第２の実施形態は、外部から変換サーバ装置が接続するカメラサーバ装置を切替えるものである。携帯表示端末から切替える方法を説明する。
【００５５】
基本的に第１の実施形態と同じであるが、変換サーバ装置の動作が若干異なるため、第１の実施形態との違いのみ述べる。携帯表示端末から見た図１４にカメラ切替制御の流れを示す。配送サーバ装置に接続した携帯表示端末において、カメラ切替えコマンドを発行する。カメラ切替コマンドは、キーボタンの組み合わせで指定する。ここでは、"#"を押す(S14002)。すると、第１の実施形態の制御権要求やカメラ制御コマンド同様に、変換サーバ装置の制御権管理・音変換部6-31までデジタル音声が伝わる。
【００５６】
制御権管理・音変換部6-31で、これをカメラサーバ装置切替命令であると解釈すると、音声応答をし、パスワードを問い合わせる(S14003)。ここで携帯表示端末ではパスワードを入力し、パスワードが正しければ(S14004)、音声応答を返し(S14005)、切替カメラ番号を入力させる(S14006)。制御権管理・音変換部6-31は、図１５のようなカメラ番号-カメラ名(音声データ有り)-カメラアドレス対応表を有しており、この情報を用いて応答音声およびカメラサーバ装置アドレスを得る。
【００５７】
カメラ番号を入力すると(S14006)、制御権管理・音変換部6-31では、図１５を用いて対応するカメラサーバ装置アドレス(例えば100.20.30.102とする)に変換し、これまで接続していたカメラサーバ装置との接続を一旦終了し、新たに100.20.30.102のアドレスを持つカメラサーバ装置に接続する。これにより、携帯表示端末からカメラサーバ装置を切替えることが可能になる。
【００５８】
なお、変換サーバ装置に別な接続の口を用意しておき、接続カメラサーバ装置ドレスを変更して、異なるカメラサーバ装置に再接続することでも、カメラサーバ装置切替えは実現できる。
【００５９】
＜第３の実施形態＞
第３の実施形態は、第２の実施形態のようにカメラサーバ装置が切替えられる場合に、接続カメラサーバ装置によって広告を切替えるというものである。
【００６０】
変換サーバ装置の接続先カメラを外部から切替えられる点と広告サーバ装置の広告情報テーブルが異なる点を除いて、基本的には第１の実施形態と同じである。カメラ切替えの方法は第２の実施形態で説明したような方法で実現可能である。このとき、広告サーバ装置のデータベースとして、図８の代わりに図１６のような広告情報テーブルを有していれば、変換サーバ装置から広告データベース6-52に渡すデータとして、現在時刻とカメラのPTZ値に加えて、接続中のカメラサーバ装置ドレスを渡し、図１６の表中でカメラサーバ装置ドレスに最初に一致したエントリの広告情報つまり重畳位置と広告ファイルデータを変換サーバ装置に持ってくる。これにより、接続するカメラサーバ装置に応じて表示する広告情報を切替えることができる。
【００６１】
＜第４の実施形態＞
第４の実施形態は、第１の実施形態の構成において、携帯情報端末からカメラサーバ装置までの接続経路を考えたときに、配送サーバ装置と変換サーバ装置、広告サーバ装置の組み合わせを複数経路選択できるようにしたものである。
【００６２】
図１７に第４の実施形態の構成を示す。各装置、端末とも複数ネットワーク上に存在し、第１の実施形態と同様に相互に一意に識別できるようになっている。基本的な各装置の動作は第１の実施形態と同様であるので、ここではシステムとしての違いのみ述べる。
【００６３】
携帯表示端末17-9は、配送サーバ装置の電話番号に電話して接続し、映像表示およびカメラ制御を行うが、複数存在する配送サーバ装置17-7ごとに異なる接続電話番号が割り当てられている。従って、異なる配送サーバ装置17-7に接続すれば、異なる変換サーバ装置17-4、異なる広告サーバ装置17-5に接続することになる。例えば、図１７では、配送サーバ装置17-71に接続すると、17-41の変換サーバ装置と17-51の広告サーバ装置を用いることになり、配送サーバ装置17-72に接続すると、17-42の変換サーバ装置と17-52の広告サーバ装置を用いることになる。変換サーバ装置17-51と17-52が同じカメラサーバ装置に接続するようになっていれば、見える映像は同じであり、カメラ制御も同様である。
【００６４】
ただし、広告サーバ装置の有する図８の広告情報テーブルの内容が異なっていれば、同じカメラに接続しても、重畳する情報を異なるようにすることができる。
【００６５】
これにより、例えば掲載希望広告がカメラサーバ装置に対して多すぎる場合に、このような構成をとることで、同じカメラサーバ装置映像であっても、広告内容を切替えることが可能になる。
【００６６】
＜第５の実施形態＞
第５の実施形態は第１の実施形態において、情報を映像に重畳するのではなく、映像と切替えて表示するというものである。第１の実施形態との違いの述べる。
【００６７】
変換サーバ装置6-32において、図７におけるS7004、S7005を広告重畳とするのではなく、一時的にカメラ映像を中断して映像を広告データベースから検索した映像、画像、テキスト、或いはカメラサーバ装置から取得した制御状態情報などに切り替えるようにすればよい。こうした広告情報に切替えるタイミングとして、カメラ制御中は映像が流れて見にくい場合が多いので、制御情報によりカメラサーバ装置が制御されている期間中、広告情報に切替えるようにすればよい。そのため、図１８のようなフローを新たに追加する。つまりカメラサーバ装置から、PTZ制御を開始してPTZ動作が停止していない状態、すなわちカメラ動作中という状態を変換サーバ装置に戻してもらうようにする(S18002)。カメラ動作中状態は、Motion JPEG映像の各フレームヘッダー内に含めるようにする。そして、図１８のようなフローにて、このカメラ動作中状態を検知して(S18003)、カメラ動作中は広告を入れるようにすればよい(S18004)。
【００６８】
第５の実施形態では、カメラ動作中に広告情報に切替えて表示するようにしたが、それ以外でも
1)カメラ制御待ちの間、広告情報に切り替えて表示する。
2)変換サーバ装置がカメラサーバ装置に接続し、変換サーバ装置に映像データが来るでの間、広告情報に切り替えて表示する。
3)定期的に広告情報に切り替えて表示する。
等、映像に広告情報を挿入して表示するようにしてもよい。
【００６９】
なお以上全ての第１〜第５の実施形態において、表示情報は必ずしも広告情報でなくてもよく、データ容量が大きかったり、途中で入れたほうが良かったりする等の理由により、カメラサーバ装置に置くべきでない情報、あるいは置くことのできない情報であって、途中で重畳すべき情報であれば、どんな情報であっても構わない。
【００７０】
以上の実施形態によれば、配送途中の経路に変換サーバ装置を用いることで、必要な端末にのみ広告情報のような付加情報を重畳したり特定のタイミングで異なる付加情報を含めた映像を配信することができる。また、広告サーバ装置との連携により、この付加情報は、時刻、カメラ制御値（PTZ値）によって異なる情報切替えて重畳・切替表示できる。また付加情報には、静止画だけでなく動画、テキストなどを使用することが可能である。
【００７１】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００７２】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００７３】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることが出来る。
【００７４】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７５】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７６】
【発明の効果】
本発明によれば、撮影装置のコストアップを回避するとともに、必要な端末装置にのみ映像情報とともに広告等の情報を提供することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態における情報配信システムの物理的な構成を示した概要図である。
【図２】カメラサーバ装置の構成を示したブロック図である。
【図３】ユーザインタフェース画面の一例を示した図である。
【図４】携帯表示端末の一例を示した図である。
【図５】カメラ制御権要求及びカメラ制御コマンドを示したデータフォーマットを示した図である。
【図６】データの流れに着目した情報配信システムの論理的な構成を示した図である。
【図７】変換サーバ装置の映像変換部の動作を示したフローチャートである。
【図８】広告サーバ装置のデータベース構成を示した図である。
【図９】カメラ制御権取得からカメラ制御コマンド発行の流れを示した図である。
【図１０】制御コマンド発行から応答音受信までの流れを示した図である。
【図１１】キーボタンとカメラ制御コマンド、カメラサーバ装置からの応答と携帯表示端末で再生する応答音声の対応表を示した図である。
【図１２】カメラサーバ装置の動作を示したフローチャートである。
【図１３】制御権管理・音変換部における制御権要求時の流れの概略を示した図である。
【図１４】カメラ切り替え制御の流れを示した図である。
【図１５】カメラ番号−カメラ名−カメラアドレス対応表を示した図である。
【図１６】広告情報テーブルの構成を示した図である。
【図１７】本発明の他の実施形態における情報配信システムの構成を示した図である。
【図１８】本発明の他の実施形態における変換サーバ装置の動作を示したフローチャートである。
【図１９】カメラサーバ装置による制御コマンドに応じた応答動作の流れを示した図である。
【図２０】カメラサーバ装置の制御権管理フローを示した図である。
【図２１】カメラ制御コマンドのデータフォーマットを示した図である。
【図２２】配送サーバ装置と変換サーバ装置間でやりとりされる音声データのフォーマットを示した図である。
【図２３】配送サーバ装置と変換サーバ装置間でやりとりされる音声データのフォーマットを示した図である。
【図２４】カメラサーバ装置による接続の切断動作を示したフローチャートである。
【符号の説明】
１−１  カメラサーバ装置
１−２  表示操作端末
１−３  ネットワーク１
１−４  変換サーバ装置
１−５  広告サーバ装置
１−６  ネットワーク２
１−７  配送サーバ装置
１−８  ネットワーク３
１−９  携帯表示端末
【図１】
0004058285.tif 000002
【図２】
0004058285.tif 000003
【図３】
0004058285.tif 000004
【図４】
0004058285.tif 000005
【図５】
0004058285.tif 000006
【図６】
0004058285.tif 000007
【図７】
0004058285.tif 000008
【図８】
0004058285.tif 000009
【図９】
0004058285.tif 000010
【図１０】
0004058285.tif 000011
【図１１】
0004058285.tif 000012
【図１２】
0004058285.tif 000013
【図１３】
0004058285.tif 000014
【図１４】
0004058285.tif 000015
【図１５】
0004058285.tif 000016
【図１６】
0004058285.tif 000017
【図１７】
0004058285.tif 000018
【図１８】
0004058285.tif 000019
【図１９】
0004058285.tif 000020
【図２０】
0004058285.tif 000021
【図２１】
0004058285.tif 000022
【図２２】
0004058285.tif 000023
【図２３】
0004058285.tif 000024
【図２４】
0004058285.tif 000025