(57)【要約】【課題】ネットワークの状態の動的な変化に対応してカメラサーバの設定パラメータの値を動的に変更する。【解決手段】カメラサーバ／クライアントシステムにおいて、カメラサーバ１２０がエンコード部１２２において圧縮処理を行う際の設定パラメータの値の設定／変更を行う設定変更部１２４を備え、クライアント１４０が前記カメラサーバ１２０から配信される動画像圧縮データのフレーム落ちやネットワーク１３０のトラフィックの変化による異常を監視するＱｏＳ検出部１４２を備える。【選択図】    図１
2004172723.tif 000002
【特許請求の範囲】
【請求項１】
動画像を撮像できるカメラ等の撮像装置１１０と、動画像データの入力処理を行う入力部１２１、前記動画像データに対して任意の手法で圧縮処理を行い動画像圧縮データを生成するエンコード部１２２、前記動画像圧縮データの配信を行う配信部１２３を備えるカメラサーバ１２０と、前記動画像圧縮データを伸長してグラフィックインターフェースに表示する画像表示アプリケーション部１４１を備えるクライアント１４０と、前記カメラサーバ１２０と前記クライアント１４０を接続するネットワーク１３０からなるカメラサーバ／クライアントシステムにおいて、
前記カメラサーバ１２０が前記エンコード部１２２において圧縮処理を行う際の設定パラメータの値の設定／変更を行う設定変更部１２４を備え、前記クライアント１４０が前記カメラサーバ１２０から配信される前記動画像圧縮データのフレーム落ちや前記ネットワーク１３０のトラフィックの変化による異常を監視するＱｏＳ検出部１４２を備えることを特徴とするカメラサーバ／クライアントシステム。
【請求項２】
前記クライアント１４０内の前記ＱｏＳ検出部１４２が、前記動画像圧縮データの受信を通知する受信部３０１と、前記動画像圧縮データの受信時に動作させることで受信時間の間隔を測定するＩ／Ｏタイマ３０３と、前記Ｉ／Ｏタイマ３０３の測定値と配信されている前記動画像圧縮データのフレームレートから算出される前記動画像圧縮データを受信すべき時間間隔を比較して、前記動画像圧縮データのフレーム落ちを検出するとともに前記Ｉ／Ｏタイマ３０３を制御するＩ／Ｏタイマ制御部３０２と、前記ネットワーク１３０のトラフィックの変化を監視する帯域監視部３０４と、前記カメラサーバ１２０に対して前記設定パラメータの変更要求通知を発行する通知管理部３０５を備えることを特徴とした請求項１記載のカメラサーバ／クライアントシステム。
【請求項３】
前記帯域監視部３０４において、前記受信部３０１で前記動画像圧縮データを複数回受信する間隔で前記帯域監視部３０４が前記カメラサーバ１２０までの通信時間を測定し、前記通信時間が前回の測定値から明らかに変化した場合に、前記ネットワーク１３０上のトラフィックが変化したことを検出し、前記通知管理部３０５で前記カメラサーバ１２０に対して通知を行うことを特徴とした請求項２記載のカメラサーバ／クライアントシステム。
【請求項４】
前記カメラサーバ１２０内の前記設定変更部１２４が、前記エンコード部１２２での圧縮処理を行う際に使用する前記設定パラメータの値の設定／変更を行うパラメータ設定部２０４と、前記設定パラメータの変更を判断して変更値を決定する設定変更判断部２０５と、前記変更要求通知を受信した際の処理を行う通知処理部２０６を備えることを特徴とした請求項１乃至３のいずれか１項に記載のカメラサーバ／クライアントシステム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カメラサーバに入力される動画像データをネットワークを経由して接続されたクライアントに対して配信するカメラサーバ／クライアントシステムに関する。
【０００２】
【従来の技術】
従来のカメラサーバ／クライアントシステムにおいては、遠隔地とのコミュニケーションや遠隔監視などを目的として、図６に示すように、カメラ等の撮像装置６１０を使用して撮像された動画像データをカメラサーバ６２０内の入力部６２１で取り込み、エンコード部６２２で任意の手法を用いた圧縮処理を行って動画像圧縮データを生成し、配信部６２３でネットワーク６３０を経由して配信し、クライアント６４０は受信した動画像圧縮データを画像表示アプリケーション部６４１で伸長して表示するようなカメラサーバ／クライアントシステムであった。
その中で特開平１１−２０５７８６公報では、動画データの格納形式、動画データ転送システム、動画表示方法及び記憶媒体が記載されている。以下、簡単に図面を用いて説明する。
【０００３】
図７において、サーバ７００はネットワーク９００を介してクライアント（図７では１つのみ）８００に接続されている。サーバ７００は記憶装置７１０と送信装置７２０とを有している。クライアント８００は、受信装置８３０と画像処理装置８１０、ディスプレイ８２０を有している。画像処理装置８１０は、一時保存用バッファ８１２と、フレームバッファ８１４とを含み、動画はディスプレイ８２０の表示領域８２２に表示される。
また、記憶装置７１０における動画データの格納状態を図８に示す。図８において動画の１フレームに対応する画像（以下、「フレーム画像」と言う）が、解像度を異ならせて複数（ここでは解像度の高い順に［４］、［３］、［２］、［１］の４レベル分）用意されている。各フレームにおいて、４段階分のフレーム画像は全体でいわゆるピラミッドを構成している（１フレームについて４つのフレーム画像はそれぞれピラミッドの構成要素となっている）。各フレームに対応する多数のピラミッドが、１つの動画ファイルＭＦを構成する。ピラミッドは、ｎをフレームナンバとしてＰ（ｎ）（ｎ＝０、１、・・、ｎ０−１、ｎ０、ｎ０＋１、・・）で表され、各ピラミッドＰ（ｎ）を構成する４つのフレーム画像はＦＩ４（ｎ）、ＦＩ３（ｎ）、ＦＩ２（ｎ）、ＦＩ１（ｎ）で表される。図８には、ｎ＝  ｎ０−１、ｎ０、ｎ０＋１である時の３つのピラミッドを示している。
【０００４】
以上の構成において、クライアント８００は、解像度、表示範囲、フレームレートの少なくとも１つを指定し、サーバ７００は、記憶装置７１０に格納されている動画の１フレームに対応する画像を送信装置７２０によってネットワーク９００を介してクライアント８００の受信装置８３０に出力する。クライアント８００では受信した画像を一時保管用バッファ８１２に保管し、動画の場合には画像をフレームバッファ８１４にコピーして、ディスプレイ８２０に表示する。
動画再生の際にズーミング、パン（表示領域変更）またはフレームレートの変更を行う場合、ユーザの要求に従ってクライアント８００からサーバ７００に要求が渡されると、サーバ７００では要求のあった所定解像度の画像のうち、要求を満たすものをクライアント８００に対して送信する。クライアント８００では一時保管用バッファ８１２に画像を格納して、フレームバッファ８１４にコピーすることで動画を表示する。
上記のような動画データ配信システムにおいて、クライアント側の機器環境に応じて解像度やフレームレートを適切に選択でき、また余分な画像データの転送を行う必要がなくなるので、効率のよいズーミング、パン、またはフレームレートの変更を行うことができるようになっている（例えば、特許文献１参照）。
【０００５】
【特許文献１】
特開平１１−２０５７８６号公報（第１０頁、第１図、第２図）
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来のカメラサーバ／クライアントシステムにおいては、サービスの開始後にカメラサーバとクライアントを接続するネットワークの状態が変化して、カメラサーバの設定パラメータの値を変更する場合には、カメラサーバの管理者またはクライアントの利用者が適当な操作を行うことで、静的に変更する必要があった。
また適切な品質のサービスをクライアントに提供するためには、サービス開始時に設定パラメータの値を適当なものに調整する必要があり、さらに新たにクライアントが接続した場合には、その時点での設定パラメータの値で適切な品質のサービス（ＱｏＳ：Ｑｕａｌｉｔｙ  ｏｆ  Ｓｅｒｖｉｃｅ、以下、「ＱｏＳ」と言う）を提供することを保証することはできなかった。
【０００７】
本発明は上記問題点を解決するためになされたものであり、その目的とするところは、ネットワークの状態の動的な変化に対応してカメラサーバの設定パラメータの値を動的に変更することができるカメラサーバ／クライアントシステムを提供することにある。
【０００８】
【課題を解決するための手段】
請求項１記載のカメラサーバ／クライアントシステムは、動画像を撮像できるカメラ等の撮像装置１１０と、動画像データの入力処理を行う入力部１２１、動画像データに対して任意の手法で圧縮処理を行い動画像圧縮データを生成するエンコード部１２２、動画像圧縮データの配信を行う配信部１２３を備えるカメラサーバ１２０と、動画像圧縮データを伸長してグラフィックインターフェースに表示する画像表示アプリケーション部１４１を備えるクライアント１４０と、カメラサーバ１２０とクライアント１４０を接続するネットワーク１３０からなるカメラサーバ／クライアントシステムにおいて、カメラサーバ１２０がエンコード部１２２において圧縮処理を行う際の設定パラメータの値の設定／変更を行う設定変更部１２４を備え、クライアント１４０がカメラサーバ１２０から配信される動画像圧縮データのフレーム落ちやネットワーク１３０のトラフィックの変化による異常を監視するＱｏＳ検出部１４２を備えるものである。請求項１記載のカメラサーバ／クライアントシステムによれば、カメラサーバ１２０の設定を動的に変更可能とし、動画像圧縮データの配信におけるＱｏＳを確保することができる。
【０００９】
請求項２記載のカメラサーバ／クライアントシステムは、クライアント１４０内のＱｏＳ検出部１４２が、動画像圧縮データの受信を通知する受信部３０１と、動画像圧縮データの受信時に動作させることで受信時間の間隔を測定するＩ／Ｏタイマ３０３と、Ｉ／Ｏタイマ３０３の測定値と配信されている動画像圧縮データのフレームレートから算出される動画像圧縮データを受信すべき時間間隔を比較して、動画像圧縮データのフレーム落ちを検出するとともにＩ／Ｏタイマ３０３を制御するＩ／Ｏタイマ制御部３０２と、ネットワーク１３０のトラフィックの変化を監視する帯域監視部３０４と、カメラサーバ１２０に対して設定パラメータの変更要求通知を発行する通知管理部３０５を備えるものである。請求項２記載のカメラサーバ／クライアントシステムによれば、カメラサーバ１２０の設定を動的に変更可能とし、動画像圧縮データの配信におけるＱｏＳを確保することができる。
【００１０】
請求項３記載のカメラサーバ／クライアントシステムは、帯域監視部３０４において、受信部３０１で動画像圧縮データを複数回受信する間隔で帯域監視部３０４がカメラサーバ１２０までの通信時間を測定し、通信時間が前回の測定値から明らかに変化した場合に、ネットワーク１３０上のトラフィックが変化したことを検出し、通知管理部３０５でカメラサーバ１２０に対して通知を行うものである。請求項３記載のカメラサーバ／クライアントシステムによれば、カメラサーバ１２０の設定を動的に変更可能とし、動画像圧縮データの配信におけるＱｏＳを確保することができる。
【００１１】
請求項４記載のカメラサーバ／クライアントシステムは、カメラサーバ１２０内の設定変更部１２４が、エンコード部１２２での圧縮処理を行う際に使用する設定パラメータの値の設定／変更を行うパラメータ設定部２０４と、設定パラメータの変更を判断して変更値を決定する設定変更判断部２０５と、変更要求通知を受信した際の処理を行う通知処理部２０６を備えるものである。請求項４記載のカメラサーバ／クライアントシステムによれば、カメラサーバ１２０の設定を動的に変更可能とし、動画像圧縮データの配信におけるＱｏＳを確保することができる。
【００１２】
【発明の実施の形態】
本発明の実施の形態のカメラサーバ／クライアントシステムについて、図１および図２および図３に基づいて説明する。すなわち図１はカメラサーバ／クライアントシステムの構成図で、カメラ等の動画像を撮像できる撮像装置１１０により撮像された動画像データを用いて、入力部１２１により動画像データの入力処理が行われて、エンコード部１２２により動画像データに対して任意の手法で圧縮処理が行われる際の設定パラメータの値の設定／変更を、設定変更部１２４により行うことで生成された動画像圧縮データを用いて、配信部１２３によりネットワーク１３０を経由して配信を行う。クライアント１４０においては、ＱｏＳ検出部１４２により動画像圧縮データのＱｏＳを監視し、画像表示アプリケーション部１４１により動画像圧縮データを伸長してグラフィックインターフェースに表示する。
【００１３】
図２はカメラサーバの構成図で、入力部１２１により動画像データの入力処理を行った動画像データを用いて、エンコード部１２２により動画像データをパラメータ設定部２０４に保存されている値を用いて任意の圧縮方法で圧縮処理を行い、生成した動画像圧縮データを用いて、配信部１２３によりサービスを受けるためにカメラサーバに接続しているクライアントに対して動画像圧縮データを配信する。また、通知処理部２０６により設定変更判断部２０５へ渡すクライアントからの変更要求を用いて、設定変更判断部２０５により変更要求を受けた設定パラメータを変更するかどうかを判断し、変更する場合にはその変更値を用いて、パラメータ設定部２０４により指定パラメータの設定値を変更する。
【００１４】
図３はＱｏＳ検出部の構成図で、受信部３０１によりカメラサーバから受信した動画像圧縮データを画像表示アプリケーション部に渡し、動画像圧縮データを受信したことを通知する受信通知を用いて、帯域監視部３０４により定期的にカメラサーバまでの通信時間をＩＣＭＰ（Ｉｎｔｅｒｎｅｔ  Ｃｏｎｔｒｏｌ  Ｍｅｓｓａｇｅ  Ｐｒｏｔｏｃｏｌ）のｔｉｍｅ  ｓｔａｍｐ／ｔｉｍｅ  ｓｔａｍｐ  ｒｅｐｌｙメッセージを使って測定し、前回よりも通信時間が明らかに増大／減少している場合に変更要求を通知管理部３０５へ渡し、通知管理部３０５は変更要求を受け取るとカメラサーバ１２０に変更要求通知を出力する。またＩ／Ｏタイマ制御部３０２は受信通知を受け取るとその時点でのフレームレートから次の動画像圧縮データを受信するべき時間を算出してＩ／Ｏタイマ３０３にセットし、連続してＩ／Ｏタイマ３０３のタイムアウトが発生するようであればフレーム落ちが発生しているとみなして変更要求を通史管理部３０５へ渡し、通知管理部３０５は変更要求を受け取るとカメラサーバ１２０に変更要求通知を出力する。
【００１５】
この実施の形態のカメラサーバ設定変更方法を、図４および図５に基づいて説明する。すなわち図４はクライアントがカメラサーバに対して接続要求を出した場合のカメラサーバの処理フロー例で、クライアントから接続要求があると（Ｓ１）、撮像装置から動画像データを入力部に入力（Ｓ２）し、圧縮処理を行うための設定パラメータの値をパラメータ設定部から獲得（Ｓ３）する。その後、エンコード部において動画像データを圧縮（Ｓ４）し、配信部で動画像圧縮データを配信（Ｓ５）する。通知処理部がクライアントからの変更要求通知を受けていれば（Ｓ６）、設定変更判断部で変更すべき設定パラメータとその変更値を決定（Ｓ７）し、変更する設定パラメータと変更値をパラメータ設定部と通知処理部に伝え（Ｓ８）、通知処理部はカメラサーバに接続しているクライアントに対して変更完了通知を送信（Ｓ９）する。
【００１６】
図５はクライアントがカメラサーバに対して接続要求を出した場合のクライアントの処理フローの例で、クライアントがカメラサーバに出した接続要求が受け付けられる（Ｓ１０）と、クライアントはカメラサーバから動画像圧縮データを受信（Ｓ１１）し、動画像圧縮データを伸長（Ｓ１２）して、動画像データを表示（Ｓ１３）する。この時ＱｏＳ検出部において、カメラサーバとクライアント間のネットワークトラフィックが増大／減少している（Ｓ１４）、またはＩ／Ｏタイマがタイムアウトになってフレーム落ちが発生している（Ｓ１５）と判断されると、カメラサーバに対して変更要求通知が送信（Ｓ１６）される。また、カメラサーバからの変更完了通知を受信（Ｓ１７）し、フレームレートの変更が行われている（Ｓ１８）場合は、Ｉ／Ｏタイマの設定を変更（Ｓ１９）する。
【００１７】
この実施の形態によれば、クライアントにおいてカメラサーバとクライアントを接続しているネットワークトラフィックの変化を検出し、また受信する動画像圧縮データのフレーム落ちを検出し、カメラサーバに通知してカメラサーバが各パラメータの値を変更することで、サービスを開始した後の動的なネットワーク環境の変化に対応してカメラサーバの設定を動的に変更可能とすることができる。
【００１８】
【発明の効果】
請求項１記載のカメラサーバ／クライアントシステムによれば、クライアントが受信する動画像圧縮データのフレーム落ちを検出、またはクライアントとカメラサーバを接続するネットワークのトラフィック量の変化を検出してカメラサーバに通知し、カメラサーバの設定を変更することによりカメラサーバの設定を動的に変更可能となり、カメラサーバが配信する動画像圧縮データの全フレームをクライアントが適切に受け取ることができることによりＱｏＳを確保でき、動画像圧縮データ配信時のネットワーク環境に最適な配信を行うことができる。
請求項２記載のカメラサーバ／クライアントシステムによれば、請求項１記載のクライアントが受信する動画像圧縮データのフレーム落ちの検出方法にＩ／Ｏタイマを使用して、動画像圧縮データの受信時間の間隔を測定することでフレーム落ちを検出することにより、カメラサーバの設定を動的に変更可能となり、カメラサーバが配信する動画像圧縮データの全フレームをクライアントが適切に受け取ることができることによりＱｏＳを確保でき、動画像圧縮データ配信時のネットワーク環境に最適な配信を行うことができる。
請求項３記載のカメラサーバ／クライアントシステムによれば、請求項１記載のクライアントからカメラサーバへの通信時間を定期的に測定し比較することで、ネットワークトラフィックの変化を検出することにより、カメラサーバの設定を動的に変更可能となり、カメラサーバが配信する動画像圧縮データの全フレームをクライアントが適切に受け取ることができることによりＱｏＳを確保でき、動画像圧縮データ配信時のネットワーク環境に最適な配信を行うことができる。
請求項４記載のカメラサーバ／クライアントシステムによれば、請求項１記載のカメラサーバ内の設定変更部において、通知処理部でクライアントからの変更要求通知を受け取り、設定変更判断部で変更する設定パラメータとその変更値を決定し、パラメータ設定部で設定パラメータを変更することでカメラサーバの設定を動的に変更可能となり、カメラサーバが配信する動画像圧縮データの全フレームをクライアントが適切に受け取ることができることによりＱｏＳを確保でき、動画像圧縮データ配信時のネットワーク環境に最適な配信を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態のカメラサーバ／クライアントシステムの構成を示すブロック図である。
【図２】本発明の実施の形態のカメラサーバの構成を示すブロック図である。
【図３】本発明の実施の形態のクライアント内のＱｏＳ検出部の構成を示すブロック図である。
【図４】本発明の実施の形態のカメラサーバの処理フローの例を示すフローチャートである
【図５】本発明の実施の形態のクライアントの処理フローの例を示すフローチャートである。
【図６】従来のカメラサーバ／クライアントシステムの構成を示すブロック図である。
【図７】従来の動画データ転送システムの構成を示すブロック図である。
【図８】従来の動画データの格納形式の構成を示すブロック図である。
【符号の説明】
１１０  撮像装置
１２０  カメラサーバ
１２１  入力部
１２２  エンコード部
１２３  配信部
１２４  設定変更部
１３０  ネットワーク
１４０  クライアント
１４１  画像表示アプリケーション部
１４２  ＱｏＳ検出部
２０４  パラメータ設定部
２０５  設定変更判断部
２０６  通知処理部
３０１  受信部
３０２  Ｉ／Ｏタイマ制御部
３０３  Ｉ／Ｏタイマ
３０４  帯域監視部
３０５  通知管理部
【図１】
2004172723.tif 000003
【図２】
2004172723.tif 000004
【図３】
2004172723.tif 000005
【図４】
2004172723.tif 000006
【図５】
2004172723.tif 000007
【図６】
2004172723.tif 000008
【図７】
2004172723.tif 000009
【図８】
2004172723.tif 000010