(57)【特許請求の範囲】
【請求項１】
ビデオサーバとクライアントとを通信ネットワークを介して接続した構成のビデオサーバシステムであって、
上記ビデオサーバは、
撮像部と、画像データを蓄積するフレームメモリと、このフレームメモリに蓄積された画像データに対し、所定の画像処理を行う画像処理部と、この画像処理部による処理データを判定する判定通知部とを備えており、
上記クライアントからの要求に対して画像データを送信するとともに、上記クライアントから設定された画像処理条件に基づいて、上記画像処理部が画像処理を行い、上記判定通知部が処理データを判定して、その判定結果をクライアントに通知することを特徴とするビデオサーバシステム。
【請求項２】
ビデオサーバとクライアントとを通信ネットワークを介して接続した構成のビデオサーバシステムであって、
上記ビデオサーバは、
撮像部と、この撮像部を制御する設定処理部と、画像データを蓄積するフレームメモリと、このフレームメモリに蓄積された画像データから注目対象の特徴を抽出し、所定の画像処理を行う特徴抽出処理部と、この特徴抽出処理部による処理データを判定する判定通知部とを備えており、
上記クライアントから設定された画像処理条件及び注目対象条件に基づいて、上記特徴抽出処理部が注目対象の画像処理を行い、画像データをクライアントに送信するとともに、上記判定通知部が上記設定処理部により上記撮像部を制御させて、上記注目対象を追跡させることを特徴とするビデオサーバシステム。
【請求項３】
上記ビデオサーバは、
優先順位に応じたサービス品質での通信を行うサービス品質制御部を、更に備えており、
上記判定通知部は、設定条件に従って優先処理を行い、上記サービス品質制御部は、上記判定通知部が判断した優先順位に応じたサービス品質で通信することを特徴とする請求項１または請求項２に記載のビデオサーバシステム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ビデオサーバとクライアントとを通信ネットワークを介して接続して、画像情報によるコミュニケーション及び監視を行うようにしたビデオサーバシステムに関する。
【０００２】
【従来の技術】
カメラと受信機を、電話網、インターネット、ＬＡＮなどを介して遠隔接続し、カメラ側で、画像の変化を検知したり、センサなどが発報すると、連動して画像情報を受信機側に伝送し、受信機側に人が居る場合には、コミュニケーションをとることができるシステムがある。
【０００３】
カメラには、射影などの演算機能、画像圧縮機能、トリガタイミング前後の画像蓄積機能、ＨＴＴＰ機能（Ｗｅｂ機能）などのＬＡＮ接続機能、自己診断機能などが内蔵されている。また、カメラには、ＧＰＳ経由で位置情報を得るものや、腕時計型としてデータ通信機能を備えたものが、製品化されている。
【０００４】
一方、近時では、デジタル伝送方式の広帯域化により、インターネットプロトコル（ＩＰ）上のデータと、電話音声、映像などを多重化したり、ＩＰ上でデータ、音声，映像などをミックスして双方向に伝送できるので、ＴＶ電話や携帯電話などを用いた電子商取引、マルチメディアコミュニティなどのマルチメディアコンテンツの利用が重要になっている。
【０００５】
また、家電機器を含む各種ネットワーク接続機器が、ネットワークに接続され、オープン化されると同時に、各種ネットワーク接続機器を含めたネットワーク上の情報が、インテリジェント化して、ネットワークセキュリティとともに、これらのインテリジェントなマルチメディアコンテンツ情報を検索、抽出、加工するデータマイニングなどのミドルウェア、ユーザエージェントなどの各種の知的なフィルタリング機能の重要性が高まっている。
【０００６】
【発明が解決しようとする課題】
ところが、従来は、様々なネットワークにおいて、画像情報が有効に活用されておらず、特に、防犯、防災、ヘルスケア、ナースコールなどにおいて、異常検知を早期に知らせるとともに、画像を確認し、コミュニケーションをとるようなシステムはなかった。
【０００７】
本発明は、このような事情を考慮してなされたものであり、インターネットマンション、ホテル、オフィスビル、工場などの様々なネットワークにおいて、画像情報を多目的に活用できるオープンなビジネスプラットホームを提供することを目的としている。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明のビデオサーバシステムは、ビデオサーバとクライアントとを通信ネットワークを介して接続して構成される。請求項１では、ビデオサーバは、撮像部と、画像データを蓄積するフレームメモリと、このフレームメモリに蓄積された画像データに対し、所定の画像処理を行う画像処理部と、この画像処理部による処理データを判定する判定通知部とを備えている。
【０００９】
ビデオサーバは、クライアントからの要求に対して画像データを送信するとともに、クライアントから設定された画像処理条件に基づいて、画像処理部が画像処理を行い、判定通知部が処理データを判定して、その判定結果をクライアントに通知する。
【００１０】
請求項２では、ビデオサーバは、撮像部と、この撮像部を制御する設定処理部と、画像データを蓄積するフレームメモリと、このフレームメモリに蓄積された画像データから注目対象の特徴を抽出し、所定の画像処理を行う特徴抽出処理部と、この特徴抽出処理部による処理データを判定する判定通知部とを備えている。
【００１１】
ビデオサーバは、クライアントから設定された画像処理条件及び注目対象条件に基づいて、特徴抽出処理部が注目対象の画像処理を行い、画像データをクライアントに送信するとともに、判定通知部が設定処理部により撮像部を制御させて、注目対象を追跡させる。
【００１２】
請求項３では、請求項１または請求項２において、ビデオサーバは、優先順位に応じたサービス品質での通信を行うサービス品質制御部を、更に備えており、判定通知部は、設定条件に従って優先処理を行い、サービス品質制御部は、判定通知部が判断した優先順位に応じたサービス品質で通信する。
【００１３】
【発明の実施の形態】
以下に、本発明の実施の形態について、図面とともに説明する。図１は、ビデオサーバシステムの構成の一例を示したブロック図である。ビデオサーバシステムは、１又は複数のビデオサーバ１と、１又は複数のクライアントＣとを、インターネット等の通信ネットワークＮを介して接続して構成される。
【００１４】
ビデオサーバ１は、撮像部２と、画像データを蓄積するフレームメモリ１１と、このフレームメモリ１１に蓄積された画像データに対し、所定の画像処理を行う画像処理部１２と、この画像処理部１２による処理データを判定する判定通知部１０とを備えている。
【００１５】
ビデオサーバ１は、クライアントＣからの要求に対して画像データを送信するとともに、クライアントＣから設定された画像処理条件に基づいて、画像処理部１２が画像処理を行い、判定通知部１０が画像処理部１２に画像処理がされた処理データを判定して、その判定結果をクライアントＣに通知する。
【００１６】
以下に詳しく説明すると、ビデオサーバ１は、図示するように、ＣＣＤカメラなどで構成される撮像部２を接続しており、判定通知部１０と、フレームメモリ１１と、画像処理部１２と、画像情報圧縮符号化部１３と、サーバ処理部１４と、メッセージ処理部１５と、通信処理部１６と、インターネット等の通信ネットワークＮを接続するネットワークインタフェース１７とを備えている。また、ビデオサーバ１には、撮像部２の姿勢制御を行うカメラ姿勢制御部３を接続している。
【００１７】
画像データは、遠隔のクライアントＣから、Ｗｅｂブラウザを用いて、通信ネットワークＮを介して閲覧可能になっており、遠隔のクライアントＣから設定される条件で画像処理を行って、その結果をクライアントＣに提供できるようになっている。
【００１８】
クライアントＣからは、Ｗｅｂブラウザなどを用いた対話処理によって、画像処理の条件情報が入力される。すると、この条件情報は、通信ネットワークＮを経由し、ビデオサーバ１に対して送信され、ビデオサーバ１では、画像処理の条件情報は、ネットワークインタフェース１７、通信処理部１６、サーバ処理部１４を経由して、判定通知部１０に入力される。
【００１９】
また、クライアントＣでは、Ｗｅｂブラウザなどを用いた対話処理によって、サーバ処理部１４から送られてくる、ＸＭＬやＨＴＭＬなどのドキュメントを見ながら、カメラ制御命令を行うことが出来る。カメラ制御命令は、サーバ処理部１４からカメラ姿勢制御部３に送られ、カメラ姿勢制御部３の制御結果であるカメラ制御データが判定通知部１０に送られる。
【００２０】
なお、本発明では、設定条件、データ、命令などのフォーマットや通信規約は限定されるものではなく、市販のマイクロプロセッサ、デジタル信号プロセッサ、ＡＳＩＣなどの汎用ロジックなどのメッセージングを応用する。
【００２１】
撮像部２は、ＣＣＤカメラなどの光学系及び受光素子で構成される。なお、撮像部２は、ビデオサーバ１に含めて、カメラサーバを構成するようにしてもよい。また、撮像部２の代わりに、カメラ以外のビデオ情報源、超音波や熱など、可視化可能な情報源を設ける構成であってもよい。
【００２２】
判定通知部１０は、画像処理部１２に処理命令を行うことによって、撮像部２からフレームメモリ１１に取り込まれた画像データを、自動的且つ連続的に処理して処理画像データを出力させる。
【００２３】
画像処理部１２は、クライアントＣからの設定条件に応じて、判定通知部１０から処理命令を受け、フレームメモリ１１に蓄積された画像データを、対象物や目的とする環境変化などの画像情報の特徴を抽出するためのフィルタリング（微分、エッジ検出、線画作成など）、射影計算、動き検出、色変化検出、輝度変化検出、変化領域の切り出しなどの画像処理演算機能を組み合わせて行い、処理データとして判定通知部１０に送る。
【００２４】
判定通知部１０は、クライアントＣからの設定条件や、予め設定された条件によって、画像処理部１２の処理データの特徴パラメータなどを判定し、判定結果をサーバ処理部１４に通知する。サーバ処理部１４は、判定結果が設定条件を満たす場合には、メッセージ処理部１５で通知メッセージを編集させ、この通知メッセージを、通信処理部１６から、ネットワークインタフェース１７を介して、ＨＴＴＰ、ＩＰ、ＩＰＳＥＣなどの通信プロトコル、ＭＩＭＥ、ＳＮＭＰなどの標準フォーマットによって、クライアントＣに送信する。
【００２５】
画像情報圧縮符号化部１３は、フレームメモリ１１に蓄積された画像データを、一般的にＷｅｂ上で表示されるＪＰＥＧ、ＭＰＥＧ、ＧＩＦなどの標準規格のフォーマットの画像データ符号パケットに符号化し、ネットワークの帯域幅に応じて、圧縮率や解像度などを選択する。ネットワークインタフェース１７は、無線又は有線の情報通信ネットワークＮとの物理的な接続を行う。
【００２６】
このようにして、ネットワークＮに分散された画像情報を、ユーザの多様な目的に応じた設定条件でビデオサーバ１上で処理し、クライアントＣは、ビデオサーバ１に、オープンな通信プロトコルによってアクセスすれば、Ｗｅｂブラウザなどを用いて画像情報を閲覧できる。これによって、画像情報を多目的に活用できる顧客価値の高いオープンなビジネスプラットホームが提供できる。
【００２７】
次に、ビデオサーバシステムの別の構成を図２に示す。ここでは、ビデオサーバ１Ａは、撮像部２と、この撮像部２を制御する設定処理部２２と、画像データを蓄積するフレームメモリ１１と、このフレームメモリ１１に蓄積された画像データから注目対象の特徴を抽出し、所定の画像処理を行う特徴抽出処理部１８と、この特徴抽出処理部１８による処理データを判定する判定通知部１０とを備えている。
【００２８】
ビデオサーバ１Ａは、クライアントＣから設定された画像処理条件及び注目対象条件に基づいて、特徴抽出処理部１８が注目対象の画像処理を行い、画像データをクライアントＣに送信するとともに、判定通知部１０が設定処理部２２により撮像部２を制御させて、注目対象を追跡させる。
【００２９】
以下に詳しく説明すると、ビデオサーバ１Ａには、特徴抽出処理部１８と、注目点圧縮処理部１９と、トラッキング処理部２０と、カスタマイズ処理部２１と、撮像部２の設定を遠隔からの操作で可能にする設定処理部２２とを備えて、カスタマイズされた条件で追跡情報処理をした結果を知らせる注目点圧縮機能を内蔵し、注目点の解像度を高めて重要な情報を、クライアントＣに優先的に表示させること可能にする。
【００３０】
クライアントＣから、Ｗｅｂブラウザを用いたユーザとの対話処理により、画像処理及び注目対象の設定条件が、インターネットなどを経由して、ビデオサーバ１Ａに送られる。ビデオサーバ１Ａでは、設定条件は、ネットワークインタフェース１７、通信処理部１６、サーバ処理部１４を介して、カスタマイズ処理部２１に送られる。
【００３１】
カスタマイズ処理部２１は、設定処理部２２に設定条件を送り、注目点圧縮処理部１９に注目点のユーザ設定条件を送る。設定処理部２２は、カメラ姿勢制御部３にカメラ制御信号を送り、特徴抽出処理部１８に注目対象などの設定条件を送る。
【００３２】
特徴抽出処理部１８は、判定通知部１０から処理命令を受けて、撮像部２からフレームメモリ１１に取り込まれた画像データを、自動的且つ連続的に処理して、処理画像データを出力する。特徴抽出処理部１８は、ユーザの目的の対象物や変化を抽出するように、フィルタリング、射影計算、動き検出などの画像処理により、解析的に画像情報を処理して、注目点や変化領域の特徴を抽出・照合・識別する。
【００３３】
カスタマイズ処理部２１は、ユーザの目的の対象物や変化を注目点として登録しておき、これに該当する情報を記憶する際には、目的別のマークやタグをつけて、後から設定条件に反映させるために検索を容易にする。
【００３４】
トラッキング処理部２０は、特徴と照合して対象物を同定し、位置や動きを検出した注目点情報の処理データを判定通知部１０に提供し、注目点の対象物の処理画像データを注目点圧縮処理部１９に提供する。
【００３５】
注目点圧縮処理部１９は、特徴抽出処理部１８からの処理画像データと、フレームメモリ１１からの画像データを、圧縮符号化し、画像データ符号パケットをネットワークＮに伝送する。ここに、注目点の処理画像データは、抽出された特徴パラメータなどの特徴を表すデータ、注目点の対象物の画像データ、対象物を含む極力小さな領域の画像データなどの重要な情報に限定される。
【００３６】
判定通知部１０は、トラッキング処理部２０の処理データによって、設定処理部２２にカメラ制御信号を出力させて、注目点の移動に合わせて撮像部２を移動させ、ズームさせることができる。また、移動に伴う背景画像などの重要度の低い領域を少なくし、注目対象の画像をより多く、より早く伝えることが出来る。
【００３７】
設定条件の中には、対象物の出現、移動、その他の変化などの変化検知が含まれる。注目点を対象物の場所に移動する場合は、監視領域を区分けする用途がある。例えば、所定の領域間を対象物が移動した場合に、変化として検出するように、注目点を特定の領域又は未知の対象物に設定する。
【００３８】
注目点圧縮処理部１９は、フレームメモリ１１の画像データと、注目点の処理画像データを、ＪＰＥＧ、ＭＰＥＧ、ＧＩＦなどによって圧縮符号化を行い、画像データ符号パケットに変換する。圧縮に関して、注目点は、追跡対象に対し矩形の領域を設定する方法もある。
【００３９】
クライアントＣからは、Ｗｅｂブラウザによって、カメラ姿勢制御部３からカメラ制御信号を出力させることができる。カメラ制御データは、カメラ姿勢制御部３から判定通知部１０に送られる。
【００４０】
このようにして、ネットワークＮに分散された画像情報を、ユーザの多様な目的に応じた設定条件で抽出・追跡・圧縮してビデオサーバ１Ａ上で処理し、クライアントＣは、ビデオサーバ１Ａに、オープンな通信プロトコルによってアクセスすれば、Ｗｅｂブラウザなどを用いて画像情報を閲覧できる。これによって、画像情報を多目的に活用できる顧客価値の高いオープンなビジネスプラットホームが提供できる。
【００４１】
次に、ビデオサーバシステムの参考例の構成を図３に示す。ここでは、ビデオサーバ１Ｂは、撮像部２と、画像データを蓄積するフレームメモリ１１と、このフレームメモリ１１に蓄積された画像データから注目対象の特徴を抽出し、所定の画像処理を行う特徴抽出処理部１８と、異常発生時における監視すべき対象物や背景について予め準備された画像の変化パターンをシナリオモデルとして記憶したメモリ２４と、このシナリオモデルに基づいて画像の変化検知を行うシナリオ認識処理部２３と、このシナリオ認識処理部２３の認識結果を判定する判定通知部１０とを備えている。
【００４２】
ビデオサーバ１Ｂは、クライアントＣから設定された画像処理条件及び注目対象条件に基づいて、特徴抽出処理部１８が注目対象の画像処理を行い、画像データをクライアントＣに送信するとともに、判定通知部１０がシナリオ認識処理部２３の認識結果を判定して、その判定結果をクライアントＣに通知する。
【００４３】
以下に詳しく説明すると、ビデオサーバ１Ｂには、特徴抽出処理部１８と、トラッキング処理部２０と、撮像部２の設定を遠隔からの操作で可能にする設定処理部２２と、シナリオ認識処理部２３及びシナリオモデルを記憶したメモリ２４を備えて、シナリオ認識処理部２３がシナリオモデルに対する変化検知機能を内蔵し、特徴抽出方法及びシナリオモデルの記述方法をユーザの多様な目的に応じて選択設定することで、画像監視などのソリューションを提供する。図示する画像情報圧縮符号化部１３は、図２の注目点圧縮処理部１９と置き換えてもよい。
【００４４】
シナリオ認識処理部２３は、トラッキング処理部２０の処理データに対してシナリオモデルに基づく推論及び変化検知を行い、認識結果を判定通知部１０に知らせる。
【００４５】
特徴抽出処理部１８及びトラッキング処理部２０は、特徴を抽出し追跡する目標が複数あり、また、撮像部２も複数あるときには（後述する）、複数のパターンマッチングあるいはフィルタリングなどを同時に並行して処理して、複数の対象物を識別又は同定することになるが、パターンマッチング、フィルタリング、トラッキングなどの要素技術としては、既存の技術が応用できる。
【００４６】
シナリオモデルの対象物は、ラベル付けがされ、これらは通常、表、リスト、構造体、オブジェクトなどのラベルとして表現され、この中にデータ、ポインタ、メソッドなどが含まれ、対象物に関する推論、同定などの関数を組み込むことができる。
【００４７】
また、シナリオモデルの対象物は、単なるオブジェクトではなく、事前に設定した特定の行動パターンをキャッチし、タグなどを付けておくことで、後になって、多くの記録データから、目的とするデータだけを簡単に抽出することが出来る。
【００４８】
移動物体が時間軸上を移動しながら領域を進む過程を行動パターンとして記録し、状態遷移やＰｒｏｌｏｇなどのロジックで推論した結果が、警戒レベルとして出力される、公知の監視方法なども応用できる。
【００４９】
また、目的を表すシナリオを対象物としてラベル化し、ラベルが目的を表し、目的別に検索を容易にして、ラベル付けがされたオブジェクトのメソッドが、目的の推論モデルを含むように、述語論理、様相論理などの推論の論理構造でモデル化するオブジェクトデータベースを使うことが可能になる。
【００５０】
すなわち、シナリオ変化検知は、シナリオモデルで、対象の空間を記号論理的なモデルとして記述し、その中で、シナリオ認識処理部２３が、オブジェクトや背景などの変化のシナリオを推論し、その認識結果を判定通知部１０が設定条件と比較評価した結果が、判定結果として出力される。
【００５１】
古典的なプロダクションシステムでは、推論によって状態が変化していき、その状態が推論の結果になる。様相推論でも、プロトコルも行動パターンの一種で意味を表現するメッセージであると考えると、そのロジックが、プロトコルや行動パターンなどをモデル化する意味表現になる。ここでは、シナリオモデルの論理的検証も必要である。
【００５２】
個々のシナリオ認識処理部２３が、複数の特徴検出、トラッキング、シナリオ認識などを同時に並行して処理し、複数の対象物、目的のシナリオを識別又は同定する場合には、オブジェクトではなく、各々の自律的な対象物別やシナリオ別の自律エージェントが、同時並行的に働き、判定通知部１０に各々の認識結果を提供し、判定することも可能である。
【００５３】
次に、ビデオサーバシステムの他の参考例の構成を図４に示す。ここでは、ビデオサーバ１Ｃは、撮像部２と、画像データを蓄積するフレームメモリ１１と、このフレームメモリ１１に蓄積された画像データから注目対象の特徴を抽出し、所定の画像処理を行う特徴抽出処理部１８と、異常発生時における監視すべき対象物や背景について予め準備された画像の変化パターンに対して、クライアントＣが変更を加えた画像パターンを、学習シナリオモデルとして記憶したメモリ２５と、この学習シナリオモデルに基づいて画像の変化検知を行うシナリオ認識処理部２３と、このシナリオ認識処理部２３の認識結果を判定する判定通知部１０とを備えている。
【００５４】
ビデオサーバ１Ｃは、クライアントＣから設定された画像処理条件及び注目対象条件に基づいて、特徴抽出処理部１８が注目対象の画像処理を行い、画像データをクライアントＣに送信するとともに、判定通知部１０がシナリオ認識処理部２３の認識結果を判定して、その判定結果をクライアントＣに通知する。
【００５５】
以下に、詳しく説明すると、ビデオサーバ１Ｃには、特徴抽出処理部１８と、トラッキング処理部２０と、撮像部２の設定を遠隔からの操作で可能にする設定処理部２２と、シナリオ認識処理部２３及び学習シナリオモデルを記憶したメモリ２５を備えて、カスタマイズされた条件で、シナリオ認識処理部２３が学習シナリオモデルに対する変化を検知し、その検知結果を電子メールなどのマルチメディアメッセージで知らせたり、サーバ処理部１４から提供できる変化検知機能を内蔵している。
【００５６】
これによって、特徴抽出方法及びシナリオモデルの記述方法をユーザの多様な目的に応じて選択設定して、学習シナリオモデルを対話的に設定、構築することによって、画像監視などのオペレーションのワークフローを、監視対象も含めたシナリオと組み合わせて記述する高度な監視対象などのソリューションを提供することができる。
【００５７】
設定処理部２２とシナリオ認識処理部２３のプログラムをクライアントＣに提供するので、ユーザが教師になり、対話的にシナリオモデルを構築、修正して、シナリオ認識処理部２３に学習させる方法が示されており、論理的なモデルでは、検証も論理的に行われる。
【００５８】
カスタマイズ処理部２１は、サーバ処理部１４を経由したネットワークＮ上で、ＸＭＬなどの表現により、プログラムやシナリオモデルなどの受け渡しをすることができる。
【００５９】
次に、連動処理部を備えたビデオサーバシステムの参考例の構成を図５に示す。ここでは、ビデオサーバ１Ｄは、他のネットワークからメッセージを受けたときに、設定された連動条件に基づいた処理を実行させる連動処理部２６を備えている。判定通知部１０は、連動処理の結果を含めて、判定結果をクライアントＣに通知する。
【００６０】
連動処理部２６は、撮像部２が撮像した画像データの処理を、他のネットワーク接続機能からのメッセージと連動させて駆動する。このような連動駆動するプログラムをクライアントＣに提供することによって、カスタマイズされた連動条件で情報処理した結果を知らせる連動カスタマイズ機能を、ユーザの多様な目的に応じて選択し、高度なソリューションを提供することが出来る。
【００６１】
他のネットワーク接続機能からのメッセージと連動して駆動するシナリオ認識処理部２３のプログラムを、クライアントＣに提供する。判定通知部１０は、画像データ及び外部入力との連動入力に対して、カスタマイズされた条件で、トラッキング処理及びシナリオ認識の情報処理をした結果を、電子メールなどのマルチメディアメッセージで知らせる。また、シナリオ認識した判定結果や、注目点圧縮処理した画像データを提供する。
【００６２】
次に、ビデオサーバシステムの更に別の構成を図６に示す。ここでは、ビデオサーバ１Ｅは、優先順位に応じたサービス品質での通信を行うサービス品質制御部２７を備えている。判定通知部１０は、設定条件に従って優先処理を行い、サービス品質制御部２７は、判定通知部１０が判断した優先順位に応じたサービス品質で通信する。
【００６３】
詳しくは、判定通知部１０は、情報を分析した結果に応じて、且つ、ユーザの多様な目的に応じた設定条件に従って優先処理を行う。サービス品質制御部２７は、判定通知部１０が優先順位が高いと判断したときに、高いレベルのサービス品質（ＱｏＳ）で通知し、画像データを送信する。
【００６４】
次に、ビデオサーバシステムの更に他の参考例の構成を図７に示す。ここでは、ビデオサーバ１Ｆは、情報の分析、判断を代行するエージェント２８と、エージェント学習モデルと２９と、ルールベース推論処理部３０とを備えている。エージェント２８は、ビデオサーバ１Ｆに、遠隔からアップロードされたり、予め組み込まれている。ユーザとエージェント２８との会話処理で、エージェント２８が人に代わって情報を分析、判断、操作を代行した結果を提供する。
【００６５】
シナリオ認識処理部２３は、特徴抽出処理部１８及びトラッキング処理部２０からの処理データに対して、エージェント学習モデル２９との間でのシナリオのモデル構成、エージェント学習モデル２９とエージェント２８との間でのシナリオのモデル情報のメッセージ交換により、エージェント学習モデル２９を参照し、変化を検出して、判定通知部１０に認識結果を知らせる。
【００６６】
これらによって、エージェント２８をユーザの多様な目的に応じて選択し、自動的にプロセスを実行し、ユーザとの対話処理も踏まえて、エージェントモデルを学習させる高度なソリューションを提供できる。
【００６７】
次に、ビデオサーバシステムの更に別の参考例の構成を図８に示す。ここでは、ビデオサーバ１Ｇは、複数の撮像部２Ａと、画像データを蓄積する複数のフレームメモリ１１Ａと、この複数のフレームメモリ１１Ａの各々に蓄積された画像データに対し、所定の画像処理を行う画像処理部と、この画像処理部１８による処理データを判定する判定通知部１０と、複数の撮像部１Ａの協調・連動を制御する協調・連動処理部３１と、分析判断処理部３２と、情報蓄積部３３と、カメラ切り替え制御部３４とを備えている。
【００６８】
複数の撮像部２Ａの各々について、クライアントＣからの要求に対して画像データを送信するとともに、クライアントＣから設定された画像処理条件に基づいて、画像処理部が画像処理を行い、判定通知部１０が処理データを判定して、その判定結果をクライアントＣに通知する。
詳しく説明すると、ここでは、画像処理部として特徴抽出処理部１８を備えている。ビデオサーバ１Ｇでは、複数の撮像部２Ａごとに、ビデオサーバ１Ｇにフレームメモリ１１Ａを用意し、ビデオサーバ１Ｇが複数の撮像部２Ａの各々に対して、以上に図１〜図７とともに説明したような処理を行う。すなわち、ビデオサーバ１Ｇが、通知機能、メッセージ通信機能、分析判断機能、優先処理機能、ユーザエージェント機能などを、撮像部２Ａに代わって代理し、クライアントＣから見て、各撮像部２Ａ毎に、上記各々の機能が備わっているのと同様に処理する。
【００６９】
特徴抽出処理部１８から対象物を抽出する。トラッキング処理部２０で移動などの変化を追跡する。協調・連動処理部３１において、複数の撮像部２Ａとビデオサーバ１Ｇとの間で、情報の一時蓄積、相関処理を行い、複数の撮像部２Ａ間で協調し、複数の撮像部２Ａ間で連動させる。
【００７０】
分析判断処理部３２は、複数の撮像部２Ａ間の視差による距離・移動・回転などを分析する。判定通知部１０は、分析判断処理部３２の分析結果と、複数の撮像部２Ａの協調・連動処理結果に基づいて、判定結果の優先処理判断を行い、サービス品質制御部２７によるサービスの品質確保を行う。
【００７１】
更に、図７に示すように、分析判断処理部３２をシナリオ認識処理２３に、情報蓄積部３３をエージェント学習モデル２９に、サービス品質制御部２７をエージェント２８に置き換えてもよい。その場合、シナリオ認識処理部２３とエージェント学習モデル２９との間でのシナリオのモデル構築、エージェント学習モデル２９とエージェント２８との間でのシナリオのモデル情報のメッセージ交換により、撮像部２Ａ毎に上記機能を実行することが出来る。
【００７２】
次に、ビデオサーバシステムの更に別の参考例の構成を図９に示す。ここでは、ビデオサーバ１Ｈは、複数の撮像部２Ａの各々を接続するポートに、画像データを蓄積する複数のフレームメモリ１１と、この複数のフレームメモリ１１の各々に蓄積された画像データに対し、所定の画像処理を行う画像処理部と、この画像処理部による処理データを判定する判定通知部１０とを備えている。更に、ビデオサーバ１Ｈには、複数の撮像部２Ａの協調・連動を制御する協調・連動処理部３１を備えている。
【００７３】
ビデオサーバ１Ｈは、複数の撮像部２Ａの各々について、クライアントＣからの要求に対して画像データを送信するとともに、クライアントＣから設定された画像処理条件に基づいて、画像処理部が画像処理を行い、判定通知部１０が処理データを判定して、その判定結果をクライアントに通知する。
【００７４】
以下に詳しく説明すると、ビデオサーバ１Ｈは、複数の撮像部２Ａの各々を接続するポート毎に、特徴抽出処理部１８と、トラッキング処理部２０と、分析処理判断部３２と、判定通知部１０とを備えて、上記に図１〜図７とともに説明したような、撮像部２毎のインテリジェントな機能を有する。この構成では、クライアントＣから見て、各撮像部２Ａ毎の機能の他に、撮像部２Ａの相互間の協調・連動を含めた総合分析判断が可能である。
【００７５】
ビデオサーバ１Ｈには、各撮像部２Ａの情報を入力ポートで分析判断した結果に応じて優先処理を行う判定通知部１０と、メッセージバッファを有したサービス品質制御部２７を備える。判定通知部１０が優先順位が高いと判断した場合には、高いレベルのサービス品質（ＱｏＳ）で通知する。サービス品質制御部２７が、各撮像部２Ａからの画像データのサーバ処理部１４からの送信を制御するサービス品質制御機能を果たす。また、サーバ処理部１４によるサービス品質制御のユーザとの対話処理を提供することによって、より高性能なサービス及びサービス品質を確保する。
【００７６】
情報蓄積部３３は複数のポートで共有する。協調・連動制御部３１は複数のポートをまたがった処理を行う。ポート切り替え制御部３５は、パケットスイッチングによって、複数のポートで共有され、各ポート内の特徴抽出処理部１８、トラッキング処理部２０、分析判断処理部３２、判定通知部１０とメッセージ交換を行う。これによって、複数の撮像部２Ａによる視野が、仮想的に連続的な１つの視野に接続され、各々の撮像部２Ａの視野をまたがるトラッキングを行ったり、複数の撮像部２Ａで、仮想的な多次元空間の中で、立体的に対象物をとらえることができ、総合分析判定通知部３６が、協調・連動の結果を分析判断して通知する。
【００７７】
図８や図９に示したビデオサーバ１Ｇ、１Ｈでは、複数の撮像部２Ａの各々のコミュニケーションの混雑度に合わせて、帯域の割り当てを自動的に調節するサービス品質制御部２７を備えている。
【００７８】
サービス品質制御部２７は、複数の撮像部２Ａの相互間の１：１、１：Ｎ、Ｎ：Ｎの双方向のコミュニケーションを組み合わせた、複数のクライアント間のコミュニケーションサーバを構成しており、クライアントからのオンデマンドあるいは呼出でコミュニケーションが行われ、コミュニケーションの混雑度に合わせて、画像のフレームレート、圧縮率、優先度の組み合わせを変えて、帯域の割り当てを複数の撮像部２Ａの間で、自動的に調整する。
【００７９】
図１０には、カメラサーバ１Ｉの撮像部２からネットワークＮへのデータの流れを示している。撮像部２からフレームメモリ１１に取り込んだ画像は、画像処理部１２で処理され、判定通知部１０によって、Ｗｅｂサーバ部１４Ａ、通信処理部１６、ネットワークインタフェース１７を介して、遠隔からの設定条件で判断した結果を、遠隔のＷｅｂブラウザ５０に知らせる。
【００８０】
画像処理部１２には、上記図１〜図９とともに説明したような機能を備えることができ、判定通知部１０が、ユーザからの設定条件や予め設定された条件によって、メッセージをユーザに知らせる。ユーザは、Ｗｅｂブラウザ５０で画像情報を確認し、情報処理の条件設定を対話的に行う。
【００８１】
図１１には、複数のカメラサーバ１Ｊからビデオサーバ１Ｋへのデータの流れを示している。ビデオサーバ１Ｋでは、複数のカメラサーバ１Ｊからの画像情報をＷｅｂ統合部３７で集めてフレームメモリ１１に取り込む。次いで、画像処理部１２で画像処理し、情報蓄積部３３に一時蓄積して、相関処理、複数の撮像部２の協調の視差による距離・移動・回転などを分析する。判定通知部１０は、判定結果の優先処理を行う。サービス品質制御部２７は、遠隔からの条件設定で総合分析判断した結果を、優先処理により、判定通知部１０から提供するサービスの品質を確保する。
【００８２】
図１２には、ビデオサーバシステムをＷｅｂ画像伝送システムに適用した例を示している。ビデオサーバ１Ｌには、画像情報蓄積部４０と、画像監視伝送アプリケーションサーバ４１とを備える。デジタルカメラなどの撮像部２に変化検知機能を組み込み、センサの検知などをトリガとする画像情報をビデオサーバ１Ｌに取り込む。クライアントＣ（受信機）に対して、電子メール、ＳＮＭＰのトラップなどのメッセージで変化検知を知らせることによって、クライアントＣのＷｅｂブラウザ５０からビデオサーバ１Ｌにアクセスすれば、画像情報を確認し、対話形式で撮像部２の制御、画像情報の処理が出来る。このとき、画像情報はメッセージと合わせて同時に確認することが出来る。なお、クライアントＣには、画像監視伝送クライアント処理部５１と、通信処理部、ネットワーク処理部５２を備える。
【００８３】
また、高齢者などが身につける送信機から、ＧＰＳ又はＷＣＤＭＡで、ビデオサーバ１に、データとともに映像を蓄積したり、身につける送信機からメッセージとリアルタイムの映像をビデオサーバ１に伝送し、受信機において、データ及びリアルタイム映像、蓄積映像が確認できる無線画像伝送システムとしても応用できる。
【００８４】
図１３には、ユーザエージェント処理部を備えたビデオサーバシステムの参考適用例を示している。ビデオサーバ１Ｍには、センサＳ１，Ｓ２の検知及び画像情報などのトリガ条件、分析判断条件などを予めルール化しておき、ルールに合致する場合には、ルールに沿って処理し、ルールに合わない場合には、人の判断を求めるようにする。ルールに従って処理した結果に応じて、上記したような、撮像部２毎の機能、すなわち、通知機能、メッセージ通信機能、分析判断結果による優先処理機能、画像監視機能、ユーザエージェント機能などを行う。
【００８５】
判断ルールに応じて処理した結果によって、クライアントＣのＷｅｂブラウザ５０のダイヤログ、ボタンなどのユーザインタフェースを適切な内容に変更するルール、判断機能、通知機能、優先処理機能などを含むエージェントを、Ｗｅｂサーバ機能付きカメラ、Ｗｅｂ画像伝送システムなどにアップロードしておき、ユーザの仕事のワークフローをエージェントが代行し、ユーザインタフェースをカスタマイズするビデオサーバとしても適用できる。
【００８６】
【発明の効果】
以上の説明からも理解できるように、本発明の請求項１〜請求項３に記載のビデオサーバシステムは、ビデオサーバの撮像部に対して、通信ネットワークを介したクライアントからアクセスが会話形式で容易にできる。ビデオサーバは、オープンなプロトコルによって配線条件に依存せずに分散配置ができ、多目的に活用できる。
【００８７】
特に、請求項１に記載のビデオサーバシステムでは、ビデオサーバは、遠隔からの設定条件で情報処理した結果を自動的に提供できるので、用途に応じた設定条件を満たす画像を検知し、ネットワークに接続されたクライアントに表示させることが出来る。
【００８８】
請求項２に記載のビデオサーバシステムでは、注目点の解像度を高めて、重要な情報を優先的に表示させることが出来る。
【００８９】
請求項３に記載のビデオサーバシステムでは、画像情報の通信において、サービス品質制御ができる。
【図面の簡単な説明】
【図１】  本発明のビデオサーバシステムの構成の一例を示すブロック図である。
【図２】  本発明のビデオサーバシステムの他の構成の一例を示すブロック図である。
【図３】  ビデオサーバシステムの参考例の構成を示すブロック図である。
【図４】  ビデオサーバシステムの他の参考例の構成を示すブロック図である。
【図５】  連動処理部を備えたビデオサーバシステムの参考例の構成を示すブロック図である。
【図６】  本発明のビデオサーバシステムの他の構成の一例を示すブロック図である。
【図７】  ビデオサーバシステムの他の参考例の構成を示すブロック図である。
【図８】  ビデオサーバシステムの更に他の参考例の構成を示すブロック図である。
【図９】  ビデオサーバシステムの更に他の参考例の構成を示すブロック図である。
【図１０】  本発明のビデオサーバシステムのデータの流れを説明する図である。
【図１１】  本発明のビデオサーバシステムのデータの流れを説明する図である。
【図１２】  本発明のビデオサーバシステムを適用したシステムの構成の一例を示す図である。
【図１３】  ユーザエージェント処理部を備えたビデオサーバシステムを適用したシステムの構成の参考例を示す図である。
【符号の説明】
１，１Ａ〜１Ｍ  ビデオサーバ（カメラサーバ）
２，２Ａ        撮像部
１０            判定通知部
１１，１１Ａ    フレームメモリ
１２            画像処理部
１８            特徴抽出処理部
２１            カスタマイズ処理部
２２            設定処理部
２３            シナリオ認識処理部
２４            シナリオモデルを記憶したメモリ
２５            学習シナリオモデルを記憶したメモリ
２６            連動処理部
２７            サービス品質制御部
２８            エージェント
３１            協調・連動処理部
３２            分析判断処理部
３６            総合分析判定通知部
Ｎ              通信ネットワーク
Ｃ              クライアント
【図１】
0004061821.tif 000002
【図２】
0004061821.tif 000003
【図３】
0004061821.tif 000004
【図４】
0004061821.tif 000005
【図５】
0004061821.tif 000006
【図６】
0004061821.tif 000007
【図７】
0004061821.tif 000008
【図８】
0004061821.tif 000009
【図９】
0004061821.tif 000010
【図１０】
0004061821.tif 000011
【図１１】
0004061821.tif 000012
【図１２】
0004061821.tif 000013
【図１３】
0004061821.tif 000014