(57)【特許請求の範囲】
【請求項１】
画像を端末装置から受信する受信部と、
前記画像の特徴量に基づく信頼度を評価する画像判定処理部と、
前記信頼度と所定の閾値との閾値判定を行う信頼度判定部と、
前記信頼度が前記閾値未満となる場合、自装置の処理負荷と、自装置及び端末装置間のネットワーク負荷とを推定する負荷推定部と、
前記信頼度が前記閾値未満となる前記画像の再送要求を、前記処理負荷及び又は前記ネットワーク負荷に応じて制御する再送要求部と、を具備し、
前記再送要求部は、
前記ネットワーク負荷が小さく、かつ、前記処理負荷が小さい場合に、前記再送要求を行い、
前記ネットワーク負荷が小さく、かつ、前記処理負荷が大きい場合、及び、前記ネットワーク負荷が大きく、かつ、前記処理負荷が小さい場合に、前記再送要求をキューにため、
前記ネットワーク負荷が大きく、かつ、前記処理負荷が大きい場合に、前記再送要求を行わない、
サーバ装置。
【請求項２】
前記再送要求部は、
前記キューにためた前記再送要求を、予め設定された時間が経過した場合、予め設定されたネットワーク帯域以下になった場合、または、前記ネットワーク負荷及び又は前記処理負荷が低減した場合に送信する、
請求項１に記載のサーバ装置。
【請求項３】
画像をサーバ装置が端末装置から受信する受信工程と、
前記端末装置から送信された画像の特徴量に基づく信頼度を評価する画像判定処理工程と、
前記信頼度と所定の閾値との閾値判定を行う信頼度判定工程と、
前記信頼度が前記閾値未満となる場合、前記サーバ装置の処理負荷と、前記サーバ装置及び前記端末装置間のネットワーク負荷とを推定する負荷推定工程と、
前記信頼度が前記閾値未満となる前記画像の再送要求を、前記処理負荷及び又は前記ネットワーク負荷に応じて制御する再送要求工程と、を具備し、
前記再送要求工程は、
前記ネットワーク負荷が小さく、かつ、前記処理負荷が小さい場合に、前記再送要求を行い、
前記ネットワーク負荷が小さく、かつ、前記処理負荷が大きい場合、及び、前記ネットワーク負荷が大きく、かつ、前記処理負荷が小さい場合に、前記再送要求をキューにため、
前記ネットワーク負荷が大きく、かつ、前記処理負荷が大きい場合に、前記再送要求を行わない、
システム制御方法。
【請求項４】
前記再送要求工程は、
前記キューにためた前記再送要求を、予め設定された時間が経過した場合、予め設定されたネットワーク帯域以下になった場合、または、前記ネットワーク負荷及び又は前記処理負荷が低減した場合に送信する、
請求項３に記載のシステム制御方法。
【請求項５】
コンピュータを、
画像を端末装置から受信する受信部、
前記画像の特徴量に基づく信頼度を評価する画像判定処理部、
前記信頼度と所定の閾値との閾値判定を行う信頼度判定部、
前記信頼度が前記閾値未満となる場合、自装置の処理負荷と、自装置及び前記端末装置間のネットワーク負荷とを推定する負荷推定部、
前記信頼度が前記閾値未満となる前記画像の再送要求を、前記処理負荷及び又は前記ネットワーク負荷に応じて制御する再送要求部、として機能させ、
前記再送要求部は、
前記ネットワーク負荷が小さく、かつ、前記処理負荷が小さい場合に、前記再送要求を行い、
前記ネットワーク負荷が小さく、かつ、前記処理負荷が大きい場合、及び、前記ネットワーク負荷が大きく、かつ、前記処理負荷が小さい場合に、前記再送要求をキューにため、
前記ネットワーク負荷が大きく、かつ、前記処理負荷が大きい場合に、前記再送要求を行わない、
システム制御プログラム。
【請求項６】
前記再送要求部は、
前記キューにためた前記再送要求を、予め設定された時間が経過した場合、予め設定されたネットワーク帯域以下になった場合、または、前記ネットワーク負荷及び又は前記処理負荷が低減した場合に送信する、
請求項５に記載のシステム制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された画像を処理するサーバ装置、システム制御方法及びシステム制御プログラムに関する。
【背景技術】
【０００２】
図１は、従来の映像監視システムの概略構成を示すブロック図である。図１において、従来の映像監視システムには、ネットワーク１４で輻輳が発生しない範囲内で伝送容量を有効利用し、必要に応じて映像監視端末１２で高いフレームレートの映像信号を受信できるものであり、複数台の監視カメラ端末１１と、複数台の映像監視端末１２と、１台の中央監視制御装置１３と、ネットワーク１４とから構成されている。【０００３】
監視カメラ端末１１は、映像を撮影する監視カメラ１１ａと、映像を符号化してネットワーク１４に伝送する画像入力装置１１ｂとから構成されている。【０００４】
映像監視端末１２は、ネットワーク１４から映像を受信し、復号化する画像出力装置１２ａと、復号化された映像を表示するモニタ１２ｃと、毎秒あたりの伝送フレーム数を規定するフレームレートを設定し、その値を中央監視制御装置１３と監視カメラ端末１１に伝える制御パネル１２ｂとから構成されている。【０００５】
中央監視制御装置１３は、監視カメラ端末１１から映像信号を受信し、復号化する画像出力装置１３ａと、復号化された映像を表示するモニタ１３ｃと、映像監視端末１２からの設定情報を受信し、どの監視カメラ端末１１からの映像をどの映像監視端末１２でモニタしているのかのそれぞれの接続先とフレームレートを保存し、映像信号の通信状況を監視する監視制御装置１３ｊと、中央監視制御装置１３においてどの監視カメラ端末１１からの映像をどの映像監視端末１２でモニタしているかの接続先とフレームレートを設定する制御パネル１３ｂとから構成されている。【０００６】
監視制御装置１３ｊは、映像監視端末１２から新たなモニタ条件（接続先やフレームレート）の設定要求があると、設定の可否を判断し、その設定情報を映像監視端末１２と監視カメラ端末１１に伝えることで、ネットワーク１４の伝送容量を管理している（例えば、特許文献１参照）。【０００７】
図２は、監視カメラ端末１１の概略構成を示すブロック図である。図２において、監視カメラ端末１１は、監視映像を撮影する監視カメラ２１と、映像信号を符号化するエンコーダ２２と、ネットワークに伝送する伝送部２３と、監視領域ごとの監視の重要度を指定する領域分割部３０とから構成されており、監視映像内の領域の重要度に合わせて符号化、伝送を可能としている。【０００８】
領域分割部３０は、伝送する動画像を表示する表示部２７と、マウス等のポインティングデバイスを備え、画像内で領域及び重要度を指定する入力部２６と、入力された領域情報と重要度情報を保持する記憶部２５と、領域情報および重要度を画像の明るさの差として画像上に重畳表示する合成部２４とから構成されている。【０００９】
エンコーダ２２は、記憶部２５に記憶されている領域情報と重要度情報により、領域ごとに異なる圧縮率で符号化している（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００３−２８９５２８号公報
【特許文献２】特開２０００−３３３１５６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、特許文献１及び特許文献２に開示の技術では、監視カメラからのデータは固定的に送信されるため、ネットワーク帯域の使用率は常に一定となり、帯域の使用率を減らすことができない。このため、ネットワーク帯域を効率的に利用することができないという問題がある。また、監視カメラ群に一律に帯域を割り当てるため、個々の監視カメラからのデータの信頼性等を考慮しておらず、監視カメラは信頼性の低い不要なデータを送信し続け、サーバの処理負荷が増大するという問題がある。【００１２】
本発明の目的は、ネットワーク帯域を効率的に利用すると共に、サーバの処理負荷を低減するサーバ装置、システム制御方法及びシステム制御プログラムを提供することである。
【課題を解決するための手段】
【００１４】
本発明のサーバ装置は、画像を端末装置から受信する受信部と、前記画像の特徴量に基づく信頼度を評価する画像判定処理部と、前記信頼度と所定の閾値との閾値判定を行う信頼度判定部と、前記信頼度が前記閾値未満となる場合、自装置の処理負荷と、自装置及び端末装置間のネットワーク負荷とを推定する負荷推定部と、前記信頼度が前記閾値未満となる前記画像の再送要求を、前記処理負荷及び又は前記ネットワーク負荷に応じて制御する再送要求部と、を具備し、前記再送要求部は、前記ネットワーク負荷が小さく、かつ、前記処理負荷が小さい場合に、前記再送要求を行い、前記ネットワーク負荷が小さく、かつ、前記処理負荷が大きい場合、及び、前記ネットワーク負荷が大きく、かつ、前記処理負荷が小さい場合に、前記再送要求をキューにため、前記ネットワーク負荷が大きく、かつ、前記処理負荷が大きい場合に、前記再送要求を行わない構成を採る。
【００１６】
本発明のシステム制御方法は、画像をサーバ装置が端末装置から受信する受信工程と、前記端末装置から送信された画像の特徴量に基づく信頼度を評価する画像判定処理工程と、前記信頼度と所定の閾値との閾値判定を行う信頼度判定工程と、前記信頼度が前記閾値未満となる場合、前記サーバ装置の処理負荷と、前記サーバ装置及び前記端末装置間のネットワーク負荷とを推定する負荷推定工程と、前記信頼度が前記閾値未満となる前記画像の再送要求を、前記処理負荷及び又は前記ネットワーク負荷に応じて制御する再送要求工程と、を具備し、前記再送要求工程は、前記ネットワーク負荷が小さく、かつ、前記処理負荷が小さい場合に、前記再送要求を行い、前記ネットワーク負荷が小さく、かつ、前記処理負荷が大きい場合、及び、前記ネットワーク負荷が大きく、かつ、前記処理負荷が小さい場合に、前記再送要求をキューにため、前記ネットワーク負荷が大きく、かつ、前記処理負荷が大きい場合に、前記再送要求を行わないようにした。
【００１７】
本発明のシステム制御プログラムは、コンピュータを、画像を端末装置から受信する受信部、前記画像の特徴量に基づく信頼度を評価する画像判定処理部、前記信頼度と所定の閾値との閾値判定を行う信頼度判定部、前記信頼度が前記閾値未満となる場合、自装置の処理負荷と、自装置及び前記端末装置間のネットワーク負荷とを推定する負荷推定部、前記信頼度が前記閾値未満となる前記画像の再送要求を、前記処理負荷及び又は前記ネットワーク負荷に応じて制御する再送要求部、として機能させ、前記再送要求部は、前記ネットワーク負荷が小さく、かつ、前記処理負荷が小さい場合に、前記再送要求を行い、前記ネットワーク負荷が小さく、かつ、前記処理負荷が大きい場合、及び、前記ネットワーク負荷が大きく、かつ、前記処理負荷が小さい場合に、前記再送要求をキューにため、前記ネットワーク負荷が大きく、かつ、前記処理負荷が大きい場合に、前記再送要求を行わないようにした。
【発明の効果】
【００１８】
本発明によれば、ネットワーク帯域を効率的に利用すると共に、サーバの処理負荷を低減することができる。
【図面の簡単な説明】
【００１９】
【図１】従来の映像監視システムの概略構成を示すブロック図
【図２】従来の監視カメラ端末の概略構成を示すブロック図
【図３】本発明の実施の形態１に係る画像監視システムの概略構成を示すブロック図
【図４】パラメータの例を示す図
【図５】再送要求制御方法のテーブルを示す図
【図６】第１画像判定処理部における人物の顔検出処理を説明するための図
【図７】第２画像判定処理部における目のテンプレートマッチング処理を説明するための図
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００２１】
（実施の形態１）
図３は、本発明の実施の形態１に係る画像監視システム１００の概略構成を示すブロック図である。図３において、複数の監視端末１１０（図では１つのみ表示）と、ネットワーク１２０と、クラウドサーバ（以下、単に「サーバ」という）１３０とを備えている。
【００２２】
監視端末１１０は、カメラ１１１及び第１画像判定処理部１１２を備えている。カメラ１１１は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子から映像を入力し、入力した映像を第１画像判定処理部１１２に出力する。
【００２３】
第１画像判定処理部１１２は、カメラ１１１から出力された映像に対して画像判定処理を行い、この画像をサーバ１３０に送信するか否かを判定する。具体的には、例えば、第１画像判定処理部１１２は、人物の顔モデルに類似した画像領域を顔候補領域とし検出枠を当てる。全画像領域に対してラスタスキャンを実行し、顔候補領域としての検出枠の導出を行い、人物の顔を含む領域を切り出し画像（サムネイル）として抽出する。このとき、第１画像判定処理部１１２は、切り出し画像に映る人物の顔（第１特徴量）を検出する検出枠の個数が予め設定された閾値Ｔｈ１以上となる場合、この切り出し画像を送信すると判定し、閾値Ｔｈ１未満となる場合、この切り出し画像を送信しないと判定する。ここでは、検出枠の数が多いほど信頼度（確からしさ）が高いことを意味しており、一定の信頼度のある切り出し画像をサーバ１３０に送信する。
【００２４】
第１画像判定処理部１１２は、閾値Ｔｈ１以上と判定した切り出し画像をパラメータと共にサーバ１３０に送信する。ここで、パラメータとしては、図４に示すものが挙げられ、識別ＩＤ、状態フラグなどが含まれる。状態フラグは、検出対象（ここでは、人物の顔）の出現、追尾、消失を示す。
【００２５】
ネットワーク１２０は、監視端末１１０及びサーバ１３０を相互に接続する通信網である。
【００２６】
サーバ１３０は、送受信部１３１、第２画像判定処理部１３２、信頼度判定部１３３、認識処理部１３４、負荷推定部１３５及び再送要求部１３６を備えている。
【００２７】
送受信部１３１は、監視端末１１０から送信された切り出し画像を受信し、受信した切り出し画像を第２画像判定処理部１３２に出力する。また、送受信部１３１は、再送要求部１３６から出力された再送要求を監視端末１１０に送信する。さらに、送受信部１３１は、伝搬遅延の算出に用いる伝搬情報を監視端末１１０から受信し、受信した伝搬情報を負荷推定部１３５に出力する。
【００２８】
第２画像判定処理部１３２は、送受信部１３１から出力された切り出し画像を解析して、切り出し画像の品質（信頼度）を評価する。具体的には、第２画像判定処理部１３２は、切り出し画像の中に特徴的な顔部品があるか否かを解析する。例えば、第２画像判定処理部１３２が目のテンプレートを事前に持っておき、顔部品の領域の中を探索してテンプレートと類似している領域があるかどうかなど（第２特徴量）、目位置の解析を行う。あるいは、人の顔は一般的に左右対称であるため、切り出し画像に対象性があるかどうかなど（第２特徴量）を解析する。この解析結果（信頼度）を数値化して、解析数値を再送要求部１３６に出力し、また、解析数値と共に切り出し画像を信頼度判定部１３３に出力する。また、第２画像判定処理部１３２は、処理に要するＣＰＵ（Central Processing Unit）の使用率を負荷推定部１３５に出力する。
【００２９】
信頼度判定部１３３は、第２画像判定処理部１３２から出力された解析数値と予め設定された閾値Ｔｈ２との閾値判定を行い、解析数値が閾値Ｔｈ２以上となる場合、解析された切り出し画像を認識処理部１３４に出力し、閾値Ｔｈ２未満となる場合、解析された切り出し画像の識別ＩＤを負荷推定部１３５に出力する。また、信頼度判定部１３３は、処理に要するＣＰＵの使用率を負荷推定部１３５に出力する。
【００３０】
認識処理部１３４は、信頼度判定部１３３から出力された切り出し画像に基づいて、認識処理を行う。具体的には、例えば、認識処理部１３４は、切り出し画像に映る人物の年齢及び性別など（第３特徴量）の認識処理を行い、認識処理によって得られた情報をオペレータ等に通知する。また、認識処理部１３４は、処理に要するＣＰＵの使用率を負荷推定部１３５に出力する。
【００３１】
負荷推定部１３５は、第２画像判定処理部１３２、信頼度判定部１３３及び認識処理部１３４から出力されたＣＰＵの使用率を合計し、サーバ１３０の処理負荷として推定する。また、負荷推定部１３５は、送受信部１３１から出力された伝搬情報に基づいて、遅延時間を求め、求めた遅延時間からネットワークの負荷を推定する。ここで、遅延時間は、例えば、ＩＣＭＰ（Internet Control Message Protocol）である「ping」を用いて、ＩＣＭＰ ＥＣＨＯパケットを監視端末に送信した時刻と、該監視端末からの応答パケット（ＩＣＭＰ ＲＥＰＬＹ）の到着した時刻との時間差（ＲＴＴ:Round Trip Time）として求められる。また、ネットワーク負荷は、ＲＴＴの絶対値から推定してもよいし、ゆらぎ（ジッタ）から推定してもよい。ネットワーク負荷の推定方法の詳細については、電気情報通信学会「知識ベース」５群９編  ネットワーク管理３章  ネットワーク管理の共通機能（http://www.ieice-hbkb.org/files/05/05gun_09hen_03.pdf）、特開２００４−２３７９４号公報等に開示されている。
【００３２】
負荷推定部１３５は、信頼度判定部１３３から出力された識別ＩＤ、推定したサーバ処理負荷及びネットワーク負荷を再送要求部１３６に出力する。
【００３３】
再送要求部１３６は、第２画像判定処理部１３２から出力された解析数値、負荷推定部１３５から出力されたサーバ処理負荷及びネットワーク負荷に基づいて、負荷推定部１３５から出力された識別ＩＤについての再送要求の制御を行う。具体的には、図５（ａ）に示すように、例えば、サーバ処理負荷がＣＰＵ使用率８０％以上か否か、及び、ネットワーク負荷がネットワークの使用効率６０％以上か否かに応じて、再送要求の制御方法が予めテーブルに決められており、信頼度（解析数値）に応じて３種類（高、中、低）のテーブルが用意されている。
【００３４】
図５（ｂ）は、信頼度が低い場合における再送要求制御方法のテーブルを示す。解析数値が低い場合には、可能な限り再送要求を行って、新しい切り出し画像を取得することが望ましい。そこで、サーバ処理負荷にかかわらず、ネットワーク負荷が小さい場合には、再送要求を行い、ネットワーク負荷が大きい場合には、再送要求をキューにためる。
【００３５】
図５（ｃ）は、信頼度が中の場合における再送要求制御方法のテーブルを示す。解析数値が中の場合には、サーバ処理負荷及びネットワーク負荷に応じて、新たな切り出し画像を取得可能な場合に取得する。そこで、ネットワーク負荷が小さく、かつ、サーバ処理負荷が小さい場合に再送要求を行い、ネットワーク負荷が小さく、かつ、サーバ処理負荷が大きい場合に再送要求をキューにためる。また、ネットワーク負荷が大きく、かつ、サーバ処理負荷が小さい場合に再送要求をキューにため、ネットワーク負荷が大きく、かつ、サーバ処理負荷が大きい場合に再送要求を行わない。
【００３６】
図５（ｄ）は、信頼度が高い場合における再送要求制御方法のテーブルを示す図である。ネットワーク負荷及びサーバ処理負荷が大きい場合には、新たな切り出し画像を取得しないことが望ましい。そこで、ネットワーク負荷及びサーバ処理負荷が小さい場合のみ再送要求を行い、その他の場合には再送要求を行わない。
【００３７】
なお、キューにためられた再送要求は、（１）予め設定された時間の経過後に送信する、（２）予め設定されたネットワーク帯域以下になった場合に送信する、（３）ネットワーク負荷及び又はサーバ処理負荷が低減した場合に送信する、などが考えられる。
【００３８】
このように、ネットワーク負荷及びサーバ処理負荷に応じて、再送要求を制御することにより、カメラからの切り出し画像の送信を制御できるため、ネットワーク帯域を制御することができ、また、信頼性の低いデータの送信を低減することができるため、サーバの処理負荷を低減することができる。
【００３９】
このように、実施の形態１によれば、サーバにおいて、監視端末から送信された切り出し画像の信頼度を評価し、信頼度の低い切り出し画像について、ネットワーク負荷及びサーバの処理負荷に応じて、再送要求を制御することにより、ネットワーク帯域を効率的に利用することができ、また、サーバの処理負荷を低減することができる。
【００４０】
なお、本実施の形態では、再送要求制御方法のテーブルを解析数値に応じて３種類用意する場合について説明したが、信頼度にかかわらず、１種類のテーブルを用いてもよい。この場合、図５（ｂ）に示した解析数値が中の場合における再送要求制御方法のテーブルを用いることが考えられる。
【００４１】
また、本実施の形態では、監視端末の第１画像判定処理部において用いる閾値Ｔｈ１を固定した場合について説明したが、本発明はこれに限らず、ネットワーク負荷に応じて閾値Ｔｈ１を可変としてもよい。例えば、ネットワーク負荷が高い場合には、閾値Ｔｈ１を大きくし、信頼性の高い切り出し画像をサーバに送信するようにして、切り出し画像の送信頻度を抑制し、ネットワーク負荷が低い場合には、閾値Ｔｈ１を小さくし、一定の信頼性のある切り出し画像をサーバに送信するようにして、切り出し画像の送信頻度を増加させる。
【００４２】
また、閾値Ｔｈ１をサーバ処理負荷に応じて可変としてもよい。例えば、サーバ処理負荷が高い場合には、閾値Ｔｈ１を大きくし、信頼性の高い切り出し画像をサーバに送信するようにして、切り出し画像の送信頻度を抑制し、サーバ処理負荷が低い場合には、閾値Ｔｈ１を小さくし、一定の信頼性のある切り出し画像をサーバに送信するようにして、切り出し画像の送信頻度を増加させる。
【００４３】
さらに、閾値Ｔｈ１を監視端末から送信された切り出し画像の品質に応じて可変としてもよい。サーバの信頼度判定部において閾値Ｔｈ２未満となる切り出し画像が多い場合には、監視端末から送信された切り出し画像の品質が悪いと考えられ、閾値Ｔｈ１を大きくする。
【００４４】
このような閾値Ｔｈ１の制御は、識別ＩＤ毎に行ってもよい。
【００４５】
また、本実施の形態では、第１画像判定処理部１１２において、人物を切り出し画像として抽出し、第２画像判定処理部１３２において、切り出し画像に映る人物に目位置の候補があるか、または切り出し画像が左右対称かなどを解析するものとして説明したが、本発明はこれに限らない。
【００４６】
例えば、第１画像判定処理部１１２において、動きがある部分を切り出し画像として抽出し、第２画像判定処理部１３２において、切り出し画像に映る部分が人物であるか否かを認識するようにしてもよい。再送要求部１３６は、切り出し画像に映る部分が人物ではない場合、または人物であるとの信頼性が低い場合、再送要求を行う。
【００４７】
また、第１画像判定処理部１１２において、四角い物体を切り出し画像として抽出し、第２画像判定処理部１３２において、切り出し画像に映る四角い物体のナンバー認識処理を行うようにしてもよい。再送要求部１３６は、切り出し画像に映るナンバーが読み取れない場合、またはナンバー認識の信頼性が低い場合、再送要求を行う。
【００４８】
さらに、第１画像判定処理部１１２において、動きがある部分を切り出し画像として抽出し、第２画像判定処理部１３２において、切り出し画像に映る部分が車であるか否かを認識するようにしてもよい。再送要求部１３６は、切り出し画像に映る部分が車ではない場合、または車であるとの信頼性が低い場合、再送要求を行う。
【００４９】
（実施の形態２）
本発明の実施の形態２に係る画像監視システムの構成は、実施の形態１の図３に示した構成と同様であるため、図３を援用して説明する。
【００５０】
本発明の実施の形態２では、第１画像判定処理部１１２における人物の顔検出処理と、第２画像判定処理部１３２における目のテンプレートマッチング処理について具体的に説明する。
【００５１】
図６は、第１画像判定処理部１１２における人物の顔検出処理を説明するための図である。図６（ａ）は、目を閉じた顔画像Ａを示し、図６（ｂ）は、目を開いた顔画像Ｂを示している。
【００５２】
第１画像判定処理部１１２は、顔画像Ａ及び顔画像Ｂに対して、矩形の検出枠ＤＦを当てはめる。検出枠ＤＦは、上側半分の上部検出枠ｄｆ１と、下側半分の下部検出枠ｄｆ２とからなり、顔画像の左上から順に右にスライドし、右端まできたら少し下にずらして、再度顔画像の左から右にスライドする。このとき、第１画像判定処理部１１２は、上部検出枠ｄｆ１の画素の輝度値の平均と、下部検出枠ｄｆ２の画素の輝度値の平均との差を求め、その差が所定の閾値より大きいとき、そこに目があると判定する（ヴィオラジョーンズの方法：”Rapid Object Detection using a Boosted Cascade of Simple Features”, Paul Viola, Michael Jones, Computer Vision and Pattern Recognition, 2001. CVPR 2001.Vol 1, P511-518参照）。
【００５３】
図６（ａ）の顔画像Ａの場合では、目を閉じているが、前髪または眉毛などがある。このため、検出枠ＤＦが目の位置に合ったとき、上部検出枠ｄｆ１の画素の輝度値の平均と、下部検出枠ｄｆ２の画素の輝度値の平均との差が所定の閾値より大きくなるので、検出枠ＤＦの位置に目があると判定することができる。この結果、第１画像判定処理部１１２は、人物の顔を検出したと認識する。なお、上部検出枠ｄｆ１と下部検出枠ｄｆ２とにおける画素の輝度値の平均は、画素の輝度値の和と差を算出するだけなので、高速に求めることができる。
【００５４】
また、図６（ｂ）の顔画像Ｂの場合では、目を開いており、黒目が撮影されている。このため、検出枠ＤＦが目の位置に合うと、上部検出枠ｄｆ１の画素の輝度値の平均と、下部検出枠ｄｆ２の画素の輝度値の平均との差が所定の閾値より大きくなるので、検出枠ＤＦの位置に目があると判定することができる。この結果、第１画像判定処理部１１２は、人物の顔を検出したと認識する。
【００５５】
このように、第１画像判定処理部１１２は、図６（ａ）の顔画像Ａ及び図６（ｂ）の顔画像Ｂについて、共に顔を検出することができ、検出された顔画像が監視端末１１０からサーバ１３０に送られる。
【００５６】
図７は、第２画像判定処理部１３２における目のテンプレートマッチング処理を説明するための図である。図７（ａ）は、目を閉じた顔画像Ａを示し、図７（ｂ）は、目を開いた顔画像Ｂを示している。
【００５７】
第２画像判定処理部１３２は、目のテンプレートを有しており、この目のテンプレートを顔画像Ａ及び顔画像Ｂにマッチングさせる。マッチング処理は、第１画像判定処理部１１２の人物の顔検出処理と同様に、テンプレートを顔画像全体にわたってスライドさせてもよいし、第１画像判定処理部１１２で検出された顔位置に基づいて行ってもよい。
【００５８】
また、テンプレートマッチング処理は、目のテンプレートと、顔画像とを画素同士で比較する。この比較は、例えば、ＳＳＤ（Sum of Squared Difference）法を用いることができる。ＳＳＤの結果が所定の閾値より小さいとき、テンプレートの位置に目があると判定することができる。この結果、第２画像判定処理部１３２は、人物の顔を検出したと認識する。
【００５９】
図７（ａ）の顔画像Ａの場合では、目を閉じているので、目が検出されず、従って、顔は検出されない。一方、図７（ｂ）の顔画像Ｂの場合では、目を開いているので、目が検出され、従って、顔が検出される。
【００６０】
このように、第２画像判定処理部１３２は、顔認識に適した画像のみから顔を検出することができる。
【００６１】
２０１２年２月６日出願の特願２０１２−０２２９５３の日本出願に含まれる明細書、図面及び要約書の開示内容は、すべて本願に援用される。
【産業上の利用可能性】
【００６２】
本発明にかかるサーバ装置、システム制御方法及びシステム制御プログラムは、ネットワーク帯域を効率的に利用すると共に、サーバの処理負荷を低減するのに好適である。
【符号の説明】
【００６３】
１１０  監視端末
１１１  カメラ
１１２  第１画像判定処理部
１２０  ネットワーク
１３０  サーバ
１３１  送受信部
１３２  第２画像判定処理部
１３３  信頼度判定部
１３４  認識処理部
１３５  負荷推定部
１３６  再送要求部
【図１】
0005899518.tif 000002
【図２】
0005899518.tif 000003
【図３】
0005899518.tif 000004
【図４】
0005899518.tif 000005
【図５】
0005899518.tif 000006
【図６】
0005899518.tif 000007
【図７】
0005899518.tif 000008