(57)【要約】      （修正有）【課題】マルチテナント型の画像処理システムを実現するための画像処理端末及び画像処理サーバを提供する。【解決手段】画像処理端末２００は、撮影された画像データまたはその一部に対する画像認識処理を行う画像処理サーバ３００とネットワークＮを介して接続される。画像処理端末２００は、撮影場所に設置されたイメージセンサと接続されるとともに、イメージセンサで撮影された画像データが入力され、画像データで認識される認識対象を設定する認識対象設定部と、画像認識処理に用いられる、設定された認識対象を認識するための認識アルゴリズムと、認識アルゴリズムで利用される認識辞書とを特定するための情報を設定する認識情報設定部と、画像データまたは認識対象の特徴量と、認識アルゴリズムと前記認識辞書とを特定するための情報とを含む送信データを、ネットワークＮを介して画像処理サーバ３００に送信する通信部と、を有する。【選択図】図１
2017068627.tif 000002
【特許請求の範囲】
【請求項１】
撮影された画像データまたはその一部に対する画像認識処理を行う画像処理サーバとネットワークを介して接続される画像処理端末であって、
前記画像処理端末は、撮影場所に設置されたイメージセンサと接続されるとともに、前記イメージセンサで撮影された前記画像データが入力され、
前記画像データで認識される認識対象を設定する認識対象設定部と、
前記画像認識処理に用いられる、設定された前記認識対象を認識するための認識アルゴリズムと、前記認識アルゴリズムで利用される認識辞書とを特定するための情報を設定する認識情報設定部と、
前記画像データまたは前記画像データの認識対象の特徴量と、設定された前記認識アルゴリズムと前記認識辞書とを特定するための情報とを含む送信データを、ネットワークを介して前記画像処理サーバに送信する通信部と、
を有することを特徴とする画像処理端末。
【請求項２】
複数の異なる前記認識対象が規定された認識対象テーブルと、複数の異なる前記認識アルゴリズムが規定された認識方法テーブルと、複数の異なる前記認識辞書が規定された認識辞書テーブルと、と記憶する記憶部を有し、
前記認識対象設定部は、前記画像処理端末に入力される第１選択情報に基づいて、前記認識対象テーブルから前記画像データで認識される認識対象を設定し、
前記認識情報設定部は、前記画像処理端末に入力される第２選択情報または設定された前記認識対象に対して予め決められた第３選択情報に基づいて、前記認識方法テーブル及び前記認識辞書テーブルから、前記認識対象に適用される認識アルゴリズムとそれに利用される認識辞書を設定する、
ことを特徴とする請求項１に記載の画像処理端末。
【請求項３】
前記イメージセンサから撮影された前記画像データが入力されるとともに、前記画像データの認識対象の特徴量を算出し、前記特徴量を前記画像圧縮部に出力する画像処理部と、
前記画像処理部から出力された前記画像データまたは前記特徴量を圧縮する画像圧縮部と、
圧縮された前記画像データまたは前記特徴量と、設定された前記認識アルゴリズムと前記認識辞書とを特定するための情報とを多重化し、前記送信データとして多重化データを生成する多重化部と、
を有することを特徴とする請求項１又は２に記載の画像処理端末。
【請求項４】
撮影場所に設置されたイメージセンサに接続される画像処理端末とネットワークを介して接続される画像処理サーバであって、
前記画像処理端末で設定された、前記画像データで認識される認識対象を認識するための認識アルゴリズムと、前記認識アルゴリズムで利用される認識辞書とを特定するための情報と、前記画像データまたは前記画像データの認識対象の特徴量とを含む送信データを前記画像処理端末から受信する通信部と、
複数の異なる前記認識対象が規定された認識対象テーブルと、複数の異なる前記認識アルゴリズムが規定された認識方法テーブルと、複数の異なる前記認識辞書が規定された認識辞書テーブルと、を記憶する記憶部と、
前記画像処理端末から受信した前記認識アルゴリズムと前記認識辞書とを特定するための情報に基づいて、前記認識方法テーブル及び前記認識辞書テーブルから、前記画像データまたはその一部に対する画像認識処理に適用される認識アルゴリズムとそれに利用される認識辞書を設定する認識情報設定部と、
前記設定された認識アルゴリズムと認識辞書とを用いて、前記画像処理端末から受信した前記画像データまたはその一部に対する画像認識処理を行う画像認識部と、
を有することを特徴とする画像処理サーバ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、クライアント側で撮影された画像データに対する画像認識処理をサーバ側で行う画像処理技術に関する。
【背景技術】
【０００２】
従来から、デジタルサイネージなどの電子看板を視聴するユーザを撮影し、人物検出などを行う画像認識技術がある。人物検出などの画像認識処理を通じて、検出された人物に適合する広告を表示したり、人物の属性や位置などを把握したりすることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１８１０７０号公報
【特許文献２】特開２０１０−１９１１５５号公報
【特許文献３】特開２０１０−１１３６９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像処理サーバでクライアント側の画像処理端末で認識したい情報に応じたフレキシブルな画像認識処理を実現するための画像処理端末及び画像処理サーバを提供することを目的とする。
【課題を解決するための手段】
【０００５】
実施形態の画像処理端末は、撮影された画像データまたはその一部に対する画像認識処理を行う画像処理サーバとネットワークを介して接続される画像処理端末である。前記画像処理端末は、撮影場所に設置されたイメージセンサと接続されるとともに、前記イメージセンサで撮影された前記画像データが入力される。前記画像処理端末は、前記画像データで認識される認識対象を設定する認識対象設定部と、前記画像認識処理に用いられる、設定された前記認識対象を認識するための認識アルゴリズムと、前記認識アルゴリズムで利用される認識辞書とを特定するための情報を設定する認識情報設定部と、前記画像データまたは前記画像データの認識対象の特徴量と、設定された前記認識アルゴリズムと前記認識辞書とを特定するための情報とを含む送信データを、ネットワークを介して前記画像処理サーバに送信する通信部と、を有することを特徴とする。
【図面の簡単な説明】
【０００６】
【図１】第１実施形態の画像処理システムを示す図である。
【図２】第１実施形態の画像処理端末と画像処理サーバの構成ブロック図である。
【図３】第１実施形態において、デジタルサイネージシステムのクライアントとして画像処理端末２００を適用した構成例を示す図である。
【図４】第１実施形態の画像処理端末の機能ブロック図である。
【図５】第１実施形態の画像処理端末の処理フローを示す図である。
【図６】第１実施形態の画像処理サーバの機能ブロック図である。
【図７】第１実施形態の画像処理サーバの処理フローを示す図である。
【図８】第１実施形態の認識対象テーブルの一例を示す図である。
【図９】第１実施形態の認識方法テーブルの一例を示す図である。
【図１０】第１実施形態の認識辞書テーブルの一例を示す図である。
【図１１】第１実施形態の認識対象、認識方法及び認識辞書の設定パターンテーブル例を示す図である。
【図１２】第１実施形態の認識結果を用いた応用例を示す図である。
【図１３】第１実施形態の認識結果を用いた他の応用例を示す図である。
【発明を実施するための最良の形態】
【０００７】
以下、実施形態につき、図面を参照して説明する。
【０００８】
実施形態に係る画像処理システムは、デジタルサイネージシステムを応用した防犯・監視システム、人物属性（年齢・性別）を利用した販売促進システム（コマース系、リテール系）、人物顔照合を利用した顧客購買履歴管理システム、自動車検出、歩行者検出などによる衝突予防システム、人物帯留数・動線を検出する自動異常検知システムなどに適用することができる。
【０００９】
（第１実施形態）
図１から図１３は、第１実施形態の画像監視システム１００を示す図である。図１は、情報処理システム１００の全体構成図である。図１に示すように、情報処理システム１００は、画像処理端末グループ１０１、画像処理端末グループ１０２、画像処理端末装置グループ１０３がネットワークＮを介して画像処理サーバ３００に接続されて構成されている。
【００１０】
ここで、ネットワークＮで示される通信網とは、様々な情報を伝送するための通信資源を意味しており、有線ないし無線で接続される。例えば、一般的に広く普及しているインターネット網などの通信網、ＰＨＳをはじめ３Ｇ、４Ｇ、ＬＴＥといった携帯機器向けの通信網や、地上放送網、衛星放送網、ケーブル伝送網、電波通信、ミリ波通信、レーダー通信などの通信網が含まれる。
【００１１】
画像処理端末グループ１０１，１０２は、１つ以上の画像処理端末２００を含んで構成されている。また、画像処理装置グループ１０３は、１つ以上の画像処理装置４００を含んで構成されている。
【００１２】
図２は、画像処理端末２００と画像処理サーバ３００の構成ブロック図であり、画像処理端末２００と画像処理サーバ３００が一対一で接続された一例を示している。画像処理端末２００は、例えば、パーソナルコンピュータやセットトップボックスなどの計算資源である。本実施形態の画像処理端末２００の各機能は、計算資源上で動作するソフトウェアとして構成することができる。
【００１３】
一方、本実施形態の画像処理装置４００は、画像処理端末２００の各機能が専用のハードウェア（制御回路等）で構成されたハードウェア装置の一例である。本実施形態の画像処理端末２００の各機能は、ソフトウェア及びハードウェアのどちらか一方又はその組み合わせで構成することができる。
【００１４】
画像処理端末２００は、全体の制御を司るＣＰＵ２１０、メモリ２２０、ストレージ２３０、センサ２４０、出力Ｉ／Ｆ２５０、通信部２６０などを含んで構成されている。ここで、センサ２４０は、ＣＣＤセンサやＣＭＯＳセンサなどのイメージセンサ（撮像素子）を含み、動画や静止画の画像を撮影・キャプチャすることが可能な撮影部として構成される。センサ２４０として、画像処理端末２００にＵＳＢ接続可能なＷｅｂカメラを用いることもできる。また、赤外線センサやレーザーセンサなどの特殊なセンサを、センサ２４０として用いることもできる。
【００１５】
センサ２４０から出力される画像データは、ストレージ２３０に記憶される。ストレージ２３０は、ハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）などの記憶装置である。ＣＰＵ２１０は、プログラムを実行する機能、例えば、ストレージ２３０に保存された画像データをアップコンバート／ダウンコンバート／トリミングする機能、画像データをフォーマット変換する機能、画像データを圧縮処理する機能などを有する。これらの機能は、例えば、プログラムによって実行されるように構成したり、専用の回路装置で実行されるように構成したりすることができる。
【００１６】
また、メモリ２２０は、各種プログラムを格納したり、画像データを格納したりすることが可能であり、一般的なコンピュータや組み込み機器で用いられるメモリであればよい。出力Ｉ／Ｆ２５０は、画像データを出力したり、各種データやファイルを出力したりする出力インタフェースである。通信部２６０は、外部のネットワークＮとデータ通信を行う通信制御部として機能する。
【００１７】
一方、画像処理サーバ３００は、全体の制御を司るＣＰＵ３１０、メモリ３２０、ストレージ３３０、出力Ｉ／Ｆ３４０、通信部３５０などを含んで構成されている。図２に示す画像処理サーバ３００の各部は、画像処理端末２００と同様であるので、説明を省略する。
【００１８】
次に、本実施形態の画像処理システムに関し、デジタルサイネージシステムを一例に説明する。図３は、デジタルサイネージシステムのクライアントとして画像処理端末２００を適用した構成例を示す図である。ディスプレイ５００に、センサ２４０が組み込まれている。センサ２４０は、例えばＵＳＢやＬＡＮなどの有線ケーブルまたは無線通信で画像処理端末２００と接続されている。
【００１９】
ディスプレイ５００には、デジタルサイネージ向けのコンテンツ５０１が表示される。ディスプレイ５００は、不図示のデジタルサイネージシステムからコンテンツ５０１を受信して表示する。図３に示すように、ユーザＭ１，Ｆ１がコンテンツ５０１を視聴するために、ディスプレイ５００に近づく。コンテンツ５０１を視聴するユーザがディスプレイ５００に設置されたセンサ２４０の画角に入ると、センサ２４０が撮影したユーザＭ１，Ｆ１を含む画像データ５０２が画像処理端末２００に入力される。
【００２０】
画像処理端末２００は、センサ２４０から入力される画像データ５０２を、ネットワークＮを介して画像処理サーバ３００に伝送する。このとき、画像処理端末２００は、センサ２４０から出力される画像データ５０２に対して画像認識処理を行うこともできる。この場合、画像処理端末２００は、例えば、画像処理サーバ３００側で制御され、端末側にあらかじめ指定された人物の顔や上半身などの認識対象５０４を検出するとともに、性別、年齢などの属性情報５０３を識別（判別）する処理を行うことができる。認識対象５０４及び属性情報５０３は、画像処理端末２００に記憶したり、通信部２６０を介して画像処理サーバ３００に伝送されたりする。なお、以下の説明では、画像処理端末２００側で行う上述の画像認識処理は、画像処理サーバ３００で行われる態様を一例に説明している。
【００２１】
図４は、画像処理端末２００の機能ブロック図である。図５は、画像処理端末２００の処理フローを示す図である。画像処理端末２００は、画像処理部２１１、画像圧縮部２１２、多重化部２１３、制御部２１４、認識方法ＩＤ設定部２１５、及び認識辞書ＩＤ設定部２１６を含んで構成されている。なお、認識方法ＩＤ設定部２１５及び認識辞書ＩＤ設定部２１６は、それぞれ認識情報設定部として機能するとともに、これらを統合して１つの認識情報設定部として構成してもよい。
【００２２】
本実施形態の画像処理端末２００は、センサ２４０で撮影された画像データが入力され、多重化データＤ２０５を出力する機能を有している。センサ２４０は、予め設定された画角内を撮影する撮影処理を行う（Ｓ１０１）。センサ２４０によって画像データが撮影されると、画像データＤ２０１がセンサ２４０から画像処理部２１１に入力される。画像処理部２１１は、画像データＤ２０１を圧縮可能なデータ形式である圧縮前データＤ２０３に変換する（Ｓ１０２）。例えば、画像データが、センサ２４０から直接入力されたＲＡＷデータである場合、デモザイキング処理などを行ってＲＧＢやＹＵＶなどの一般的な画像形式に変換し、画像圧縮部２１２に出力する。また、画像圧縮部２１２に入力される画像形式がＹＵＶ形式である場合、画像処理部２１１は、ＲＧＢ形式をＢＴ．６０９／ＢＴ．７０９／ＢＴ．２０２０などで勧告されている形式に変換する。なお、画像処理部２１１に入力される画像データが、画像圧縮部２１２への入力形式と一致している場合は、画像処理部２１１による画像処理（又は画像処理部２１１自体）を省略することができる。
【００２３】
画像圧縮部２１２は、圧縮前データＤ２０３を圧縮し、圧縮データＤ２０４を出力する（Ｓ１０３）。圧縮形式としては、例えば、ＩＴＵ−Ｔで規格化されているＨ．２６５、Ｈ．２６４、Ｈ．２６３などの圧縮形式、ＩＳＯ／ＩＥＣで規格化されているＭＰＥＧ−Ｈ、ＭＰＥＧ−４、ＭＰＥＧ−２などの圧縮形式や、ＶＰ８、ＶＰ９、ＭｏｔｉｏｎＪＰＥＧなどの一般的な圧縮形式を適用することができる。圧縮データＤ２０４は、後述する認識方法ＩＤ（Ｄ２０７）、認識辞書ＩＤ（Ｄ２０８）と共に、多重化部２１３で多重化処理され、多重化データＤ２０５として出力され、画像処理サーバ３００に伝送される。
【００２４】
制御部２１４は、制御情報Ｄ２０２を取得する（Ｓ１０４）。制御部２１４は、ストレージ２３０から制御情報Ｄ２０２に基づいて、センサ２４０で取得された画像データを認識するための認識情報Ｄ２０６を出力する。制御情報Ｄ２０２は、例えば、ユーザによって設定された入力パラメータや、画像処理端末２００毎に予め指定されたパラメータや、画像処理サーバ３００で制御される端末毎固有の設定パラメータである。制御情報Ｄ２０２は、画像処理端末２００が取得した画像データから認識対象を特定するための情報である。認識情報Ｄ２０６は、制御情報Ｄ２０２によって特定される認識対象を示す情報である。
【００２５】
認識情報Ｄ２０６は、制御部２１４から認識方法ＩＤ設定部２１５及び認識辞書ＩＤ設定部２１６それぞれに対して入力される。認識方法ＩＤ設定部２１５は、ストレージ２３０に記憶されている認識方法テーブルに従って認識情報Ｄ２０６を選択して出力する。すなわち、認識対象に対応する認識方法ＩＤ（Ｄ２０７）を選択して出力する（Ｓ１０５）。認識辞書ＩＤ設定部２１６もまた、ストレージ２３０に記憶されている認識辞書テーブルに従って認識対象に対応する認識辞書ＩＤ（Ｄ２０８）を選択して出力する（Ｓ１０６）。出力された２つのＩＤ（Ｄ２０７，Ｄ２０８）は、多重化部２１３に出力される。多重化部２１３は、圧縮された画像データ、選択（設定）された認識方法ＩＤ（Ｄ２０７）及び認識辞書ＩＤ（Ｄ２０８）を多重化して（Ｓ１０７）、多重化データＤ２０５を画像処理サーバ３００に出力（伝送）する（Ｓ１０８）。
【００２６】
多重化部２１３は、複数のデータを、あらかじめ定められた形式に多重化する多重化処理を行う。なお、多重化部２１３は、ＴＣＰ／ＩＰプロトコルやＨＴＴＰ（又はＨＴＴＰＳ）プロトコルなどの通信形式への変換機能などを含むように構成することもできる。例えば、ネットワークＮがインターネットなどの通信回線である場合、多重化データＤ２０５は暗号化することができる。
【００２７】
次に、図６及び図７を参照して、画像処理サーバ３００について説明する。図６は、本実施形態の画像処理サーバ３００の機能ブロック図であり、図７は、画像処理サーバ３００の処理フローを示す図である。画像処理サーバ３００は、ネットワークＮを介して画像処理端末２００から伝送された多重化データＤ３０１を受け付け、画像データの認識結果Ｄ３０８を出力する機能を有する。
【００２８】
画像処理サーバ３００は、逆多重化部３１１、画像伸長部３１２、画像認識部３１３、認識方法ＩＤ設定部３１４、認識辞書ＩＤ設定部３１５、及び認識辞書切替部３１６を含んで構成されている。なお、認識方法ＩＤ設定部３１４及び認識辞書ＩＤ設定部３１５は、それぞれ認識情報設定部として機能するとともに、これらを統合して１つの認識情報設定部として構成してもよい。
【００２９】
画像処理サーバ３００は、ネットワークＮを介して通信部３５０で多重化データＤ３０１を受信する（Ｓ３０１）。通信部３５０で受信された多重化データＤ３０１は、まず、逆多重化部３１１に入力される。逆多重化部３１１は、多重化データＤ３０１に対する逆多重化処理を行い、圧縮データＤ３０２、認識方法ＩＤ（Ｄ３０４）及び認識辞書ＩＤ（Ｄ３０５）を出力する（Ｓ３０２）。ここで、多重化データＤ３０１は、図４の多重化データＤ２０５に相当する。また、圧縮データＤ３０２、認識方法ＩＤ（Ｄ３０４）及び認識辞書ＩＤ（Ｄ３０５）は、図４の圧縮データＤ２０４、認識方法ＩＤ（Ｄ２０７）及び認識辞書ＩＤ（Ｄ２０８）にそれぞれ相当する。
【００３０】
圧縮データＤ３０２は、画像伸長部３１２に入力される。画像伸長部３１２は、圧縮データＤ３０２を復号し、画像データＤ３０３を出力する（Ｓ３０３）。画像データＤ３０３は、図４の画像データＤ２０３に相当する。
【００３１】
認識方法ＩＤ（Ｄ３０４）は、認識方法ＩＤ設定部３１４に入力される。認識方法ＩＤ設定部３１４は、画像認識部３１３の画像認識処理で利用される認識方法、すなわち、画像認識アルゴリズムを、認識方法ＩＤ（Ｄ３０４）に基づいて選択する（Ｓ３０４）。認識方法ＩＤ設定部３１４は、選択された画像認識アルゴリズム（Ｄ３０７）をメモリ３２０にロードし、画像認識部３１３が利用できるようにする。
【００３２】
認識辞書ＩＤ（Ｄ３０５）は、認識辞書ＩＤ設定部３１５に入力される。認識辞書ＩＤ設定部３１５は、画像認識部３１３の画像認識処理で利用される認識辞書を、認識辞書ＩＤ（Ｄ３０５）に基づいて選択する（Ｓ３０５）。このとき、認識辞書ＩＤ設定部３１５は、選択した認識辞書に関する情報を認識辞書切替部３１６に出力する。認識辞書切替部３１６は、ストレージ３３０に記憶されている各認識辞書の中から、認識辞書ＩＤ（Ｄ３０５）に該当する認識辞書Ｄ３０６をメモリ３２０にロードし、画像認識処理に際して画像認識部３１３が利用できるようにする（Ｓ３０６）。
【００３３】
画像認識部３１３は、入力された画像データＤ３０３に対し、設定された画像認識アルゴリズムＤ３０７と画像認識辞書Ｄ３０６とを利用して画像認識処理を行う（Ｓ３０７）。画像認識部３１３は、認識結果Ｄ３０８を出力する（Ｓ３０８）。認識結果Ｄ３０８は、ネットワークＮを介して該当の画像処理端末２００に送信したり、監視システムなどの他のシステムに送信したりすることができる。画像処理端末２００は、画像処理サーバ３００から認識結果Ｄ３０８を受信し、認識結果Ｄ３０８を所定のディスプレイ装置に表示する表示制御を行うこともできる。なお、画像処理サーバ３００は、認識結果Ｄ３０８を画像処理端末２００などに送信しないように構成することもできる。つまり、画像処理サーバ３００は、ＨＴＴＰサーバとして機能させることもでき、認識結果Ｄ３０８をデータ整形・可視化して表示することもできる。
【００３４】
ここで、本実施形態の画像認識処理について説明する。図８は、画像データの認識対象を規定した認識対象テーブルの一例を示す図である。図９は、画像データの認識方法を規定した認識方法テーブルの一例を示す図であり、図１０は、画像データの認識辞書を規定した認識辞書テーブルの一例を示す図である。図８から図１０に示す各テーブルは、画像処理端末２００及び画像処理サーバ３００の各ストレージ２３０，３３０に記憶される。
【００３５】
図４に示す認識情報Ｄ２０６は、認識対象テーブルの認識対象ＩＤに相当する。つまり、制御情報Ｄ２０２は、認識対象テーブルから認識対象ＩＤを特定するためのパラメータであり、例えば、「人物の顔」などの入力情報（第１選択情報に相当する）である。認識対象テーブルは、認識対象毎に認識対象ＩＤが紐付いている。画像処理端末２００の制御部２１４は、制御情報Ｄ２０２を用いて認識対象テーブルを参照し、認識情報Ｄ２０６として認識対象ＩＤを抽出する。
【００３６】
例えば、画像処理端末２００が、人物の上半身を認識するように設定（入力）されている場合、制御情報Ｄ２０２として「人物の上半身」が制御部２１４に入力される。制御部２１４は、認識対象設定部として機能し、「人物の上半身」に該当する認識対象ＩＤ「０ｘ００００００２」を認識対象テーブルから選択し、選択した認識対象ＩＤを認識情報Ｄ２０６として出力（設定）する。
【００３７】
次に、制御情報Ｄ２０２から特定される認識対象ＩＤに対し、認識方法テーブル及び認識辞書テーブルから、認識方法ＩＤ及び認識辞書ＩＤをそれぞれ選択することができる。例えば、認識方法ＩＤ設定部２１５は、認識対象「人物の上半身」に対し、認識方法テーブルの３つの認識方法「上半身簡易検出アルゴリズム」、「上半身高精度検出アルゴリズム」、「上半身追跡アルゴリズム」の中から、「上半身簡易検出アルゴリズム」に該当する認識方法ＩＤ「０ｘ１０００００８」を選択することができる。そして、選択された認識方法ＩＤ「０ｘ１０００００８」の上半身簡易検出アルゴリズムで利用する認識辞書を、認識辞書テーブルから選択することができる。例えば、認識辞書ＩＤ設定部２１６は、認識対象及び認識方法に適合する顔検出辞書ＩＤ「０ｘ２０００００１」を選択することができる。
【００３８】
このように本実施形態の画像処理端末２００は、認識したい情報に応じて各テーブルから認識対象、認識方法及び認識辞書を任意に選択（切り替え）して、画像処理端末２００の使用環境や認識した情報に合わせた画像認識処理を、画像処理サーバ３００に要求することができる。このとき、画像処理端末２００は、認識対象、認識方法及び認識辞書を新規に設定したり、これらの設定を変更したりしても、画像処理端末２００のソフトウェア構成又は／及びハードウェア構成を変更する必要はない。
【００３９】
認識方法テーブル及び認識辞書テーブルから、認識方法ＩＤ及び認識辞書ＩＤをそれぞれ選択する例として、例えば、制御情報Ｄ２０２として、認識対象に加え、認識方法及び認識辞書をそれぞれ指定（特定）する情報を入力することができる。例えば、ユーザは、画像処理端末２００の不図示の入力手段から、図８から図１０に示した各テーブルから認識対象、認識方法及び認識辞書を選択することができる。ユーザは、まず、図８に示す認識対象テーブルから画像処理端末２００で認識したい情報を設定する。次に、ユーザは、設定した認識対象に対して利用可能な認識アルゴリズムを認識方法テーブルの中から選択し（第２選択情報に相当する）、選択した認識アルゴリズムで利用する認識辞書を認識辞書テーブルの中から選択する。例えば、認識方法として顔属性判定アルゴリズムが設定されている場合、ユーザは、「子供用属性判定辞書」と「大人用属性判定辞書」の２つの認識辞書のうち、いずれか１つを選択することができる。
【００４０】
これら認識対象、認識方法及び認識辞書の各選択情報は、制御情報Ｄ２０２として制御部２１４に入力される。認識方法の選択情報は、制御部２１４から認識方法ＩＤ設定部２１５に出力される。認識方法ＩＤ設定部２１５は、選択情報に基づいて図９に示す認識方法テーブルから該当する認識方法ＩＤを選択する。認識辞書の選択情報は、制御部２１４から認識辞書ＩＤ設定部２１６に出力される。認識辞書ＩＤ設定部２１６は、選択情報に基づいて図１０に示す認識辞書テーブルから該当する認識辞書ＩＤを選択する。
【００４１】
ここで、本実施形態の画像認識処理は、画像処理端末２００側で取得される認識対象に対し、認識対象に適合する認識アルゴリズム及び認識辞書を利用する。そこで、図１１に示すように、特定の認識対象の画像認識処理で利用される認識アルゴリズムと認識辞書の組み合わせを予め規定したパターン設定を行うこともできる。
【００４２】
図１１の設定パターンテーブルは、認識対象に対して任意の認識アルゴリズム及び認識辞書が設定されており、その組み合わせパターンは、自由である。例えば、認識対象「人物の顔」に対して、４つの認識アルゴリズムが利用でき、各認識アルゴリズムによって利用される異なる画像認識辞書がそれぞれ紐付いている。
【００４３】
つまり、本実施形態では、認識対象に対してどのような画像認識処理を行うのか、画像認識処理にどの画像認識辞書を利用するのかを、自由に組み合わせて画像処理端末２００側のソフトウェア構成やハードウェア構成に依存することなくフレキシブルな画像認識処理を、複数の各画像処理端末２００に提供することができる。
【００４４】
また、例えば、図１１に示す設定パターンテーブルを、画像処理サーバ３００から画像処理端末２００に提供し、複数の各画像処理端末２００が、認識情報Ｄ２０６に基づいて、設定パターンテーブルの中から１つの設定パターンを選択するように構成することもできる。例えば、図１１に示すように、認識対象の「人物の上半身」に対し、画像処理端末２００を通じて認識したい情報に応じて（画像処理端末２００の環境に応じて）パターン５（第３選択情報に相当する）を設定することができる。
【００４５】
この場合、認識方法ＩＤ設定部２１５は、認識情報Ｄ２０６である認識対象ＩＤ「０ｘ００００００３」をキーに、図１１に示すパターン５を参照し、認識方法ＩＤ「０ｘ１０００００ｆ」を選択することができる。認識辞書ＩＤ設定部２１６も、認識情報Ｄ２０６である認識対象ＩＤ「０ｘ００００００３」をキーに、図１１に示すパターン５を参照し、認識辞書ＩＤ「０ｘ２００００３ｆ」を選択することができる。このようにクライアント側である画像処理端末２００で認識対象、認識対象に対する認識アルゴリズム及び認識辞書を設定したり、画像処理サーバ３００側で、各画像処理端末２００の認識対象、認識対象に対する認識アルゴリズム及び認識辞書を設定（管理）したりすることができる。これらの設定基準は、例えば、撮影部であるセンサ２４０を設置する「目的」、「場所」、「ユースケース」などに基づいて任意に決めることができる。
【００４６】
なお、同じ認識対象に対して同じ認識アルゴリズムが設定される必要はなく、同じ認識対象に対して異なる画像認識アルゴリズムが設定されるように構成してもよい。画像認識辞書についても同様であり、同一の画像認識アルゴリズムで、異なる画像認識辞書が設定されたり、異なる画像認識アルゴリズムで同一の画像認識辞書を設定されたりするように構成してもよい。
【００４７】
さらに、同じ認識対象に対して複数の画像認識アルゴリズムが設定されるように構成することもできる。例えば、認識対象「人物の顔」に対し、画像認識方法「顔検出アルゴリズム」と「顔属性判定アルゴリズム」の２つが設定されるように構成することができる。つまり、１つの認識対象から２つ以上の認識結果を得るように構成することができる。
【００４８】
ここで、画像処理サーバ３００の画像認識部３１３が行う画像認識処理について説明する。画像認識処理は、人物の顔や人物の上半身、全身などの人物認識や、自動車やバイクなどのオブジェクト認識など、予め定めた特定の対象物を認識（識別）する。
【００４９】
画像認識処理に用いるアルゴリズムの一例として、画像データからＨＯＧ（Ｈｉｓｔｇｒａｍ  ｏｆ  Ｇｒａｄｉｅｎｔ）特徴量を算出し、予め特定の対象物向けに作成した辞書とマッチングを行う方法が挙げられる。例えば、特開２０１０−４４４３９号公報に記載のＨＯＧの共起発生確率を用いた特徴量（ＣｏＨＯＧ）を用いた対象物認識手法を適用することができる。本実施形態では、このような画像認識辞書を用いた画像認識処理を行うことができる。
【００５０】
ここで、特徴量や画像認識に用いるアルゴリズムは、対象物によって異なる場合がある。画像認識アルゴリズムの違いとは、例えば、モノクロ画像のみを利用するアルゴリズムとカラー画像を利用するアルゴリズム、デプス画像（レンジ画像）を用いるアルゴリズムなどの違いが含まれる。本発明では、認識方法ＩＤ（Ｄ２０７）と認識辞書ＩＤ（Ｄ２０８）を認識対象に応じて切り替える情報を、多重化データＤ２０５とともに画像処理サーバ３００に伝送し、画像処理サーバ３００において画像認識処理を行うことができる。
【００５１】
さらに、属性情報について説明する。認識対象は、画面中の人物やオブジェクトだけとは限らない。例えば、人物の顔からは、性別、年齢、メガネの着用状況、マスクの着用状況などの認識情報だけでなく、会話をしている、笑っている、怒っている、などの状況情報を判別することも可能である。そこで、例えば、過去の辞書から、特定の特徴量を属性情報と紐づけた状況判別辞書を利用し、このような属性情報を認識するように構成することも可能である。また、静的な認識結果だけでなく、時間的な認識情報を総合的に認識することで、人物やオブジェクトの行動パターンなどの動的な認識も可能である。例えば、検出位置を時間的に収集し、行動パターンを推定することで、移動方向や異常検知などにも活用できる。また、複数の人物にまたがる属性情報として、男女のカップル、親子、友人などのグループ属性を認識することも可能である。
【００５２】
さらに、属性判定処理として、照合処理を適用してもよい。照合処理とは検出された対象物の同一性を判定する処理である。例えば、人物の顔の場合、検出された顔の画像データもしくは、検出された顔の特徴量を辞書に登録する。検出された人物の画像データと予め辞書に登録された人物とのマッチングを行い、同一人物かどうかを照合する。このような照合処理を用いることにより、複数の異なる場所に設置されたセンサ２４０で撮影された画像データから、人物などの動線を把握（管理）することができる。
【００５３】
図１２は、画像処理サーバ３００の画像認識処理によって得られた認識結果Ｄ３０８を用いた応用例を示す図である。図１２に示す例は、複数のセンサ２４０で撮影された画像データの各認識結果Ｄ３０８を、予め設定したセンサ２４０の位置（カメラ位置）のマップに重畳した例である。図１２の例では、検出されたオブジェクトの数が多いほど領域ほど、濃い色となるように表示している。このように複数の認識結果Ｄ３０８を適用し、認識結果Ｄ３０８とカメラ位置を組み合わせて、例えば、人物の検出数が多い座標の領域を、検出数が少ない座標の領域よりも目立つ色やオブジェクトで表示することで、混雑度を表示（提供）することができる。
【００５４】
また、図１３は、画像処理サーバ３００の画像認識処理によって得られた認識結果Ｄ３０８を用いた他の応用例を示す図である。図１３に示す例は、複数のセンサ２４０で撮影された画像データの各認識結果Ｄ３０８の中で人物を例に挙げ、性別毎に予め設定したカメラ位置のマップに表示した一例である。図１３の例では、男性と女性がどこにどの程度存在するかが一目で把握できるため、図１２の例の混雑度に加え、性別までを把握することができる。図１３の例のように、認識結果Ｄ３０８による検出対象に応じて、人が見てその検出対象がすぐにわかるようなアイコンやイラストをマップに重畳することで、現在の認識結果Ｄ３０８を１枚の映像で簡単に把握することが可能となる。
【００５５】
本実施形態によれば、認識対象、認識方法及び認識辞書を各テーブルで管理し、複数の画像処理端末２００／画像処理装置４００に対して、認識したい情報に応じて認識対象、認識方法及び認識辞書の組み合わせを自由に設定して、切り替える（新たに設定する）ことが可能となる。つまり、複数の画像処理端末２００／画像処理装置４００毎に、検出対象（認識対象）や認識アルゴリズム及び認識辞書が個別に設定可能なマルチテナント型のサーバ処理を実現することができる。
【００５６】
また、本実施形態の画像処理システムは、クライアント側のソフトウェア構成及びハードウェア構成に依存しないため、ソフトウェア構成の画像処理端末２００とハードウェア構成の画像処理装置４００が混在しても、マルチテナント型のサーバ処理を提供することができる。
【００５７】
また、本実施形態の画像処理システムは、画像処理端末２００／画像処理装置４００として適用される機器は、通信機能及び演算機能を備える汎用の機器を適用することができ、センサ２４０から撮影された画像データを取り込めるものであればよい。つまり、センサ２４０を備え、図８から図１０に示す各テーブルに従う認識対象、認識方法ＩＤ及び認識辞書ＩＤを選択可能に構成された機器であればよく、新たな異なる検出対象の追加などに応じて特別なハードウェア構成やソフトウェア構成を組み込むシステムの変更等が必要ない。
【００５８】
他の観点で説明すると、本実施形態では、認識対象、認識方法、認識辞書のそれぞれのテーブルを必要に応じて追加・更新するだけで、認識対象、認識方法、認識辞書を容易に追加できる。このため、既存のシステムを変更しなくても、認識した情報（検出対象）などが異なる新しいクライアント側の端末を導入して、新しい認識対象に対する画像認識環境を容易に実現することができる。
【００５９】
また、同一の認識対象において、特定の設置条件でセンサ２４０を設置する場合、汎用的な認識アルゴリズムや認識辞書では、認識精度が低下することがある。本実施形態によれば、画像処理サーバ３００側で、同一の認識対象に対する認識アルゴリズムを新たに追加したり、認識アルゴリズムをバージョンアップしたりすることで、画像処理端末２００の環境に応じたカスタマイズを容易に行うことができる。認識辞書の更新や追加になどについても同様である。
【００６０】
以上、本実施形態の画像処システムについて説明したが、上記説明では、画像処理端末２００側で画像認識プロセスが行われない態様を一例に説明した。しかしながら、画像処理端末２００に、画像処理サーバ３００が有する画像認識部３１３の画像認識機能の一部を、画像処理端末２００側（画像処理部２１１など）に設けるように構成することもできる。例えば、図３で示したような画像処理端末２００側での画像認識処理である。
【００６１】
この場合、画像情報端末２００側で、画像処理サーバ３００の画像認識処理よりも簡易な（処理負荷の低い）画像認識処理を行い、画像処理サーバ３００側で、属性情報の検出や、意図理解、複数の画像処理端末２００間の情報を利用した行動理解などの高度な（処理負荷の高い）画像認識処理を行い、両者で画像認識処理の機能分担を図るように構成することができる。
【００６２】
例えば、自動車の検出や、人物の検出などの検出処理のみを画像処理端末２００側で行い、検出した領域の画像のみを切り出すことで、センサ２４０で取得された画像データよりも少ないデータ量の画像データを圧縮処理及び多重化処理を経て、画像処理サーバ３００に伝送することができる。このように構成することで、ネットワークＮのデータ通信量を低減することができる。また、画像処理サーバ３００側で属性情報の認識を行い、例えば、自動車の車種や速度、危険度、人物との距離などの属性情報（認識結果Ｄ３０８）を、画像処理端末２００に送信するような構成も容易に構築することができる。
【００６３】
また、人物の検出や追跡などの画像認識処理を画像処理端末２００で行うことも可能である。この場合、画像処理部２１１において、検出された人物を中心とする矩形画像データを切り出し、切り出した画像データを圧縮処理及び多重化処理を経て、画像処理サーバ３００に伝送することができる。図３の例において、２人の人物が検出され、各人物の検出画像のみを切り出すことができる。このとき、多重化部２１３は、人物毎の切り出された画像に対する多重化データＤ２０５を個別に生成したり、切り出された複数の画像データを含む多重化データＤ２０５を生成したりすることも可能である。
【００６４】
なお、切り出した画像データや上述した画像データには、個人を特定するための顔画像などが含まれるため、通信部２６０と画像処理サーバ３００との間の通信データが、悪意のある第三者に搾取される場合がある。この場合、簡単に個人情報を特定されてことがあるので、例えば、画像処理部２１１は、画像データから特徴量のみを抽出（算出）し、抽出された特徴量を圧縮処理及び多重化処理を経て、画像処理サーバ３００に伝送することができる。例えば、上述したＨＯＧ特徴量やＣｏＨＯＧ特徴量を用いて抽出したデータのフォーマットが非開示（秘密）であれば、仮に第三者が通信データを搾取しても、特徴量から個人を特定することが極めて困難となり、かつそのデータを解読も困難となるため、情報漏えいのリスクヘッジに対するセキュリティ性の向上を図ることができる。
【００６５】
ここで、画像処理端末２００が画像認識機能の一部を遂行する場合、例えば、画像処理部２１１が、認識対象、認識方法及び認識辞書を選択するための情報を自動的に出力し、認識対象の特定と、認識方法ＩＤ及び認識辞書ＩＤの設定とを行うように構成することもできる。例えば、画像処理端末２００側で、人物の顔を検出する顔検出アルゴリズムを適用した画像認識処理を行うとする。この場合、画像処理部２１１は、顔検出アルゴリズムによってセンサ２４０で撮影された画像データから人物の顔を検出して、検出した領域の画像のみを切り出す処理を行うので、画像処理部２１１は、制御部２１４に対して制御情報Ｄ２０２として認識対象「人物の顔」が入力されるように構成することができる。図４に示す画像処理部２１１から制御部２１４に向かって延びる矢印が、これに相当する。
【００６６】
認識方法ＩＤ設定部２１５は、画像処理部２１１の画像認識処理に適用されている「顔検出アルゴリズム」を事前に把握できるので、認識方法ＩＤとして同じ「顔検出アルゴリズム」を設定することができる。そして、認識辞書ＩＤ設定部２１６は、設定された認識方法ＩＤに基づいて、認識辞書ＩＤとして「顔検出辞書」を設定することができる。このように、画像処理端末２００は、画像処理端末２００が行う画像認識処理に基づいて、画像処理サーバ３００側で行われる画像認識処理の認識方法ＩＤ及び認識辞書を自動的に設定することができる。
【００６７】
＜実施形態の画像処理システムの主な特徴とその効果＞
上述した本実施形態の画像処理システムを構成する画像処理端末２００と画像処理サーバ３００の各機能に関し、主な特徴とその効果を整理すると、以下の通りである。
【００６８】
（１）画像処理部２１１は、画像認識機能の一部を遂行し、画像データ内の認識対象を検出し、検出された認識対象部分を画像データから切り出す機能を有することができる。このように構成することで、通信資源の削減やクライアント側及びサーバ側のリソースを効率化することができる。
【００６９】
（２）画像処理サーバ３００の画像認識処理で用いられる認識アルゴリズムは、画像データを所定の矩形領域に分割し、分割された矩形領域それぞれのヒストグラムの勾配を特徴量の１つとして利用して認識処理を行うことができる。また、認識辞書は、少なくとも認識アルゴリズムで利用された特徴量を用いて学習されるように構成することができ、画像認識処理を通じて認識辞書を更新することができる。
【００７０】
（３）上記（１）で述べた検出された認識対象部分のみを切り出す機能に加え、画像処理部２１１は、切り出された画像データの認識対象の特徴量を算出する機能をさらに備えるように構成することができる。画像処理端末２００と画像処理サーバ３００との間のデータ通信において、画像データではなく、特徴量を送受信するように構成することができる。
【００７１】
（４）画像圧縮部２１２は、非公開の圧縮方法及びそのフォーマットの圧縮形式で、画像データ又は／及び特徴量を圧縮することができる。画像データには、人物等の個人情報が含まれることがあるため、画像データを非公開の圧縮方式で隠ぺいすることでセキュリティ性を向上させてデータ伝送を行うことができる。
【００７２】
（５）多重化部２１３は、認識方法ＩＤ及び認識辞書ＩＤを圧縮データ内に多重化し、多重化データを生成するように構成することができる。通信プロトコルやデコーダなどの影響を受けないことから、例えば、既存の多重化データのフォーマットで行われている画像処理システムにも適用が可能となる。
【００７３】
（６）画像処理サーバ３００は、単に、画像データを認識するだけでなく、検出した認識対象の属性を判定する機能を有するように構成することができる。例えば、顔検出だけでなく、顔検出辞書と属性辞書を使って、性別・年齢・顔向き・メガネ装着・マスク装着などの状況把握が可能な画像認識処理を行うことができる。
【００７４】
（７）画像処理部２１１は、画像データから１つ又は複数の特定の対象物を検出する機能と、検出した対象物の矩形画像を切り出す機能とを備えることができ、画像圧縮部２１２は、切り出した画像データのみを圧縮することができる。切り出し領域のみを圧縮して伝送するため、通信資源を節約できる。画像処理サーバ３００は、画像処理端末２００から受信した矩形画像の圧縮データを復号し、画像認識部３１３は、１つ又は複数の矩形画像の属性情報を認識する画像認識処理を行うことができるので、画像処理サーバ３００側の処理負荷を抑制することができる。
【００７５】
（８）画像処理サーバ３００は、複数の画像処理端末２００（センサ２４０）の位置情報を予め記憶しておき、画像認識部３１３は、位置情報と各画像処理端末２００から受信する圧縮データ（多重化データ）とを利用して、画像認識処理を行うことができる。１つのセンサ２４０の画像データだけでなく、複数の画像データを画像処理サーバ３００側で利用することができ、複数のセンサ２４０で撮影された画像データから状況理解や認識対象の行動パターンの解析などを行うことが可能となる。
【００７６】
（９）上記（８）において、画像認識部３１３は、位置情報と各画像処理端末２００から受信する圧縮データ（多重化データ）とを利用して、検出対象の空間的密集度を計測する機能と、時間的密集度を計測する機能を有するように構成することができる。例えば、図１２の例のように、座標の空間マッピングによる特定時刻の混雑度解析と時間方向の累積データの積分による統計的混雑度を利用して、サイネージ効果の確認や顧客動線管理に活用することができる。
【００７７】
（１０）画像処理端末２００は、画像処理部２１１での画像認識機能によって検出された対象物の矩形領域を示す情報を、センサ２４０で撮影された画像データに重畳して、所定のディスプレイ装置に出力する機能を備えるように構成することができる。認識対象のリアルタイム検出や監視などへのアシスト機能として活用することができる。
【００７８】
（１１）画像処理端末２００及び画像処理サーバ３００は、検出された対象物の矩形画像を、検出日、検出時刻、センサ情報、属性情報などと紐付けて、ストレージ２３０，３３０に記憶することができる。監視や特定者の検索機能、人物がいない映像をスキップする検索アシスト機能などに活用することができる。
【００７９】
（１２）画像処理サーバ３００は、検出された対象物の画像データ若しくはその特徴量を認識辞書に新たに登録したり、既に登録されている認識辞書に学習させたりする機能と、新たに検出された対象物の画像データ若しくはその特徴量に対して、認識辞書とマッチングを行い、同一対象物かどうかを照合する照合機能を有するように構成することができる。複数カメラ間の同一人物判定や人物照合などに活用することができる。
【００８０】
（１３）画像処理サーバ３００は、画像認識部３１３から出力される認識結果を、１つ又は複数の各センサ２４０の位置情報と紐付けて所定の画像上にマッピングし、検出対象の検出数に応じて色付けを変えたり、アイコンを変えたり、イラストを変えたりして、認識結果を表示する表示制御を行うことができる。
【００８１】
なお、本実施形態の画像処理端末２００及び画像処理サーバ３００の各機能は、上述のように、プログラムとして構成することができる。例えば、コンピュータの不図示の補助記憶装置に格納され、ＣＰＵ等の制御部が補助記憶装置に格納された各機能毎のプログラムを主記憶装置に読み出し、主記憶装置に読み出された該プログラムを制御部が実行し、本実施形態の各部の機能をコンピュータに動作させることができる。
【００８２】
また、上記プログラムは、コンピュータ読取可能な記録媒体に記録された状態で、コンピュータに提供することも可能である。コンピュータ読取可能な記録媒体としては、ＣＤ−ＲＯＭ等の光ディスク、ＤＶＤ−ＲＯＭ等の相変化型光ディスク、ＭＯ（Magnet Optical）やＭＤ(Mini Disk)などの光磁気ディスク、フロッピー（登録商標）ディスクやリムーバブルハードディスクなどの磁気ディスク、コンパクトフラッシュ（登録商標）、スマートメディア、SDメモリカード、メモリスティック等のメモリカードが挙げられる。また、本発明の目的のために特別に設計されて構成された集積回路（ICチップ等）等のハードウェア装置も記録媒体として含まれる。
【００８３】
なお、本発明の実施形態を説明したが、当該実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８４】
１００    画像処理システム
１０１，１０２    画像処理端末グループ
１０３    画像処理装置グループ
２００    画像処理端末
２１１    画像処理部
２１２    画像圧縮部
２１３    多重化部
２１４    制御部
２１５    認識方法ＩＤ設定部
２１６    認識辞書ＩＤ設定部
３００    画像処理サーバ
３１１    逆多重化部
３１２    画像伸長部
３１３    画像認識部
３１４    認識方法ＩＤ設定部
３１５    認識辞書ＩＤ設定部
３１６    認識辞書切替部
４００    画像処理装置
【図２】
2017068627.tif 000003
【図３】
2017068627.tif 000004
【図４】
2017068627.tif 000005
【図７】
2017068627.tif 000006
【図８】
2017068627.tif 000007
【図９】
2017068627.tif 000008
【図１０】
2017068627.tif 000009
【図１１】
2017068627.tif 000010
【図１３】
2017068627.tif 000011
【図１】
2017068627.tif 000012
【図５】
2017068627.tif 000013
【図６】
2017068627.tif 000014
【図１２】
2017068627.tif 000015