(57)【要約】【課題】画像に映っている物体を群類し、統計処理を行う。【解決手段】  本実施形態に係る情報処理装置は、分類部と統計部と表示処理部とを含む。分類部は、画像に含まれる物体が第１グループに属するか否かを判定する。統計部は、少なくとも、第１グループに属すると判定された物体の第１統計情報および第１グループに属さないと判定された物体の第２統計情報の何れか一つを算出する。表示処理部は、少なくとも、第１統計情報および第２統計情報の何れか一つの表示処理を実行する。【選択図】図１
2018156597.tif 000002
【特許請求の範囲】
【請求項１】
画像に含まれる物体が第１グループに属するか否かを判定する分類部と、
少なくとも、前記第１グループに属すると判定された物体の第１統計情報および前記第１グループに属さないと判定された物体の第２統計情報の何れか一つを算出する統計部と、
少なくとも、前記第１統計情報および前記第２統計情報の何れか一つの表示処理を実行する表示処理部と、
を具備する情報処理装置。
【請求項２】
前記表示処理部は、前記第１グループに属すると判定された物体の画像および前記第１グループに属さないと判定された物体の画像の表示処理を実行する、請求項１に記載の情報処理装置。
【請求項３】
前記分類部は、前記表示処理部によって表示処理が実行された物体が前記第１グループに属するか否かを示す教示情報を取得する、請求項２に記載の情報処理装置。
【請求項４】
前記分類部は、前記教示情報に基づいて、前記画像に含まれる物体を判定する、請求項３に記載の情報処理装置。
【請求項５】
前記表示処理部によって表示処理が実行された物体は、前記第１グループと前記第１グループではないグループとの境界領域に属する物体である、請求項２乃至４の何れか一項に記載の情報処理装置。
【請求項６】
前記境界領域は、前記分類部における尤度情報に基づく領域である、請求項５に記載の情報処理装置。
【請求項７】
画像に含まれる物体が第１グループに属するか否かを判定する分類部と、
少なくとも、前記画像が表す空間における、前記第１グループに属さないと判断された物体の位置情報の表示処理を実行する表示処理部と、
を具備する情報処理装置。
【請求項８】
画像に含まれる物体が第１グループに属するか否かを判定する分類部と、
少なくとも、前記画像が表す空間における、前記第１グループに属さないと判断された物体の数に関する情報の表示処理を実行する表示処理部と、
を具備する情報処理装置。
【請求項９】
第１グループに属すると判定された物体および前記第１グループに属さないと判定された物体から、対象物体を選択する選択部と、
前記選択部によって選択された対象物体が前記第１グループに属するか否かを示す教示情報を取得する取得部と、
を具備する情報処理装置。
【請求項１０】
前記選択された対象物体は、前記第１グループと前記第１グループではないグループとの境界領域に属する物体である、請求項９に記載の情報処理装置。
【請求項１１】
前記境界領域は、前記対象物体を分類した際の尤度情報に基づく領域である請求項１０に記載の情報処理装置。
【請求項１２】
コンピュータを、
撮像装置によって撮影された画像に含まれる物体が第１グループに属するか否かを判定する分類部、
制御装置によって、少なくとも、前記第１グループに属すると判定された物体の第１統計情報および前記第１グループに属さないと判定された物体の第２統計情報の何れか一つを算出する統計部、
少なくとも、前記第１統計情報および前記第２統計情報の何れか一つの表示処理を表示装置に対して実行する表示処理部、
として機能させるためのプログラム。
【請求項１３】
撮像装置によって撮影された画像に含まれる物体が第１グループに属するか否かを判定することと、
制御装置によって、少なくとも、前記第１グループに属すると判定された物体の第１統計情報および前記第１グループに属さないと判定された物体の第２統計情報の何れか一つを算出することと、
少なくとも、前記第１統計情報および前記第２統計情報の何れか一つの表示処理を表示装置に対して実行することと、
を具備する情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、統計処理を行う情報処理装置、プログラム、及び情報処理方法に関する。
【背景技術】
【０００２】
カメラで撮影された画像データから物体を自動抽出し、抽出した物体の移動を追跡する技術がある。このような画像データから抽出された物体を追跡する技術は、例えば、店舗内における顧客の行動の把握などに利用される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−３５３０１号公報
【特許文献２】特開２０１１−１６０４１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本実施形態は、画像データを解析し、画像データに映っている物体の統計処理を行う情報処理装置、プログラム、及び情報処理方法を提供する。
【課題を解決するための手段】
【０００５】
本実施形態に係る情報処理装置は、分類部と統計部と表示処理部とを含む。分類部は、画像に含まれる物体が第１のグループに属するか否かを判定する。統計部は、少なくとも、第１のグループに属すると判定された物体の第１統計情報および第１のグループに属さないと判定された物体の第２統計情報の何れか一つを算出する。表示処理部は、少なくとも、第１の統計情報および第２の統計情報の何れか一つの表示処理を実行する。
【図面の簡単な説明】
【０００６】
【図１】本実施形態に係る情報処理システムの構成を例示するブロック図。
【図２】本実施形態に係る情報処理装置の処理の流れを例示するフローチャート。
【図３】本実施形態に係る顧客の時間ごとの混雑度を例示する棒グラフ。
【図４】本実施形態に係るある時間帯の顧客の流れを例示する図。
【図５】本実施形態に係るある時間帯における顧客の混雑度を例示する図。
【図６】本実施形態に係る情報処理装置のユーザインタフェースの状態遷移を例示するフローチャート。
【図７】本実施形態に係る情報処理装置のメイン画面を例示する図。
【図８】本実施形態に係る情報処理装置の店員と顧客の分類に関する教示情報指示画面を例示する図。
【図９】本実施形態に係る情報処理装置の設定画面を例示する図。
【図１０】本実施形態に係る言語情報テーブルを例示する図。
【発明を実施するための形態】
【０００７】
以下、図面を参照して、発明の実施形態について説明する。なお、以下の説明において、略又は実質的に同一の構成要素及び機能については、同一符号を付し、必要に応じて説明を行う。
【０００８】
本実施形態において、物体は、人物、人物を除く移動物体及び静止物体などを含み、画像データに基づいて認識される目標であるとする。また、本実施形態において、物体を選択するという表現は、画面に表示された物体の画像を選択すること、画面に表示された物体の識別情報を選択すること、などを含む。
本実施形態に係る情報処理装置は、画像データを解析し、画像データに映っている物体を第１のグループと第２のグループとのうちのいずれかに分類し、分類結果に対して統計処理を行う。より具体的には、本実施形態に係る情報処理装置は、画像データに映っている人物の追跡データを生成し、さらに、人物の分類又はタグ付けを行い、特定のカテゴリに属する人物又は特定のタグが付された人物の抽出、追跡、及び、抽出された人物に関する統計データの算出を行う。
【０００９】
本実施形態に係る情報処理装置は、例えば、ある店舗内における顧客動向を解析するために用いられる。店舗内には店員と顧客が混在するため、本実施形態に係る情報処理装置は、まず、カメラで撮影された店舗内の画像データを用いて人物を抽出し、抽出された人物を顧客グループと店員グループのいずれかに分類する。次に、本実施形態に係る情報処理装置は、画像データより得られた人物から店員グループに属する人物を除いて顧客グループに属する人物を抽出し、抽出された顧客グループに属する人物の追跡を行う。これにより、本実施形態に係る情報処理装置は、顧客の行動を認識すること、及び、店舗内の顧客の混雑度などの指標を統計データとして算出することができ、ユーザは統計データに基づいて店舗内における顧客動向を分析することができる。
【００１０】
上述の人物の分類を行う際、分類に用いる情報が不足している場合は、必ずしも正確な分類結果を得られない。この場合、例えば、ユーザは、本実施形態に係る情報処理装置に対して分類に用いる特徴量又は分類結果の正解データを入力することで、分類精度を向上させ、さらに分類結果を用いて算出される統計データの信頼性を向上させることができる。以下、本実施形態に係る情報処理装置の構成及び処理の流れについて詳細に述べる。
【００１１】
本実施形態では、店舗内をカメラで撮影する場合を例として説明している。しかしながら、例えば屋外のイベントの分析、町を歩く歩行者の分析、生物の行動分析などのように、様々な環境における物体の行動又は移動の分析に本実施形態に係る情報処理装置を適用することが可能である。
【００１２】
本実施形態では認識対象を例えば店員又は顧客などの人物としている。しかしながら、認識対象は人物に限定されるものではなく、例えば生物などの人物以外の移動物体、又は、静止物体などでもよい。
【００１３】
図１は、本実施形態に係る情報処理システム１００の構成を例示するブロック図である。
情報処理システム１００は、撮像装置Ｃ、表示装置Ｄ、情報処理装置１を備える。なお、表示装置Ｄは、情報処理装置１に含まれていてもよい。
【００１４】
撮影装置Ｃは、画像データを撮影し、画像データを、有線又は無線通信により、情報処理装置１に送信する。この撮影装置Ｃから情報処理装置１への画像データの送信は、リアルタイムで実行されてもよい。撮像装置Ｃは、例えば監視用カメラでもよい。撮像装置Ｃは、例えば１秒間に数コマ（例えば３０コマ／秒）以上で画像データを連続撮影可能とする。なお、撮像装置Ｃは、情報処理装置１に含まれていてもよい。
撮影装置Ｃは、情報処理装置１から受信したコマンドにしたがって、撮影方向、撮影範囲などを変更可能でもよい。
【００１５】
表示装置Ｄは、例えばディスプレイである。ユーザは、ディスプレイの表示を視覚により認識可能である。表示装置Ｄは、具体的には、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、３次元ディスプレイなど、種々のディスプレイを用いることができる。
【００１６】
情報処理装置１は、据え置き型のコンピュータであってもよく、又は、ユーザが携帯可能なモバイル端末であってもよい。情報処理装置１としては、例えば、デスクトップ型コンピュータ、タブレット型コンピュータ、ノート型コンピュータ、スマートフォン、サーバ装置などが用いられる。
【００１７】
情報処理装置１は、通信部１１、操作受付部１２、記憶部１４、制御部１５を備える。
【００１８】
通信部１１は、撮像装置Ｃと有線又は無線でデータ通信を行うための装置である。通信部１１は、内蔵する通信コントローラを介して、撮像装置Ｃとの間でコマンド、アドレス、データ、信号などを送受信する。なお、本実施形態において、無線通信としては、例えば、Bluetooth（登録商標）、無線ＬＡＮ（Local Area Network）などを用いることができる。
【００１９】
操作受付部１２は、情報処理装置１に対して行われるユーザの操作を受け付け、操作データを制御部１５へ送る。操作受付部１２は、例えばボタンでもよく、ディスプレイに設けられたタッチパネルでもよく、マウスなどのポインティングデバイスでもよく、キーボードでもよい。また、操作受付部１２は、撮影装置Ｃに対するユーザの操作を受け付けてもよい。この場合、操作受付部１２は、操作データを制御部１５へ送信する。制御部１５は操作データを当該操作データに対応するコマンドに変換し、当該コマンドを通信部１１経由で撮影装置Ｃに送信する。
【００２０】
記憶部１４は、情報処理装置１で用いられる各種のデータ、情報、プログラムを記憶する。記憶部１４は、不揮発性メモリを含むが、不揮発性メモリと揮発性メモリとが組み合わされていてもよい。
【００２１】
不揮発性メモリとしては、例えばＳＳＤ（Solid State Disk）、又は、ＨＤＤ（Hard Disk Drive）などの様々なメモリが用いられる。揮発性メモリとしては、例えば、ＤＲＡＭ（Dynamic Random Access Memory）などが用いられる。本実施形態においては、記憶部１４は、アプリケーション１４Ａ、時間情報と関連付けられている画像データ１４Ｂ、使用特徴データ１４Ｃ、統計データ１４Ｄ、特徴説明テーブル１４Ｅを記憶する。
【００２２】
アプリケーション１４Ａは、情報処理装置１上で動作するソフトウェアである。アプリケーション１４Ａが制御部１５によって実行されることによって、制御部１５は本実施形態に係る各種の機能（例えば、後述する画像解析部１５Ａ、統計部１５Ｂ、表示処理部１５Ｃ、教示情報取得部１５Ｄ、特徴説明部１５Ｅ）を実現する。アプリケーション１４Ａは、各種のユーザインタフェースを提供するプログラムを含む。
【００２３】
画像データ１４Ｂは、撮像装置Ｃにより撮影され、例えばデジタルデータとして記憶された画像又は映像ファイルである。画像データ１４Ｂは、例えば複数の画像フレームと当該画像フレームに対応する時間情報とを含む。制御部１５は、撮像装置Ｃから通信部１１を経由して画像データ１４Ｂを受信し、受信した画像データ１４Ｂを記憶部１４に記憶する。
【００２４】
使用特徴データ１４Ｃは、制御部１５が画像データ１４Ｂを解析する際に用いる特徴量を示すデータである。制御部１５は、使用特徴データ１４Ｃで示されている特徴量に基づいて、画像データ１４Ｂに含まれる人物を抽出し、さらに抽出した人物を第１のグループ（例えば特定人物）と第２のグループ（非特定人物）とのいずれかに分類する。
【００２５】
統計データ１４Ｄは、制御部１５によって実行された統計処理の結果（例えば統計量又は値）を含む。統計データ１４Ｄは、例えば平均値、中央値、分散値、標準偏差の値などのメタ情報だけでなく、例えばしきい値などを用いて判断された結果、例えば「混雑している」「接客中である」などの意味づけされた情報などの幅広い情報を含む。また、統計データ１４Ｄは、例えば、第１のグループに関する統計データ、第２のグループに関する統計データ、又は、第１のグループと第２のグループとの関係を示す統計データを含む。制御部１５は、統計データ１４Ｄを算出し、統計データ１４Ｄを記憶部１４に記憶する。
【００２６】
特徴説明テーブル１４Ｅは、使用特徴データ１４Ｃに含まれている特徴量を言語化するために、使用特徴データ１４Ｃに示される特徴量の種別情報と、当該特徴量の特徴、役割、性質を説明した説明情報とを関連付けている。制御部１５は、例えば、画像データより抽出された人物を第１グループと第２のグループとのうちのいずれかに分類する際に寄与した特徴量の種別情報を、特徴説明データ１４Ｅを用いて説明情報に変換し、ユーザに提示する。
【００２７】
制御部１５は、例えば、通信部１１、操作受付部１２、記憶部１４からのコマンドなどに基づいて、各部の諸動作を制御する。制御部１５は、各種のコマンド、各種のデータ、又は、コマンド又はデータに基づいて算出された結果に基づいて、各部を制御し、必要に応じて各部にコマンドなどを送る。
【００２８】
制御部１５は、各部と内部バスＢにより電気的に接続されており、各部と電気的に通信する。つまり、制御部１５は、各部からデータを受け取り、そのデータ又はそのデータに基づいて算出された結果を提供可能である。
【００２９】
制御部１５は、画像解析部１５Ａ、統計部１５Ｂ、表示処理部１５Ｃ、教示情報取得部１５Ｄ、特徴説明部１５Ｅを備える。例えば、制御部１５は、プロセッサでもよく、上述したように、制御部１５は、記憶部１４に格納されているアプリケーション１４Ａを読み出し、実行することで、画像解析部１５Ａ、解析部１５Ｂ、表示処理部１５Ｃ、教示情報取得部１５Ｄ、特徴説明部１５Ｅとして機能する。制御部１５は、ハードウェア回路であり、画像解析部１５Ａ、解析部１５Ｂ、表示処理部１５Ｃ、教示情報取得部１５Ｄ、特徴説明部１５Ｅもハードウェア回路として実現されもよい。
【００３０】
画像解析部１５Ａは、抽出部１５Ａ１と、分類部１５Ａ２とを含む。
抽出部１５Ａ１は、記憶部１４に記憶されている画像データ１４Ｂを読み出し、読み出した画像データ１４Ｂに対し画像処理を実行し、画像データ１４Ｂから人物を抽出する。抽出部１５Ａ１は、抽出結果を示す抽出結果データ１４Ｆを記憶部１４に記憶する。
【００３１】
分類部１５Ａ２は、記憶部１４から抽出結果データ１４Ｆを読み出し、抽出結果データ１４Ｆの示す人物を第１のグループと第２のグループとのいずれかに分類する。分類部１５Ａ２は、例えば、抽出部１５Ａ１によって抽出された人物を、３種以上のグループに分類してもよい。また、第１のグループ又は第２のグループは、さらに複数のカテゴリに分類分類されていてもよい。例えば、分類部１５Ａ２が分類する対象が人物である場合、第１のグループは特定人物であり、第２のグループは非特定人物としてもよい。
【００３２】
分類部１５Ａ２は、分類結果を示す分類結果データ１４Ｇを記憶部１４に記憶する。  
統計部１５Ｂは、記憶部１４に記憶されている分類結果データ１４Ｇを読み出し、分類結果データ１４Ｇの示す分類結果に基づいて統計処理を行い、統計データ１４Ｄを算出し、統計データ１４Ｄを記憶部１４へ記憶する。なお、統計部１５Ｂは、第１のグループの統計データを算出してもよく、第２のグループの統計データを算出してもよく、第１のグループと第２のグループとの双方に対する統計データを算出してもよい。また、頭頸部１５Ｂは、第１のグループの統計データと第２のグループの統計データとの関係、例えば比較結果、差などを算出してもよい。
【００３３】
表示処理部１５Ｃは、統計部１５Ｂの統計処理により得られた統計データ１４Ｄを、表示装置Ｄに表示するための表示処理及びデータ送信を実行する。また、表示処理部１５Ｃは、後で説明する特徴説明部１５Ｅによって得られた結果を表示装置Ｄに表示するための表示処理及びデータ送信も実行する。具体的には、表示処理部１５Ｃは、制御部１５によって取得又は生成された各種のデータ及び記憶部１４に記憶されている各種のデータを、ユーザが認識できる形式で、表示装置Ｄを用いて表示するための表示処理を実行し、データを表示装置Ｄに送信する。表示処理部１５Ｃによって表示処理されるデータには、例えば、制御部１５の制御にしたがって後述するアプリケーション１４Ａによって生成される画面データ及びその他の処理結果データが含まれる。
【００３４】
教示情報取得部１５Ｄは、操作受付部１２によって受け付けられたユーザの操作にしたがって、画像解析部１５Ａの分類部１５Ａ２で用いられる教示情報を取得する。教示情報は、例えば、分類結果の正解データ、サンプル、基準となるデータなどである。より具体的には、教示情報は、例えば、抽出部１５Ａ１により抽出された人物を顧客グループと店員グループとに分類する場合、顧客グループに分類されるべき人物に対応するデータ（画像データ、属性データなど）の指定、又は、店員グループに分類されるべき人物に対応するデータの指定などを含む。教示情報は、例えば後述する教示情報受付画面においてユーザ操作により指定される。しかしながら、教示情報は、あらかじめ情報処理装置１にインプットされていてもよい。
【００３５】
教示情報取得部１５Ｄは、選択部１５Ｄ１を含む。選択部１５Ｄ１は、記憶装置１４に記憶されている分類結果データ１４Ｇを読み出し、分類結果データ１４Ｇに基づいて、第１のグループと第２のグループとに分類された結果の中から、第１のグループと第２のグループとを区分けする分類境界領域（境界を含む所定範囲）に属する人物を選択する。すなわち、選択部１５Ｄ１は、例えば、抽出部１５Ａ１により抽出された人物を顧客グループと店員グループとに分類する場合、店員であるか人物であるかの判定が困難である人物を選択する。より具体的には、例えば、選択部１５Ｄ１は、ある人物の第１グループに属する確率を示す第１の尤度と第２グループに属する確率を示す第２の尤度を算出し、第１の尤度が所定の第１のしきい値より大きい場合に当該人物は第１のグループに属すると判定し、第２の尤度が所定の第２のしきい値よりも大きい場合に当該人物は第２のグループに属すると判定し、当該人物が第１のグループ及び第２のグループのいずれにも属さないと判定する場合に、当該人物は分類境界領域に属すると判定してもよい。また、例えば、選択部１５Ｄ１は、第１の尤度と第２の尤度との差の絶対値が所定のしきい値以下の場合に、当該人物は分類境界領域に属すると判定してもよい。また、選択部１５Ｄ１は、第１の尤度と第２の尤度の比を用いて判定してもよい。本実施形態において、「第１グループに属さない」とは、「第２グループに属すること」および「第１および第２グループの何れにも属さないこと」を含む。第１グループに属するか否かは、第１グループに属する確率を示す第１の尤度を用いて判定してもよい。
【００３６】
特徴説明部１５Ｅは、使用特徴データ１４Ｃの示す特徴量のうち、分類部１５Ａ２における分類に影響の大きい特徴量（分類に寄与した特徴量）を選択し、特徴説明テーブル１４Ｅの中から当該影響の大きい特徴量の説明情報を選択し、表示処理部１５Ｃによる表示処理を用いて表示装置Ｄに選択された説明情報を表示する。これにより、ユーザは分類に寄与した特徴量とその説明を把握することができる。なお、当該影響の大きい特徴量は、例えば、第１のグループと第２のグループとの間で逆相関の関係にある特徴量であってもよく、又は、主成分分析を行うことにより第１のグループと第２のグループそれぞれの特徴空間を形成する特徴量の数を減らした結果、残った特徴量（主成分の特徴量）でもよい。
【００３７】
特徴説明部１５Ｅは、特徴選択部１５Ｅ１と、説明選択部１５Ｅ２とを備える。
【００３８】
特徴選択部１５Ｅ１は、使用特徴データ１４Ｃの中から、分類部１５Ａ２が抽出部１５Ａ１により抽出された人物を第１のグループ及び第２のグループのうちのいずれかに分類する際に、分類に寄与した特徴量を選択する。例えば、選択された特徴量は、第１のグループと第２のグループとの間での差が所定レベル以上であることが好ましい。
【００３９】
説明選択部１５Ｅ２は、特徴説明テーブル１４Ｅに基づき、特徴選択部１５Ｅ１によって選択された特徴量と関連する説明情報を選択する。
【００４０】
図２は、実施形態に係る情報処理装置１の処理の流れを例示するフローチャートである。以下の図２の処理については、当該処理に伴う表示例として図３から図５を参照しつつ説明を行う。
【００４１】
本実施形態において、撮像装置Ｃは、例えばある店舗の天井などに取り付けられ、店員と顧客を撮影可能であるとする。撮像装置Ｃは複数台でもよい。情報処理装置１は、撮像装置Ｃにより撮影された画像データ１４Ｂを通信部１１を経由してリアルタイムに取得し、記憶部１４に記憶する。なお、記憶部１４に格納される画像データ１４Ｂには、今後取得する画像データに加え、すでに取得済の画像データも含まれるとする。
【００４２】
ステップＳ１０１において、制御部１５は、記憶部１４に記憶されている画像データ１４Ｂを読み出す。
【００４３】
ステップＳ１０２において、画像解析部１５Ａの抽出部１５Ａ１は、記憶部１４より読み出した画像データ１４Ｂを解析し、画像データ１４Ｂより物体を抽出する。分類部１５Ａ２は、抽出部１５Ａ１により抽出された人物を特定人物のグループと、非特定人物のグループとに分類する。
【００４４】
以下では、特定人物のグループは店員グループであり、非特定人物のグループは顧客グループであるとして説明する。しかしながら、特定人物のグループ及び非特定人物のグループは、撮像装置Ｃが取り付けられる場所、環境、分析の内容に応じて多様に変化してもよい。
【００４５】
抽出部１５Ａ１及び分類部１５Ａ２が行う画像解析方法には、複数の方法が考えられる。以下、例として２種類の画像解析方法について説明する。
【００４６】
第１の画像解析方法において、情報処理装置１は、店員の位置、服装、顔などの特徴に関する特徴量を含む使用特徴データ１４Ｃを、あらかじめ記憶部１４に記憶する。より具体的には、使用特徴データ１４Ｃは、例えば、店員の位置を表す位置情報、店員の服装などの特徴を表す色情報、店員の検出頻度、店員の顔特徴情報、店員の行動情報のいずれか１つ以上の情報を含む。
【００４７】
位置情報は、例えば、レジなどの店員が固定的に検出される場所の情報、又は、店員のみ入れる特定の場所の情報などである。また、位置情報は、店員に付与したセンサより検出されてもよい。センサは、例えば、無線通信により情報処理装置１へ店員識別情報と位置情報とを送信する。
【００４８】
店員の抽出頻度は、店員と顧客との抽出頻度の違いに着目した特徴量である。すなわち、店員は店舗内に留まるため、同じ店員は何度も抽出される可能性が高いのに対し、顧客は買い物などのために一時的に店舗内に留まるに過ぎないため、同じ顧客は何度も抽出される可能性が低い。画像解析部１５Ａは、抽出頻度の高い人物を、自動で店員の候補として抽出してもよい。
【００４９】
店員の顔特徴情報は、例えば、サンプルとなる店員の顔の画像データである。なお、店員の顔特徴情報は、ユーザが操作受付部１２を用いて表示装置Ｄに表示された画像上で直接指定することで取得可能であってもよい。
【００５０】
店員の行動情報は、店員の行動が顧客に比べてパターン化されやすいことに着目した特徴量である。店員の行動情報は、事前に学習されることが好ましい。例えば、まず店員の作業場所及び作業名が状態として定義される。次に、実際に店員の行動を監視することにより、各状態間の遷移確率が得られる。より具体的には、例えば、第１の状態が「レジ打ち」、第２の状態が「バックヤードでの作業」と定義される場合、学習により第１の状態「レジ打ち」から第２の状態「バックヤードでの作業」に遷移する確率が求められ、さらに、そのまま第１の状態「レジ打ち」に留まる確率が求められる。分類部１５Ａ２は、この各状態間の遷移確率を用いて、ある人物が行動して状態遷移が起こる毎に遷移確率を乗算することにより、その人物が店員である確率を得る。そして、分類部１５Ａ２は、店員である確率が高い人物を店員であると判定する。
【００５１】
なお、店員の行動情報は、事前に学習されなくてもよく、簡単なアルゴリズムにより、ある人物が店員であるか否かを判定してもよい。分類部１５Ａ２は、例えば、抽出頻度の高い人物を自動で店員の候補としてもよい。
【００５２】
抽出部１５Ａ１は、画像データ１４Ｂ内に写る人物領域を抽出する。分類部１５Ａ２は、記憶部１４から読み出した抽出結果データ１４Ｆから得られる人物領域と記憶部１４から読み出した使用特徴データ１４Ｃに含まれる特徴量に基づいて、当該人物領域が店員であるか、顧客であるか否かを判定する。分類には、例えば、パターン認識が用いられてもよい。
【００５３】
第２の画像解析方法において、情報処理装置１は、事前知識なしに、ある人物が店員であるか、顧客であるかを判定する。
【００５４】
分類部１５Ａ２は、例えば、クラスタリング、教師なし学習、多変量解析、計量学習などにより、抽出部１５Ａ１が抽出した人物領域が店員であるか、顧客であるか否かを判別してもよい。多変量解析は、例えば因子分析などである。計量学習は、例えば判別分析などである。
【００５５】
計量学習において、分類部１５Ａ２は、情報処理装置１に入力された学習サンプルごとに店員と顧客とをうまく分類できたか否かを評価しながら、分類精度が高くなる特徴空間を学習する。この際、例えばユーザが指定した特定の学習サンプルの重みを高くしてもよい。この特定の学習サンプルは、例えばユーザが店員と顧客を判別しやすいと感じる学習サンプルである。これにより、指定したサンプルを優先的に分類しようと学習が進み、人間の直感にあった結果が得られやすくなる。
【００５６】
また、分類部１５Ａ２は、計量学習において、半教師学習を用いてもよい。半教師学習では、あらかじめ入力された数パターンの教示情報（店員と顧客との判別結果の正解データ）に加え、未教示の大量のパターン（店員と顧客とを指定していないデータ）が用いられることにより、計量学習の分類性能が向上する。
【００５７】
分類部１５Ａ２は、第１の画像解析方法又は第２の画像解析方法を用いて店員と顧客とに分類した後、特定の店員又は顧客を追跡してもよい。この追跡には、例えば、各画像データの間でパターン認識を行うなどの追跡処理が用いられる。
【００５８】
なお、本実施形態において、分類部１５Ａ２が分類する分類対象は、店員グループと顧客グループの２分類とした。しかしながら、分類対象は、これら以外の分類対象を含んだ３分類以上であってもよい。
【００５９】
ステップＳ１０３において、統計部１５Ｂは、ステップＳ１０２において得られた店員グループと顧客グループとの分類結果を用い、統計データ１４Ｄを算出し、統計データ１４Ｄを記憶部１４に記憶する。
【００６０】
統計データ１４Ｄは、例えば、特定の時間帯又は場所における、顧客グループに対する統計値の時間変化、店員グループに対する統計値の時間変化を含む。より具体的には、統計データ１４Ｄは、顧客又は店員それぞれの人数、顧客又は店員の位置の変化（以下、流れと称す）、性別・年齢などの顧客の属性情報、顧客の混雑度、などを含む。
また、統計データ１４Ｄは、顧客グループに対する統計値の時間変化と店員グループに対する統計値の時間変化との相互関係を含む。より具体的には、例えば、統計データ１４Ｄは、店員と顧客との人数の比率（店員の人数／顧客の人数）を含む。この人数の比率が高い場合は、店員の人数が十分であることを示し、この人数の比率が低い場合は、店員の人数が不足していることを示す。また、統計データ１４Ｄは、店員の稼働率を含む。店員の稼働率は、店員ごとに顧客と接した時間（接客時間）を抽出することにより求められる。さらに、店員と顧客とがレジで接した場合には、顧客が商品を購買したことを認識可能である。統計データ１４Ｄは、この顧客の購買行動に関する情報（購買した人数、購買にかかる時間、空間内での購買する顧客の移動ルートなど）の時間的変化、空間に含まれる複数の小領域ごとの顧客の数の時間変化、を含んでいてもよい。
【００６１】
統計データ１４Ｄは、階層構造、ポインタを用いたリスト構造などで管理されることが好ましい。しかしながら、統計データ１４Ｄは、テーブルにより管理されてもよい。
【００６２】
ステップＳ１０４において、表示処理部１５Ｃは、統計データ１４Ｄを表示装置Ｄに表示するための表示処理を実行する。ここで、統計データ１４Ｄの表示例を、図３〜図５を参照しながら説明する。
【００６３】
表示処理部１５Ｃは、上述の統計データ１４Ｄを、例えば、横軸を時間、縦軸を統計量とするグラフ形式で表示装置Ｄに表示するための表示処理を実行する。表示されるグラフの種類は、例えば、棒グラフ、折れ線グラフなどの一般的なグラフの種類よりユーザが選択してもよく、又は、表示部処理１５Ｃにより統計データ１４Ｄの種類に応じて最適なグラフの種類が選択されてもよい。例えば、図３は、顧客の時間ごとの混雑度を例示する棒グラフである。横軸は時刻を表し、縦軸は人数を表す。
【００６４】
なお、表示処理部１５Ｃは、表示する時間（横軸）のスケールに応じてグラフの統計量（縦軸）のスケールを変化させてもよい。例えば、１日ごとの統計量の推移を表示する場合、縦軸の表示範囲は、１日あたりの統計量の平均値に基づいて決定されてもよい。また、１時間ごとの統計量の推移を表示する場合、縦軸の表示範囲は、１時間あたりの統計量の平均値に基づいて決定されてもよい。また、表示処理部１５Ｃは、時間軸を持たない円グラフ、ヒストグラム、帯グラフ、散布図、その他多様な種類の図の表示が可能である。
【００６５】
図４は、ある時間帯の顧客の流れを例示する図である。顧客の流れ（時間的な位置の変化）は、画像データ１４Ｂが表す空間内における顧客の時間的変化が追跡可能なように図示される。より具体的には、図４に示すように、顧客の流れは、例えば店舗内の模式図上に矢印で表示される。表示処理部１５Ｃは、例えば、人物が多く移動している場合に矢印を太く表示するための処理を実行してもよく、又は、条件に応じて矢印の色を変化させるための処理を実行してもよい。
【００６６】
表示処理部１５Ｃは、顧客の流れを表す図に加え、その時間帯における顧客の典型的な行動を表示するための処理を実行してもよい。典型的な行動は、言語情報として出力される。言語情報の出力方法は、例えばテキスト表示、音声出力などである。典型的な行動は、抽出された全ての行動のうち、最も頻度の高い行動であることが好ましい。図４の例では、「棚７に移動」「棚１０に移動」「レジに移動」などのテキスト又はこれらを組み合わせたテキストを、顧客の流れを表す図とともに表示する。
なお、表示処理部１５Ｃは、店員の流れを表す図、又は、顧客の流れと店員の流れとの双方を表す図を表示してもよい。
【００６７】
図５は、ある時間帯における顧客の混雑度を例示する図である。図５に示すように、混雑度は、例えば、店舗内の模式図を一定の面積ごとに区切った小領域ごとに表示される。表示処理部１５Ｃは、例えば、当該時間帯において店舗に含まれる小領域ごとの顧客の数を集計することにより、小領域ごとの顧客の密度を算出し、算出した密度を模式図上に表示するための処理を実行する。また、例えば、店舗内で顧客の密度が高い場所に対応する小領域は、他の小領域に比べて濃い色で塗りつぶされる。
【００６８】
また、表示処理部１５Ｃは、混雑度とともに、混雑していると判定した時間帯の画像を表示装置Ｄに表示するための処理を実行してもよい。混雑しているか否かは、例えば、店舗内の顧客の人数があらかじめ定義されたしきい値を超えるか否かにより判定される。または、混雑しているか否かは、店舗内の床面積に占める人物が存在する面積の割合が、あらかじめ定義されたしきい値を超えるか否かにより判定されてもよい。
【００６９】
また、表示処理部１５Ｃは、上述のような統計データ１４Ｄの表示に加え、頻出する人物の顔画像を表示装置Ｄに表示するための処理を実行してもよい。
【００７０】
図２のステップＳ１０５において、制御部１５は、操作受付部１２によってユーザから教示情報が指示されたか否かを確認する。教示情報が指示された場合、分類部１５Ａ２は、ステップＳ１０６において、指示された教示情報を用いて店員と顧客との分類境界を更新した分類結果データ１４Ｇを記憶部１４に記憶する。その後、処理はステップＳ１０３に戻り、統計部１５Ｂは、更新後の分類結果データ１４Ｇに基づいて統計データ１４Ｄを再計算する。一方、教示情報が指示されない場合、処理はステップＳ１０７に進む。
【００７１】
なお、教示情報が指示されたか否かの確認（ステップＳ１０５）は、異なるタイミングで行われてもよい。例えば、ステップＳ１０５は、ステップＳ１０２において画像データの分類結果が得られた後、ステップＳ１０３において統計データ１４Ｄが算出される前に行われてもよい。この場合、初めから教示情報により更新された分類境界を用いて、統計データ１４Ｄが算出される（ステップＳ１０３）ため、初めから精度の高い統計データ１４Ｄが表示処理部１５Ｃによって表示装置Ｄに表示される。
【００７２】
ステップＳ１０７において、統計部１５Ｂは、統計データ１４Ｄの正解確認を行う。より具体的には、統計部１５Ｂは、例えば、Ｔ検定、Ｐ検定などを用いて、統計データ１４Ｄが店員と顧客の分類結果に対して統計的に有意であるか否かを判定する。判定の結果、統計的に有意でないと判定された場合は、処理はステップＳ１０５に戻る。この場合、ステップＳ１０５において、制御部１５は、分類境界の変更が指示されるまで待ち状態となり、ステップＳ１０６において、分類部１５Ａ２は、新たに指定された分類境界を用いて分類結果データ１４Ｇを更新し、ステップＳ１０３において、統計部１５Ｂは、統計データ１４Ｄを再計算する。一方、統計的有意と判定された場合は、処理は終了する。
【００７３】
図６は、本実施形態に係る情報処理装置１のユーザインタフェースの状態遷移を例示するフローチャートである。以下、図７〜図９に示すユーザインタフェース画面の例を参照しつつ、ユーザインタフェースの各状態について説明する。
【００７４】
ステップＳ３０１において、制御部１５の表示処理部１５Ｃは、表示装置Ｄにメイン画面を表示するための処理を実行する。図７は、メイン画面を例示する図である。メイン画面は、例えば、撮像装置Ｃより受信した画像データをリアルタイムに表示する画像表示Ｕ１と、メニュー表示Ｕ２とを含む。メニュー表示Ｕ２は、統計データ画面に遷移するための統計データ表示ボタンＵ２Ａ、教示情報取得画面に遷移するための教示情報指示ボタンＵ２Ｂ、設定画面に遷移するための設定ボタンＵ２Ｃを含む。
【００７５】
画像解析部１５Ａは、ユーザ操作の有無に関わらず、撮像装置Ｃより画像データ１４Ｂを受信する毎に、当該画像データ１４Ｂの解析を行うことが好ましい。画像データ１４Ｂの取得及び解析は、図２のステップＳ１０１，Ｓ１０２の処理に該当する。
【００７６】
ステップＳ３０２において、制御部１５は、ユーザにメニュー表示Ｕ２の各メニューのうちいずれかを選択させる。
【００７７】
ステップＳ３０２において統計データ表示ボタンＵ２Ａが選択された場合、ステップＳ３０３において、制御部１５の表示処理部１５Ｃは、表示装置Ｄに統計データ画面を表示するための処理を実行する。より具体的には、統計部１５Ｂは、画像解析部１５Ａによる画像解析結果に基づいて統計データ１４Ｄを算出し、表示処理部１５Ｃは、算出された統計データ１４Ｄを表示装置Ｄに表示するための処理を実行する。統計データ１４Ｄの解析及び表示は、図２のステップＳ１０３，Ｓ１０４の処理に該当する。統計データ画面は、例えば、上述の図３乃至図５に示す画面である。統計データ画面が終了された場合、処理はメイン画面表示（ステップＳ３０１）に戻る。
【００７８】
ステップＳ３０２において教示情報指示ボタンＵ２Ｂが選択された場合、ステップＳ３０４において、制御部１５の表示処理部１５Ｃは、表示装置Ｄに教示情報指示画面を表示するための処理を実行する。図８は、店員と顧客の分類に関する教示情報指示画面を例示する図である。教示情報指示画面において、教示情報取得部１５Ｄは、分類の境界領域（境界を含む所定の範囲）に属する人物の情報をユーザに提示し、当該人物をユーザに分類させた結果を教示情報として取得する。
【００７９】
図８の例では、店員グループと顧客グループの分類境界から遠い人物、すなわち、店員グループに属するか顧客グループに属するかの区別が容易な人物の顔画像又は人物像が、表示装置Ｄの画面の左右に分けて表示される。当該画面の左側に店員候補リストＵ３Ａ、右側に顧客候補リストＵ３Ｂが表示される。
【００８０】
また、教示情報取得部１５Ｄの選択部１５Ｄ１は、分類部１５Ａ２により店員であるか顧客であるかの分類が困難であると判定された人物の顔画像又は人物像を選択し、当該画面の境界人物リストＵ３Ｃに表示させる。
【００８１】
なお、境界人物リストＵ３Ｃに表示される人物は、その人物が抽出された時間と場所により、制限されてもよい。例えば、選択部１５Ｄ１は、分類が困難であると判定された人物がレジを示す領域の中で抽出されていた場合は、顧客ではないと判定し、境界人物リストＵ３Ｃには表示しないとしてもよい。
【００８２】
ステップＳ３０５において、教示情報取得部１５Ｄは、ユーザに境界人物リストＵ３Ｃを分類させる。教示情報取得部１５Ｄは、操作受付部１２を用いて受け付けられたユーザの操作に従い、境界人物リストＵ３Ｃの各人物矩形を店員候補リストＵ３Ａ及び顧客候補リストＵ３Ｂのどちらかに移動することにより、境界人物リストＵ３Ｃの人物を店員グループと顧客グループのいずれかに分類する。ユーザの操作は、例えば、マウスを用いたドラッグアンドドロップ操作、タッチパネルによるドラッグ操作などである。教示情報取得部１５Ｄは、この分類結果を分類に対する正解データ、すなわち教示情報として取得する。分類が完了した境界人物リストＵ３Ｃの人物は、境界人物リストＵ３Ｃより削除される。
【００８３】
ステップＳ３０６において、教示情報取得部１５Ｄは、境界人物リストＵ３Ｃが空であるか否かを確認する。境界人物リストＵ３Ｃが空でない場合は、ステップＳ３０６に戻り、再び境界人物リストＵ３Ｃ内の人物矩形をユーザに分類させる。境界人物リストＵ３Ｃが空の場合、例えば、教示情報取得部１５Ｄは、画像解析部１５Ａに再分類が完了した旨を通知し、統計部１５Ｂに統計データ１４Ｄを再計算させる。すなわち、分類部１５Ａ２は、取得した教示情報に基づいて、分類境界を更新する。換言すれば、分類部１５Ａ２は、選択部１５Ｄ１によって選択された人物が店員グループと顧客グループのいずれに属するかを示すユーザからの指定に基づいて、分類境界を更新する。そして、分類部１５Ａ２は、更新された分類境界に基づいて店員グループと顧客グループとを再分類する。統計部１５Ｂは、更新された分類結果に基づいて統計データ１４Ｄの再計算を行う。さらに、表示処理部１５Ｃは、算出された統計データ１４Ｄを表示装置Ｄに再表示するための処理を実行する。これら処理は、図２のステップＳ１０３〜Ｓ１０６の処理に該当する。
【００８４】
なお、表示処理部１５Ｃは、教示情報取得部１５Ｄによって実行される教示情報の取得のために、境界人物リストＵ３Ｃに表示された人物の分類をユーザに促す旨のメッセージを、表示装置Ｄに表示するための処理を実行してもよい。
【００８５】
ステップＳ３０４〜Ｓ３０６を繰り返すことにより、統計部１５Ｂの学習が進み、より精度の高い統計データ１４Ｄが得られる。教示情報指示画面が終了された場合、処理はメイン画面表示（ステップＳ３０１）に戻る。
【００８６】
教示情報指示画面の画面構成は、上述のものに限られない。例えば、店員候補リストＵ３Ａと顧客候補リストＵ３Ｂは、上下に分けて表示されてもよい。また、境界人物リストＵ３Ｃは、店員候補リストＵ３Ａと顧客候補リストＵ３Ｂの間に表示されてもよい。
【００８７】
ステップＳ３０２において設定ボタンＵ２Ｃが選択された場合、ステップＳ３０５において、制御部１５の表示処理部１５Ｃは、表示装置Ｄに設定画面を表示するための処理を実行する。図９は、設定画面を例示する図である。設定画面において、ユーザは、統計データ１４Ｄの算出のための設定、その他情報処理装置１に関する設定を行う。
【００８８】
図９の例では、統計処理の対象とするデータの集計期間を入力する期間表示Ｕ４Ａ、統計処理の対象とする分類を選択する分類表示Ｕ４Ｂ、表示する統計データ１４Ｄの種類を選択する種類表示Ｕ４Ｃなどが表示される。例えば、ユーザは、統計処理の結果を示す統計データ１４Ｄに店員を含めたくない場合は分類表示Ｕ４Ｂにおいて顧客のみを対象とする旨の選択を行う。また、ユーザは、種類表示Ｕ４Ｃにおいて、表示させたい統計データ１４Ｄの種類を、複数種類選択可能である。なお、図９の設定画面は例示であり、設定画面は他の表示形式により表示されてもよく、又は、他の表示内容を含んでいてもよい。
【００８９】
設定画面が終了された場合、処理はメイン画面表示（ステップＳ３０１）に戻る。
【００９０】
なお、図６〜図９では、人物を分類する場合におけるユーザインタフェースを例示したが、人物以外の物体を分類する場合においても同様のユーザインタフェースを適用可能である。
【００９１】
図１０は、実施形態に係る特徴説明テーブル１４Ｅを例示する図である。  
制御部１５の特徴説明部１５Ｅは、情報処理装置１のユーザインタフェース内で、分類部１５Ａ２が人物を店員と顧客とに分類する際に寄与した特徴量の説明情報を選択し、表示処理部１５Ｃは、選択された説明情報を表示装置Ｄを用いて表示するための処理を実行する。ユーザインタフェースは、例えば、統計データ表示（図３〜図５）、教示情報指示画面などである。説明情報は、表示ではなく、例えば、音声出力されてもよい。特徴説明部１５Ｅは、あらかじめ記憶部１４に記憶された特徴説明テーブル１４Ｅ用いて、使用特徴データ１４Ｃに含まれている特徴量に対応する説明情報を選択する。
【００９２】
特徴説明テーブル１４Ｅは、使用特徴データ１４Ｃに含まれている特徴量と説明情報とをテーブル形式で関連付けている。例えば、使用特徴データ１４Ｃが服の色、服の種類、帽子の有無、アクセサリの種類などで構成されるｎ次元のベクトルであるとする。この場合、特徴説明テーブル１４Ｅは、使用特徴データ１４Ｃの次元ごとに説明情報を対応づけたｎ個のテーブルを含む。図１０の例では、テーブルＴ１により、使用特徴データ１４Ｃのうち服の色を示す特徴が、説明情報と関連付けられる。また、テーブルＴ２により、使用特徴データ１４Ｃのうち服の種類を示す特徴が、説明情報と関連付けられる。0xは１６進数であることを示す接頭記号である。
【００９３】
特徴説明部１５Ｅは、店員と顧客の分類に寄与した特徴量をキーとして特徴説明テーブル１４Ｅから当該特徴量に対応する説明情報を選択する。例えば、使用特徴データ１４Ｃに含まれる（0x100, 0x202）が分類結果に大きく影響を与えている場合には、説明情報「赤い服」「ジャケット」が選択される。
【００９４】
以上説明した本実施形態においては、情報処理装置１の画像解析部１５Ａは、画像データ１４Ｂに対して画像処理を実行し、例えば特定人物と非特定人物など第１のグループと第２のグループとのいずれかに人物を分類する。統計部１５Ｂは、この分類結果に基づいて、統計データ１４Ｄを算出する。また、画像解析部１５Ａは、境界領域の指示された教示情報に基づいて分類境界及び分類結果を更新し、統計部１５Ｂは、この更新された分類結果に基づいて統計情報を再計算する。これらの処理を繰り返すことにより、ユーザは精度の高い統計データ１４Ｄを得ることができる。
【００９５】
また、教示情報取得部１５Ｄは、情報処理装置１のユーザインタフェースを介してインタラクティブに教示情報を取得する。これにより、ユーザが容易に教示情報を指示可能であるため、ユーザの利便性が向上する。
【００９６】
本実施形態においては、ユーザが統計処理を行う対象のグループを選択可能である。これにより、情報処理装置１は、ユーザが選択したグループのみを対象とした統計処理を実行し、統計結果を提示可能である。
【００９７】
本実施形態において、情報処理装置１の表示処理部１５Ｃは、統計データ１４Ｄを、横軸を時間、縦軸を統計量とするグラフを用いて表示装置Ｄに表示するための処理を実行する。時間情報が用いられることで、ユーザが統計量の変化点を認知しやすく、統計量のトレンドを予測しやすくなる。また、情報処理装置１は、監視映像と連携する場合に、時間軸を参照することにより、監視映像に含まれる所望の期間の映像へアクセスしやすくなる。
【００９８】
本実施形態においては、第１の画像解析方法において、ユーザが店員の顔特徴情報を事前に設定した場合、表示処理部１５Ｃは、その顔特徴情報に似ている人物を表示装置Ｄに表示するための処理を実行してもよい。さらに、表示処理部１５Ｃは、当該人物の追跡動画を表示装置Ｄに表示するための処理を実行してもよい。これにより、情報処理装置１は、特定の人物の追跡結果をユーザに提示可能となる。
【００９９】
本実施形態においては、分類において重要とされた特徴量がどのようなものか、ユーザが容易に認識することができる。
【０１００】
本実施形態において、店員の行動情報の学習は、データの持つ意味がラベルとして付与されたメタ情報を用いて行われてもよい。
【０１０１】
本実施形態において、使用特徴データ１４Ｃは、使用特徴データ１４Ｃの各要素の持つ意味がラベルとして付与されたメタ情報の集合であってもよい。この場合、使用特徴データ１４Ｃの説明は、特徴説明テーブル１４Ｅを用いることなく、各要素のラベルを表示することにより行われてもよい。
本実施形態においては、分類部１５Ａ２によって分類された結果得られた複数のグループのうち１つのみが統計部１５Ｂの統計処理の対象となってもよく、複数のグループのうちの２以上のグループが統計部１５Ｂの統計処理の対象となってもよい。また、１つのグループのみの画像又は統計情報が表示処理部１５Ｃの表示処理の対象となってもよく、２以上のグループの画像又は統計情報が表示処理部１５Ｃの表示処理の対象となってもよい。
【０１０２】
本発明の実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１０３】
１…情報処理装置、１１…通信部、１２…操作受付部、１４…記憶部、１４Ａ…アプリケーション、１４Ｂ…画像データ、１４Ｃ…特徴量、１４Ｄ…統計データ、１４Ｅ…特徴説明テーブル、１４Ｆ…抽出結果データ、１４Ｇ…分類結果データ、１５…制御部、１５Ａ…画像解析部、１５Ａ１…抽出部、１５Ａ２…分類部、１５Ｂ…統計部、１５Ｃ…表示処理部、１５Ｄ…教示情報取得部、１５Ｅ…特徴説明部、１５Ｅ１…特徴選択部、１５Ｅ２…説明選択部、Ｂ…内部バス、Ｃ…撮像装置、Ｄ…表示装置。
【図１】
2018156597.tif 000003
【図２】
2018156597.tif 000004
【図３】
2018156597.tif 000005
【図４】
2018156597.tif 000006
【図５】
2018156597.tif 000007
【図６】
2018156597.tif 000008
【図７】
2018156597.tif 000009
【図８】
2018156597.tif 000010
【図９】
2018156597.tif 000011
【図１０】
2018156597.tif 000012
【手続補正書】
【提出日】平成30年2月5日(2018.2.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像に含まれる物体が第１グループに属するか否かを判定する分類部と、  少なくとも、前記第１グループに属すると判定された物体の第１統計情報および前記第１グループに属さないと判定された物体の第２統計情報の何れか一つを算出する統計部と、
前記分類部の判定で用いられる特徴量の種別情報と前記特徴量に関連する説明情報とを関連付けた特徴説明情報を記憶する記憶部と、
前記分類部の判定で用いられる前記特徴量の中から、前記分類部における判定に寄与した第１の特徴量を選択し、前記特徴説明情報の中から、前記第１の特徴量に関連する第１の説明情報を選択する特徴説明部と、
少なくとも、前記第１統計情報および前記第２統計情報の何れか一つと、前記第１の説明情報との表示処理を実行する表示処理部と、
を具備する情報処理装置。
【請求項２】
前記表示処理部は、前記第１グループに属すると判定された物体の画像および前記第１グループに属さないと判定された物体の画像の表示処理を実行する、請求項１の情報処理装置。
【請求項３】
前記分類部は、前記表示処理部によって表示処理が実行された物体が前記第１グループに属するか否かを示す教示情報を取得する、請求項２の情報処理装置。
【請求項４】
前記分類部は、前記教示情報に基づいて、前記画像に含まれる物体を判定する、請求項３の情報処理装置。
【請求項５】
前記表示処理部によって表示処理が実行された物体は、前記第１グループと前記第１グループではないグループとの境界領域に属する物体である、請求項２乃至４の何れか一項の情報処理装置。
【請求項６】
前記境界領域は、前記分類部における尤度情報に基づく領域である、請求項５の情報処理装置。
【請求項７】
画像に含まれる物体が第１グループに属するか否かを判定する分類部と、
前記分類部の判定で用いられる特徴量の種別情報と前記特徴量に関連する説明情報とを関連付けた特徴説明情報を記憶する記憶部と、
前記分類部の判定で用いられる前記特徴量の中から、前記分類部における判定に寄与した第１の特徴量を選択し、前記特徴説明情報の中から、前記第１の特徴量に関連する第１の説明情報を選択する特徴説明部と、
少なくとも、前記画像が表す空間における、前記第１グループに属さないと判断された物体の位置情報と、前記第１の説明情報との表示処理を実行する表示処理部と、
を具備する情報処理装置。
【請求項８】
画像に含まれる物体が第１グループに属するか否かを判定する分類部と、
前記分類部の判定で用いられる特徴量の種別情報と前記特徴量に関連する説明情報とを関連付けた特徴説明情報を記憶する記憶部と、
前記分類部の判定で用いられる前記特徴量の中から、前記分類部における判定に寄与した第１の特徴量を選択し、前記特徴説明情報の中から、前記第１の特徴量に関連する第１の説明情報を選択する特徴説明部と、
少なくとも、前記画像が表す空間における、前記第１グループに属さないと判断された物体の数に関する情報と、前記第１の説明情報との表示処理を実行する表示処理部と、
を具備する情報処理装置。
【請求項９】
前記第１グループに属すると判定された物体および前記第１グループに属さないと判定された物体から、対象物体を選択する選択部と、
前記選択部によって選択された対象物体が前記第１グループに属するか否かを示す教示情報を取得する取得部と、
をさらに具備する請求項１乃至８の何れか一項の情報処理装置。
【請求項１０】
前記選択された対象物体は、前記第１グループと前記第１グループではないグループとの境界領域に属する物体である、請求項９の情報処理装置。
【請求項１１】
前記境界領域は、前記対象物体を分類した際の尤度情報に基づく領域である請求項１０の情報処理装置。
【請求項１２】
コンピュータを、
撮像装置によって撮影された画像に含まれる物体が第１グループに属するか否かを判定する分類部、
制御装置によって、少なくとも、前記第１グループに属すると判定された物体の第１統計情報および前記第１グループに属さないと判定された物体の第２統計情報の何れか一つを算出する統計部、
前記分類部の判定で用いられる特徴量の種別情報と前記特徴量に関連する説明情報とを関連付けた特徴説明情報を記憶する記憶部、
前記分類部の判定で用いられる前記特徴量の中から、前記分類部における判定に寄与した第１の特徴量を選択し、前記特徴説明情報の中から、前記第１の特徴量に関連する第１の説明情報を選択する特徴説明部、
少なくとも、前記第１統計情報および前記第２統計情報の何れか一つと、前記第１の説明情報との表示処理を表示装置に対して実行する表示処理部、
として機能させるためのプログラム。
【請求項１３】
コンピュータの分類部が、撮像装置によって撮影された画像に含まれる物体が第１グループに属するか否かを判定することと、
前記コンピュータの統計部が、少なくとも、前記第１グループに属すると判定された物体の第１統計情報および前記第１グループに属さないと判定された物体の第２統計情報の何れか一つを算出することと、
前記コンピュータの特徴説明部が、前記分類部の判定で用いられる前記特徴量の中から、前記分類部における判定に寄与した第１の特徴量を選択し、記憶装置に記憶されており前記分類部の判定で用いられる特徴量の種別情報と前記特徴量に関連する説明情報とを関連付けた特徴説明情報の中から、前記第１の特徴量に関連する第１の説明情報を選択することと、
前記コンピュータの表示処理部が、少なくとも、前記第１統計情報および前記第２統計情報の何れか一つと、前記第１の説明情報との表示処理を表示装置に対して実行することと、
を具備する情報処理方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
本実施形態に係る情報処理装置は、分類部と統計部と記憶部と特徴説明部と表示処理部とを含む。分類部は、画像に含まれる物体が第１のグループに属するか否かを判定する。統計部は、少なくとも、第１のグループに属すると判定された物体の第１統計情報および第１のグループに属さないと判定された物体の第２統計情報の何れか一つを算出する。記憶部は、分類部の判定で用いられる特徴量の種別情報と特徴量に関連する説明情報とを関連付けた特徴説明情報を記憶する。特徴説明部は、分類部の判定で用いられる特徴量の中から、分類部における判定に寄与した第１の特徴量を選択し、特徴説明情報の中から、第１の特徴量に関連する第１の説明情報を選択する。表示処理部は、少なくとも、第１の統計情報および第２の統計情報の何れか一つと、第１の説明情報との表示処理を実行する。