(57)【要約】 【課題】他との差異をクエリとした検索を可能にしつつ、検索入力に自由度を持たせることが可能な検索装置、表示装置および検索方法を提供する。【解決手段】実施形態の検索装置は、クエリ取得部と評価方法決定部と評価部とを備える。クエリ取得部は、相対的な表現を含む第１のクエリを取得する。評価方法決定部は、第１のクエリに応じて、検索対象の評価方法を決定する。評価部は、評価方法決定部により決定された評価方法で、検索対象を評価する。【選択図】図３
2018081654.tif 000002
【特許請求の範囲】
【請求項１】
相対的な表現を含む第１のクエリを取得するクエリ取得部と、
前記第１のクエリに応じて、検索対象の評価方法を決定する評価方法決定部と、
前記評価方法決定部により決定された前記評価方法で、前記検索対象を評価する評価部と、を備える、
検索装置。
【請求項２】
前記評価方法決定部は、前記第１のクエリに応じて、前記検索対象を評価するための評価パラメータを決定する、
請求項１に記載の検索装置。
【請求項３】
前記評価パラメータは、前記検索対象の属性または行動に関する特徴量の統計データである、
請求項２に記載の検索装置。
【請求項４】
前記評価方法決定部は、
前記評価パラメータとして決定した前記統計データに対応する前記検索対象の特徴量が、該統計データの基準軸から離れるほど、該検索対象に対して高い評価値を与えるよう、前記評価値の与え方を決定する、
請求項３に記載の検索装置。
【請求項５】
前記評価方法決定部は、ワードと、属性または行動と、前記評価値が大きくなる方向との対応関係を示す対応情報と、前記第１のクエリとに基づいて、前記第１のクエリに対応する前記評価パラメータおよび前記評価値の与え方を決定する、
請求項４に記載の検索装置。
【請求項６】
前記評価部は、
複数の前記検索対象ごとに、前記評価方法決定部により決定された前記評価パラメータに対応する該検索対象の特徴量と、前記評価パラメータと、に基づいて前記評価値を決定し、前記評価値が最大となる前記検索対象を評価結果として少なくとも決定する、
請求項４または５に記載の検索装置。
【請求項７】
前記クエリ取得部は、前記第１のクエリと、絶対的な表現を含む第２のクエリと、を含むクエリを取得し、
前記評価方法決定部は、前記クエリを解析して、前記第１のクエリに対応する前記統計データを示す第１の評価パラメータと、前記第２のクエリに対応する前記統計データを示す第２の評価パラメータと、を決定し、
前記評価部は、
前記検索対象ごとに、前記第１の評価パラメータに基づく評価値を示す第１の評価値と、前記第２の評価パラメータに基づく評価値を示す第２の評価値とを決定し、前記第１の評価値と前記第２の評価値とに基づいて該検索対象の最終評価値を決定し、前記最終評価値が最大となる前記検索対象を評価結果として少なくとも決定する、
請求項３に記載の検索装置。
【請求項８】
前記評価方法決定部は、
前記第１の評価パラメータに対応する前記検索対象の特徴量が前記第１の評価パラメータの基準軸から離れるほど、該検索対象に対して高い前記第１の評価値を与え、前記第２の評価パラメータに対応する前記検索対象の特徴量が、前記第２のクエリに対応する特徴量に近いほど、該検索対象に対して高い前記第２の評価値を与えるよう、評価値の与え方を決定する、
請求項７に記載の検索装置。
【請求項９】
前記評価部による評価結果を表示する制御を行う表示制御部をさらに備える、
請求項１乃至８のうちの何れか１項に記載の検索装置。
【請求項１０】
相対的な表現を含む第１のクエリを取得するクエリ取得部と、
前記第１のクエリに応じて決定される評価方法による検索対象の評価結果を表示する制御を行う表示制御部と、を備える、
表示装置。
【請求項１１】
相対的な表現を含む第１のクエリを取得するクエリ取得ステップと、
前記第１のクエリに応じて、検索対象の評価方法を決定する評価方法決定ステップと、
前記評価方法決定ステップにより決定された前記評価方法で、前記検索対象を評価する評価ステップと、を含む、
検索方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、検索装置、表示装置および検索方法に関する。
【背景技術】
【０００２】
服装や行動を用いて検索を行う人物検索システムでは、他人との差異をクエリとして入力したいことがある。その場にいる人物に対して、他人と異なる服装や行動を特徴として人物を検索する。例えば、スーツを着た人物が往来する場所で、「ラフな格好をした人物」といったクエリで検索する例が挙げられる。しかしながら、従来においては、他との差異をクエリとした検索を可能にしつつ、検索入力に自由度を持たせる仕組みは存在しなかった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５６６４５５３号公報
【特許文献２】特許第５５７４６９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする課題は、他との差異をクエリとした検索を可能にしつつ、検索入力に自由度を持たせることが可能な検索装置、表示装置および検索方法を提供することである。
【課題を解決するための手段】
【０００５】
実施形態の検索装置は、クエリ取得部と評価方法決定部と評価部とを備える。クエリ取得部は、相対的な表現を含む第１のクエリを取得する。評価方法決定部は、第１のクエリに応じて、検索対象の評価方法を決定する。評価部は、評価方法決定部により決定された評価方法で、検索対象を評価する。
【図面の簡単な説明】
【０００６】
【図１】第１の実施形態の検索システムの構成を示す図。
【図２】第１の実施形態の検索装置のハードウェアの構成を示す図。
【図３】第１の実施形態の検索装置が有する機能を示す図。
【図４】第１の実施形態の抽出部により抽出される特徴量を説明するための図。
【図５】第１の実施形態の属性テーブルを示す図。
【図６】第１の実施形態の行動テーブルを示す図。
【図７】第１の実施形態の属性／行動内容テーブルを示す図。
【図８】第１の実施形態の評価軸テーブルを示す図。
【図９】第１の実施形態の属性の上位概念と下位概念の関係を示す図。
【図１０】第１の実施形態のキーワード変換テーブルを示す図。
【図１１】第１の実施形態における第１のクエリの解析および変換結果を示す図。
【図１２】第１の実施形態における評価結果の表示の一例を示す図。
【図１３】第１の実施形態における評価結果の表示の一例を示す図。
【図１４】第１の実施形態における評価結果の表示の一例を示す図。
【図１５】第１の実施形態における評価結果の表示の一例を示す図。
【図１６】第３の実施形態の属性テーブルを示す図。
【図１７】第３の実施形態の属性／行動内容テーブルを示す図。
【図１８】第３の実施形態のキーワード変換テーブルを示す図。
【図１９】第４の実施形態の属性テーブルを示す図。
【図２０】第４の実施形態の行動テーブルを示す図。
【図２１】第４の実施形態の属性／行動内容テーブルを示す図。
【図２２】第４の実施形態の評価軸テーブルを示す図。
【図２３】第４の実施形態のキーワード変換テーブルを示す図。
【発明を実施するための形態】
【０００７】
以下、添付図面を参照しながら、実施形態に係る検索装置、表示装置および検索方法の実施形態を詳細に説明する。
【０００８】
（第１の実施形態）
図１は、本実施形態の検索システム１の概略構成の一例を示す図である。図１に示すように、検索システム１は、カメラ１０と、検索装置２０と、を含む。図１の例では、検索システム１に含まれるカメラ１０の台数は１台であるが、これに限らず、複数のカメラ１０が含まれる形態であってもよい。カメラ１０と検索装置２０は、無線または有線で相互に接続されている。なお、カメラ１０と検索装置２０との組み合わせが「検索装置」であると考えてもよい。
【０００９】
本実施形態では、カメラ１０により撮像された画像に写り込んだ人物が検索対象である場合を例に挙げて説明するが、後述の他の実施形態でも説明するように、検索対象は人物に限られるものではない。検索装置２０は、カメラ１０により撮像された画像群から人物領域（人物が写り込んだ領域）を検出し、各人物の服装や服飾品、部位ごとに領域分割したのちに、各領域の属性を認識し、これを特徴量として、統計処理をする。また、検索装置２０は、クエリの入力を受け付け、その受け付けたクエリを解析し、検索対象（この例では人物）の評価方法を決定する。評価方法は、個に帰属するクエリ（絶対的な表現を含むクエリ）であれば、クエリに対応する特徴量に近い特徴量を有する検索対象ほど高い評価値を付与し、他との差異を記述したクエリ（相対的な表現を含むクエリ）であれば、クエリに対応する特徴量の統計データの基準値（例えば平均値）から離れた特徴量を有する検索対象ほど高い評価値を付与する。つまり、本実施形態では、他との差異を記述したクエリ（相対的な表現を含むクエリ）を受け付けた場合、該クエリに応じて、検索対象を評価するための評価パラメータ（属性や行動に関する特徴量の統計データ）を決定（可変に決定）する。そして、その決定した統計データに基づく評価を行って、評価結果を出力する（クエリに対する応答を出力する）。以下、検索装置２０の具体的な内容を説明する。
【００１０】
図２は、検索装置２０のハードウェア構成の一例を示す図である。図２に示すように、検索装置２０は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、Ｉ／Ｆ部２０４と、操作部２０５と、表示部２０６とを備える。
【００１１】
ＣＰＵ２０１は、検索装置２０の動作を統括的に制御する。ＣＰＵ２０１は、ＲＡＭ２０３の所定の領域を作業領域として、ＲＯＭ２０２に記録された各種制御プログラムを実行して、検索装置２０が有する各種の機能を実現させる。検索装置２０が有する機能の具体的な内容については後述する。
【００１２】
ＲＯＭ２０２は、検索装置２０に関わるプログラムや各種設定情報などを記憶する不揮発性のメモリ（書き換え不可能なメモリ）である。
【００１３】
ＲＡＭ２０３は、例えばＳＤＲＡＭなどの記憶手段であって、ＣＰＵ２０１の作業エリアとして機能し、バッファなどの役割を果たす。
【００１４】
Ｉ／Ｆ部２０４は、カメラ１０等の外部機器と接続するためのインタフェースである。操作部２０５は、ユーザーの操作を受け付けるためのデバイスであり、マウスやキーボードなどで構成される。表示部２０６は、検索装置２０に関する各種の情報を表示するデバイスであり、例えば液晶ディスプレイなどで構成される。なお、操作部２０５と表示部２０６とが一体的に構成される（例えばタッチパネルとして構成される）形態であってもよい。
【００１５】
図３は、検索装置２０が有する機能の一例を示す図である。図３に示すように、検索装置２０は、画像取得部２１１と、抽出部２１２と、統計データ生成部２１３と、クエリ取得部２１４と、評価方法決定部２１５と、評価部２１６と、表示制御部２１７とを有する。なお、図３の例では、本実施形態に関する機能を主に例示しているが、検索装置２０が有する機能はこれらに限られるものではない。本実施形態では、画像取得部２１１、抽出部２１２、統計データ生成部部２１３、クエリ取得部２１４、評価方法決定部２１５、評価部２１６、表示制御部２１７の各々の機能は、ＣＰＵ２０１がＲＯＭ２０２等に格納されたプログラムを実行することにより実現されるが、これに限らず、例えばこれらの機能のうちの少なくとも一部が専用のハードウェア回路（半導体集積回路等）で実現されてもよい。また、検索装置２０の一部または全てがサーバに存在する形態であってもよい。
【００１６】
画像取得部２１１は、カメラ１０で撮像された画像を取得する。この例では、画像取得部２１１は、時間的に連続する複数の画像を取得する。
【００１７】
抽出部２１２は、画像取得部２１１により取得された画像を用いて、検索対象ごとに、属性または行動に関する特徴量を抽出する。本実施形態では、抽出部２１２は、画像取得部２１１により取得された画像に写り込んだ人物ごとに、属性または行動に関する特徴量を抽出する。この例では、抽出部２１２は、画像取得部２１１により取得された画像から人物領域を検出し、検出した人物領域を、服装、服飾品、部位ごとに分離し、分離した領域ごとに特徴量を出力する。また、抽出部２１２は、時系列の人物領域から、人物の行動を認識し、特徴量として出力することもできる。
【００１８】
以下、抽出部２１２による処理の具体的な内容を説明する。まず、抽出部２１２は、画像取得部２１１により取得された画像から人物を検出する。人物の検出方法は任意であるが、例えば、非特許文献「T. Watanabe et al.: Co-occurrence histograms of oriented gradients for pedestrian detection, 2009.」に開示された手法を用いて検出してもよいが、これに限らず、公知の様々な技術を利用可能である。通常、人物は、時系列に取得された複数の画像にわたって映っており、複数の見え方で撮像される。複数枚の見え方から情報を解析することで、検索の性能を向上することができる。時系列に撮像された画像から同一人物の画像を対応付けることによって、複数枚から特徴量を抽出できる。ただし、これに限らず、１枚の画像から人物の特徴量を抽出する形態であっても構わない。同一人物の対応付けは、例えば、非特許文献「V. Q. Pham et al.: DIET: Dynamic Integration of Extended Tracklets for Tracking Multiple Persons, 2014.」に開示された手法を用いてもよい。また、複数のカメラ１０の各々で撮像された画像のうち、同一の人物が写り込んだ画像（人物領域）を対応付ける方法もある（例えば非特許文献「井尻善久, et al. サーベイ論文: 視野を共有しない複数カメラ間での人物照合. 信学技報, PRMU2011-21 (PRMU), 2011, 117-124.」参照）。これらの手法によれば、ある人物について、単一のカメラ１０で撮像された画像内と、複数のカメラ１０で撮像された画像間で、複数枚の人物領域の画像を取得することができる。
【００１９】
抽出部２１２は、画像取得部２１１により取得された画像から、画像に写り込んだ人物の属性を解析する。人物の属性とは、人物が写り込んだ画像から取得できる、その人物を説明する特徴のことを指す。例えば、その人物固有の情報であれば、身長、体型、性別、年齢を指し、服装であれば、ワンピース、シャツ、スカートといった種類と、その色やテクスチャ（空間周波数）を指す。例えば非特許文献「Yamaguchi, Kota, et al. "Parsing clothing in fashion photographs." Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. IEEE, 2012.」に開示された方法を用いて、画像から検出した人物領域を、服装や服飾品、部位ごとに分離、認識することができる。これにより、画像から検出した人物の服装、部位、体型などを識別することができる。また、顔が写っている場合は、性別や年齢を推定する手法もある(例えば非特許文献「Iga, Ryotatsu, et al. "A gender and age estimation system from face images." Age 25 (2003): 34.」参照)。また、時系列に人物が写り込んだ画像が取得できている場合は、その人物の行動を認識することができる。例えば非特許文献「Cheron Guilhem, Ivan Laptev, and Cordelia Schmid. "P-CNN: Pose-based CNN features for action recognition." Proceedings of the IEEE International Conference on Computer Vision. 2015.」に開示された方法を用いて、時系列の人物画像から人物の行動を分類することができる。さらに、画像中の人物の位置から、人物の歩行軌跡が得られる。これらの属性や行動に関する特徴量をそれぞれ保存する。例えば、図４の（Ａ）の画像に写り込んだ人物の特徴量は、図４の（Ｂ）のように解析される。人物の属性に関する特徴量は、ある一定時間内では変化しないため、時系列に得られた特徴量を統合して、１つの特徴量としてもよい。また、属性を解析しやすい画像を選択して、その画像のみを解析して、特徴量を得る形態であってもよい。
【００２０】
図３の説明を続ける。統計データ生成部２１３は、抽出部２１２により抽出された特徴量を用いて、属性または行動ごとに統計データ（典型的には特徴量のヒストグラム）を生成する。統計データは、検索対象（この例では画像に写り込んだ人物）を評価するための評価パラメータである。統計データ生成部２１３は、まず、予め指定された、統計処理をする特徴量の範囲を取得する。範囲とは、時間や空間の範囲を示す。時間であれば、処理対象となる過去の期間を表し、空間であれば、単一のカメラ１０の画像内や、１つの施設内に設置された全てのカメラ１０で撮像された画像内といった単位で指定する。また、カメラ１０で撮像された画像内の一部を指定してもよい。統計処理は、各属性や行動ごとに、対応する特徴量（属性や行動の内容）の平均値、分散値を計算してもよいし、平均と分散を用いて、正規化処理をしてもよい。また、ある単位でビンを作成し、ヒストグラム処理をしてもよいし、ヒストグラムの最頻値を割り出してもよい。また、各属性と行動の共起率や相関性を計算してもよい。
【００２１】
クエリ取得部２１４は、相対的な表現を含む第１のクエリを取得する。本実施形態では、クエリ取得部２１４は、他との差異を記述した第１のクエリを取得することを前提として説明する。個人に関するクエリ（第２のクエリ）を取得する場合については後述の他の実施形態で説明する。第１のクエリとしては、例えば「派手な色のＴシャツで、背の高い人」、「その場にそぐわない格好の人」、「ラフな格好の人」、「速歩きの人」などが考えられる。
【００２２】
評価方法決定部２１５は、クエリ取得部２１４により取得された第１のクエリに応じて、検索対象の評価方法を決定する。より具体的には、評価方法決定部２１５は、第１のクエリに応じて、検索対象を評価するための評価パラメータを決定する。前述したように、評価パラメータは、検索対象の属性または行動に関する特徴量の統計データであり、ここでは、統計データ生成部２１３により、検索対象の属性または行動ごとに、画像に写り込んだ複数の検索対象の各々の特徴量に基づく統計データが生成される。つまり、属性または行動ごとに異なる統計データ（評価パラメータ）が生成される。統計データ生成部２１３は、予め定められた属性または行動ごとの統計データを生成する形態であってもよいし、評価方法決定部２１５からの要求に応じて、評価方法決定部２１５により決定された統計データ（評価パラメータ）を生成する形態であってもよい。
【００２３】
ここでは、評価方法決定部２１５は、評価パラメータとして決定した統計データに対応する検索対象の特徴量が、該統計データの基準軸から離れるほど、該検索対象に対して高い評価値を与えるよう、評価値の与え方を決定する。より具体的には、評価方法決定部２１５は、ワードと、属性または行動と、評価値が大きくなる方向との対応関係を示す対応情報と、第１のクエリとに基づいて、該第１のクエリに対応する評価パラメータおよび評価値の与え方を決定（評価方法を決定）する。以下、具体的な内容を説明する。
【００２４】
ここでは、評価方法決定部２１５は、図５に示す属性テーブル、図６に示す行動テーブル、図７に示す属性／行動内容テーブル、図８に示す評価軸テーブルを管理している。なお、これらのテーブルの保存先は任意であり、検索装置２０内であってもよいし、外部サーバなどであってもよい。図５に示す属性テーブルは、属性の名称ごとに、該属性の名称を識別するための属性ＩＤを対応付けたテーブル形式の情報である。図６に示す行動テーブルは、行動の名称ごとに、該行動の名称を識別するための行動ＩＤを対応付けたテーブル形式の情報である。図７に示す属性／行動内容テーブルは、属性内容または行動内容ごとに、属性内容または行動内容を識別するための属性／行動内容ＩＤを対応付けたテーブル形式の情報である。図８に示す評価軸テーブルは、評価軸の名称ごとに、評価軸の名称を識別するための評価軸ＩＤを対応付けた情報である。
【００２５】
また、図９は、属性の上位概念と下位概念の関係を示す図である。例えば入力されたクエリから「服」という属性が選択された場合、上半身の服、下半身の服、靴の全てもしくは一部が選択され、それに応じて各人物領域を複数の領域に分割し、分割した領域ごとに評価されることになる。
【００２６】
評価方法決定部２１５の説明を続ける。評価方法決定部２１５は、クエリ取得部２１４により取得された第１のクエリの係り受けを解析したのちに、図１０に示すキーワード変換テーブル（「対応情報」の一例）を用いて、第１のクエリに含まれる１以上のワードの各々について、属性／行動、属性内容／行動内容、評価軸、設定値を選択する。図１０において、「−」を示す箇所は、対応するワードでは設定しないことを示す。ここでは、クエリの係り受けの関係を一塊として、「−」の箇所を埋めていくことで、クエリの解析結果としている。
【００２７】
例えば「派手な色のＴシャツで、背の高い人」というクエリ（第１のクエリ）の解析および変換結果は図１１のようになる。「派手な色のＴシャツ」の部分クエリ（第１のクエリであると捉えてもよい）については、「Ｔシャツ」という属性、「彩度」という属性内容、「大きい」という評価軸が選択される。これは、「派手な色のＴシャツ」に対応する評価パラメータとして、画像に写り込んだ各人物のＴシャツの彩度の統計データ（ヒストグラム）を決定し、Ｔシャツの彩度の統計データの基準軸（例えば平均値でもよいし、分散値でもよいし、予め定められた値でもよい）から、彩度が高い方に離れるほど高い評価値を与えることを決定していることを意味する。同様に、「背の高い人」の部分クエリについては、「身長」という属性、「長さ」という属性内容、「長い」という評価軸が選択される。これは、「背の高い人」に対応する評価パラメータとして、画像に写り込んだ各人物の身長の統計データ（ヒストグラム）を決定し、身長の統計データの基準軸から、長い方（身長が大きい方）に離れるほど高い評価値を与えることを決定していることを意味する。
【００２８】
同様に、例えば「その場にそぐわない服の人」というクエリであれば、「服」という属性、「なし」という属性内容、「異なる」という評価軸が選択されることになる。ここでは、属性内容が「なし」の場合は、対応する属性の出現頻度を表すヒストグラムを評価パラメータとして決定する。この例では、評価方法決定部２１５は、「その場にそぐわない服の人」というクエリに対応する評価パラメータとして、複数の服装ごとの出現頻度（例えばＴシャツやズボンごとの出現頻度）を表すヒストグラムを決定し、平均的な頻度値よりも頻度値の低い服装ほど高い評価値を与えることを決定する。この場合は、平均的な頻度値が基準軸となり、基準軸から離れた頻度値の服装を着用した人物ほど高い評価値を与えていると考えることができる。
【００２９】
同様に、例えば「ラフな格好の人」というクエリであれば、「服」という属性、「フォーマル」という属性内容、「小さい」という評価軸が選択されることになる。これは、「ラフな格好の人」に対応する評価パラメータとして、画像に写り込んだ各人物のフォーマル度（「スーツ」、「シャツ」、「ネクタイ」といった属性を含む度合い（フォーマルの度合い）を表す尺度）の統計データ（ヒストグラム）を決定し、フォーマル度の統計データの基準軸から、フォーマル度が小さい方に離れるほど高い評価値を与えることを決定していることを意味する。
【００３０】
行動に関するクエリも同様に、例えば「速歩きの人」というクエリであれば、「歩く」という行動、「速さ」という属性内容、「速い」という評価軸が選択されることになる。これは、「速歩きの人」に対応する評価パラメータとして、画像に写り込んだ各人物の速度の統計データ（ヒストグラム）を決定し、速度の統計データの基準軸から、速い方（速度が大きい方）に離れるほど高い評価値を与えることを決定していることを意味する。また、ここでは、「速歩き」の「速」は、形容関係から「速い」に補間して解析する。
【００３１】
図３の説明を続ける。評価部２１６は、評価方法決定部２１５により決定された評価方法で検索対象を評価する。より具体的には、評価部２１６は、検索対象ごとに、評価方法決定部２１５により決定された評価パラメータに対応する該検索対象の特徴量と、該評価パラメータとに基づいて評価値を決定し、評価値が最大となる検索対象を評価結果として少なくとも決定する。例えば評価値が閾値以上の１以上の検索対象を決定する形態であってもよい。
【００３２】
例えば評価パラメータとして各人物の身長の統計データが決定され、かつ、身長の統計データの基準軸から長い方（身長が大きい方）に離れるほど高い評価値を与えることが決定された場合（そのような評価方法が決定された場合）を想定する。この場合、評価部２１６は、画像に写り込んだ複数の人物ごとに、抽出部２１２により抽出された該人物の身長と、統計データ生成部２１３により生成された身長の統計データとに基づいて評価値を決定する。具体的には、対象となる人物の身長が、統計データ生成部２１３により生成された身長の統計データの基準軸から長い方（身長が大きい方）に離れるほど、該人物に対して高い評価値を与えるといった具合である。なお、評価方法決定部２１５により２以上の評価パラメータが決定されていた場合は、複数の評価パラメータごとの評価値を単純加算してもよいし、重み付け加算等してもよい。また、例えば評価パラメータとして、複数の服装ごとの出現頻度を表すヒストグラムが決定され、かつ、頻度値の低い服装ほど高い評価値を与えることが決定された場合（「その場にそぐわない服の人」というクエリを受け付けた場合）は、各人物が着用している服装ごとに評価値を決定し、それらの加算や重み付き加算等により、各人物の評価値を決定する。
【００３３】
表示制御部２１７は、評価部２１６による評価結果を表示する制御を行う。より具体的には、表示制御部２１７は、評価部２１６により決定された１以上の人物を表示（検索結果として表示部２０６に表示）する制御を行う。例えば図１２に示すように、受け付けたクエリとともに、複数の人物のうち検索結果に該当する人物（評価部２１６により決定された人物）を強調表示（図１２の例では評価値とともに表示）する形態であってもよい。また、例えば図１３および図１４に示すように、評価に用いた１以上の統計データ（図１４の例では複数の統計データ）を併せて表示するとともに、統計データ（ヒストグラム）における、検索結果に該当する人物の位置を表示する形態であってもよい。また、例えば受け付けたクエリが「その場にそぐわない服の人」というクエリであれば、図１５に示すように、平均的な頻度値（基準軸）に対応する服装（スーツ等の平均的な服装）を併せて表示する形態であってもよい。
【００３４】
以上に説明したように、本実施形態では、相対的な表現を含む第１のクエリを受け付けると、その受け付けた第１のクエリに応じて、画像に写り込んだ各人物（検索対象）の評価方法を決定し、その決定した評価方法で各人物を評価し、その評価結果を表示する。これにより、他との差異をクエリとした検索を可能にしつつ、検索入力に自由度を持たせた仕組みを実現できる。
【００３５】
また、本実施形態の検索装置２０は、相対的な表現を含む第１のクエリを取得する機能（クエリ取得部２１４）と、第１のクエリに応じて決定される評価方法による検索対象の評価結果を表示する制御を行う機能（表示制御部２１７）と、を少なくとも有しており、「表示装置」の一例であると考えることもできる。
【００３６】
（第２の実施形態）
次に、第２の実施形態について説明する。上述の第１の実施形態と共通する部分については適宜に説明を省略する。なお、検索装置２０の基本的な構成は上述の第１の実施形態と同様である。
【００３７】
クエリ取得部２１４は、上述の第１のクエリと、絶対的な表現を含む第２のクエリと、を含むクエリを取得する。そして、評価方法決定部２１５は、クエリ取得部２１４により取得されたクエリを解析して、第１のクエリに対応する統計データを示す第１の評価パラメータと、第２のクエリに対応する統計データを示す第２の評価パラメータと、を決定する。以下では、第１の評価パラメータに基づく評価値を「第１の評価値」と称し、第２の評価パラメータに基づく評価値を「第２の評価値」と称する。ここでは、評価方法決定部２１５は、第１の評価パラメータに対応する検索対象の特徴量が第１の評価パラメータの基準軸から離れるほど、該検索対象に対して高い第１の評価値を与え、第２の評価パラメータに対応する検索対象の特徴量が、第２のクエリに対応する特徴量に近いほど、該検索対象に対して高い第２の評価値を与えるよう、評価値の与え方を決定する。
【００３８】
より具体的には以下のとおりである。評価方法決定部２１５は、第１のクエリと第２のクエリとを含むクエリ（クエリ取得部２１４により取得されたクエリ）と、上述のキーワード変換テーブル（図１０参照）とに基づいて、第１の評価パラメータと第２の評価パラメータを決定する。
【００３９】
例えば「青いＴシャツで、背の高い人」というクエリを受け付けた場合、「青いＴシャツ」の部分については、評価方法決定部２１５は、「Ｔシャツ」という属性、「色」という属性内容、「一致」という評価軸、「ＨＳＶ＝（０．６６，１，１）」という設定値を選択する。これは、「青いＴシャツ」に対応する評価パラメータとして、画像に写り込んだ各人物のＴシャツの色の統計データ（ヒストグラム）を決定し、「ＨＳＶ＝（０．６６，１，１）」という設定値（「青いＴシャツ」に対応する特徴量）に近いほど高い評価値を与えることを決定していることを意味する。つまり、「青いＴシャツ」の部分は、絶対的な表現を含む第２のクエリであり、このとき決定されたＴシャツの色の統計データは上述の第２の評価パラメータとなる。また、評価方法決定部２１５は、「背の高い人」の部分については、「身長」という属性、「長さ」という属性内容、「長い」という評価軸を選択する。これは、「背の高い人」に対応する評価パラメータとして、画像に写り込んだ各人物の身長の統計データを決定し、身長の統計データの基準軸から、長い方（身長が大きい方）に離れるほど高い評価値を与えることを決定していることを意味する。つまり、「背の高い人」の部分は、相対的な表現を含む第１のクエリであり、このとき決定された身長の統計データは上述の第１の評価パラメータとなる。
【００４０】
評価部２１６は、画像に写り込んだ人物ごとに、第１の評価値と第２の評価値とを決定し、第１の評価値と第２の評価値とに基づいて該検索対象の最終評価値を決定し、最終評価値が最大となる人物を評価結果として少なくとも決定する。つまり、評価部２１６は、画像に写り込んだ人物ごとに、評価方法決定部２１５により決定された第１の評価パラメータに基づく評価を行って（評価方法決定部２１５により決定された第１の評価値の与え方に従って）、第１の評価値を決定するとともに、評価方法決定部２１５により決定された第２の評価パラメータに基づく評価を行って（評価方法決定部２１５により決定された第２の評価値の与え方に従って）、第２の評価値を決定する。そして、人物ごとに、第１の評価値と第２の評価値とに基づく最終評価値を決定する。最終評価値は、第１の評価値と第２の評価値との合計であってもよいし、重み付き加算の結果であってもよい。そして、最終評価値が最も高い人物を少なくとも決定する。なお、例えば最終評価値が閾値以上の１以上の人物を決定する形態であってもよい。
【００４１】
（第３の実施形態）
次に、第３の実施形態について説明する。上述の各実施形態と共通する部分については適宜に説明を省略する。本実施形態では、検索対象が時間帯や場所である点で上述の各実施形態と相違する。なお、検索装置２０の基本的な構成は上述の第１の実施形態と同様である。
【００４２】
本実施形態では、評価方法決定部２１６は、図１６に示す属性テーブル、図１７に示す属性／行動内容テーブル、図１８に示すキーワード変換テーブルを管理する。場所であれば、例えば施設内に存在する複数のカメラ１０を比較の対象とし、時間帯であれば、例えば１時間で区切った各時間を比較の対象とすることができる。例えば「人が多くなる時間帯」というクエリで検索する場合は、評価方法決定部２１６は、「時間」という属性、「人数」という属性内容、「多い」という評価軸を選択する。つまり、評価方法決定部２１６は、「人が多くなる時間帯」に対応する評価パラメータ（統計データ）として、１時間で区切った時間ごとの人数（計測人数）を表すヒストグラムを決定し、平均的な人数よりも多い時間帯ほど高い評価値を与える（基準軸から離れるほど高い評価値を与えるという概念に含まれる）ことを決定する。なお、人数の計数は、公知の様々な技術を利用することが可能であり、例えば非特許文献「Pham, Viet-Quoc, et al. "COUNT Forest: CO-Voting Uncertain Number of Targets Using Random Forest for Crowd Density Estimation." Proceedings of the IEEE International Conference on Computer Vision. 2015.」に開示された技術などを用いてもよい。
【００４３】
また、例えば「いつもより混んでいる場所」というクエリで検索する場合は、「場所」という属性、「人数」という属性内容、「多い」という評価軸が選択される。この例では、「いつもより」という部分クエリから、評価方法決定部２１６は、現在時間から一定時間前で、他の日付を比較対象として設定する。ここでは、評価方法決定部２１６は、「いつもより込んでいる場所」に対応する評価パラメータ（統計データ）として、場所ごとに、時間ごとの人数を表すヒストグラムを決定し、現在の時間（現在の時間に限らず、所望の時間でよい）に対応する人数が比較対象（基準軸）に対応する人数より多いほど、該場所に対して高い評価値を与えることを決定する。「滞留が多い場所」というクエリや「歩行速度が速い時間帯」というクエリについても上記と同様に考えることができる。評価方法決定部２１６により決定された評価方法で検索対象を評価して出力する内容は、上述の各実施形態と同様である。
【００４４】
（第４の実施形態）
次に、第４の実施形態について説明する。上述の各実施形態と共通する部分については適宜に説明を省略する。本実施形態では、検索対象が車である点で上述の各実施形態と相違する。なお、検索装置２０の基本的な構成は上述の第１の実施形態と同様である。
【００４５】
本実施形態では、評価方法決定部２１６は、図１９に示す属性テーブル、図２０に示す行動テーブル、図２１に示す属性／行動内容テーブル、図２２に示す評価軸テーブル、図２３に示すキーワード変換テーブルを管理する。例えば「逆走している車」というクエリで検索する場合は、評価方法決定部２１６は、「車」という属性、「向き」という行動内容名、「逆方向」という評価軸を選択する。つまり、評価方法決定部２１６は、「逆走している車」に対応する評価パラメータ（統計データ）として、車の向きの統計データ（ヒストグラム）を決定し、基準となる方向とは逆向きになるほど高い評価値を与えることを決定する。評価方法決定部２１６により決定された評価方法で検索対象を評価して出力する内容は、上述の各実施形態と同様である。本実施形態においては、例えば「速い車」、「飛ばしている車」というクエリであれば、通常の速度（基準となる速さ）よりも速い速度の車が検索され、「渋滞している場所」というクエリであれば、止まっている車が多い場所が検索される。
【００４６】
以上、本発明の実施形態を説明したが、上述の実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら新規な実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００４７】
また、上述の各実施形態および各変形例の検索装置２０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の各実施形態および各変形例の検索装置２０で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上述の各実施形態および各変形例の検索装置２０で実行されるプログラムを、ＲＯＭ等の不揮発性の記録媒体に予め組み込んで提供するようにしてもよい。
【００４８】
さらに、上述の各実施形態および各変形例は、任意に組み合わせることも可能である。
【符号の説明】
【００４９】
１      検索システム
１０    カメラ
２０    検索装置
２１１  画像取得部
２１２  抽出部
２１３  統計データ生成部
２１４  クエリ取得部
２１５  評価方法決定部
２１６  評価部
２１７  表示制御部
【図１】
2018081654.tif 000003
【図２】
2018081654.tif 000004
【図３】
2018081654.tif 000005
【図４】
2018081654.tif 000006
【図５】
2018081654.tif 000007
【図６】
2018081654.tif 000008
【図７】
2018081654.tif 000009
【図８】
2018081654.tif 000010
【図９】
2018081654.tif 000011
【図１０】
2018081654.tif 000012
【図１１】
2018081654.tif 000013
【図１２】
2018081654.tif 000014
【図１３】
2018081654.tif 000015
【図１４】
2018081654.tif 000016
【図１５】
2018081654.tif 000017
【図１６】
2018081654.tif 000018
【図１７】
2018081654.tif 000019
【図１８】
2018081654.tif 000020
【図１９】
2018081654.tif 000021
【図２０】
2018081654.tif 000022
【図２１】
2018081654.tif 000023
【図２２】
2018081654.tif 000024
【図２３】
2018081654.tif 000025