(57)【要約】  本発明の目的は、時間帯毎に類似度に応じて、どの時間帯に検索結果が集中しているかを見やすく表示する方法を提供することである。本発明の類似顔画像検索システムは、人物の顔画像をキー画像として、顔の類似度を類似している順に列挙可能な類似顔画像検索システムであって、画像検索装置が、画像蓄積サーバに記憶してある画像データから前記顔画像を基に検索して得られた類似度に応じてクラス分けし、検索結果表示部にクラス毎に異なるブロックを積み上げたグラフ表示とし、日付毎、時間帯毎に類似度に応じたブロックを積み上げることでグラフが表示されることを特徴とする。
2018180201.tif 000002
【特許請求の範囲】
【請求項１】
人物の顔画像をキー画像として、顔の類似度を類似している順に列挙可能な類似顔画像検索システムにおいて、
画像検索装置が、画像蓄積サーバに記憶してある画像データから前記顔画像を基に検索して得られた類似度に応じてクラス分けし、検索結果表示部に前記クラス毎に異なるブロックを積み上げたグラフ表示とし、日付毎、時間帯毎に類似度に応じた前記ブロックを積み上げることでグラフが表示されることを特徴とする類似顔画像検索システム。
【請求項２】
請求項１に記載の類似顔画像検索システムおいて、
前記検索結果表示部は、日付を選択すると時間帯毎の分布グラフが展開表示され、時間帯毎に複数種類の前記ブロックを積み上げたグラフが表示されることを特徴とする類似顔画像検索システム。
【請求項３】
請求項１に記載の類似顔画像検索システムおいて、
前記検索結果表示部は、特定の時間帯の指定したブロックを選択することにより、特定の時間帯の人物画像が表示されることを特徴とする類似顔画像検索システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、類似顔画像検索システムに関するものである。
【背景技術】
【０００２】
従来、人物の顔画像をキー画像として、顔の類似度を類似している順に列挙する類似顔検索では、顔の類似度順だけでしか検索結果が出ないため、顔の類似度順に順次映像を確認する必要があった。この場合、類似度順であると同じ時間帯の映像を何度も連続で確認することになる。同じ時間帯の場合、結果がいくつあっても一事象であることが多く、別の時間帯の画像であることを認識するのに適していないと云う課題がある。【０００３】
図６は従来の類似顔画像検索結果を示す画面の図である。
従来の類似顔画像検索は、キーとなる顔画像が含まれた画像６０１の中から人物６０２の顔画像６０３を選定する。
検索画像を類似度順で一覧表示するリスト６０４が、類似顔画像検索結果である。
類似画像を検出した画像６０５には、類似した顔を検出した画像の時刻情報６０６を表示している。
リスト６０４には、2017年3月11日の同じ時間帯で類似度が高い結果が多くあるが、同じ時間帯であるため、これらの結果から一つの事象である可能性が高い。
また、2017年3月13日の結果は８番目に出ているが、日付および時間帯が異なり、別の事象で注目すべき事象である可能性が高い。
このように、従来の類似顔画像検索結果の表示は、一見して日付や時間帯が異なることが判別しづらい。【０００４】
先行技術文献としては、例えば、特許文献１に、時刻と類似度のような２元の情報について、その大小関係や前後関係を視覚的に同時に把握できる検索結果表示方法の発明が開示されている。
また、特許文献２には、複数の画像を検索条件として登録することで、対象の向きや撮影角度の違いによる検索見逃しを少なくすることができ、検索対象人物の映った画像をより多く得ることができる検索の効率の高い画像検索装置の発明が開示されている。
さらに、特許文献３には、類似画像検索の結果から、多数の画像を選択して、一度にキーワードを付与する発明が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−３０１５０１号公報
【特許文献２】特開２０１１−４８６６８号公報
【特許文献３】特開２０１２−２４２８７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、時間帯毎に類似度に応じて、どの時間帯に検索結果が集中しているかを見やすく表示する方法を提供することである。
【課題を解決するための手段】
【０００７】
本発明の類似顔画像検索システムは、人物の顔画像をキー画像として、顔の類似度を類似している順に列挙可能な類似顔画像検索システムであって、画像検索装置が、画像蓄積サーバに記憶してある画像データから前記顔画像を基に検索して得られた類似度に応じてクラス分けし、検索結果表示部にクラス毎に異なるブロックを積み上げたグラフ表示とし、日付毎、時間帯毎に類似度に応じたブロックを積み上げることでグラフが表示されることを特徴とする。【０００８】
また、検索結果表示部は、日付を選択すると時間帯毎の分布グラフが展開表示され、時間帯毎に複数種類のブロックを積み上げたグラフが表示されることが好ましい。【０００９】
さらに、検索結果表示部は、特定の時間帯の指定したブロックを選択することにより、特定の時間帯の人物画像が表示されることが好ましい。
【発明の効果】
【００１０】
本発明によれば、どの時間帯にどのような類似度がどの程度集中しているかを見やすく表示することにより、時間帯毎に状況が推測しやすくなり、時間帯の異なる事象に応じて目的の結果にたどり着きやすくする。
また、類似度の高いブロックのある時間帯は検索対象人物である可能性が高い人物が出没した時間であると特定することができ、類似度の種類の多い時間帯は混雑又は何等かの理由により画像の詳細確認する必要があることを把握することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施例に係る類似顔画像検索システムの概要を示す図である。
【図２】本発明の一実施例に係る類似顔画像検索システムの画像蓄積サーバに記憶している内容を説明するための図である。
【図３】本発明の一実施例に係る類似顔画像検索システムの動作を説明するためのフローチャートである。
【図４】本発明の一実施例に係る類似顔画像検索システムの動作を説明するための画像検索設定画面を説明するための図である。
【図５】本発明の一実施例に係る類似顔画像検索システムの動作を説明するための検索結果表示画面を説明するための図である。
【図６】従来の類似顔画像検索結果を示す画面の図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について図面を参照して詳細に説明する。
図１は本発明の一実施例に係る類似顔画像検索システムの概要を示す図である。
図１において、類似顔画像検索システム１００は、ネットワーク２００を介して、撮像装置２０１−１〜２０１−ｎ（ｎは正数）（撮像装置を代表する場合には２０１と称する）、画像蓄積サーバ２０２、画像検索装置２０３が接続されている。
なお、画像検索装置２０３は、ＰＣ（Personal  Computer）でもよい。
【００１３】
撮像装置２０１−１〜２０１−ｎの撮影した画像データは、ネットワーク２００を介して、画像蓄積サーバ２０２にメタデータと共に伝送する。
画像蓄積サーバ２０２は、撮像装置２０１−１〜２０１−ｎから伝送されてきた画像データとメタデータを記憶する。
なお、画像蓄積サーバ２０２は、検索のキーとなる顔画像データも記憶する。
【００１４】
画像検索装置２０３は、顔画像検索設定部２１０、類似顔画像検索部２２０、画像検索結果記憶部２３０、検索結果表示部２４０で構成されている。
なお、画像検索結果記憶部２３０は、画像蓄積サーバ２０２であってもよい。
【００１５】
図２は本発明の一実施例に係る類似顔画像検索システムの画像蓄積サーバに記憶している内容を説明するための図である。
図２において、画像蓄積サーバ２０２は、主に撮像装置２０１−１〜２０１−ｎが撮影した画像データと、顔検索のキーとなる顔画像データを記憶している。
なお、画像データには、関連するメタデータも含まれている。
【００１６】
図２（Ａ）は記憶している画像データであり、図２（Ｂ）は記憶している顔画像データである。
図２（Ａ）の画像データは、例えば、画像ＩＤ（Identification）によって管理されている。
また、画像ＩＤには、画像を撮影した日付、撮影開始時刻、撮影終了時刻等のメタデータが関連付けられている。例えば、画像ＩＤが２０１−１の場合は、日付が2017/03/11の00時00分00秒から23時59分59秒の画像データが記憶されている。
【００１７】
図２（Ｂ）の顔画像データは、顔ＩＤと顔画像が関連付けられて記憶されている。
例えば、顔ＩＤがＡ０００１の場合、図２（Ｂ）に示す顔画像が記憶されている。
【００１８】
次に、本発明の一実施例に係る類似顔画像検索システムの画像検索設定画面について図４を用いて説明する。
図４は本発明の一実施例に係る類似顔画像検索システムの動作を説明するための画像検索設定画面を説明するための図である。
図４において、顔画像検索設定画面４００は、顔画像検索設定部２１０の設定画面である。
なお、設定等は、図示していないキーボードやポインティングデバイス（マウス）、またはタッチパネル等を使用して行う。
【００１９】
顔画像検索設定画面４００は、例えば、画像ＩＤ、検索期間、検索時間帯、顔ＩＤを設定する画面である。
画像ＩＤは、設定欄４１１に、例えば、２０１−１、２０１−２、・・・、２０１−ｎと入力する。
【００２０】
検索期間は、検索開始日付欄４２１と、検索終了日付欄４２２に、例えば、2017/03/11〜2017/03/15と入力する。
検索時間帯は、検索開始時刻欄４３１と、検索終了時刻欄４３２に、例えば、06時00分00秒〜12時00分00秒と入力する。
【００２１】
顔ＩＤは、顔ＩＤ欄４４１に、例えば、Ａ０００１と入力すると、顔画像表示欄４４２に該当の顔画像が表示される。
なお、検索のキーとなる顔画像は、他のシステム、例えば、侵入者検知システムで検出した顔画像を使用してもよい。
【００２２】
「検索」アイコン４５１が押下されると、類似顔画像検索部２２０は類似顔画像検索を開始する。
【００２３】
次に、類似顔画像検索における検索結果の表示画面について図５を用いて説明する。
図５は本発明の一実施例に係る類似顔画像検索システムの動作を説明するための検索結果表示画面を説明するための図である。
図５において、検索結果表示画面５００は、検索結果表示部２４０が表示した画面である。
【００２４】
検索条件および検索結果５１０は、検索条件である日付５１１および時間帯５１２と、検索結果である検索結果数５１３および検索結果の１００％積上げグラフ５１４で構成されている。
なお、１００％積上げグラフ５１４は、検索結果数を１００％にした場合であり、各類似度の比率が判るようにしたグラフである。
本一実施例としては、類似度は、0〜0.2未満、0.2〜0.4未満、0.4〜0.6未満、0.6〜0.8未満、0.8〜1.0の５つにクラス分けしている。なお、類似度のクラス分けは５つに限定するものではなく、用途に応じて決定すればよいものである。
【００２５】
分布グラフ５２０は、日付５１０の所望の一つを選択することにより表示される。
なお、分布グラフ５２０は、時間帯５１２、検索結果数５１３、１００％積上げグラフ５１４を選択した場合でも表示されるようにしてもよい。
分布グラフ５２０は、横軸に時刻、縦軸に検索結果数を表示する。
積上げブロック５２１は、類似度別に検索結果数に応じて高さが変動するので、類似度の高い結果がどの程度多いのか一目で分かるように表示されている。
なお、類似度別の各ブロックは色分け表示してもよい。
【００２６】
検索結果画像５４０は、分布グラフ５２０の所望の一つのブロックを選択することにより表示される。
四角５４１は、検索した顔画像の位置を表示している。
日付および時刻５４２は、検索した顔画像を含む画像が撮影された日付および時刻である。
【００２７】
検索結果画像５４０は、画像の送りアイコン５４３、画像の戻りアイコン５４４、最初の画像への送りアイコン５４６、最後の画像への戻りアイコン５４５を有している。
【００２８】
顔ＩＤ５３１は検索に使用したキー顔画像の顔ＩＤの、例えば「Ａ０００１」であり、顔画像５３２は顔ＩＤ５３１に対応した顔画像である。
【００２９】
本発明は、検索結果を分布グラフ５２０で表示することにより、時間帯が異なる事象は別の事象であることが判りやすい。さらに類似度が大まかにわかることで、着目する結果か否かを一目で判断できる。
【００３０】
「終了」アイコン５５０が押下されると、検索結果表示画面５００の表示を終了する。
【００３１】
次に、本発明の一実施例である類似顔画像検索システムの詳細な動作について図１〜図５を用いて説明する。
図３は本発明の一実施例に係る類似顔画像検索システムの動作を説明するためのフローチャートである。
図３において、図１の画像検索装置２０３の顔画像検索設定部２１０は、Ｓ３０１の処理で、図４の顔画像検索設定画面４００で、画像ＩＤ、検索期間、検索時間帯、顔ＩＤが入力（設定）されると、「検索」アイコン４５１の押下の有無を判定し（Ｓ３０２）、押下された場合（ＹＥＳ）にはＳ３０３の処理に進み、押下されていない場合（ＮＯ）にはＳ３０２の処理に戻る。
【００３２】
図１の類似顔画像検索部２２０は、Ｓ３０１の処理では、検索条件設定の設定内容に従って、画像蓄積サーバ２０２から類似顔画像検索を行い、Ｓ３０４の処理に進む。
画像検索結果記憶部２３０は、類似顔画像検索部２２０が類似顔画像検索を行った結果を記憶し、Ｓ３０５の処理に進む。
なお、画像検索結果記憶部２３０は、画像蓄積サーバ２０２であってもよい。
【００３３】
図１の検索結果表示部２４０は、Ｓ３０５の処理では、類似顔画像検索部２２０の検索結果を図５の検索結果表示画面５００に表示し、Ｓ３０６の処理に進む。
検索結果表示部２４０は、Ｓ３０６の処理では、検索結果表示画面５００の画面上で詳細画像表示要求の有無を判定し、詳細画像表示要求の有りの場合（ＹＥＳ）にはＳ３０７の処理に進み、詳細画像表示要求の無しの場合（ＮＯ）にはＳ３０８の処理に進む。
【００３４】
検索結果表示部２４０は、Ｓ３０７の処理では、検索結果表示画面５００に要求の画像を画像検索結果記憶部２３０から読出して表示して、検索結果表示画面５００に表示し（Ｓ３０７）、Ｓ３０６の処理に戻る。
検索結果表示部２４０は、Ｓ３０８の処理では、「終了」アイコン５５０の押下の有無を判定し、押下されていない場合（ＮＯ）にはＳ３０６の処理に戻り、押下された場合（ＹＥＳ）には処理を終了する。
【００３５】
本発明の他の一実施例としては、類似顔画像検索システム１００は、さらに地図データと撮像装置２０１−１〜２０１−ｎの位置データを記憶する記憶部を有し、検索結果表示部２４０に類似顔画像検索結果として、地図画像上の撮像装置２０１の設置場所に積上げブロックを三次元表示するようにして、場所に応じた類似度を表示するようにしてもよい。
これにより、同一場所で連続して抽出される顔画像は同一人物である可能性が高いものと認定しやすくなり、場所毎の状況を把握しやすくすることで場所の異なる事象に応じて目的の結果にたどり着きやすくなる。
【００３６】
本発明のさらに他の一実施例としては、検索するキー画像を顔画像に、着衣や装飾品（貴金属、帽子、サングラス）等の画像を加えて類似度の精度を向上させるようにしてもよい。
【００３７】
本発明の実施形態である類似顔画像検索システムは、どの時間帯にどのような類似度がどの程度集中しているかを見やすく表示することにより、時間帯毎に状況が推測しやすくなり、時間帯の異なる事象に応じて目的の結果にたどり着きやすくする。
また、類似度の高いブロックのある時間帯は検索対象人物である可能性が高い人物が出没した時間であると特定することができ、類似度の種類の多い時間帯は混雑又は何等かの理由により画像の詳細確認する必要があることを把握することができる。
【００３８】
以上、本発明の一実施形態について詳細に説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変更して実施することができる。
【産業上の利用可能性】
【００３９】
顔画像検索結果を類似度別の積算値を時間帯別に棒（積上げブロック）グラフ表示することによって、類似度の時系列傾向を確認する用途に適用できる。
【符号の説明】
【００４０】
１００：類似顔画像検索システム、２００：ネットワーク、２０１−１〜２０１−ｎ：撮像装置、２０２：画像蓄積サーバ、２０３：画像検索装置、２１０：顔画像検索設定部、２２０：類似顔画像検索部、２３０：画像検索結果記憶部、２４０：検索結果表示部。
【図１】
2018180201.tif 000003
【図２】
2018180201.tif 000004
【図３】
2018180201.tif 000005
【図４】
2018180201.tif 000006
【図５】
2018180201.tif 000007
【図６】
2018180201.tif 000008
【国際調査報告】
2018180201.tif 000009
2018180201.tif 000010