(57)【要約】【課題】画像に含まれている任意の顔を認識することができなくても、ユーザーが購入対象として選択する可能性が高い画像を抽出する。【解決手段】本発明の画像処理システムＳｙでは、登録情報生成部４５は、顔認識部４４により認識された各顔の特徴別に、同一の顔の特徴に対しては同一の顔識別子を付与して、この顔識別子を該同一の顔の特徴を含む画像に対応付けてなる登録情報を生成する。抽出部４７は、指定された顔識別子と共に同一の画像に対応付けられている他の顔識別子を登録情報から検索し、各画像のうちから、その指定された顔識別子に対応付けられずに他の顔識別子に対応付けられ、かつ人物検出部４６により検出されながらも顔認識部４４により顔の特徴が認識されなかった人物像を含む、画像を抽出する。【選択図】図１
2019020840.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を記憶した記憶部と、
前記画像毎に、画像に含まれる顔の特徴を認識する顔認識部と、
前記顔認識部により認識された複数の顔の特徴別に、同一の顔の特徴に対しては同一の顔識別子を付与して、この顔識別子を該同一の顔の特徴を含む画像に対応付けてなる登録情報を生成する登録情報生成部と、
前記画像毎に、画像に含まれる人物像を検出する人物検出部と、
任意の顔の特徴に対応する顔識別子を指定する指定部と、
前記指定部により指定された顔識別子と共に同一の画像に対応付けられている他の顔識別子を前記登録情報から検索し、前記各画像のうちから、前記指定部により指定された顔識別子に対応付けられずに前記他の顔識別子に対応付けられ、かつ前記人物検出部により検出されながらも前記顔認識部により顔の特徴が認識されなかった人物像を含む、画像を抽出する抽出部と、を備える画像処理システム。
【請求項２】
前記抽出部は、前記指定部により指定された顔識別子と共に同一の画像に対応付けて登録されている他の顔識別子を前記登録情報から検索して、前記他の顔識別子の登録数を求め、この登録数が規定値以上である場合に、前記各画像のうちから、前記指定部により指定された顔識別子には対応付けられずに前記他の顔識別子に対応付けられ、かつ前記人物検出部により検出されながらも前記顔認識部により顔の特徴が認識されなかった人物像を含む、画像を抽出する請求項１に記載の画像処理システム。
【請求項３】
前記抽出部は、前記指定部により指定された顔識別子と共に同一の画像に対応付けられている複数の他の顔識別子を前記登録情報から検索し、前記各画像のうちから、前記指定部により指定された顔識別子に対応付けられずに前記複数の他の顔識別子に対応付けられ、かつ前記人物検出部により検出されながらも前記顔認識部により顔の特徴が認識されなかった人物像を含む、画像を抽出する請求項１に記載の画像処理システム。
【請求項４】
前記顔認識部は、新たな画像が前記記憶部に追加して記憶されると、該新たな画像に含まれる顔の特徴を認識し、
前記登録情報生成部は、前記顔認識部により認識された顔の特徴と同一の顔識別子が既に登録されているか否かを判定し、同一の顔識別子が既に登録されていると判定した場合に、前記同一の顔識別子を、前記新たな画像に対応付けて前記登録情報に登録して該登録情報を更新し、また同一の顔識別子が登録されていないと判定した場合には、前記顔認識部により認識された顔の特徴に対して新たな顔識別子を付与して、この新たな顔識別子を、前記新たな画像に対応付けて前記登録情報に登録して、該登録情報を更新する請求項１乃至請求項３のいずれか１つに記載の画像処理システム。
【請求項５】
前記人物検出部は、画像に含まれる人物像を検出すると共に、該人物像の特徴を更に認識し、
前記登録情報生成部は、前記人物検出部により認識された複数の人物像の特徴別に、前記人物像の特徴を、該人物像を含む画像に対応付けて前記登録情報に登録し、
前記抽出部は、前記指定部により指定された顔識別子と共に同一の画像に対応付けられている他の顔識別子を前記登録情報から検索すると共に、前記指定部により指定された顔識別子に対応する人物像の特徴を前記登録情報から検索し、前記各画像のうちから、前記指定部により指定された顔識別子に対応付けられずに前記他の顔識別子に対応付けられ、かつ前記人物検出部により検出されながらも前記顔認識部により顔の特徴が認識されずに前記検索した人物像の特徴に対応する人物像を含む、画像を抽出する請求項１乃至請求項４のいずれか１つに記載の画像処理システム。
【請求項６】
前記各画像に含まれるそれぞれの顔の特徴を表示する表示部と、
前記表示部に表示された前記各顔の特徴のうちから任意の顔の特徴を選択する操作部と、を備え、
前記指定部は、前記操作部により選択された任意の顔識別子を指定する請求項１乃至請求項５のいずれか１つに記載の画像処理システム。
【請求項７】
前記抽出部により抽出された画像を表示する表示部と、
前記表示部に表示されている画像において、前記人物検出部により検出されながらも前記顔認識部により顔の特徴が認識されなかった人物像を特徴付けた表示態様として表示させる制御部と、を備える請求項１乃至請求項５のいずれか１つに記載の画像処理システム。
【請求項８】
サーバーと、該サーバーにネットワークを通じて接続される端末装置とを備え、
前記サーバーには、前記記憶部、前記顔認識部、前記登録情報生成部、前記人物検出部、及び前記抽出部を設け、
前記端末装置には、前記指定部を設け、
前記端末装置は、前記指定部で指定された任意の顔識別子を、ネットワークを通じて前記サーバーに送信し、
前記サーバーは、前記指定部により指定された顔識別子を受信し、
前記抽出部は、前記受信した顔識別子と共に同一の画像に対応付けられている他の顔識別子を前記登録情報から検索し、前記各画像のうちから、前記受信した顔識別子に対応付けられずに前記他の顔識別子に対応付けられ、かつ前記人物検出部により検出されながらも前記顔認識部により顔の特徴が認識されなかった人物像を含む、画像を抽出する請求項１乃至請求項５のいずれか１つに記載の画像処理システム。
【請求項９】
サーバーと、該サーバーにネットワークを通じて接続される端末装置とを備え、
前記サーバーには、前記記憶部、前記顔認識部、前記登録情報生成部、前記人物検出部、及び前記抽出部を設け、
前記端末装置には、前記指定部、前記表示部及び前記操作部を設け、
前記端末装置は、前記指定部で指定された任意の顔識別子を、ネットワークを通じて前記サーバーに送信し、
前記サーバーは、前記指定部により指定された顔識別子を受信し、
前記抽出部は、前記受信した顔識別子と共に同一の画像に対応付けられている他の顔識別子を前記登録情報から検索し、前記各画像のうちから、前記受信した顔識別子に対応付けられずに前記他の顔識別子に対応付けられ、かつ前記人物検出部により検出されながらも前記顔認識部により顔の特徴が認識されなかった人物像を含む、画像を抽出する請求項６に記載の画像処理システム。
【請求項１０】
サーバーと、該サーバーにネットワークを通じて接続される端末装置とを備え、
前記サーバーには、前記記憶部、前記顔認識部、前記登録情報生成部、前記人物検出部、及び前記抽出部を設け、
前記端末装置には、前記指定部、前記表示部及び前記制御部を設け、
前記端末装置は、前記指定部で指定された任意の顔識別子を、ネットワークを通じて前記サーバーに送信し、
前記サーバーは、前記指定部により指定された顔識別子を受信し、
前記抽出部は、前記受信した顔識別子と共に同一の画像に対応付けられている他の顔識別子を前記登録情報から検索し、前記各画像のうちから、前記受信した顔識別子に対応付けられずに前記他の顔識別子に対応付けられ、かつ前記人物検出部により検出されながらも前記顔認識部により顔の特徴が認識されなかった人物像を含む、画像を抽出する請求項７に記載の画像処理システム
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を選択的に提供する画像処理システムに関し、特に任意の人物像を含む画像を提供するための技術に関する。
【背景技術】
【０００２】
例えば、特許文献１では、特定人物を登録しておき、複数の写真の中からその特定人物を示す写真を抽出する。また、この抽出した写真の数が複数である場合に、複数の写真を、指定された優先項目に従った順番に並べ替えて提示し、並べ替えて提示した複数の写真の中から所望の写真の注文を受け付けている。特定人物の抽出は、周知の顔認識技術を用いて行っている。
【０００３】
また、特許文献２では、写真の注文申込書を印刷する際に、人物を特定する画像を抽出して、撮像画像の中から、その抽出した人物を特定する画像を含む撮像画像を選択して、この選択した撮像画像のＩＤを抽出する。また、その選択した撮像画像の人物が独りの場合、該撮像画像のＩＤを抽出し、それらの抽出したＩＤ及び写真注文記入欄の印刷が可能となる。これによりユーザーが撮像されている撮像画像の中でも、独りで撮像された撮像画像を購入する機会を逸することを防いでいる。ここでも、人物を特定するために、周知の顔認識技術を用いている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１６１３９４号公報
【特許文献２】特開２０１５−８７８０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、個々の人物を特定するには、特許文献１、２のように顔認識の技術を用いることが好ましい。この顔認識では、目、鼻、口などの顔を構成する要素の位置を求めるため、対象者の顔を略正面から撮像した画像が必要となる。
【０００６】
しかしながら、任意の顔が正面から撮像されていない画像であっても、ユーザーにとっては、その画像を購入対象として選択したいことがある。この場合は、顔認識によってその画像が抽出されることはないので、画像の購入の機会を逸する。
【０００７】
本発明は、上記の事情に鑑みなされたものであり、画像に含まれている任意の顔を認識することができなくても、ユーザーが購入対象として選択する可能性が高い画像を抽出することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一局面に係る画像処理システムは、複数の画像を記憶した記憶部と、前記画像毎に、画像に含まれる顔の特徴を認識する顔認識部と、前記顔認識部により認識された複数の顔の特徴別に、同一の顔の特徴に対しては同一の顔識別子を付与して、この顔識別子を該同一の顔の特徴を含む画像に対応付けてなる登録情報を生成する登録情報生成部と、前記画像毎に、画像に含まれる人物像を検出する人物検出部と、任意の顔の特徴に対応する顔識別子を指定する指定部と、前記指定部により指定された顔識別子と共に同一の画像に対応付けられている他の顔識別子を前記登録情報から検索し、前記各画像のうちから、前記指定部により指定された顔識別子に対応付けられずに前記他の顔識別子に対応付けられ、かつ前記人物検出部により検出されながらも前記顔認識部により顔の特徴が認識されなかった人物像を含む、画像を抽出する抽出部と、を備えるものである。
【発明の効果】
【０００９】
本発明によれば、画像に含まれている任意の顔を認識することができなくても、ユーザーが購入対象として選択する可能性が高い画像を抽出することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る一実施形態の画像処理システムを示すブロック図である。
【図２】本実施形態の画像処理システムにおける画像を自動的に選択するための処理に必要な登録情報の生成手順を示すフローチャートである。
【図３】画像データによって示される画像を例示する図である。
【図４】図３の画像に対応する登録情報を示す図である。
【図５】登録情報を用いて、画像を自動的に選択するための処理手順を示すフローチャートである。
【図６】複数の画像の登録情報を示す図である。
【図７】登録情報の変形例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態にかかる画像処理システムについて図面を参照して説明する。
【００１２】
図１は、本発明に係る一実施形態の画像処理システムを示すブロック図である。本実施形態の画像処理システムＳｙは、複数の端末装置１０とサーバー３０を、ネットワークＮを通じて接続してなる。この画像処理システムＳｙにおいて、各端末装置１０は、例えばＰＣやスマートフォンなどであって、制御ユニット１１と、表示部１２と、タッチパネル１３と、操作部１４と、ネットワーク通信部１５と、記憶部１６と、を備えている。これらの構成要素は、互いにバスを通じてデータ又は信号の送受信が可能とされている。
【００１３】
表示部１２は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（ＯＬＥＤ：Organic Light-Emitting Diode）などから構成される。
【００１４】
タッチパネル１３は、所謂抵抗膜方式や静電容量方式等のタッチパネルである。このタッチパネル１３は、表示部１２の画面に配置され、表示部１２の画面上のソフトキー等に対する指などの接触をその接触位置と共に検出する。タッチパネル１３は、指などの接触を検出すると、その接触位置の座標を示す検出信号を制御ユニット１１に出力する。従って、タッチパネル１３は、表示部１２の画面に対するユーザー操作が入力される操作部としての役割を果たす。
【００１５】
操作部１４は、キーボードやポインティングデバイスである。
【００１６】
ネットワーク通信部１５は、不図示のＬＡＮチップなどの通信モジュールを備える通信インターフェイスである。このネットワーク通信部１５は、ネットワークを介してサーバー３０に接続されて、サーバー３０との間でデータの送受信を行う。
【００１７】
記憶部１６は、ＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）などの大容量の記憶装置である。
【００１８】
制御ユニット１１は、プロセッサー、ＲＡＭ(Random Access Memory）、及びＲＯＭ（Read Only Memory）などから構成される。プロセッサーは、ＣＰＵ（Central Processing Unit）、ＭＰＵ、ＡＳＩＣ等である。この制御ユニット１１は、上記のＲＯＭ又は記憶部１６に記憶された制御プログラムが上記のプロセッサーで実行されることにより、制御部２１、表示制御部２２、通信制御部２３として機能する。なお、制御ユニット１１の上記の各構成要素は、前述の制御プログラムに基づく動作によらず、それぞれハード回路により構成されてもよい。
【００１９】
制御部２１は、端末装置１０の全体的な動作制御を司る。制御部２１は、表示部１２、タッチパネル１３、操作部１４、ネットワーク通信部１５、及び記憶部１６などと接続されており、これらの構成要素の動作制御や該各構成要素との間での信号又はデータの送受信を行う。また、制御部２１は、タッチパネル１３及び操作部１４の操作に応じた処理を実行する処理部としての役割を果たす。
【００２０】
通信制御部２３は、ネットワーク通信部１５の通信動作を制御する機能を有する。また、表示制御部２２は、表示部１２の表示動作を制御する機能を有する。
【００２１】
尚、端末装置１０における制御部２１は、特許請求の範囲における指定部及び制御部に対応する。また、表示部１２は、特許請求の範囲における表示部に対応し、更にタッチパネル１３又は操作部１４は、特許請求の範囲における操作部に対応する。
【００２２】
画像処理システムＳｙにおいて、サーバー３０は、例えば、パーソナルコンピューターやワークステーションであって、制御ユニット３１と、表示部３２と、操作部３３と、ネットワーク通信部３４と、記憶部３５とを備えている。これらの構成要素は、互いにバスを通じてデータ又は信号の送受信が可能とされている。
【００２３】
制御ユニット３１は、プロセッサー、ＲＡＭ、及びＲＯＭなどから構成される。プロセッサーは、ＣＰＵ、ＭＰＵ、ＡＳＩＣ等であって、１乃至複数設けられている。この制御ユニット３１は、制御部４１、表示制御部４２、通信制御部４３、顔認識部４４、登録情報生成部４５、人物検出部４６、及び抽出部４７として機能する。
【００２４】
制御部４１は、サーバー３０を統括的に制御する。表示制御部４２は、表示部３２を制御して、アプリケーションプログラムの実行に伴う画面などを表示部３２に表示させる。通信制御部４３は、ネットワーク通信部３４を制御して、ネットワークを通じて端末装置１０との間で各種のデータを送受信する。
【００２５】
ここで、サーバー３０では、複数の画像データを、外部からネットワークを通じてネットワーク通信部３４で受信し、これらの画像データを記憶部３５に記憶させて保存している。これらの画像データは、例えば保育園や学校の行事のときに撮影された複数の画像（写真）を示すものであり、各端末装置１０のいずれからも、各画像のうちの任意の画像を選択して注文可能とされている。しかしながら、多数の画像データが記憶部３５に保存されている場合は、多数の画像から任意の画像を選択する作業が煩雑である。
【００２６】
そこで、本実施形態の画像処理システムＳｙでは、多数の画像に対応する登録情報を予め生成しておき、この登録情報に基づき、ユーザーの顔が映っている画像、あるいはユーザーの人物像が映っている可能性が高い画像を自動的に選択することを可能にしている。
【００２７】
次に、そのような画像を自動的に選択するために必要な登録情報の生成手順を、図２に示すフローチャートなどを参照して説明する。
【００２８】
まず、サーバー３０では、制御部４１により記憶部３５に保存されている複数の画像データのうちの１つが選択され、顔認識部４４により、その選択された画像データに対して既知の顔認識処理が施される（ステップＳ１０１）。例えば、顔認識部４４は、その選択された画像データによって示される画像の中から顔領域を検出して、顔領域の位置及び大きさを正規化し、顔の特徴点ＣＰとして目、鼻、口端などの位置を求める。このとき、顔認識部４４は、画像に複数の顔が含まれている場合は、各顔別に、顔領域が検出されて、顔の特徴点ＣＰが求められる。
【００２９】
登録情報生成部４５は、その選択された画像データによって示される画像に対して画像番号ＧＮを付与して、この画像番号ＧＮを記憶部３５内の登録情報ＴＤに登録する。
【００３０】
また、登録情報生成部４５は、顔認識部４４により該画像における顔の特徴点ＣＰが求められると、この顔の特徴点ＣＰと同一の特徴点ＣＰが記憶部３５内の登録情報ＴＤに登録されているか否かを判定し（ステップＳ１０２）、同一の特徴点ＣＰが未だに登録されていないと判定すると（ステップＳ１０２「Ｎｏ」）、新たな顔識別子ＩＤを生成して（ステップＳ１０３）、顔の特徴点ＣＰ、新たな顔識別子ＩＤ、及び画像番号ＧＮを互いに対応付けて登録情報ＴＤに登録する（ステップＳ１０４）。また、登録情報生成部４５は、同一の特徴点ＣＰが既に登録されていると判定すると（ステップＳ１０２「Ｙｅｓ」）、新たな顔識別子ＩＤを生成せずに、同一の特徴点ＣＰに対応付けて記憶されている顔識別子ＩＤを登録情報ＴＤから読み出して、同一の特徴点ＣＰ、その読み出した顔識別子ＩＤ、及び画像番号ＧＮを互いに対応付けて登録情報ＴＤに登録する（ステップＳ１０４）。
【００３１】
続いて、人物検出部４６は、既知の人物検出技術により、その選択された画像データによって示される画像の中から人物像を検出する（ステップＳ１０５）。例えば、人物検出部４６は、該画像の中から人物像の輪郭などを抽出して、この抽出した輪郭が、予め定められた画像が示す輪郭に同一性を有すると判定することで人物像を検出する。このとき、人物検出部４６は、画像に複数の人物像が含まれている場合は、これら複数の人物像を検出する。
【００３２】
登録情報生成部４５は、人物検出部４６により人物像が検出される度に、人物像に対して人物番号ＨＮを付与し、また人物像が顔認識部４４により検出された顔領域に重なるか否か、つまり人物像に顔領域の像が付いているか否かを判定し（ステップＳ１０６）、人物像に顔領域の像が付いていると判定すると（ステップＳ１０６「Ｙｅｓ」）、人物像の人物番号ＨＮを該人物像の顔領域の顔識別子ＩＤに対応付けて登録情報ＴＤに登録する（ステップＳ１０７）。また、登録情報生成部４５は、人物像に顔領域の像が付いていないと判定すると（ステップＳ１０６「Ｎｏ」）、人物像の人物番号ＨＮを顔識別子ＩＤに対応付けることなく画像番号ＧＮに対応付けて、人物像の人物番号ＨＮを登録情報ＴＤに登録する（ステップＳ１０８）。
【００３３】
図３は、画像データによって示される画像Ｇを例示する図である。図３に示すように画像Ｇには、複数の人物像Ｈ１〜Ｈ５が含まれており、各人物像Ｈ２、Ｈ３、Ｈ４には、それぞれの顔領域Ｐ２、Ｐ３、Ｐ４の像が付いている。また、他の各人物像Ｈ１、Ｈ５には、顔領域の像が付いていない。例えば、他の各人物像Ｈ１、Ｈ５の顔が後ろ向き、横向きなどである場合は、他の各人物像Ｈ１、Ｈ５には顔領域の像が付かず、顔認識部４４により該他の各人物像Ｈ１、Ｈ５の顔領域が検出されることもない。
【００３４】
図４は、図３の画像Ｇの登録情報ＴＤを示す図である。図４に示すように画像Ｇの登録情報ＴＤは、画像Ｇの画像番号ＧＮ、各人物像Ｈ１〜Ｈ５の人物番号ＨＮ（ＨＮ０１〜ＨＮ０５）、及び各人物像Ｈ２、Ｈ３、Ｈ４に重なるそれぞれの顔領域Ｐ２、Ｐ３、Ｐ４の特徴点ＣＰ（ＣＰ０２、ＣＰ０３、ＣＰ０４）、及び各顔領域Ｐ２、Ｐ３、Ｐ４の顔識別子ＩＤ（ＩＤ０２、ＩＤ０３、ＩＤ０４）を対応付けてなる。また、人物番号ＨＮ０２、顔の特徴点ＣＰ０２、及び顔識別子ＩＤ０２が互いに対応付けられ、また人物番号ＨＮ０３、顔の特徴点ＣＰ０３、及び顔識別子ＩＤ０３が互いに対応付けられ、更に人物番号ＨＮ０４、顔の特徴点ＣＰ０４、及び顔識別子ＩＤ０４が互いに対応付けられている。
【００３５】
このように画像データによって示される画像に付与された画像番号ＧＮ、画像に含まれる顔領域の特徴点ＣＰ、顔領域に付与された顔識別子ＩＤ、画像に含まれる人物像に付与された人物番号ＨＮが対応付けられて、登録情報ＴＤが生成される。
【００３６】
続いて、制御部４１は、複数の画像データのうちに未処理の画像データが有るか否かを判定し（ステップＳ１０９）、未処理の画像データが有れば（ステップＳ１０９「Ｙｅｓ」）、この未処理の画像データによって示される画像について、ステップＳ１０１〜１０８の処理を行う。また、制御部４１は、未処理の画像データが無ければ（ステップＳ１０９「Ｎｏ」）、図２の処理を終了する。
【００３７】
これにより、記憶部３５に保存されている全ての画像について、登録情報ＴＤが生成されて記憶部３５に記憶される。
【００３８】
次に、登録情報ＴＤを用いて、画像を自動的に選択するための処理手順を、図５に示すフローチャートなどを参照して説明する。
【００３９】
まず、端末装置１０では、ユーザーが、タッチパネル１３や操作部１４を操作して、サーバー３０に対する顔領域の像（すなわち、人の顔が写っている画像）の送信要求を指示する。制御部２１は、その指示に応答して顔領域の像の送信要求を、通信制御部２３を通じてネットワーク通信部１５からサーバー３０へと送信する。
【００４０】
サーバー３０では、顔領域の像の送信要求を、ネットワーク通信部３４で受信して通信制御部４３を通じて制御部４１に入力する。制御部４１は、顔領域の像の送信要求を入力すると、記憶部３５内の登録情報ＴＤを参照して、全ての顔識別子ＩＤを求め、これらの顔識別子ＩＤに対応するそれぞれの特徴点ＣＰを求める。そして、制御部４１は、各特徴点ＣＰ別に、特徴点ＣＰに対応付けられている画像番号ＧＮを求めて、この画像番号ＧＮの画像を示す画像データを記憶部３５から検索し、この検索した画像データによって示される画像から特徴点ＣＰを有する顔領域の像を抽出する（ステップＳ２０１）。これにより、各顔識別子ＩＤ、該各顔識別子ＩＤに対応するそれぞれの顔領域の像が求められる。
【００４１】
そして、制御部４１は、各顔識別子ＩＤ及び該各顔識別子ＩＤに対応するそれぞれの顔領域の像を、通信制御部４３を通じてネットワーク通信部３４から端末装置１０へと送信する（ステップＳ２０２）。
【００４２】
端末装置１０では、各顔識別子ＩＤ及び該各顔識別子ＩＤに対応するそれぞれの顔領域の像を、ネットワーク通信部１５で受信して通信制御部２３を通じて制御部２１に入力する。制御部２１は、各顔識別子ＩＤ及び該各顔識別子ＩＤに対応するそれぞれの顔領域の像を入力すると、各顔領域の像を、表示制御部１２を通じて表示部１２に表示させる。このとき、ユーザーは、表示部１２に表示されている各顔領域の像を見て、タッチパネル１３や操作部１４を操作して、自分が望む任意の顔領域の像を選択して指定する。制御部２１は、任意の顔領域の像が指定されると、この任意の顔領域の像に対応する顔識別子ＩＤを、通信制御部２３を通じてネットワーク通信部１５から端末装置１０へと送信する。
【００４３】
サーバー３０では、その指定された顔領域の像に対応する顔識別子ＩＤを、ネットワーク通信部３４で受信して（ステップＳ２０３）、通信制御部４３を通じて制御部４１に入力する。制御部４１は、この指定された顔識別子ＩＤを抽出部４７に送出する。
【００４４】
抽出部４７は、その指定された任意の顔識別子ＩＤを受け取ると、記憶部３５内の登録情報ＴＤを参照して、この指定された顔識別子ＩＤに対応付けられている全ての画像番号ＧＮを登録情報ＴＤから抽出する（ステップＳ２０４）。これにより、その指定された顔識別子ＩＤに対応する任意の顔領域の像を含む全ての画像の画像番号ＧＮが求められることとなる。
【００４５】
例えば、図６に示すような登録情報ＴＤにおいて、画像番号ＧＮ０１〜ＧＮ０５別に、人物番号ＨＮ、顔の特徴点ＣＰ、及び顔識別子ＩＤが対応付けられているものとする。そして、その指定された顔識別子ＩＤが「ＩＤ０２」である場合は、抽出部４７により、その指定された顔識別子ＩＤ０２に対応付けられている全ての画像番号ＧＮ０１、ＧＮ０３、ＧＮ０４が抽出される。
【００４６】
また、抽出部４７は、記憶部３５内の登録情報ＴＤを参照して、その指定された顔識別子ＩＤと共に同一の画像番号ＧＮに対応付けられている他の顔識別子ＩＤを検索する（ステップＳ２０５）。そして、抽出部４７は、登録情報ＴＤを参照して、その指定された顔識別子ＩＤに対応付けられずにその検索した他の顔識別子ＩＤに対応付けられ、かついずれの顔識別子ＩＤにも対応付けの無い人物番号ＨＮに対応付けられている全ての画像番号ＧＮを抽出する（ステップＳ２０６）。これにより、その指定された顔識別子ＩＤの顔領域の像が含まれずに他の顔識別子ＩＤの顔領域の像が含まれ、かつ顔領域の像が付いていない（顔の特徴が認識されなかった）人物像を含む画像の画像番号ＧＮが抽出されることとなる。
【００４７】
尚、抽出部４７は、いずれの顔識別子ＩＤにも対応付けの無い人物番号ＨＮに対応付けられている画像番号ＧＮを抽出する代わりに、顔識別子ＩＤの数よりも多くの人物番号ＨＮに対応付けられている画像番号ＧＮを抽出しても構わない。
【００４８】
例えば、図６に示すような登録情報ＴＤにおいて、その指定された顔識別子ＩＤが「ＩＤ０２」である場合は、その指定された顔識別子ＩＤ０２と共に同一の画像番号ＧＮ（ＧＮ０１、ＧＮ０３、ＧＮ０４）に登録されている他の顔識別子ＩＤ０３、ＩＤ０４が検索される。そして、その指定された顔識別子ＩＤ０２に対応付けられずにその検索した他の顔識別子ＩＤ０３又はＩＤ０４に対応付けられ、かついずれの顔識別子ＩＤにも対応付けの無い人物番号ＨＮ０１に対応付けられている各画像番号ＧＮ０２、ＧＮ０５が抽出される。
【００４９】
ここで、他の顔識別子ＩＤ０３、ＩＤ０４が、その指定された顔識別子ＩＤ０２と共に同一の画像番号ＧＮ（ＧＮ０１、ＧＮ０３、ＧＮ０４）に登録されているので、他の顔識別子ＩＤ０３、ＩＤ０４に対応するそれぞれの人物が、その指定された顔識別子ＩＤ０２に対応する人物と行動を共にしていると推定することができる。このため、他の顔識別子ＩＤ０３、ＩＤ０４に対応するそれぞれの顔領域の像が含まれている画像においては、その指定された顔識別子ＩＤ０２に対応する顔領域の像が含まれていなくても、顔領域の像が付いていない人物像（いずれの顔識別子ＩＤにも対応付けの無い人物番号ＨＮ０１に対応する人物像）を、その指定された顔識別子ＩＤ０２に対応する人物であると推定することができる。つまり、その指定された顔識別子ＩＤ０２の顔領域の像が含まれていなくても、その指定された顔識別子ＩＤ０２に対応する人物像が含まれていると推定することができる。そして、この推定した人物像を含む画像の画像番号ＧＮが抽出される。
【００５０】
このようにして抽出部４７は、その指定された顔識別子ＩＤに対応する任意の顔領域の像を含む画像の画像番号ＧＮを抽出すると共に、その指定された顔識別子ＩＤの顔領域の像が含まれていなくても、その指定された顔識別子ＩＤに対応すると推定される人物像を含む画像の画像番号ＧＮを抽出する。
【００５１】
そして、制御部４１は、抽出部４７により抽出された各画像番号ＧＮに対応するそれぞれの画像データを記憶部３５から読み出して、これらの画像データを、通信制御部４３を通じてネットワーク通信部３４から端末装置１０へと送信する（ステップＳ２０７）。
【００５２】
端末装置１０では、各画像データを、ネットワーク通信部１５で受信して通信制御部２３を通じて制御部２１に入力する。制御部２１は、各画像データを入力すると、各画像データによって示されるそれぞれの画像を、表示制御部２２を通じて表示部１２に表示させる。
【００５３】
このように本実施形態によれば、端末装置１０側でユーザーにより任意の顔領域の像が指定されると、この任意の顔領域の像に対応する顔識別子ＩＤが端末装置１０からサーバー３０へと送信され、サーバー３０では、その指定された顔識別子ＩＤに対応する任意の顔領域の像を含む画像及びその指定された顔識別子ＩＤに対応すると推定される人物像を含む画像が抽出されて、これらの画像がサーバー３０から端末装置１０へと送信される。すなわち、任意の顔を認識することができなくても、ユーザーが購入対象として選択する可能性が高い画像が抽出して提供される。
＜変形例１＞
【００５４】
変形例１では、抽出部４７は、指定された顔識別子ＩＤを受け取ると、登録情報ＴＤを参照して、その指定された顔識別子ＩＤと共に同一の画像番号ＧＮに登録されている他の顔識別子ＩＤを検索し、この他の顔識別子ＩＤの登録数を求め、この登録数が規定値以上である場合に、その指定された顔識別子ＩＤには対応付けられずに他の顔識別子ＩＤに対応付けられ、かついずれの顔識別子ＩＤにも対応付けの無い人物番号ＨＮに対応付けられている画像番号ＧＮを抽出している。
【００５５】
例えば、図６に示す登録情報ＴＤにおいて、抽出部４７は、その指定された顔識別子ＩＤが「ＩＤ０２」である場合は、その指定された顔識別子ＩＤ０２と共に同一の画像番号ＧＮに登録されている他の顔識別子ＩＤ０３、ＩＤ０４を検索する。そして、抽出部４７は、その検索された他の顔識別子ＩＤ０３、ＩＤ０４の登録数「２」を求め、規定値が「２」であるとすると、他の顔識別子ＩＤ０３、ＩＤ０４の登録数「２」が規定値「２」以上であるので、その指定された顔識別子ＩＤ０２に対応付けられずにその検索した他の顔識別子ＩＤ０３又はＩＤ０４に対応付けられ、かついずれの顔識別子ＩＤにも対応付けの無い人物番号ＨＮ０１に対応付けられている各画像番号ＧＮ０２、ＧＮ０５を抽出する。
＜変形例２＞
【００５６】
変形例２では、抽出部４７は、指定された顔識別子ＩＤを受け取ると、登録情報ＴＤを参照して、その指定された顔識別子ＩＤと共に同一の画像番号ＧＮに登録されている複数の他の顔識別子ＩＤを検索し、その指定された顔識別子ＩＤには対応付けられずに上記複数の他の顔識別子ＩＤに対応付けられ、かついずれの顔識別子ＩＤにも対応付けの無い人物番号ＨＮに対応付けられている画像番号ＧＮを抽出している。
【００５７】
例えば、抽出部４７は、図６に示す登録情報ＴＤにおいて、その指定された顔識別子ＩＤがＩＤ０２である場合は、その指定された顔識別子ＩＤ０２と共に同一の画像番号ＧＮに登録されている複数の他の顔識別子ＩＤ０３、ＩＤ０４を検索する。そして、抽出部４７は、その指定された顔識別子ＩＤ０２に対応付けられずにその検索した複数の他の顔識別子ＩＤ０３、ＩＤ０４に対応付けられ、かついずれの顔識別子ＩＤにも対応付けの無い人物番号ＨＮ０１に対応付けられている各画像番号ＧＮ０２、ＧＮ０５を抽出する。
＜変形例３＞
【００５８】
変形例３では、サーバー３０の記憶部３５に、新たな画像データが追加して記憶されたときに、この新たな画像データによって示される画像について、図２のフローチャートの処理を行って、記憶部３５内の登録情報ＴＤを更新している。すなわち、顔認識部４４により画像に含まれる顔領域の特徴点ＣＰが求められ、登録情報生成部４５により、その画像に新たな画像番号ＧＮが付与されて、顔領域に顔識別子ＩＤが付与され、人物像に人物番号ＨＮが付与されて、画像番号ＧＮ、顔領域の特徴点ＣＰ、顔識別子ＩＤ、人物番号ＨＮが対応付けられて登録情報ＴＤに登録される。
【００５９】
このように新たな画像データが追加されても、登録情報ＴＤが更新されるため、新たな画像データによって示される画像を、指定された顔識別子ＩＤに基づく選択対象として利用することができる。
＜変形例４＞
【００６０】
変形例４では、上記のように指定された顔識別子ＩＤに対応すると推定される人物像を含む画像を、端末装置１０の表示部１２に表示する際に、この画像における該人物像を特徴付けた表示態様で表示させるようにしている。これにより、指定された顔識別子ＩＤに対応すると推定される人物像を容易に知ることができる。
【００６１】
この場合、サーバー３０では、抽出部４７が、上記のように指定された顔識別子ＩＤには対応付けられずに他の顔識別子ＩＤに対応付けられ、かついずれの顔識別子ＩＤにも対応付けの無い人物番号ＨＮに対応付けられている画像番号ＧＮを登録情報ＴＤから抽出すると、制御部４１は、この抽出された画像番号ＧＮに対応する画像を記憶部３５から読み出して、この画像における人物検出部４６により検出された該人物番号ＨＮに対応する人物像を、当該人物像を他の人物像とは異ならせた特徴付けた表示態様とし、この画像を、通信制御部４３を通じてネットワーク通信部３４から端末装置１０へと送信する。
【００６２】
端末装置１０では、その画像を、ネットワーク通信部１５で受信して通信制御部２３を通じて制御部２１に入力する。制御部２１は、その画像を、表示制御部２２を通じて表示部１２に表示させる。人物像に対する、特徴付けた表示態様は、サーバー３０の制御部４１により、例えば該人物像を薄く表示したり、該人物像にマーキングを施したりすることによりなされる。
＜変形例５＞
【００６３】
変形例５では、人物検出部４６は、画像の中の人物像を検出するだけではなく、人物像の特徴を認識する。例えば、人物検出部４６は、人物像の衣服の色などを特徴として認識して、人物像の特徴点ＰＦを求める。
【００６４】
そして、登録情報生成部４５は、人物検出部４６により認識された複数の人物像の特徴ＰＦ別に、人物像の特徴ＰＦを、該人物像を含む画像の画像番号ＧＮ及び該人物像の人物番号ＨＮに対応付けて登録情報ＴＤに登録して、図７に示すような登録情報ＴＤを生成する。
【００６５】
抽出部４７は、例えば指定された顔識別子ＩＤ０２と共に同一の画像番号ＧＮに登録されている他の顔識別子ＩＤ０３、ＩＤ０４を検索すると共に、その指定された顔識別子ＩＤ０２に対応付けされている人物番号ＨＮ０２を検索し、更に該人物番号ＨＮ０２に対応付けされている人物像の特徴点ＰＦ０２を検索しておき、上記のように指定された顔識別子ＩＤ０２には対応付けられずに他の顔識別子ＩＤ０３又はＩＤ０４に対応付けられ、かついずれの顔識別子ＩＤにも対応付けの無い人物番号ＨＮに対応付けられている各画像番号ＧＮ０２、ＧＮ０５を抽出した後、更にこの抽出した各画像番号ＧＮ０２、ＧＮ０５うちからその人物像の特徴点ＰＦ０２が対応付けられている画像番号ＧＮ０２を求めて、この求めた画像番号ＧＮ０２に対応する画像を記録部３５から読み出す。これにより、その指定された顔識別子ＩＤに対応すると推定される人物像の推定精度を高くして、この人物像を含む画像を求めることが可能となる。
【００６６】
尚、図１乃至図７を用いて説明した上記実施形態及び変形例の構成及び処理は、本発明の一実施形態に過ぎず、本発明を当該構成及び処理に限定する趣旨ではない。
【符号の説明】
【００６７】
１０          端末装置
１１、３１    制御ユニット
１２、３２    表示部
１３          タッチパネル
１４、３３    操作部
１５、３４    ネットワーク通信部
１６、３５    記憶部
２１、４１    制御部
２２、４２    表示制御部
２３、４３    通信制御部
３０          サーバー
４４          顔認識部
４５          登録情報生成部
４６          人物検出部
４７          抽出部
Ｓｙ          画像処理システム
【図１】
2019020840.tif 000003
【図２】
2019020840.tif 000004
【図３】
2019020840.tif 000005
【図４】
2019020840.tif 000006
【図５】
2019020840.tif 000007
【図６】
2019020840.tif 000008
【図７】
2019020840.tif 000009