(57)【要約】【課題】不特定多数の利用者が安心してプライバシーに配慮すべき画像の共有と検索ができるよう、プライバシーに配慮した静止画または動画の人物画像検索方法を得る。【解決手段】検索利用者の本人確認を行い、利用者本人が許可を得た人物の顔写真を検索キーとして登録し、予め画像中に写っている人物の特徴情報を保持したデータベースを、利用者が登録した検索キーで検索し、登録した検索キーの人物のみを検索、表示し、それ以外の顔画像はプライバシー保護処理をすることにより、プライバシーを保護する。【選択図】    図１
2014089625.tif 000002
【特許請求の範囲】
【請求項１】
画像検索の利用者を登録する利用者登録工程と、
静止画または動画を登録する画像登録工程と、
利用者が画像検索を行う画像検索工程と、
を有する、
演算装置を用いる人物画像検索方法であって、
前記演算装置において、
前記利用者登録工程は、
静止画および動画の検索を行う利用者に対して、前記利用者本人であることを確認する、本人確認工程と、
前記利用者本人、または、前記利用者に顔写真検索の許可を与えた第三者、の顔写真を登録する、顔写真登録工程と、
前記顔写真から、人物を特定可能な顔の特徴を検出し、顔の特徴データを検索キーとして登録する、人物特定情報登録工程と、
を有し、
前記画像登録工程は、
静止画および動画中に写っている人間の顔画像から、人物を特定可能な顔の特徴を検出する、人物特定情報検出工程と
検出した人物の顔の特徴と、検出対象の静止画および動画中の位置を特定する情報を、データベースに格納する、画像中人物情報格納工程と
を有し、
前記画像検索工程は、
前記利用者登録工程にて登録された検索キーを用いて、前記画像登録工程でデータベースに格納された情報を抽出する人物画像検索工程と、
前記抽出された情報より静止画または画像に対して、前記利用者が前記顔写真登録工程にて登録された人物以外、の顔の部分の画像を、人物特定ができないように加工する、プライバシー保護加工工程と、
を有する、
人物画像検索方法。
【請求項２】
請求項１の前記画像検索工程は、前記プライバシー保護加工工程で加工した画像を表示する工程、
を有する人物画像検索方法。
【請求項３】
請求項１の前記利用者登録工程は、
利用者への連絡手段を登録する、連絡手段登録工程と、
複数の利用者が、前記利用者登録工程にて、同一の顔の特徴を持つ顔画像を検索キーとして登録した事実を検出する、重複登録検出工程と、
同一の検索キーの登録を行った全ての利用者に対して、前記連絡手段を用いて、前記事実の発生を通知する、通知工程と、
を有する請求項１または２に記載の人物画像検索方法。
【請求項４】
画像検索を行う利用者を登録する利用者登録手段と、
静止画または動画を登録する画像登録手段と、
利用者が画像検索を行う画像検索手段と、
を有する人物画像検索装置であって、
前記利用者登録手段は、
静止画および動画の検索を行う利用者に対して、前記利用者本人であることを確認する、本人確認手段と、
前記利用者本人、または、前記利用者に顔写真検索の許可を与えた第三者、の顔写真を登録する、顔写真登録手段と、
前記顔写真から、人物を特定可能な顔の特徴を検出し、顔の特徴データを検索キーとして登録する、人物特定情報登録手段と、
を有し、
前記画像登録手段は、
静止画および動画中に写っている人間の顔画像から、人物を特定可能な顔の特徴を検出する、人物特定情報検出手段と
検出した人物の顔の特徴と、検出対象の静止画および動画中の位置を特定する情報を、データベースに格納する、画像中人物情報格納手段と
を有し、
前記画像検索手段は、
前記利用者登録手段にて登録された検索キーを用いて、前記画像登録手段でデータベースに格納された情報を抽出する人物画像検索手段と、
前記抽出された情報より静止画または画像に対して、前記利用者が前記顔写真登録手段にて登録された人物以外、の顔の部分の画像を、人物特定ができないように加工する、プライバシー保護加工手段と、
を有する、
人物画像検索装置。
【請求項５】
請求項４の前記画像検索手段は、前記プライバシー保護加工手段で加工した画像を表示する手段、
を有する人物画像検索装置。
【請求項６】
請求項４の前記利用者登録手段は、
利用者への連絡手段を登録する、連絡手段登録手段と、
複数の利用者が、前記利用者登録手段にて、同一の顔の特徴を持つ顔画像を検索キーとして登録した事実を検出する、重複登録検出手段と、
同一の検索キーの登録を行った全ての利用者に対して、前記連絡手段を用いて、前記事実の発生を通知する、通知手段と、
を有する請求項４または５に記載の人物画像検索装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物画像の検索装置、人物画像の検索方法、人物画像の検索サービス等に適用される。
【背景技術】
【０００２】
デジタルカメラやデジタルビデオにおいて、人物の顔の位置に露出やピントを合わせるなど、顔認識技術は一般化している。特許文献１、特許文献２、特許文献３、特許文献４、は顔認識及び人物認識に関する技術である。
【０００３】
また、インターネットのサービスでは、画像を登録すると、本人や友人の顔を認識して自動で情報を付与、あるいは付与の補助をするサービスが存在する。これらのサービスの背景には、画像中の顔画像から人物を特定し、既存の画像データ中の人物と照合する技術がある。特許文献５、特許文献６、特許文献７、特許文献８、特許文献９、特許文献１０、特許文献１１、は多数の画像の中から特定の人物を照合する技術である
【０００４】
また、特許文献１２は画像の中から登録されている複数の人物を一括して抽出する技術が含まれる。
これらの技術を用いることにより、多数の画像の中から特定の人物画像が含まれている写真を効率よく検索することができる。これにより、家族や友人、知人、あるいはコミュニティなどの参加者が持っている画像を共有することができる。
例えば、学校の運動会のように、多数の保護者が多数の競技者を撮影するような場面では、直接面識のない保護者同士が画像を共有することにより、希望する画像を入手する機会は増える。これは共有される画像数が増えれば、希望する画像を入手する機会はより増大する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２１８０６０公報
【特許文献２】特開２０１０−１４６５８１公報
【特許文献３】特開２００５−３５２７２７公報
【特許文献４】特開２０１０−７２７０８公報
【特許文献５】特開２０１２−３６２３公報
【特許文献６】特開２００６−３１８３７５公報
【特許文献７】特開２００４−１９２２１３公報
【特許文献８】特開２００３−３３１２６４公報
【特許文献９】特開２００３−１７８３０４公報
【特許文献１０】特開２００３−７６９９０公報
【特許文献１１】ＷＯ２００５／０３１６１２公報
【特許文献１２】特開２００５−２６７１４６公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、家族や友人・知人の範囲を超えて、多数の人間が画像を供給するような場では、肖像権やプライバシーの問題が存在する。  また、自分の知らない第三者に自分や家族の写真を見られたくない人や、画像を提供したくない人も多く存在する。そのため、プライバシーに配慮した画像検索方法が確立されないかぎり、家族や友人・知人の範囲を超えた大規模コミュニティにおいて、プライバシー保護の必要な画像の共有は事実上困難である。
【０００７】
そこで、本発明は、静止画および動画の検索において、プライバシーに配慮した画像検索方法を得ることを課題とする。
【課題を解決するための手段】
【０００８】
請求項１に記載の発明は、画像検索の利用者を登録する利用者登録工程と、静止画または動画を登録する画像登録工程と、利用者が画像検索を行う画像検索工程と、を有する、
演算装置を用いる人物画像検索方法であって、
前記演算装置において、
前記利用者登録工程は、
静止画および動画の検索を行う利用者に対して、前記利用者本人であることを確認する、本人確認工程と、
前記利用者本人、または、前記利用者に顔写真検索の許可を与えた第三者、の顔写真を登録する、顔写真登録工程と、
前記顔写真から、人物を特定可能な顔の特徴を検出し、顔の特徴データを検索キーとして登録する、人物特定情報登録工程と、
を有し、
前記画像登録工程は、
静止画および動画中に写っている人間の顔画像から、人物を特定可能な顔の特徴を検出する、人物特定情報検出工程と
検出した人物の顔の特徴と、検出対象の静止画および動画中の位置を特定する情報を、データベースに格納する、画像中人物情報格納工程と
を有し、
前記画像検索工程は、
前記利用者登録工程にて登録された検索キーを用いて、前記画像登録工程でデータベースに格納された情報を抽出する人物画像検索工程と、
前記抽出された情報より静止画または画像に対して、前記利用者が前記顔写真登録工程にて登録された人物以外、の顔の部分の画像を、人物特定ができないように加工する、プライバシー保護加工工程と、
を有する、
人物画像検索方法である。
【０００９】
以下に請求項１記載の各工程について説明する。
【００１０】
画像検索の利用者を登録する利用者登録工程は、本人確認工程と、顔写真登録工程と、人物特定情報登録工程により構成される。
【００１１】
本人確認工程では、静止画および動画の検索を行う利用者に対し、利用者本人であることを確認する。これには、ログイン管理、捺印文書の郵送、本人確認の電話など既存の本人確認技術を用いてもよい。これにより、プライバシー保護の障害となる不正利用を防止する。
【００１２】
顔写真登録工程では、利用者本人または、利用者に顔写真検索の許可を与えた第三者、の顔写真を登録する。
【００１３】
人物特定情報登録工程は、前記登録した顔写真から、人物を特定可能な顔の特徴を検出し、顔の特徴データを検索キーとして登録する。
【００１４】
これにより、本人やその家族などの顔写真を登録し、その人物と同一人物と判定される画像を検索するキーとすることができる。
【００１５】
静止画または動画を登録する画像登録工程は、人物特定情報検出工程と、画像中人物情報格納工程により構成される。
【００１６】
人物特定情報検出工程では、現在保有している、あるいは保有しようとする静止画、及び動画の中に写っている人間の顔画像から、人物を特定可能な顔の特徴を検出する。
【００１７】
画像中人物情報格納工程では、検出した人物の顔の特徴と、検出対象の前記静止画および動画中の人物の位置を特定する情報を、データベースに格納する。
【００１８】
これにより、多数の画像が、そこに写っている人物の情報で検索できる状態となる。たとえば多数の人間がコミュニティなどの場に写真を共有するような場合、写真共有時に写っている人物の特徴情報を予め抽出しておくことにより、システムに未登録の顔写真に対しても迅速に照合できる。
【００１９】
利用者が画像検索を行う画像検索工程は、人物画像検索工程と、プライバシー保護加工工程と、により構成される
【００２０】
人物画像検索工程は、前記利用者登録工程にて登録された検索キーを用いて、前記画像登録工程でデータベースに格納された情報を抽出する。
【００２１】
プライバシー保護加工工程は、前記抽出された情報より静止画または画像に対して、前記利用者が前記顔写真登録工程にて登録された人物以外、の顔の部分の画像を、人物特定ができないように加工する。
【００２２】
図３に画像検索工程のフローチャートを示す。
【００２３】
これにより、自分の顔、家族の顔、許可を与えた知人の顔、など、自分の登録した顔写真の人物が写っている画像を選択的に抽出することができると同時に、利用者が登録した人物以外の顔にプライバシー保護加工を施す。プライバシー保護加工は、顔の部分にボカシを入れる、モザイク処理をする、目の部分を線で塗りつぶすなどの加工が考えられる。
つまり、登録した人物が写っていない画像は検索結果から除外することができ、また、検索結果画像からも、登録した人物以外の顔はプライバシー保護加工がされていて、鮮明な画像としてみることができない。
【００２４】
これら一連の工程の組み合わせにより、利用者は登録した顔写真と同一人物と判定される顔画像が写っている画像のみを、プライバシーを保護した状態で検索することができる。
【００２５】
請求項２に記載の発明は、請求項１の前記画像検索工程は、前記プライバシー保護加工工程で加工した画像を表示する工程、を有する人物画像検索方法、である。
【００２６】
以下に請求項２記載の各工程について説明する。
前記加工した画像を表示する工程では、プライバシー保護加工をした画像を検索結果として表示する工程である。
【００２７】
例えば、互いの面識のない多数の利用者が多数の画像を共有するような場であっても、個々の利用者はその中から自分が登録した顔が写っている画像のみが鮮明に見える状態で、画像検索結果が表示される。例として、不特定多数の保護者が、学校の運動会の写真を共有しているような場合でも、個々の保護者は自分の子供が写っている写真のみを検索および閲覧できる。  また自分の子供の写真は他の利用者が不正に写真登録をしていない限り、他の利用者からは検索結果に表示されることがないので、プライバシーの保護やセキュリティの向上につながる。
【００２８】
請求項３に記載の発明は、請求項１の前記利用者登録工程は、
利用者への連絡手段を登録する、連絡手段登録工程と、
複数の利用者が、前記利用者登録工程にて、同一の顔の特徴を持つ顔画像を検索キーとして登録した事実を検出する、重複登録検出工程と、
同一の検索キーの登録を行った全ての利用者に対して、前記連絡手段を用いて、前記事実の発生を通知する、通知工程と、
を有する請求項１または２に記載の人物画像検索方法、である。
【００２９】
以下に請求項３記載の各工程について説明する。
【００３０】
連絡手段登録工程では、利用者への連絡手段を登録する。
これは、Eメールアドレス、電話番号、など利用者本人に連絡が取れる連絡先を登録する。
【００３１】
重複登録検出工程では、複数の利用者が、前記利用者登録工程にて、同一の顔の特徴を持つ顔画像を検索キーとして登録した事実を検出する。
これにより、他人が無許可で他の利用者の写真を登録するなどの不正利用の可能性のある行為を検出できる。
【００３２】
例えば、ある利用者が自分の写真を登録し、他の利用者が同じ顔写真と判定される写真を登録すると、重複するデータが発生した時点で潜在的な不正利用の可能性を検出できる。
【００３３】
通知工程では、同一の検索キーの登録を行った全ての利用者に対して、前記連絡手段を用いて、前記事実の発生を通知する。
これにより、同一の検索キーを登録した全ての利用者が、自分の登録している顔写真に関する、第三者の利用の状態をチェックできるようになり、さらに不正利用の防止とプライバシー保護に役立つ。
【００３４】
請求項４に記載の発明は、
画像検索を行う利用者を登録する利用者登録手段と、
静止画または動画を登録する画像登録手段と、
利用者が画像検索を行う画像検索手段と、
を有する人物画像検索装置であって、
前記利用者登録手段は、
静止画および動画の検索を行う利用者に対して、前記利用者本人であることを確認する、本人確認手段と、
前記利用者本人、または、前記利用者に顔写真検索の許可を与えた第三者、の顔写真を登録する、顔写真登録手段と、
前記顔写真から、人物を特定可能な顔の特徴を検出し、顔の特徴データを検索キーとして登録する、人物特定情報登録手段と、
を有し、
前記画像登録手段は、
静止画および動画中に写っている人間の顔画像から、人物を特定可能な顔の特徴を検出する、人物特定情報検出手段と
検出した人物の顔の特徴と、検出対象の静止画および動画中の位置を特定する情報を、データベースに格納する、画像中人物情報格納手段と
を有し、
前記画像検索手段は、
前記利用者登録手段にて登録された検索キーを用いて、前記画像登録手段でデータベースに格納された情報を抽出する人物画像検索手段と、
前記抽出された情報より静止画または画像に対して、前記利用者が前記顔写真登録手段にて登録された人物以外、の顔の部分の画像を、人物特定ができないように加工する、プライバシー保護加工手段と、
を有する、
人物画像検索装置
である
これは、請求項１に記載の方法を実装した装置である。
【００３５】
請求項５に記載の発明は、
請求項４の前記画像検索手段は、前記プライバシー保護加工手段で加工した画像を表示する手段、
を有する人物画像検索装置、
である。
これは、請求項２に記載の方法を実装した装置である。
【００３６】
請求項６に記載の発明は、
請求項４の前記利用者登録手段は、
利用者への連絡手段を登録する、連絡手段登録手段と、
複数の利用者が、前記利用者登録手段にて、同一の顔の特徴を持つ顔画像を検索キーとして登録した事実を検出する、重複登録検出手段と、
同一の検索キーの登録を行った全ての利用者に対して、前記連絡手段を用いて、前記事実の発生を通知する、通知手段と、
を有する請求項４または５に記載の人物画像検索装置、
である。
これは、請求項３に記載の方法を実装した装置である。
【発明の効果】
【００３７】
本発明による人物画像検索方法では、画像検索利用者数、画像の供給者数、および画像数にかかわらず、利用者は利用者が登録した人物が写っている画像のみを検索し、またそれ以外の人物の画像にはプライバシー加工がなされることにより、プライバシーに配慮した人物画像の検索が実現できる。
【図面の簡単な説明】
【００３８】
【図１】プライバシーを保護した画像検索の概念図を示す
【図２】不正登録の通知の概念図を示す
【図３】利用者による人物画像検索・表示処理のフローチャートを示す
【発明を実施するための最良の形態】
【００３９】
最良の実施形態として、以下の実施例を挙げる。
なお、以下の例は最良の実施形態と思われる実施例の一つであり、発明の本質ではない。
【００４０】
実施例として、小中学校の運動会で保護者が撮影した写真を共有し、利用者それぞれが自分の子が写っている写真を探すというシステムを例に挙げる。
図１に本システムの検索部分の概念図を示す。
【００４１】
１．利用者登録
利用者は利用者登録を行う。登録では、身分証明書の提示、署名捺印した申込書の郵送、電話による確認など、なんらかの確認手段を用いて、本人確認を行う。
この例の場合では、保護者が自分の子の写真を検索するが、これは保護者に検索の許可が与えられているとみなす。利用者である保護者は、検索したい顔写真、つまり自分の子の写真を検索登録画像として登録する。
【００４２】
システムは登録された子の写真から、人物特定可能な顔の特徴を検出し、利用者のデータとして保管しておく。この登録された子の写真が検索のキーとなる。
図１に例として、利用者Aと利用者Bが登録されており、利用者AおよびBは、それぞれ自分の子の写真を検索登録画像として登録してある状態を図示している。
なお、図１には記載していないが、利用者AおよびBの検索登録画像から人物を特定可能な情報が抽出され、利用者それぞれと紐づいたデータとして保管されている。
【００４３】
また、利用者登録の際は、連絡方法を登録しておくことにより、不正利用を検出した場合などの警告や連絡に使うことができる。
図２は、利用者Bが利用者Aの子の写真を不正に登録しようとし、システムが利用者A、およびB両方に不正利用の疑いを通知する図である。
【００４４】
２．画像の共有
利用者本人、あるいは他の利用者が、特定の運動会等で撮影した写真をシステムにアップロードする。
この際、システムでは、個々の写真中の人物の顔写真から、人物を特定可能な顔の特徴を検出し、データベースに格納する。
図１では、不特定多数の利用者がアップロードした画像が画像ストレージにある状態が示されている。なお、図1には書かれていないが、アップロードされた各画像からは、写っている人物を特定可能な情報が抽出され、それぞれの画像と紐づいた情報として、データベースに保管されている。
【００４５】
３．画像の検索
利用者が検索を実行すると、利用者が登録した自分の子の特徴情報を含む画像がデータベースより検索される。
検索結果は画面に表示されてもよい。
これにより利用者は、自分の子が写っていない写真は省いて、自分の子が写っている写真のみを検索することができる。
この際、登録した自分の子以外の顔は、モザイクをかけるなどのプライバシー保護加工がされている。
【００４６】
図１では、利用者A、およびBそれぞれによる検索結果表示の概念図が示されている。それぞれ、検索登録画像が写っている写真のみが検索され、検索登録画像が写っていない写真は検索結果には現れない。検索・表示された写真でも、検索登録画像の人物以外の顔には、プライバシー保護加工が行われた状態で表示されている図が示されている。
つまり、利用者が自分の子以外が写っている写真をアップロードしても、自分の子の顔は他の利用者からはプライバシー加工されていて鮮明には見えないので、安心して画像を共有できる。
利用者の子以外の第三者が写っていて、それが他の特定の利用者の検索キーと一致する場合は、それは他の特定の利用者のみが顔を見ることができる。
【００４７】
４．なりすましなどの防止
他の利用者が、別の利用者の子供の写真を勝手に検索登録するような不正があった場合、不正登録された人物が既に検索キー登録されている場合、あるいは後から正統な利用者が検索キー登録した場合には、検索キー登録情報の重複が発生する。
この重複の発生を、同じ重複キーを登録した利用者に通知することにより、写真を不正登録された利用者は不正利用をしたと思われる利用者に警告を送ることができる。
【図１】
2014089625.tif 000003
【図２】
2014089625.tif 000004
【図３】
2014089625.tif 000005