(57)【要約】      （修正有）【課題】画像をアップロードするユーザが最適な公開範囲を設定できる顔情報の公開範囲に関連したシステムを提供する。【解決手段】各ユーザ毎の仮想的なメモリ領域に画像と画像の公開範囲設定を保存することが可能な、画像保存部１０１と、画像の公開範囲に応じて、ユーザが画像を再生することが可能な、画像再生部１０２と、各画像において顔の領域と、ユーザとの対応付けを設定可能な、顔情報設定機能１０３と、各ユーザが自分の顔情報を公開する範囲を設定することが可能な、顔情報公開範囲設定部１０４と、各ユーザに対応付けされた顔情報から、各ユーザに対する特徴量を検出し、画像中の人物を特定する人物特定部１０５と、画像中の人物とそれらの関係性に応じて、１つもしくは複数の公開範囲設定を決定する公開範囲設定部１０６と、決定した公開範囲ごとに、画像を生成する公開画像生成部１０７と、を備える。【選択図】図１
2016167170.tif 000002
【特許請求の範囲】
【請求項１】
各ユーザごとの情報および画像を保持し、任意のユーザ間の関係性を定義可能なシステムであって、
各ユーザ毎の仮想的なメモリ領域に画像と画像の公開範囲設定を保存することが可能な、画像保存部と、
画像の公開範囲に応じて、ユーザが画像を再生することが可能な、画像再生部と、
各画像において顔の領域と、ユーザとの対応付けを設定可能な、顔情報設定部と、
各ユーザは、自分の顔情報を公開する範囲を設定することが可能な、顔情報公開範囲設定部と、
各ユーザに対応付けされた顔情報から、各ユーザに対する特徴量を検出し、画像中の人物を特定する人物特定部と、
画像中の人物とそれらの関係性に応じて、１つもしくは複数の公開範囲設定を決定する公開範囲設定部と、
決定した公開範囲ごとに、画像を生成する公開画像生成部と、
を備えることを特徴とするシステム。
【請求項２】
公開画像生成部において、生成の方法を複数の選択肢からあらかじめユーザが選択可能であることを特徴とする請求項１に記載のシステム。
【請求項３】
顔情報設定部において、顔情報の設定を自動だけではなく、自動か手動のどちらか、あるいは両方の方法を用いることをユーザが選択可能であることを特徴とする請求項１に記載のシステム。
【請求項４】
顔情報設定部において、端末で設定し、ネットワークを介して結果を送信することが可能であることを特徴とする請求項１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザごとにデータを管理するSNS（ソーシャルネットワーク）のようなシステムを活用し、顔認識や顔情報の技術に関する。
【背景技術】
【０００２】
従来より、SNS（ソーシャルエリアネットワーク）と呼ばれるサービスやシステムはよく知られている。定義はさまざま存在するが、ここでは主にサーバ上でデータを管理しているシステムであって、複数のユーザがシステムにユーザIDとパスワードを入力することで、ログインをするようなシステムであるとする。
【０００３】
システム上では、各ユーザごとにデータが管理されており、ユーザがアップロードした文字列や画像、位置情報などが、ユーザIDに紐付けられて保存されており、各ユーザは自分がアップロードしたデータや、他のユーザがアップロードしたデータのうち、参照権限のあるデータを参照することができる。
【０００４】
また、SNSの大きな特徴の１つとして、ユーザ間の関係が明確に定義されているシステムであるという点が挙げられる。ユーザ同士が知り合いであり、システム上で申請・承認を行うことで、ユーザ間は友達という関係性を持つことができる。
【０００５】
各ユーザが点とすると、点と点を結ぶ線が友達であり、ある1点、通常は自分から見た場合に、別の任意のユーザは、友達か、それ以外に分類することができる。また、それ以外のユーザであって、場合によっては、友達の友達というような関係性で表す場合もある。このような関係性を利用し、先に挙げた、ユーザがアップロードしたデータも、友達のみに公開するといった参照権限の設定が可能となる。特に、写真や位置情報等のプライバシーが重視されるデータについては、公開範囲を厳密に設定することで、家族の顔を知らない人に公開したくない、自宅の場所を特定の人に知られたくない、といったセキュリティ的な観点からのニーズにこたえることができる。
【０００６】
次に、SNSのシステム上の顔情報に関する技術も、従来より重要な技術の１つである。SNSのシステム上では、先に挙げたように画像をアップロードできるが、画像が写真であった場合には、画像に写っている人物を、ユーザIDと関連付けし、保持しておくことができる。通常は、画像をアップロードする際に、写っている顔をシステムが自動で検出し、システムにすでに保存されている顔情報を加味し、自動でユーザIDと関連付けを行ったり、顔のみ検出し、ユーザIDとの関連付けはアップロードするユーザ自身で行ったりする。画像における顔の検出や、顔の特徴量を元にした認識等の技術は、既存の技術を用いることで実現する。
【０００７】
さらに、顔認識の技術の応用で、すでにシステム上に保存されている、任意のユーザに対する顔情報から、ユーザごとの特徴量を求め、新しい画像に写っている画像のユーザを推定する技術も存在する。これにより、画像に写っている顔情報の登録については、自動で顔を認識し、さらに認識したそれぞれの顔に対してユーザを特定するために、ユーザは画像をアップロードするだけで、顔情報の登録が自動で行うことができるようになってきた。
【０００８】
これらを踏まえ、昨今顔情報のプライバシーがユーザの大きな関心となっている。撮影した画像に、自分や友達の顔情報を設定するが、各ユーザはそれぞれ自分の顔を公開したい範囲を設定している場合が多い。あるユーザは自分の友達以外には、自分の顔が写っている画像を公開したくないという設定にしているかもしれないし、他のユーザは全てのユーザに対して自分の顔が写っている画像を公開してもよいという設定にしているかもしれない。しかし、画像自体の公開範囲は、アップロードする際に設定する必要があり、写っているユーザの顔情報公開範囲を加味し、画像の公開範囲を設定しなければならない。
【０００９】
更に、複数のユーザが写っている画像をアップロードする場合に、写っている一部のユーザの顔にモザイクをかけて、自分が指定した友達に公開したいような場合も考えられる。写っているユーザが顔情報を公開していない友達であっても、画像自体を非公開とすることなく、公開できる情報は公開したいというニーズもある。その場合ユーザは、明示的に一部のユーザの顔情報をモザイク化する等して画像を生成し、公開範囲を設定する。そして、そのために、公開範囲ごとに画像を用意する必要があり、全て写っているオリジナル画像以外に複数枚の画像を用意し、正確に公開範囲を設定しなければならない。
【００１０】
また、先行技術として、特許文献１や特許文献２のような、画像の公開範囲に関する提案は知られている。
【００１１】
しかし、これらの技術は、SNSのようなシステムにおける、友達関係を加味した画像と、自身の顔情報の公開範囲の設定に踏み込んで課題を解決するものではなかった。そのため、ユーザがアップロードする際に、自分や友人の顔情報の公開範囲を加味して、画像の公開範囲を設定する等の課題について解決できるものではない。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開2007-18386号公報
【特許文献２】特開2007-279799号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、既存のシステムでは、顔情報の公開範囲と画像の公開範囲はリンクしているわけではなく、画像をアップロードするユーザが２つの条件を加味した最適な公開範囲を、場合によっては複数設定する必要があり、操作が複雑で、誤操作のリスクがあるという問題があった。
【００１４】
本発明は、上記のような問題を解決するシステムを提案するものである。
【課題を解決するための手段】
【００１５】
本発明は、
ユーザごとの情報および画像を保持し、任意のユーザ間の関係性を定義可能なシステムであって、
ユーザごとの仮想的なメモリ領域に画像と画像の公開範囲設定を保存することが可能な、画像保存手段と、
画像の公開範囲に応じて、ユーザが画像を再生することが可能な、画像再生手段と、
各画像において顔の領域と、ユーザとの対応付けを設定可能な、顔情報設定手段と、
各ユーザは、自分の顔情報を公開する範囲を設定することが可能な、顔情報公開範囲設定手段と、
各ユーザに対応付けされた顔情報から、各ユーザに対する特徴量を検出し、画像中の人物を特定する人物特定手段と、
画像中の人物とそれらの関係性に応じて、１つもしくは複数の公開範囲設定を決定する公開範囲決定手段と、
決定した公開範囲ごとに、画像を生成する公開画像生成手段を有する。
【発明の効果】
【００１６】
本発明によれば、ユーザがシステム上の顔情報の公開範囲を意識することなく、画像を適切な公開範囲でアップロードすることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明における代表図である。
【図２】本発明の実施例における、画像保存部の動作を示すフローチャートである。
【図３】本発明の実施例における、画像再生部の動作を示すフローチャートである。
【図４】本発明の実施例における、顔情報設定部の動作を示すフローチャートである。
【図５】本発明の実施例における、顔情報公開範囲設定部の動作を示すフローチャートである。
【図６】本発明の実施例における、人物特定部の動作を示すフローチャートである。
【図７】本発明の実施例における、公開範囲設定部の動作を示すフローチャートである。
【図８】本発明の実施例における、公開画像生成部の動作を示すフローチャートである。
【図９】本発明の実施例における、ユーザ間の関係図の例を示す図である。
【図１０】本発明の実施例における、データ構造を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明を実施するための形態を図面に基づいて説明する。
【実施例１】
【００１９】
本発明の代表的な構成図１において、ユーザごとの情報および画像を保持し、任意のユーザ間の関係性を定義可能なシステムにおける、ユーザごとの仮想的なメモリ領域に画像と画像の公開範囲設定を保存することが可能な画像保存部（１０１）と、画像の公開範囲に応じて、ユーザが画像を再生することが可能な、画像再生部（１０２）と、各画像において顔の領域と、ユーザとの対応付けを設定可能な、顔情報設定部（１０３）と、各ユーザは、自分の顔情報を公開する範囲を設定することが可能な、顔情報公開範囲設定部（１０４）と、各ユーザに対応付けされた顔情報から、各ユーザに対する特徴量を検出し、画像中の人物を特定する人物特定部（１０５）と、画像中の人物とそれらの関係性に応じて、１つもしくは複数の公開範囲設定を決定する公開範囲設定部（１０６）と、決定した公開範囲ごとに、画像を生成する公開画像生成部（１０７）からなる。
【００２０】
システムは主に、一般的なSNS（ソーシャルネットワーク）のシステムを想定している。ユーザが個別のユーザIDおよびパスワードでログインし、ユーザIDとリクエストをセットで実行するものとする。また、各ユーザは自分の友達リストをもち、任意の2人のユーザが二人とも承認すれば、友達という関係性をもつことができる。これを、全ての任意の２人のユーザに対して適用することが可能であり、ある特定のユーザから見た場合には、他の任意のユーザは友達か、それ以外かに分類することができる。さらに、直接の友達ではないが、友達の友達といった再帰的な関係性を利用することも可能であり、ユーザが文字や画像をシステムに登録する際に、誰に公開するかという公開範囲を設定する際には、友達のみに公開する設定や、友達の友達、あるいは全てのユーザに公開する等の公開範囲を設定することができる。
【００２１】
このようなシステムを前提とし、本発明の代表的な形態における処理の流れを説明する。
【００２２】
まず、本実施例では、画像保存部（１０１）において、ユーザはシステムに対して、画像を保存することができる。システムにユーザがユーザIDおよびパスワードでログインした後、ユーザは対象の画像と、画像を公開する範囲、公開範囲設定を入力し（Ｓ２０２）、実行する。システムは、そのリクエストを受け取り（Ｓ２０１）、ユーザIDに関連付けされた画像として、画像と公開範囲設定をデータベース（Ｓ２０４）に保存する（Ｓ２０３）。
【００２３】
画像再生部（１０３）では、画像IDをリクエスト（Ｓ３０２）として取得し（Ｓ３０１）、データベース（Ｓ３０４）より画像IDに関連付けされた画像と公開範囲を取得する（Ｓ３０３）。取得した公開範囲を用いて、自分が公開範囲に含まれるか（Ｓ３０５）どうかを調べる。もし、公開範囲に含まれていなければ再生できないため、エラーメッセージを表示する等して画像自体は表示させない（Ｓ３０６）。もし公開範囲に含まれていれば画像を再生する（Ｓ３０７）。
【００２４】
顔情報設定部（１０４）では、まず画像IDと、画像に含まれる顔領域や顔領域が対象とするユーザIDをリクエスト（Ｓ４０２）として取得する（Ｓ４０１）。顔領域が設定されていてもユーザが不定の場合も存在するはずであるが、顔情報を設定する場合においてはユーザとの紐付けが必須としているため、ここでは考慮しない。リクエストにあった画像IDから、データベース（Ｓ４０４）を参照して画像を取得し（Ｓ４０３）、画像の編集権限を持っている場合、つまりここでは自分が保持している画像であれば（Ｓ４０５）設定する処理に入ることができる。顔情報の設定では、画像の顔領域を設定し（Ｓ４０６）、データベースに保存する（Ｓ４０７）。
【００２５】
顔情報公開範囲設定部（５０１）では、ユーザ自身の顔情報の公開範囲の設定を行うためのリクエスト（Ｓ５０２）を取得する（Ｓ５０１）。リクエストを受け取った後、データベース（Ｓ５０４）に対して、顔情報の公開範囲を設定する（Ｓ５０３）。
【００２６】
人物特定部ではリクエスト（Ｓ６０２）を取得し（Ｓ６０１）、画像に含まれる顔領域を検出する（Ｓ６０３）。顔領域の検出については、様々な方法が考えられ、どの方法でもかまわないが、ここでは単純なパターンマッチング的なアプローチによって検出する一般的なアルゴリズムを想定する。顔領域を検出した後、検出した顔領域の特徴量を算出する（Ｓ６０４）。精密なアルゴリズムであれば光源の正規化や、歪みの補正などを行う場合もあるが、ここでは単純に目鼻口や輪郭を検出し、領域内における相対位置からパラメータを算出するシンプルなアルゴリズムを想定する。算出した特長量を用いて、データベース（Ｓ６０６）より候補となるユーザを検出する（Ｓ６０５）。
【００２７】
全てのユーザから特徴量のみをキーに抽出することにするが、他にも候補ユーザを検索する際に、自分から該当ユーザの間の関係性を考慮することも考えられる。候補ユーザを抽出した後に、実際に合致するユーザがいるかどうかを判定し（Ｓ６０７）、合致する場合にはそのユーザの顔情報として設定（Ｓ６０８）をデータベース（Ｓ６０６）に対して行う。ここでも、合致しなくても、優先度付けされた順に、ユーザに対して候補者を表示し、ユーザに選択してもらうという方法も考えられる。本実施例では、あくまでも特徴量が合致したユーザを自動で抽出するものとする。
【００２８】
公開範囲設定部（１０７）では、まず画像を含む公開範囲設定に必要な情報（Ｓ７０２）を取得する（Ｓ７０１）。次に、画像に写っている、実際には画像に設定されている顔情報に関連付けされた各ユーザの、顔情報公開範囲をデータベース（Ｓ７０４）より取得する（Ｓ７０３）。そして、各ユーザの友達関係を取得する（Ｓ７０５）。特に、それぞれのユーザにおける顔情報公開範囲内の友達までの関係性が取得できれば十分である。たとえば、友達までを顔情報公開範囲と設定していれば、友達の友達までの関係性を取得しておく。
【００２９】
そして、取得した関係性と、顔情報公開範囲をユーザの人数分そろえたら、それらを用いて公開範囲設定のリストを作成する（Ｓ７０６）。これもいくつかのパターンが存在し、それをさらにユーザの設定に応じて切り替えるようなことも考えられるが、ここでは簡易的なものを想定し、各ユーザにおける顔情報公開範囲内外のグループが定義できるので、それらの組み合わせを全て作成することにする。たとえば、図９の例を用いて説明する。写っているユーザがユーザA（９０１）、ユーザB（９０２）、ユーザC（９０３）、ユーザD（９０４）がいたとする。ユーザAとユーザB、ユーザAとユーザC、ユーザBとユーザDはそれぞれ友達であったとする。
【００３０】
また、顔情報の公開範囲は、それぞれ友達までという設定をしていたとする。このとき、ユーザAとユーザBが写った画像を、ユーザAがアップロードする場合を考える。ユーザAの顔情報については、ユーザAとユーザBとユーザCに対して公開範囲が設定されている（９０６）。ユーザBの顔情報については、ユーザAとユーザBとユーザDに対して公開範囲が設定されている（９０５）。そのため、ユーザAとユーザBの顔情報に対する公開範囲設定のリストは、ユーザAとユーザB（９０８）、ユーザC（９０９）、ユーザD（９０７）の３つとなる。今回の例では、それ以外のユーザに対する公開は含めないが、写っている全てのユーザの顔情報に対して非公開処理を施した画像を公開する必要があるのであれば、それ以外のユーザという公開範囲設定が存在してもよい。ユーザAとユーザBの公開範囲設定では、どちらも顔情報の参照が可能なので、元の画像をそのまま参照することができる。
【００３１】
ユーザCの公開範囲設定では、ユーザAの顔情報公開範囲に含まれているが、ユーザBの顔情報公開範囲には含まれていないため、ユーザBの顔情報に非公開のための処理を施した画像を参照することになる。同様に、ユーザDの公開範囲設定では、ユーザBの顔情報公開範囲には含まれているが、ユーザAの顔情報公開範囲には含まれていないため、ユーザAの顔情報に非公開のための処理を施した画像を参照することになる。
【００３２】
このように、ユーザ間の友達関係および、各ユーザの顔情報公開範囲を元に、公開範囲設定リストを作成し、それぞれに対して作成すべき画像が決定でき、公開範囲の設定に対する公開画像の組を作成することができる。公開範囲設定のリストが作成できたら、それぞれの公開範囲設定に対して（Ｓ７０７）、公開画像生成部において公開用の画像を生成する（Ｓ７０８）。
【００３３】
公開画像生成部（１０８）では、対象となる画像、写っているユーザID、画像の公開範囲設定を受け取る（Ｓ８０１）。そして、画像に写っているユーザ全てに対して（Ｓ８０２）、対象のユーザの顔情報公開範囲をデータベース（Ｓ８０４）から取得する（Ｓ８０３）。そして、対象ユーザの顔情報公開範囲と、画像の公開範囲設定を比べ（Ｓ８０５）、画像の公開範囲設定が、顔情報公開範囲外となっている場合には、対象ユーザの顔領域に非公開処理を施す（Ｓ８０６）。非公開処理とは、モザイクをかける、別の画像で置き換える等複数考えられるが、今回は一律にモザイクをかけることとする。画像に含まれる全てのユーザに対して処理を行った後、作成した画像を公開画像として出力する（Ｓ８０７）。
【００３４】
最後に、本実施例で使うデータの関連性を図１０で示す。ユーザはシステム内でユーザID（１００１）で管理されている。全てのユーザIDは、任意の数の他のユーザIDと友達になることができる。また、各ユーザIDは自分の顔情報公開範囲設定（１００２）と１対１の関係性をもっている。１つのユーザIDに対して、任意の数の画像ID（１００４）が関連付けされている。これは、各ユーザがアップロードした画像群を示しており、０以上の任意の数でよい。各画像IDには画像に含まれる顔領域（１００３）が任意の数関連付けされており、各顔領域はユーザIDと関連付けされている。本実施例では、ユーザIDと関連付けされていない顔領域は存在しないものとする。画像IDはその画像の公開範囲を定義した公開範囲設定（１００５）と１対１の関係性を持つ。
【実施例２】
【００３５】
実施例１で記載された公開画像生成部において、生成に関する方法をユーザが選択できるような実施例も考えられる。参照権限のないユーザに対する画像を生成する際に、権限のない顔情報の顔領域に対して何かしらの処理を施す必要があるが、黒などの色で塗りつぶす、モザイクをかける、あらかじめ決められたパターンで上書きを行う等の選択肢があり、ユーザはあらかじめ選択することができる。システムは、あらかじめ指定された方法を用いて、参照権限のないユーザに対する画像を生成する。
【実施例３】
【００３６】
実施例１で記載された顔情報設定部において、設定の方法を自動か手動か、あるいはその両方かをユーザが選択できるような例も考えられる。自動であれば、システムは検知した顔領域に対して、システムが保持している情報のみを利用してユーザを特定するが、明暗や方法等の条件によって必ずしも確実に特定できるとは限らない。さらに、検出するユーザを選択し、小さく写っていたり、無関係であったり、不要なユーザを検出したくない場合には、手動のみで設定することも可能である。ユーザはあらかじめその３種類を選択しておき、それに応じて顔領域を検出した後に、必要な情報をユーザに問い合わせることもできる。
【実施例４】
【００３７】
実施例１で記載された顔情報設定部において、直接接続されていない別の端末で設定を行い、結果をネットワークを介して送受信するという例も考えられる。送受信するデータは同じであるが、ネットワークを介することで、送受信を行うために必要な情報を追加でやり取りする必要が出てくる。例えば、インターネット上のHTTPプロトコルを用いるのであれば、HTTPプロトコルを送受信できるような機能および、そのために必要なヘッダ等の情報が必要になる。
【００３８】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【符号の説明】
【００３９】
１０１  画像保存部、１０２  画像再生部、１０３  顔情報設定部、
１０４  顔情報公開範囲設定部、１０５  人物特定部、１０６  公開範囲設定部、
１０７  公開画像生成部
【図１】
2016167170.tif 000003
【図２】
2016167170.tif 000004
【図３】
2016167170.tif 000005
【図４】
2016167170.tif 000006
【図５】
2016167170.tif 000007
【図６】
2016167170.tif 000008
【図７】
2016167170.tif 000009
【図８】
2016167170.tif 000010
【図９】
2016167170.tif 000011
【図１０】
2016167170.tif 000012