(57)【特許請求の範囲】
【請求項１】
複数の個人端末と、画像を保管するサーバーと、ネットワークと、前記個人端末より前記画像と前記画像を撮影した撮影者情報と共に前記ネットワークを介して前記サーバーにアップロードする手段とを備え、前記画像を欲する画像希望者と前記撮影者との関係性を設定する手段と、前記画像希望者の少なくとも一つの顔画像を登録する手段と、前記アップロードされた前記画像希望者の顔画像と前記撮影者の画像を比較する手段と、両者の前記顔画像が略合致したと判断した画像を出力する手段を備え、前記比較手段は前記関係性に基づいて略合致するレベルを、「高い」、「中間」、「なし」の少なくとも３段階に設定する手段を備え、前記画像は、さらに撮影されたカメラ、年月日、時刻等のＥＸＩＦ情報を有し、前記画像希望者が設定した撮影された年月日、時刻等のＥＸＩＦ情報と、前記撮影者の画像の撮影された年月日、時刻等のＥＸＩＦ情報とを比較する手段とを備え、前記関係性によって前記画像希望者の顔画像と前記撮影者の画像の比較を省略するよう制御する手段を設けた画像出力装置。
【請求項２】
複数の個人端末と、画像を保管するサーバーと、ネットワークと、前記個人端末より前記画像と前記画像を撮影した撮影者情報と共に前記ネットワークを介して前記サーバーにアップロードする手段とを備え、前記画像を欲する画像希望者と前記撮影者との関係性を設定するステップと、前記画像希望者の少なくとも一つの顔画像を登録するステップと、前記関係性を基にアップロードされた前記画像希望者の顔画像と前記撮影者の画像を比較するステップと、両者の前記顔画像が略合致したと判断した画像を出力するステップを備え、前記比較手段は前記関係性によって略合致するレベルを、「高い」、「中間」、「なし」の少なくとも３段階に設定するステップと、前記画像は、さらに撮影されたカメラ、年月日、時刻等のＥＸＩＦ情報を有し、前記画像希望者が設定した撮影された年月日、時刻等のＥＸＩＦ情報と、前記関係性の深い撮影者の画像の撮影された年月日、時刻等のＥＸＩＦ情報とを比較するステップと、前記関係性によって前記画像希望者の顔画像と前記撮影者の画像の比較を省略するステップとを備えた画像出力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の人々が撮影した複数の画像を収集し、それらの画像の中からある個人
が撮影されている画像を探して出力する画像出力装置および画像出力方法に関する。
【背景技術】
【０００２】
従来、学校の行事、各地の催しもの、結婚式などのイベントでたくさんの写真が撮られ、それらを撮影した撮影者に頼んでプリントしてもらったりしていた。しかしながら写真が欲しい人にとってもっとたくさんの写真があるのではないかと思うことがしばしばであった。
【０００３】
ところで最近はこれらのイベントで撮影した画像をサーバーにアップし、それを楽しむ人も多くなった。ところで見るだけでは満足せずに個人が撮影された画像をプリントしようとする人も多い。しかしながら、各個人がマニュアルに画像を選択しようとしても数が多いので見落としもあり選択が困難で諦めてしまう人も多かった。
【０００４】
そこで特許文献１は図８に示し、フォトサイトサーバ１１０は、顧客端末Ａ１２０からユーザ情報を含む申込要求を受信したことに応じて、該受信したユーザ情報にハードディスクに記憶された特定画像データ（ユーザの顔画像データ）を取得し、該取得した特定画像データとマッチする画像データをハードディスクから取得して、ＲＡＭに格納し、該格納された画像データから縮小画像データおよび、前記特定画像データとマッチした部分の画像データを切り出した特定部分画像データを生成し、該生成された縮小画像データおよび特定部分画像データに基づいて、前記ユーザ情報に対応する掲載情報（個人アルバム）を生成する例がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１７９１９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
以上に述べた特許文献１では、特定の画像、例えばユーザの顔画像とマッチした画像データをハードディスクから取得してＲＡＭに格納して、その格納した画像データから縮小画像データおよび、その特定の画像データとマッチした部分の画像データを切り出した特定部分の画像データを生成し、前記生成された縮小画像データおよび特定部分画像データからアルバムに掲載する情報を生成することを示している。
【０００７】
しかしながら、アップロードされた全部の顔画像データと個人の画像データとを比較することは全部の顔画像データが多ければ多いほど、手数がかかり、合致した画像を選択するのに時間もかかるのでコストが高くなる。
【０００８】
本発明は、このような従来の構成が有していた問題を解決しようとするものであり、アップロードされた全顔画像データをどのように範囲を決めて合致したと判断できる画像を求めることを目的とするものである。
【課題を解決するための手段】
【０００９】
本発明の請求項１は、複数の個人端末と、画像を保管するサーバーと、ネットワークと、前記個人端末より前記画像と前記画像を撮影した撮影者情報と共に前記ネットワークを介して前記サーバーにアップロードする手段とを備え、前記画像を欲する画像希望者と前記撮影者との関係性を設定する手段と、前記画像希望者の少なくとも一つの顔画像を登録する手段と、前記アップロードされた前記画像希望者の顔画像と前記撮影者の画像を比較する手段と、両者の前記顔画像が略合致したと判断した画像を出力する手段を備え、前記比較手段は前記関係性に基づいて略合致するレベルを、「高い」、「中間」、「なし」の少なくとも３段階に設定する手段を備え、前記画像は、さらに撮影されたカメラ、年月日、時刻等のＥＸＩＦ情報を有し、前記画像希望者が設定した撮影された年月日、時刻等のＥＸＩＦ情報と、前記撮影者の画像の撮影された年月日、時刻等のＥＸＩＦ情報とを比較する手段とを備え、前記関係性によって前記画像希望者の顔画像と前記撮影者の画像の比較を省略するよう制御する手段を設けた画像出力装置を提供するものであり、請求項２は方法に関するものである。
【発明の効果】
【００１６】
上述したように、このようなイベントで数多くの画像が撮影され、サーバーにアップされた画像に対して画像を欲する人があらかじめ撮影した顔画像を基に自分が撮影された画像を選択する場合にあらかじめ関係性の高い人、すなわち親しい人がその個人の画像を撮影する場合が多いことに着目して画像の合致を求める検索する範囲を狭めるので画像を容易に選別することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の画像出力装置および方法を示す第１の実施形態のブロック図
【図２】本発明の画像出力装置に入力する画像情報に関する図
【図３】撮影者に対する関係度情報
【図４】本発明の画像出力装置における第１の実施形態の制御部のプログラムの内容を示すフローチャート
【図５】本発明の画像出力装置における第２の実施形態の制御部のプログラムの内容を示すフローチャート
【図６】本発明の画像出力装置に用いる基準画像
【図７】本発明の画像出力装置に用いる画像表示装置
【図８】従来例
【発明を実施するための形態】
【００１８】
図１は本発明の画像出力装置および方法を示すブロック図である。
【００１９】
１は個人端末１Ａ、１Ｂ、１Ｃの集まりを示す個人端末ブロックを、２は画像を蓄積するサーバーを示し、例えば個人端末ブロック１Ａから３で示すネットワークを介してサーバー２に画像をアップロードして蓄積する。
【００２０】
４は複数の画像等の情報を記憶する複数画像情報等情報記憶メモリ部を示す。
【００２１】
５は、画像を希望する画像希望者メモリ部を示し、５Ｄはサーバー２に蓄積された画像群４の画像のプリントを欲する希望者の顔画像情報、例えば個人端末ブロック１にある個人端末１Ｃを操作する希望者の顔画像情報を記憶するメモリ部を示す。
【００２２】
５Ｅは図３の表で一例を示すが、撮影者と画像希望者との関係度を示す撮影者関係度情報を示し、画像希望者とアップロードした撮影者との関係を示す。画像希望者があらかじめ示された撮影者についてその関係度を入力してサーバー２に転送する。
【００２３】
５Ｆは撮影年月日、撮影時刻、撮影場所ＧＰＳ値などのＥＸＩＦ情報を記憶するＥＸＩＦ情報記憶部を示す。
【００２４】
６はサーバー２の各部分を制御する制御部を示し、図４および図５で示すフローチャートを示す。
【００２５】
７は希望者の顔画像が各画像の中にあるかどうかを判断するために希望者の顔画像と各画像を比較する比較部を示し、８はぶれ画像であるか、顔画像で目が閉じていないかとか、ピント外れの画像か否かを判断する除去画像判断部を示し、９は画像を出力する画像出力部を示す。
【００２６】
図２は複数画像情報等情報記憶メモリ部４の一つの画像に関する画像と撮影者情報と撮影年月日、撮影時刻、撮影場所ＧＰＳ値などのＥＸＩＦ情報を記憶するＥＸＩＦ情報を示す。
【００２７】
図３は、画像希望者の撮影者に対する関係度とその内容を示す。
【００２８】
撮影者Ａ、Ｂ、Ｃ、Ｄ、Ｅに対して画像希望者からみてその関係度と備考にその理由を示している。例えば、Ａ氏は友人であって関係度が高い。Ｂ氏はＡ氏の友人だが関係度はそれほど高くない。Ｃ氏は関係がない。Ｄ氏は友人であるので関係度が高い。Ｅ氏はＤ氏の友人でそれほど関係が高くない。
【００２９】
図４は、本発明の画像出力装置における第１の実施形態の制御部のプログラムの内容を示すフローチャートを示す。
【００３０】
図４のフローチャートは画像を出力する際に画像情報から顔画像のほぼ一致を探すことをできるだけせずに、画像出力するものである。すなわち、撮影者との関係度と、ＥＸＩＦ情報、例えば日時、場所等の情報を使って画像を絞り込んで画像希望者の写っている画像を選択するフローチャートである。
【００３１】
個人端末ブロック１の例えば個人端末１Ａよりネットワーク３を介して制御部６に不図示の作動開始信号が入力されると、制御部６はＳ１で示すように画像を欲する画像希望者の撮影者に対する関係度を図３に示すように検索し、その画像の撮影者と画像希望者の「関係度」を判断する。すなわち、画像希望者を撮影している可能性が高いと「関係度」が高いと判断するとＳ２に進み、その撮影者の画像を選択する。これらの関係度情報を画像希望者メモリ５の５Ｅにあらかじめ格納する。
【００３２】
そこで、例えば運動会の画像が欲しいとすれば、ＥＸＩＦ情報として運動会の日に撮影した撮影日の情報を画像希望者メモリ５の５Ｆに格納する。
【００３３】
Ｓ３に進み、画像希望者メモリ５の５Ｆに格納されたＥＸＩＦ情報とＳ２で選択した画像のＥＸＩＦ情報と一致しているかどうかを判定し、一致しなければＳ４に進み、画像選択しない。
【００３４】
Ｓ３でＥＸＩＦ情報が一致した画像を、Ｓ５で出力し、画像Ａとする。画像Ａは少なくとも一つの画像を示す。
【００３５】
ここで画像の数も絞り込まれて画像情報から顔画像のほぼ一致を探すかどうか、すなわちＳ６での顔画像のチェックが必要かどうかを決める。もしも顔画像の一致を見ないとすれば、個人端末１Ａよりネットワーク３を介して制御部６にその旨の信号が投入され、顔画像をチェックする必要がないのでＳ７に進み、画像Ａを出力する。画像のチェックをしないとすれば、例えばＥＸＩＦ情報あるいは撮影者の関係度をよほど親しくない限り高いとしないとして画像を絞り込む必要がある。
【００３６】
また、Ｓ６で示すように顔画像のチェックが必要となれば個人端末１Ａよりネットワーク３を介してその制御部６に旨の信号が投入されＳ８に進んで画像希望者メモリ５から希望者の顔画像情報をメモリ５Ｄから出力する。ここでは顔画像としては正面、側面、上向き等の少なくとも一つ以上の画像を出力する。
【００３７】
Ｓ９に進んで希望者の顔画像とさきの画像Ａとを比較する比較１のステップに進む。比較１は例えば、特開２００６−７９２２０などいろいろな方法が発明されており、それらの方法により顔画像を検出するが、本発明は顔画像検出する方法に関して限定されるものではない。
【００３８】
Ｓ１０で顔画像がほぼ一致するかどうかを判定し、なければＳ１１に進み、ほぼ一致する画像があれば、Ｓ１２に進んでブレ画像、目つぶり画像、横目画像、上目画像など、また公序良俗に反する画像を除去した後にＳ１３に進み画像を出力する。目つぶり画像、横目画像、上目画像などは例えば特許４３７７４７２に示すようにあらかじめそのような画像を記憶しておき、その記憶した画像に近い画像を除去する技術を使えばよいが、その方法には限定するものではない。
【００３９】
次に、再度、個人端末ブロック１の例えば個人端末１Ａよりネットワーク３を介して制御部６に先の作動開始信号とは異なる不図示の作動開始信号が入力されると、制御部６はＳ１で示すように画像を欲する画像希望者の撮影者に対する関係度を図３に示すように検索し、その画像の撮影者と画像希望者の「関係度」を判断する。すなわち、画像希望者を撮影している可能性がやや高い、すなわち「関係度」が中間と判断するとＳ１４に進み、その撮影者の画像を選択する。これらの関係度情報を画像希望者メモリ５の５Ｅにあらかじめ格納する。
【００４０】
そこで、例えば運動会の画像が欲しいとすれば、ＥＸＩＦ情報として運動会の日に撮影した撮影日の情報を画像希望者メモリ５の５Ｆに格納する。
【００４１】
Ｓ１５に進み、画像希望者メモリ５の５Ｆに格納されたＥＸＩＦ情報とＳ１４で選択した画像のＥＸＩＦ情報と一致しているかどうかを判定し、一致しなければＳ４に進み、画像選択しない。
【００４２】
Ｓ１５でＥＸＩＦ情報が一致した画像を、Ｓ５で出力し、画像Ｂとする。ここで画像Ｂは少なくとも一つの画像を示す。
【００４３】
ここで画像の数も絞り込まれて画像情報から顔画像のほぼ一致を探すかどうか、すなわちＳ１７での顔画像のチェックが必要かどうかを決める。もしも顔画像の一致を見ないとすれば、個人端末１Ａよりネットワーク３を介して制御部６にその旨の信号が投入される。顔画像をチェックする必要がないのでＳ１８に進み、画像Ｂを出力する。画像のチェックをしないとすれば、例えばＥＸＩＦ情報あるいは撮影者の関係度をよほど親しくない限り高いとしないとして画像を絞り込む必要がある。
【００４４】
もしもＳ１７で顔画像のチェックが必要となれば個人端末１Ａよりネットワーク３を介して制御部６にその旨の信号が投入され、Ｓ１９に進んで画像希望者メモリ５から希望者の顔画像情報をメモリ５Ｄから読み出す。これは親しい人の友人が撮っているとすれば、写真の撮り方にも親しい人とそうでない人と間に差があることが多いと思われるのでＳ８では複数の顔画像を出力したがここでは複数の画像でなくても関係度が高い場合よりは少ない画像、例えば正面の画像だけでもよい。その場合は時間はおのずと短くてすむ。
【００４５】
Ｓ２０に進んで希望者の顔画像とさきの画像Ｂとを比較する比較２のステップに進む。比較２は例えば、Ｓ９の比較１と同様に本発明は顔画像検出する方法に関して限定されるものではない。
【００４６】
Ｓ２１で顔画像がほぼ一致するかどうかを判定し、なければＳ２２に進み、ほぼ一致する画像があれば、Ｓ２３に進んでブレ画像、目つぶり画像、下を向いた画像など、また公序良俗に反する画像を除去した後にＳ２４に進み画像を出力する。
【００４７】
図５は、本発明の画像出力装置における第２の実施形態の制御部のプログラムの内容を示すフローチャートを示し、図４は作業の簡略化または画像の検索の精度よく行なうのはソフト的にも高価なソフトが必要であるので画像希望者の画像との略一致検索の画像を行なわずに画像出力する場合があったが、図５は必ず画像の略一致検索を行なう。
【００４８】
個人端末ブロック１の例えば個人端末１Ａよりネットワーク３を介して制御部６に不図示の作動開始信号が入力されると、制御部６はＳ３１で示すように画像を欲する画像希望者の撮影者に対する関係度を図３に示すように検索し、その画像の撮影者と画像希望者の「関係度」を判断する。すなわち、Ｓ３２に示すように画像希望者を撮影している可能性が高いと「関係度」が高いと判断してその撮影者の画像を選択し、その画像選択が終了すると、Ｓ３３に示すように画像を選択する画像希望者を撮影している可能性が中間である場合にすなわち「関係度」が中間と判断してその撮影者の画像の選択を行なうように制御部６の指示により制御される。Ｓ３４で関係度がないと判断し、画像を選択しない。これらの関係度情報を画像希望者メモリ５の５Ｅにあらかじめ格納する。
【００４９】
そこで、例えば運動会の画像が欲しいとすれば、運動会の日程が決まり、ＥＸＩＦ情報として撮影日の情報を画像希望者メモリ５の５Ｆに格納する。
【００５０】
ここでＳ３５に進み、Ｓ３２で選択した画像のなかで運動会の日、例えば２００９年１０月１０日が運動会であったとすれば、２００９年１０月１０日の画像を選択して制御部６の不図示のメモリ部に格納する。
【００５１】
同じようにＳ６では、Ｓ３３で選択した画像のなかで運動会の日、例えば２００９年１０月１０日が運動会であったとすれば、２００９年１０月１０日の画像を選択して制御部６の不図示のメモリ部に格納する。
【００５２】
Ｓ３７では画像希望者の顔画像を制御部の不図示のメモリ部に格納する。例えば図５に示した画像を記憶し、Ｓ３８で出力する。
【００５３】
まずＳ５を経て、記憶した画像の中からＳ３８で出力した画像希望者顔画像を1画像毎に、公知の画像認識技術を用いてＳ９で比較する。
【００５４】
次に、Ｓ３６を経て記憶した画像の中から、Ｓ３８で出力した画像希望者顔画像を１画像毎に公知の画像認識技術を用いてＳ４０で比較する。Ｓ４０での比較は撮影者関係度がそれほど高くない、例えば関係度の高い人の友人の場合がある。検索する範囲を大きくなり、希望する写真の可能性、例えば親しみを込めた写真、希望者が意識していない場合を想定して比較して希望する写真のレベル、選択の閾値を上げて行なう。
【００５５】
また、Ｓ３７で希望者の顔画像を少なくとも一つ記憶し、Ｓ３８で希望者の顔画像とする。希望者の顔画像は表情も変われば写真も変わり、横向き、斜め向き等の構えている向きがそれぞれあるので複数の画像を記憶すればそれだけ出力できる画像が増加する。
【００５６】
Ｓ４１で希望者の顔画像とほぼ一致した画像を出力し、略一致しない画像をＳ１２で歩出力とする。またＳ４３でぶれ画像、ピントが悪い画像とか目が閉じた画像のような除外画像かどうかを判断し、そのような画像でなければＳ４４に進んで画像を出力する。
【００５７】
図６は希望者の顔画像を示し、図６は１０で示す画像出力装置本体部と、２０で示す画像出力装置表示部であり、Ｌ１〜Ｌ７までＬＥＤ表示部を示し、希望者の顔画像と一致した画像部分の位置をＬＥＤで点灯した図を示している。
【００５８】
このように表示した画像の点灯部が希望者の顔画像と略一致した画像の位置が分かるので確認するのに便利である。図６では表示画面の一側面にＬＥＤ表示部を配したが、両側部、四辺に配すれば、より画像の位置を特定できる。
【００５９】
図５のフローチャートでＳ３５、Ｓ３６でＥＸＩＦ情報の一致を調べたが、検索する画像をできるだけ少なくするためとか、例えば運動会の写真のように目的を持った写真、アルバムを制作するのに便利がよい。
【００６０】
また、全画像の中からまずＥＸＩＦ情報で画像数を限定して、その後に関係度の高い画像を選択してもよい。
【符号の説明】
【００６１】
１                  個人端末ブロック
１Ａ、１Ｂ、１Ｃ  個人端末
２                  サーバー
３                  ネットワーク
４                  画像情報等情報記憶メモリ部
４Ａ              画像メモリ部
５                  画像希望者メモリ部
５Ｄ              希望者顔画像情報記憶部
５Ｅ              撮影者関係度情報
４Ｆ              ＥＸＩＦ情報
６                  制御部
７                  比較部
８                  除去画像判断部
９                  画像出力部  
１０                画像出力装置本体部
２０                画像出力装置表示部              
【図６】
0005592134.tif 000002
【図１】
0005592134.tif 000003
【図２】
0005592134.tif 000004
【図３】
0005592134.tif 000005
【図４】
0005592134.tif 000006
【図５】
0005592134.tif 000007
【図７】
0005592134.tif 000008
【図８】
0005592134.tif 000009