(57)【要約】【課題】撮影画像中のユーザデータに登録されていない人物を指定した場合でも、ユーザデータに登録されている他の人物との関連性を表示する【解決手段】本発明の情報端末は、画像を表示する表示手段と、前記画像に含まれる顔画像データを抽出する顔画像データ抽出手段と、前記顔画像データと前記画像との対応情報を記憶する対応情報記憶手段と、前記対応情報記憶手段に記憶された前記対応情報に基づき、前記顔画像データに対応する複数の人物間の関連度を計算する関連度計算手段と、前記表示手段に表示されている前記画像に含まれる顔画像を指定する顔画像指定手段と、前記関連度計算手段に前記顔画像指定手段で指定された前記顔画像に対応する人物についての前記複数の人物間の関連度を計算させ、前記表示手段に前記複数の人物間の関連度を表示させる表示制御手段と、を備える。【選択図】図１
2014150298.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示する表示手段と、
前記画像に含まれる顔画像から顔画像に関するデータを抽出する顔画像データ抽出手段と、
前記顔画像に関するデータと前記画像との対応情報を記憶する対応情報記憶手段と、
前記対応情報記憶手段に記憶された前記対応情報に基づき、前記顔画像に関するデータに対応する複数の人物間の関連度を計算する関連度計算手段と、
前記表示手段に表示されている前記画像に含まれる顔画像を指定する顔画像指定手段と、
前記関連度計算手段に前記顔画像指定手段で指定された前記顔画像に対応する人物についての前記複数の人物間の関連度を計算させ、前記表示手段に前記複数の人物間の関連度を表示させる表示制御手段と、
を備えた情報端末。
【請求項２】
画像を保存する画像保存手段を備え、
前記顔画像データ抽出手段は、前記画像保存手段に保存されている複数の画像に含まれる顔画像から前記顔画像に関するデータを抽出し、
前記対応情報記憶手段は、前記顔画像に関するデータと前記複数の画像との対応情報を記憶する請求項１記載の情報端末
【請求項３】
前記表示手段および前記顔画像指定手段として機能するタッチパネルを備え、
前記顔画像指定手段は、前記タッチパネル上に表示された画像に含まれる顔画像への接触操作により前記顔画像を指定する請求項１または請求項２記載の情報端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は顔認識技術を搭載した情報端末に関するものである。
【背景技術】
【０００２】
従来の顔認識技術を搭載した情報端末は、顔認識により認識された顔に対して、対応付けられた名前およびアドレス情報をユーザに通知している（例えば、特許文献１参照）。また特許文献２には、撮影画像内に含まれている複数の被写体を個別に認識する場合に、各被写体同士の関連性を考慮しながら各被写体を認識する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１０５６５２号公報
【特許文献２】特開２００５−３３９０００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、撮影画像の中のある人物を指定したときに、ユーザデータにその人物の顔画像データが記憶されていない場合には、被写体同士の関連性を表示することができないという課題を有していた。
【０００５】
本発明の目的は、上記課題を解決するもので、撮影画像中のユーザデータに登録されていない人物を指定した場合でも、ユーザデータに登録されている他の人物との関連性を表示することで、ユーザに対してその人物が誰と関連性が高いのかを類推する手段を提供することである。
【課題を解決するための手段】
【０００６】
本発明の情報端末は、画像を表示する表示手段と、前記画像に含まれる顔画像から顔画像に関するデータを抽出する顔画像データ抽出手段と、前記顔画像に関するデータと前記画像との対応情報を記憶する対応情報記憶手段と、前記対応情報記憶手段に記憶された前記対応情報に基づき、前記顔画像に関するデータに対応する複数の人物間の関連度を計算する関連度計算手段と、前記表示手段に表示されている前記画像に含まれる顔画像を指定する顔画像指定手段と、前記関連度計算手段に前記顔画像指定手段で指定された前記顔画像に対応する人物についての前記複数の人物間の関連度を計算させ、前記表示手段に前記複数の人物間の関連度を表示させる表示制御手段と、を備える構成となっている。
【発明の効果】
【０００７】
本発明によれば、ユーザが撮影画像中のユーザデータに登録されていない人物を指定した場合でも、その人物とユーザデータに登録されている他の人物との関連情報を表示することが可能となり、ユーザに対してその人物を類推する手がかりとなる情報を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態における情報端末の構成を示す図
【図２】本発明の実施の形態における顔画像データ対応情報記憶動作を示すフローチャート
【図３】本発明の実施の形態における関連度計算動作を示すフローチャート
【図４】本発明の実施の形態における画像データ中の画像ID、顔画像番号、および顔画像データIDを示す図
【図５】本発明の実施の形態における表示部の表示例を示す図
【図６】本発明の実施の形態における対応情報記憶部とユーザデータ部に記憶されているデータの例を示す図
【発明を実施するための形態】
【０００９】
以下本発明を実施するための形態について、図面を参照しながら説明する。
【００１０】
図１は、本実施の形態における情報端末の構成を示すブロック図である。
【００１１】
情報端末１００は、画像入力部１０１と、顔画像データ抽出部１０２と、画像記憶部１１１と、対応情報記憶部１１２と、ユーザデータ部１１３と、顔画像指定部１２１と、表示部１２２と、関連度計算部１３１と、表示制御部１３２と、から構成される。
【００１２】
なお、記憶部１１０は、画像記憶部１１１と、対応情報記憶部１１２と、ユーザデータ部１１３を含む。画像記憶部１１１と、対応情報記憶部１１２には画像を特定する画像ＩＤが含まれ、対応情報記憶部１１２と、ユーザデータ部１１３には顔画像を特定する顔画像データＩＤが含まれる。これらのデータは、記憶容量に余裕があれば一つのデータ構造としてもよい。対応情報記憶部１１２とユーザデータ部１１３に記憶されているデータの例を図６に示す。
【００１３】
またタッチパネル部１２０は、入力としての顔画像指定部１２１と、出力としての表示部１２２を含む入出力装置の役割を持つユーザインターフェースである。
【００１４】
以下に、各構成について詳細に説明する。
【００１５】
画像入力部１０１は、画像を入力する手段で以下のいずれか一つ以上の画像入力手段を有しており、入力された画像に画像ＩＤを付与し、画像記憶部１１１に記憶させる。画像入力部１０１は、情報端末１００自体がカメラ機能による画像撮影手段を有してもよいし、外部メモリの読み出し手段、あるいは赤外線通信やBluetoothなどの近距離無線やメール機能などによる画像受信手段を有してもよいし、ブラウザ機能で画像をダウンロードする手段を有してもよい。
【００１６】
顔画像データ抽出部１０２は、画像入力部１０１において入力された画像に対して顔画像データ（顔特徴点データ）を抽出し、画像中のすべての顔画像に対して顔画像番号を付与する。次に、各顔画像番号に対して、対応情報記憶部１１２の中の顔画像データと照合し、これまでに対応情報記憶部１１２に記憶されている顔画像データに一致するか否かを判定する。一致しなければ新規の顔画像データＩＤを割り当て、一致していればそれまでの顔画像データＩＤを使用して、顔画像番号とそれに対応する顔画像データＩＤおよび顔画像データを画像ＩＤと共に対応情報記憶部１１２に記憶させる。
【００１７】
顔画像指定部１２１は、ユーザにより画像中の顔画像を指定するユーザインターフェースであり、画像入力部１０１において画像毎に付与した画像ＩＤと、顔画像データ抽出部１０２において付与された顔画像番号により、ユーザが指定した顔画像の顔画像データＩＤを特定する。
【００１８】
関連度計算部１３１は、顔画像指定部１２１においてユーザが指定した顔画像を基に、当該顔画像に対応する顔画像データＩＤが含まれるすべての画像を抽出して調査対象画像とする。この調査対象画像の中から有効画像枚数と、当該顔画像データＩＤの出現回数を集計する。ここで有効画像とは、１枚の画像の中に複数の顔画像が含まれているものを示しており、当該顔画像のみが写っている画像は出現回数の集計には用いない。
【００１９】
表示制御部１３２は、関連度計算部１３１において計算された有効画像枚数、顔画像データＩＤの出現回数、およびユーザデータ部１１３に記憶されている個人情報を組み合わせて表示部１２２に表示させる。図５に、表示部１２２における表示例を示す。
【００２０】
なお、有効画像における顔画像データＩＤの出現率を表示してもよいし、出現回数が少ない場合や出現率が低い場合はその情報は表示しないようにしてもよい。
【００２１】
表示部１２２は、表示制御部１３２から表示データを受け取り、顔画像指定部１２１においてユーザが指定した顔画像に対応する人物とユーザデータ部に登録されている他の人物との関連情報を表示する。
【００２２】
なお、関連度表示においても顔画像指定部１２１から入力を受け、最初に指定した顔画像と次に指定した顔画像の両方を含む画像一覧を表示し、メールで送信するための画像を選択することもできる。また、送信する画像には、ユーザが指定した顔画像を特定するための画像処理を施してもよい。
【００２３】
なお、顔画像指定部１２１は複数の顔画像をまとめて選択することも可能であり、その場合それらに対応する複数の人物間の関連度を計算して、表示するようにしてもよい。
【００２４】
次に、本実施の形態における顔画像データ対応情報記憶動作について、図２を用いて説明する。
【００２５】
最初に、顔画像データ抽出部１０２は、画像入力部１０１から入力された画像もしくは画像記憶部１１１に格納されている画像に対して画像中の顔画像データ数（Ｓ）を抽出する（ステップＳ２０１）。次に、顔画像データの有無を判定し（ステップＳ２０２）、対象データがなければ（Ｓ＝０）処理を終了する。ステップＳ２０２で顔画像データが有り（Ｓ＞０）と判定された場合には、その顔特徴点データを抽出する（ステップＳ２０３）。そして、顔特徴点データを抽出した顔画像に対して顔画像番号を付与する（ステップＳ２０４）。
【００２６】
次に、抽出した顔特徴点データが、対応情報記憶部１１２に登録されているか否かを検索により判定する。（ステップＳ２０５、Ｓ２０６）。ステップＳ２０６で未登録と判定された場合、新規で顔画像データＩＤを付与する（ステップＳ２０７）。一方、既に登録されていると判定された場合には、対応している既存の顔画像データＩＤを利用する。
【００２７】
ステップＳ２０４で付与した顔画像番号に対して、対応する顔特徴点データと顔画像データＩＤを画像ＩＤと共に対応情報記憶部１１２に記憶する（ステップＳ２０８）。そして、顔画像データ数（Ｓ＝Ｓ−１）として、調査対象画像中の顔画像データ数をデクリメントする（ステップＳ２０９）。そして、ステップＳ２０２からステップＳ２０９までの処理を顔画像データ数Ｓが０になるまで繰り返す。
【００２８】
以上の顔画像データ対応情報記憶動作により、画像（画像ＩＤ）毎に割り当てられる顔画像番号と顔画像データＩＤの例を図４に示す。
【００２９】
次に、本実施の形態における関連度計算動作について図３を用いて説明する。
【００３０】
最初に、関連度計算部１３１は、顔画像指定部１２１において指定した顔画像に対応する顔画像データＩＤを含む画像ＩＤを対応情報記憶部１１２から抽出して一時保存し、抽出した画像ＩＤの数（Ｘ）で残チェック画像枚数Ｚを初期化する。またチェック顔画像ＩＤについても初期化する（ステップＳ３０１）。
【００３１】
次に、残チェック画像枚数Ｚが０の場合は処理を終了し、Ｚが０より大きい場合は一時保存しておいた画像ＩＤを一つ取り出す（ステップＳ３０２）。そして、取り出した画像ＩＤに含まれる顔画像データＩＤを対応情報記憶部１１２から抽出して一時保存し、抽出した顔画像データＩＤの個数を残チェック顔画像データＩＤの個数（ＫＧＤ）として初期値とする（ステップＳ３０３）。
【００３２】
次に、残チェック顔画像データＩＤの個数（ＫＧＤ）を判定する（ステップＳ３０４）。ステップＳ３０４において、調査対象の顔画像データが無くなった（ＫＧＤ＝０）場合は、ステップＳ３０８の処理に移る。またＫＧＤ＝１の場合は、有効画像ＩＤの枚数Ｙをインクリメントする（ステップＳ３０５）。またＫＧＤが１より大きい場合あるいはステップＳ３０５の処理の後は、一時保存しておいた顔画像データＩＤを一つ取り出し、チェック顔画像ＩＤの数（Ａ，Ｂ，Ｃ，・・・）をインクリメントしてステップＳ３０７の処理に移る（ステップＳ３０６）。ここで、Ａ，Ｂ，Ｃ，・・・は顔画像データＩＤ各々の出現回数に対応している。そして、ステップＳ３０６の処理の後は、残チェック顔画像データＩＤの個数をＫＧＤ＝ＫＧＤ−１として、調査対象の顔画像データＩＤの個数をデクリメントする（ステップＳ３０７）。
【００３３】
ステップＳ３０４において調査対象の顔画像データが無くなった（ＫＧＤ＝０）場合は、残チェック画像枚数をＺ＝Ｚ−１として、調査対象の画像枚数をデクリメントする（ステップＳ３０８）。
【００３４】
最後に、前記ステップＳ３０２において残チェック画像枚数Ｚが０となって処理を終了する場合には、表示制御部１３２に対して計算したデータ（Ｙ，Ａ，Ｂ，Ｃ，・・・）を出力する（ステップＳ３０９）。
【００３５】
以上の処理により、図５の例に示すように、ユーザが指定した人物とユーザデータに登録されている他の人物との関連度を示す情報を表示することができる。
【００３６】
このように、本実施の形態によれば、ユーザが撮影画像中のユーザデータに登録されていない人物を指定した場合でも、その人物とユーザデータに登録されている他の人物との関連情報を表示することが可能となり、ユーザに対してその人物を類推する手がかりとなる情報を提供することができる。
【００３７】
また、本実施の形態におけるタッチパネル部１２０は、顔画像指定部１２１と表示部１２２との役割を両方備えているため、ユーザが表示されている顔画像に指で接触することにより容易に顔画像を指定することができる。このため、ユーザが複数の人物間の関連を知りたいときには、複数の人物の顔画像を順番に指定するもしくは複数の指で同時に指定するといったことが可能となり、ユーザの利便性を高めることができる。
【産業上の利用可能性】
【００３８】
本発明にかかる情報端末は、顔認識技術を備えたタッチパネルを有する情報端末に適用可能である。
【符号の説明】
【００３９】
１００    情報端末
１０１    画像入力部
１０２    顔画像データ抽出部
１１０    記憶部
１１１    画像記憶部
１１２    対応情報記憶部
１１３    ユーザデータ部
１２０    タッチパネル部
１２１    顔画像指定部
１２２    表示部
１３１    関連度計算部
１３２    表示制御部
【図１】
2014150298.tif 000003
【図２】
2014150298.tif 000004
【図３】
2014150298.tif 000005
【図４】
2014150298.tif 000006
【図５】
2014150298.tif 000007
【図６】
2014150298.tif 000008