(57)【要約】【課題】撮影画像中の人物が撮影者か否かを高精度に判定することを目的とする。【解決手段】携帯端末であって、人物の撮影画像を撮影する撮影手段と、撮影手段を操作する撮影者の生体情報を受け付ける受付手段と、人物画像と、生体情報とに基づいて、撮影画像が撮影者の画像か否かを判定する判定手段とを有する。【選択図】図２
2015198348.tif 000002
【特許請求の範囲】
【請求項１】
携帯端末であって、
人物の撮影画像を撮影する撮影手段と、
前記撮影手段を操作する撮影者の生体情報を受け付ける受付手段と、
前記撮影画像と、前記生体情報とに基づいて、前記撮影画像が前記撮影者の画像か否かを判定する判定手段と
を有する携帯端末。
【請求項２】
前記撮影画像から、前記受付手段が受け付けた生体情報と同じ種類の生体情報を推定する推定手段をさらに有し、
前記判定手段は、前記受付手段が受け付けた前記生体情報と、前記推定手段が推定した前記生体情報と、に基づいて、前記撮影画像が前記撮影者の画像か否かを判定する請求項１に記載の携帯端末。
【請求項３】
前記撮影画像から、前記受付手段が受け付けた生体情報と異なる種類の生体情報を推定する推定手段をさらに有し、
前記判定手段は、前記受付手段が受け付けた前記生体情報と、前記推定手段が推定した前記生体情報と、に基づいて、前記撮影画像が前記撮影者の画像か否かを判定する請求項１に記載の携帯端末。
【請求項４】
前記判定手段は、さらに前記受付手段が受け付けた前記生体情報と、前記推定手段が推定した前記生体情報との相関を示す相関情報に基づいて、前記撮影画像が前記撮影者の画像か否かを判定する請求項２又は３に記載の携帯端末。
【請求項５】
携帯端末であって、
人物の撮影画像を撮影する撮影手段と、
前記撮影手段を操作する撮影者の前記携帯端末に接触する部位に与える刺激を生成する生成手段と、
前記生成手段が前記刺激を生成したタイミングにおいて、前記撮影手段により撮影された前記撮影画像に基づいて、前記撮影画像が前記撮影者の画像か否かを判定する判定手段と
を有する携帯端末。
【請求項６】
撮影者の画像であると判定された前記撮影画像のうち、撮影者が写る撮影者領域以外の領域に対し、閲覧者にとって視認不可能な状態にするような画像処理を施す画像処理手段をさらに有する請求項１乃至５何れか１項に記載の携帯端末。
【請求項７】
前記画像処理後の前記撮影画像を外部装置に送信する送信手段をさらに有する請求項６に記載の携帯端末。
【請求項８】
撮影者の画像であると判定された前記撮影画像に基づいて、前記撮影者の行動を認識する行動認識手段をさらに有する請求項１乃至７何れか１項に記載の携帯端末。
【請求項９】
携帯端末が実行する画像管理方法であって、
人物の撮影画像を撮影する撮影ステップ、
撮影手段を操作する撮影者の生体情報を受け付ける受付ステップと、
前記撮影画像と、前記生体情報とに基づいて、前記撮影画像が前記撮影者の画像か否かを判定する判定ステップと
を含む画像管理方法。
【請求項１０】
コンピュータを、
人物の撮影画像を撮影する撮影手段を操作する撮影者の生体情報を受け付ける受付手段と、
前記撮影画像と、前記生体情報とに基づいて、前記撮影画像が前記撮影者の画像か否かを判定する判定手段と
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末、画像管理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、自分の趣味嗜好や気分の記録として、自分自身のメイク（化粧）や髪型、服装等の撮影画像を用いて、ライフブログを作成するサービスが知られている。また、利用者の表情や口に入れて食べるものの撮影画像に基づいた、メンタルヘルス管理や摂取カロリー管理を行うサービスも知られている。これらのサービス利用者は、自分自身で自姿、食べ物等を撮影するのが一般的である。非特許文献１には、カメラで撮影された人物画像からその人物の生体情報（心拍数や体温や呼吸数）を推定する方法が開示されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Ｐｏｈ，Ｍ．Ｚ．，ＭｃＤｕｆｆ，Ｄ．Ｊ．，Ｐｉｃａｒｄ，Ｒ．Ｗ．，"Ａ Ｍｅｄｉｃａｌ  Ｍｉｒｒｏｒ  ｆｏｒ  Ｎｏｎ−Ｃｏｎｔａｃｔ  Ｈｅａｌｔｈ  Ｍｏｎｉｔｏｒｉｎｇ，"  ＡＣＭ  ＳＩＧＧＲＡＰＨ  Ｅｍｅｒｇｉｎｇ  Ｔｅｃｈｎｏｌｏｇｉｅｓ，Ａｕｇ  ２０１１．
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮影者が自姿を撮る方法としては、据え置き型のカメラの前に立って撮影する方法と、撮影者自身が手に持つカメラや撮影者自身の手首等に装着されたカメラで撮影する方法と、がある。後者においては、撮影可能な角度が限られるため、撮影者以外の第三者が撮影される場合がある。このような場合に、撮影画像中の人物が撮影者であるか否かを人手によって判定するのでは、手間がかかるという問題があった。
【０００５】
本発明はこのような問題点に鑑みなされたもので、撮影画像中の人物が撮影者か否かを高精度に判定することを目的とする。
【課題を解決するための手段】
【０００６】
そこで、本発明は、携帯端末であって、人物の撮影画像を撮影する撮影手段と、前記撮影手段を操作する撮影者の生体情報を受け付ける受付手段と、前記撮影画像と、前記生体情報とに基づいて、前記撮影画像が前記撮影者の画像か否かを判定する判定手段とを有する。
【発明の効果】
【０００７】
本発明によれば、撮影画像中の人物が撮影者か否かを高精度に判定することができる。
【図面の簡単な説明】
【０００８】
【図１】携帯端末のハードウェア構成を示す図である。
【図２】携帯端末のソフトウェア構成を示す図である。
【図３】画像管理処理を示すフローチャートである。
【図４】第４の実施形態にかかる携帯端末のハードウェア構成を示す図である。
【図５】第４の実施形態にかかる携帯端末のソフトウェア構成を示す図である。
【図６】第４の実施形態にかかる画像管理処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面に基づいて説明する。
【００１０】
（第１の実施形態）
図１は、第１の実施形態にかかる携帯端末１００のハードウェア構成を示す図である。携帯端末１００は、撮影者の手で保持された状態で、内蔵カメラにより周囲を撮影する。
携帯端末１００は、撮影画像（人物画像）が撮影者の画像（撮影者画像）か否かを判定し、撮影者画像のみを外部装置の情報記録サービスに送信する。情報記録サービスは、撮影者のライフブログ作成や、健康管理等を行う。ここでは、健康管理を目的として撮影者が自分自身の画像を撮影する場合を例に説明する。
図１に示すように、携帯端末１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、表示部１０５と、入力部１０６と、ネットワークＩ／Ｆ部１０７と、撮影部１０８と、生体情報計測部１０９とを有している。
【００１１】
ＣＰＵ１０１は、ＲＯＭ１０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ１０３は、ＣＰＵ１０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ１０４は、画像データや各種プログラム等各種情報を記憶する。表示部１０５は、各種情報を表示する。入力部１０６は、ユーザによる各種操作を受け付ける。ネットワークＩ／Ｆ部１０７は、ネットワークを介して外部装置との通信処理を行う。
撮影部１０８は、動画の撮影を行うカメラである。なお、携帯端末１００は、２以上のカメラを備えてもよい。撮影部１０８は、携帯端末１００の起動と共に撮影を開始し、電源オフまで撮影を継続することとする。なお、他の例としては、撮影部１０８は、撮影者からの指示に応じて撮影を開始及び停止してもよい。また、他の例としては、撮影部１０８は、一定時間おきに定期的に撮影を行ってもよい。
【００１２】
生体情報計測部１０９は、携帯端末１００が手に保持された状態において、撮影者の人体の接触部位において、直接的に人体の生体情報を計測する。本実施形態にかかる生体情報計測部１０９は、赤外線による血流測定を用いた心拍センサであり、生体情報として心拍数を計測する。
後述する携帯端末１００の機能や処理は、ＣＰＵ１０１がＲＯＭ１０２又はＨＤＤ１０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
【００１３】
図２は、携帯端末１００のソフトウェア構成を示す図である。携帯端末１００は、撮影画像受付部２０１と、人体検出部２０２と、生体情報推定部２０３と、生体情報受付部２０４と、撮影者判定部２０５と、撮影画像記憶部２０６と、画像処理部２０７と、通信部２０８とを有している。外部装置としてのサーバ装置２１０は、通信部２１１と、行動記録部２１２とを有している。
携帯端末１００は、動画として得られた画像をフレーム単位で撮影画像として受け付ける。撮影画像受付部２０１は、撮影部１０８により得られた撮影画像を受け付ける。人体検出部２０２は、撮影画像から画像特徴を検出し、画像特徴に基づいて、撮影画像から人体が写っている領域を検出する。画像特徴としては、局所領域における勾配方向をヒストグラム化した特徴量であるＨｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ（ＨＯＧ）特徴量等が挙げられる。人体に関する画像特徴は、人体の映る画像を多量に集めて、それらに含まれる特徴量に共通するものを、例えばＢｏｏｓｔｉｎｇと呼ばれるアルゴリズムを用いて、統計的に学習することによって決定される。
【００１４】
人体検出部２０２は、撮影画像中に決定された画像特徴が含まれている場合に、この領域を人体領域として検出する。なお、他の例としては、人体検出部２０２は、人体を頭部、手、足等のパーツに分割し、各パーツの検出結果に基づいて、人体を検出してもよい。ここで、頭部は、頭と顔を含むパーツである。人体検出部２０２は、人体を検出すると、撮影画像において人体が検出された人体領域を示す領域情報を生成し、撮影画像と領域情報を生体情報推定部２０３へ送る。なお、人体検出部２０２は、複数の人体を検出した場合には、検出したすべての人体に対する領域情報を生成し、これらをすべて生体情報推定部２０３へ送る。
生体情報推定部２０３は、人体検出部２０２から受け取った撮影画像及び領域情報に基づいて、撮影画像から顔領域を抽出する。そして、生体情報推定部２０３は、顔領域のＲＧＢ画素値の揺らぎを解析することにより、この人物の心拍数を推定する。ＲＧＢ画素値から心拍数を推定する技術については、Ｐｏｈ，Ｍ．Ｚ．，ＭｃＤｕｆｆ，Ｄ．Ｊ．，Ｐｉｃａｒｄ，Ｒ．Ｗ．，"Ａ  Ｍｅｄｉｃａｌ  Ｍｉｒｒｏｒ  ｆｏｒ  Ｎｏｎ−Ｃｏｎｔａｃｔ  Ｈｅａｌｔｈ  Ｍｏｎｉｔｏｒｉｎｇ，"  ＡＣＭ  ＳＩＧＧＲＡＰＨ  Ｅｍｅｒｇｉｎｇ  Ｔｅｃｈｎｏｌｏｇｉｅｓ，Ａｕｇ  ２０１１．を参照することができる。このように、生体情報推定部２０３は、撮影画像から、生体情報計測部１０９が計測する生体情報と同じ種類の生体情報を推定する。なお、生体情報推定部２０３は、複数の領域情報を受け取った場合には、各領域情報に基づいて、複数の生体情報を推定する。以下、生体情報推定部２０３により推定された生体情報を推定値、生体情報計測部１０９により計測された生体情報を計測値と称することとする。
【００１５】
撮影者判定部２０５は、生体情報受付部２０４が受け付けた生体情報の計測値と、生体情報推定部２０３により推定された生体情報の推定値とを比較し、比較結果に基づいて、撮影画像が撮影者画像か否かを判定する。撮影者判定部２０５は、計測値と推定値の差が閾値未満である場合に、撮影画像が撮影者画像であると判定する。
なお、他の例としては、撮影者判定部２０５は、計測値と推定値の変化のリズム（振動周波数）の差が一定範囲内である場合に、撮影画像が撮影者画像であると判定してもよい。また、他の例としては、撮影者判定部２０５は、二つの方法で観測した値が同一の観測源によるものか否かを判定するＰａｉｒｅｄ  ｔ−ｔｅｓｔにより、生体情報の計測値と推定値が同一観測源によるか否かを判定してもよい。この場合、撮影者判定部２０５は、同一観測源と判定した場合に、撮影画像は撮影者画像であると判定する。
【００１６】
このように、撮影者判定部２０５は、撮影画像の人物領域の画像と、生体情報計測部１０９により計測された生体情報とが、同一人物から得られる情報である場合に、撮影画像が撮影者画像であると判定すればよい。撮影者判定部２０５の具体的な判定方法は、実施形態に限定されるものではない。
撮影者判定部２０５は、撮影画像が撮影者画像と判定された場合に、撮影画像と領域情報とを撮影画像記憶部２０６に記録する。撮影画像記憶部２０６は、撮影画像と領域情報とを対応付けて記憶する。撮影画像記憶部２０６は、ＲＡＭ１０３等により一時的に撮影画像等を記憶するものとする。画像処理部２０７は、撮影画像記憶部２０６から撮影画像と領域情報とを読み出す。また、画像処理部２０７は、読み出した撮影画像等を撮影画像記憶部２０６から削除する。
【００１７】
画像処理部２０７は、撮影画像記憶部２０６より撮影像を受け取ると、その撮影画像に対して、画像処理を施す。画像処理としては、例えば画像サイズを小さくするための圧縮処理、撮影画像中に映る撮影者の表情を認識する処理、撮影画像中の撮影者の顔の近くに映る物体を認識する処理等が挙げられる。
画像処理部２０７は、上記処理の他、領域情報に示される撮影者領域以外の領域に対し、モザイク処理や、単色で塗り潰すといった、撮影者領域以外の領域を、閲覧者にとって視認不可能な状態にするような画像処理を施す。これにより、撮影者以外の人物が撮影画像中に写りこんでいた場合には、撮影者以外の人物にはモザイク処理が施されることとなる。したがって、携帯端末１００が、外部装置に、撮影者以外の人物の画像を送信することがなくなるため、撮影者以外の人物のプライバシーを保護することができる。通信部２０８は、ネットワークを介して画像処理後の撮影画像と、撮影画像に対して得られた２つの生体情報をサーバ装置２１０に送信する。
なお、他の例としては、通信部２０８は、撮影画像のみをサーバ装置２１０に送信することとしてもよい。また、他の例としては、通信部２０８は、撮影画像と、２つの生体情報のうちいずれか一方の生体情報のみをサーバ装置２１０に送信することとしてもよい。
【００１８】
サーバ装置２１０は、グローバルなネットワークを介して、携帯端末１００と無線接続するものである。他の例としては、サーバ装置２１０は、ローカルなネットワークを介して携帯端末１００と有線接続するものであってもよい。
サーバ装置２１０の通信部２１１は、撮影画像及び生体情報を受信する。行動記録部２１２は、携帯端末１００が接続する行動記録サービス実施プログラムである。行動記録部２１２は、撮影画像及びこれに付帯する情報を記録し、管理する。行動記録部２１２は、例えば、撮影画像を撮影日時順に管理し、撮影者等に対して一覧表示画面を提供する。
【００１９】
行動記録部２１２はまた、画像に付帯する情報、すなわち生体情報推定部２０３により推定された生体情報や、生体情報計測部１０９により計測された生体情報を、対応する撮影画像の撮影日時順に管理し、グラフ表示する。行動記録部２１２はまた、これら生体情報の、平均や標準変化といった統計値を計算する。
また、行動記録部２１２は、一般的に知られている表情認識技術により、撮影画像から撮影者の表情を認識し、これを記録する。すなわち、行動記録部２１２は、携帯端末１００から順次送られてくる撮影画像に対して表情認識を行い、結果を記録し続ける。
これにより、刻々と変わる撮影者の表情変化を記録し続けるサービスが実現される。すなわち、サーバ装置２１０は、撮影者が一日のうちにどの程度笑顔でいたか、いつ悲しい顔をしたか、一日何回不機嫌になったか等を記録することができる。この記録に表れる表情変化の傾向から、メンタルヘルス失調の兆候を読み取ることができる。例えば普段は笑顔の回数が多い撮影者が、急に笑顔の回数が減り、不機嫌な表情の割合が増えたとすれば、その変化をメンタルヘルス失調の兆候として読み取ることができる。
【００２０】
図３は、携帯端末１００による、画像管理処理を示すフローチャートである。撮影者が携帯端末１００を手に持った状態で、携帯端末１００が起動すると、画像管理処理が開始する。画像管理処理が開始すると、ＣＰＵ１０１は、撮影部１０８に対し、撮影開始を指示する。撮影部１０８は、撮影開始の指示に従い、撮影を開始し、その後ＣＰＵ１０１から撮影終了の指示を受け付けるまで、撮影を継続する。
Ｓ３０１において、撮影画像受付部２０１は、撮影部１０８により得られた撮影画像を受け付ける。次に、Ｓ３０２において、人体検出部２０２は、撮影画像から人体を検出する。人体検出部２０２は、人体が検出された場合には（Ｓ３０３でＹｅｓ）、処理をＳ３０４へ進める。人体検出部２０２は、人体が検出されなかった場合には（Ｓ３０３でＮｏ）、処理をＳ３０１へ進める。すなわち、携帯端末１００は、人体が検出されなかった場合には（Ｓ３０３でＮｏ）、撮影画像を撮影画像記憶部２０６に記録することなく、Ｓ３０１において、次に撮影された撮影画像を受け付ける。
【００２１】
Ｓ３０４において、生体情報推定部２０３は、撮影画像の人体領域に基づいて、撮影画像中の人物の生体情報（心拍数）を推定する。次に、Ｓ３０５において、生体情報受付部２０４は、生体情報計測部１０９から、撮影者の人体のうち、携帯端末１００が接触する接触部位において計測された生体情報を受け付ける。次に、Ｓ３０６において、撮影者判定部２０５は、生体情報受付部２０４が受け付けた生体情報の計測値と、生体情報推定部２０３により推定された生体情報の推定値とを比較し、比較結果に基づいて、撮影画像が撮影者画像か否かを判定する。
撮影者判定部２０５は、撮影画像が撮影者画像であると判定した場合には（Ｓ３０６でＹｅｓ）、処理をＳ３０７へ進める。撮影者判定部２０５は、撮影画像が撮影画像でないと判定した場合には（Ｓ３０６でＮｏ）、処理をＳ３０１へ進める。すなわち、携帯端末１００は、影画像が撮影画像でない場合には、撮影画像を撮影画像記憶部２０６に記録することなく、Ｓ３０１において、次に撮影された撮影画像を受け付ける。
【００２２】
Ｓ３０７において、撮影者判定部２０５は、撮影者画像であると判定した撮影画像を、撮影者の領域情報に対応付けて撮影画像記憶部２０６に記録する。ここで、Ｓ３０７の処理は、記録処理の一例である。次に、Ｓ３０８において、画像処理部２０７は、撮影画像記憶部２０６に記憶された撮影画像に対し、圧縮処理等の画像処理の他、撮影者領域以外の領域を、閲覧者にとって視認不可能な状態にするような画像処理を行う。ここで、Ｓ３０８の処理は、画像処理の一例である。
次に、Ｓ３０９において、通信部２０８は、画像処理後の撮影画像をサーバ装置２１０に送信する。ここで、Ｓ３０９の処理は、送信処理の一例である。次に、Ｓ３１０において、画像処理部２０７は、サーバ装置２１０に送信された撮影画像を撮影画像記憶部２０６から削除し、処理をＳ３０１へ進める。
なお、Ｓ３１０の処理は、画像処理部２０７が撮影画像記憶部２０６から撮影画像を読み出した後に実行されればよく、その実行順番は実施形態に限定されるものではない。ＣＰＵ２０１は、入力部１０６を介して、撮影者から画像管理処理の終了指示を受け付けた場合に、画像管理処理を終了する。このとき、ＣＰＵ１０１は、撮影部１０８に対し、撮影終了を指示し、撮影部１０８は、撮影を終了する。
以上のように、本実施形態にかかる携帯端末１００は、撮影画像中の人物が撮影者か否かを高精度に判定することができる。
【００２３】
第１の実施形態にかかる携帯端末１００の第１の変更例としては、生体情報計測部１０９が計測する生体情報及び生体情報推定部２０３が推定する生体情報の種類は実施形態に限定されるものではない。例えば、生体情報計測部１０９は、サーミスタや赤外線を用いた体温センサであり、皮膚温度を計測してもよい。
ただし、生体情報推定部２０３は、生体情報計測部１０９が計測する生体情報と同じ種類の生体情報を推定する必要がある。すなわち、撮影部１０８は、赤外領域の光を撮影し、生体情報推定部２０３は、撮影画像の赤外光量の大きさに基づいて、被写体としての人物の表面温度（皮膚温度）を推定することとする。なお、このとき、生体情報推定部２０３は、撮影画像の人体領域において肌色検出を行うことにより、皮膚が表出している腕等の領域を特定し、特定した領域の表面温度を皮膚温度として推定してもよい。
【００２４】
また、第２の変更例としては、携帯端末１００は、人体の手首を装着部位とする、装着型の装置であってもよい。この場合、撮影部１０８は、手首に装着された状態で、内蔵カメラにより周囲を撮影する。さらに、この場合、生体情報計測部１０９は、装着部位の人体情報を計測する。
第３の変更例としては、サーバ装置２１０の行動記録部２１２は、携帯端末１００が有してもよい。この場合、携帯端末１００は、装着者の行動認識と記録を行うことができる（行動認識処理）。
第４の変更例としては、撮影画像記憶部２０６は、不揮発性メモリやＨＤＤ１０４等により長期的に撮影画像等を記憶するものでもよい。この場合、画像処理部２０７は、撮影画像等を読み出した場合に、撮影画像記憶部２０６から読み出した情報を削除する処理を行わないこととする。さらに、本変更例において、撮影画像記憶部２０６は、画像処理部２０７による画像処理後の撮影画像を記憶してもよい。
【００２５】
第５の変更例としては、携帯端末１００は、ＣＰＵ１０１の他に、ハードウェア構成として画像処理部を備えてもよい。この場合、画像処理部２０７の処理は、ＣＰＵ１０１に替えて、ハードウェアとしての画像処理部が実行する。
第６の変更例としては、画像処理部２０７は、閲覧者にとって視認不可能な状態にするような画像処理を行うことなく、圧縮処理等のみ施された撮影画像をサーバ装置２１０に送信してもよい。この場合には、撮影者判定部２０５は、領域情報を記録することなく、撮影画像のみを撮影画像記憶部２０６に記録すればよい。
【００２６】
第７の変更例としては、携帯端末１００は、画像処理部２０７を有さず、撮影者判定部２０５により装着者の画像を含むと判定された撮影画像を、通信部２０８を介してサーバ装置２１０に送信してもよい。
第８の変更例としては、撮影部１０８は動画に替えて静止画を定期的に撮影してもよい。この場合、携帯端末１００は、静止画を撮影画像として選択的に記録する。
【００２７】
（第２の実施形態）
次に、第２の実施形態にかかる携帯端末１００について説明する。第２の実施形態にかかる携帯端末１００においては、撮影者判定部２０５は、生体情報の計測値及び推定値と、相関情報とに基づいて、撮影画像が撮影者画像であるか否かを判定する。
ここで、相関情報は、実際の撮影者画像と撮影者の生体情報の計測値から生成された情報である。すなわち、相関情報は、実際の撮影者により撮影された撮影者画像において得られた推定値と撮影者の計測値の多数の組から導出された推定値と計測値との関係性を示す情報である。ここで、推定値と計測値との関係とは、例えば、撮影画像から推定される心拍数は、計測される心拍数に比べて一定割合だけ少ないといったものである。相関情報は、例えばＨＤＤ１０４等に予め設定されているものとする。
そして、撮影者判定部２０５は、実際に得られた計測値と推定値の間に、相関情報に示される相関がある場合に、撮影画像は撮影者画像であると判定する。なお、第２の実施形態にかかる携帯端末１００のこれ以外の構成及び処理は、第１の実施形態にかかる携帯端末１００の構成及び処理と同様である。以上のように、第２の実施形態にかかる携帯端末１００は、撮影画像中の人物が撮影者か否かを高精度に判定することができる。
【００２８】
（第３の実施形態）
次に、第３の実施形態にかかる携帯端末１００について説明する。第３の実施形態にかかる携帯端末１００においては、第２の実施形態と同様に、撮影者判定部２０５は、生体情報の計測値及び推定値と、相関情報とに基づいて、撮影画像が撮影者画像であるか否かを判定する。さらに、本実施形態においては、生体情報計測部１０９が計測する生体情報の種類と、生体情報推定部２０３が推定する生体情報の種類は異なっているものとする。本実施形態においては、生体情報計測部１０９は、皮膚温度及び発汗の度合いを計測する。これに対し、生体情報推定部２０３は、撮影画像に基づいて、撮影画像中の人物の表情を生体情報として推定する。
カメラで赤外領域の光を撮影し、近赤外分光分析を用いることで、食品の水分量を計測できることが一般に知られている。生体情報計測部１０９は、同様に、赤外領域の光を撮影し、近赤外分光分析を用いることで、水分量としての発汗の度合いを計測するものとする。なお、生体情報計測部１０９は、同様の技術により、皮膚水分量を計測することもできる。
【００２９】
そして、撮影者判定部２０５は、計測された皮膚温度及び発汗の度合いと、推定された表情との間に、相関情報に示される相関がある場合に、撮影画像は撮影者画像であると判定する。ここで、相関情報は、実際の撮影者の皮膚温度等と表情の多数の組から導出された情報であり、例えばＨＤＤ１０４等に予め設定されているものとする。なお、第３の実施形態にかかる携帯端末１００のこれ以外の構成及び処理は、他の実施形態にかかる携帯端末１００の構成及び処理と同様である。
以上のように、第３の実施形態にかかる携帯端末１００は、撮影画像中の人物が撮影者か否かを高精度に判定することができる。
【００３０】
第３の実施形態の第１の変更例としては、生体情報計測部１０９は、皮膚温度及び発汗の度合いに加えて、心拍数を計測してもよい。さらに、この場合、撮影者判定部２０５は、皮膚温度、発汗の度合い及び心拍数と、これらの情報から導かれる表情とを対応付ける相関情報と、生体情報の計測値及び推定値（表情）とに基づいて、撮影者画像か否かを判定する。
【００３１】
また、第２の変更例としては、相関情報は、実施形態に限定されるものではない。例えば、発汗には物理的な熱による温熱性発汗と、感情的なストレスによる精神性発汗があるが、感情による発汗は手の平、足の裏、腋、及び場合により額に限られている。これに対応し、撮影者判定部２０５は、携帯端末１００が手で保持されるケースと手首に装着されるケースにおいては、異なる相関情報に基づいて、撮影者画像か否かを判定する。
すなわち、携帯端末１００が手で保持されるケースにおいては、撮影者判定部２０５は、皮膚温度や心拍数の変動は感情に起因する。したがって、撮影者判定部２０５は、計測値の変動と怒りや恐れの表情表出を対応付ける相関情報に基づいて、撮影者画像か否かを判定する。一方、携帯端末１００が、手首等に装着されるケースにおいては、発汗は熱に起因する。したがって、撮影者判定部２０５は、発汗と怒り等の表情表出を対応付ける相関情報による撮影者画像か否かの判定は行わない。
【００３２】
また、相関情報は、既知の生体情報間の関係に基づいて生成されたものであってもよい。例えば、人が怒りを感じた場合に手や指の皮膚温度は上昇し、人が恐れを感じた場合は手や指の皮膚温度は下降することが知られている。詳細については、余語真夫、情動と身体徴候の特異性−心臓血管系・皮膚温度に関する研究をめぐって−、人文學（１５３）、２３−４４、１９９３を参照することができる。相関情報は、このような既知の生体情報間の関係を示すものであってもよい。例えば、相関情報は、操作者の手において計測される皮膚温度の上昇と心拍数の上昇と、怒りの表情とを対応付けるものであってもよい。
【００３３】
（第４の実施形態）
次に、第４の実施形態にかかる携帯端末について説明する。図４は、第４の実施形態にかかる携帯端末４００のハードウェア構成を示す図である。携帯端末４００は、第１の実施形態にかかる携帯端末１００のハードウェア構成に加えて、刺激生成部４０１を有している。
刺激生成部４０１は、携帯端末４００が撮影者の手に保持された状態において、刺激を生成する。これにより、刺激生成部４０１は、撮影者に接触する接触部位に対し、刺激を与える。刺激生成部４０１は、針等の突起物を備え、突起物を人体に対して突出させて、痛覚を刺激する。
【００３４】
図５は、第４の実施形態にかかる携帯端末４００のソフトウェア構成を示す図である。携帯端末４００は、撮影画像受付部２０１と、人体検出部２０２と、刺激制御部５０１と、生体情報推定部２０３と、生体情報受付部２０４と、撮影者判定部５０２と、撮影画像記憶部２０６と、画像処理部２０７と、通信部２０８とを有している。
刺激制御部５０１は、刺激生成部４０１を制御する。生体情報推定部２０３は、生体情報として、撮影画像中の人物の表情を推定する。撮影者判定部５０２は、刺激制御部５０１の制御により撮影者に対して与えられた刺激に対する反応が、撮影画像中の人物に表れている場合に、撮影画像は撮影者画像であると判定する。本実施形態においては、撮影者判定部５０２は、痛覚刺激に対し、痛みを表す表情変化が推定された場合に、表情変化が推定された撮影画像は、撮影者画像であると判定する。撮影者判定部５０２は、さらに、刺激を与える前に得られた撮影画像中の人物については、撮影者画像であると判定された撮影画像における撮影者の位置及び向きと、撮影画像中の人物の位置及び向きの変化量に基づいて、撮影者画像であるか否かを判定する。すなわち、撮影者判定部５０２は、変化量が閾値未満である場合には、刺激を与える前に得られた撮影画像は撮影者画像であると判定する。
【００３５】
図６は、第４の実施形態にかかる携帯端末４００による、画像管理処理を示すフローチャートである。図６において、図３に示す画像管理処理の各処理と同一の処理には、同一番号を付している。Ｓ３０３において、人体が検出された場合には（Ｓ３０３でＹｅｓ）、Ｓ６０１において、刺激制御部５０１は、刺激を生成を指示する。これに応じて、刺激生成部４０１は、刺激を生成する。する。次に、Ｓ６０２において、生体情報推定部２０３は、刺激が生成されたタイミングにおいて撮影部１０８により撮影された撮影画像から、生体情報としての表情を推定する。
次に、Ｓ６０３において、撮影者判定部５０２は、生成された刺激に対応する生体情報（表情）が推定されたか否かを判定する。撮影者判定部５０２は、刺激に対応する生体情報が推定された場合、すなわち撮影画像は撮影者画像であると判定した場合（Ｓ６０３でＹｅｓ）、処理をＳ３０７へ進める。撮影者判定部５０２は、刺激に対応する生体情報が推定されなかった場合には（Ｓ６０３でＮｏ）、処理をＳ３０１へ進める。なお、第４の実施形態にかかる携帯端末４００のこれ以外の構成及び処理は、他の実施形態にかかる携帯端末の構成及び処理と同様である。
【００３６】
以上のように、第４の実施形態にかかる携帯端末４００は、撮影者に与えた刺激と、これに対し得られる撮影画像中の人物の反応とに基づいて、撮影画像中の人物が撮影者か否かを高精度に判定することができる。さらに、携帯端末４００は、撮影画像中に非常に似た生体情報を示す人物が撮影者と共に写っている場合であっても、精度よく撮影者を判別することができる。
【００３７】
なお、第４の実施形態にかかる携帯端末４００の変更例としては、刺激生成部４０１が生成する刺激の種類と、生体情報推定部２０３により推定される生体情報の種類は実施形態に限定されるものではない。例えば、刺激生成部４０１は、人体に巻きつけるバンドを備え、バンドをきつく締めることで、圧覚を刺激するものでもよい。この場合、撮影者判定部５０２は、圧覚刺激に対し、痛みを表す表情変化が推定された場合に、撮影画像は撮影者画像であると判定する。
また他の例としては、刺激生成部４０１は、ヒーターやファンを備え、接触部位の温度を上下させることで、温覚や冷覚を刺激するものでもよい。この場合、生体情報推定部２０３は、皮膚温度の変化又は皮膚の色の変化を生体情報として推定する。そして、撮影者判定部５０２は、温覚、冷覚刺激に対し、対応する皮膚温度の変化又は皮膚の色の変化が推定された場合に、撮影画像は撮影者画像であると判定する。
【００３８】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００３９】
以上、上述した各実施形態によれば、撮影画像中の人物が撮影者か否かを高精度に判定することができる。
【００４０】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００４１】
１００  携帯端末、１０１  ＣＰＵ、１０２  ＲＯＭ、１０３  ＲＡＭ、１０４  ＨＤＤ、１０８  撮影部、１０９  生体情報計測部、２０１  撮影画像受付部、２０２  人体検出部、２０３  生体情報推定部、２０４  生体情報受付部、２０５  撮影者判定部、２０６  撮影画像記憶部、２０７  画像処理部、２０８  通信部、２１０  サーバ装置、２１１  通信部、２１２  行動認識部
【図１】
2015198348.tif 000003
【図２】
2015198348.tif 000004
【図３】
2015198348.tif 000005
【図４】
2015198348.tif 000006
【図５】
2015198348.tif 000007
【図６】
2015198348.tif 000008