(57)【要約】【課題】被測定者に意識させずに生体情報を取得する場合における生体情報の取得可能性を向上させる。【解決手段】本情報処理装置は、表示部と、前記表示部が設けられた面と同じ面に設けられたカメラと、自装置に加えらえる外力を検出するセンサ部と、前記センサ部が検出した検出値の所定期間内における累積値が自装置の移動を示す閾値以上であり、かつ、前記表示部に情報が表示されている場合に、前記カメラを作動させて前記カメラに撮影を実行させる撮影部と、前記カメラが撮影した画像に利用者の顔を検出した場合に、前記画像を解析して前記利用者の生体情報を取得する取得部と、を備える。【選択図】図３
2020058626.tif 000002
【特許請求の範囲】
【請求項１】
表示部と、
前記表示部が設けられた面と同じ面に設けられたカメラと、
自装置の加速度および姿勢の少なくとも一方を検出するセンサ部と、
前記センサ部が検出した検出値の所定期間内における累積値が自装置の移動を示す閾値以上であり、かつ、前記表示部に情報が表示されている場合に、前記カメラを作動させて前記カメラに撮影を実行させる撮影部と、
前記カメラが撮影した撮像に利用者の顔を検出した場合に、前記撮像を解析して前記利用者の生体情報を取得する取得部と、を備える、
情報処理装置。
【請求項２】
前記撮影部は、前記累積値が前記閾値以上であり、かつ、前記表示部に文字または画像が表示されている場合に、前記カメラを作動させて前記カメラに撮影を実行させる、
請求項１に記載の情報処理装置。
【請求項３】
前記撮影部は、所定の検出期間内に前記撮像内に前記顔を検出しない場合、前記カメラを停止する、
請求項１または２に記載の情報処理装置。
【請求項４】
前記取得部は、前記解析の処理時間が所定の解析期間以上となった場合、前記カメラを停止する、
請求項１から３のいずれか一項に記載の情報処理装置。
【請求項５】
前記センサ部は、ジャイロセンサおよび加速度センサの少なくとも一方を含む、
請求項１から４のいずれか一項に記載の情報処理装置。
【請求項６】
表示部と、前記表示部が設けられた面と同じ面に設けられたカメラと、自装置に加えられる外力を検出するセンサ部とを備えるコンピュータが、
前記センサ部が検出した検出値の所定期間内における累積値が自装置の移動を示す閾値以上であり、かつ、前記表示部に情報が表示されている場合に、前記カメラを作動させて前記カメラに撮影を実行し、
前記カメラが撮影した撮像に利用者の顔を検出した場合に、前記撮像を解析して前記利用者の生体情報を取得する、
情報処理方法。
【請求項７】
表示部と、前記表示部が設けられた面と同じ面に設けられたカメラと、自装置に加えられる外力を検出するセンサ部とを備えるコンピュータに、
前記センサ部が検出した検出値の所定期間内における累積値が自装置の移動を示す閾値以上であり、かつ、前記表示部に情報が表示されている場合に、前記カメラを作動させて前記カメラに撮影を実行させ、
前記カメラが撮影した撮像に利用者の顔を検出した場合に、前記撮像を解析して前記利用者の生体情報を取得させる、
情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。
【背景技術】
【０００２】
被測定者の顔画像を情報処理装置が備えるカメラで撮像し、撮像した顔画像を解析して被測定者の脈波を検出する情報処理装置が利用されている。また、顔画像から脈波を検出する際に、ジャイロセンサの検出値を基に脈波を検出しやすい領域を特定する情報処理装置が利用されている（例えば、特許文献１、２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２３９６６１号公報
【特許文献２】特開２０１５−２０５０５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
被測定者による操作に応じてカメラによる撮像が実行される場合、被測定者が情報処理装置を利用して実行していたウェブサイトの閲覧やSocial Networking Service（ＳＮＳ
）等の通信等の処理をいったん中断することになる。そのため、被測定者にとっての利便性が低下する。また、被測定者による操作に応じてカメラによる撮像が実行される場合、被測定者が脈波の検出を意識してしまうことで脈波の測定値に影響が出る可能性があった。
【０００５】
そこで、カメラをバックグラウンドで常時起動して撮影し続けることで、被測定者に意識させずに脈波を測定する方法も考えられる。しかしながら、被測定者の顔は常にカメラに向いているわけではないため、顔画像を撮像できないときにもカメラによる撮影が行われることになる。そのため、顔画像を取得できる可能性が低下し、ひいては、顔画像を解析して脈波を取得できる可能性が低下する。同様の課題は、脈波以外の生体情報を顔画像を解析して取得する場合にも生じ得る。
【０００６】
開示の技術の１つの側面は、被測定者に気づかれずに生体情報を取得する場合における生体情報の取得可能性を向上し得る情報処理装置、情報処理方法および情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
開示の技術の１つの側面は、次のような情報処理装置によって例示される。本情報処理装置は、表示部と、前記表示部が設けられた面と同じ面に設けられたカメラと、自装置の加速度および姿勢の少なくとも一方を検出するセンサ部と、前記センサ部が検出した検出値の所定期間内における累積値が自装置の移動を示す閾値以上であり、かつ、前記表示部に情報が表示されている場合に、前記カメラを作動させて前記カメラに撮影を実行させる撮影部と、前記カメラが撮影した画像に利用者の顔を検出した場合に、前記画像を解析して前記利用者の生体情報を取得する取得部と、を備える。
【発明の効果】
【０００８】
開示の技術によれば、被測定者に意識させずに生体情報を取得する場合における生体情報の取得可能性を向上させることができる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態に係るスマートフォンの外観の一例を示す第１の図である。
【図２】第１実施形態に係るスマートフォンの外観の一例を示す第２の図である。
【図３】図３は、第１実施形態に係るスマートフォンのハードウェア構成の一例を示す図である。
【図４】図４は、第１実施形態に係るスマートフォンの処理ブロックの一例を示す図である。
【図５】図５は、センサの検出値の変動の一例を示す第１の図である。
【図６】図６は、センサの検出値の変動の一例を示す第２の図である。
【図７】図７は、第１実施形態に係るスマートフォンの処理フローの一例を示す第１の図である。
【図８】図８は、第１実施形態に係るスマートフォンの処理フローの一例を示す第２の図である。
【図９】図９は、第１実施形態に係るスマートフォンの処理フローの一例を示す第３の図である。
【図１０】図１０は、第１実施形態に係るスマートフォンの処理フローの一例を示す第４の図である。
【図１１】図１１は、第１変形例に係るスマートフォンの処理ブロックの一例を示す図である。
【図１２】図１２は、第１変形例に係るスマートフォンの処理フローの一例を示す図である。
【図１３】図１３は、第２変形例に係るスマートフォンの処理ブロックの一例を示す図である。
【図１４】図１４は、第２変形例に係るスマートフォンの処理フローの一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、実施形態について説明する。以下に示す実施形態の構成は例示であり、開示の技術は実施形態の構成に限定されない。本実施形態に係る情報処理装置は、例えば、以下の構成を有する。
【００１１】
（情報処理装置の構成）
表示部と、
前記表示部が設けられた面と同じ面に設けられたカメラと、
自装置の加速度および姿勢の少なくとも一方を検出するセンサ部と、
前記センサ部が検出した検出値の所定期間内における累積値が自装置の移動を示す閾値以上であり、かつ、前記表示部に情報が表示されている場合に、前記カメラを作動させて前記カメラに撮影を実行させる撮影部と、
前記カメラが撮影した画像に利用者の顔を検出した場合に、前記画像を解析して前記利用者の生体情報を取得する取得部と、を備える、
情報処理装置。
【００１２】
表示部は、例えば、情報処理装置による処理の結果等を表示可能なディスプレイである。表示部に表示される情報は、例えば、文字列や画像等の有意情報である。カメラは、静止画を撮影するデジタルスチルカメラでも動画を撮影するデジタルビデオカメラであってもよい。センサ部が検出した検出値の所定期間内における累積値が自装置の移動を示す閾値以上である場合、情報処理装置をユーザが手で保持している蓋然性が高いと考えられる。さらに、開示の技術は、文字列や画像等の有意情報が視野内に入った時に、その意味や内容を知ろうと覗き込む人の習性を利用する。すなわち、前記表示部に情報（例えば、文字列や画像等の有意情報）が表示されている場合は、ユーザが表示部を閲覧している蓋然
性が高いと考えられる。すなわち、ユーザの顔が表示部と同じ面に設けられたカメラの方向に向いている蓋然性が高いと考えられる。ユーザが手で保持している蓋然性が高く、かつ、ユーザの顔がカメラの方向に向いている蓋然性が高い場合にカメラに撮影を実行させることで、ユーザの顔を撮影できる可能性が高まる。そのため、このような実施形態によれば、取得部が解析する画像にユーザの顔が含まれる可能性が高まり、ひいては、ユーザが気づかないうちにユーザの生体情報を取得できる可能性を高めることができる。
【００１３】
本実施形態は、さらに次の特徴を有してもよい。前記撮影部は、前記累積値が前記閾値以上であり、かつ、前記表示部に文字または画像が表示されている場合に、前記カメラを作動させて前記カメラに撮影を実行させる。表示部に文字または画像が表示されている場合には、ユーザが表示部を見ている可能性がさらに高いと考えられる。そのため、このような特徴を有することにより、本実施形態はユーザの生体情報を取得できる可能性をさらに高めることができる。
【００１４】
本実施形態は、さらに次の特徴を有してもよい。前記撮影部は、所定の検出期間内に前記画像内に前記顔を検出しない場合、前記カメラを停止する。このような特徴を有することで、カメラを動作させ続ける場合と比較して、情報処理装置の消費電力を抑制できる。
【００１５】
本実施形態は、さらに次の特徴を有してもよい。前記取得部は、前記解析の処理時間が所定の解析期間以上となった場合、前記カメラを停止する。取得した画像にユーザの顔が含まれていない場合や、画像に含まれるユーザの顔が解析可能な状態ではない場合も考えられる。このような場合に解析処理に時間を要し、カメラを作動させ続けると情報処理装置の消費電力を増大させる虞がある。解析の処理時間が所定の解析期間以上となった場合にカメラを停止することで、本実施形態は情報処理装置の消費電力の増大を抑制できる。
【００１６】
以下、図面を参照して、本実施形態についてさらに説明する。
【００１７】
＜第１実施形態＞
図１および図２は、第１実施形態に係るスマートフォンの外観の一例を示す図である。図１はスマートフォン１０の正面側の外観の一例を示し、図２はスマートフォン１０の背面側の外観の一例を示す。なお、本明細書において、スマートフォン１０がディスプレイ２０を備える側を正面、その反対側を背面と称する。また、スマートフォン１０の長手方向をＸ方向、短手方向をＹ方向、高さ方向（図１の法線方向）をＺ方向とする。また、スマートフォン１０の長手方向において、インカメラ３０またはアウトカメラ４０が設けられている側を上、ディスプレイ２０が設けられている側を下とする。
【００１８】
図１に例示するように、スマートフォン１０は、ディスプレイ２０とインカメラ３０とを正面側に備える。また、図２に例示するように、スマートフォン１０は、アウトカメラ４０を背面側に備える。
【００１９】
スマートフォン１０は、可搬型の情報処理装置である。スマートフォン１０は、インカメラ３０によって被測定者の顔画像を撮影し、撮影した顔画像を解析して被測定者の脈波を検出する。
【００２０】
ディスプレイ２０は、スマートフォン１０による情報処理の結果を出力する表示装置である。ディスプレイ２０は、例えば、Liquid Crystal Display（ＬＣＤ）、Plasma Display Panel（ＰＤＰ）、Electroluminescence（ＥＬ）パネル、有機ＥＬパネルである。デ
ィスプレイ２０には、ユーザによるタッチ操作を検出するタッチパネルが重畳して配置される。ディスプレイ２０は、「表示部」の一例である。
【００２１】
インカメラ３０およびアウトカメラ４０は、動画および静止画を撮影可能な装置である。インカメラ３０およびアウトカメラ４０は、例えば、デジタルカメラである。インカメラ３０はスマートフォン１０の正面側、すなわち、スマートフォン１０においてディスプレイ２０が配置された面に設けられる。アウトカメラ４０はスマートフォン１０の背面側、すなわち、スマートフォン１０においてディスプレイ２０が配置された側の反対側の面に設けられる。インカメラ３０は、「カメラ」の一例である。
【００２２】
図３は、第１実施形態に係るスマートフォンのハードウェア構成の一例を示す図である。スマートフォン１０は、Central Processing Unit（ＣＰＵ）１０１、メモリ１０２、
外部メモリ１０３、スピーカー１０４、通信部１０５、Global Positioning System（Ｇ
ＰＳ）１０６、センサ１０７、バイブレータ１０８および接続バスＢ１を含む。メモリ１０２、外部メモリ１０３、スピーカー１０４、通信部１０５、ＧＰＳ１０６、センサ１０７およびバイブレータ１０８は、接続バスＢ１によって相互に接続される。
【００２３】
ＣＰＵ１０１は、マイクロプロセッサユニット（ＭＰＵ）、プロセッサとも呼ばれる。ＣＰＵ１０１は、単一のプロセッサに限定される訳ではなく、マルチプロセッサ構成であってもよい。また、単一のソケットで接続される単一のＣＰＵ１０１がマルチコア構成を有していても良い。ＣＰＵ１０１が実行する処理のうち少なくとも一部は、ＣＰＵ１０１以外のプロセッサ、例えば、Digital Signal Processor（ＤＳＰ）、Graphics Processing Unit（ＧＰＵ）、数値演算プロセッサ、ベクトルプロセッサ、画像処理プロセッサ等の専用プロセッサで行われても良い。また、ＣＰＵ１０１が実行する処理のうち少なくとも一部は、集積回路（ＩＣ）、その他のデジタル回路によって実行されてもよい。また、ＣＰＵ１０１の少なくとも一部にアナログ回路が含まれても良い。集積回路は、Large Scale Integrated circuit（ＬＳＩ）、Application Specific Integrated Circuit（ＡＳＩ
Ｃ）、プログラマブルロジックデバイス（ＰＬＤ）を含む。ＰＬＤは、例えば、Field-Programmable Gate Array（ＦＰＧＡ）を含む。ＣＰＵ１０１は、プロセッサと集積回路と
の組み合わせであっても良い。組み合わせは、例えば、マイクロコントローラユニット（ＭＣＵ）、System-on-a-chip（ＳｏＣ）、システムＬＳＩ、チップセットなどと呼ばれる。スマートフォン１０では、ＣＰＵ１０１がメモリ１０２に記憶されたプログラムの実行を通じて周辺装置の制御を行う。これにより、スマートフォン１０は、所定の目的に合致した処理を実行することができる。メモリ１０２および外部メモリ１０３は、スマートフォン１０が読み取り可能な記録媒体である。
【００２４】
メモリ１０２は、ＣＰＵ１０１からアクセスされる記憶部として例示される。メモリ１０２は、Random Access Memory（ＲＡＭ）およびRead Only Memory（ＲＯＭ）を含む。メモリ１０２は、Erasable Programmable ROM（ＥＰＲＯＭ）、ソリッドステートドライブ
（Solid State Drive、ＳＳＤ）、ハードディスクドライブ（Hard Disk Drive、ＨＤＤ）等を含んでもよい。メモリ１０２には、本実施形態における各処理をＣＰＵ１０１に実行させるプログラムＰ、オペレーティングシステム（Operating System、ＯＳ）等が格納される。ＯＳは、例えば、スマートフォン１０の状態をプログラムＰから取得可能とするApplication Programming Interface（ＡＰＩ）を提供する。
【００２５】
外部メモリ１０３は、スマートフォン１０から取り外し可能な記憶媒体である。外部メモリ１０３に記憶されたデータは、例えば、ＣＰＵ１０１によってメモリ１０２に読み出される。外部メモリ１０３として、例えば、Secure Digital（ＳＤ）メモリカードおよびUniversal Serial Bus（ＵＳＢ）メモリ等を挙げることができる。
【００２６】
スピーカー１０４は、音声を出力する装置である。スピーカー１０４は、例えば、電話の音声や音楽等を出力する。通信部１０５は、例えば、携帯電話回線、無線Local Area Network（ＬＡＮ）等のコンピュータネットワーク環境とのインターフェースである。通信
部１０５は、コンピュータネットワーク環境を介して外部の装置と通信を行う。
【００２７】
ＧＰＳ１０６は、衛星測位システムを利用してスマートフォン１０の現在位置を取得する。ＧＰＳ１０６が取得した現在位置は、例えば、インカメラ３０およびアウトカメラ４０が撮影した動画および画像に付加することができる。現在位置の付加は、例えば、動画および画像のメタデータに登録してもよいし、動画および画像と現在位置とをテーブル等で対応付けてもよい。
【００２８】
センサ１０７は、スマートフォン１０に加えられる外力を検知するセンサである。センサ１０７は、スマートフォン１０の振動や移動を検知するセンサということもできる。センサ１０７は、例えば、スマートフォン１０の加速度を検出する加速度センサやスマートフォン１０の角度（姿勢）を検出するジャイロセンサである。加速度センサおよびジャイロセンサはＸ方向、Ｙ方向、Ｚ方向への振動や移動が検知可能な３軸加速度センサや３軸ジャイロセンサである方が検出精度の上では好ましいが、これに限定されない。加速度センサおよびジャイロセンサはＸ軸、Ｙ軸およびＺ軸のうちのいずれかの１軸に対するものであってもよい。センサ１０７は、「センサ部」の一例である。
【００２９】
バイブレータ１０８は、スマートフォン１０のユーザに振動によって各種通知を行う。バイブレータ１０８は、例えば、メールの着信を検知したＣＰＵ１０１からの指示に応じて振動する。バイブレータ１０８は、当該振動により、メールの着信をユーザに通知することができる。
【００３０】
＜スマートフォン１０の処理ブロック＞
図４は、第１実施形態に係るスマートフォンの処理ブロックの一例を示す図である。スマートフォン１０は、第１判定部１１、第２判定部１２、撮影部１３、第３判定部１４および取得部１５を備える。スマートフォン１０は、メモリ１０２に格納されたプログラムＰをＣＰＵ１０１が実行することで、上記スマートフォン１０の、第１判定部１１、第２判定部１２、撮影部１３、第３判定部１４および取得部１５等の各部としての処理を実行する。
【００３１】
第１判定部１１は、センサ１０７の検出値を基に、スマートフォン１０がユーザの手で保持されているか否かを判定する。スマートフォン１０がユーザの手で保持されている場合、スマートフォン１０がテーブル等に載置されている場合と比較して、センサ１０７の検出値が大きくなる。
【００３２】
図５および図６は、センサの検出値の変動の一例を示す図である。図５および図６では、加速度センサおよびジャイロセンサの検出値の変動が例示される。図５は、スマートフォン１０が静止した状態における検出値の変動の一例を示し、図６は、スマートフォン１０をユーザが手で保持した場合における検出値の変動の一例を示す。図５および図６において、縦軸は検出値を示し、横軸は時間を示す。
【００３３】
図５および図６を比較すると理解できるように、加速度センサおよびジャイロセンサのいずれにおいても、スマートフォン１０が静止した状態よりもスマートフォン１０が手で保持されている場合の方が、センサ１０７の検出値は大きくなる。また、Ｘ方向、Ｙ方向、Ｚ方向のいずれにおいても、スマートフォン１０が静止した状態よりもスマートフォン１０が手で保持されている場合の方が、センサ１０７の検出値は大きくなる。
【００３４】
なお、センサ１０７の検出値が瞬間的に上昇した後に下がり、その後検出値が上昇しない場合には、テーブル等に載置されたスマートフォン１０が何らかの衝撃により、瞬間的に移動しただけということも考えられる。すなわち、このような場合には、スマートフォ
ン１０は手で保持されていないと考えられる。そこで、本実施形態では、センサ１０７の検出値をそのまま用いるのではなく、所定の検出期間の間、所定の検出間隔で断続的に取得した検出値を累積し、累積した累積値を用いてスマートフォン１０が手で保持されているか否かを判定する。センサ１０７として加速度センサを採用した場合の検出値の累積値は、例えば、以下の式１から式３によって算出できる。
【数１】
2020058626.tif 000003
【００３５】
式１から式３は、所定の検出期間の間に所定の検出間隔でＮ＋１個の検出値が取得された場合における、加速度センサの検出値の累積値を算出する式の一例である。AXm、AYm、AZmは、それぞれ、Ｘ方向、Ｙ方向、Ｚ方向における加速度センサの検出値の累積値であ
る。AX(i)、AY(i)、AZ(i)は、それぞれ、断続的に取得された加速度センサのＸ方向、Ｙ
方向、Ｚ方向の検出値である。すなわち、式１から式３では、Ｘ方向、Ｙ方向、Ｚ方向のそれぞれについて加速度センサの検出値の二乗の和を算出することで累積値としている。なお、式１から式３では検出値の二乗を積算して累積値が算出されているが、検出値そのものを積算して累積値が算出されてもよい。
【００３６】
また、センサ１０７としてジャイロセンサを採用した場合の検出値の累積値は、例えば、以下の式４から式６によって算出できる。
【数２】
2020058626.tif 000004
【００３７】
式４から式６は、所定の検出期間の間に所定の検出間隔でＮ＋１個の検出値が取得された場合における、ジャイロセンサの検出値の累積値を算出する式の一例である。GXm、GYm、GZmは、それぞれ、Ｘ方向、Ｙ方向、Ｚ方向におけるジャイロセンサの検出値の累積値
である。GX(i)、GY(i)、GZ(i)は、それぞれ、断続的に取得されたジャイロセンサのＸ方
向、Ｙ方向、Ｚ方向の検出値である。すなわち、式４から式６では、Ｘ方向、Ｙ方向、Ｚ方向のそれぞれについてジャイロセンサの検出値の二乗の和を算出することで累積値としている。なお、式４から式６では検出値の二乗を積算して累積値が算出されているが、加速度センサの場合と同様に、検出値そのものを積算して累積値が算出されてもよい。
【００３８】
式１から式６によって算出される累積値それぞれに対して、スマートフォン１０が手で保持されていることを示す閾値があらかじめ設定される。閾値は実験等によって決定され、決定された閾値は、例えば、メモリ１０２に記憶される。第１判定部１１は、例えば、式１から式６の少なくともいずれかによって算出された累積値が閾値以上である場合に、スマートフォン１０が手で保持されていると判定する。
【００３９】
第２判定部１２は、ディスプレイ２０に情報が表示されているか否かを判定する。第２判定部１２は、例えば、ＯＳが提供するＡＰＩを介してディスプレイ２０の状態を取得し、ディスプレイ２０に情報が表示されているか否かを判定することができる。以下、本明細書において、ディスプレイ２０に文字列または特定画像等の有意情報が表示されている状態を「スクリーンＯＮ」と称し、ディスプレイ２０が情報を表示していない場合を「スクリーンＯＦＦ」と称する。特定画像は、例えば、アプリケーションを起動しなくとも表示される待ち受け画像（壁紙画像）以外の画像である。スクリーンＯＦＦの状態は、ディ
スプレイ２０のバックライトが点灯しており、かつ、ディスプレイ２０に情報が表示されてない状態を含む。
【００４０】
撮影部１３は、第１判定部１１によってスマートフォン１０が手で保持されていると判定され、かつ、第２判定部１２によってディスプレイ２０がスクリーンＯＮであると判定された場合に、インカメラ３０を起動し、起動したインカメラ３０に撮影を実行させる。撮影部１３は、インカメラ３０に動画を撮影させてもよいし、複数枚の静止画を連続的に撮影させてもよい。連続的に撮影させる、とは、複数枚の静止画を一定の撮影間隔で撮影することを含む。撮影部１３は、例えば、撮影した動画または静止画等の撮像をメモリ１０２に記憶させる。撮影部１３は、「撮影部」の一例である。
【００４１】
第３判定部１４は、インカメラ３０によって撮影された撮像に対して顔認識処理を行い、ユーザの顔が当該撮像に含まれるか否かを判定する。換言すれば、第３判定部１４は、撮影された撮像中において、顔を検出できるか否かを判定する。当該判定には、様々な公知技術を適用できる。
【００４２】
取得部１５は、第３判定部１４によって撮影された撮像に顔が含まれると判定された場合に、当該撮像を解析してユーザの生体情報を取得する。生体情報の取得には、様々な公知技術を適用できる。生体情報の取得では、例えば、撮像中における、眼、鼻等の顔の部分（以下、顔パーツと称する）の認識処理を実行する。取得部１５は、認識処理によって認識された顔パーツを撮像から切り出し、切り出した顔パーツにおける時系列の変化を解析する。取得部１５は、当該解析により、ユーザの生体情報を取得する。生体情報は、例えば、ユーザの脈波である。取得部１５は、取得した生体情報をメモリ１０２に記憶させる。取得部１５は、「取得部」の一例である。
【００４３】
＜処理フロー＞
図７から図１０は、第１実施形態に係るスマートフォンの処理フローの一例を示す図である。図７から図１０において、図７の「Ａ」は図８の「Ａ」に接続し、図８および図１０の「Ｂ」は図７の「Ｂ」に接続し、図８の「Ｃ」は図９の「Ｃ」に接続する。図９の「Ｄ」、「Ｅ」は、それぞれ、図１０の「Ｄ」、「Ｅ」に接続する。図１０の「Ｆ」は図９の「Ｆ」に接続する。以下、図７から図１０を参照して、第１実施形態に係るスマートフォンの処理フローの一例について説明する。
【００４４】
Ｔ１１からＴ１４では、スマートフォン１０が起動されてからセンサ１０７の検出値がメモリ１０２に記憶されるまでの処理が例示される。Ｔ１１では、スマートフォン１０が起動されると、センサ１０７が起動される。すなわち、本実施形態では、加速度センサおよびジャイロセンサに例示されるセンサ１０７は、スマートフォン１０の起動に伴って起動される。
【００４５】
Ｔ１２では、第１判定部１１は、所定の検出期間満了を判定するためのタイマーを起動する。Ｔ１３では、第１判定部１１は、センサ１０７が検出した検出値をメモリ１０２に記憶させる。タイマーが満了した場合（Ｔ１４でＹＥＳ）、すなわち、タイマーが所定の検出期間満了を示す場合、処理はＴ２１に進められる。タイマーが満了していない場合（Ｔ１４でＮＯ）、すなわち、タイマーが所定の検出期間未満を示す場合、処理はＴ１３に進められ、次の検出値がメモリ１０２に記憶される。
【００４６】
Ｔ２１からＴ２４では、生体情報の取得を開始するか否かの判定処理が例示される。Ｔ２１では、第１判定部１１は、Ｔ１３およびＴ１４の処理によって断続的に取得され、メモリ１０２に記憶された検出値を累積して累積値を算出する。累積値の算出は、例えば、上述の式１から式６を用いることができる。
【００４７】
Ｔ２２では、第１判定部１１は、Ｔ２１で算出した累積値が閾値以上であるか否かを判定する。閾値以上である場合（Ｔ２２でＹＥＳ）、処理はＴ２３に進められる。閾値未満である場合（Ｔ２２でＮＯ）、処理はＴ１２に進められる。
【００４８】
Ｔ２３では、第２判定部１２は、ＯＳが提供するＡＰＩを用いて、スマートフォン１０のディスプレイ２０の状態を取得する。Ｔ２３の処理によって、第２判定部１２は、ディスプレイ２０がスクリーンＯＮであるか、スクリーンＯＦＦであるかを判定することができる。ディスプレイ２０がスクリーンＯＮである場合（Ｔ２４でＹＥＳ）、処理はＴ３１に進められる。ディスプレイ２０がＯＦＦである場合（Ｔ２４でＮＯ）、処理はＴ１２に進められる。
【００４９】
Ｔ３１からＴ３Ｃでは、生体情報を取得する処理が例示される。Ｔ３１では、撮影部１３は、インカメラ３０を起動する。Ｔ３２では、撮影部１３は、インカメラ３０に撮影を実行させる。撮影部１３は、インカメラ３０が撮影した撮像を取得する。
【００５０】
Ｔ３３では、第３判定部１４は、Ｔ３２で取得した撮像に対して顔検出処理を実行する。撮像中に顔が検出された場合（Ｔ３４でＹＥＳ）、処理はＴ３５に進められる。撮像中に顔が検出されない場合（Ｔ３４でＮＯ）、処理はＴ３７に進められる。
【００５１】
Ｔ３５では、取得部１５は、Ｔ３２で取得した撮像中における顔パーツの認識処理を実行する。Ｔ３６では、取得部１５は、Ｔ３５で認識した顔パーツを撮像から切り出す。
【００５２】
Ｔ３７では、第３判定部１４は、インカメラ３０によって撮影された撮像中に顔が認識されない状態が、インカメラ３０を起動してから所定の検出期間以上継続しているか否かを判定する。所定の検出期間以上継続している場合（Ｔ３７でＹＥＳ）、処理はＴ３Ｃに進められる。所定の検出期間未満である場合（Ｔ３７でＮＯ）、処理はＴ３２に進められる。
【００５３】
Ｔ３８では、取得部１５は、Ｔ３６で切り出した顔パーツに対して、解析処理を実行する。取得部１５は、解析処理において、例えば、切り出した顔パーツにおける時系列の変化を解析し、当該変化に基づいて脈波によって例示される利用者の生体情報を取得する。解析終了した場合、すなわち、切り出した顔パーツにおける時系列の変化を基に生体情報を取得できた場合（Ｔ３９でＹＥＳ）、処理はＴ３Ａに進められる。解析が終了しない場合、すなわち、切り出した顔パーツにおける時系列の変化を基に生体情報を取得できなかった場合（Ｔ３９でＮＯ）、処理はＴ３Ｂに進められる。
【００５４】
Ｔ３Ａでは、取得部１５は、Ｔ３８の解析処理によって取得した生体情報をメモリ１０２に記憶させる。Ｔ３Ｂでは、取得部１５は、Ｔ３１でインカメラ３０を起動してからの経過時間が所定の撮影期間を経過したか否かを判定する。所定の撮影期間を経過した場合（Ｔ３ＢでＹＥＳ）、処理はＴ３Ｃに進められる。所定の撮影期間を経過していない場合（Ｔ３ＢでＮＯ）、処理はＴ３２に進められる。Ｔ３Ｃでは、撮影部１３は、インカメラ３０を停止する。
【００５５】
＜第１実施形態の作用効果＞
第１実施形態では、スマートフォン１０は、センサ１０７の検出値に基づいてスマートフォン１０がユーザの手で保持されているか否かを判定する。スマートフォン１０は、ユーザの手で保持されていると判定すると、さらに、ディスプレイ２０がスクリーンＯＮであるか否かを判定する。スマートフォン１０がユーザの手で保持され、かつ、ディスプレイ２０がスクリーンＯＮである場合、ユーザはスマートフォン１０のディスプレイ２０に
表示されている情報を閲覧している蓋然性が高いと考えられる。すなわち、ユーザの顔がスマートフォン１０のインカメラ３０の方向に向いている蓋然性が高いと考えられる。スマートフォン１０は、ユーザの顔がインカメラ３０の方向に向いている蓋然性が高いときに、インカメラ３０を起動して、撮影を実行する。そのため、インカメラ３０を常時起動する場合と比較して、スマートフォン１０の消費電力を抑制することができるとともに、ユーザの顔を撮影できる可能性を高めることができる。
【００５６】
第１実施形態では、スマートフォン１０は、インカメラ３０を起動してから所定の撮影期間が経過すると、インカメラ３０を停止する。そのため、インカメラ３０が起動され続けることによる、電力の消費が抑制される。
【００５７】
センサ１０７はジャイロセンサを採用することができる。ジャイロセンサは角速度を検出るため、例えば、電車や自動車等の車両に乗車したときに生じる水平方向の振動を基に、ユーザがスマートフォン１０を手で保持していると誤判定することが抑制される。
【００５８】
センサ１０７は、加速度センサを採用することができる。加速度センサは重力加速度を取得できるため、スマートフォン１０の上側が地面に向いているか上方を向いているかを加速度センサの出力値に基づいて第１判定部１１が判定できる。そこで、図８のＴ２２の判定において、さらに、スマートフォン１０の上側が、上方を向いているか否かの判定を加えてもよい。スマートフォン１０の上側が上方を向いている場合、ユーザがディスプレイ２０を見るためにスマートフォン１０を持ち上げている蓋然性が高いと考えられる。そのため、このような判定をＴ２２に追加することで、ユーザの顔を撮影できる可能性を高めることができる。
【００５９】
＜第１変形例＞
第１実施形態では、スマートフォン１０がユーザの手で保持されていると判定され、かつ、ディスプレイ２０がスクリーンＯＮである場合に、インカメラ３０が起動される。第１変形例では、スマートフォン１０がユーザの手で保持されていると判定され、かつ、ディスプレイ２０に画像または文字が表示されている場合に、インカメラ３０が起動される。第１実施形態と共通の構成要素については同一の符号を付し、その説明は省略される。以下、図面を参照して、第１変形例について説明する。
【００６０】
図１１は、第１変形例に係るスマートフォンの処理ブロックの一例を示す図である。スマートフォン１０ａは、第２判定部１２に代えて第２判定部１２ａを備える点で、第１実施形態に係るスマートフォン１０とは異なる。
【００６１】
第２判定部１２ａは、ディスプレイ２０に文字または画像が表示されているか否かを判定する。第２判定部１２ａは、例えば、ＯＳが提供するＡＰＩを用いてディスプレイ２０の状態を取得し、ディスプレイ２０に文字または画像が表示されているか否かを判定することができる。ここで、文字または画像は、ユーザが起動したアプリケーションに表示される文字または画像であり、待ち受け画像（壁紙画像）は除外される。ユーザが起動したアプリケーションに表示される文字または画像は、例えば、ニュース、ブログ、メール、ＳＮＳ等の文字列、ウェブサイト、天気予報、ゲーム、電子書籍等の画像を挙げることができる。
【００６２】
＜処理フロー＞
図１２は、第１変形例に係るスマートフォンの処理フローの一例を示す図である。図１２の「Ａ」は図７の「Ａ」から接続され、図１２の「Ｂ」は図７の「Ｂ」に接続し、図１２の「Ｃ」は図９の「Ｃ」に接続する。図８と同一の処理については同一の符号を付し、その説明を省略する。以下、図１２を参照して、第１変形例に係るスマートフォン１０ａ
の処理フローの一例について説明する。
【００６３】
Ｔ２３ａでは、第２判定部１２ａは、ＯＳが提供するＡＰＩを用いて、スマートフォン１０ａのディスプレイ２０の状態を取得する。Ｔ２３ａの処理によって、第２判定部１２ａは、ディスプレイ２０に文字または画像が表示されているか否かを判定することができる。ディスプレイ２０に文字または画像が表示されている場合（Ｔ２４ａでＹＥＳ）、処理はＴ３１に進められる。ディスプレイ２０に文字および画像のいずれも表示されていない場合（Ｔ２４ａでＮＯ）、処理はＴ１２に進められる。
【００６４】
＜第１変形例の作用効果＞
第１実施形態では、スマートフォン１０がユーザの手で保持され、かつ、ディスプレイ２０がスクリーンＯＮである場合にインカメラ３０が起動される。第１変形例では、スマートフォン１０ａがユーザの手で保持され、かつ、ディスプレイ２０に文字または画像が表示されている場合にインカメラ３０が起動される。ディスプレイ２０に文字または画像が表示されている場合には、当該文字または画像をユーザが閲覧している蓋然性が第１実施形態の場合よりも高いと考えられる。そのため、第１変形例に係るスマートフォン１０ａは、第１実施形態に係るスマートフォン１０よりも、ユーザがインカメラ３０に顔を向けている蓋然性がより高いときにインカメラ３０を起動させることができる。その結果、第１変形例では、スマートフォン１０ａの消費電力をより効果的に抑制することができるとともに、ユーザの顔を撮影できる可能性をさらに高めることができる。
【００６５】
＜第２変形例＞
第１実施形態および第１変形例では、スマートフォンが手で保持された状態、かつ、スクリーンＯＮの状態またはディスプレイ２０に文字または画像が表示された状態であるときに、インカメラ３０による顔の撮影が実行される。第２変形例では、スマートフォンが手で保持された状態、かつ、ディスプレイ２０に情報を表示したタイミングで、インカメラ３０による顔の撮影が実行される。
【００６６】
図１３は、第２変形例に係るスマートフォンの処理ブロックの一例を示す図である。スマートフォン１０ｂは、第２判定部１２に代えて第２判定部１２ｂを備えるとともに、出力部１６をさらに備える点で、第１実施形態に係るスマートフォン１０とは異なる。
【００６７】
出力部１６は、ニュース等の情報をディスプレイ２０に出力する。出力部１６が出力する情報は、例えば、通信部１０５によって収集され、メモリ１０２に蓄積される。出力部１６は、メモリ１０２に蓄積された情報のうち、いずれかの情報をディスプレイ２０に出力する。出力部１６は、情報を出力すると、バイブレータ１０８を振動させたり、スピーカー１０４から通知音を出力させたりして、情報を出力したことをユーザに通知してもよい。なお、出力部１６が出力する情報は、脈波の測定開始を示唆するものではない。
【００６８】
図１４は、第２変形例に係るスマートフォンの処理フローの一例を示す図である。図１４の「Ａ」は図７の「Ａ」から接続され、図１４の「Ｂ」は図７の「Ｂ」に接続し、図１４の「Ｃ」は図９の「Ｃ」に接続する。図８と同一の処理については同一の符号を付し、その説明を省略する。以下、図１４を参照して、第２変形例に係るスマートフォン１０ｂの処理フローの一例について説明する。
【００６９】
Ｔ２３ｂでは、出力部１６は、メモリ１０２に蓄積された情報のうち、いずれかの情報をディスプレイ２０に出力する。出力部１６は、上述の通り、バイブレータ１０８を振動させたり、スピーカー１０４から通知音を出力させたりしてもよい。
【００７０】
＜第２変形例の効果＞
第２変形例では、脈波の測定開始を示唆しない情報を出力することで、ユーザの顔をディスプレイ２０に向けることができる。そのため、第２変形例によっても、ユーザの顔を撮影できる可能性を高めることができる。
【００７１】
上記実施形態および変形例では、スマートフォンを用いた実施の形態について説明したが、開示の技術の適用対象となる装置がスマートフォンに限定されるわけではない。開示の技術は、例えば、ノート型パーソナルコンピュータ、ウェアラブルコンピュータ、タブレットコンピュータ等の様々な情報処理装置に対して適用できる。
【００７２】
以上で開示した実施形態や変形例はそれぞれ組み合わせる事ができる。
【００７３】
<<コンピュータが読み取り可能な記録媒体>>
コンピュータその他の機械、装置（以下、コンピュータ等）に上記いずれかの機能を実現させる情報処理プログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。
【００７４】
ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、Compact Disc Read Only Memory（ＣＤ−ＲＯＭ）、Compact Disc - Recordable（ＣＤ−Ｒ）、Compact Disc - ReWriterable（ＣＤ−ＲＷ）、Digital Versatile Disc（ＤＶＤ）、ブ
ルーレイディスク（ＢＤ）、Digital Audio Tape（ＤＡＴ）、８ｍｍテープ、フラッシュメモリなどのメモリカード等がある。また、コンピュータ等に固定された記録媒体としてハードディスクやＲＯＭ等がある。
【符号の説明】
【００７５】
１０、１０ａ、１０ｂ・・・スマートフォン
２０・・・ディスプレイ
３０・・・インカメラ
４０・・・アウトカメラ
１０１・・・ＣＰＵ
１０２・・・メモリ
１０３・・・外部メモリ
１０４・・・スピーカー
１０５・・・通信部
１０６・・・ＧＰＳ
１０７・・・センサ
Ｂ１・・・接続バス
Ｐ・・・プログラム
【図１】
2020058626.tif 000005
【図２】
2020058626.tif 000006
【図３】
2020058626.tif 000007
【図４】
2020058626.tif 000008
【図５】
2020058626.tif 000009
【図６】
2020058626.tif 000010
【図７】
2020058626.tif 000011
【図８】
2020058626.tif 000012
【図９】
2020058626.tif 000013
【図１０】
2020058626.tif 000014
【図１１】
2020058626.tif 000015
【図１２】
2020058626.tif 000016
【図１３】
2020058626.tif 000017
【図１４】
2020058626.tif 000018