(57)【要約】【課題】例えば、不要な電力が消費されることを防止する。【解決手段】少なくとも、第１のモードと、第１のモードより消費電力が大きい処理が行われる第２のモードとを選択的に設定する制御部を有し、制御部は、第１のモードでは、センサ部を介して得られる画像に生体情報が含まれるか否かを判断し、画像に生体情報が含まれることをトリガーとして、動作モードを第１のモードから第２のモードに遷移させ、第２のモードでは、少なくとも生体情報を使用したマッチング処理を行う情報処理装置である。【選択図】図１６
2019219833.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも、第１のモードと、前記第１のモードより消費電力が大きい処理が行われる第２のモードとを選択的に設定する制御部を有し、
前記制御部は、
前記第１のモードでは、センサ部を介して得られる画像に生体情報が含まれるか否かを判断し、
前記画像に生体情報が含まれることをトリガーとして、動作モードを前記第１のモードから前記第２のモードに遷移させ、
前記第２のモードでは、少なくとも前記生体情報を使用したマッチング処理を行う
情報処理装置。
【請求項２】
前記第２のモードでは、前記第１のモードの設定とは異なる設定に基づいて、前記センサ部により画像が取得される
請求項１に記載の情報処理装置。
【請求項３】
前記制御部は、前記第１のモードでは、前記センサ部により撮影が行われるタイミングで発光する発光部を第１の輝度で発光させ、前記第２のモードでは、前記第１の輝度より大きい第２の輝度で前記発光部を発光させる
請求項２に記載の情報処理装置。
【請求項４】
前記制御部は、前記第１のモードでは、第１の解像度の前記画像を取得するように前記センサ部を制御し、前記第２のモードでは、前記第１の解像度より大きい第２の解像度の前記画像を取得するように前記センサ部を制御する
請求項２に記載の情報処理装置。
【請求項５】
前記制御部は、前記第１のモードでは、前記センサ部の一部を使用して前記画像を取得する制御を行い、前記第２のモードでは、前記センサ部の全体を使用して前記画像を取得する制御を行う
請求項２に記載の情報処理装置。
【請求項６】
前記第１の動作モードの消費電力より消費電力が小さい第３のモードから前記第１のモードに動作モードが遷移可能とされており、
前記制御部は、
前記情報処理装置の動きが検出された場合及び所定の操作が検出された場合の少なくとも一方をトリガーとして、前記第３のモードから前記第１のモードに動作モードを遷移させる
請求項３に記載の情報処理装置。
【請求項７】
前記第３のモードでは、前記制御部は、前記発光部及び前記センサ部をオフする
請求項６に記載の情報処理装置。
【請求項８】
前記所定の操作を検出するタッチセンサ部が前記センサ部の近傍に設けられている
請求項６に記載の情報処理装置。
【請求項９】
前記発光部を有する
請求項３に記載の情報処理装置。
【請求項１０】
前記トリガーの内容が、前記第１のモードから前記第２のモードに遷移しづらくなるように変更される
請求項１に記載の情報処理装置。
【請求項１１】
前記制御部は、前記センサ部を介して得られる生体情報を含む画像から、特徴点を検出する特徴点検出部と、前記特徴点を含む周辺画像に基づいて、前記特徴点を特徴付ける特徴量を抽出する特徴量抽出部とを有する
請求項１に記載の情報処理装置。
【請求項１２】
前記生体情報は、指紋及び血管の少なくとも一方である
請求項１に記載の情報処理装置。
【請求項１３】
前記第１のモードに係る処理が前記制御部とは異なる他の制御部によって行われる
請求項１に記載の情報処理装置。
【請求項１４】
少なくとも、第１のモードと、前記第１のモードより消費電力が大きい処理が行われる第２のモードとを選択的に設定する制御部と、
画像を取得するセンサ部と
を有し、
前記制御部は、
前記第１のモードでは、前記センサ部を介して得られる画像に生体情報が含まれるか否かを判断し、
前記画像に生体情報が含まれることをトリガーとして、動作モードを前記第１のモードから前記第２のモードに遷移させ、
前記第２のモードでは、少なくとも前記生体情報を使用したマッチング処理を行う
ウエアラブル機器。
【請求項１５】
制御部が、少なくとも、第１のモードと、前記第１のモードより消費電力が大きい処理が行われる第２のモードとを選択的に設定し、
前記制御部は、
前記第１のモードでは、センサ部を介して得られる画像に生体情報が含まれるか否かを判断し、
前記画像に生体情報が含まれることをトリガーとして、動作モードを前記第１のモードから前記第２のモードに遷移させ、
前記第２のモードでは、少なくとも前記生体情報を使用したマッチング処理を行う
情報処理方法。
【請求項１６】
制御部が、少なくとも、第１のモードと、前記第１のモードより消費電力が大きい処理が行われる第２のモードとを選択的に設定し、
前記制御部は、
前記第１のモードでは、センサ部を介して得られる画像に生体情報が含まれるか否かを判断し、
前記画像に生体情報が含まれることをトリガーとして、動作モードを前記第１のモードから前記第２のモードに遷移させ、
前記第２のモードでは、少なくとも前記生体情報を使用したマッチング処理を行う
情報処理方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、ウエアラブル機器、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、異なるモードによってセンシングを行う装置が知られている（例えば、下記特許文献１及び２を参照のこと。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１５−５２０４５６
【特許文献２】特許第５７１２７４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような分野では、モードを適切に遷移させることで、センシングで消費される電力を適切にコントロールし、不要な電力消費を抑制することが望まれている。
【０００５】
本開示は、不要な電力消費を抑制することができる情報処理装置、ウエアラブル機器、情報処理方法及びプログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【０００６】
本開示は、例えば、
少なくとも、第１のモードと、第１のモードより消費電力が大きい処理が行われる第２のモードとを選択的に設定する制御部を有し、
制御部は、
第１のモードでは、センサ部を介して得られる画像に生体情報が含まれるか否かを判断し、
画像に生体情報が含まれることをトリガーとして、動作モードを第１のモードから第２のモードに遷移させ、
第２のモードでは、少なくとも生体情報を使用したマッチング処理を行う
情報処理装置である。
【０００７】
本開示は、例えば、
少なくとも、第１のモードと、第１のモードより消費電力が大きい処理が行われる第２のモードとを選択的に設定する制御部と、
画像を取得するセンサ部と
を有し、
制御部は、
第１のモードでは、センサ部を介して得られる画像に生体情報が含まれるか否かを判断し、
画像に生体情報が含まれることをトリガーとして、動作モードを第１のモードから第２のモードに遷移させ、
第２のモードでは、少なくとも生体情報を使用したマッチング処理を行う
ウエアラブル機器である。
【０００８】
本開示は、例えば、
制御部が、少なくとも、第１のモードと、第１のモードより消費電力が大きい処理が行われる第２のモードとを選択的に設定し、
制御部は、
第１のモードでは、センサ部を介して得られる画像に生体情報が含まれるか否かを判断し、
画像に生体情報が含まれることをトリガーとして、動作モードを第１のモードから第２のモードに遷移させ、
第２のモードでは、少なくとも生体情報を使用したマッチング処理を行う
情報処理方法である。
【０００９】
本開示は、例えば、
制御部が、少なくとも、第１のモードと、第１のモードより消費電力が大きい処理が行われる第２のモードとを選択的に設定し、
制御部は、
第１のモードでは、センサ部を介して得られる画像に生体情報が含まれるか否かを判断し、
画像に生体情報が含まれることをトリガーとして、動作モードを第１のモードから第２のモードに遷移させ、
第２のモードでは、少なくとも生体情報を使用したマッチング処理を行う
情報処理方法をコンピュータに実行させるプログラムである。
【発明の効果】
【００１０】
本開示の少なくとも一つの実施の形態によれば、不要な電力消費を抑制することができる。ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれの効果であっても良い。また、例示された効果により本開示の内容が限定して解釈されるものではない。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施の形態に係るリストバンド型電子機器の外観例を示す図である。
【図２】図２は、実施の形態に係るリストバンド型電子機器の内部構造例を示す図である。
【図３】図３は、リストバンド型電子機器の内部構造のより具体的な例を示す図である。
【図４】図４は、実施の形態に係るリストバンド型電子機器の回路構成例を示すブロック図である。
【図５】図５は、実施の形態に係る制御部の機能例を説明するための機能ブロック図である。
【図６】図６は、指紋の特徴点を説明するための図である。
【図７】図７は、実施の形態に係る前処理部の機能例を説明するための機能ブロック図である。
【図８】図８Ａ〜図８Ｄは、実施の形態に係るノイズ除去部による処理を説明するための図である。
【図９】図９Ａ及び図９Ｂは、指紋の流れの方向及び主要周波数を検出する処理の一例を説明する際に参照される図である。
【図１０】図１０は、撮影範囲の外側まで指紋線を推定する処理を説明するための図である。
【図１１】図１１は、確信度マップの一例を示す図である。
【図１２】図１２は、確信度の一例を説明するための図である。
【図１３】図１３Ａ及び図１３Ｂは、確信度マップ付きの隆線推定画像を生成する処理を説明するための図である。
【図１４】図１４Ａ及び図１４Ｂは、実施の形態に係る登録処理を説明するための図である。
【図１５】図１５Ａ及び図１５Ｂは、実施の形態に係るマッチング処理を説明するための図である。
【図１６】図１６は、動作モードの遷移の一例を説明するための状態遷移図である。
【図１７】図１７Ａ及び図１７Ｂは、トリガーＰの一例を説明するための図である。
【図１８】図１８は、トリガーＰの他の例を説明するための図である。
【図１９】図１９Ａ及び図１９Ｂは、リストバンド型電子機器で規定される軸方向の一例を説明するための図である。
【図２０】図２０Ａ〜図２０Ｃは、トリガーＰの他の例を説明するための図である。
【図２１】図２１Ａ及び図２１Ｂは、トリガーＰの他の例を説明する際に参照される図である。
【図２２】図２２Ａ〜図２２Ｄは、トリガーＱの一例を説明するための図である。
【図２３】図２３は、トリガーＱの一例を説明するための図である。
【図２４】図２４Ａ〜図２４Ｄは、トリガーＱの他の例を説明する際に参照される図である。
【図２５】図２５は、第２の実施の形態に係る処理の流れを示すフローチャートである。
【図２６】図２６は、第２の実施の形態に係る処理の流れを示すフローチャートである。
【図２７】図２７は、変形例を説明するための図である。
【発明を実施するための形態】
【００１２】
以下、本開示の実施の形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜第１の実施の形態＞
＜第２の実施の形態＞
＜変形例＞
以下に説明する実施の形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施の形態等に限定されるものではない。
【００１３】
＜第１の実施の形態＞
［リストバンド型電子機器について］
（リストバンド型電子機器の外観例）
第１の実施の形態について説明する。第１の実施の形態は、本開示を情報処理装置の一例、より具体的にはウエアラブル機器の一例であるリストバンド型電子機器に適用した例である。図１は、第１の実施の形態に係るリストバンド型電子機器（リストバンド型電子機器１）の外観例を示している。
【００１４】
図１に示すように、リストバンド型電子機器１は、例えば、時計のように用いられる。より詳細には、リストバンド型電子機器１は、ユーザの手首ＷＲに巻き付けられるバンド部２と、本体部３とを有している。本体部３は、ディスプレイ４を有している。詳細は後述するが、実施の形態に係るリストバンド型電子機器１では、ディスプレイ４に指先を接触させることにより、指先の指紋情報を用いた生体認証を行うことが可能とされている。
【００１５】
（リストバンド型電子機器の内部の構造例）
図２は、リストバンド型電子機器１の本体部３内部の構造例を説明するための部分断面図である。リストバンド型電子機器１の本体部３は、例えば、上述したディスプレイ４、導光板５、発光部６、タッチセンサ部７、センサ部の一例である撮像素子８及びレンズ部９を有している。
【００１６】
概略的には、図２に示すように、指先Ｆによる接触操作がディスプレイ４に対してなされ、接触の有無がタッチセンサ部７により検出される。リストバンド型電子機器１の本体部３は、操作方向から見て手前側から奥側に向かって、導光板５、ディスプレイ４、レンズ部９及び撮像素子８が順次、積層された構造を有している。なお、ディスプレイ４に対する接触は、ディスプレイ４に対する直接的な接触だけでなく、他の部材（例えば、導光板５）を介した間接的な接触を含んでいても良い。また、ディスプレイ４に対する接触には、例えば指先Ｆがディスプレイ４に触れることだけでなく、指紋画像が得られる程度に指先Ｆをディスプレイ４に近接させることを含んでいても良い。
【００１７】
以下、各構成について説明する。ディスプレイ４は、液晶ＬＣＤ(Liquid Crystal Display)、ＯＬＥＤ（Organic Light Emitting Diode）等から構成されている。導光板５は、例えば、発光部６からの光を指先Ｆが接触される位置である領域ＡＲに導光する光透過性部材である。導光板５は、透明のものに限らず、撮像素子８による指先Ｆの指紋の撮影が可能な程度、光を透過するものであれば良い。
【００１８】
発光部６は、ＬＥＤ(Light Emitting Diode)等から構成されており、導光板５の周囲の少なくとも一部に設けられている。なお、領域ＡＲは、撮像素子８に対応する位置、具体的には、少なくとも撮像素子８による撮影の範囲に対応する位置を含む領域である。発光部６は、例えば、指紋を撮影する際に点灯することで、撮影に必要とされる光を提供する。
【００１９】
タッチセンサ部７は、ディスプレイ４に対する指先Ｆの接触を検出するセンサである。タッチセンサ部７としては、例えば、静電容量方式のタッチセンサが適用される。タッチセンサ部７として抵抗膜方式等、他の方式のタッチセンサが適用されても良い。なお、図２では、領域ＡＲの下部付近の位置にタッチセンサ部７が局所的に設けられているが、ディスプレイ４の下側の略全面にわたってタッチセンサ部７が設けられていても良い。
【００２０】
撮像素子８は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等により構成されている。撮像素子８は、レンズ部９を介して入射する被写体光（ディスプレイ４に接触したものからの反射光）を光電変換して電荷量に変換する。撮像素子８を介して得られる画像信号に対して後段における種々の処理が行われる。レンズ部９は、撮像素子８の数十〜数百画素に１つの間隔で設けられるレンズ（マイクロレンズ）により構成されるものである。
【００２１】
図３は、リストバンド型電子機器１の内部構造のより具体的な例を示す図である。以下に説明する例は、ディスプレイ４が、透明有機ＥＬ素子や量子ドット発光素子等の透明発光素子を複数個有する透明パネル部として説明する。
【００２２】
図３に示すように、ディスプレイ４は、有効領域４Ａと、外枠部４Ｂとを有している。
ディスプレイ４は、複数の透明発光素子の発光によって、有効領域４Ａに画像を表示する表示パネルとしての機能を有している。なお、透明発光素子は、例えば、有効領域４Ａ内にマトリクス状に配置されている。また、ディスプレイ４は、例えば発光素子用の複数の配線間の静電容量の値に基づいて指等の物体によるタッチ状態を検出するタッチセンサとしての機能を有している。図３に示すように、ディスプレイ４の上面（操作側）にはカバーガラス５０が設けられ、ディスプレイ４の一部の領域の下に、撮像素子８を含む撮像部６０が配置されている。
【００２３】
撮像部６０は、ディスプレイ４の一部の領域の下に配置されている。撮像部６０は、ディスプレイ４における一部の領域に接触または近接した物体をディスプレイ４を介して撮像する機能を有している。撮像部６０によって撮像する物体は、例えば生体の一部であってもよい。撮像部６０は、生体の一部を撮像することによって得られた生体の一部の撮像画像に基づいて、生体の一部の生体認証を行う生体認証デバイスの機能を有していてもよい。撮像部６０における生体認証デバイスとしての機能によって、例えば指紋センサを構成することができる。
【００２４】
撮像部６０は、図３に示すように、マイクロレンズアレイモジュール６１と、撮像部外枠６２と、上述した撮像素子８と、基板６３とを有している。マイクロレンズアレイモジュール６１は、上側から見てディスプレイ４の有効領域４Ａ内に配置されている。撮像素子８は、基板６３上に配置されている。
【００２５】
マイクロレンズアレイモジュール６１は、撮像素子８とディスプレイ４の有効領域４Ａとの間に配置されている。マイクロレンズアレイモジュール６１は、上側から順に、カバーガラス兼導光板６５と、マイクロレンズアレイ６６と、導光板６７とを有している。
【００２６】
マイクロレンズアレイ６６は、マトリクス状に配置された複数のマイクロレンズを有している。マイクロレンズアレイ６６は、複数のマイクロレンズのそれぞれによって指等の物体からの物体光を撮像素子８に向けて集光する。
【００２７】
カバーガラス兼導光板６５は、マイクロレンズアレイ６６の表面を保護する役割を持つ。また、カバーガラス兼導光板６５は、ディスプレイ４の有効領域４Ａを透過した物体光を、複数のマイクロレンズのそれぞれに導く役割を持つ。カバーガラス兼導光板６５は、複数のマイクロレンズのそれぞれに対応する位置に設けられた複数の導光路を有している。
【００２８】
導光板６７は、図３に示すように、複数の導光路６８を有している。複数の導光路６８は、複数のマイクロレンズのそれぞれに対応する位置に設けられ、複数のマイクロレンズのそれぞれによって集光された光を撮像素子８に導くようになっている。
【００２９】
（リストバンド型電子機器の回路構成例）
図４は、リストバンド型電子機器１の回路構成例等を示すブロック図である。リストバンド型電子機器１は、上述したディスプレイ４、タッチセンサ部７及び撮像素子８等の他に、例えば、制御部１１、無線通信部１２、無線通信部１２に接続されるアンテナ１３、ＮＦＣ（Near Field Communication）通信部１４、ＮＦＣ通信部１４に接続されるアンテナ１５、位置センサ部１６、位置センサ部１６に接続されるアンテナ１７、メモリ部１８、バイブレータ１９、モーションセンサ２０、音声処理部２１、マイクロホン２２及びスピーカ２３を有している。
【００３０】
制御部１１は、例えばＣＰＵ（Central Processing Unit）から構成されており、リストバンド型電子機器１の各部を制御する。例えば、制御部１１は、撮像素子８により撮影される指先Ｆの指紋画像に種々の画像処理を施すと共に、生体情報の一つである指紋の画像（指紋画像）に基づく指紋認証を行う。
【００３１】
無線通信部１２は、例えばBluetooth（登録商標）の規格に基づいて他の端末と近距離無線通信を行う。無線通信部１２は、例えばBluetooth（登録商標）の規格に対応して、変調／復調処理やエラー訂正処理等を行う。
【００３２】
ＮＦＣ通信部１４は、ＮＦＣの規格に基づいて、近接したリーダー／ライタと無線通信を行う。なお、図示は省略しているが、リストバンド型電子機器１の各部に対しては、リチウムイオン二次電池等のバッテリから電力が供給される。当該バッテリが、ＮＦＣの規格に基づいてワイヤレス充電されるようにしても良い。
【００３３】
位置センサ部１６は、例えば、ＧＮＳＳ(Global Navigation Satellite System)と称されるシステムを利用して、現在位置の測位を行う測位部である。これらの無線通信部１２、ＮＦＣ通信部１４、位置センサ部１６で得られたデータは、制御部１１に供給される。そして、制御部１１は、供給されたデータに基づく制御を実行する。
【００３４】
メモリ部１８は、制御部１１が実行するプログラムが格納されるＲＯＭ(Read Only Memory)や制御部１１がプログラムを実行する際のワークメモリとして使用されるＲＡＭ（Random Access Memory）やデータ記憶用の不揮発性メモリ等を総称したものである。なお、メモリ部１８には、指紋認証用に用いられる正規ユーザの指紋の特徴量（以下、登録済特徴量と適宜、称する）が記憶される。この登録済特徴量は、例えば、リストバンド型電子機器１を初めて使用する際に初期登録される。
【００３５】
バイブレータ１９は、例えば、リストバンド型電子機器１の本体部３を振動させる部材である。バイブレータ１９による本体部３の振動で、電話の着信や電子メールの受信等が通知される。
【００３６】
モーションセンサ２０は、リストバンド型電子機器１を装着したユーザの動きを検出する。モーションセンサ２０としては、加速度センサ、ジャイロセンサ、電子コンパス、気圧センサ、血圧や脈拍等を検出するバイオセンサなどが使用される。また、リストバンド型電子機器１をユーザが装着したか否かを検出するための圧力センサ等がバンド部２や本体部３の裏側（手首に向く側）に設けられていても良い。
【００３７】
音声処理部２１には、マイクロホン２２とスピーカ２３とが接続され、音声処理部２１が、無線通信部１２での無線通信で接続された相手と通話の処理を行う。また、音声処理部２１は、音声入力操作のための処理を行うこともできる。
【００３８】
ディスプレイ４、タッチセンサ部７等については既に説明してあるので、重複した説明を省略する。
【００３９】
以上、リストバンド型電子機器１の構成例について説明した。勿論、リストバンド型電子機器１は、上述した構成例に限定されるものではなく、上述したリストバンド型電子機器１の構成の一部が無い構成でも良いし、他の構成が追加された構成でも良い。
【００４０】
［制御部について］
図５は、制御部１１が有する機能の一例を説明するための機能ブロック図である。制御部１１は、前処理部１１ａ、特徴点検出部１１ｂ、特徴量抽出部１１ｃ及びマッチング処理部１１ｄを有している。
【００４１】
前処理部１１ａは、入力される指紋画像に対して種々の補正処理を行う。前処理部１１ａにより行われる処理の詳細については、後述する。
【００４２】
特徴点検出部１１ｂは、公知の方法を適用することにより指紋を含む画像から指紋の特徴点を検出する。指紋の特徴点とは、例えば、図６に示すような、指紋の指紋線に描かれる模様の中の終点や分岐点、後述する指紋線の交差点や孤立点であり、指紋を照合する際に必要な特徴的な箇所である。なお、指紋線とは、本実施の形態では、指紋の隆線として説明するが、指紋の隆線及び谷線の少なくとも一方であれば良い。
【００４３】
特徴量抽出部１１ｃは、特徴点検出部１１ｂにより検出された個々の特徴点を特徴付ける特徴量を抽出する。特徴量としては、特徴点の位置、特徴線の向き（例えば、隆線で規定される所定方向に対する相対的な向き（ベクトル）等である。本実施の形態では、特徴量抽出部１１ｃは、特徴点を含む周辺画像に基づいて、当該特徴点の特徴量を抽出する。周辺画像は、例えば、特徴点を中心として、３ｍｍ×３ｍｍの大きさで切り出し、角度で正規化された画像が適用されるが、これに限定されるものではない。ただし、角度で正規化した上で特徴量を抽出することの効果として、登録時と照合時で撮影された指の向きが異なっていても、特徴点の角度を正規化することにより、抽出される特徴量が変化しにくくなる効果、つまり指を置く角度に対するロバスト性が向上する効果、が得られることに注意されたい。係る周辺画像を使用することにより、特徴点の周辺の情報を特徴量に含むことが可能となる。例えば、特徴点の周辺に汗腺が存在する場合には、当該特徴点に対する汗腺の相対的な位置を、当該特徴点の特徴量とすることができる。このように、本実施の形態では、特徴点の位置、特徴点の向き及び汗腺の位置の少なくとも一つを特徴量として使用する。特に１０００ｐｐｉ以上の高解像度画像を利用した際には、少ない特徴点（例えば１点ないし２点）数でも十分に個人を識別することが可能になるため、本開示に係る実施の形態は指の広い範囲の指紋撮影が必ずしも必要とされない、小面積での指紋照合に適した手法とも言える。
【００４４】
マッチング処理部１１ｄは、特徴量抽出部１１ｃにより抽出された特徴量と、予め登録されている登録済特徴量とを照合するマッチング処理を行い、マッチング処理の結果である照合スコアを出力する。照合スコアが閾値以上であれば、指紋認証が成立、即ち、正規ユーザと判定される。反対に、照合スコアが閾値より小さい場合には、指紋認証が不成立となる。マッチング処理の結果が、表示、音、振動等によりユーザに報知されても良い。マッチング処理の結果、認証が成立した場合には、リストバンド型電子機器１の所定の機能の利用が許可される等、アプリケーションに応じた利用が可能となる。なお、本実施の形態では、登録済特徴量はメモリ部１８に記憶されているものとして説明するが、クラウド上のサーバ装置等、外部装置に記憶されていても良く、指紋認証を行う際に外部装置から登録済特徴量がダウンロードされても良い。係る構成の場合、セキュリティを向上させる観点から、マッチング処理が終了した後に、登録済特徴量がリストバンド型電子機器１から自動的に消去されるようにしても良い。
【００４５】
［前処理部について］
次に、前処理部１１ａについて説明する。図７は、前処理部１１ａの機能の一例を説明するための機能ブロック図である。前処理部１１ａは、補正処理に含まれる機能を実行する構成として、例えば、ノイズ除去部１０１、画像生成部としての隆線推定画像生成部１０２及び確信度マップ生成部１０３を有している。
【００４６】
（ノイズ除去部について）
ノイズ除去部１０１は、指紋画像に含まれるノイズを除去する。図８Ａ〜図８Ｄは、ノイズ除去部１０１により行われるノイズ除去処理を説明するための図である。図８Ａの右側の画像は指紋画像ＩＭ１Ａを示しており、指紋画像ＩＭ１Ａには、ゴミＮＡが写り込んでいる。ノイズ除去部１０１は、例えば、隣接画素間の輝度値の変化が所定以上である領域をゴミと判別し、ゴミＮＡの周辺画素を用いた補間処理等を行うことによりゴミＮＡを除去する。指紋画像ＩＭ１ＡからゴミＮＡが除去された画像を用いて、図８Ａの右側に示すような隆線推定画像ＩＭ２Ａが隆線推定画像生成部１０２により生成される。なお、ゴミ等のノイズを除去する処理としては、他の公知の処理を適用することができる。以下に説明するゴミ以外のノイズを除去する処理でも同様である。
【００４７】
また、ノイズ除去部１０１は、例えば、ゴミ以外のノイズである固定パターンノイズを除去する。図８Ｂの左側の画像は指紋画像ＩＭ１Ｂを示しており、指紋画像ＩＭ１Ｂには、例えば、縦線の縞模様の固定パターンノイズＮＢが写り込んでいる。係る固定パターンノイズＮＢとしては、例えば、ディスプレイ４の構造、より具体的には、ディスプレイ４自体が有する模様を挙げることができる。
【００４８】
本実施の形態に係るリストバンド型電子機器１の構造の場合、操作方向を基準として、ディスプレイ４の奥側に撮像素子８が配置されている。このため、撮像素子８介して得られる画像にディスプレイ４が有する模様が固定パターンノイズＮＢとして、指紋画像に写り込む虞がある。しかしながら、ノイズ除去部１０１は、このような固定パターンノイズＮＢを除去し、ノイズＮＢの箇所を補間するようにしているので、本実施の形態に係るリストバンド型電子機器１の構造の場合であっても、指紋認証の精度が低下してしまうことを防止することができる。指紋画像ＩＭ１Ｂから固定パターンノイズＮＢが除去された画像を用いて、図８Ｂの右側に示すような隆線推定画像ＩＭ２Ｂが隆線推定画像生成部１０２により生成される。
【００４９】
また、ノイズ除去部１０１は、ゴミ以外のノイズである撮像素子の境界を除去する。例えば、撮像素子８が、複数のサブセンサ部として４個の撮像素子を有し、当該４個の撮像素子を組み合わせた構成を有する場合を想定する。仕様上、あるサイズの撮像素子８が要求される場合に、既存サイズの撮像素子を組み合わせることで要求されるサイズの撮像素子８を形成することができるのであれば、新たなサイズの撮像素子８を別途、製造するより、製造コスト等の面で有利である。
【００５０】
しかしながら、複数の撮像素子を組み合わせた構造を撮像素子８が有する場合、図８Ｃの左側に示すように、複数の撮像素子間の境界が指紋画像ＩＭ１ＣにノイズＮＣとして写り込む。ノイズ除去部１０１は、このようなノイズＮＣを除去し、ノイズＮＣの箇所を補間するようにしているので、本実施の形態に係るリストバンド型電子機器１の構造の場合であっても、指紋認証の精度が低下してしまうことを防止することができる。指紋画像ＩＭ１ＣからノイズＮＣが除去された画像を用いて、図８Ｃの右側に示すような隆線推定画像ＩＭ２Ｃが隆線推定画像生成部１０２により生成される。
【００５１】
また、ノイズ除去部１０１は、撮像素子８を介して得られる画像に、指紋とは全く異なるものがノイズとして写り込んでいる場合は、それを除去する。例えば、図８Ｄの左側に示すように、指紋と異なるもの（図示の例では、迷路状の模様を有するもの）がノイズＮＤとして画像ＩＭ１Ｄに写り込んでいる。ノイズ除去部１０１は、例えば、隆線に対応する曲線模様を全く含まないものについては指紋以外のものであると判別し、その模様を除去する。図８Ｄの右側には除去後の画像ＩＭ２Ｄが示されている。係る処理は、例えば、指紋認証を行う際に、ユーザの服等がディスプレイ４に触れたとき等に有用である。なお、画像ＩＭ２Ｄには指紋は写っていないため、画像ＩＭ２Ｄの場合は、指紋認証に係る処理が行われないようにしても良い。
【００５２】
以上のように、ノイズ除去部１０１による補正処理が行われることにより、ノイズの影響によって指紋認証の精度が低下してしまうことを防止することができる。また、指紋認証の精度が低下してしまうことにより発生する認証の失敗によるフィードバックがユーザに対して行われてしまうことを防止することができる。
【００５３】
（隆線推定画像生成部について）
次に、隆線推定画像生成部１０２について説明する。隆線推定画像生成部１０２は、ノイズ除去部１０１による処理が施された画像に基づいて、指紋線に基づく模様を推定した隆線推定画像を生成する。隆線推定画像の生成方法としては、公知の方法を適用することができる。本実施の形態に係る隆線推定画像の生成方法の例について説明する。
【００５４】
例１として、隆線推定画像生成部１０２は、ノイズ除去部１０１による処理が施された画像にＦＦＴ(Fast Fourier Transform)を利用し、指紋の指紋線の平均的な周期（例えば、０．４ｍｍ周期）の周波数前後のバンドパスフィルタを適用することにより、隆線推定画像を生成する。
【００５５】
他の例である例２として、隆線推定画像生成部１０２は、周辺１ｍｍ角分の領域毎にＦＦＴを利用してその領域で支配的な周波数（以下、主要周波数と適宜、称する）と波の角度（指紋の流れ方向）とを抽出し、その周波数と角度に合わせたＧａｂｏｒフィルタを適用するにより隆線推定画像を生成する。上述した２つの例によれば、主な隆線／谷線が強調され、小さなノイズの影響を小さくすることができる。
【００５６】
例２において、指紋の流れ方向と主要周波数とを検出する方法の例について、図９を参照して説明する。図９Ａにおける左側に示す画像ＩＭ８は、ある指紋画像ＩＭ８を示している。また、図９Ａにおける右側には、画像ＩＭ８に対してＦＦＴを適用することにより得られる周波数スペクトルが示されている。当該周波数スペクトルに重畳されている放射状のラインのうち一のラインは、後述する積分値が最も大きい成分を示している。また、図９Ｂは、積分値が最も大きくなる成分の方向（主方向）の周波数プロファイルを示している。
【００５７】
第１のステップとして、周波数スペクトルの１６方向についてプロファイルを抽出し、その積分値最もが大きい方向を決定する。これが主な波の方向成分になる。続く、第２のステップとして、主方向の周波数プロファイルからピーク値を検出し、そのピーク値に対応する周波数を主要周波数とする。このようにして、指紋の流れ方向と主要周波数を検出することができる。
【００５８】
なお、本実施の形態に係る隆線推定画像生成部１０２は、撮影された領域の外側まで所定範囲、拡張して、指紋の模様を推定するようにしている。例えば、図１０Ａに示す指紋画像ＩＭ９Ａに基づいて、図１０Ｂに示すように、指紋画像ＩＭ９Ａより所定サイズ大きい範囲まで拡大した隆線推定画像ＩＭ９Ｂを生成する。例えば、元のサイズ（指紋画像ＩＭ９Ａのサイズ）により得られた指紋線を、当該指紋線の流れ（向き）に沿って延長する。係る処理により、所定の指紋線と当該指紋線とは別の指紋線が合わさる位置、換言すれば、上述した指紋の特徴点の一つである指紋線の分岐点や交差点を得ることができる場合がある。以上の処理により、例えば、撮像素子８のサイズが小さく、当該撮像素子８により得られる画像の領域に限界がある場合でも、より多くの特徴点を得ることが可能となり、指紋認証の精度を向上させることができる。
【００５９】
（確信度マップ生成部について）
次に、確信度マップ生成部１０３について説明する。確信度マップ生成部１０３は、指紋に対応するする模様を推定した画像である隆線推定画像の領域のうち、推定の結果の確からしさを示す確信度マップを生成する。
【００６０】
図１１は、確信度マップの一例である確信度マップＭＡ１０を示している。図１１に示す確信度マップＭＡ１０では、画像の領域が白及び黒の領域にそれぞれ分割されている。本例では、白の領域が、確信度が高い領域、即ち、指紋線の模様が正確に得られているとされる領域である。一方、黒の領域が、確信度が低い領域ある。確信度に対する所定の閾値が設定され、確信度が閾値以上であれば確信度が高い領域として設定され、確信度が閾値より小さければ確信度が低い領域として設定される。
【００６１】
ここで、確信度に関する一例について説明する。例えば、画像から所定サイズの画像（例えば、１ｍｍ×１ｍｍの矩形画像）を切り出す。そして、切り出した画像について、各画素が有する輝度値の分布を示す輝度分布を作成する。
【００６２】
図１２は、輝度分布の一例を示している。輝度の頻度分布Pi（i=0,…,255）を下から積分した積分値が１０％に達する輝度値、すなわち
Σ0BV1Pi=0.1
となる輝度値、つまり１０パーセンタイルの輝度値をＢＶ１とし、輝度の頻度分布Piを上から積分した積分値が１０％に達する輝度値、すなわち
ΣBV2255Pi=0.1
となる輝度値、つまり９０パーセンタイルの輝度値をＢＶ２とする。輝度値ＢＶ１と輝度値ＢＶ２との差分値Ｄが、確信度として設定される。なお、切り出した画像の輝度値の分散が確信度とされても良い。
【００６３】
なお、上述した隆線推定画像生成部１０２の機能と確信度マップ生成部１０３の機能とを一つの機能ブロックとして構成し、当該機能ブロックが確信度付き隆線推定画像を生成するようにしても良い。
【００６４】
図１３を参照して、確信度付き隆線推定画像の生成方法の一例について説明する。図１３Ａに示すように、入力指紋画像ｘに対して、関数ｈ及び関数ｆ'による演算を行うことにより隆線推定画像ｆ（ｘ）を得る（但し、ｆ（ｘ）＝ｆ'（ｈ（ｘ）））。
【００６５】
また、入力指紋画像ｘに対して、関数ｈ及び関数ｇ'による演算を行うことにより確信度マップであるＣｅｒｔａｉｎｔｙ画像ｇ（ｘ）を得る（但し、ｇ（ｘ）＝ｇ'（ｈ（ｘ）））。Ｃｅｒｔａｉｎｔｙ画像ｇ（ｘ）において、白の領域が誤差α以下で認識できる見込みの領域であり、黒の領域が誤差α以下に抑えられない領域である。
【００６６】
ここで、入力指紋画像ｘに対して正確な隆線画像を、正解隆線画像ｙとする。正解隆線画像ｙと隆線推定画像ｆ（ｘ）との推定誤差を推定誤差ｄｙとする。
【００６７】
処理の目的の一つは、ｘからｙに近い画像ｆ（ｘ）を推定することである。また、他の目的は、正しく推定できる見込みの領域を認識する、換言すれば、推定誤差をα以下にできる見込みの領域であるか否かを判別することである。
【００６８】
ここで、制御部１１は、図１３Ｂに示すロス関数を最小化する関数ｆ、ｇを同時に学習する（但し、０≦ｇ（ｘ）≦１）。図１３Ｂに示すロス関数における括弧で摘示した箇所が推定誤差ｄｙiとなる。
【００６９】
ここでは「ｇi（ｘ）・ｄｙi＋（１−ｇi（ｘ））・α」を最小化するため、谷線推定の誤差がｄｙi＜αとなる見込みの画素については、Ｃｅｒｔａｉｎｔｙ ｇi（ｘ）を大きくする力が働く。
【００７０】
一方、谷線推定の誤差がｄｙi＞αとなる見込みの画素については、Ｃｅｒｔａｉｎｔｙ ｇi（ｘ）を小さくする力が働く。結果として、「ｇi（ｘ）・ｄｙi＋（１−ｇi（ｘ））・α」を最小化することにより、Ｃｅｒｔａｉｎｔｙ ｇi（ｘ）は谷線推定の誤差がｄｙi＜αとなる見込みの大きさを示すよう最適化される。
【００７１】
［処理の流れについて］
（登録処理について）
次に、リストバンド型電子機器１で行われる処理の流れについて説明する。始めに、図１４を参照して、指紋の特徴点に対応する特徴量を登録する登録処理について説明する。図１４Ａは、登録処理の流れを示した図である。また、図１４Ｂは、各処理で得られる画像等を各処理に対応付けて示した図である。
【００７２】
ステップＳＴ１１では、画像入力処理が行われる。例えば、ディスプレイ４に指先が接触され、撮像素子８を介して指紋画像が取得される。指紋認証を取得する際に、発光部６が発光する。そして、処理がステップＳＴ１２に進む。
【００７３】
ステップＳＴ１２では、前処理部１１ａによる前処理が行われる。具体的には、ノイズ除去部１０１により、指紋画像からノイズが除去される。また、ノイズが除去された指紋画像に基づいて、隆線推定画像生成部１０２が、隆線推定画像を生成する。また、確信度マップ生成部１０３が、確信度マップを生成する。なお、図１４Ｂでは、確信度マップの図示は省略している。そして、処理がステップＳＴ１３に進む。
【００７４】
ステップＳＴ１３では、特徴点検出部１１ｂが、隆線推定画像に基づいて、指紋の特徴点を検出する。本実施の形態では、特徴点検出部１１ｂは、確信度マップを参照し、一定以上の確信度であると判定された領域内から特徴点を検出する。図１４Ｂでは、３個の特徴点（円が付された箇所の中心）が検出された例が示されている。そして、処理がステップＳＴ１４に進む。
【００７５】
ステップＳＴ１４では、特徴量抽出部１１ｃが、各特徴点を特徴付ける特徴量を抽出する。上述したように、特徴量抽出部１１ｃは、各特徴点を中心とする所定サイズの画像を切り出し、切り出した画像に基づいて特徴量を抽出する。そして、処理がステップＳＴ１５に進む。
【００７６】
ステップＳＴ１５は、制御部１１が、ステップＳＴ１４における処理で抽出された各特徴点の特徴量を登録するテンプレート登録処理を行う。各特徴点の特徴量は、例えば、メモリ部２８に記憶される。メモリ部２８に記憶された特徴量が、登録済特徴量として、次に説明するマッチング処理で使用される。
【００７７】
（マッチング処理について）
次に、図１５を参照して、マッチング処理について説明する。図１５Ａは、マッチング処理の流れを示した図である。図１５Ｂは、各処理で取得される特徴量の例や、処理内容を説明する際に参照される図を各処理に対応付けて示した図である。
【００７８】
ステップＳＴ２１では、ディスプレイ４に指先が置かれ、指紋画像が取得される。そして、特徴量が抽出される特徴量抽出処理が行われる。なお、ステップＳＴ２１における特徴量抽出処理は、上述したステップＳＴ１１〜ＳＴ１４までを含む処理である。ステップＳＴ２１の処理により指紋認証を行うための照合用の特徴量が取得される。図１５Ｂでは、５個の特徴点に対応する特徴量が示されている。そして、処理がステップＳＴ２２に進む。
【００７９】
ステップＳＴ２２では、制御部１１がメモリ部２８から登録済特徴量を読み出す。図１５Ｂでは、登録済特徴量の一例が示されている。そして、処理がステップＳＴ２３に進む。
【００８０】
ステップＳＴ２３では、マッチング処理部１１ｄが、ステップＳＴ２１の処理で取得された特徴量と、ステップＳＴ２２で読み出された登録済特徴量とを照合するマッチング処理を行う。
【００８１】
マッチング処理の一例について説明する。マッチング処理部１１ｄは、照合用の特徴量と、登録済特徴量との類似度スコアを内積演算によって求め、その結果に基づいて、図１５Ｂに示す類似度スコア行列を生成する。類似度スコア行列における「Ａ」は登録済の特徴点を示し、「Ｂ」は照合用の特徴点を表している。但し、（ｉ，ｊ）成分はＡｉとＢｉ の類似度スコアである。
【００８２】
マッチング処理部１１ｄは、類似度スコア行列に基づいて、照合スコアを算出する。照合スコアが閾値以上であれば指紋認証が成立する。照合スコアが閾値より小さい場合には、指紋認証は成立しない。なお、例えば、類似度スコア行列における最大値が照合スコアとして設定される。類似度スコア行列における平均値が照合スコアとして設定されても良い。類似度スコア行列における各列の最大値の平均値が照合スコアとして設定されても良い。
【００８３】
以上説明した第１の実施形態によれば、特徴点の周辺画像に基づいて特徴量を抽出するようにしているので、特徴点そのものの情報以外の情報を当該特徴点の特徴量とすることができる。そのような特徴量を用いたマッチング処理を行うことにより、多様な情報に基づくマッチング処理が行えるようになるため、指紋認証の精度を向上させることが可能となる。
【００８４】
＜第２の実施の形態＞
次に、第２の実施の形態について説明する。なお、第１の実施の形態で説明した事項（例えば、リストバンド型電子機器１の構成や機能）については、特に断らない限り、第２の実施の形態に対しても適用することができる。
【００８５】
第１の実施の形態でも説明したように、リストバンド型電子機器１では、撮像素子８を使用して指紋認証を行うようにしている。一般に、撮像素子（より具体的な例としてはＣＯＭＳセンサ）を用いたセンシングでは、他の方式（例えば、静電容量方式）によるセンシングに比べて、消費電力が大きくなるという問題がある。必要とされる電力に応じた容量のバッテリを用いれば良いものの、ウエアラブル機器の場合には、搭載できるバッテリの大きさにも制約があり、バッテリの容量にも限界が生じる。従って、不要な電力の消費を極力抑制することが望まれる。また、ウエアラブル機器の場合には、配設されるボタン等の入力デバイスの数や大きさにも制約が生じる。従って、不要な電力の消費を極力抑制するための制御は、ボタン等の物理的なデバイスに対する操作をトリガーとしないで実行されることが望まれる。係る観点を考慮しつつ、第２の実施の形態について詳細に説明する。
【００８６】
［状態遷移について］
図１６は、リストバンド型電子機器１の状態遷移を示す図である。リストバンド型電子機器１は、指紋認証に係る動作モードとして、例えば、３つのモード間を遷移可能とされている。３つのモードは、モード０、モード１及びモード２である。消費電力の観点からみれば、モード０が最も消費電力が小さく、また、モード２が最も消費電力が大きい。モード１の消費電力は、モード０の消費電力よりは大きくモード２の消費電力よりは小さい。なお、モード０が第３のモードの一例に対応し、モード１、２がそれぞれ第１、第２のモードの一例に対応する。
【００８７】
［各モードにおける動作について］
次に、各モードにおける動作の一例について説明する。なお、各モードにおいて、以下に説明する動作内容の全てが行われる必要は無く、少なくとも一つの動作が行われれば良い。
【００８８】
（動作内容の概要）
モード０は、休止状態であり、発光部６がオフされると共に、撮像素子８を動作させない、即ち、撮像素子８を使用した指紋のセンシングを行わないモードである。
モード１は、待機状態であり、発光部６がオンされると共に、撮像素子８を使用した指紋のセンシングを行うモードである。なお、モード１におけるセンシングとは、ディスプレイ４に接触しているものが指紋であるか否かを判別できる程度のセンシングで良い。より具体的には、指紋（例えば、指紋の特徴点）が含まれるか否か判断できる程度の画像を取得するセンシングで良い。
モード２は、認証状態であり、発光部６がオンされると共に、指紋の特徴量が取得され、取得された特徴量と登録済特徴量とを照合するマッチング処理が行われるモードである。また、モード２では、モード１の設定とは異なる設定に基づいて、撮像素子８を介して画像が取得される。
モード１で、例えば、画像から指紋の特徴点が検出され、ディスプレイ４に接触された物体が指先であると判定された場合に、より消費電力が大きいモード２に動作モードが遷移する。係るモード遷移により、ディスプレイ４に服等の指先以外が接触した場合であっても、消費電力が大きいマッチング処理等が不必要に行われることを防止することができる。従って、例えば、バッテリの容量の低下を抑制することができる。
【００８９】
（各モードにおける動作の具体例）
各モードにおける動作の具体例について説明する。なお、モード０では、指紋認証に係る処理が行われないモードである。従って、以下の説明では、モード１及びモード２の動作の具体例について説明する。
【００９０】
第１の例として、例えば、制御部１１により発光部６の明るさを制御する照明制御が行われる。当該照明制御に応じて、各モードにおける動作がなされる。例えば、モード１では、指紋の特徴点が得られれば良いので、発光部６の明るさ（輝度）が小さめとなるように設定される。一方で、モード２では、マッチング処理を行う必要があるため、特徴点の周辺画像から汗腺の位置等の特徴量を取得する必要がある。従って、高精細な画像が得られるように、発光部６の明るさをモード１より大きくする。なお、指先からの反射光は、指状態や指の押し当て具合によって光量が変化するため、さらに、画像の輝度を元に発光部６の発光強度を適応的に調整しても良い。
【００９１】
第２の例として、例えば、制御部１１が撮像素子８中のアクティブとなる画素を制御することにより、解像度を変更する解像度制御が行われる。当該解像度制御に応じて、各モードにおける動作がなされる。例えば、モード１では、低解像度が設定され、低解像度でのセンシングがなされる。低解像度とは、例えば、指紋の特徴点が検出可能となる３００〜５００ｐｐｉ(pixel per inch)程度の解像度を意味する。モード２では、高解像度が設定され、高解像度でのセンシングがなされる。高解像度とは、例えば、汗腺など、指紋線よりさらに細かい特徴が撮影可能となる１０００ｐｐｉ程度以上の解像度を意味する。
【００９２】
第３の例として、例えば、制御部１１が撮像素子８中のアクティブとなる画素の領域を制御することにより、撮像範囲であるセンシング領域を制御するセンシング領域制御が行われる。モード１では、撮像素子８の一部分（例えば、中央付近のみ）が使用されたセンシングが行われる。モード２では、撮像素子８の全体が使用されたセンシングが行われる。
【００９３】
上述した例における制御を組み合わせた制御が行われても良い。例えば、モード１では撮像素子８全体で低解像度でのセンシングを行い指紋の特徴点を検出する。モード２ではその検出された特徴点付近の領域のみを高解像度でセンシングするようにしても良い。
【００９４】
［モード間の遷移について］
次にモード間の遷移について説明する。動作モードは、所定のトリガーや時間経過、処理の結果等に応じて遷移する。図１６に示すように、モード０からモード１へは、トリガーＰに基づいて遷移する。また、モード１からモード２へは、トリガーＱに基づいて遷移する。
【００９５】
動作モードがモード１における処理、より具体的には画像に基づく判別処理において、ディスプレイ４に接触したものが指紋でない場合には、動作モードがモード１からモード０に遷移する。また、動作モードがモード１である状態が所定時間継続した場合には、動作モードがモード１からモード０に遷移する（タイムアウト）。
【００９６】
動作モードがモード２である状態が所定時間継続した場合には、動作モードがモード２からモード１に遷移する（タイムアウト）。また、動作モードがモード２におけるマッチング処理が終了し、指紋認証の結果が得られた場合には、動作モードがモード２からモード０に遷移する。
【００９７】
なお、モード０からモード２へ動作モードが直接、遷移可能とされても良い。例えば、トリガーＲに基づいて、動作モードがモード０からモード２へ遷移可能とされても良い。トリガーＲとしては、指紋認証を行うことを指示する操作入力が挙げられる。この場合は、予め指紋認証を行うことが明確であるので、動作モードがモード０からモード２に直接、遷移するようにしても良い。
【００９８】
［トリガーの具体例］
次に、トリガーの具体例について説明する。トリガーＲの具体例については既に説明しているため、重複した説明を省略する。
【００９９】
（トリガーＰの具体例）
トリガーＰとしては、リストバンド型電子機器１の使用開始が検出されたタイミングを挙げられる。リストバンド型電子機器１の使用が開始されたタイミングで、所定のアプリケーションを実行するために指紋認証が行われる可能性が高いことが想定される。従って、動作モードがモード０からモード１に遷移する。
【０１００】
トリガーＰのより具体的な例としては、図１７Ａ及び図１７Ｂに示すように、加速度センサの波形（加速度センサの出力）又は加速度センサの出力変化が閾値以上になった場合が挙げられる。この場合には、リストバンド型電子機器１が使用される可能性が高いので、動作モードがモード０からモード１に遷移する。なお、加速度センサは、モーションセンサ２０の一つとして適用することができる。
【０１０１】
トリガーＰの具体的な他の例としては、図１８に示すように、３軸加速度の合成ベクトルの方向（重力方向）に、閾値以上の変化があった場合を挙げることができる。なお、リストバンド型電子機器１のモーションセンサ２０には、例えば、各軸に対応するセンサ出力が定義されている。リストバンド型電子機器１に対応する各軸の例が、図１９Ａ及び図１９Ｂに記載されている。３軸加速度を３次元ベクトルで表現し、その方向に変化があれば、手の向きが変わったと判定される。係る場合も、リストバンド型電子機器１に対して、指紋認証を含む何らかのアクションが行われる可能性が高いことから、動作モードがモード０からモード１に遷移する。
【０１０２】
トリガーＰの具体的な他の例について、図２０を参照する。図２０Ａに示すように、加速度センサの出力に閾値以上の変化が生じた箇所を含むように、所定区間が設定される。設定された所定区間に対応する加速度センサの出力が、図２０Ｂに模式的に示す認識器に入力される。認識器は、加速度センサの出力に対して関数ｆを適用することにより、所定のジェスチャが発生したか否かを判定するものである。認識器による処理の結果、図２０Ｃに示すように、認識器の判定結果が得られる。当該判定結果である、定義されたジェスチャらしさを示すスコアｆ（ｘ）が閾値以上である場合を、トリガーＰとする。リストバンド型電子機器１を装着した状態でのジェスチャが検出された場合には、リストバンド型電子機器１に対して、指紋認証を含む何らかのアクションが行われる可能性が高い。従って、動作モードがモード０からモード１に遷移する。
【０１０３】
トリガーＰは、ディスプレイ４に対する指先の接触や、ディスプレイ４に接触した指先の移動が検出された場合でも良い。指先でなく、何からの物体の接触や、当該物体の移動が検出された場合がトリガーＰとして設定されても良い。図２１Ａ及び図２１Ｂは、ディスプレイ４に対する撮像素子８及びタッチセンサ部７のそれぞれの位置を模式的に示した図である。物体の接触や移動を検出するタッチセンサ部７は、図２１Ａ及び図２１Ｂに示すように、例えば、撮像素子８の近傍に配置される。
【０１０４】
以上、トリガーＰの具体例について説明したが、これに限定されるものではなく、トリガーＰとして、種々の条件を設定することができる。上述した例を組み合わせた条件がトリガーＰとされても良い。
【０１０５】
（トリガーＱの具体例）
次に、トリガーＱの具体例について説明する。トリガーＱは、例えば、撮像素子８を介して取得された画像に指紋が含まれることを条件とするトリガーである。
【０１０６】
図２２Ａ〜図２２Ｄに示すように、指紋の指紋線（ここでは隆線及び谷線）の周期として考えられる周期を設定する。図２２Ａは０．６ｍｍ周期の例を示し、図２２Ｂは０．３ｍｍ周期の例を示し、図２２Ｃは０．１５ｍｍ周期の例を示し、図２２Ｄは０．０７５ｍｍ周期の例を示している。撮像素子８を介して得られる画像から、各周期に対応する周波数成分を抽出する。そして、各周波数成分に対して、図２３に示すような例えば、３２通り（１１．２５度刻み）の角度パターンに対するレスポンスを計算し、その平均値を得る。上述した４つの周波数成分のうちの少なくとも一つに対応する平均値が閾値以上である場合には、画像に写っているものが指紋である可能性が高い。従って、４つの周波数成分のうちの少なくとも一つに対応する平均値が閾値以上であるという条件がトリガーＱとして設定される。
【０１０７】
また、指紋の特徴点が閾値以上の個数、検出されたという条件がトリガーＱとして設定されても良い。指紋の特徴点としては、図２４Ａに示す指紋線の終端点、図２４Ｂに示す指紋線の分岐点のほか、図２４Ｃに示す指紋線の交差点や図２４Ｄに示す指紋線が点状に孤立している孤立点が含まれても良い。
【０１０８】
以上、トリガーＱの具体例について説明したが、これに限定されるものではなく、トリガーＱとして、種々の条件を設定することができる。
【０１０９】
［処理の流れ］
次に、図２５及び図２６のフローチャートを参照して、第２の実施の形態に係る処理の流れについて説明する。なお、特に断らない限り、図２５及び図２６に示す処理は、例えば、制御部１１による制御に応じて実行される。
【０１１０】
なお、図２５及び図２６のフローチャートにおける、丸印が付されたＡ、Ｂ及びＣは処理の連続性を示している。また、処理の開始時における動作モードがモード０であるものとして説明する。
【０１１１】
図２５におけるステップＳＴ３１では、例えば、モーションセンサ２０の出力に基づいて、加速度データが取得される。そして、処理がステップＳＴ３２に進む。
【０１１２】
ステップＳＴ３２では、ステップＳＴ３１で得られた加速度データを使用して、制御部１１が、トリガーＰが成立するか否かを認識する処理を行う。なお、上述したように、トリガーＰが成立したか否かは加速度データ以外のデータを使用して判断されても良い。そして、処理がステップＳＴ３３に進む。
【０１１３】
ステップＳＴ３３では、ステップＳＴ３２における処理の結果に基づいて、トリガーＰが成立するか否かが判断される。ここで、トリガーＰが成立しない場合は、処理がステップＳＴ３１に戻る。トリガーＰが成立する場合には、処理がステップＳＴ３４に進む。
【０１１４】
トリガーＰが成立することから動作モードがモード０からモード１に遷移する。そして、ステップＳＴ３４では、第１経過時間が０に設定される（初期化される）。第１経過時間は、全体の処理が所定時間内に終了したか否か、換言すれば、処理がタイムアウトしたか否を判断するための時間である。そして、処理がステップＳＴ３５に進む。
【０１１５】
ステップＳＴ３５では、第２経過時間が０に設定される（初期化される）。第２経過時間は、モード１の処理が所定時間内に終了したか否か、換言すれば、処理がタイムアウトしたか否を判断するための時間である。そして、処理がステップＳＴ３６に進む。
【０１１６】
ステップＳＴ３６では、発光部６がモード１に対応する明るさでもってオンする。そして、処理がステップＳＴ３７に進む。
【０１１７】
ステップＳＴ３７では、モード１に対応する設定に応じたセンシングが開始される。そして、処理がステップＳＴ３８に進む。
【０１１８】
ステップＳＴ３８では、ステップＳＴ３７のセンシングの結果、撮像素子８を介して画像が取得される。そして、処理がステップＳＴ３９に進む。ステップＳＴ３９では、トリガーＱを認識する処理が行われる。そして、処理がステップＳＴ４０に進む。
【０１１９】
図２６におけるステップＳＴ４０では、制御部１１が、ステップＳＴ３９の処理の結果、トリガーＱが成立するか否かが判断される。ここで、トリガーＱが成立しない場合は、処理がステップＳＴ４１に進む。
【０１２０】
ステップＳＴ４１では、第２経過時間が所定の閾値ｔｈ１より大きいか否かが判断される。ｔｈ１は、例えば、１０秒程度に設定される。ここで、第２経過時間が所定の閾値ｔｈ１より大きい場合には、モード１における処理がタイムアウトし、処理がステップＳＴ３１に戻る。第２経過時間が所定の閾値ｔｈ１以下の場合には、モード１における処理が繰り返される。即ち、処理がステップＳＴ３８に戻り、再度、画像が取得され、ステップＳＴ３８以降の処理が行われる。
【０１２１】
ステップＳＴ４０における判定処理において、トリガーＱが成立する場合には、動作モードがモード１からモード２に遷移した後、処理がステップＳＴ４２に進む。ステップＳＴ４２では、第３経過時間が０に設定される（初期化される）。第３経過時間は、モード２の処理が所定時間内に終了したか否か、換言すれば、処理がタイムアウトしたか否を判断するための時間である。そして、処理がステップＳＴ４３に進む。
【０１２２】
ステップＳＴ４３では、モード２に応じた撮影領域、照明（発光部６）、解像度の少なくとも一つに関する設定がなされ、当該設定による画像の撮影が行われ、指紋画像が取得される。さらに、指紋画像の特徴点を特徴付ける特徴量が抽出される。そして、処理がステップＳＴ４４に進む。
【０１２３】
ステップＳＴ４４では、得られた特徴量と登録済特徴量とを照合するマッチング処理が行われる。そして、処理がステップＳＴ４５に進む。
【０１２４】
ステップＳＴ４５では、品質として十分であるか否かが判断される。例えば、検出された特徴点の個数が閾値以上である場合には、品質が十分であると判断される。また、マッチング処理の結果、特徴量の比較に基づいて類似とされた特徴点の数がある閾値ｔｈＡと閾値ｔｈＢとの間（但し閾値ｔｈＡ＞ｔｈＢ）であれば品質が十分でないと判定されても良い。係る場合は、特徴量の比較に基づいて類似とされた特徴点の数が閾値ｔｈＡ以上（この場合は指紋認証成立）、若しくは、特徴量の比較に基づいて類似とされた特徴点の数が閾値ｔｈＢ以下（この場合は指紋認証不成立）の場合は、指紋認証の結果を判断する上での品質としては十分であると判断される。ステップＳＴ４５において、品質が十分でないと判定された場合は、処理がステップＳＴ４６に進む。
【０１２５】
ステップＳＴ４６では、第３経過時間が閾値ｔｈ２より大きいか否かが判断される。閾値ｔｈ２は、例えば、１０秒程度に設定される。第３経過時間が閾値ｔｈ２以下である場合には、処理がステップＳＴ４７に進む。
【０１２６】
第３経過時間が閾値ｔｈ２以下でありタイムアウトまでの時間が経過していないことから、モード２の処理が継続される。即ち、ステップＳＴ４７では、再度、撮像素子８を介して画像が取得され、ステップＳＴ４４以降の処理が行われる。
【０１２７】
第３経過時間が閾値ｔｈ２より大きい場合には、処理がステップＳＴ４８に進む。ステップＳＴ４８では、第１経過時間が閾値ｔｈ３より大きいか否かが判断される。判断の結果、第１経過時間が閾値ｔｈ３以下の場合は、処理全体がタイムアウトする時間が経過していないので処理がステップＳＴ３８に戻り、モード１に係る処理が再度、行われる。判断の結果、第１経過時間が閾値ｔｈ３より大きい場合は、処理全体がタイムアウトする時間が経過しているので処理が最初の処理であるステップＳＴ３１に戻る。
【０１２８】
以上説明したように、第２の実施の形態によれば、撮像素子８を使用して指紋をセンシングする場合であっても、リストバンド型電子機器１の動作モードを適切に設定することにより制御部１１や撮像素子８で消費される電力を抑制することができる。また、入力デバイスに対する操作を行うことなくモード遷移が可能となる。
【０１２９】
［第２の実施の変形例］
上述した第２の実施の形態では、モード１では、指紋に関するマッチング処理を行わない例について説明したが、これに限定されるものではない。例えば、モード１において、低解像度の画像を使用したマッチング処理が行われても良い。例えば、指紋認証が成立した場合に決済が可能となるアプリケーションを想定する。決済額が例えば１０００円以下の少額の場合にはそれほど高いセキュリティは要求されない。従って、モード１に係る処理が行われ、低解像度の画像を使用したマッチング処理が行われる。これに対して、決済額が１０００円を超える高額の場合には高いセキュリティが要求される。従って、モード２に係る処理が行われ、高解像度の画像を使用したマッチング処理が行われる。このように、モード１からモード２に切り替わるための条件であるトリガーＱがアプリケーションの内容に応じた条件であっても良い。
【０１３０】
モード１からモード２に切り替わるための条件であるトリガーＱの内容が動的に切り替わるようにしても良い。例えば、制御部１１がリストバンド型電子機器１のバッテリ残容量を取得する。バッテリの残容量、具体的には、ＳｏＣ(State of Charge)が例えば３０％以下になった場合に、トリガーＱの内容を切り替え、トリガーＱの内容を厳しくする（モード１からモード２に動作モードが遷移しづらくする。）。例えば、トリガーＱの内容を、上述した個々のトリガーＱの例を組み合わせたものに設定する。係る処理により、バッテリの残容量が小さい場合であっても、モード１からモード２に動作モードが誤って遷移してしまうことを極力、防止することができる。従って、モード２に係る処理で電力が大きく消費されることによりバッテリの残容量が低下し、リストバンド型電子機器１の動作が停止してしまうことを防止することができる。
【０１３１】
また、第２の実施の形態において、図２７に示すように、モード０、１に係る処理を実行するための制御部（第２制御部１１Ａ）が設けられる構成であっても良い。そして、トリガーＱが成立した段階で第２制御部１１Ａが上位のホストである制御部１１に通知処理を行い、モード２に係るマッチング処理等の処理は、制御部１１が行うようにしても良い。上位のホストである制御部１１は、リストバンド型電子機器１の種々の処理を制御するため消費電力が大きくなることから、撮像素子８を介して画像が得られた画像（換言すれば、ディスプレイ４に何かが接触した場合）に、制御部１１を起動すると全体としての消費電力が大きくなる虞がある。従って、モード０及びモード１を実行する下位の制御部である第２制御部１１Ａを設けることが好ましい。
【０１３２】
＜変形例＞
以上、本開示の複数の実施の形態について具体的に説明したが、本開示の内容は上述した実施の形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。以下、変形例について説明する。
【０１３３】
上述した実施の形態において、マッチング処理の結果、指紋認証が成立するための閾値がアプリケーションの内容に応じて変更されても良い。例えば、高額の決済が可能とするための指紋認証が行われる場合、画像品質に関する基準を高くしたり、照合スコアに対する閾値を大きく変更するようにしても良い。
【０１３４】
上述した実施の形態に係るリストバンド型電子機器１の構成は適宜、変更できる。例えば、導光板５や発光部６がない構成でも良い。係る構成の場合、例えば、ディスプレイ４（具体例としてはＯＬＥＤ）の光を用いた撮影が行われる。
【０１３５】
上述した実施の形態において、生体情報は指紋に限定されるものではなく、手のひらの血管、網膜の毛細血管等であっても良く、これらを組み合わせたものであっても良い。なお、指紋は、指先全体の指紋線による模様である必要はなく、その一部が含まれていれば良い。他の生体情報についても同様である。
【０１３６】
本開示は、装置、方法、プログラム、システム等により実現することもできる。例えば、上述した実施の形態で説明した機能を行うプログラムをダウンロード可能とし、実施の形態で説明した機能を有しない装置が当該プログラムをダウンロードしてインストールすることにより、当該装置において実施の形態で説明した制御を行うことが可能となる。本開示は、このようなプログラムを配布するサーバにより実現することも可能である。また、各実施の形態、変形例で説明した事項は、適宜組み合わせることが可能である。
【０１３７】
本開示は、以下の構成も採ることができる。
（１）
少なくとも、第１のモードと、前記第１のモードより消費電力が大きい処理が行われる第２のモードとを選択的に設定する制御部を有し、
前記制御部は、
前記第１のモードでは、センサ部を介して得られる画像に生体情報が含まれるか否かを判断し、
前記画像に生体情報が含まれることをトリガーとして、動作モードを前記第１のモードから前記第２のモードに遷移させ、
前記第２のモードでは、少なくとも前記生体情報を使用したマッチング処理を行う
情報処理装置。
（２）
前記第２のモードでは、前記第１のモードの設定とは異なる設定に基づいて、前記センサ部により画像が取得される
（１）に記載の情報処理装置。
（３）
前記制御部は、前記第１のモードでは、前記センサ部により撮影が行われるタイミングで発光する発光部を第１の輝度で発光させ、前記第２のモードでは、前記第１の輝度より大きい第２の輝度で前記発光部を発光させる
（２）に記載の情報処理装置。
（４）
前記制御部は、前記第１のモードでは、第１の解像度の前記画像を取得するように前記センサ部を制御し、前記第２のモードでは、前記第１の解像度より大きい第２の解像度の前記画像を取得するように前記センサ部を制御する
（２）又は（３）に記載の情報処理装置。
（５）
前記制御部は、前記第１のモードでは、前記センサ部の一部を使用して前記画像を取得する制御を行い、前記第２のモードでは、前記センサ部の全体を使用して前記画像を取得する制御を行う
（２）から（４）までの何れかに記載の情報処理装置。
（６）
前記第１の動作モードの消費電力より消費電力が小さい第３のモードから前記第１のモードに動作モードが遷移可能とされており、
前記制御部は、
前記情報処理装置の動きが検出された場合及び所定の操作が検出された場合の少なくとも一方をトリガーとして、前記第３のモードから前記第１のモードに動作モードを遷移させる
（３）に記載の情報処理装置。
（７）
前記第３のモードでは、前記制御部は、前記発光部及び前記センサ部をオフする
（６）に記載の情報処理装置。
（８）
前記所定の操作を検出するタッチセンサ部が前記センサ部の近傍に設けられている
（６）又は（７）に記載の情報処理装置。
（９）
前記発光部を有する
（３）、（６）から（８）までの何れかに記載の情報処理装置。
（１０）
前記トリガーの内容が、前記第１のモードから前記第２のモードに遷移しづらくなるように変更される
（１）から（９）までの何れかに記載の情報処理装置。
（１１）
前記制御部は、前記センサ部を介して得られる生体情報を含む画像から、特徴点を検出する特徴点検出部と、前記特徴点を含む周辺画像に基づいて、前記特徴点を特徴付ける特徴量を抽出する特徴量抽出部とを有する
（１）から（１０）までの何れかに記載の情報処理装置。
（１２）
前記生体情報は、指紋及び血管の少なくとも一方である
（１）から（１１）までの何れかに記載の情報処理装置。
（１３）
前記第１のモードに係る処理が前記制御部とは異なる他の制御部によって行われる
（１）から（１２）までの何れかに記載の情報処理装置。
（１４）
少なくとも、第１のモードと、前記第１のモードより消費電力が大きい処理が行われる第２のモードとを選択的に設定する制御部と、
画像を取得するセンサ部と
を有し、
前記制御部は、
前記第１のモードでは、前記センサ部を介して得られる画像に生体情報が含まれるか否かを判断し、
前記画像に生体情報が含まれることをトリガーとして、動作モードを前記第１のモードから前記第２のモードに遷移させ、
前記第２のモードでは、少なくとも前記生体情報を使用したマッチング処理を行う
ウエアラブル機器。
（１５）
制御部が、少なくとも、第１のモードと、前記第１のモードより消費電力が大きい処理が行われる第２のモードとを選択的に設定し、
前記制御部は、
前記第１のモードでは、センサ部を介して得られる画像に生体情報が含まれるか否かを判断し、
前記画像に生体情報が含まれることをトリガーとして、動作モードを前記第１のモードから前記第２のモードに遷移させ、
前記第２のモードでは、少なくとも前記生体情報を使用したマッチング処理を行う
情報処理方法。
（１６）
制御部が、少なくとも、第１のモードと、前記第１のモードより消費電力が大きい処理が行われる第２のモードとを選択的に設定し、
前記制御部は、
前記第１のモードでは、センサ部を介して得られる画像に生体情報が含まれるか否かを判断し、
前記画像に生体情報が含まれることをトリガーとして、動作モードを前記第１のモードから前記第２のモードに遷移させ、
前記第２のモードでは、少なくとも前記生体情報を使用したマッチング処理を行う
情報処理方法をコンピュータに実行させるプログラム。
【符号の説明】
【０１３８】
１・・・ウエアラブル機器、４・・・ディスプレイ、６・・・発光部、８・・・撮像素子、１１・・・制御部、１１Ａ・・・第２制御部、１１ａ・・・前処理部、１１ｃ・・・特徴量抽出部、１１ｄ・・・マッチング処理部、１０１・・・ノイズ除去部、１０２・・・隆線推定画像生成部、１０３・・・確信度マップ生成部
【図１】
2019219833.tif 000003
【図２】
2019219833.tif 000004
【図３】
2019219833.tif 000005
【図４】
2019219833.tif 000006
【図５】
2019219833.tif 000007
【図６】
2019219833.tif 000008
【図７】
2019219833.tif 000009
【図８】
2019219833.tif 000010
【図９】
2019219833.tif 000011
【図１０】
2019219833.tif 000012
【図１１】
2019219833.tif 000013
【図１２】
2019219833.tif 000014
【図１３】
2019219833.tif 000015
【図１４】
2019219833.tif 000016
【図１５】
2019219833.tif 000017
【図１６】
2019219833.tif 000018
【図１７】
2019219833.tif 000019
【図１８】
2019219833.tif 000020
【図１９】
2019219833.tif 000021
【図２０】
2019219833.tif 000022
【図２１】
2019219833.tif 000023
【図２２】
2019219833.tif 000024
【図２３】
2019219833.tif 000025
【図２４】
2019219833.tif 000026
【図２５】
2019219833.tif 000027
【図２６】
2019219833.tif 000028
【図２７】
2019219833.tif 000029