(57)【要約】【課題】指紋認証のための特別な部材の点数を削減しつつ、指紋認証に用いられるカメラによって、指などの接近または接触による操作を検知する。【解決手段】サブカメラ（３）に接近または接触したオブジェクトを撮像した撮像画像に含まれている指紋パターンと、予め登録された指紋パターンとの一致具合が所定の基準以上である場合、予め登録された指紋パターンに予め割り当てられた第１の指定動作を実行し、一致具合が所定の基準未満である場合には、サブカメラ（３）への接近または接触に予め割り当てられた動作であって、タッチ操作に相当する第２の指定動作を実行する。【選択図】図１
2019207568.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの撮像装置と、少なくとも１つの制御装置とを備えた電子機器であって、
前記制御装置は、
前記撮像装置を、指紋認証のために指紋を撮像する第１モードで動作させるか、前記第１モードと異なる第２モードで動作させるかを決定し、
前記第１モードで前記撮像装置を動作させると決定した場合に、
前記撮像装置に接近または接触したオブジェクトを撮像した撮像画像に含まれている指紋パターンと、予め登録された指紋パターンとの一致具合が所定の基準以上である場合、前記予め登録された指紋パターンに予め割り当てられた第１の処理を実行し、前記一致具合が前記所定の基準未満である場合には、前記撮像装置への接近または接触に予め割り当てられた処理であって、前記電子機器に対するタッチ操作に相当する第２の処理を実行することを特徴とする電子機器。
【請求項２】
前記撮像画像に含まれている指紋パターンと、前記予め登録された指紋パターンとの一致具合が所定の基準以上である場合であって、前記予め登録された指紋パターンに前記第１の処理が割当てられていない場合、前記第２の処理を実行することを特徴とする請求項１に記載の電子機器。
【請求項３】
前記撮像画像に指紋パターンが含まれていない場合、前記第２の処理を実行することを特徴とする請求項１または２に記載の電子機器。
【請求項４】
前記制御装置は、
前記電子機器の姿勢を示す検知結果に応じて、前記第１モードで動作させるか、前記第２モードで動作させるかを決定することを特徴とする請求項１から３までの何れか１項に記載の電子機器。
【請求項５】
前記制御装置は、
前記撮像画像の中に画像面積の所定％以上を占める前記オブジェクトが存在するか否かを判定し、前記オブジェクトが存在する場合に、前記オブジェクト上に指紋パターンが存在するか否かを判定することを特徴とする請求項１から４までの何れか１項に記載の電子機器。
【請求項６】
前記撮像装置が、表示画面側にある被写体を撮像するためのカメラであることを特徴とする請求項１から５のいずれか１項に記載の電子機器。
【請求項７】
少なくとも１つの撮像装置を備えた電子機器の制御装置であって、
前記撮像装置を、指紋認証のために指紋を撮像する第１モードで動作させるか、前記第１モードと異なる第２モードで動作させるかを決定するモード決定部と、
前記第１モードで前記撮像装置を動作させると決定した場合に、前記撮像装置に接近または接触したオブジェクトを撮像した撮像画像に含まれている指紋パターンと、予め登録された指紋パターンとの一致具合が所定の基準以上である場合、前記予め登録された指紋パターンに予め割り当てられた第１の処理を実行し、前記一致具合が前記所定の基準未満である場合には、前記撮像装置への接近または接触に予め割り当てられた処理であって、前記電子機器に対するタッチ操作に相当する第２の処理を実行する処理実行部と、を備えることを特徴とする制御装置。
【請求項８】
少なくとも１つの撮像装置を備えた電子機器の制御方法であって、
前記撮像装置を、指紋認証のために指紋を撮像する第１モードで動作させるか、前記第１モードと異なる第２モードで動作させるかを決定するモード決定ステップと、
前記第１モードで前記撮像装置を動作させると決定した場合に、前記撮像装置に接近または接触したオブジェクトを撮像した撮像画像に含まれている指紋パターンと、予め登録された指紋パターンとの一致具合が所定の基準以上である場合、前記予め登録された指紋パターンに予め割り当てられた第１の処理を実行し、前記一致具合が前記所定の基準未満である場合には、前記撮像装置への接近または接触に予め割り当てられた処理であって、前記電子機器に対するタッチ操作に相当する第２の処理を実行する処理実行ステップと、を含むことを特徴とする制御方法。
【請求項９】
請求項７に記載の制御装置としてコンピュータを機能させるための制御プログラムであって、上記モード決定部および上記処理実行部としてコンピュータを機能させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器、該電子機器の制御装置、該電子機器の制御プログラムに関する。
【背景技術】
【０００２】
近年、カメラ機能を搭載した電子機器（例えば、スマートフォンなど）が広く流通しており、表示画面にスルー画像を表示させながら被写体の撮像を行うことが可能になっている。特にスマートフォンでは、表示画面と反対の側に存在する被写体を撮像するカメラ機能（アウトカメラ、またはメインカメラとも呼称される）に加えて、表示画面と同じ側に存在する被写体の撮像を行うカメラ機能（インカメラ、またはサブカメラとも呼称される）を備えていることが多い。
【０００３】
一方、電子機器には、電話番号や通信記録などの個人情報が記憶されていることが多い。これらの個人情報を保護し、他人によって電子機器が無断使用されることを禁止するために、さまざまな方策が考案されている。
【０００４】
例えば、特許文献１には、使用の制限および記録情報の保護を簡単な構成で可能とする携帯電話機が開示されている。この携帯電話機は、レンズ部と撮像素子とを有しカメラ機能を備え、筐体内に収納可能であり移動させたときに使用者の指を当てることのできる指当て部材と、指当て部材に当てられた指の指紋をレンズ部と撮像素子とにより撮像し、その撮像画像に基づいて前記指紋が登録された指紋と同じであるか否かを照合する指紋照合部とを具備する。また、指紋照合部で指紋が登録指紋と同じであるとされたときに電源スイッチ等の制限機能が使用可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−７７６８４号公報（２００２年３月１５日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１に記載された携帯電話機では、指紋認証のためにレンズ部および指当て部材などの特別な部材を設けており、このような指紋認証のための特別な部材の点数が多いという問題点がある。
【０００７】
スマートフォンなどの電子機器は、片手で把持されるほど小型であり、かつ、筐体の、ある面の大部分を占める大きな表示画面を備えている場合が多い。さらに表示画面は、情報を表示する他、ユーザによるタッチ操作などの入力を受け付けるタッチパネルとしても機能することが多い。このような電子機器の筺体前面に、指紋認証用の特別な部材を追加した場合、その分だけ電子機器が備える表示画面の寸法を小さくせざるを得ないため、電子機器の利便性が損なわれる虞がある。
【０００８】
そこで、電子機器が備えるカメラ機能を用いて指紋を撮像し、その画像を利用して指紋認証を行う構成とすれば、指紋認証のための特別な部材の点数を削減することができる。さらに、指紋認証に用いられるカメラによって、指などの接近または接触による操作を検知する構成を採用すれば、電子機器の利便性を向上させることも可能である。
【０００９】
本発明の一態様は、指紋認証のための特別な部材の点数を削減しつつ、指紋認証に用いられるカメラによって撮像された指紋の照合結果に応じた動作を行うことが可能な電子機器などを実現することを目的とする。
【課題を解決するための手段】
【００１０】
上記の課題を解決するために、本発明の一態様に係る電子機器は、少なくとも１つの撮像装置と、少なくとも１つの制御装置とを備えた電子機器であって、前記制御装置は、前記撮像装置を、指紋認証のために指紋を撮像する第１モードで動作させるか、前記第１モードと異なる第２モードで動作させるかを決定し、前記第１モードで前記撮像装置を動作させると決定した場合に、前記撮像装置に接近または接触したオブジェクトを撮像した撮像画像に含まれている指紋パターンと、予め登録された指紋パターンとの一致具合が所定の基準以上である場合、前記予め登録された指紋パターンに予め割り当てられた第１の処理を実行し、前記一致具合が前記所定の基準未満である場合には、前記撮像装置への接近または接触に予め割り当てられた処理であって、前記電子機器に対するタッチ操作に相当する第２の処理を実行する構成である。
【００１１】
また、上記の課題を解決するために、本発明の一態様に係る電子機器の制御装置は、少なくとも１つの撮像装置を備えた電子機器の制御装置であって、前記撮像装置を、指紋認証のために指紋を撮像する第１モードで動作させるか、前記第１モードと異なる第２モードで動作させるかを決定するモード決定部と、前記第１モードで前記撮像装置を動作させると決定した場合に、前記撮像装置に接近または接触したオブジェクトを撮像した撮像画像に含まれている指紋パターンと、予め登録された指紋パターンとの一致具合が所定の基準以上である場合、前記予め登録された指紋パターンに予め割り当てられた第１の処理を実行し、前記一致具合が前記所定の基準未満である場合には、前記撮像装置への接近または接触に予め割り当てられた処理であって、前記電子機器に対するタッチ操作に相当する第２の処理を実行する処理実行部と、を備える構成である。
【００１２】
また、上記の課題を解決するために、本発明の一態様に係る電子機器の制御方法は、少なくとも１つの撮像装置を備えた電子機器の制御方法であって、前記撮像装置を、指紋認証のために指紋を撮像する第１モードで動作させるか、前記第１モードと異なる第２モードで動作させるかを決定するモード決定ステップと、前記第１モードで前記撮像装置を動作させると決定した場合に、前記撮像装置に接近または接触したオブジェクトを撮像した撮像画像に含まれている指紋パターンと、予め登録された指紋パターンとの一致具合が所定の基準以上である場合、前記予め登録された指紋パターンに予め割り当てられた第１の処理を実行し、前記一致具合が前記所定の基準未満である場合には、前記撮像装置への接近または接触に予め割り当てられた処理であって、前記電子機器に対するタッチ操作に相当する第２の処理を実行する処理実行ステップと、を含む方法である。
【発明の効果】
【００１３】
本発明の一態様によれば、指紋認証のための特別な部材の点数を削減しつつ、指紋認証に用いられるカメラによって撮像された指紋の照合結果に応じた動作を行うことができるという効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の一形態に係る携帯端末の概要構成例を示すブロック図である。
【図２】サブカメラのための切り欠き部を設けた表示画面を備える携帯端末の外観の一例を示す模式図である。
【図３】サブカメラの断面構造の例を示す図である。
【図４】携帯端末の動作の流れの一例を示すフローチャートである。
【図５】（ａ）は、図２に示す携帯端末の姿勢を上下に逆転させた場合に表示されるファンクションキーの位置の例を示す模式図であり、（ｂ）はサブカメラによる操作入力の検出が可能となっている場合に表示されるファンクションキーの位置の例を示す模式図である。
【図６】サブカメラの動作モードが切り替わる時に表示されるメッセージ画面の例を示す模式図である。
【発明を実施するための形態】
【００１５】
〔実施形態1〕
以下、本発明の一実施形態について、詳細に説明する。なお、以下では、本発明のある実施形態に係る電子機器として、携帯端末１０を例に挙げて説明する。携帯端末１０は、画像、音声、動画等を記録する録画機能、カメラによる撮像機能、およびデータの送受信を行う通信機能などを有する。
【００１６】
（携帯端末１０の外観）
携帯端末１０は、例えば、スマートフォン、携帯電話機、ＰＨＳ（登録商標）端末、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、およびパーソナルコンピュータ（ＰＣ）などであってもよい。
【００１７】
ここでは、携帯端末１０の外観の一例について、図２を用いて説明する。図２は、サブカメラのための切り欠き部を設けた表示画面を備える携帯端末１０の外観の一例を示す模式図である。なお、図２は、携帯端末１０の外観のうち、タッチパネル４、すなわち表示画面が配された側の面から見たときの外観を示している。
【００１８】
携帯端末１０は、サブカメラ３、タッチパネル４、グリップセンサ６、サイドキー７、マイク８、およびスピーカー９を備えている。タッチパネル４は、表示画面としても機能する。図２に示す携帯端末１０は、指紋認証機能を有するサブカメラ３がタッチパネル４の上端近傍に配置されている。
【００１９】
携帯端末１０は、筐体の側面近くまでの表示画面を有するタッチパネル４を備えている。そのため、サブカメラ３が設けられた部分のタッチパネル４には、切り欠き部Ｎが設けられている。切り欠き部Ｎにはタッチパネル４が配されていない。切り欠き部Ｎを挟む左右の突出部分にはタッチパネル４が配されている。
【００２０】
（携帯端末１０の構成）
続いて、携帯端末１０の構成について、図１を用いて説明する。図１は、本発明の実施の一形態に係る携帯端末１０の概要構成を示すブロック図である。携帯端末１０は、携帯端末１０が備えるサブカメラ３を用いて、指紋認証、および入力操作の検出を行うことが可能である。すなわち、携帯端末１０は、サブカメラ３を、被写体を撮像するためのカメラとして用いるほか、指紋認証のために用いたり、入力操作を検出するために用いたりすることが可能である。
【００２１】
携帯端末（電子機器）１０は、制御装置１、記憶装置２、サブカメラ３（撮像装置）、タッチパネル４、モーションセンサ５、グリップセンサ６、サイドキー（切り替えボタン）７、マイク（音声入力装置）８、およびスピーカー９を備えている。なお、サブカメラ３と制御装置１とは単数であっても良いし、複数であっても良い。なお、携帯端末１０は、上記のサブカメラ３の他に、タッチパネル４（表示画面）の反対側にある被写体を撮像するためのカメラであるメインカメラ（アウトカメラとも呼ばれる）を備えていてもよい。
【００２２】
サブカメラ（インカメラとも呼ばれる）は、タッチパネル４側にある被写体（例えば、携帯端末１０を保持するユーザ自身の顔）を撮像するためのカメラである。
【００２３】
本実施形態の携帯端末１０は、サブカメラ３を、指紋認証のために指紋を撮像する第１モードで動作させるか、第１モードと異なる第２モードで動作させるか、を切り替えることが可能である。ここで、第１モードは、指紋検出、指紋照合、指紋認証、および指による操作入力検出をサブカメラ３によって撮像された撮像画像を用いて行うモードである。
【００２４】
一方、第２モードは、指紋認証などのための撮像を行う第１モードと異なる任意のモードであってもよい。第２モードには、例えば、表示画面の側に存在する被写体を撮像する通常モード（いわゆる「自撮り」モード）、および被写体自動選択モードなどが含まれる。なお、通常モードとは、例えば、より中心に位置する被写体に焦点を合わせて撮像するモードである。通常モードでは、通常、サブカメラ３から離れた位置に存在する被写体が撮像される。一方、被写体自動選択モードとは、例えば、焦点を合わせる対象となる被写体を自動的に選択するモードである。
【００２５】
タッチパネル４は、表示装置４１および入力装置４２を含む。表示装置４１には、例えば、液晶パネルが使用される。但し、表示装置４１に使用される表示パネルは、液晶パネルに限定されるものではなく、有機ＥＬ（エレクトロルミネッセンス）パネル、無機ＥＬパネル、およびプラズマパネル等であってもよい。また、入力装置４２は、例えば、静電容量方式の入力装置であるが、これに限られるものではなく、例えば、抵抗膜方式、赤外線方式、超音波方式、または電磁誘導結合方式の入力装置であってもよい。
【００２６】
モーションセンサ５は、携帯端末１０の姿勢を検知する各種センサを含んでいる、モーションセンサ５の例としては、加速度センサ、ジャイロセンサおよび地磁気センサを挙示することができる。加速度センサは、携帯端末１０の向き、および携帯端末１０自体の加速度を検出するセンサである。ここで、携帯端末１０自体の加速度とは、例えば携帯端末１０自体が移動することで示される単位時間当たりの速度変化のことである。
【００２７】
また、加速度センサは、携帯端末１０の位置や姿勢を検出するための３次元の加速度センサである。加速度センサは、所定のタイミング、または所定のサンプリング間隔で、携帯端末１０における基準の姿勢に対して定義されたＸ方向、Ｙ方向およびＺ方向の各々の加速度を測定する。加速度センサにて検出された加速度は、制御装置１に入力される。
【００２８】
ジャイロセンサ（角速度センサ）は、携帯端末１０自体のＸ方向またはＹ方向への動きを検出する。ジャイロセンサは、例えば、携帯端末１０自体のＸ方向またはＹ方向の回転の動きを検出する。ジャイロセンサにて検出された携帯端末１０のＸ方向またはＹ方向の回転の動きは、制御装置１に入力される。
【００２９】
地磁気センサは地磁気を測定して地磁気値（Ｍｘ，Ｍｙ，Ｍｚ）を検出する。地磁気センサが検出した地磁気値は、制御装置１に入力される。
【００３０】
グリップセンサ６は、例えば、携帯端末１０の側面に配置し、側面のどの辺りが触れているかでサブカメラ３が上部（上側）にある状態で持っているか下部（下側）にある状態で持っているかを判定する。グリップセンサ６の検出結果により、サブカメラ３が下部にある状態で持っていると判定された場合、通常モードから指紋認証モードに切り替える。
【００３１】
マイク８は、集音機能を有する集音器である。スピーカー９は、入力される音声信号に応じて、当該スピーカー９の備える振動板を振動させることにより、音声信号の示す音声を出力する。
【００３２】
（制御装置１の構成）
制御装置１は、携帯端末１０の各部の動作を統括的に制御するものであり、モード切替動作検出部１１、サブカメラ動作モード決定部１２（モード決定部）、サブカメラ制御部１３、指紋検出部１４、指紋照合／指定動作決定部１５、指定動作実行部１６（処理実行部）、表示制御部１７、入力受付部１８、および音声認識部１９を備える。
【００３３】
モード切替動作検出部１１は、サブカメラ３の動作モードを第１モードから第２モードに切り替えたり、第２モードから第１モードに切り替えたりするトリガとなるモード切替動作を検出する。モード切替動作検出部１１が検出するモード切替動作としては、例えば、下記のようなものが挙げられる。
【００３４】
・モーションセンサ５（加速度センサ）による携帯端末１０の上下回転。加速度センサによる検出でサブカメラ３が携帯端末１０の下部に来るようなセンサ値パターンだった場合、サブカメラ３の動作モードを第１モードから第２モードに切り替える。なお、加速度センサの代わりに、ジャイロセンサおよび地磁気センサなどによる上下回転の検出であってもよい。
【００３５】
・タッチパネル４へのタッチ操作の入力。サブカメラ３を第２モードで動作させるための操作入力を受け付けるタッチボタン（ＧＵＩ）をタッチパネル４に配置している。そのボタンに対するタッチ操作を入力受付部１８が検出した場合、サブカメラ３の動作モードを第２モードに切り替える。
【００３６】
・音声入力。予め設定されている指示入力用のキーワードの音声がマイク８から入力された場合、サブカメラ３を第２モードで動作させる。なお、音声入力によってサブカメラ３の動作モードを切り替え可能とするためには、入力受付部１８が、入力された音声を解析して指示入力用のキーワードであるか否かを判定する機能を備えていればよい。
【００３７】
・グリップセンサ６に対する操作入力。グリップセンサ６は携帯端末１０の側面に配置され、側面のどの辺りにユーザの手および指が触れているかを検知する。グリップセンサ６が検知した結果に基づいて、携帯端末１０の姿勢が、サブカメラ３が上側にある姿勢なのか、下側にある姿勢なのかが判定可能である。例えば、下側にサブカメラが来ている間はサブカメラ３を第２モードとして動作させる。
【００３８】
・サイドキー７に対する操作入力。携帯端末１０の筐体の側面などに、サブカメラ３を第２モードとして動作させるキースイッチであるサイドキー７が配置されている。サイドキーが押下されたことを入力受付部１８が検出するたびに、サブカメラ３の動作モードを切り替える。
【００３９】
サブカメラ動作モード決定部１２は、サブカメラ３を第１モードで動作させるか、第１モードと異なる第２モードで動作させるかを決定する。サブカメラ動作モード決定部１２は、例えば、（１）モード切替動作検出部１１がモード切替動作を検出し、かつ、（２）表示制御部１７が、指紋の検出機能が有効な画面を表示画面に表示させている場合に、サブカメラ３の動作モードを第１モードに切り替えることを決定する。
【００４０】
サブカメラ制御部１３は、サブカメラ３による撮像の開始および停止を制御する。
【００４１】
指紋検出部１４は、第１モードで動作しているサブカメラ３によって撮像された撮像画像に含まれる指紋パターン（指紋の像）を検出する。指紋検出部１４は、例えば、以下の（工程１）〜（工程３）を行うことによって、オブジェクト（例えば、ユーザの指）上の指紋パターンを検出する。工程１において、指紋検出部１４は、サブカメラ３によって撮像された撮像画像の中に、該撮像画像の画像面積のＡ％を占めるオブジェクトが存在するか否かを判定する。次に、指紋検出部１４は、工程２において、工程１における条件を満たすオブジェクトが撮像画像中に存在する場合、該オブジェクト上に指紋パターンが存在するか否かを判定する。そして、指紋検出部１４は、上記オブジェクト上に指紋パターンが存在する場合、工程３において、オブジェクト上に存在する指紋パターンを検出する。
【００４２】
具体的には、撮像画像の中に画像面積の５０％以上のオブジェクトがある場合に、オブジェクト内に指紋相当の１ｍｍ以下の細い線の集合があるかどうかによって、オブジェクト上に指紋パターンが存在するか否かを判定しても良い。また、撮像画像の中に該撮像画像の画像面積の５０％以上のオブジェクトがある場合に、指紋の特徴点が一定数以上存在しているかどうかによって、上記オブジェクト上に指紋パターンが存在するか否かを判定しても良い。ここで、指紋の特徴点としては、開始点・終始点・分岐点・接合点などが挙げられる。
【００４３】
指紋照合／指定動作決定部１５は、第１モードで動作するサブカメラ３が撮像する撮像画像に含まれる指紋パターンと、記憶装置２に格納されている、予め登録された指紋パターン２１とを比較して指紋照合を行う。指紋照合／指定動作決定部１５は、指紋検出部１４によって検出された、撮像画像のオブジェクト上の指紋パターンと、予め登録された指紋パターン２１とのパターン照合を行い、両者の一致具合がＢ％以上か否かを判定する。指紋照合／指定動作決定部１５は、一致具合がＢ％以上であった場合、指定動作割当２２を参照し、登録された指紋パターンに割り当てられた第１の指定動作（第１の処理）を決定する。一方、一致具合がＢ％未満であった場合、指定動作割当２２を参照し、サブカメラ３への接近または接触に予め割り当てられた処理であって、携帯端末１０に対するタッチ操作に相当する第２の指定動作（第２の処理）を決定する。パターン照合については画像比較によるもの、特徴点の一致具合を比較するものなどが考えられるが、これらに限定されない。また、指紋照合／指定動作決定部１５は、例えば、８０％以上が一致した場合は同一の指紋パターンと判定する構成としてもよい。
【００４４】
ここで、指定動作割当２２は、予め登録された指紋パターン毎に割り当てられた第１の指定動作を含んでいる。例えば、右手の人さし指の指紋パターンＰ、および右手の中指の指紋パターンＱが登録されている場合、指紋パターンＰおよびＱに対してそれぞれ第１の指定動作が割り当てられている。なお、指紋パターン毎に異なる第１の指定動作が割当てられていてもよい。また、登録された指紋パターンが、携帯端末１０のユーザとは異なる者（例えば、ユーザの保護者など）の指紋パターンであってもよい。なお、第１の指定動作としては、ユーザ認証後の各種アプリケーションの起動などが含まれる。
【００４５】
また、指定動作割当て２１は、サブカメラ３への接近または接触による操作入力に対して予め割り当てられた第２の指定動作も含んでいる。第２の指定動作は、サブカメラ３によって撮像された撮像画像に、サブカメラ３へ接近したり接触したりしたオブジェクトによる操作を検出した場合に、その操作に対応付けられた所定の動作である。なお、第２の指定動作としては、これらに限定されるものではないが、以下のようなものが挙げられる。
【００４６】
・サブカメラ３を、切り欠き部Ｎによって表示されなくなったＧＵＩ（例えば、ファンクションキーなど）として機能させる。切り欠き部Ｎに隠れているファンクションキーへのタッチ操作が入力されたときに相当する動作。この動作は、携帯端末１０のＧＵＩに対するタッチ操作に相当する。
【００４７】
・サブカメラ３を、ホームボタン（図示せず）として機能させる。ホーム画面の表示に切り替える動作。この動作は、携帯端末１０のホームボタンに対するタッチ操作（押下）に相当する。
【００４８】
指定動作実行部１６は、指紋照合／指定動作決定部１５によって決定された第１の指定動作および第２の指定動作を実行する。
【００４９】
表示制御部１７は、各種画像およびメッセージなどがタッチパネル４の表示装置４１において表示されるように制御する。例えば、表示制御部１７は、携帯端末１０の姿勢に応じて、表示装置４１にて表示させる画像の向き、および表示するファンクションキーの位置を変更してもよい。表示制御部１７は、サブカメラ３の動作モードが第１モードであるか第２モードであるかによって、表示装置４１にて表示させるファンクションキーの位置を変更してもよい。
【００５０】
入力受付部１８は、タッチパネル４の入力装置４２に対する入力があったか否か、およびサイドキー７の押下による入力があったか否かを特定する。
【００５１】
音声認識部１９は、マイク８で集音した音声情報について音声認識を行う。具体的には、マイク８は、指紋認証を行うことを指令する指令音声の入力を受付ける。マイク８が上記指令音声の入力を受付け、音声認識部１９が、上記指令音声を認識した場合、サブカメラ動作モード決定部１２は、上記指紋認証モードで上記撮像装置を動作させる。上記構成によれば、指紋認証を行うことを指令する指令音声の発話という簡単な操作で、通常モードから指紋認証モードに切り替えることができる。
【００５２】
（サブカメラ３の構成）
次に、サブカメラ３の構成について、図３を用いて説明する。図３は、サブカメラ３の断面構造を示す図である。
【００５３】
サブカメラ３は、透光性部材であるカメラ窓３１、レンズ３２、およびカバーガラス３３などの光学系、およびＣＣＤ（charge-coupled device）、ＣＭＯＳ(complementary- metal-oxide-semiconductor)などの撮像素子３４を備える。
【００５４】
また、レンズ３２に対して撮像素子３４の反対側には、レンズ３２の受光側を覆うカメラ窓３１が設けられている。カメラ窓３１は、透光性を有する強化ガラスで構成されている。サブカメラ３は、カメラ窓３１に指が接触または近接した状態でその指の指紋パターンを撮像することが可能になっている。
【００５５】
（携帯端末１０の動作の流れ）
次に、携帯端末１０の動作の流れについて、図６を適宜参照しつつ、図４を用いて説明する。図４は、携帯端末１０の動作の流れの一例を示すフローチャートである。また、図６は、サブカメラ３の動作モードが切り替わる時に表示されるメッセージ画面の例を示す模式図である。
【００５６】
携帯端末１０の電源をＯＮにして動作を開始し、ステップＳ１に進む。ここでは、携帯端末１０が動作を開始したときのサブカメラ３の動作モードが第２モードである場合を例に挙げて説明する。
【００５７】
モード切替動作検出部１１が、第２モードから第１モードに切り替えるトリガとなるモード切替動作を検出した場合（ステップＳ１にてＹＥＳ）、ステップＳ２に進む。なお、モード切替動作の例としては、上述した携帯端末１０の姿勢の変化（例えば、上下反転など）の検出、サイドキー７に対する操作、音声指令の受付、およびグリップセンサ６によるサブカメラ３が下部にある状態で持っている状態の検出などが挙げられる。
【００５８】
次に、サブカメラ動作モード決定部１２は、指紋の検出機能が有効な画面になっているかどうかを確認する（ステップＳ２）。ここで、指紋の検出機能が有効な画面とは、サブカメラ３の動作を第１モードに切り替え可能な画面（例えばロック解除画面など）である。
【００５９】
指紋の検出機能が有効な画面になっている場合（ステップＳ２にてＹＥＳ）、サブカメラ動作モード決定部１２は、サブカメラ３の動作を第１モードに切り替えることを決定する（ステップＳ３、モード決定ステップ）。サブカメラ３の動作モードを第１モードに切り替える場面の典型的な例としては、ロック画面での操作において、指紋検出によるロック解除を行う場面などが挙げられる。一方、指紋の検出機能が有効な画面になっていない場合(ステップＳ２にてＮＯ)、ステップＳ２に戻る。指紋の検出機能が有効ではない画面の典型的な例としては、下記が挙げられる。
【００６０】
・モード切替動作のトリガとなる加速度センサを使用するゲームなどのアプリケーションソフトウェア（以下、アプリと記す）が動作しているときの画面。携帯端末１０の姿勢の変化に伴ってＵＩ表示などが変化してしまうと不具合となる可能性がある。
【００６１】
・サブカメラ３を第２モードで動作させることを要求するアプリ（例えば、カメラアプリなど）が動作しているときの画面。
【００６２】
・サブカメラ３の動作モードが切り替わることによって不具合が生じる既存のアプリが動作しているときの画面。
【００６３】
ステップＳ３にて、サブカメラ動作モード決定部１２によって第１モードへの切り替えが決定されると、サブカメラ制御部１３は、サブカメラ３による連続撮像を開始する（ステップＳ４）。このとき、表示制御部１７は、図６の（ａ）に示すようなメッセージＭ１を含むメッセージ画面を表示装置に表示させてもよい。これにより、サブカメラ３の動作モードが切り替わったことをユーザに知らせることができる。なお、図６に示す例では、第１モードを「指紋／タッチ検出モード」と表記している。
【００６４】
続いて、指紋検出部１４が、サブカメラ画像のＡ％を占めるオブジェクトが存在するか否かを判定する（ステップＳ５）。指紋検出部１４が、この条件を満たすオブジェクトを検出した場合（ステップＳ５にてＹＥＳ）、ステップＳ８に進む。一方、指紋検出部１４が、この条件を満たすオブジェクトを検出しなかった場合、ステップＳ６に進む。
【００６５】
ステップＳ６では、モード切替動作検出部１１が、モード切替動作が発生したかどうかを確認する。モード切替動作が発生した場合(ステップＳ６にてＹＥＳ)、ステップＳ７に進む。一方、モード切替動作が発生していない場合、ステップＳ５に戻る。
【００６６】
ステップＳ７（モード決定ステップ）では、サブカメラ動作モード決定部１２が、サブカメラ３の動作モードを第１のモードから第２のモードに切り替える。このとき、表示制御部１７は、図６の（ｂ）に示すようなメッセージＭ２を含むメッセージ画面を表示装置に表示させてもよい。これにより、サブカメラ３の動作モードが切り替わったことをユーザに知らせることができる。
【００６７】
条件を満たすオブジェクトを検出した場合（ステップＳ５にてＹＥＳ）、指紋検出部１４は続いて、該オブジェクトに指紋パターンが存在するか否かを判定する（ステップＳ８）。指紋パターンが存在する場合（ステップＳ８にてＹＥＳ）、ステップＳ９に進む。一方、指紋パターンが存在しない場合、ステップＳ１２に進む。
【００６８】
指紋パターンがオブジェクトから検出された場合（ステップＳ８にてＹＥＳ）、指紋照合／指定動作決定部１５は、撮像画像から検出された指紋パターンと、記憶装置２に登録済みの指紋パターン２１とを比較し、Ｂ％以上一致するか否かを判定する（ステップＳ９）。指紋検出部１４が検出した指紋パターンと、登録済みの指紋パターン２１とがＢ％以上一致した場合、ステップＳ１０に進む。一方、Ｂ％未満しか一致しなかった場合、ステップＳ１２に進む。
【００６９】
次に、撮像画像から検出された指紋パターンと、登録済みの指紋パターン２１とがＢ％以上一致した場合（Ｓ９にてＹＥＳ）、指紋照合／指定動作決定部１５は、記憶装置２の指定動作割当２２を読み出して、検出された指紋パターンに割り当てられている第１の指定動作を検索する（ステップＳ１０）。検出された指紋パターンに割り当てられている第１の指定動作が存在する場合、ステップＳ１１に進む。一方、存在しない場合、ステップＳ１２に進む。
【００７０】
第１の指定動作が、検出された指紋パターンに割り当てられている場合（ステップＳ１０にてＹＥＳ）、指定動作実行部１６は、指紋パターン毎に割り当てられた指定動作を実行する（ステップＳ１１、処理実行ステップ）。ここで、「指紋パターン毎に割り当てられた指定動作を実行する」とは、ユーザ毎に異なる動作を実行する構成、および、ある一人のユーザの指毎に異なる動作を実行する構成のいずれであってもよい。指紋パターン２１には、複数のユーザ（家族等）毎に指紋パターンが登録されていても良いし、また、ある一人のユーザの中指、人差し指等の指の種類毎の指紋パターンが登録されていても良い。
【００７１】
ユーザの指紋が「指紋１」として登録している指紋と一致した場合は、例えば「ブラウザアプリ」を起動し、ユーザの指紋が「指紋２」として登録している指紋と一致した場合は例えば「マップアプリ」を起動するなどが考えられる。なお、上記の「指紋パターンに設定済みの動作」は、指紋パターンの登録時に設定画面などからユーザが任意に設定できるものとする。
【００７２】
ステップＳ８〜Ｓ１０にてＮＯの場合、指紋照合／指定動作決定部１５は、記憶装置２の指定動作割当２２を読み出して、（１）オブジェクトに指紋パターンが検出されなかった場合、（２）オブジェクトの指紋パターンと登録済みの指紋パターン２１との一致具合が低い場合、および（３）指紋パターンに対して第１の指定動作が割当てられていなかった場合のそれぞれに該当する指定動作を検索する。そして、指定動作実行部１６は、指定動作割当２２に規定されている指定動作を実行する（ステップＳ１２、処理実行ステップ）。
【００７３】
指定動作実行部１６が、指紋パターン毎に割り当てられた指定動作を実行した（ステップＳ１１）の後、サブカメラ動作モード決定部１２は、指紋の検出機能が有効な画面になっているかどうかを確認する（ステップＳ１３）。指紋の検出機能が有効な画面になっている場合（ステップＳ１３にてＹＥＳ）、ステップＳ５に戻る。一方、指紋の検出機能が有効な画面になっていない場合は、ステップＳ７に進む。
【００７４】
このように構成された携帯端末１０は、指紋認証のための特別な部材の点数を削減しつつ、指紋認証に用いられるサブカメラ３によって、指などの接近または接触による操作を検知することができる。サブカメラ３は、被写体を撮像するためのカメラとして用いられるほか、指紋認証、および入力操作の検出にも用いられる。
【００７５】
（表示画面の活用に関する効果）
ここでは、サブカメラを３の動作モードを第２モードから第１モードに切り替え、第２の指定動作を実行することによる効果の一例を、図５を用いて説明する。図５の（ａ）は、図２に示す携帯端末１０の姿勢を上下に逆転させた場合に表示されるファンクションキーの位置Ｋ１の例を示す模式図であり、図５の（ｂ）はサブカメラ３による操作入力の検出が可能となっている場合にファンクションキーを表示する位置Ｋ２の例を示す模式図である。
【００７６】
サブカメラ３の動作モードが第２モードのとき、ファンクションキーｆ１〜ｆ３のＧＵＩを表示する位置Ｋ１は、図５の（ａ）に示すような位置に配置される。携帯端末１０の姿勢を上下に逆転させた場合、切り欠き部Ｎがタッチパネル４の下側の辺から上方に出っ張る。横に配列するファンクションキーｆ１〜ｆ３を適切に表示するためには、切り欠き部Ｎを避けるために、位置Ｋ１にファンクションキーを表示することが望ましい。しかし、これでは、表示画面の上下方向の高さｄ１の分しか表示画面を活用することができない。
【００７７】
これに対し、サブカメラを３の動作モードを第２モードから第１モードに切り替えた場合、指紋パターンに対して設定済みの動作ではない、第２の指定動作を実行する事ができる。第２の指定動作として、切り欠き部Ｎに隠れて表示されていないファンクションキー（例えば、ｆ２）に対するタッチ操作が入力されたときの動作と同じ動作が割当てられていてもよい。このような第２の指定動作が実行可能であれば、サブカメラ３が設けられた切り欠き部Ｎにもタッチパネルが設けられているかのような操作を受け付けることができる。それゆえ、図５の（ｂ）に示す位置Ｋ２にファンクションキーを表示させてもよいことになる。このような表示が可能であれば、表示画面の上下方向の高さｄ２まで広く活用することができる。
【００７８】
〔実施形態２〕
予め登録された指紋パターンと一致しない指紋がサブカメラ３によって撮像された画像において検出された場合に、サブカメラ３のために設けられた切り欠き部分Ｎによって表示が隠れてしまうＧＵＩ（例えば、Ｆ２キーなど）へのタッチ操作を割り当てる例について実施形態１に説明したがこれに限定されない。
【００７９】
携帯端末１０は、サブカメラ３によって撮像された撮像画像中のオブジェクトから検出される指紋パターンの動きとして、ジェスチャ操作（例えば、スワイプ操作、スライド操作など）を検出する構成であってもよい。
【００８０】
この構成を採用する携帯端末１０の指紋検出部１４は、指紋パターンを検出するとともに、該指紋の動きも検出する機能を備えていればよい。すなわち、指紋検出部１４は、一定の時間内（例えば、〜１秒間）にサブカメラ３によって撮像された複数枚の撮像画像に写っているオブジェクトから指紋パターンを検出することによって、該指紋パターンの動きを検出する。そして、指紋照合／指定動作決定部１５は、指紋検出部１４によって検出された指紋パターンの動きに割り当てられた指定動作を決定すればよい。
【００８１】
ジェスチャ操作を撮像した画像からジェスチャを検出する場合、ジェスチャ操作を行う指示体（例えば指先など）の外形を特定する必要がある。しかし、近接した位置でジェスチャ操作がなされた場合、外形が撮像画像に写り込まないため、ジェスチャが検出されない可能性がある。これに対し、サブカメラ３によって撮像された撮像画像から指紋パターンを検出し、検出した指紋パターンの動きに基づいて、入力されたジェスチャ操作を検出する構成を採用すれば、サブカメラ３の近傍でなされたジェスチャ操作を検出することも可能である。
【００８２】
〔実施形態３〕
携帯端末１０の制御装置１の制御ブロック（特にモード切替動作検出部１１、サブカメラ動作モード決定部１２、サブカメラ制御部１３、指紋検出部１４、指紋照合／指定動作決定部１５、指定動作実行部１６、表示制御部１７、入力受付部１８、および音声認識部１９）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
【００８３】
後者の場合、制御装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００８４】
〔まとめ〕
本発明の態様１に係る電子機器（携帯端末１０）は、少なくとも１つの撮像装置（サブカメラ３）と、少なくとも１つの制御装置（１）とを備えた電子機器であって、前記制御装置は、前記撮像装置を、指紋認証のために指紋を撮像する第１モードで動作させるか、前記第１モードと異なる第２モードで動作させるかを決定し、前記第１モードで前記撮像装置を動作させると決定した場合に、前記撮像装置に接近または接触したオブジェクトを撮像した撮像画像に含まれている指紋パターンと、予め登録された指紋パターンとの一致具合が所定の基準以上である場合、前記予め登録された指紋パターンに予め割り当てられた第１の処理を実行し、前記一致具合が前記所定の基準未満である場合には、前記撮像装置への接近または接触に予め割り当てられた処理であって、前記電子機器に対するタッチ操作に相当する第２の処理を実行する。
【００８５】
上記構成によれば、撮像画像に含まれている指紋パターンと、予め登録された指紋パターンとの一致具合が所定の基準以上である場合には第１の処理を実行し、前記一致具合が前記所定の基準未満である場合には第２の処理を実行する。すなわち、上記構成では、電子機器が備える撮像装置を指紋認証用に用い、その指紋認証の結果に基づいて処理を行う。これにより、指紋認証のための特別な部材の点数を削減しつつ、指紋認証に用いられる撮像装置によって撮像された指紋の照合結果に応じた動作を行うことができる。
【００８６】
本発明の態様２に係る電子機器は、上記態様１において、前記撮像画像に含まれている指紋パターンと、前記予め登録された指紋パターンとの一致具合が所定の基準以上である場合であって、前記予め登録された指紋パターンに前記第１の処理が割当てられていない場合、前記第２の処理を実行する構成であってもよい。
【００８７】
本発明の態様３に係る電子機器は、上記態様１または２において、前記撮像画像に指紋パターンが含まれていない場合、前記第２の処理を実行する構成であってもよい。
【００８８】
本発明の態様４に係る電子機器は、上記態様１〜３の何れかにおいて、前記制御装置は、前記電子機器の姿勢を示す検知結果に応じて、前記第１モードで動作させるか、前記第２モードで動作させるかを決定する構成であってもよい。
【００８９】
本発明の態様５に係る電子機器は、上記態様１〜４において、前記制御装置は、前記撮像画像の中に画像面積の所定％以上を占める前記オブジェクトが存在するか否かを判定し、前記オブジェクトが存在する場合に、前記オブジェクト上に指紋パターンが存在するか否かを判定する構成であってもよい。上記構成によれば、撮像画像からの指紋パターンの抽出を適切に行うことができる。
【００９０】
本発明の態様６に係る電子機器は、上記態様１〜５の何れかにおいて、前記撮像装置が、表示画面側にある被写体を撮像するためのカメラであってもよい。上記構成によれば、表示画面側にあるカメラによって撮像された撮像画像から指紋パターンを抽出することができる。
【００９１】
本発明の態様７に係る電子機器の制御装置（１）は、少なくとも１つの撮像装置を備えた電子機器（携帯端末１０）の制御装置であって、前記撮像装置を、指紋認証のために指紋を撮像する第１モードで動作させるか、前記第１モードと異なる第２モードで動作させるかを決定するモード決定部（サブカメラ動作モード決定部１２）と、前記第１モードで前記撮像装置を動作させると決定した場合に、前記撮像装置に接近または接触したオブジェクトを撮像した撮像画像に含まれている指紋パターンと、予め登録された指紋パターンとの一致具合が所定の基準以上である場合、前記予め登録された指紋パターンに予め割り当てられた第１の処理を実行し、前記一致具合が前記所定の基準未満である場合には、前記撮像装置への接近または接触に予め割り当てられた処理であって、前記電子機器に対するタッチ操作に相当する第２の処理を実行する処理実行部（指定動作実行部１６）と、を備える。上記構成によれば、上記態様１と同様の効果を得ることができる。
【００９２】
本発明の態様８に係る電子機器（携帯端末１０）の制御方法は、少なくとも１つの撮像装置（サブカメラ３）を備えた電子機器の制御方法であって、前記撮像装置を、指紋認証のために指紋を撮像する第１モードで動作させるか、前記第１モードと異なる第２モードで動作させるかを決定するモード決定ステップ（ステップＳ３、Ｓ７）と、前記第１モードで前記撮像装置を動作させると決定した場合に、前記撮像装置に接近または接触したオブジェクトを撮像した撮像画像に含まれている指紋パターンと、予め登録された指紋パターンとの一致具合が所定の基準以上である場合、前記予め登録された指紋パターンに予め割り当てられた第１の処理を実行し、前記一致具合が前記所定の基準未満である場合には、前記撮像装置への接近または接触に予め割り当てられた処理であって、前記電子機器に対するタッチ操作に相当する第２の処理を実行する処理実行ステップ（ステップＳ１１、Ｓ１２）と、を含む方法である。上記方法によれば、上記態様１または７と同様の効果を得ることができる。
【００９３】
本発明の各態様に係る電子機器の制御装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記制御装置が備える各部（ソフトウェア要素）として動作させることにより上記制御装置をコンピュータにて実現させる制御装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【符号の説明】
【００９４】
１    制御装置
３    サブカメラ（撮像装置）
１０    携帯端末（電子機器）
１２    サブカメラ動作モード決定部（モード決定部）
１６    指定動作実行部（処理実行部）
Ｓ３、Ｓ７  モード決定ステップ
Ｓ１１、Ｓ１２  処理実行ステップ
【図１】
2019207568.tif 000003
【図２】
2019207568.tif 000004
【図３】
2019207568.tif 000005
【図４】
2019207568.tif 000006
【図５】
2019207568.tif 000007
【図６】
2019207568.tif 000008