(57)【要約】【課題】ロック状態を簡便に解除できるようにする。【解決手段】複数のセンサからのデータを用いて、所定の状態を検出する検出部と、検出部により所定の状態が検出された場合、所定の被写体を撮像する撮像部とを備える。複数のセンサからのデータを入力する複数の入力インタフェースをさらに備える。アプリケーションプロセッサが起動している状態から、起動していない状態に移行したとき、検出部による検出が開始される。本技術は、例えば、スマートフォンに適用できる。【選択図】図２
2017228975.tif 000002
【特許請求の範囲】
【請求項１】
複数のセンサからのデータを用いて、所定の状態を検出する検出部と、
前記検出部により前記所定の状態が検出された場合、所定の被写体を撮像する撮像部と
を備える画像処理装置。
【請求項２】
前記複数のセンサからのデータを入力する複数の入力インタフェースをさらに備える
請求項１に記載の画像処理装置。
【請求項３】
アプリケーションプロセッサが起動している状態から、起動していない状態に移行したとき、前記検出部による検出が開始される
請求項１に記載の画像処理装置。
【請求項４】
前記検出部により前記所定の状態が検出されたとき、前記撮像部が起動される
請求項１に記載の画像処理装置。
【請求項５】
前記検出部は、前記所定の状態として、前記撮像部がユーザの顔を撮像できる状態にされたか否かを検出する
請求項１に記載の画像処理装置。
【請求項６】
前記撮像部で撮像された画像を用いて、登録されているユーザであるか否かを判定する認識部をさらに備える
請求項１に記載の画像処理装置。
【請求項７】
前記検出部は、ロック状態のときに、検出を行い、
前記認識部で登録されているユーザであると判定された場合、前記ロック状態を解除する
請求項６に記載の画像処理装置。
【請求項８】
前記ロック状態の解除の指示は、アプリケーションプロセッサに対して出される
請求項７に記載の画像処理装置。
【請求項９】
前記撮像部は、前記認識部で行われる認識に必要とされる画素数で撮像を行う
請求項７に記載の画像処理装置。
【請求項１０】
複数のセンサからのデータを用いて、所定の状態を検出し、
前記所定の状態が検出された場合、所定の被写体を撮像する
ステップを含む画像処理方法。
【請求項１１】
コンピュータに、
複数のセンサからのデータを用いて、所定の状態を検出し、
前記所定の状態が検出された場合、所定の被写体を撮像する
ステップを含む処理を実行させるためのプログラム。
【請求項１２】
複数のセンサからのデータを用いて、所定の状態を検出する検出部と、
前記検出部により前記所定の状態が検出された場合、所定の被写体を撮像する撮像部と
を備えるイメージセンサ。
【請求項１３】
前記複数のセンサからのデータを入力する複数の入力インタフェースをさらに備える
請求項１２に記載のイメージセンサ。
【請求項１４】
前記撮像部で撮像された画像を用いて、登録されているユーザであるか否かを判定する認識部をさらに備える
請求項１２に記載のイメージセンサ。
【請求項１５】
ロック状態のときに前記検出を行い、
登録されているユーザであると判定された場合、前記ロック状態を解除する
請求項１４に記載のイメージセンサ。
【請求項１６】
積層構造とされている
請求項１２に記載のイメージセンサ。
【請求項１７】
１つのパッケージとして形成されている
請求項１２に記載のイメージセンサ。
【請求項１８】
複数のセンサと、
イメージセンサと、
アプリケーションプロセッサと
を備え、
前記イメージセンサは、
前記複数のセンサからのデータを入力する複数の入力インタフェースと、
前記入力インタフェースを介して入力される前記複数のセンサからのデータを用いて、所定の状態を検出する検出部と、
前記検出部により前記所定の状態が検出された場合、所定の被写体を撮像する撮像部と
を備える
情報処理装置。
【請求項１９】
前記イメージセンサは、
前記撮像部で撮像された画像を用いて、登録されているユーザであるか否かを判定する認識部をさらに備える
請求項１８に記載の情報処理装置。
【請求項２０】
前記検出部は、前記アプリケーションプロセッサによりロック状態に移行するとの指示を受けたときから検出を開始し、
前記認識部により、登録されているユーザであると判定された場合、前記アプリケーションプロセッサに前記ロック状態の解除の指示が出される
請求項１９に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラムに関し、例えば、ロックを解除する際のユーザの処理を軽減するようにした画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラムに関する。
【背景技術】
【０００２】
近年、スマートフォンをはじめとして、タッチセンサなどを搭載し、表示画面に対する操作体の位置により入力操作を行う情報処理装置が普及している。このような情報処理装置においては、入力操作を制限するロック機能を使用することによって、意図しない入力操作を防止している（例えば特許文献１）。ロック状態からアプリケーションの機能を利用するためには、ユーザは、ロック解除操作とアプリケーション起動操作とを行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−４８６６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが上記のような情報処理装置においては、操作性向上への要求が近年特に高まっている。このような事情に鑑みれば、アプリケーションを起動させるまでの操作性についても向上させることが望ましい。
【０００５】
本技術は、このような状況に鑑みてなされたものであり、アプリケーションを起動させるまでの操作性を向上させることができるようにするものである。
【課題を解決するための手段】
【０００６】
本技術の一側面の画像処理装置は、複数のセンサからのデータを用いて、所定の状態を検出する検出部と、前記検出部により前記所定の状態が検出された場合、所定の被写体を撮像する撮像部とを備える。
【０００７】
本技術の一側面の画像処理方法は、複数のセンサからのデータを用いて、所定の状態を検出し、前記所定の状態が検出された場合、所定の被写体を撮像するステップを含む。
【０００８】
本技術の一側面のプログラムは、コンピュータに、複数のセンサからのデータを用いて、所定の状態を検出し、前記所定の状態が検出された場合、所定の被写体を撮像するステップを含む処理を実行させるためのプログラムである。
【０００９】
本技術の一側面のイメージセンサは、複数のセンサからのデータを用いて、所定の状態を検出する検出部と、前記検出部により前記所定の状態が検出された場合、所定の被写体を撮像する撮像部とを備える。
【００１０】
本技術の一側面の情報処理装置は、複数のセンサと、イメージセンサと、アプリケーションプロセッサとを備え、前記イメージセンサは、前記複数のセンサからのデータを入力する複数の入力インタフェースと、前記入力インタフェースを介して入力される前記複数のセンサからのデータを用いて、所定の状態を検出する検出部と、前記検出部により前記所定の状態が検出された場合、所定の被写体を撮像する撮像部とを備える。
【００１１】
本技術の一側面の画像処理装置、画像処理方法、並びにプログラムにおいては、複数のセンサからのデータが用いられて、所定の状態を検出され、所定の状態が検出された場合、所定の被写体が撮像される。
【００１２】
本技術の一側面のイメージセンサにおいては、複数のセンサからのデータが用いられて、所定の状態が検出され、所定の状態が検出された場合、所定の被写体が撮像される。
【００１３】
本技術の一側面の情報処理装置においては、複数のセンサと、イメージセンサと、アプリケーションプロセッサとが備えられる。イメージセンサは、複数のセンサからのデータを入力する複数の入力インタフェースと、入力インタフェースを介して入力される複数のセンサからのデータを用いて、所定の状態を検出する検出部と、検出部により所定の状態が検出された場合、所定の被写体を撮像する撮像部とが備えられる。
【００１４】
なお、画像処理装置または情報処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００１５】
また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。
【発明の効果】
【００１６】
本技術の一側面によれば、アプリケーションを起動させるまでの操作性を向上させることができる。
【００１７】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１８】
【図１】本技術が適用される端末の一実施の形態の外観の構成を示す図である。
【図２】端末の内部構成例を示す図である。
【図３】撮像部の内部構成例を示す図である。
【図４】状態検出部の内部構成例を示す図である。
【図５】顔検出認識部の内部構成例を示す図である。
【図６】端末の動作について説明するためのフローチャートである。
【図７】イメージセンサの動作について説明するためのフローチャートである。
【図８】動作モードと電力モードについて説明するための図である。
【図９】積層イメージセンサについて説明するための図である。
【図１０】イメージセンサの使用例について説明するための図である。
【図１１】記録媒体について説明するためのフローチャートである。
【発明を実施するための形態】
【００１９】
以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。
【００２０】
＜情報処理装置の外観の構成＞
図１は、本技術が適用される画像処理装置を含む情報処理装置の一実施の形態の外観の構成を示す図である。図１に示すように、情報処理装置としての端末１０は、筐体の表面に表示部１１、撮像部１２、マイクロフォン１３、およびスピーカ１４を備える。
【００２１】
表示部１１には、タッチセンサが重畳され、表示部１１に所謂ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）が表示され、そのＧＵＩが操作されることで、ユーザからの指示が入力される構成とされている。また図示していない複数のボタンを含む操作部からも、ユーザからの指示が入力される構成とすることができる。また、音声入力によりユーザからの指示が入力される構成とすることもできる。
【００２２】
端末１０は、ロック状態からのアプリケーション起動操作の操作性が向上された情報処理装置の一例である。例えば、端末１０は、スマートフォンを含む携帯電話をはじめとし、携帯用音楽再生装置、携帯用映像処理装置、携帯用ゲーム機器、ノートＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、タブレット型ＰＣなどの情報処理装置である。またここでは携帯型の端末装置を例に説明を行うが、本技術はロック機能を有するあらゆる情報処理装置に適用することができる。
【００２３】
＜情報処理装置の内部の構成＞
図２は、端末１０の内部の構成を示す図である。なお、端末１０が、例えば、スマートフォンである場合、通話機能やネットワークに接続する機能など複数の機能を有するが、ここでは、ロック解除に係わる機能を実現する構成を図示し、説明する。
【００２４】
端末１０は、アプリケーションプロセッサ５１、イメージセンサ５２、加速度センサ５３、地磁気センサ５４、近接センサ５５を含む構成とされている。またイメージセンサ５２は、モード制御部６１、センサ制御部６２、センサ用入力インタフェース６３、センサ用入力インタフェース６４、センサ用入力インタフェース６５、状態検出部６６、撮像部６７、および顔検出認識部６８を含む構成とされている。
【００２５】
アプリケーションプロセッサ５１は、さまざまなアプリケーションの処理が可能な半導体集積回路で構成することができ、端末１０内の各部を制御する。イメージセンサ５２は、本実施の形態においては、撮像部６７で撮像する機能の他に、後述するロック解除のための端末１０の状態を検出したり、ユーザを認識したりする機能も有し、撮像した画像を処理する画像処理装置としても機能する。
【００２６】
端末１０は、複数のセンサを有しており、ここでは、図５３に示したように３個のセンサを有している。加速度センサ５３は、加速度を電圧値として検出するセンサである。加速度センサ５３は、Ｘ軸方向に沿った加速度、Ｙ軸方向に沿った加速度、およびＺ軸方向に沿った加速度をそれぞれ検出する３軸加速度センサであるようにすることができる。加速度センサ５３は、検出した加速度データを、イメージセンサ５２に備えられているセンサ用入力インタフェース６３を介して、状態検出部６６に供給する。
【００２７】
地磁気センサ５４は、地磁気を電圧値として検出するセンサである。地磁気センサ５４は、Ｘ軸方向、Ｙ軸方向、およびＺ軸方向の地磁気をそれぞれ検出する３軸地磁気センサであるようにすることができる。地磁気センサ５４は、検出した地磁気データを、イメージセンサ５２に備えられているセンサ用入力インタフェース６４を介して、状態検出部６６に供給する。
【００２８】
近接センサ５５は、非接触で検出物体が近づいたことを検出するセンサである。ここでは、近接センサ５５は、端末１０の周りの環境、例えば、鞄の中という環境や、ポケットの中という環境を検出するセンサである。近接センサ５５は、検出した環境データを、イメージセンサ５２に備えられているセンサ用入力インタフェース６５を介して、状態検出部６６に供給する。
【００２９】
イメージセンサ５２には、上記したように、複数のセンサで検出されたデータを内部に入力する複数の入力インタフェースを備える。
【００３０】
なおここでは、加速度センサ５３、地磁気センサ５４、近接センサ５５という３つのセンサを例に挙げて説明を続けるが、ジャイロセンサ、気圧センサなど、他のセンサも備えられる構成としても良い。また、端末１０に備えられている複数のセンサのそれぞれからデータを入力する複数の入力インタフェースを備える構成とされる。
【００３１】
またここでは、イメージセンサ５２は、複数のセンサのそれぞれからデータを入力する複数の入力インタフェースを備える構成であるとして説明を続けるが、イメージセンサ５２内に、加速度センサ５３、地磁気センサ５４、近接センサ５５などのセンサが含まれる構成としても良い。このように構成した場合、イメージセンサ５２に、複数のセンサのそれぞれからデータを入力する複数の入力インタフェースを備えない構成とすることも可能である。
【００３２】
イメージセンサ５２のモード制御部６１は、アプリケーションプロセッサ５１からの指示により、モードを切り替えたり、所定のモード時におけるイメージセンサ５２内の各部を制御したりする。なおモードなどについては以下に順次説明を加える。
【００３３】
センサ制御部６２は、アプリケーションプロセッサ５１からの指示により、所定のモード時に、加速度センサ５３、地磁気センサ５４、近接センサ５５などの複数のセンサを制御する。後述するように、センサ制御部６２は、ロック状態のときに、端末１０内のセンサを制御する。ロック状態ではないときには、センサは、図示していない制御部（オペレーションシステム）により制御されるように構成することも可能である。
【００３４】
状態検出部６６は、加速度センサ５３、地磁気センサ５４、近接センサ５５などの複数のセンサから得られるデータに基づき、端末１０の状態を検出する。状態として検出されるのは、例えば、端末１０がユーザにより持ち上げられ、保持されたという状態である。
【００３５】
例えば、端末１０がロック状態のときには、机の上などに置かれており、ユーザが端末１０を使用したいと所望したとき、ユーザにより持ち上げられ、保持される。このようなユーザにより端末１０が持ち上げられ、保持されたという状態を、状態検出部６６は、複数のセンサからのデータを用いて検出する。
【００３６】
撮像部６７は、図１に示した撮像部１２を構成する。撮像部６７は、図３を参照して説明するような構成を有し、被写体を撮像する機能を有する。
【００３７】
顔検出認識部６８は、撮像部６７により撮像された画像を用いて、顔が検出されたか否かを判定し、顔が検出されたと判定されるときには、さらにその検出された顔が、登録されているユーザの顔であるか否かを認識する。
【００３８】
＜撮像部の構成＞
図３に、撮像部６７の構成例を示す。図３に示した撮像部６７は、例えばＸ−Ｙアドレス方式撮像装置の一種であるＣＭＯＳイメージセンサの構成の概略を示す図である。ここで、ＣＭＯＳイメージセンサとは、ＣＭＯＳプロセスを応用して、または、部分的に使用して作成されたイメージセンサである。
【００３９】
図３に示した撮像部６７は、図示せぬ半導体基板上に形成された画素アレイ部１１１と、当該画素アレイ部１１１と同じ半導体基板上に集積された周辺回路部とを有する構成となっている。周辺回路部は、例えば、垂直駆動部１１２、カラム処理部１１３、水平駆動部１１４およびシステム制御部１１５から構成されている。
【００４０】
撮像部６７はさらに、信号処理部１１８およびデータ格納部１１９を備えている。信号処理部１１８およびデータ格納部１１９については、撮像部６７と同じ基板上に搭載しても構わないし、撮像部６７とは別の基板上に配置するようにしても構わない。また、信号処理部１１８およびデータ格納部１１９の各処理については、撮像部６７とは別の基板に設けられる外部信号処理部、例えば、ＤＳＰ（Digital Signal Processor）回路やソフトウエアによる処理でも構わない。
【００４１】
画素アレイ部１１１は、受光した光量に応じた光電荷を生成しかつ蓄積する光電変換部を有する単位画素（以下、単に「画素」と記述する場合もある）が行方向および列方向に、即ち、行列状に２次元配置された構成となっている。ここで、行方向とは画素行の画素の配列方向（即ち、水平方向）を言い、列方向とは画素列の画素の配列方向（即ち、垂直方向）を言う。
【００４２】
画素アレイ部１１１において、行列状の画素配列に対して、画素行毎に画素駆動線１１６が行方向に沿って配線され、画素列毎に垂直信号線１１７が列方向に沿って配線されている。画素駆動線１１６は、画素から信号を読み出す際の駆動を行うための駆動信号を伝送する。図３では、画素駆動線１１６について１本の配線として示しているが、１本に限られるものではない。画素駆動線１１６の一端は、垂直駆動部１１２の各行に対応した出力端に接続されている。
【００４３】
垂直駆動部１１２は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部１１１の各画素を全画素同時あるいは行単位等で駆動する。すなわち、垂直駆動部１１２は、当該垂直駆動部１１２を制御するシステム制御部１１５と共に、画素アレイ部１１１の各画素を駆動する駆動部を構成している。この垂直駆動部１１２はその具体的な構成については図示を省略するが、一般的に、読出し走査系と掃き出し走査系の２つの走査系を有する構成となっている。
【００４４】
読出し走査系は、単位画素から信号を読み出すために、画素アレイ部１１１の単位画素を行単位で順に選択走査する。単位画素から読み出される信号はアナログ信号である。掃き出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対して、その読出し走査よりもシャッタスピードの時間分だけ先行して掃き出し走査を行う。
【００４５】
この掃き出し走査系による掃き出し走査により、読出し行の単位画素の光電変換部から不要な電荷が掃き出されることによって当該光電変換部がリセットされる。そして、この掃き出し走査系による不要電荷の掃き出す（リセットする）ことにより、所謂電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、光電変換部の光電荷を捨てて、新たに露光を開始する（光電荷の蓄積を開始する）動作のことを言う。
【００４６】
読出し走査系による読出し動作によって読み出される信号は、その直前の読出し動作または電子シャッタ動作以降に受光した光量に対応するものである。そして、直前の読出し動作による読出しタイミングまたは電子シャッタ動作による掃き出しタイミングから、今回の読出し動作による読出しタイミングまでの期間が、単位画素における光電荷の露光期間となる。
【００４７】
垂直駆動部１１２によって選択走査された画素行の各単位画素から出力される信号は、画素列毎に垂直信号線１１７の各々を通してカラム処理部１１３に入力される。カラム処理部１１３は、画素アレイ部１１１の画素列毎に、選択行の各画素から垂直信号線１１７を通して出力される信号に対して所定の信号処理を行うとともに、信号処理後の画素信号を一時的に保持する。
【００４８】
具体的には、カラム処理部１１３は、信号処理として少なくとも、ノイズ除去処理、例えばＣＤＳ（Correlated Double Sampling;相関二重サンプリング）処理を行う。このカラム処理部１１３によるＣＤＳ処理により、リセットノイズや画素内の増幅トランジスタの閾値ばらつき等の画素固有の固定パターンノイズが除去される。カラム処理部１１３にノイズ除去処理以外に、例えば、ＡＤ（アナログ−デジタル）変換機能を持たせ、アナログの画素信号をデジタル信号に変換して出力することも可能である。
【００４９】
水平駆動部１１４は、シフトレジスタやアドレスデコーダなどによって構成され、カラム処理部１１３の画素列に対応する単位回路を順番に選択する。この水平駆動部１１４による選択走査により、カラム処理部１１３において単位回路毎に信号処理された画素信号が順番に出力される。
【００５０】
システム制御部１１５は、各種のタイミング信号を生成するタイミングジェネレータなどによって構成され、当該タイミングジェネレータで生成された各種のタイミングを基に、垂直駆動部１１２、カラム処理部１１３、および、水平駆動部１１４などの駆動制御を行う。
【００５１】
信号処理部１１８は、少なくとも演算処理機能を有し、カラム処理部１１３から出力される画素信号に対して演算処理等の種々の信号処理を行う。データ格納部１１９は、信号処理部１１８での信号処理に当たって、その処理に必要なデータを一時的に格納する。
【００５２】
このような構成を有する撮像部６７は、モード制御部６１からの指示があったときに、撮像し、撮像した画像（の画像データ）を、顔検出認識部６８に供給する。
【００５３】
＜状態検出部の構成＞
図４は、イメージセンサ５２に含まれる状態検出部６６（図２）の構成例を示す図である。状態検出部６６は、動き判定部１５１、手持ちホールド判定部１５２、静止判定部１５３、端末状態検出部１５４、環境検出部１５５、および状態判定部１５６を含む構成とされている。
【００５４】
動き判定部１５１、手持ちホールド判定部１５２、静止判定部１５３、端末状態検出部１５４には、それぞれ加速度センサ５３からのデータが、センサ用入力インタフェース６３を介して供給される。端末状態検出部１５４には、地磁気センサ５４からのデータもセンサ用入力インタフェース６４を介して供給される。
【００５５】
環境検出部１５５には、近接センサ５５からのデータがセンサ用入力インタフェース６５を介して供給される。
【００５６】
動き判定部１５１は、加速度センサ５３からのデータ、主にＺ軸方向のデータを用いて、加速度から端末１０が動かされたか否かの判定を行う。
【００５７】
手持ちホールド判定部１５２は、加速度センサ５３からのデータ、主にＺ軸方向のデータを用いて、端末１０がユーザにより手持ちされている状態で静止しているか否かの判定を行う。
【００５８】
静止判定部１５３は、加速度センサ５３からのデータ、主にＸ軸方向とＹ軸方向のデータを用いて、端末１０が静止しているか否かの判定を行う。
【００５９】
手持ちホールド判定部１５２と静止判定部１５３は、共に端末１０が静止しているか否かの判定を行うが、手持ちホールド判定部１５２は、端末１０がユーザの手により持たれている状態で静止しているか否かを判定し、静止判定部１５３は、端末１０が机などに置かれている状態で静止している否かを判定する点で異なる。
【００６０】
端末状態検出部１５４は、加速度センサ５３と地磁気センサ５４からのデータを用いて、端末１０の状態、例えば、端末１０が地面に対してどのような角度を有しているかなどを検出し、端末１０の状態が、検出が禁止されている状態であるか否かを判定する。
【００６１】
後述するように、顔を検出する処理が行われるため、検出が禁止されている状態とは、顔を撮像できない状態である。例えば、端末１０の撮像部１２が、下を向いている状態、換言すれば、端末１０が地面と平行な状態にあるときには、撮像しても地面が撮影されるだけであり、ユーザの顔は撮像できないと考えられる。よって、このように、顔を検出するときには、顔が検出できない状態が、検出が禁止されている状態（検出禁止状態）であると設定されている。
【００６２】
環境検出部１５５は、近接センサ５５からのデータを用いて、端末１０の周りの環境が、検出禁止環境であるか否かを判定する。検出禁止環境とは、仮に撮影を行っても顔が撮影されている可能性が低い環境である場合を示す。
【００６３】
例えば、端末１０が鞄の中にあるという環境下では、撮影しても、顔が撮像されている可能性は低いため、そのような端末１０が鞄の中にあるという環境は、検出禁止環境である。また、例えば、端末１０がポケットの中にあるという環境下も、撮影しても、顔が撮像されている可能性は低いため、そのような端末１０がポケットの中にあるという環境も、検出禁止環境である。
【００６４】
状態判定部１５６は、動き判定部１５１、手持ちホールド判定部１５２、静止判定部１５３、端末状態検出部１５４、および環境検出部１５５からのそれぞれの判定結果を用いて、端末１０の状態を判定する。
【００６５】
ここで、ロックがかかっている端末１０を、ユーザが使用したいと所望したときを、使用開始状態と記述する。
【００６６】
動き判定部１５１、手持ちホールド判定部１５２、静止判定部１５３のそれぞれの判定結果から、使用開始状態の判定を行うことはできる。しかしながら、動き判定部１５１、手持ちホールド判定部１５２、静止判定部１５３からの判定結果だけでは、例えば、ユーザが歩行時や乗り物に乗車しているときなどに、使用開始状態を誤検出してしまう可能性がある。
【００６７】
さらに、端末状態検出部１５４と環境検出部１５５からのそれぞれの判定結果も用いるようにすることで、そのような誤検出してしまう可能性を低減させることができる。よって、本実施の形態の一例として状態判定部１５６は、動き判定部１５１、手持ちホールド判定部１５２、静止判定部１５３、端末状態検出部１５４、および環境検出部１５５からのそれぞれの判定結果を用いて、端末１０の状態を判定する場合を例に挙げて説明を続ける。
【００６８】
＜顔検出認識部の構成＞
図５は、顔検出認識部６８の内部構成を示す図である。顔検出認識部６８は、顔検出部２０１、特徴量抽出部２０２、マッチング部２０３、および特徴量記憶部２０４を含む構成とされている。
【００６９】
顔検出部２０１は、撮像部６７から供給される画像を解析し、顔と判定される領域を検出する。顔検出部２０１により顔と判定できる領域が検出された場合、その顔から、特徴量が、特徴量検出部２０２により抽出される。
【００７０】
特徴量抽出部２０２は、例えば、顔と判定された領域から、目、鼻、口などの顔を構成するパーツを検出し、その大きさや位置関係などを特徴量として抽出する。抽出された特徴量は、マッチング部２０３に供給される。
【００７１】
端末１０のユーザを登録する処理が実行されたときには、特徴量抽出部２０２により抽出された特徴量は、特徴量記憶部２０４に供給され、登録される。すなわち、特徴量記憶部２０４には、端末１０のユーザとして登録されたユーザの顔画像から抽出された特徴量が記憶されている。
【００７２】
複数のユーザのそれぞれの特徴量が記憶されていても良いし、１人のユーザの特徴量のみが記憶されていても良い。すなわち端末１０のユーザとして、複数人登録できるように構成されていても良いし、１人のみ登録できるように構成されていても良い。
【００７３】
本技術によれば、顔認証（顔認識）により端末１０のロック状態を解除することができるため、例えば、複数人登録されている場合、ロックが解除されたときに、ユーザにあった画面、例えば、待ち受け画面や所定のアプリケーションを起動するといった認識されたユーザ毎の対応を取ることが可能である。
【００７４】
マッチング部２０３は、特徴量抽出部２０２から供給された特徴量と、特徴量記憶部２０４に記憶されている特徴量とのマッチングを取り、処理対象とされているユーザ（撮像されたユーザ）が、端末１０のユーザとして登録されているユーザであるか否かを判定する。
【００７５】
マッチング部２０３により、登録されているユーザであるか否かの判定まで行い、その判定結果がモード制御部６１に供給されるようにしても良いし、登録されているユーザである確率を表すマッチング度が算出され、そのマッチング度がモード制御部６１に供給され、モード制御部６１で登録されているユーザであるか否かの判定が行われるようにしても良い。
【００７６】
例えば、モード制御部６１で登録されているユーザであるか否かの判定を行うようにした場合、モード制御部６１は、例えば、マッチング度が登録されているユーザであるか否かを判定しづらい範囲内の数値であった場合、撮像部６７に再度の撮影を行うように指示を出したり、顔検出認識部６８に再度の顔検出、顔認識を行うように指示を出したりするように構成することができる。
【００７７】
＜端末の動作＞
図６に示したフローチャートを参照し、図２に示したアプリケーションプロセッサ５１、イメージセンサ５２、および加速度センサ５３などのセンサの動作について説明する。
【００７８】
アプリケーションプロセッサ５１は、ステップＳ１１において、通常動作で動作している。アプリケーションプロセッサ５１が通常動作のときは、アプリケーションプロセッサ５１は起動され、所定のアプリケーションを制御している状態である。また、アプリケーションプロセッサ５１が通常動作のときには、ユーザが端末１０を使用している状態であり、ロックはかかっていない状態である。
【００７９】
なお、図示していないが、端末１０のオペレーションシステムも起動しており、ユーザからの指示などに応じた処理を実行している。
【００８０】
ユーザからの指示があった場合や、操作されていない状態が所定の時間継続した場合など、スリープ状態に移行する。スリープ状態への移行の指示は、オペレーションシステムから、アプリケーションプロセッサ５１に対して出される。
【００８１】
スリープの状態のときには、オペレーションシステムやアプリケーションプロセッサ５１は起動されていない状態とされ、消費電力が抑えられている状態とされる。また、スリープの状態への移行は、上記したように、ユーザにより指示が出されたときにも行われるが、端末１０が操作されずに、所定の時間だけ経過した場合にも行われる。
【００８２】
また、スリープの状態に移行した場合、誤動作が発生しないように、また登録されているユーザ以外のユーザに不正に操作されないように、ロックがかかった状態に移行される。ロックがかかった状態では、端末１０は操作できない状態とされる。例えばアプリケーションを起動させ、そのアプリケーションによる処理を実行したり、電話をかけたりすることができない状態とされる。
【００８３】
なお、ここでは、スリープ状態になるとロック状態になるとして説明を続けるが、スリープ状態にはなるが、ロック状態にならないという設定であっても良い。すなわち、スリープ状態になり、低電力で動作するような状態になるが、ロック状態ではなく、ユーザからの指示を受け付けられる状態が継続されるようにしても良い。
【００８４】
以下の説明においては、スリープ状態なるとロック状態になり、以下に説明する処理により、ロック状態が解除されるとして説明を続けるが、例えば、スリープ状態であるが、ロック状態ではないときに、そのスリープ状態を解除するような場合にも、以下に説明する処理を適用できる。
【００８５】
すなわち、本技術はロック状態を解除するときにのみ適用が限定されるわけではなく、何らかの状態を解除する、例えばスリープ状態を解除するなどのときにも適用可能である。
【００８６】
ステップＳ１２において、アプリケーションプロセッサ５１は、オペレーションシステムからスリープの要求があったか否かを判定する。アプリケーションプロセッサ５１は、スリープの要求があったと判定するまで、ステップＳ１１に処理を戻し、通常動作を継続する。
【００８７】
一方、ステップＳ１２において、アプリケーションプロセッサ５１は、スリープの要求があったと判定した場合、ステップＳ１３に処理を進める。ステップＳ１３において、アプリケーションプロセッサ５１は、状態検出モードへの移行の指示を、イメージセンサ５２に対して出す。このような指示を出すとともに、アプリケーションプロセッサ５１は、ステップＳ１４において、スリープ状態に移行する。
【００８８】
ステップＳ３１において、イメージセンサ５２は、アプリケーションプロセッサ５１からの状態検出モードへの移行の指示を受け取る。状態検出モードとは、端末１０のロックの状態を解除し、使用するとの意志表示がユーザによりなされたことを検出するモードである。具体的には、ユーザの顔が撮影される状態で、端末１０がユーザにより保持されたことを検出するモードである。
【００８９】
イメージセンサ５２は、状態検出モードに移行すると、ステップＳ３２において、センサの制御を開始する。イメージセンサ５２内のセンサ制御部６２は、イメージセンサ５２外に設けられている加速度センサ５３、地磁気センサ５４、および近接センサ５５を制御する。例えば、これらのセンサを駆動させ、所定の周期で、センサ用入力インタフェース６３乃至６５を介して、状態検出部６６にデータを入力させるように制御する。
【００９０】
イメージセンサ５２は、ステップＳ５１において、イメージセンサ５２からの指示を受け取り、ステップＳ５２において、検出を開始し、検出結果を、状態検出部６６に出力する。
【００９１】
イメージセンサ５２は、ステップＳ３３において、センサからの出力を受け取ると、ステップＳ３４において、ロック解除の指示判定を行う。このロック解除の指示判定については、図７のフローチャートを参照して後述するが、ユーザが端末１０を保持したか否か、撮像された画像から顔を検出し、検出された顔が、端末１０のユーザとして登録されているか否かなどの判定を含む処理が行われる。
【００９２】
ステップＳ３５において、ステップＳ３４におけるロック解除の指示判定の判定結果が用いられ、ロック解除が指示されたか否かが判定される。ステップＳ３５において、ロック解除が指示されたと判定されるまで、ステップＳ３３に処理が戻され、状態検出モードにおける処理が継続される。
【００９３】
一方、ステップＳ３５において、ロック解除が指示されたと判定された場合、処理はステップＳ３６に進められる。ステップＳ３６において、イメージセンサ５２のモード制御部６１は、アプリケーションプロセッサ５１に対して、起動指示を出す。すなわちこの場合、アプリケーションプロセッサ５１は、スリープ状態にあり、起動を停止している状態であるため、再起動させるための指示が出される。
【００９４】
ステップＳ１５において、アプリケーションプロセッサ５１は、イメージセンサ５２からの起動指示を受け取ると、ステップＳ１６に処理を進め、スリープ状態を解除し、スリープ状態から通常動作状態に移行する。そして、ステップＳ１７において、アプリケーションプロセッサ５１は、通常動作を開始する。アプリケーションプロセッサ５１が通常動作を開始することで、ロック状態は解除される。
【００９５】
このように、端末１０がロック状態にされているとき、そのロック状態を解除する指示が出されたときに即座に対応できるようにするための処理が、イメージセンサ５２により行われる。イメージセンサ５２内で、このような処理が実行されるため、消費電力を低減させることが可能となる。
【００９６】
＜イメージセンサにおけるロック解除の指示判定処理＞
図７のフローチャートを参照し、イメージセンサ５２において、ステップＳ３４における処理として実行されるロック解除の指示判定に係わる処理について説明する。
【００９７】
ステップＳ１０１において、状態検出部６６は、複数のセンサからそれぞれデータを取得する。図２に示した端末１０の場合、複数のセンサとして、加速度センサ５３、地磁気センサ５４、および近接センサ５５が備えられているため、これら３個のセンサから、それぞれデータが取得される。
【００９８】
イメージセンサ５２は、イメージセンサ５２外のセンサからのデータを入力するための複数の入力インタフェース（図２では、センサ用入力インタフェース６３乃至６５）を備えている。この入力インタフェースを介して、センサからのデータがイメージセンサ５２内の状態検出部６６に供給される。
【００９９】
ステップＳ１０２において、状態検出部６６は、端末１０の状態を検出する。状態検出部６６は、図４を参照して説明したような構成を有し、動き判定、手持ちホールド判定、静止判定、端末状態検出判定、環境検出判定を行い、それらの判定結果から、端末１０の状態を検出する。
【０１００】
検出される端末１０の状態として検出されるのは、机の上などに載置されている状態（静止状態）、歩いている状態（乗り物に乗っている状態）、鞄やポケットなどに入れられている状態など、ユーザが端末１０を使用していない状態から、ユーザに保持された状態に移行したか否かが検出される。
【０１０１】
さらに、ユーザが端末１０を保持した状態から、顔を撮像できる位置に端末１０を静止した状態で保持したか否かが検出される。
【０１０２】
このような状態の変化を検出するには、複数のセンサを用いて行う方が、１つのセンサを用いて行うよりも精度良く検出できるため、ここでは、上記したように、複数のセンサを用いて検出する場合を例に挙げて説明する。
【０１０３】
ステップＳ１０３において、状態検出部６６（状態検出部６６の状態判定部１５６（図４））は、端末１０が、ユーザの顔を撮像できる状態で保持されたか否かを判定する。ステップＳ１０３において、保持された状態であると判定されるまで、ステップＳ１０１に処理が戻され、それ以降の処理が繰り返される。
【０１０４】
一方で、ステップＳ１０３において、保持された状態であると判定された場合、ステップＳ１０４に処理が進められる。状態検出部６６は、端末１０が保持されている状態である（撮像可能な状態である）ことを検出した場合、そのことをモード制御部６１（図２）に通知する。モード制御部６１は、状態検出部６６からの通知を受け取ると、ステップＳ１０４において、撮像部６７を省電力モードで起動させる。
【０１０５】
すなわち、ステップＳ１０１乃至Ｓ１０３の処理が実行されている間は、状態検出部６６は、起動されている状態であるが、撮像部６７と顔検出認識部６８は、起動されていない状態である。そのような状態から、ステップＳ１０４において、撮像部６７が起動される。
【０１０６】
以下の説明において、ステップＳ１０１乃至Ｓ１０３の処理が実行されているときのモードを、状態検出モードと記述する。また、ステップＳ１０４乃至Ｓ１０７の処理が実行されているときのモードを、顔認証モードと記述する。
【０１０７】
モード制御部６１は、アプリケーションプロセッサ５１にスリープの要求があり、アプリケーションプロセッサ５１から検出モードへの移行が指示されたとき（図６のステップＳ１３、ステップＳ３１の処理）、イメージセンサ５２内を指示待ちモードから状態検出モードにする。
【０１０８】
指示待ちモードとは、アプリケーションプロセッサ５１からの指示を待っている状態である。この指示待ちモードのときには、状態検出部６６、撮像部６７、顔検出認識部６８は、起動されていない状態である。なお、撮像部６７は、画像や映像を撮像するときにも用いられるため、アプリケーションプロセッサ５１が画像や映像を撮像するアプリケーションを起動しているときなど、適宜起動される。
【０１０９】
状態検出モードのときには、状態検出部６６が起動されている状態である。モード制御部６１は、指示待ちモードから状態検出モードに移行するとき、状態検出部６６を起動し、外部の複数のセンサからのデータを受け入れ、端末１０の状態を判定するように指示を出す。
【０１１０】
モード制御部６１は、状態検出モードのときに、端末１０が保持されたとの判定結果を受け取ると、顔認識モードに移行する。顔認識モードに移行した場合、撮像部６７と顔検出認識部６８が起動される。なお、顔認識モードのときに、状態検出部６６の起動をそのまま維持するか、または停止するかは、どちらに設定されていても良い。
【０１１１】
撮像部６７が起動されると、撮像が行われる。すなわち撮像部６７は、ステップＳ１０５（図７）において、撮像する。顔認識モードのときには、撮像部６７は、小電力モードに設定される。
【０１１２】
例えば、図３を参照して説明したように、撮像部６７は、複数の画素が２次元的に配置されている画素アレイ部１１１を有しているが、小電力モード（顔認識モード）のときには、画素アレイ部１１１内の全ての画素を用いて撮像を行うのではなく、少ない画素を用いて撮像が行われる。
【０１１３】
近年、高解像化に伴い、画素数が増加する傾向にあるが、顔認識モードのときには、顔を認識できる程の解像度があれば良い。また、同時に複数の人を認識する必要はなく、１枚の画像から１人を認識できれば良い。また、認識すべき１人は、画像内の中央部分に撮像されている人に限定することが可能である。
【０１１４】
このようなことから、画素アレイ部１１１内の全ての画素を用いるのではなく、間引いた画素を用いたり、所定の領域、例えば中央の領域にある画素のみを用いたりする設定とすることができる。画素アレイ部１１１内の限定された画素のみを用いることで、画素アレイ部１１１内の全ての画素を用いる場合に比べて、消費電力を低減させることができる。
【０１１５】
ステップＳ１０５において、撮像部６７により撮像された画像（画像データ）は、顔検出認識部６８に供給される。顔検出認識部６８は、ステップＳ１０６において顔認証処理を実行する。顔検出認識部６８は、図５を参照して説明したような構成を有し、顔検出部２０１により供給された画像から顔と判定できる領域が検出され、顔と判定された領域から特徴量抽出部２０２により特徴量が抽出される。
【０１１６】
そして、マッチング部２０３により抽出された特徴量と特徴量記憶部２０４に記憶されている特徴量が比較され、登録されているユーザであるか否かの判定が行われる。すなわちユーザ認証（ユーザの認識）が行われる。
【０１１７】
ステップＳ１０７において、登録されているユーザであるか否かが判定される。この判定は、顔検出部認識部６８が行い、その結果を、モード制御部６１に供給するよう構成することができる。または、顔検出部認識部６８からは、登録されているユーザである確率を表すマッチング度がモード制御部６１に供給され、モード制御部６１が、登録されているユーザであるか否かの判定を行うように構成することができる。
【０１１８】
なお、ステップＳ１０６において、上述したようにして顔認証処理が実行されるが、顔検出部２０１（図５）で顔が検出されなかった場合、顔検出部２０１以降の処理は行われないように構成しても良い。また顔検出部２０１（図５）で顔が検出されなかった場合に、顔検出部２０１以降の処理は行われないように構成した場合、ステップＳ１０７においては、登録されているユーザではないと判定される。
【０１１９】
ステップＳ１０７において、登録されているユーザではないと判定された場合、処理は、ステップＳ１０１に戻され、それ以降の処理が繰り返される。
【０１２０】
一方、ステップＳ１０７において、登録されているユーザであると判定された場合、処理は、ステップＳ１０８に進められる。ステップＳ１０８において、モード制御部６１は、アプリケーションプロセッサ５１（図２）に対して、ロック状態を解除する指示を出す。
【０１２１】
このようにして、イメージセンサ５２は、ロック状態の端末１０の状態を検出し、端末１０が保持された状態であると検出したときに、ユーザを撮影し、その撮影されたユーザが、登録されているユーザであるか否かを判定し、登録されているユーザであると判定されたときに、ロック状態を解除する指示を出す。
【０１２２】
このようにイメージセンサ５２において処理がなされることで、ユーザは、簡便な操作だけで、ロック状態を解除することが可能となる。すなわちユーザは、端末１０を、自己の顔の前で保持するだけで、ロック状態を解除することができる。
【０１２３】
このように、本技術によれば、ユーザに明示的な動作を行わせずに、端末１０のロック状態を解除することが可能となる。
【０１２４】
＜イメージセンサの動作モードと電力モードについて＞
本技術によれば、消費電力を低減させることができる。このことについて、図８を参照して説明する。
【０１２５】
図８は、イメージセンサ５２の動作モードと電力モードとの関係を示した図である。イメージセンサ５２が、アプリケーションプロセッサ５１からの指示を待つ指示待ちモードのときは、スタンバイ電力モードである。スタンバイ電力モードは、例えば、ステップＳ３１（図６）において、アプリケーションプロセッサ５１から状態検出モードへの移行が指示されるまでのモードである。
【０１２６】
スタンバイ電力モードのときは、例えば、画像を撮影するアプリケーションが起動され、撮像部６７による撮影が行われるときには、そのための電力が消費されるモードである。換言すれば、スタンバイ電力モードのときは、イメージセンサ５２で消費される電力は、他の部分の動作に依存して変化する。
【０１２７】
指示待ちモードのときに、アプリケーションプロセッサ５１から、状態検出モードへの移行が指示されると、イメージセンサ５２は、指示待ちモードから状態検出モードへと移行する。状態検出モードのときは、最小電力モードである。最小電力モードのときは、状態検出部６６が起動された状態である。最小電力モードは、例えば、ステップＳ１０１乃至Ｓ１０３（図７）の処理が実行されるときのモードである。
【０１２８】
状態検出モードのときに、状態検出部６６により、端末１０がユーザの顔の前で保持された状態であることが検出されると、イメージセンサ５２は、状態検出モードから、顔認証モードへと移行する。顔認証モードのときは、小電力モードである。小電力モードのときは、撮像部６７（撮像部６７の一部）と顔検出認識部６８が起動された状態である。小電力モードは、例えば、ステップＳ１０４乃至Ｓ１０７（図７）の処理が実行されるときのモードである。
【０１２９】
顔認証モードのときに、顔検出認識部６８により、端末１０のユーザとして登録されているユーザが撮影されたと判定されると、イメージセンサ５２は、顔認証モードから、起動指示モードに移行する。起動指示モードは、アプリケーションプロセッサ５１に対して通知を出すことができるモードであり、イメージセンサ５２内部だけを制御するときよりも多くの電力が必要とされる。
【０１３０】
起動指示モードのときは、通常電力モードである。通常電力モードは、例えば、ステップＳ１６（図６）（ステップＳ１０８（図７））の処理が実行されるときのモードである。
【０１３１】
起動指示モードの後、指示待ちモードに戻され、電力モードは、通常電力モードからスタンバイ電力モードに戻される。このようなモードの遷移が繰り返される。
【０１３２】
これらの電力モードを消費電力順に並べると、
最小電力モード＜小電力モード＜通常電力モード
となる。スタンバイ電力モードのときは、消費電力が変化する可能性があるため、これらのモードとの比較はここでは行わない。
【０１３３】
このように、イメージセンサ５２は、動作モードにより電力モードが異なるため、イメージセンサ５２自体で消費する電力を低減させることができる。また、状態検出や顔認識などの処理をイメージセンサ５２内で行うため、端末１０で消費する電力を低減させることができる。
【０１３４】
例えば、顔認識をイメージセンサ５２外で行う場合、アプリケーションプロセッサ５１により顔認識のアプリケーションが制御されることで行う構成とされる。このようにした場合、端末１０がロック状態のときにも、アプリケーションプロセッサ５１を起動させ、顔認識のアプリケーションを起動させていなければ、上記したような処理を行うことはできない。
【０１３５】
これに対して、本実施の形態においては、端末１０がロック状態のときには、アプリケーションプロセッサ５１は起動されていないため、明らかに本実施の形態を適用することで消費電力を低減させることができる。
【０１３６】
また、イメージセンサ５２は複数の電力モードで動作するため、細かな電力の制御を行うことが可能となり、消費電力を低減させることができる。
【０１３７】
このように、本実施の形態によれば、消費電力を低減させることもできる。
【０１３８】
＜イメージセンサを積層構造で構成した場合について＞
図２に示したイメージセンサ５２は、１つの基板上に各部が形成され、１つのパッケージとして形成されていても良い。すなわち、イメージセンサ５２を構成する、モード制御部６１、センサ制御部６２、センサ用入力インタフェース６３乃至６５、状態検出部６６、撮像部６７、および顔検出認識部６８を、１つの基板上に形成し、１つのパッケージとして形成されるようにしても良い。
【０１３９】
また図２に示したイメージセンサ５２を、複数の基板（ダイ）を積層した積層イメージセンサで構成することもできる。図９は、図２のイメージセンサ５２を内蔵させた積層イメージセンサの構成例を示す図である。図９の積層イメージセンサは、画素基板３０１と信号処理基板３０２とが積層された２層構造になっている。
【０１４０】
画素基板３０１には、イメージセンサ５２に含まれる撮像部６７が形成されている。また図示はしないが、撮像部６７に含まれる画素アレイ部１１１（図３）を画素基板３０１に形成し、撮像部６７の画素アレイ部１１１以外は、信号処理基板３０２に形成するようにすることもできる。
【０１４１】
信号処理基板３０２には、モード制御部６１、センサ制御部６２、センサ用入力インタフェース６３乃至６５、状態検出部６６、および顔検出認識部６８が形成されている。
【０１４２】
このように、積層イメージセンサとして、イメージセンサ５２を形成しても良い。また、積層イメージセンサは、２層の基板の他、３層や４層以上の基板を積層して構成することができる。例えば、メモリ（例えば、顔検出認識部６８に含まれる特徴量記憶部２０４（図５））を、画素基板３０１と信号処理基板３０２以外の層（メモり層）に設け、そのメモリ層を、画素基板３０１と信号処理基板３０２の間や、信号処理基板３０２の下側に設ける構成としても良い。
【０１４３】
また、３層構造とし、３層目に、センサ制御部６２、センサ用入力インタフェース６３乃至６５、状態検出部６６を形成し、２層目に、モード制御部６１と顔検出認識部６８を形成し、１層目に撮像部６７を形成するようにしても良い。
【０１４４】
このように構成した場合、状態検出モード（最小電力モード）のときには、３層目に電力が供給され、顔認証モード（小電力モード）のときには、２層目と１層目に電力が供給されるようにすることができる。すなわち、電力モードに基づき、電力を供給する層を選択的に制御することが可能な構成とすることができる。
【０１４５】
このように、イメージセンサ５２を積層イメージセンサとして構成し、１つのパッケージとして構成することも可能である。
【０１４６】
なお、上述した実施の形態においては、端末１０を例に挙げて説明したが、端末１０以外の装置にイメージセンサ５２を搭載し、上記したロック状態を解除する機能を付加することも可能である。すなわち、本技術は、ロック状態があり、そのようなロック状態を解除する機能がある装置に適用することができる。
【０１４７】
また、上述した実施の形態においては、ロック状態を解除する場合を例に挙げて説明したが、ユーザを認証する認証装置に本技術を適用できる。すなわち、上記した説明においては、ユーザを認証し、ロック状態を解除する例を挙げて説明したが、ユーザを認証する装置に対しても本技術を適用することができる。例えば、ユーザを認証し、認証されたユーザに紐付けられている何らかの処理、例えば、所定のアプリケーションを起動するといった処理が実行されるような装置に対しても本技術を適用できる。
【０１４８】
また、上述した実施の形態においては、イメージセンサ５２に顔検出認識部６８が含まれ、イメージセンサ５２内でユーザ認証まで行われる例を挙げて説明したが、ユーザ認証に係わる処理は、イメージセンサ５２以外の部分で行われるように構成することも可能である。
【０１４９】
例えば、顔検出認識部６８は、イメージセンサ５２外に設けられ、アプリケーションプロセッサ５１が制御する構成としても良い。また、このように構成した場合、状態検出部６６でユーザが保持した状態であることを検出されたとき、モード制御部６１から、アプリケーションプロセッサ５１の起動が指示される。
【０１５０】
すなわち、イメージセンサ５２で、所定の状態が検出されたことを、アプリケーションプロセッサ５１の起動トリガーとし、アプリケーションプロセッサ５１が起動されるように構成しても良い。このように構成することで、アプリケーションプロセッサ５１による制御により、上記したユーザ認証を行い、ロック状態を解除する処理を行うことも可能であるし、アプリケーションプロセッサ５１による他の処理が実行されるように構成することも可能である。
【０１５１】
また、アプリケーションプロセッサ５１の起動トリガーが発行されるのは、上記したユーザが端末１０を保持した状態に係わらず、所定の物体を検知した場合などに発行されるように種々変更することも可能である。
【０１５２】
また、上記した実施の形態では、ユーザを認証する場合を例に挙げて説明したが、ユーザ以外を認証（検出）するような場合にも本技術を適用することはできる。例えば、車に上記したイメージセンサ５２を搭載し、状態検出モードのときには、車が走行を開始したか否かを検出するようにする。
【０１５３】
そして、車が走行しているときには顔認識モードに移行し、人を検出するモードとする（よって、人認識モードとしても良い）。人を検出したときには、減速するなど所定の処理を行うように車を制御するように構成する。このような場合にも本技術を適用することはできる。
【０１５４】
そこで、本技術を適用できる例を以下に示す。
【０１５５】
＜イメージセンサの使用例＞
図１０は、上述のイメージセンサ５２を使用する使用例を示す図である。
【０１５６】
イメージセンサ５２は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングするさまざまなケースに使用することができる。
【０１５７】
・デジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
【０１５８】
イメージセンサ５２は、電子を信号電荷とするもの、正孔を信号電荷とするものの両方に適用できる。
【０１５９】
また、本開示は、可視光の入射光量の分布を検知して画像として撮像する撮像装置への適用に限らず、赤外線やＸ線、あるいは粒子等の入射量の分布を画像として撮像する撮像装置や、広義の意味として、圧力や静電容量など、他の物理量の分布を検知して画像として撮像する指紋検出センサ等の撮像装置（物理量分布検知装置）全般に対して適用可能である。
【０１６０】
＜記録媒体について＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１６１】
図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、およびドライブ５１０が接続されている。
【０１６２】
入力部５０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア５１１を駆動する。
【０１６３】
以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５およびバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。
【０１６４】
コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１６５】
コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記憶部５０８に、あらかじめインストールしておくことができる。
【０１６６】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１６７】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１６８】
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また他の効果があってもよい。
【０１６９】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１７０】
なお、本技術は以下のような構成も取ることができる。
（１）
複数のセンサからのデータを用いて、所定の状態を検出する検出部と、
前記検出部により前記所定の状態が検出された場合、所定の被写体を撮像する撮像部と
を備える画像処理装置。
（２）
前記複数のセンサからのデータを入力する複数の入力インタフェースをさらに備える
前記（１）に記載の画像処理装置。
（３）
アプリケーションプロセッサが起動している状態から、起動していない状態に移行したとき、前記検出部による検出が開始される
前記（１）または（２）に記載の画像処理装置。
（４）
前記検出部により前記所定の状態が検出されたとき、前記撮像部が起動される
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
前記検出部は、前記所定の状態として、前記撮像部がユーザの顔を撮像できる状態にされたか否かを検出する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記撮像部で撮像された画像を用いて、登録されているユーザであるか否かを判定する認識部をさらに備える
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記検出部は、ロック状態のときに、検出を行い、
前記認識部で登録されているユーザであると判定された場合、前記ロック状態を解除する
前記（６）に記載の画像処理装置。
（８）
前記ロック状態の解除の指示は、アプリケーションプロセッサに対して出される
前記（７）に記載の画像処理装置。
（９）
前記撮像部は、前記認識部で行われる認証に必要とされる画素数で撮像を行う
前記（７）に記載の画像処理装置。
（１０）
複数のセンサからのデータを用いて、所定の状態を検出し、
前記所定の状態が検出された場合、所定の被写体を撮像する
ステップを含む画像処理方法。
（１１）
コンピュータに、
複数のセンサからのデータを用いて、所定の状態を検出し、
前記所定の状態が検出された場合、所定の被写体を撮像する
処理を実行させるためのプログラム。
（１２）
複数のセンサからのデータを用いて、所定の状態を検出する検出部と、
前記検出部により前記所定の状態が検出された場合、所定の被写体を撮像する撮像部と
を備えるイメージセンサ。
（１３）
前記複数のセンサからのデータを入力する複数の入力インタフェースをさらに備える
前記（１２）に記載のイメージセンサ。
（１４）
前記撮像部で撮像された画像を用いて、登録されているユーザであるか否かを判定する認識部をさらに備える
前記（１２）または（１３）に記載のイメージセンサ。
（１５）
ロック状態のときに前記検出を行い、
登録されているユーザであると判定された場合、前記ロック状態を解除する
前記（１４）に記載のイメージセンサ。
（１６）
積層構造とされている
前記（１２）乃至（１５）のいずれかに記載のイメージセンサ。
（１７）
１つのパッケージとして形成されている
前記（１２）乃至（１６）のいずれかに記載のイメージセンサ。
（１８）
複数のセンサと、
イメージセンサと、
アプリケーションプロセッサと
を備え、
前記イメージセンサは、
前記複数のセンサからのデータを入力する複数の入力インタフェースと、
前記入力インタフェースを介して入力される前記複数のセンサからのデータを用いて、所定の状態を検出する検出部と、
前記検出部により前記所定の状態が検出された場合、所定の被写体を撮像する撮像部と
を備える
情報処理装置。
（１９）
前記イメージセンサは、
前記撮像部で撮像された画像を用いて、登録されているユーザであるか否かを判定する認識部をさらに備える
前記（１８）に記載の情報処理装置。
（２０）
前記検出部は、前記アプリケーションプロセッサによりロック状態に移行するとの指示を受けたときから検出を開始し、
前記認識部により、登録されているユーザであると判定された場合、前記アプリケーションプロセッサに前記ロック状態の解除の指示が出される
前記（１９）に記載の情報処理装置。
【符号の説明】
【０１７１】
１０  端末，  １１  表示部，  １２  撮像部，  １３  マイクロフォン，  ５１  アプリケーションプロセッサ，  ５２  イメージセンサ，  ５３  加速度センサ，  ５４  地磁気センサ，  ５５  近接センサ，  ６１  モード制御部，  ６２  センサ制御部，  ６３乃至６５  センサ用入力インタフェース，  ６６  状態検出部，  ６７  撮像部，  ６８  顔検出認識部
【図１】
2017228975.tif 000003
【図２】
2017228975.tif 000004
【図３】
2017228975.tif 000005
【図４】
2017228975.tif 000006
【図５】
2017228975.tif 000007
【図６】
2017228975.tif 000008
【図７】
2017228975.tif 000009
【図８】
2017228975.tif 000010
【図９】
2017228975.tif 000011
【図１０】
2017228975.tif 000012
【図１１】
2017228975.tif 000013