(57)【要約】【課題】低消費電力化を図る。【解決手段】低解像度の画像を出力する低消費電力モードと、低解像度の画像よりも高解像度の画像を出力する通常モードとを、動作モードとして有するイメージセンサが低消費電力モードで出力する低解像度の画像から、あらかじめ決められた所定の被写体の有無が検出される。そして、所定の被写体の存在が検出された場合、イメージセンサの動作モードが通常モードに設定され、イメージセンサは、高解像度の画像を出力する。本技術は、例えば、イメージセンサの制御に適用することができる。【選択図】図２
2018160799.tif 000002
【特許請求の範囲】
【請求項１】
低解像度の画像を出力する低消費電力モードと、前記低解像度の画像よりも高解像度の画像を出力する通常モードとを、動作モードとして有するイメージセンサが、前記低消費電力モードで出力する前記低解像度の画像から、あらかじめ決められた所定の被写体の有無を検出する検出部と、
前記所定の被写体の存在が検出された場合、前記イメージセンサの動作モードを通常モードに設定し、前記イメージセンサに、前記高解像度の画像を出力させる設定部と
を備える、前記イメージセンサの制御装置。
【請求項２】
前記高解像度の画像を用いて、認証が行われる
請求項１に記載の制御装置。
【請求項３】
前記高解像度画像の記録が行われる
請求項１に記載の制御装置。
【請求項４】
前記イメージセンサは、周囲の照度が閾値以上である場合、動作を開始する
請求項１に記載の制御装置。
【請求項５】
低解像度の画像を出力する低消費電力モードと、前記低解像度の画像よりも高解像度の画像を出力する通常モードとを、動作モードとして有するイメージセンサが、前記低消費電力モードで出力する前記低解像度の画像から、あらかじめ決められた所定の被写体の有無を検出することと、
前記所定の被写体の存在が検出された場合、前記イメージセンサの動作モードを通常モードに設定し、前記イメージセンサに、前記高解像度の画像を出力させることと
を含む、前記イメージセンサの制御方法。
【請求項６】
低解像度の画像を出力する低消費電力モードと、前記低解像度の画像よりも高解像度の画像を出力する通常モードとを、動作モードとして有するイメージセンサが、前記低消費電力モードで出力する前記低解像度の画像から、あらかじめ決められた所定の被写体の有無を検出する検出部と、
前記所定の被写体の存在が検出された場合、前記イメージセンサの動作モードを通常モードに設定し、前記イメージセンサに、前記高解像度の画像を出力させる設定部と
して、コンピュータを機能させるためのプログラム。
【請求項７】
低解像度の画像を出力する低消費電力モードと、前記低解像度の画像よりも高解像度の画像を出力する通常モードとを、動作モードとして有するイメージセンサと、
前記イメージセンサを制御する制御部と
を備え、
前記制御部は、
前記イメージセンサが、前記低消費電力モードで出力する前記低解像度の画像から、あらかじめ決められた所定の被写体の有無を検出する検出部と、
前記所定の被写体の存在が検出された場合、前記イメージセンサの動作モードを通常モードに設定し、前記イメージセンサに、前記高解像度の画像を出力させる設定部と
を有する
電子機器システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、制御装置、制御方法、プログラム、及び、電子機器システムに関し、特に、例えば、低消費電力化を図ることができるようにする制御装置、制御方法、プログラム、及び、電子機器システムに関する。
【背景技術】
【０００２】
例えば、ウェアラブルデバイス等のバッテリから電源の供給を受けて動作するデバイス（以下、バッテリ搭載デバイスともいう）では、バッテリを長持ちさせるために、不使用時には、動作モードが低消費電力モードに設定され、スリープ状態やスタンバイ状態等の待機状態となる。そして、ユーザによる使用が検出されると、動作モードが通常モードに設定され（切り替わり）、通常の動作が行われる。
【０００３】
例えば、特許文献１に記載の携帯端末では、照度センサによって周囲の照度が検出され、照度が閾値以上である場合に、カメラモジュールの電源がオンにされ、画像が撮影される。そして、カメラモジュールで撮影された画像を用いて、顔認識処理が行われ、顔が認識されれば、動作モードが通常モードに設定され、顔が認識されなければ、動作モードが低消費電力モード（省電力モード）に設定される。
【０００４】
以上のように、特許文献１に記載の携帯端末は、顔が認識されれば、通常モードなり、顔が認識されなければ、低消費電力モードになるので、ユーザが携帯端末を使用するときには、通常モードとなり、使用していないときには、低消費電力モードとなって、ユーザが携帯端末を使用していないときの電力消費を抑制することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2014-027386号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の携帯端末では、周囲の照度が閾値以上である場合に、カメラモジュールの電源がオンにされ、画像が撮影される。カメラモジュールで撮影される画像は、顔認識処理に用いられるため、ある程度の解像度の画像である必要があり、例えば、携帯端末をカメラとして機能させる場合と同様の解像度の画像（以下、通常の解像度の画像ともいう）である。
【０００７】
したがって、特許文献１に記載の携帯端末では、閾値以上の照度が検出されるたびに、カメラモジュールの電源がオンにされ、通常の解像度の画像が撮影される。
【０００８】
また、特許文献１に記載の携帯端末では、照度の閾値は、顔認識処理を行うために必要な明るさを基準として決められる。
【０００９】
したがって、特許文献１に記載の携帯端末では、高頻度で、閾値以上の照度が検出され、そのたびに、カメラモジュールの電源がオンにされ、通常の解像度の画像が撮影される。そのため、カメラモジュールの待機時間が短くなり、消費電力が大になる。
【００１０】
本技術は、このような状況に鑑みてなされたものであり、低消費電力化を図ることができるようにするものである。
【課題を解決するための手段】
【００１１】
本技術の制御装置、又は、プログラムは、低解像度の画像を出力する低消費電力モードと、前記低解像度の画像よりも高解像度の画像を出力する通常モードとを、動作モードとして有するイメージセンサが、前記低消費電力モードで出力する前記低解像度の画像から、あらかじめ決められた所定の被写体の有無を検出する検出部と、前記所定の被写体の存在が検出された場合、前記イメージセンサの動作モードを通常モードに設定し、前記イメージセンサに、前記高解像度の画像を出力させる設定部とを備える、前記イメージセンサの制御装置、又は、そのような制御装置としてコンピュータを機能させるためのプログラムである。
【００１２】
本技術の制御方法は、低解像度の画像を出力する低消費電力モードと、前記低解像度の画像よりも高解像度の画像を出力する通常モードとを、動作モードとして有するイメージセンサが、前記低消費電力モードで出力する前記低解像度の画像から、あらかじめ決められた所定の被写体の有無を検出することと、前記所定の被写体の存在が検出された場合、前記イメージセンサの動作モードを通常モードに設定し、前記イメージセンサに、前記高解像度の画像を出力させることとを含む、前記イメージセンサの制御方法である。
【００１３】
本技術の電子機器システムは、低解像度の画像を出力する低消費電力モードと、前記低解像度の画像よりも高解像度の画像を出力する通常モードとを、動作モードとして有するイメージセンサと、前記イメージセンサを制御する制御部とを備え、前記制御部は、前記イメージセンサが、前記低消費電力モードで出力する前記低解像度の画像から、あらかじめ決められた所定の被写体の有無を検出する検出部と、前記所定の被写体の存在が検出された場合、前記イメージセンサの動作モードを通常モードに設定し、前記イメージセンサに、前記高解像度の画像を出力させる設定部とを有する電子機器システムである。
【００１４】
本技術においては、低解像度の画像を出力する低消費電力モードと、前記低解像度の画像よりも高解像度の画像を出力する通常モードとを、動作モードとして有するイメージセンサが、前記低消費電力モードで出力する前記低解像度の画像から、あらかじめ決められた所定の被写体の有無が検出される。そして、前記所定の被写体の存在が検出された場合、前記イメージセンサの動作モードが通常モードに設定され、前記イメージセンサは、前記高解像度の画像を出力する。
【００１５】
なお、制御装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００１６】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１７】
本技術によれば、低消費電力化を図ることができる。
【００１８】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１９】
【図１】本技術を適用した電子機器システムの一実施の形態の構成例を示すブロック図である。
【図２】カメラシステム１１の構成例を示すブロック図である。
【図３】電子機器システムが顔認証を行う場合の処理の例を説明するフローチャートである。
【図４】電子機器システムが顔認証を行う場合の処理の例を、さらに説明する図である。
【図５】電子機器システムが虹彩認証を行う場合の処理の例を説明する図である。
【図６】電子機器システムが、掌紋認証を行う場合の処理の例を説明する図である。
【図７】電子機器システムが有料駐車場の監視カメラであり、駐車を行った自動車のナンバープレートを記録する場合の処理の例を説明する図である。
【図８】電子機器システムが住宅の監視カメラであり、不審者を記録する場合の処理の例を説明する図である。
【図９】カメラシステム１１の他の構成例を示すブロック図である。
【図１０】電子機器システムがスマートフォンであり、顔認証が成功した場合に、スマートフォン本来の処理を行う場合の処理の例を説明するフローチャートである。
【図１１】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００２０】
＜本技術を適用した電子機器システムの一実施の形態＞
【００２１】
図１は、本技術を適用した電子機器システムの一実施の形態の構成例を示すブロック図である。
【００２２】
図１において、電子機器システムは、カメラシステム１１、画像処理部１２、及び、バッテリ１３を含む。
【００２３】
カメラシステム１１は、画像を撮影し、その撮影の結果得られる撮影画像を、画像処理部１２に供給する。
【００２４】
画像処理部１２は、カメラシステム１１からの撮影画像を対象とした画像処理を行う。
【００２５】
バッテリ１３は、カメラシステム１１及び画像処理部１２、その他、電子機器システムを構成する図示せぬブロックに、必要な電源を供給する。
【００２６】
以上のような電子機器システムは、例えば、スマートフォン等の携帯端末、建物の電子ロック、住宅や有料駐車場等の監視カメラ、リストバンド型や眼鏡型等のウェアラブルデバイス、その他、画像を撮影し、その画像を対象とした画像処理を行う任意の装置、特に、バッテリから電源の供給を受けて動作するバッテリ搭載デバイスに適用することができる。但し、電子機器システムは、バッテリ搭載デバイス以外の、電源コンセント等から電源の供給を受けて動作するデバイスにも適用することができる。
【００２７】
例えば、電子機器システムがスマートフォンに適用される場合、画像処理部１２では、画像処理として、撮影画像を用いた認証処理を行い、認証が成功した場合にのみ、スマートフォンのロックを解除して、スマートフォンを、通常の使用が可能な使用可能状態とすることができる。
【００２８】
また、例えば、電子機器システムが電子ロックに適用される場合、画像処理部１２では、画像処理として、撮影画像を用いた認証処理を行い、認証が成功した場合にのみ、電子ロックを解除することができる。
【００２９】
さらに、例えば、電子機器システムが住宅や有料駐車場の監視カメラに適用される場合、画像処理部１２では、画像処理として、住宅をうろつく不審者や、不正駐車を行った自動車の、いわゆるナンバープレート（自動車登録番号標等）が映った撮影画像の記録を行うことができる。
【００３０】
なお、画像処理部１２は、カメラシステム１１と別個に設ける他、カメラシステム１１（の、例えば、後述する制御部２２等）に内蔵させることができる。
【００３１】
＜カメラシステム１１の構成例＞
【００３２】
図２は、図１のカメラシステム１１の構成例を示すブロック図である。
【００３３】
図２において、カメラシステムは、イメージセンサ２１及び制御部２２を含む。
【００３４】
イメージセンサ２１は、例えば、CMOS(Complementary Metal Oxide Semiconductor)のイメージセンサで、低解像度の低解像度画像を出力する低消費電力モードと、低解像度画像よりも高解像度の高解像度画像を出力する通常モードとを、動作モードとして有する。
【００３５】
イメージセンサ２１は、制御部２２の制御に従って、動作モードを設定し、その動作モードで、画像を撮影して、いわゆるraw画像を出力する。
【００３６】
ここで、低消費電力モードのイメージセンサ２１において、低解像度画像の出力は、例えば、FD(Floating Diffusion)加算や、画素からの画素値（電荷）の間引き読み出し等により行うことができる。
【００３７】
FD加算では、イメージセンサ２１において、そのイメージセンサ２１を構成する図示せぬ画素が、複数の画素の単位で、FDを共有しており、FDにおいて、そのFDを共有する画素等の複数の画素それぞれの画素値が加算される。
【００３８】
イメージセンサ２１は、画素値をAD(Analog to Digital)変換するADC(AD Converter)（図示せず）を有するが、FD加算や、画素値の間引き読み出しを行う場合には、読み出す画素値の数が少なくなるため、動作させる必要があるADCの数も少なくなる。さらに、画素値の読み出しの速度やADCの動作速度は低速で良く、したがって、低消費電力モードのイメージセンサ２１では、高解像度画像を出力する通常モードの場合と比較して、消費電力を大きく抑制することができる。
【００３９】
低消費電力モードでは、イメージセンサ２１は、上述のFD加算や、画素の間引き読み出しによって、例えば、横×縦が16×9画素等程度の極めて低解像度の低解像度画像を出力する。
【００４０】
一方、通常モードでは、イメージセンサ２１は、例えば、イメージセンサ２１が有する全画素を用いたHD(High Definition)画像や、いわゆる4k画像、8k画像等を、高解像度画像として出力する。
【００４１】
イメージセンサ２１が出力する低解像度画像又は高解像度画像としてのraw画像は、制御部２２に供給される。
【００４２】
なお、イメージセンサ２１としては、可視光を受光（撮影）するイメージセンサの他、赤外光等の可視光以外の光（電磁波）を受光するイメージセンサを採用することが可能である。
【００４３】
制御部２２は、イメージセンサ２１の画像の撮影を制御する。
【００４４】
制御部２２は、選択部３１、被写体有無検出部３２、モード設定部３３、露光制御部３４、及び、現像処理部３５を含む。
【００４５】
選択部３１は、モード設定部３３の制御に従い、イメージセンサ２１からのraw画像の出力先として、被写体有無検出部３２及び現像処理部３５のうちの一方を選択して、その選択した方に、raw画像を出力する。
【００４６】
ここで、モード設定部３３は、イメージセンサ２１の動作モードが通常モードであり、イメージセンサ２１が高解像度画像を出力する場合、その高解像度画像の出力先として、現像処理部３５を選択するように、選択部３１を制御する。また、モード設定部３３は、イメージセンサ２１の動作モードが低消費電力モードであり、イメージセンサ２１が低解像度画像を出力する場合、その低解像度画像の出力先として、被写体有無検出部３２を選択するように、選択部３１を制御する。
【００４７】
したがって、イメージセンサ２１が高解像度画像を出力する場合には、その高解像度画像は、選択部３１を介して、現像処理部３５に供給される。また、イメージセンサ２１が低解像度画像を出力する場合には、その低解像度画像は、選択部３１を介して、被写体有無検出部３２に供給される。なお、選択部３１から画像の（直接的又は間接的な）出力先として選択されていないブロックについては、電源の供給を停止することができる。この場合、カメラシステム１１（ひいては、電子機器システム）の低消費電力化を図ることができる。
【００４８】
被写体有無検出部３２は、選択部３１から供給される低解像度画像から、あらかじめ決められた所定の被写体（以下、設定被写体ともいう）の有無を検出する。すなわち、被写体有無検出部３２は、選択部３１から供給される低解像度画像に、設定被写体が映っているかどうかを検出する。
【００４９】
被写体有無検出部３２は、低解像度画像における設定被写体の有無の検出結果を表す検出情報を、モード設定部３３に供給する。
【００５０】
ここで、設定被写体としては、特定の人や、特定の人の目、特定の自動車等のような個物（個体）ではなく、任意の人や、任意の人の目、任意の自動車等のような、あるカテゴリに属する事物全般が採用される。したがって、設定被写体の有無を検出する対象が、低解像度画像であっても、設定被写体の有無を精度よく検出することができる。
【００５１】
モード設定部３３は、被写体有無検出部３２からの検出情報に応じて、イメージセンサ２１の動作モードを設定するとともに、その動作モードに応じて、選択部３１を制御する。
【００５２】
すなわち、モード設定部３３は、例えば、制御部２２の起動時等や、被写体有無検出部３２からの検出情報が、設定被写体あり（低解像度画像に設定被写体が映っていること）を表していない場合等に、イメージセンサ２１の動作モードを低消費電力モードに設定する。
【００５３】
また、モード設定部３３は、例えば、被写体有無検出部３２からの検出情報が、設定被写体ありを表している場合に、イメージセンサ２１の動作モードを通常モードに設定する。
【００５４】
上述したように、イメージセンサ２１は、低消費電力モードでは、低消費電力で動作して、低解像度画像を撮影して出力し、通常モードでは、高解像度画像を撮影して出力する。
【００５５】
ここで、上述したことから、図２では、イメージセンサ２１は、常時（普段）は、低消費電力モードで動作し、設定被写体があることが検出された場合に、通常モードで動作する。したがって、イメージセンサ２１は、いわば間欠的に、通常モードで動作する。
【００５６】
モード設定部３３は、イメージセンサ２１の動作モードを低消費電力モードに設定した場合には、その低消費電力モードに応じて、イメージセンサ２１が出力する低解像度画像としてのraw画像の出力先として、被写体有無検出部３２を選択するように、選択部３１を制御する。
【００５７】
また、モード設定部３３は、イメージセンサ２１の動作モードを通常モードに設定した場合には、その通常モードに応じて、イメージセンサ２１が出力する高解像度画像としてのraw画像の出力先として、現像処理部３５を選択するように、選択部３１を制御する。
【００５８】
露光制御部３４は、選択部３１が被写体有無検出部３２に出力する低解像度画像に応じて、イメージセンサ２１の露光を制御する。例えば、低解像度画像の輝度が低すぎる場合には、露光制御部３４は、露光時間を長くするように、イメージセンサ２１を制御する。また、例えば、低解像度画像の輝度が高すぎる場合には、露光制御部３４は、露光時間を短くするように、イメージセンサ２１を制御する。なお、露光制御部３４では、例えば、従来のAutoExposure技術等により、低解像度画像に映る被写体を適正露光範囲に収めるように、露光の制御を行うことができる。また、露光制御部３４では、例えば、従来のWideDynamicRange技術により、被写体として想定される全てのダイナミックレンジを露光範囲に収めるように、露光の制御を行うことができる。
【００５９】
現像処理部３５は、選択部３１から供給される高解像度画像としてのraw画像の現像処理を行うことによって、例えば、RGB(red, green, blue)のraw画像を、YCbCrの画像に変換し、撮影画像として、画像処理部１２に出力する。
【００６０】
＜電子機器システムの処理＞
【００６１】
図３は、図１の電子機器システムが、例えば、顔認証を行う場合の処理の例を説明するフローチャートである。
【００６２】
すなわち、図３は、例えば、電子機器システムがスマートフォンであり、顔認証が成功した場合に、スマートフォンが、ロックを解除して、スマートフォン本来の処理を行う場合の処理の例を示している。
【００６３】
ステップＳ１１において、モード設定部３３は、イメージセンサ２１の動作モードを低消費電力モードに設定し、処理は、ステップＳ１２に進む。
【００６４】
ステップＳ１２では、イメージセンサ２１は、モード設定部３３の設定（制御）に従い、動作モードを低消費電力モードに設定し、低解像度画像の撮影を開始して、処理は、ステップＳ１３に進む。
【００６５】
イメージセンサ２１が低消費電力モードで撮影する低解像度画像は、選択部３１に供給される。
【００６６】
ステップＳ１３において、モード設定部３３は、イメージセンサ２１の動作モードが低消費電力モードであることに応じて、選択部３１に、イメージセンサ２１からの低解像度画像の出力先として、被写体有無検出部３２を選択させる。これにより、イメージセンサ２１から選択部３１に供給される低解像度画像は、被写体有無検出部３２に供給される。
【００６７】
ここで、選択部３１が被写体有無検出部３２に供給する低解像度画像は、露光制御部３４にも供給される。露光制御部３４は、低解像度画像に応じて、イメージセンサ２１の露光を制御する。
【００６８】
その後、処理は、ステップＳ１３からステップＳ１４に進み、被写体有無検出部３２は、選択部３１から供給される低解像度画像から、設定被写体の有無を検出する検出処理を行い、その検出結果を表す検出情報を、モード設定部３３に供給して、処理は、ステップＳ１５に進む。
【００６９】
ここで、顔認証を行う場合、設定被写体としては、顔認証の対象となる（個体の制限がない人の）顔（頭部）が採用される。
【００７０】
ステップＳ１５では、モード設定部３３は、被写体有無検出部３２からの検出情報に応じて、低解像度画像に設定被写体がある（映っている）かどうかを判定する。
【００７１】
ステップＳ１５において、低解像度画像に設定被写体がない（映っていない）と判定された場合、処理は、ステップＳ１４に戻り、検出処理が繰り返される。
【００７２】
また、ステップＳ１５において、低解像度画像に設定被写体があると判定された場合、すなわち、低解像度画像に、顔認証の対象となる顔が映っている場合、処理は、ステップＳ１６に進む。
【００７３】
ステップＳ１６では、モード設定部３３は、イメージセンサ２１の動作モードを通常モードに設定し、処理は、ステップＳ１７に進む。
【００７４】
ステップＳ１７では、イメージセンサ２１は、モード設定部３３の設定に従い、動作モードを通常モードに設定し、高解像度画像の撮影を開始して、処理は、ステップＳ１８に進む。
【００７５】
イメージセンサ２１が通常モードで撮影する高解像度画像は、検出処理で、低解像度画像に存在が検出された顔が映っている画像であり、選択部３１に供給される。
【００７６】
ステップＳ１８において、モード設定部３３は、イメージセンサ２１の動作モードが通常モードであることに応じて、選択部３１に、イメージセンサ２１からの高解像度画像をの出力先として、現像処理部３５を選択させる。これにより、イメージセンサ２１から選択部３１に供給される高解像度画像は、現像処理部３５に供給される。
【００７７】
現像処理部３５は、選択部３１から供給される高解像度画像の現像処理を行うことによって、RGBの高解像度画像を、YCbCrの高解像度画像に変換し、撮影画像として、画像処理部１２に出力する。
【００７８】
その後、処理は、ステップＳ１８からステップＳ１９に進み、画像処理部１２は、現像処理部３５からの高解像度画像である撮影画像を用いて、顔認証（による個人認証）を行い、処理は、ステップＳ２０に進む。
【００７９】
ステップＳ２０では、画像処理部１２は、高解像度画像を用いた顔認証が成功したかどうかを判定する。
【００８０】
ステップＳ２０において、顔認証が成功していないと判定された場合、すなわち、高解像度画像に映る顔が、スマートフォンとしての電子機器システムの所有者（特定の個人）の顔でない場合、処理は、ステップＳ１１に戻り、以下、同様の処理が繰り返される。
【００８１】
また、ステップＳ２０において、顔認証が成功したと判定された場合、すなわち、高解像度画像に映る顔が、スマートフォンとしての電子機器システムの所有者の顔である場合、処理は、ステップＳ２１に進む。
【００８２】
ステップＳ２１では、スマートフォンとしての電子機器システムは、スマートフォン本来の動作を開始し、処理は、ステップＳ２２に進む。
【００８３】
ステップＳ２２では、スマートフォンとしての電子機器システムは、スリープ状態となるスリープ条件が満たされるかどうかを判定する。
【００８４】
ここで、スリープ条件としては、例えば、スマートフォンとしての電子機器システムの電源ボタンが、スリープ状態になるように操作されたことや、スマートフォンとしての電子機器システムに対して、一定時間以上、操作がされなかったこと等を採用することができる。
【００８５】
ステップＳ２２において、スリープ条件が満たされないと判定された場合、処理は、ステップＳ２２に戻る。
【００８６】
また、ステップＳ２２において、スリープ条件が満たされると判定された場合、処理は、ステップＳ２３に進み、スマートフォンとしての電子機器システムは、スリープ状態となって、処理は、ステップＳ１１に戻り、以下、同様の処理が繰り返される。
【００８７】
以上のように、図３のフローチャートにしたがった処理によれば、イメージセンサ２１は、イメージセンサ２１が出力する画像（低解像度画像）に、設定被写体が存在しない間は、低消費電力モードで動作し、設定被写体の存在が確認されると、通常モードで動作を開始する。
【００８８】
したがって、イメージセンサ２１が、設定被写体の存在に関係なく、常に、通常モードで動作する場合に比較して、画像処理部１２による顔認証の実行を待機している間のイメージセンサ２１の消費電力を大幅に低減することができる。その結果、バッテリ１３（図１）の持ち時間を向上させることができる。
【００８９】
本件発明者が行ったシミュレーションによれば、低消費電力モードで、顔認証の実行を待機する場合では、イメージセンサ２１の消費電力が、通常モードで、顔認証の実行を待機する場合の約1/40（例えば、1.5mW程度）に低減されることが確認された。
【００９０】
また、図３のフローチャートにしたがった処理によれば、低消費電力モードで撮影される低解像度画像に、設定被写体の存在が確認された場合には、通常モードで高解像度画像が撮影され、その高解像度画像を用いて顔認証が行われる。したがって、高精度の顔認証を行うことができる。
【００９１】
図４は、図１の電子機器システムが、顔認証を行う場合の処理の例を、さらに説明する図である。
【００９２】
図４のＡは、イメージセンサ２１で撮影される画像の画角内の様子を示している。図４のＡでは、イメージセンサ２１で撮影される画像の画角内に、顔認証の対象である（個体の制限がない）顔（頭部）が存在する。
【００９３】
図４のＢは、イメージセンサ２１で、図４のＡの画角内の様子が撮影される場合の、スマートフォンとしての電子機器システムの処理を示す図である。
【００９４】
電子機器システムでは、イメージセンサ２１において、低消費電力モードで、図４のＡの画角内の様子が撮影され、その撮影により得られる低解像度画像が、選択部３１を介して、被写体有無検出部３２に供給される。
【００９５】
被写体有無検出部３２では、顔認証の対象である頭部（顔）を設定被写体として、低消費電力モードで撮影された低解像度画像から、設定被写体としての頭部の有無を検出する検出処理が行われる。
【００９６】
ここで、低解像度画像から、設定被写体としての頭部の有無を検出する検出処理としては、例えば、低解像度画像の中心付近からの、楕円形又は矩形の物体の検出と、低解像度画像の外縁に向かう肩の構造の検出とを行う処理等の簡易な処理を採用することができる。低解像度画像を対象とする検出処理では、特定の人の頭部を検出する必要はなく、任意の人の頭部の存在を検出することができれば良いからである。
【００９７】
上述のような、楕円形又は矩形の物体の検出と、低解像度画像の外縁に向かう肩の構造の検出とによれば、16×9画素程度の低解像度画像からであっても、イメージセンサ２１の動作モードの設定（切り替え）には、十分な精度で、頭部を検出することができる。
【００９８】
なお、低解像度画像から、設定被写体の有無を検出する検出処理のアルゴリズムは、特に限定されるものではない。例えば、低解像度画像から、設定被写体としての頭部の有無を検出する検出処理では、肩の構造の検出を行わずに、低解像度画像に頭部が映っているかどうかを判定する学習型アルゴリズム等に従って、設定被写体としての頭部の有無を検出することができる。
【００９９】
被写体有無検出部３２で行われる検出処理において、低解像度画像から、設定被写体としての頭部の存在が検出されると、イメージセンサ２１は、通常モードとなって、高解像度画像の撮影を開始する。
【０１００】
そして、画像処理部１２では、イメージセンサ２１が通常モードで撮影する高解像度画像を用いて、顔認証が行われる。
【０１０１】
図５は、図１の電子機器システムが、虹彩認証を行う場合の処理の例を説明する図である。
【０１０２】
図５のＡは、イメージセンサ２１で撮影される画像の画角内の様子を示している。図５のＡでは、イメージセンサ２１で撮影される画像の画角内に、虹彩認証の対象である目が存在する。
【０１０３】
図５のＢは、イメージセンサ２１で、図５のＡの画角内の様子が撮影される場合の、スマートフォンとしての電子機器システムの処理を示す図である。
【０１０４】
電子機器システムでは、イメージセンサ２１において、低消費電力モードで、図５のＡの画角内の様子が撮影され、その撮影により得られる低解像度画像が、選択部３１を介して、被写体有無検出部３２に供給される。
【０１０５】
被写体有無検出部３２では、虹彩認証の対象である目を設定被写体として、低消費電力モードで撮影された低解像度画像から、設定被写体としての目の有無を検出する検出処理が行われる。
【０１０６】
ここで、低解像度画像から、設定被写体としての目の有無を検出する検出処理としては、簡易な処理を採用することができる。検出処理では、特定の人の目を検出する必要はなく、任意の人の目の存在を検出することができれば良いからである。
【０１０７】
被写体有無検出部３２で行われる検出処理において、低解像度画像から、設定被写体としての目の存在が検出されると、イメージセンサ２１は、通常モードとなって、高解像度画像の撮影を開始する。
【０１０８】
そして、画像処理部１２では、イメージセンサ２１が通常モードで撮影する高解像度画像を用いて、虹彩認証が行われる。
【０１０９】
図６は、図１の電子機器システムが、掌紋認証を行う場合の処理の例を説明する図である。
【０１１０】
図６のＡは、イメージセンサ２１で撮影される画像の画角内の様子を示している。図６のＡでは、イメージセンサ２１で撮影される画像の画角内に、掌紋認証の対象である手が存在する。
【０１１１】
図６のＢは、イメージセンサ２１で、図６のＡの画角内の様子が撮影される場合の、スマートフォンとしての電子機器システムの処理を示す図である。
【０１１２】
電子機器システムでは、イメージセンサ２１において、低消費電力モードで、図６のＡの画角内の様子が撮影され、その撮影により得られる低解像度画像が、選択部３１を介して、被写体有無検出部３２に供給される。
【０１１３】
被写体有無検出部３２では、掌紋認証の対象である手を設定被写体として、低消費電力モードで撮影された低解像度画像から、設定被写体としての手の有無を検出する検出処理が行われる。
【０１１４】
ここで、低解像度画像から、設定被写体としての手の有無を検出する検出処理としては、簡易な処理を採用することができる。検出処理では、特定の人の手を検出する必要はなく、任意の人の手の存在を検出することができれば良いからである。
【０１１５】
被写体有無検出部３２で行われる検出処理において、低解像度画像から、設定被写体としての手の存在が検出されると、イメージセンサ２１は、通常モードとなって、高解像度画像の撮影を開始する。
【０１１６】
そして、画像処理部１２では、イメージセンサ２１が通常モードで撮影する高解像度画像を用いて、掌紋認証が行われる。
【０１１７】
図７は、例えば、図１の電子機器システムが有料駐車場の監視カメラであり、不正駐車に対処するために、駐車を行った自動車のナンバープレートを記録する場合の処理の例を説明する図である。
【０１１８】
図７のＡは、イメージセンサ２１で撮影される画像の画角内の様子を示している。図７のＡでは、イメージセンサ２１で撮影される画像の画角内に、記録の対象である自動車が存在する。
【０１１９】
図７のＢは、イメージセンサ２１で、図７のＡの画角内の様子が撮影される場合の、監視カメラとしての電子機器システムの処理を示す図である。
【０１２０】
電子機器システムでは、イメージセンサ２１において、低消費電力モードで、図７のＡの画角内の様子が撮影され、その撮影により得られる低解像度画像が、選択部３１を介して、被写体有無検出部３２に供給される。
【０１２１】
被写体有無検出部３２では、記録の対象である自動車を設定被写体として、低消費電力モードで撮影された低解像度画像から、設定被写体としての自動車の有無を検出する検出処理が行われる。
【０１２２】
ここで、低解像度画像から、設定被写体としての自動車の有無を検出する検出処理としては、簡易な処理を採用することができる。検出処理では、特定の自動車を検出する必要はなく、任意の自動車の存在を検出することができれば良いからである。
【０１２３】
被写体有無検出部３２で行われる検出処理において、低解像度画像から、設定被写体としての自動車の存在が検出されると、イメージセンサ２１は、通常モードとなって、高解像度画像の撮影を開始する。
【０１２４】
そして、画像処理部１２では、イメージセンサ２１が通常モードで撮影する高解像度画像の記録（録画）が行われる。
【０１２５】
なお、この場合、高解像度画像の記録については、例えば、高解像度画像に映る自動車が存在しなくなるまで（高解像度画像に自動車が映らなくなるまで）、高解像度画像を、動画で録画することや、高解像度画像を、静止画で、１枚又は複数枚記録することができる。そして、高解像度画像に自動車が映らなくなった場合等に、イメージセンサ２１の動作モードを、低消費電力モードに戻すことができる。
【０１２６】
図８は、例えば、図１の電子機器システムが住宅の監視カメラであり、不審者を記録する場合の処理の例を説明する図である。
【０１２７】
図８のＡは、イメージセンサ２１で撮影される画像の画角内の様子を示している。図８のＡでは、イメージセンサ２１で撮影される画像の画角内に、記録の対象である人が存在する。
【０１２８】
図８のＢは、イメージセンサ２１で、図８のＡの画角内の様子が撮影される場合の、監視カメラとしての電子機器システムの処理を示す図である。
【０１２９】
電子機器システムでは、イメージセンサ２１において、低消費電力モードで、図８のＡの画角内の様子が撮影され、その撮影により得られる低解像度画像が、選択部３１を介して、被写体有無検出部３２に供給される。
【０１３０】
被写体有無検出部３２では、記録の対象である人を設定被写体として、低消費電力モードで撮影された低解像度画像から、設定被写体としての人の有無を検出する検出処理が行われる。
【０１３１】
ここで、低解像度画像から、設定被写体としての人の有無を検出する検出処理としては、簡易な処理を採用することができる。検出処理では、特定の人を検出する必要はなく、任意の人の存在を検出することができれば良いからである。
【０１３２】
被写体有無検出部３２で行われる検出処理において、低解像度画像から、設定被写体としての人の存在が検出されると、イメージセンサ２１は、通常モードとなって、高解像度画像の撮影を開始する。
【０１３３】
そして、画像処理部１２では、イメージセンサ２１が通常モードで撮影する高解像度画像の記録（録画）が行われる。
【０１３４】
なお、この場合、高解像度画像の記録については、例えば、高解像度画像に映る人が存在しなくなるまで（高解像度画像に人が映らなくなるまで）、高解像度画像を、動画で録画することや、高解像度画像を、静止画で、１枚又は複数枚記録することができる。そして、高解像度画像に人が映らなくなった場合等に、イメージセンサ２１の動作モードを、低消費電力モードに戻すことができる。
【０１３５】
＜カメラシステム１１の他の構成例＞
【０１３６】
図９は、図１のカメラシステム１１の他の構成例を示すブロック図である。
【０１３７】
なお、図中、図２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１３８】
図９において、カメラシステム１１は、イメージセンサ２１、制御部２２、照度センサ５１、及び、動作制御部５２を有する。
【０１３９】
したがって、図９のカメラシステム１１は、イメージセンサ２１及び制御部２２を有する点で、図２の場合と共通する。
【０１４０】
但し、図９のカメラシステム１１は、照度センサ５１及び動作制御部５２が新たに設けられている点で、図２の場合と相違する。
【０１４１】
照度センサ５１は、カメラシステム１１の周囲（イメージセンサ２１で撮影が行われる範囲）の照度をセンシングし、動作制御部５２に供給する。
【０１４２】
動作制御部５２は、照度センサ５１からの周囲の照度に応じて、イメージセンサ２１及び制御部２２の動作を制御する。
【０１４３】
すなわち、周囲の照度が閾値以上でない場合、すなわち、例えば、周囲の照度が、被写体有無検出部３２で検出処理を行うことが可能な明るさの低解像度画像を撮影することができる程度の照度でない場合、動作制御部５２は、動作を停止するように（極力、処理を行わないが、迅速に、処理を開始することが可能な状態となるように）、イメージセンサ２１及び制御部２２を制御し、イメージセンサ２１及び制御部２２の動作を停止させる。
【０１４４】
また、周囲の照度が閾値以上である場合、すなわち、例えば、周囲の照度が、被写体有無検出部３２で検出処理を行うことが可能な程度の明るさの低解像度画像を撮影することができる程度の照度である場合、動作制御部５２は、動作を開始するように、イメージセンサ２１及び制御部２２を制御し、イメージセンサ２１及び制御部２２の動作を開始させる。
【０１４５】
イメージセンサ２１及び制御部２２が動作を開始すると、図２の場合と同様に、制御部２２のモード設定部３３は、イメージセンサ２１の動作モードを低消費電力モードに設定し、イメージセンサ２１は、低消費電力モードでの低解像度画像の撮影を開始する。また、制御部２２では、被写体有無検出部３２が、イメージセンサ２１が低消費電力モードで撮影する低解像度画像を対象とする検出処理を開始する。
【０１４６】
図１０は、例えば、図９のカメラシステム１１を有する電子機器システムがスマートフォンであり、顔認証が成功した場合に、スマートフォンが、ロックを解除して、スマートフォン本来の処理を行う場合の処理の例を説明するフローチャートである。
【０１４７】
ステップＳ４１において、動作制御部５２は、照度センサ５１から供給される周囲の照度が閾値以上であるかどうかを判定し、閾値以上でないと判定した場合、処理は、ステップＳ４１に戻り、以下、同様の処理を繰り返す。
【０１４８】
ステップＳ４１の処理の間、動作制御部５２は、イメージセンサ２１及び制御部２２の動作を停止させる。
【０１４９】
一方、ステップＳ４１において、動作制御部５２は、照度センサ５１から供給される周囲の照度が閾値以上であると判定された場合、動作制御部５２は、イメージセンサ２１及び制御部２２の動作を開始させ、処理は、ステップＳ４２に進む。
【０１５０】
ステップＳ４２ないしＳ５４では、図３のステップＳ１１ないしＳ２３とそれぞれ同様の処理が行われる。
【０１５１】
そして、ステップＳ５４において、スマートフォンとしての電子機器システムが、スリープ状態となると、処理は、ステップＳ４１に戻り、以下、同様の処理が繰り返される。
【０１５２】
以上のように、図１０のフローチャートにしたがった処理によれば、イメージセンサ２１及び制御部２２は、周囲の照度が閾値以上でない場合には、動作を停止しており、周囲の照度が閾値以上になると、動作を開始して、図３の場合と同様の処理を行う。
【０１５３】
照度センサ５１の消費電力（例えば、数μW）は、低消費電力モードのイメージセンサ２１の消費電力（例えば、1.5mW程度）よりも十分に低く、したがって、図１０のフローチャートにしたがった処理によれば、図３の場合よりも、さらに、イメージセンサ２１の消費電力を低減することができる。
【０１５４】
＜本技術を適用したコンピュータの説明＞
【０１５５】
次に、上述した制御部２２や画像処理部１２の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、マイクロコンピュータ等にインストールされる。
【０１５６】
図１１は、一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
【０１５７】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
【０１５８】
あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０１５９】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０１６０】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
【０１６１】
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
【０１６２】
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０１６３】
なお、入力部１０７は、キーボードや、マウス、マイク等で構成することができる。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成することができる。
【０１６４】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０１６５】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１６６】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１６７】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１６８】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１６９】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１７０】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１７１】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０１７２】
なお、本技術は、以下の構成をとることができる。
【０１７３】
＜１＞
低解像度の画像を出力する低消費電力モードと、前記低解像度の画像よりも高解像度の画像を出力する通常モードとを、動作モードとして有するイメージセンサが、前記低消費電力モードで出力する前記低解像度の画像から、あらかじめ決められた所定の被写体の有無を検出する検出部と、
前記所定の被写体の存在が検出された場合、前記イメージセンサの動作モードを通常モードに設定し、前記イメージセンサに、前記高解像度の画像を出力させる設定部と
を備える、前記イメージセンサの制御装置。
＜２＞
前記高解像度の画像を用いて、認証が行われる
＜１＞に記載の制御装置。
＜３＞
前記高解像度画像の記録が行われる
＜１＞に記載の制御装置。
＜４＞
前記イメージセンサは、周囲の照度が閾値以上である場合、動作を開始する
＜１＞ないし＜３＞のいずれかに記載の制御装置。
＜５＞
低解像度の画像を出力する低消費電力モードと、前記低解像度の画像よりも高解像度の画像を出力する通常モードとを、動作モードとして有するイメージセンサが、前記低消費電力モードで出力する前記低解像度の画像から、あらかじめ決められた所定の被写体の有無を検出することと、
前記所定の被写体の存在が検出された場合、前記イメージセンサの動作モードを通常モードに設定し、前記イメージセンサに、前記高解像度の画像を出力させることと
を含む、前記イメージセンサの制御方法。
＜６＞
低解像度の画像を出力する低消費電力モードと、前記低解像度の画像よりも高解像度の画像を出力する通常モードとを、動作モードとして有するイメージセンサが、前記低消費電力モードで出力する前記低解像度の画像から、あらかじめ決められた所定の被写体の有無を検出する検出部と、
前記所定の被写体の存在が検出された場合、前記イメージセンサの動作モードを通常モードに設定し、前記イメージセンサに、前記高解像度の画像を出力させる設定部と
して、コンピュータを機能させるためのプログラム。
＜７＞
低解像度の画像を出力する低消費電力モードと、前記低解像度の画像よりも高解像度の画像を出力する通常モードとを、動作モードとして有するイメージセンサと、
前記イメージセンサを制御する制御部と
を備え、
前記制御部は、
前記イメージセンサが、前記低消費電力モードで出力する前記低解像度の画像から、あらかじめ決められた所定の被写体の有無を検出する検出部と、
前記所定の被写体の存在が検出された場合、前記イメージセンサの動作モードを通常モードに設定し、前記イメージセンサに、前記高解像度の画像を出力させる設定部と
を有する
電子機器システム。
【符号の説明】
【０１７４】
１１  カメラシステム，  １２  画像処理部，  １３  バッテリ，  ２１  イメージセンサ，  ２２  制御部，  ３１  選択部，  ３２  被写体有無検出部，  ３３  モード設定部，  ３４  露光制御部，  ３５  現像処理部，  ５１  照度センサ，  ５２  動作制御部，  １０１  バス，  １０２  CPU，  １０３  ROM，  １０４  RAM，  １０５  ハードディスク，  １０６  出力部，  １０７  入力部，  １０８  通信部，  １０９  ドライブ，  １１０  入出力インタフェース，  １１１  リムーバブル記録媒体
【図１】
2018160799.tif 000003
【図２】
2018160799.tif 000004
【図３】
2018160799.tif 000005
【図４】
2018160799.tif 000006
【図５】
2018160799.tif 000007
【図６】
2018160799.tif 000008
【図７】
2018160799.tif 000009
【図８】
2018160799.tif 000010
【図９】
2018160799.tif 000011
【図１０】
2018160799.tif 000012
【図１１】
2018160799.tif 000013