(57)【要約】      （修正有）【課題】顔検出機能などの画像認識機能を有するカメラで、画像処理部の負荷を軽減する撮像装置、イメージセンサ、および画像処理装置を提供する。【解決手段】撮像装置１０は、撮像面に縦横に配置されている光電変換素子によって入射光に応じて生成された画素信号からなる画像データを出力するとともに、撮像面を複数のエリアに区分し、エリア毎にエリアに属する光電変換素子により生成された画素信号に基づいて画像認識支援情報を生成するイメージセンサ１３と、イメージセンサから出力された画像データに対し、イメージセンサから出力された画像処理支援情報を用いて所定の画像処理を行う画像処理部１４とを備える。【選択図】図１
2017034389.tif 000002
【特許請求の範囲】
【請求項１】
撮像面に縦横に配置されている光電変換素子によって入射光に応じて生成された画素信号からなる画像データを出力するとともに、前記撮像面を複数のエリアに区分し、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号に基づいて画像認識支援情報を生成するイメージセンサと、
前記イメージセンサから出力された前記画像データに対し、前記イメージセンサから出力された前記画像処理支援情報を用いて所定の画像処理を行う画像処理部と
を備える撮像装置。
【請求項２】
前記イメージセンサは、前記エリア毎に前記画像処理支援情報に対する閾値を設定し、算出した前記画像処理支援情報が前記閾値を超えた場合、算出した前記画像処理支援情報にフラグを立てて出力する
請求項１に記載の撮像装置。
【請求項３】
前記イメージセンサは、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号を統計的に演算して前記画像処理支援情報を算出する
請求項２に記載の撮像装置。
【請求項４】
前記イメージセンサは、前記画像処理支援情報として、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号を重み付け平均して分割照度データを算出する
請求項２に記載の撮像装置。
【請求項５】
前記イメージセンサは、前記画像処理支援情報として、前記エリア毎の温度、距離、位相差、または色相のうちの少なくとも一つを出力する
請求項２に記載の撮像装置。
【請求項６】
前記イメージセンサは、前記エリア毎に算出した前記画像処理支援情報に基づいて前記閾値を設定する
請求項２に記載の撮像装置。
【請求項７】
前記画像処理部は、前記エリア毎の前記画像処理支援情報に対する前記フラグの有無に応じて、前記所定の画像処理の対象領域を制限する
請求項２に記載の撮像装置。
【請求項８】
前記画像処理部は、前記イメージセンサから出力された前記画像データのうち、前記フラグが立てられている前記画像処理支援情報に対応する前記エリアを前記所定の画像処理の対象とする
請求項７に記載の撮像装置。
【請求項９】
前記画像処理部は、前記所定の画像処理として画像認識処理を行い、前記イメージセンサから出力された前記画像データのうち、前のフレームの画像データに対する前記画像認識処理で認識対象物が検出された領域を含む近傍領域を、前記画像認識処理の探索領域とする
請求項７に記載の撮像装置。
【請求項１０】
前記イメージセンサは、前記画像データと、前記エリア毎の前記画像処理支援情報をそれぞれ異なるI/Fから出力する
請求項２に記載の撮像装置。
【請求項１１】
撮像面に縦横に配置されている光電変換素子によって入射光に応じて生成された画素信号からなる画像データを出力するとともに、前記撮像面を複数のエリアに区分し、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号に基づいて画像認識支援情報を生成する
イメージセンサ。
【請求項１２】
撮像面に縦横に配置されている光電変換素子によって入射光に応じて生成された画素信号からなる画像データを出力するとともに、前記撮像面を複数のエリアに区分し、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号に基づいて画像認識支援情報を生成するイメージセンサから出力された前記画像データに対し、前記イメージセンサから出力された前記画像処理支援情報を用いて所定の画像処理を行う
画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置、イメージセンサ、および画像処理装置に関し、特に、画像上の顔などを検出する場合に用いて好適な撮像装置、イメージセンサ、および画像処理装置に関する。
【背景技術】
【０００２】
従来、デジタルカメラやデジタルビデオカメラなどの撮像装置では、画像上から人の顔や手を検出し、検出した顔を追尾してフォーカスを合わせたり、検出した手の動きに応じて所定の処理を実行したりするものが提案されている（例えば、特許文献１参照）。
【０００３】
このような撮像装置は、動画像を撮像して画像データを出力するイメージセンサと、イメージセンサからの画像データに対して画像認識処理を行う画像処理部を備えている。この画像処理部は、画像信号処理プロセッサ(DSP)等からなるハードウェアであったり、またはコンピュータがソフトウェアを実行することによって実現されたりする。
【０００４】
一般に、画像認識処理ではイメージセンサから出力される画像の全体を探索範囲として、認識対象物（人の顔や手など）を検出する。
【０００５】
また、画像認識処理では、画面上の認識対象物が急激に離れた場所に移動することは稀であるのを根拠として、あるフレーム上で認識対象物を検出すると、次のフレーム以降では、前のフレームで認識対象物を検出した位置の近傍のみを認識対象物の探索範囲として、再び認識対象物の検出を試みる。これにより、一旦、検出された認識対象物を連続して追尾することができる。
【０００６】
さらに、画像認識処理では、検出済みの認識対象物以外の認識対象物が画面内に入ってきたのを検出できるように、周期的に画像全体を探索範囲とするようになされている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１３−１４８９１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述したように、画像認識処理を行う撮像装置において、イメージセンサは撮像した画像データを後段の画像処理部に出力するだけであり、画像処理部が画像認識処理を担っている。したがって、画像処理部は、イメージセンサに比較して、画像認識処理に関する負荷が大きく、このために回路規模が大きくなったり、高速動作を要求されたり、高消費電力化を招く要因となっていた。
【０００９】
本開示はこのような状況に鑑みてなされたものであり、イメージセンサから画像データのみならず、画像認識処理に役立つ画像認識支援情報を出力させることにより、画像認識処理に関する画像処理部の負荷を軽減できるようにするものである。
【課題を解決するための手段】
【００１０】
本開示の第１の側面である撮像装置は、撮像面に縦横に配置されている光電変換素子によって入射光に応じて生成された画素信号からなる画像データを出力するとともに、前記撮像面を複数のエリアに区分し、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号に基づいて画像認識支援情報を生成するイメージセンサと、前記イメージセンサから出力された前記画像データに対し、前記イメージセンサから出力された前記画像処理支援情報を用いて所定の画像処理を行う画像処理部とを備える。
【００１１】
前記イメージセンサは、前記エリア毎に前記画像処理支援情報に対する閾値を設定し、算出した前記画像処理支援情報が前記閾値を超えた場合、算出した前記画像処理支援情報にフラグを立てて出力することができる。
【００１２】
前記イメージセンサは、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号を統計的に演算して前記画像処理支援情報を算出することができる。
【００１３】
前記イメージセンサは、前記画像処理支援情報として、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号を重み付け平均して分割照度データを算出することができる。
【００１４】
前記イメージセンサは、前記画像処理支援情報として、前記エリア毎の温度、距離、位相差、または色相のうちの少なくとも一つを出力することができる。
【００１５】
前記イメージセンサは、前記エリア毎に算出した前記画像処理支援情報に基づいて前記閾値を設定することができる。
【００１６】
前記画像処理部は、前記エリア毎の前記画像処理支援情報に対する前記フラグの有無に応じて、前記所定の画像処理の対象領域を制限することができる。
【００１７】
前記画像処理部は、前記イメージセンサから出力された前記画像データのうち、前記フラグが立てられている前記画像処理支援情報に対応する前記エリアを前記所定の画像処理の対象とすることができる。
【００１８】
前記画像処理部は、前記所定の画像処理として画像認識処理を行い、前記イメージセンサから出力された前記画像データのうち、前のフレームの画像データに対する前記画像認識処理で認識対象物が検出された領域を含む近傍領域を、前記画像認識処理の探索領域とすることができる。
【００１９】
前記イメージセンサは、前記画像データと、前記エリア毎の前記画像処理支援情報をそれぞれ異なるI/Fから出力することができる。
【００２０】
本開示の第１の側面においては、イメージセンサにより、撮像面に縦横に配置されている光電変換素子によって入射光に応じて生成された画素信号からなる画像データが出力されるとともに、前記撮像面が複数のエリアに区分され、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号に基づいて画像認識支援情報が算出されて出力され、画像処理部により、前記イメージセンサから出力された前記画像データに対し、前記イメージセンサから出力された前記画像処理支援情報を用いて所定の画像処理が行われる。
【００２１】
本開示の第２の側面であるイメージセンサは、撮像面に縦横に配置されている光電変換素子によって入射光に応じて生成された画素信号からなる画像データを出力するとともに、前記撮像面を複数のエリアに区分し、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号に基づいて画像認識支援情報を生成する。
【００２２】
本開示の第２の側面においては、撮像面に縦横に配置されている光電変換素子によって入射光に応じて生成された画素信号からなる画像データが出力されるとともに、前記撮像面が複数のエリアに区分され、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号に基づいて画像認識支援情報が算出されて出力される。
【００２３】
本開示の第３の側面である画像処理装置は、撮像面に縦横に配置されている光電変換素子によって入射光に応じて生成された画素信号からなる画像データを出力するとともに、前記撮像面を複数のエリアに区分し、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号に基づいて画像認識支援情報を生成するイメージセンサから出力された前記画像データに対し、前記イメージセンサから出力された前記画像処理支援情報を用いて所定の画像処理を行う。
【００２４】
本開示の第３の側面においては、イメージセンサから出力された画像データに対し、前記イメージセンサから出力された画像処理支援情報を用いて所定の画像処理が行われる。
【発明の効果】
【００２５】
本開示の第１の側面によれば、画像処理部の負荷を軽減させることができる。
【００２６】
本開示の第２の側面によれば、画像認識処理などの所定の画像処理に役立つ画像処理支援情報を出力することができる。
【００２７】
本開示の第３の側面によれば、イメージセンサからの画像処理支援情報に基づき、所定の画像処理を効率的に行うことができる。
【図面の簡単な説明】
【００２８】
【図１】本開示を適用した撮像装置の構成例を示すブロック図である。
【図２】イメージセンサの出力を説明する図である。
【図３】顔検出処理を説明するフローチャートである。
【図４】第１の検出処理（サブルーチン）を説明するフローチャートである。
【図５】顔検出処理を具体的に説明するための図である。
【図６】第２の検出処理（サブルーチン）を説明するフローチャートである。
【図７】顔検出処理を具体的に説明するための図である。
【図８】顔検出処理を具体的に説明するための図である。
【発明を実施するための形態】
【００２９】
以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
【００３０】
＜本開示の実施の形態である撮像装置の構成例＞
図１は、本開示の実施の形態である撮像装置の構成例を示している。この撮像装置１０は、制御部１１、レンズ１２、イメージセンサ１３、画像処理部１４、フラッシュメモリ１５、DRAM１６、ROM１７、ディスプレイ１８、およびタッチパネル１９を有する。
【００３１】
制御部１１は、撮像装置１０の全体を制御する。レンズ１２は、被写体の光学像をイメージセンサ１３に入射させる。
【００３２】
イメージセンサ１３は、その撮像面に多数の光電変換素子が縦横に配置されており、入射光に応じた光電変換処理を行い、その結果得られるフレーム単位の画像データ（RAWデータ）を、MIPI I/F１３ａを介して画像処理部１４に出力する。
【００３３】
また、イメージセンサ１３は、その撮像面を所定サイズに区分したALS(Ambient Light Sensor)エリア毎に画像認識支援情報として分割照度データを算出し、各ALSエリアに対応する分割照度データを、I2C I/F１３ｂを介してイメージセンサ１３に出力する。なお、ALSエリア、および画像認識支援情報として分割照度データの詳細については後述する。
【００３４】
画像処理部１４は、例えば、DSPなどから成り、イメージセンサ１３からフレーム単位で供給される画像データ（RAWデータ）にデモザイク処理を行ってYUV信号に変換する。また、画像処理部１４は、フレーム単位のYUV信号のＹ成分に対し、画像認識処理としての顔検出処理を実行する。顔検出処理の詳細については後述する。また、画像処理部１４は、YVU信号を所定の符号化方式に従ってエンコードし、その結果得られる符号化データをフラッシュメモリ１５に記録する。
【００３５】
DRAM１６は、画像処理部１４による顔検出処理の記憶領域として利用される。ROM１７には、画像処理部１４による顔検出処理にて参照される顔パターンなどが予め記録されている。
【００３６】
ディスプレイ１８には、モニタリング中や録画中の画像、再生された画像、各種の設定画面などが表示される。タッチパネル１９は、ディスプレイ１８に重畳して配置され、ユーザの各種の入力操作を受け付ける。
【００３７】
次に、イメージセンサ１３の出力について具体的に説明する。図２は、イメージセンサ１３の出力を示す図である。
【００３８】
上述したように、イメージセンサ１３は、入射光に応じた光電変換処理の結果得られるフレーム単位の画像データ（RAWデータ）を、MIPI I/F１３ａを介して画像処理部１４に出力する。
【００３９】
また、イメージセンサ１３は、各ALSエリアに対応する分割照度データを算出して、I2C I/F１３ｂを介して画像処理部１４に出力する。なお、同図の場合、イメージセンサ１３の撮像面は、４×４のALSエリアに区分されている。したがって、イメージセンサ１３から画像処理部１４に対して、１６エリア分の分割照度データが出力される。ただし、ALSエリアの区分数は４×４に限るものではなく任意に設定可能とする。
【００４０】
分割照度データとしては、各ALSエリアに属する画素の画素値の平均値を算出する。例えば、撮像面にベイヤ配列で画素が配置されている場合、各画素はＲ，Ｇｒ，Ｂ，Ｇｂのいずれかの色成分の信号を出力することになる。この場合、Ｒ成分の信号を出力する画素の画素値の平均値ＲＡＶと、Ｇｒ成分の信号を出力する画素の画素値の平均値ＧｒＡＶと、Ｂ成分の信号を出力する画素の画素値の平均値ＢＡＶと、Ｇｂ成分の信号を出力する画素の画素値の平均値ＧｂＡＶとの平均値を分割照度データとして算出する。なお、Ｒ，Ｇｒ，Ｂ，Ｇｂの各値に重みを付け、より正確な分割照度データを算出してもよい。
【００４１】
なお、分割照度データの算出方法は、各ALSエリアに属する全画素の画素値を用いるのではなく、間引きして用いるようにしてもよい。また、分割照度データの算出方法は、上述した例に限るものではなく、RAWデータに基づいて算出するものであればよい。
【００４２】
さらに、イメージセンサ１３は、ALSエリア毎に分割照度データの上下の閾値を設定することができる。そして、例えば画像上に新たな被写体が登場するなどにより、算出した分割照度データが、上下の閾値の一方を超えた場合、分割照度データにフラグを立てて画像処理部１４に出力する。
【００４３】
なお、画像認識支援情報として、分割照度データの代わりに、または分割照度データに追加して、各ALSエリアの温度、距離、位相差、色相などをイメージセンサ１３で取得し、画像処理部１４に供給するようにしてもよい。
【００４４】
＜画像認識処理としての顔検出処理の説明＞
図３は、撮像装置１０による顔検出処理を説明するフローチャートである。この顔検出処理はモニタリング中、または録画中に１フレーム周期で継続的に実行される。
【００４５】
ステップＳ１において、イメージセンサ１３は、１フレーム分の画像データをMIPI I/F１３ａを介して画像処理部１４に出力する。また、イメージセンサ１３は、各ALSエリアの分割照度データを算出し、I2C I/F１３ｂを介してイメージセンサ１３に出力する。このとき、分割照度データの上下の閾値が設定済みである場合、イメージセンサ13は、分割照度データが、上下の閾値の一方を超えるときには、分割照度データにフラグを立てて画像処理部１４に出力する。
【００４６】
ステップＳ２において、画像処理部１４は、入力された画像データとそれに対応する各ALSエリアの分割照度データが、所定のフレーム周期（いまの場合、５０フレーム周期とする。任意に変更可能）の何フレーム目であるか判断する。ステップＳ３において、画像処理部１４は、ステップＳ２における判断結果が１フレーム目であるか否かを判定する。１フレーム目であると判定された場合、処理はステップＳ４に進められる。
【００４７】
ステップＳ４において、イメージセンサ１３は、全てのALSエリア毎に対して、ステップＳ１で算出した分割照度データに基づいて上下の閾値を設定する。具体的には、分割照度データに予め設定されている所定のオフセット値を加算することにより上の閾値を設定するとともに、分割照度データから予め設定されている所定のオフセット値を減算することにより下の閾値を設定する。この後、処理はステップＳ５に進められる。ステップＳ５において、画像処理部１４は、第１の検出処理を実行する。
【００４８】
図４は、ステップＳ５における第１の検出処理を詳述するフローチャートである。図５は、第１の検出処理を説明するための画像の一例である。
【００４９】
ステップＳ１１において、画像処理部１４は、人の顔を検出する際に画像上で移動させる所定サイズのマッチング対象エリア２１の座標を、初期値（原点座標。画面上の左上）に設定する。続いて、画像処理部１４は、ステップＳ１２において、マッチング対象エリア２１内の画像が予め用意されている人の顔パターンと一致するか否かを判定する。ここで、一致すると判定された場合、処理はステップＳ１３に進められる。反対に、一致しないと判定された場合、ステップＳ１３はスキップされる。
【００５０】
ステップＳ１３において、画像処理部１４は、顔パターンと一致したマッチング対象エリア２１の現在の座標を顔検出領域２２として登録する。
【００５１】
次に、ステップＳ１４において、画像処理部１４は、画像全体をマッチング対象エリア２１としたか否かを判定する。画像全体をマッチング対象エリア２１としていない（すなわち、マッチング対象エリア２１としていない領域が残っている）と判定された場合、処理はステップS１５に進められる。
【００５２】
ステップＳ１５において、画像処理部１４は、マッチング対象エリア２１の座標をラスタースキャン順に所定の幅だけ移動させる。この後、処理はステップＳ１２に戻されて、ステップＳ１２乃至Ｓ１５の処理が繰り返される。そして、ステップＳ１４において、画像全体をマッチング対象エリア２１とした（すなわち、マッチング対象エリア２１としていない領域が残っていない）と判定された場合、該第１の検出処理は終了されて、処理は図３のステップＳ１に戻され、次のフレームが顔検出処理の対象とされる。
【００５３】
図１に戻る。ステップＳ３において、１フレーム目ではないと判定された場合、処理はステップＳ６に進められる。ステップＳ６において、画像処理部１４は、第２の検出処理を実行する。
【００５４】
図６は、ステップＳ６における第２の検出処理を詳述するフローチャートである。図７および図８は、第２の検出処理を説明するための画像の一例である。
【００５５】
ステップＳ２１において、画像処理部１４は、図７に示すように、前のフレームから検出された登録済みの顔検出領域２２を含み、顔検出領域２２よりも大きな近傍領域２３を設定する。また、画像処理部１４は、近傍領域２３と、フラグが立てられているALSエリア（画面上に変化があって分割照度データが上下の閾値のどちらかを超えたALSエリア）を順次１つずつ探索範囲として選択する。
【００５６】
ステップＳ２２において、画像処理部１４は、マッチング対象エリア２１の座標を、選択した探索領域の初期値（原点座標。画面上の左上）に設定する。
【００５７】
ステップＳ２３において、画像処理部１４は、マッチング対象エリア２１内の画像が予め用意されている人の顔パターンと一致するか否かを判定する。ここで、一致すると判定された場合、処理はステップＳ２４に進められる。反対に、一致しないと判定された場合、ステップＳ２４はスキップされる。
【００５８】
ステップＳ２４において、画像処理部１４は、顔パターンと一致したマッチング対象エリア２１の現在の座標を顔検出領域２２として登録する。
【００５９】
次に、ステップＳ２５において、画像処理部１４は、選択中の探索範囲全体をマッチング対象エリア２１としたか否かを判定する。選択中の探索範囲全体をマッチング対象エリア２１としていない（すなわち、マッチング対象エリア２１としていない領域が残っている）と判定された場合、処理はステップS２６に進められる。
【００６０】
ステップＳ２６において、画像処理部１４は、選択中の探索範囲内でマッチング対象エリア２１の座標を所定の幅だけ移動させる。この後、処理はステップＳ２３に戻されて、ステップＳ２３乃至Ｓ２６の処理が繰り返される。そして、ステップＳ２５において、探索範囲全体をマッチング対象エリア２１とした（すなわち、マッチング対象エリア２１としていない領域が残っていない）と判定された場合、処理はステップS２７に進められる。
【００６１】
ステップＳ２７において、画像処理部１４は、近傍領域２３と、フラグが立てられているALSエリアの全てを探索範囲として選択したか否かは判定する。そして、近傍領域２３と、フラグが立てられているALSエリアの全てを探索範囲として選択していない（すなわち、探索範囲として選択していないものが残っている）と判定した場合、処理はステップＳ２１に戻されて、ステップＳ２１乃至Ｓ２７の処理が繰り返される。その後、ステップＳ２７において、近傍領域２３と、フラグが立てられているALSエリアの全てを探索範囲として選択した（すなわち、探索範囲として選択していないものが残っていない）と判定した場合、該第２の検出処理は終了されて、処理は図３のステップＳ７に進められる。
【００６２】
ステップＳ７において、イメージセンサ１３は、フラグが立てられているALSエリアの上下の閾値を、直近のステップＳ１で算出した分割照度データに基づいて設定する。具体的には、上述したステップＳ４の処理と同様に設定する。
【００６３】
この後、処理は図３のステップＳ１に戻され、次のフレームが顔検出処理の対象とされる。以上で、顔検出処理の説明を終了する。
【００６４】
以上に説明した顔検出処理によれば、所定のフレーム周期で実行される、画面全体をマッチング対象エリア２１とする第１の検出処理によって人の顔が検出された場合、次のフレーム以降は、第２の検出処理により、図７に示すように、検出された顔を含む近傍領域が探索範囲とされる。よって、次のフレームにおいても速やかに顔を検出することができる。
【００６５】
また、第２の検出処理は、第１の検出処理に比較して、マッチング対象エリア２１とする領域が狭いので、画像処理部１４の処理負荷を軽減させることができる。したがって、画像処理部１４の回路規模の拡大や高速動作を抑制したり、消費電力の増大を抑止したりすることができる。
【００６６】
また、例えば、図８に示されるように、その直前にフレームで検出されていない被写体が画面上に出現した場合、そのALSエリアも探索範囲とされるので、新たに登場した人物の顔も検出することができる。
【００６７】
＜顔検出処理の第１の変形例＞
上述した顔検出処理では、所定のフレーム周期（上述した説明では５０フレームに１回）で第１の検出処理を実行するようにしたが、第１の検出処理は初めのフレームに対してのみ実行するようにし、それ以降は全て第２の検出処理を実行するようにしてもよい。このようにすれば、画面全体からの顔の検出精度をほぼ保ったまま、画像処理部１４の処理負荷をより軽減させることができる。
【００６８】
＜顔検出処理の第２の変形例＞
上述した第１の検出処理のステップＳ１３や第２の検出処理のステップＳ２３における、マッチング対象エリア２１と顔パターンの一致判定に先立ち、画像内の照度が低い領域についてだけ、ゲインを上げるとともに、ノイズリダクションを行うようにしてよい。具体的には、分割照度データが所定の基準値以下であるALSエリアについてだけ、画素値に所定のゲイン値４を乗算するようにし、また、ローパスフィルタなどによりノイズを除去するようにする。これにより、顔の検出精度を上げることができる。
【００６９】
なお、本実施の形態においては、画像認識処理としての顔検出処理について説明したが、本開示は、被写体の顔以外の部位、例えば、手などを認識する場合にも適用できる。
【００７０】
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【００７１】
本開示は以下のような構成も取ることができる。
（１）
撮像面に縦横に配置されている光電変換素子によって入射光に応じて生成された画素信号からなる画像データを出力するとともに、前記撮像面を複数のエリアに区分し、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号に基づいて画像認識支援情報を生成するイメージセンサと、
前記イメージセンサから出力された前記画像データに対し、前記イメージセンサから出力された前記画像処理支援情報を用いて所定の画像処理を行う画像処理部と
を備える撮像装置。
（２）
前記イメージセンサは、前記エリア毎に前記画像処理支援情報に対する閾値を設定し、算出した前記画像処理支援情報が前記閾値を超えた場合、算出した前記画像処理支援情報にフラグを立てて出力する
前記（１）に記載の撮像装置。
（３）
前記イメージセンサは、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号を統計的に演算して前記画像処理支援情報を算出する
前記（１）または（２）に記載の撮像装置。
（４）
前記イメージセンサは、前記画像処理支援情報として、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号を平均して分割照度データを算出する
前記（１）から（３）のいずれかに記載の撮像装置。
（５）
前記イメージセンサは、前記画像処理支援情報として、前記エリア毎の温度、距離、位相差、または色相のうちの少なくとも一つを出力する
前記（１）から（４）のいずれかに記載の撮像装置。
（６）
前記イメージセンサは、前記エリア毎に算出した前記画像処理支援情報に基づいて前記閾値を設定する
前記（１）から（５）のいずれかに記載の撮像装置。
（７）
前記画像処理部は、前記エリア毎の前記画像処理支援情報に対する前記フラグの有無に応じて、前記所定の画像処理の対象領域を制限する
前記（２）から（６）のいずれかに記載の撮像装置。
（８）
前記画像処理部は、前記イメージセンサから出力された前記画像データのうち、前記フラグが立てられている前記画像処理支援情報に対応する前記エリアを前記所定の画像処理の対象とする
前記（２）から（７）のいずれかに記載の撮像装置。
（９）
前記画像処理部は、前記所定の画像処理として画像認識処理を行い、前記イメージセンサから出力された前記画像データのうち、前のフレームの画像データに対する前記画像認識処理で認識対象物が検出された領域を含む近傍領域を、前記画像認識処理の探索領域とする
前記（１）から（８）のいずれかに記載の撮像装置。
（１０）
前記イメージセンサは、前記画像データと、前記エリア毎の前記画像処理支援情報をそれぞれ異なるI/Fから出力する
前記（１）から（９）のいずれかに記載の撮像装置。
（１１）
撮像面に縦横に配置されている光電変換素子によって入射光に応じて生成された画素信号からなる画像データを出力するとともに、前記撮像面を複数のエリアに区分し、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号に基づいて画像認識支援情報を生成する
イメージセンサ。
（１２）
撮像面に縦横に配置されている光電変換素子によって入射光に応じて生成された画素信号からなる画像データを出力するとともに、前記撮像面を複数のエリアに区分し、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号に基づいて画像認識支援情報を生成するイメージセンサから出力された前記画像データに対し、前記イメージセンサから出力された前記画像処理支援情報を用いて所定の画像処理を行う
画像処理装置。
【符号の説明】
【００７２】
１０  撮像装置，  １１  制御部，  １２  レンズ，  １３  イメージセンサ，  １３  MIPI I/F，  １３ｂ  I2C I/F，  １４  画像処理部，  １５  フラッシュメモリ，  １６  DRAM，  １７  ROM，  １８  ディスプレイ，  １９  タッチパネル，
【図１】
2017034389.tif 000003
【図２】
2017034389.tif 000004
【図３】
2017034389.tif 000005
【図４】
2017034389.tif 000006
【図５】
2017034389.tif 000007
【図６】
2017034389.tif 000008
【図７】
2017034389.tif 000009
【図８】
2017034389.tif 000010