(57)【要約】【課題】被写体の認識精度を向上させることができる画像認識装置および画像認識方法を提案すること。【解決手段】本開示に係る画像認識装置は、撮像部と、認識部とを有する。撮像部は、感度が異なる撮像画素を使用し、１フレーム期間に複数の画像を同一の露光開始タイミングで撮像して画像データを生成する。認識部は、画像データのそれぞれから被写体を認識する。撮像部は、露光時間、カラーフィルタの透光率、または受光面積が異なる複数の撮像画素が２次元に配列された画素アレイを有する。【選択図】図２Ｂ
2020188310.tif 000002
【特許請求の範囲】
【請求項１】
感度が異なる撮像画素を使用し、１フレーム期間に複数の画像を同一の露光開始タイミングで撮像して画像データを生成する撮像部と、
前記画像データのそれぞれから被写体を認識する認識部と
を有する画像認識装置。
【請求項２】
前記撮像部は、
受光面積が同一であり露光時間が異なる複数の前記撮像画素が２次元に配列された画素アレイ
を有する請求項１に記載の画像認識装置。
【請求項３】
前記撮像部は、
受光面積が同一であり積層されるカラーフィルタの透光率が異なる複数の前記撮像画素が２次元に配列された画素アレイ
を有する請求項１に記載の画像認識装置。
【請求項４】
前記撮像部は、
受光面積が異なる複数の前記撮像画素が２次元に配列された画素アレイ
を有する請求項１に記載の画像認識装置。
【請求項５】
前記撮像部は、
長時間露光撮像画素、中時間露光撮像画素、および短時間露光撮像画素が２次元に配列された画素アレイ
を有する請求項１に記載の画像認識装置。
【請求項６】
前記撮像部は、
低感度撮像画素、中感度撮像画素、および高感度撮像画素が２次元に配列された画素アレイ
を有する請求項１に記載の画像認識装置。
【請求項７】
前記認識部は、
前記被写体を認識した場合に、前記被写体の認識結果および前記画像データを後段の装置へ出力し、前記被写体を認識しない場合に、その旨を示す情報を後段の装置へ出力する
請求項１に記載の画像認識装置。
【請求項８】
前記認識部は、
デモザイク処理が実行された前記画像データから前記被写体を認識する
請求項１に記載の画像認識装置。
【請求項９】
前記認識部は、
デモザイク処理が実行されない前記画像データから前記被写体を認識する
請求項１に記載の画像認識装置。
【請求項１０】
前記認識部は、
前記撮像部から入力される前記画像データから前記被写体を認識する
請求項１に記載の画像認識装置。
【請求項１１】
前記撮像部は、
前記認識部によって前記被写体が検出される前には、低感度の前記撮像画素を使用し、低解像および低フレームレートで撮像した画像全体の画像データを生成し、
前記認識部によって前記被写体が検出された後には、高感度の前記撮像画素を使用し、
高解像度および高フレームレートで撮像した画像から前記被写体を切り出した画像データを生成し、
前記認識部は、
前記被写体を検出する前には、前記画像データに前記被写体が存在するか否かを認識し、前記被写体を検出した後には、前記被写体が何かを認識する
請求項１に記載の画像認識装置。
【請求項１２】
前記撮像部は、
前記認識部によって前記被写体が検出される前には、低感度の前記撮像画素および高感度の前記撮像画素を使用し、高解像および高フレームレートで撮像した画像全体の画像データを生成し、
前記認識部によって検出された前記被写体が信号機の場合には、低感度の前記撮像画素を使用し、前記被写体が車両の場合には、高感度の前記撮像画素を使用して、高解像度および高フレームレートで撮像した画像から前記被写体を切り出した画像データを生成し、
前記認識部は、
前記被写体を検出する前には、前記画像データから前記被写体を認識する処理を行い、前記被写体を認識した後には、前記画像データに基づいて前記被写体に応じた認識処理を行う
請求項１に記載の画像認識装置。
【請求項１３】
前記撮像部は、
前記認識部によって前記被写体が検出される前には、前記長時間露光撮像画素、前記中時間露光撮像画素、および前記短時間露光撮像画素を使用し、高解像および高フレームレートで撮像した画像全体の画像データを生成し、
前記認識部によって検出された前記被写体が信号機の場合には、前記中時間露光撮像画素を使用し、前記被写体が車両の場合には、前記短時間露光撮像画素を使用して、高解像度および高フレームレートで撮像した画像から前記被写体を切り出した画像データを生成し、
前記認識部は、
前記被写体を検出する前には、前記画像データから前記被写体を認識する処理を行い、前記被写体を認識した後には、前記画像データに基づいて前記被写体に応じた認識処理を行う
請求項５に記載の画像認識装置。
【請求項１４】
感度が異なる撮像画素を使用し、１フレーム期間に複数の画像を同一の露光開始タイミングで撮像して画像データを生成し、
前記画像データのそれぞれから被写体を認識する
画像認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像認識装置および画像認識方法に関する。
【背景技術】
【０００２】
１フレーム期間に感度が異なる複数の画像を撮像して合成することによりＨＤＲ（High  Dynamic  Range）画像を生成するＨＤＲ撮像モードを備え、ＨＤＲ画像から被写体を認識する撮像装置がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１０３６４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の従来技術では、被写体の認識精度が低下することがある。そこで、本開示では、被写体の認識精度を向上させることができる画像認識装置および画像認識方法を提案する。
【課題を解決するための手段】
【０００５】
本開示に係る画像認識装置は、撮像部と、認識部とを有する。撮像部は、感度が異なる撮像画素を使用し、１フレーム期間に複数の画像を同一の露光開始タイミングで撮像して画像データを生成する。認識部は、前記画像データのそれぞれから被写体を認識する。
【図面の簡単な説明】
【０００６】
【図１Ａ】本開示の第１の実施形態に係る画素アレイを示す説明図である。
【図１Ｂ】本開示の第１の実施形態に係る他の画素アレイを示す説明図である。
【図２Ａ】一般的なＤＮＮの使用例を示す説明図である。
【図２Ｂ】本開示の第１の実施形態に係るＤＮＮの使用例を示す説明図である。
【図３】本開示の第１の実施形態に係る画像認識システムの構成例を示す図である。
【図４】本開示の第１の実施形態に係る信号処理部が実行する処理の説明図である。
【図５Ａ】本開示の第１の実施形態に係る認識部が実行する処理の説明図である。
【図５Ｂ】本開示の第１の実施形態に係る認識部が実行する処理の説明図である。
【図６】本開示の第１の実施形態に係る信号処理部が実行する処理の第１変形例を示す説明図である。
【図７】本開示の第１の実施形態に係るＤＮＮの使用例の変形例を示す説明図である。
【図８】本開示の第１の実施形態に係る画像認識システムの変形例を示す説明図である。
【図９】本開示の第１の実施形態に係るイメージセンサの第１動作例を示す説明図である。
【図１０】本開示の第１の実施形態に係るイメージセンサが実行する処理の第１具体例を示すフローチャートである。
【図１１】本開示の第１の実施形態に係るイメージセンサの第２動作例を示す説明図である。
【図１２】本開示の第１の実施形態に係るイメージセンサが実行する処理の第２具体例を示すフローチャートである。
【図１３】本開示の第１の実施形態に係るイメージセンサの第２動作例による作用効果の説明図である。
【図１４】本開示の第２の実施形態に係る画素アレイを示す説明図である。
【図１５】本開示の第２の実施形態に係るＤＮＮの使用例を示す説明図である。
【図１６】本開示の第２の実施形態に係るＤＮＮの他の使用例を示す説明図である。
【図１７】本開示の第２の実施形態に係るイメージセンサが実行する処理の具体例を示すフローチャートである。
【図１８】本開示の第２の実施形態に係る他の画素アレイを採用したイメージセンサの動作例を示す説明図である。
【図１９】第２の実施形態に係るイメージセンサの他の動作例の説明図である。
【発明を実施するための形態】
【０００７】
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【０００８】
（１．第１の実施形態）
［１−１．第１の実施形態に係る画像認識方法の概要］
まず、本開示に係る画像認識方法の概要について説明する。本開示に係る画像認識方法では、感度が異なる撮像画素を使用し、１フレーム期間に複数の画像を同一の露光開始タイミングで撮像して画像データを生成し、画像データのそれぞれから被写体を認識する。
【０００９】
複数の画像の撮像には、ＨＤＲ（High  Dynamic  Range）画像の撮像に使用される画素アレイを使用する。図１Ａは、本開示の第１の実施形態に係る画素アレイを示す説明図である。例えば、図１Ａに示すように、ＨＤＲ画像の撮像に使用される画素アレイＡ１は、高感度撮像画素と、低感度撮像画素とが２列ずつ交互に２次元配列されている。
【００１０】
高感度撮像画素および低感度撮像画素が配置される領域には、それぞれ赤色光を受光する撮像画素Ｒ、緑色光を受光する撮像画素Ｇｒ、Ｇｂ、青色光を受光する撮像画素Ｂがベイヤ配列されている。なお、以下では、撮像画素Ｒ、Ｇｒ、Ｇｂ、Ｂから出力される受光量に応じた信号を信号Ｒ、Ｇｒ、Ｇｂ、Ｂや画素信号Ｒ、Ｇｒ、Ｇｂ、Ｂと記載する場合がある。
【００１１】
なお、撮像画素Ｇｒは、撮像画素Ｒが配置される列に設けられて緑色光を受光する撮像画素である。撮像画素Ｇｂは、撮像画素Ｂが配置される列に設けられて緑色光を受光する撮像画素である。高感度撮像画素および低感度撮像画素は、受光面積が全て同一であり、同時に露光が開始されるが、露光時間が異なる。
【００１２】
ここでの高感度撮像画素は、通常よりも露光時間が長い撮像画素であり、周囲が暗い場合であっても十分な受光量を得ることができる。これにより、高感度撮像画素は、輝度が低すぎて通常の露光時間では黒つぶれするような被写体であっても、被写体の像がきれいに写った高感度画像を撮像することができる。
【００１３】
また、ここでの低感度撮像画素は、通常よりも露光時間が短い撮像画素であり、周囲が明るい場合であっても飽和することがない。これにより、低感度撮像画素は、輝度が高すぎて通常の露光時間では白つぶれするような被写体であっても、被写体の像がきれいに写った低感度画像を撮像することができる。
【００１４】
ＨＤＲ画像は、上記した高感度画像と低感度画像とをＨＤＲ合成することによって生成される。このため、ＨＤＲ画像は、暗い被写体から明るい被写体まで全ての被写体の像がきれいに写った画像となる。
【００１５】
なお、図１Ａに示す画素アレイＡ１では、露光時間を異ならせることで、受光面積が同一の撮像画素を高感度撮像画素または低感度撮像画素として機能させたが、これは一例である。例えば、画素アレイＡ１は、各撮像画素に積層されるカラーフィルタの透光率を異ならせることで、露光時間を同一にしても、各撮像画素を高感度撮像画素または低感度撮像画素として機能させることができる。
【００１６】
この場合、画素アレイＡ１では、透光率の高いカラーフィルタが積層される撮像画素が高感度撮像画素となり、透光率の低いカラーフィルタが積層される撮像画素が低感度撮像画素となる。かかる画素アレイＡ１によっても、同時に高感度画像および低感度画像を撮像することができるので、両画像をＨＤＲ合成することにより、ＨＤＲ画像を撮像することが可能である。なお、画素アレイＡ１は、撮像画素に積層するカラーフィルタの透光性を調整することによって、中間度撮像画素を設けることも可能である。
【００１７】
また、撮像画素の受光面積を異ならせることで、カラーフィルタの透光性および露光時間が同一の撮像画素を高感度撮像画素または低感度撮像画素として機能させることもできる。図１Ｂは、本開示の第１の実施形態に係る他の画素アレイを示す説明図である。
【００１８】
図１Ｂに示すように、画素アレイＡ２は、ベイヤ配列された受光面積が広い撮像画素Ｒ，Ｇｒ、Ｇｂ、Ｂと、受光面積が広い各撮像画素Ｒ，Ｇｒ、Ｇｂ、Ｂの四隅に配置された受光面積が狭い撮像画素Ｒ，Ｇｒ、Ｇｂ、Ｂとを備える。受光面積が狭い撮像画素Ｒ，Ｇｒ、Ｇｂ、Ｂのそれぞれの配置は、ベイヤ配列と同じ配置になっている。
【００１９】
画素アレイＡ２では、カラーフィルタの透光性および露光時間が同一の場合、受光面積が広い撮像画素Ｒ，Ｇｒ、Ｇｂ、Ｂの受光量が、受光面積が狭い撮像画素Ｒ，Ｇｒ、Ｇｂ、Ｂの受光量よりも多くなる。
【００２０】
このため、受光面積の広い撮像画素Ｒ，Ｇｒ、Ｇｂ、Ｂが高感度撮像画素となり、受光面積の狭い撮像画素Ｒ，Ｇｒ、Ｇｂ、Ｂが低感度撮像画素となる。かかる画素アレイＡ２によっても、高感度画像および低感度画像を撮像することができるので、両画像をＨＤＲ合成することによりＨＤＲを撮像することが可能である。
【００２１】
ここで、画像データから被写体を認識する方法の一例として、ＤＮＮ（Deep  Neural  Network）を用いる画像認識方法がある。ＤＮＮは、画像データから被写体の特徴（パターン）を認識するように機械学習によって設計された人間の脳神経回路（ニューラルネットワーク）をモデルとした多階層構造のアルゴリズムである。
【００２２】
図２Ａは、一般的なＤＮＮの使用例を示す説明図である。例えば、ＨＤＲ画像から被写体を認識する場合、図２Ａに示すように、ＨＤＲ合成後のＨＤＲ画像における各画素の信号Ｒ、Ｇ、Ｂ（ＨＤＲ画像の画像データ）をＤＮＮへ入力すると、ＤＮＮから被写体の認識結果が出力される。
【００２３】
しかしながら、ＨＤＲ画像には、ＨＤＲ合成が行われたことで、実際には存在しないアーチファクトが写り込むことがある。このため、ＨＤＲ画像における各画素の信号Ｒ、Ｇ、ＢをＤＮＮへ入力すると、アーチファクトの弊害によって、ＤＮＮによる被写体の認識精度が低下することがある。
【００２４】
そこで、本開示では、ＨＤＲ合成前の高感度画像および低感度画像のそれぞれから被写体を認識することで、アーチファクトの影響を排除し、被写体の認識精度を向上させる。図２Ｂは、本開示の第１の実施形態に係るＤＮＮの使用例を示す説明図である。
【００２５】
図２Ｂに示すように、本開示では、例えば、高感度撮像画素から出力される高感度信号Ｒ、Ｇｒ、Ｇｂ、Ｂ（高感度画像の画像データ）および低感度撮像画素から出力される低感度信号Ｒ、Ｇｒ、Ｇｂ、Ｂ（低感度画像の画像データ）をＤＮＮへ入力する。
【００２６】
これにより、ＤＮＮは、高感度画像から認識した被写体の認識結果と、低感度画像から認識した被写体の認識結果とを出力する。このとき、ＤＮＮは、アーチファクトを含まない高感度画像および低感度画像から被写体を認識するので、アーチファクトの影響を受けることなく高精度な被写体の認識結果を出力することができる。
【００２７】
このように、本開示に係る画像認識方法は、感度が異なる撮像画素を使用し、１フレーム期間に複数の画像を同一の露光開始タイミングで撮像して画像データを生成し、画像データのそれぞれから被写体を認識するので被写体の認識精度を向上させることができる。
【００２８】
［１−２．第１の実施形態に係る画像認識システムの構成］
次に、図３を参照し、第１の実施形態に係る画像認識システムの構成について説明する。図３は、本開示の第１の実施形態に係る画像認識システムの構成例を示す図である。図３に示すように、第１の実施形態に係る画像認識システム１００は、画像認識装置の一例であるイメージセンサ１と、アプリケーションプロセッサ（以下、ＡＰ２と記載する）とを有する。
【００２９】
イメージセンサ１は、撮像部１０と、信号処理部１３と、認識部１４と、データ送信判断部１５と、セレクタ（以下、ＳＥＬ１６と記載する）と、送信部１７とを備える。撮像部１０は、撮像素子１１と、Ａ／Ｄ（Analog／Digital）変換部１２とを備える。
【００３０】
撮像素子１１は、例えば、図１Ｂに示す画素アレイＡ２を備える。なお、撮像素子１１は、図１Ａに示した受光面積が同一で露光時間が異なる撮像画素を備える画素アレイＡ１であってもよく、受光面積および露光時間が同一で積層されるカラーフィルタの透光性が異なる撮像画素を備える画素アレイであってもよい。
【００３１】
以下では、画素アレイＡ２が備える受光面積が広い撮像画素を大画素、受光面積が狭い撮像画素を小画素と称する場合がある。撮像素子１１は、同一の露光開始タイミングおよび同一の露光時間で大画素と小画素とを露光して、高感度画像および低感度画像を同時に撮像する。
【００３２】
そして、撮像素子１１は、各大画素および小画素からＡ／Ｄ変換部１２へ受光量に応じたアナログの画素信号を出力する。Ａ／Ｄ変換部１２は、撮像素子１１から入力されるアナログの画素信号をデジタルの画素信号にＡ／Ｄ変換して高感度画像の画像データと低感度画像の画像データとを生成し、信号処理部１３へ出力する。
【００３３】
信号処理部１３は、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ（Read  Only  Memory）、ＲＡＭ（Random  Access  Memory）などを有するマイクロコンピュータや各種の回路を含む。
【００３４】
信号処理部１３は、Ａ／Ｄ変換部１２から入力される高感度画像の画像データと、低感度画像の画像データとに対して、それぞれ所定の信号処理を実行し、信号処理後の高感度画像の画像データおよび低感度画像の画像データを認識部１４と、ＳＥＬ１６へ出力する。
【００３５】
ここで、図４を参照し、信号処理部１３が実行する処理の流れについて説明する。図４は、本開示の第１の実施形態に係る信号処理部が実行する処理の説明図である。図４に示すように、信号処理部１３は、入力される画像データに対して、まず、シェーディング補正を行い、続いて、混色補正を行う。
【００３６】
その後、信号処理部１３は、画像データに対してデジタルゲイン調整を行い、続いて、ホワイトバランスゲイン調整を行う。その後、信号処理部１３は、画像データに対してデモザイクを行った後、最後にガンマ補正を行い、ガンマ補正後の画像データを出力する。
【００３７】
なお、デモザイクでは、高感度画像および低感度画像の各画素の色を周囲の画素の色によって補完する処理を行う。このため、デモザイク前の高感度画像および低感度画像の画像データは、４種類の画素信号Ｒ、Ｇｒ、Ｇｂ、Ｂとなるが、デモザイク後の画像データは、３種類の画素信号Ｒ、Ｇ、Ｂとなる。
【００３８】
図３へ戻り、認識部１４は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有するマイクロコンピュータや各種の回路を含む。認識部１４は、ＣＰＵがＲＯＭに記憶された物体認識プログラムを、ＲＡＭを作業領域として使用して実行することにより機能する物体認識部３１と、ＲＡＭまたはＲＯＭに設けられる物体認識用データ記憶部３２とを備える。
【００３９】
物体認識用データ記憶部３２には、複数のＤＮＮが記憶されている。例えば、物体認識用データ記憶部３２には、高感度画像の画像データから物体を認識するＤＮＮ、低感度画像の画像データから物体を認識するＤＮＮが記憶されている。なお、物体認識用データ記憶部３２には、認識対象となる物体の種類別のＤＮＮが記憶される。
【００４０】
物体認識部３１は、設定される認識対象の種類に応じたＤＮＮを物体認識用データ記憶部３２から読出し、画像データをＤＮＮへ入力してＤＮＮから出力される被写体の認識結果をデータ送信判断部１５へ出力し、認識結果のメタデータをＳＥＬ１６へ出力する。
【００４１】
ここで、図５Ａおよび図５Ｂを参照し、認識部１４が行う処理の流れについて説明する。図５Ａおよび図５Ｂは、本開示の第１の実施形態に係る認識部が実行する処理の説明図である。図５Ａに示すように、認識部１４は、まず、入力される画像データのサイズおよび入力値をＤＮＮ用のサイズおよび入力値に合わせて正規化し、正規化後の画像データをＤＮＮへ入力して物体認識を行う。そして、認識部１４は、ＤＮＮから出力される被写体の認識結果をデータ送信判断部１５へ出力し、認識結果のメタデータをＳＥＬ１６へ出力する。
【００４２】
このとき、図５Ｂに示すように、認識部１４は、大画素の画素信号Ｒ、Ｇ、Ｂと、小画素の画素信号Ｒ、Ｇ、ＢとをＤＮＮへ入力する。これにより、認識部１４は、アーチファクトのない高感度画像および低感度画像のそれぞれから被写体を認識することで、被写体の認識精度を向上させることができる。
【００４３】
図３へ戻り、データ送信判断部１５は、認識部１４から入力される認識結果に応じてＳＥＬ１６から出力させるデータを切替える制御信号をＳＥＬ１６へ出力する。データ送信判断部１５は、認識部１４によって被写体が認識された場合には、画像データと、認識結果を示すメタデータとを送信部１７へ出力させる制御信号をＳＥＬ１６へ出力する。
【００４４】
また、データ送信判断部１５は、認識部１４によって被写体が認識されなかった場合、その旨を示す情報（ノーデータ）を送信部１７へ出力させる制御信号をＳＥＬ１６へ出力する。ＳＥＬ１６は、データ送信判断部１５から入力される制御信号に応じて、画像データおよびメタデータのセット、または、ノーデータのいずれかを送信部１７へ出力する。
【００４５】
送信部１７は、ＡＰ２との間でデータ通信を行う通信Ｉ／Ｆ（インターフェース）であり、ＳＥＬ１６から入力される画像データおよびメタデータのセット、または、ノーデータのいずれかをＡＰ２へ送信する。
【００４６】
ＡＰ２は、画像認識システム１００の用途に応じた各種アプリケーションプログラムを実行するＣＰＵ、ＲＯＭ、ＲＡＭなどを有するマイクロコンピュータや各種の回路を含む。ＡＰ２は、受信部２１と、認証部２２と、認証用データ記憶部２３とを備える。
【００４７】
認証用データ記憶部２３には、イメージセンサ１によって認識された被写体を認証するための認証用プログラムおよび認証用画像データ等が記憶されている。受信部２１は、イメージセンサ１との間でデータ通信を行う通信Ｉ／Ｆである。受信部２１は、イメージセンサ１から画像データおよびメタデータのセット、または、ノーデータのいずれかを受信して認証部２２へ出力する。
【００４８】
認証部２２は、受信部２１からノーデータが入力される場合には起動せず、画像データおよびメタデータのセットが入力された場合に起動する。認証部２２は、起動すると認証用データ記憶部２３から認証用プログラムを読み出して実行し、イメージセンサ１によって認識された被写体を認証する。
【００４９】
例えば、認証部２２は、被写体が人であることを示すメタデータと画像データのセットが入力される場合、画像データと人の認証用画像データとを照合し、認識された人が誰かを特定する処理等を行う。
【００５０】
このとき、認証部２２は、イメージセンサ１によって被写体が人であると高精度に認識されたアーチファクトの影響がない高感度画像および低感度画像の画像データに基づいて人を特定することにより、認識された人が誰かを的確に特定することができる。なお、上記した第１の実施形態は、一例であり、種々の変形が可能である。次に第１の実施形態に係る変形例について説明する。
【００５１】
［１−３．第１の実施形態に係るイメージセンサの変形例］
図６は、本開示の第１の実施形態に係る信号処理部が実行する処理の変形例を示す説明図である。図７は、本開示の第１の実施形態に係るＤＮＮの使用例の変形例を示す説明図である。
【００５２】
図６に示すように、変形例に係る信号処理部は、入力される画像データに対して、シェーディング補正、混色補正、デジタルゲイン調整、ホワイトバランスゲイン調整、およびガンマ補正を行い、信号処理後の画像データを認識部１４と、ＳＥＬ１６とに出力する。
【００５３】
このように、信号処理部は、図４に示した信号処理からデモザイクを省略することができる。この場合、認識部１４は、デモザイクが実行されない画像データから被写体を認識する。前述したように、デモザイクが実行されない高感度画像および低感度画像の画像データは、４種類の画素信号Ｒ、Ｇｒ、Ｇｂ、Ｂとなる。
【００５４】
このため、図７に示すように、認識部１４は、大画素の画素信号Ｒ、Ｇｒ、Ｇｂ、Ｂと、小画素の画素信号Ｒ、Ｇｒ、Ｇｂ、ＢとをＤＮＮへ入力する。かかる場合、認識部１４は、ＤＮＮの入力チャンネル数が増えるので処理量が増すが、ＤＮＮには、高感度画像および低感度画像の画像データが個別に入力されるので、アーチファクトの影響を受けることなく被写体を高精度に認識することができる。
【００５５】
なお、他の変形例では、信号処理部自体を省略することもできる。かかる場合、図７に示す例と同様に、認識部１４は、大画素の画素信号Ｒ、Ｇｒ、Ｇｂ、Ｂと、小画素の画素信号Ｒ、Ｇｒ、Ｇｂ、ＢとをＤＮＮへ入力するので処理量が増すが、信号処理を行わない分、イメージセンサ１全体としての処理量が大幅に低減される。
【００５６】
なお、第１の実施形態では、データ送信判断部１５は、被写体を認識した場合に、毎回、認識結果のメタデータと画像データとをＳＥＬ１６に出力させたが、バッテリ残量に応じてＳＥＬ１６から出力させるデータを選択してもよい。
【００５７】
例えば、データ送信判断部１５は、認識部１４によって被写体が認識された場合、バッテリの残量が十分ある通常モードでは、メタデータと画像データとをＳＥＬ１６から出力させる。また、データ送信判断部１５は、バッテリの残量が不足している低消費電力モードでは、メタデータのみをＳＥＬ１６から出力させる。これにより、データ送信判断部１５は、バッテリの残量が不足している場合に、イメージセンサ１の消費電力を低く抑えることができる。
【００５８】
［１−４．第１の実施形態に係る画像認識システムの変形例］
次に、図８を参照し、第１の実施形態に係る画像認識システムの変形例について説明する。図８は、本開示の第１の実施形態に係る画像認識システムの変形例を示す説明図である。
【００５９】
前述の画像認識システム１００では、イメージセンサ１が高感度画像と低感度画像とから被写体を認識したが、変形例に係る画像認識システム１００ａでは、イメージセンサ１ａからＡＰ２ａに高感度画像および低感度画像を送信し、ＡＰ２で被写体認識を行う。
【００６０】
具体的には、図８に示すように、変形例に係る画像認識システム１００ａのイメージセンサ１ａは、高感度画像および低感度画像を撮像し、大画素の画素信号Ｒ、Ｇｒ、Ｇｂ、Ｂと、小画素の画素信号Ｒ、Ｇｒ、Ｇｂ、ＢとをＡＰ２ａへ送信する。
【００６１】
画像認識システム１００ａのＡＰ２ａは、ＤＮＮを備えており、イメージセンサ１ａから受信する大画素の画素信号Ｒ、Ｇｒ、Ｇｂ、Ｂと、小画素の画素信号Ｒ、Ｇｒ、Ｇｂ、ＢとをＤＮＮへ入力する。これにより、ＡＰ２ａは、アーチファクトの影響を受けることなく、高感度画像および低感度画像から高精度に被写体を認識することができる。
【００６２】
［１−５．第１の実施形態に係るイメージセンサが実行する処理の第１具体例］
次に、図９および図１０を参照し、第１の実施形態に係るイメージセンサが実行する処理の第１具体例について説明する。
【００６３】
なお、ここでは、イメージセンサ１が図１Ａに示す撮像画素の受光面積が同一で露光時間が異なる画素アレイＡ１を備えるものとし、露光時間の長い撮像画素を長時間露光画素、露光時間の短い撮像画素を短時間露光画素と称して説明する。
【００６４】
また、ここでは、図９を参照し、イメージセンサ１が画像から人を認識する場合の動作の概要を説明した後に、図１０を参照し、イメージセンサ１が実行する処理の第１具体例について説明する。
【００６５】
図９は、本開示の第１の実施形態に係るイメージセンサの第１動作例を示す説明図である。図１０は、本開示の第１の実施形態に係るイメージセンサ１が実行する処理の第１具体例を示すフローチャートである。
【００６６】
図９に示すように、イメージセンサ１は、まず、人Ｐが写ったフルサイズ画像Ｄ１を撮像し、フルサイズ画像Ｄ１をビニングすることによって解像度を例えば４分の１に低下させた第１ＤＮＮ入力画Ｄ２を生成する。
【００６７】
そして、イメージセンサ１は、第１ＤＮＮ入力画Ｄ２から人Ｐを認識した場合に、ビニングを行わないフルサイズ画像Ｄ１から人Ｐの部分を切り出して第２ＤＮＮ入力画Ｄ３を生成する。
【００６８】
具体的には、図９に示すように、イメージセンサ１は、まず、センサ設定１で第１ＤＮＮ入力画Ｄ２の画像データを生成する（ステップＳ１０１）。ここで、センサ設定１は、低ＡＤｂｉｔ（ｅｘ．４Ｂｉｔ）、Ｂｉｎｎｉｎｇ（ｅｘ．Ｈ４Ｖ４）、長時間露光画素のみ使用、切り出し（ｅｘ．なし）、低ＦＰＳ（ｅｘ．１ｆｐｓ）となっているとする。
【００６９】
この場合、イメージセンサ１は、長時間露光画素のみを使用し、１ｆｐｓのフレームレートでフルサイズ画像Ｄ１を撮像し、フルサイズ画像Ｄ１の画素信号を４ｂｉｔでアナログデジタル変換する。その後、イメージセンサ１は、フルサイズ画像Ｄ１の解像度をビニングによって４分の１に低下させ、画像切り出しを行うことなく第１ＤＮＮ入力画Ｄ２を生成する。
【００７０】
続いて、イメージセンサ１は、第１ＤＮＮ入力画Ｄ２の画像データをＤＮＮへ入力して第１ＤＮＮを実行する（ステップＳ１０２）。このとき、イメージセンサ１は、人または物体の検出を低ａｃｃｕｒａｃｙで行う。その後、イメージセンサ１は、人または物体を検出したか否かの判定を行う（ステップＳ１０３）。
【００７１】
そして、イメージセンサ１は、人または物体を検出しないと判定した場合（ステップＳ１０３，Ｎｏ）、処理をステップＳ１０２へ移す。また、イメージセンサ１は、人または物体を検出したと判定した場合（ステップＳ１０３，Ｙｅｓ）、処理をステップＳ１０４へ移す。
【００７２】
ステップＳ１０４において、イメージセンサ１は、センサ設定２で第２ＤＮＮ入力画Ｄ３の画像データを生成する。ここで、センサ設定２は、高ＡＤｂｉｔ（ｅｘ．１０Ｂｉｔ）、Ｂｉｎｎｉｎｇ（ｅｘ．なし）、長／短時間露光画素使用、切り出し（ｅｘ．被写体付近）、高ＦＰＳ（ｅｘ．３０ｆｐｓ）となっているとする。
【００７３】
この場合、イメージセンサ１は、長時間露光画素および短時間露光画素を使用し、３０ｆｐｓのフレームレートでフルサイズ画像Ｄ１を撮像し、フルサイズ画像Ｄ１の画素信号を１０ｂｉｔでアナログデジタル変換する。その後、イメージセンサ１は、フルサイズ画像Ｄ１の解像度を低下させずに、フルサイズ画像Ｄ１から被写体付近の部分を切り出して第２ＤＮＮ入力画Ｄ３を生成する。
【００７４】
続いて、イメージセンサ１は、第２ＤＮＮ入力画Ｄ３の画像データをＤＮＮへ入力して第２ＤＮＮを実行する（ステップＳ１０５）。このとき、イメージセンサ１は、人認証または物体判別を高ａｃｃｕｒａｃｙで行う。その後、イメージセンサ１は、認識対象である人または物体を検出したか否かの判定を行う（ステップＳ１０６）。
【００７５】
そして、イメージセンサ１は、人または物体を検出しないと判定した場合（ステップＳ１０６，Ｎｏ）、処理をステップＳ１０１へ移す。また、イメージセンサ１は、人または物体を検出したと判定した場合（ステップＳ１０６，Ｙｅｓ）、ＡＰ２へＡＰ起動通知を行い（ステップＳ１０７）、処理を終了する。このとき、イメージセンサ１は、例えば、ＭＩＰＩ（Mobile  Industry  Processor  Interface）規格に準拠した通信方式で画像データと被写体の検出（認識）結果をＡＰ２へ出力する。
【００７６】
［１−６．第１の実施形態に係るイメージセンサが実行する処理の第２具体例］
次に、図１１〜図１３を参照し、第１の実施形態に係るイメージセンサが実行する処理の第２具体例について説明する。
【００７７】
なお、ここでも、イメージセンサ１が図１Ａに示す撮像画素の受光面積が同一で露光時間が異なる画素アレイＡ１を備えるものとし、露光時間の長い撮像画素を長時間露光画素、露光時間の短い撮像画素を短時間露光画素と称して説明する。
【００７８】
また、ここでは、図１１を参照し、イメージセンサ１が画像から前方車両と信号機とを認識する場合の動作の概要を説明した後、図１２を参照し、イメージセンサ１が実行する処理の第２具体例を説明しその後、図１３を参照して第２具体例の作用効果を説明する。
【００７９】
図１１は、本開示の第１の実施形態に係るイメージセンサの第２動作例を示す説明図である。図１２は、本開示の第１の実施形態に係るイメージセンサ１が実行する処理の第２具体例を示すフローチャートである。図１３は、本開示の第１の実施形態に係るイメージセンサの第２動作例による作用効果の説明図である。
【００８０】
図１１に示すように、イメージセンサ１は、まず、前方車両Ｃおよび信号機Ｓが写ったフルサイズ画像Ｄ４を撮像し、フルサイズ画像Ｄ４に対してビニングによる解像度の低下を行うことなく第１ＤＮＮ入力画Ｄ５を生成する。
【００８１】
そして、イメージセンサ１は、第１ＤＮＮ入力画Ｄ５から信号機Ｓを認識した場合に、フルサイズ画像Ｄ４から信号機Ｓの部分を切り出して第２ＤＮＮ入力画Ｄ６を生成する。また、イメージセンサ１は、第１ＤＮＮ入力画Ｄ５から前方車両Ｃを認識した場合に、フルサイズ画像Ｄ４から前方車両の部分を切り出して第３ＤＮＮ入力画Ｄ７を生成する。
【００８２】
具体的には、図１２に示すように、イメージセンサ１は、まず、センサ設定１で第１ＤＮＮ入力画Ｄ５の画像データを生成する（ステップＳ２０１）。ここで、センサ設定１は、ＡＤｂｉｔ（ｅｘ．１０Ｂｉｔ）、Ｂｉｎｎｉｎｇ（ｅｘ．なし）、長／短時間露光画素使用、切り出し（ｅｘ．なし）、高ＦＰＳ（ｅｘ．３０ｆｐｓ）となっているとする。
【００８３】
この場合、イメージセンサ１は、長時間露光画素および短時間露光画素を使用し、３０ｆｐｓのフレームレートでフルサイズ画像Ｄ４を撮像し、フルサイズ画像Ｄ４の画素信号を１０ｂｉｔでアナログデジタル変換する。そして、イメージセンサ１は、フルサイズ画像Ｄ４の解像度を低下させず、画像切り出しを行うことなく第１ＤＮＮ入力画Ｄ５を生成する。
【００８４】
続いて、イメージセンサ１は、第１ＤＮＮ入力画Ｄ５の画像データをＤＮＮへ入力して第１ＤＮＮを実行する（ステップＳ２０２）。このとき、イメージセンサ１は、物体の検出を高ａｃｃｕｒａｃｙで行う。その後、イメージセンサ１は、物体を検出したか否かの判定を行う（ステップＳ２０３）。
【００８５】
そして、イメージセンサ１は、物体を検出しないと判定した場合（ステップＳ２０３，Ｎｏ）、処理をステップＳ２０２へ移す。また、イメージセンサ１は、物体を検出したと判定した場合（ステップＳ２０３，Ｙｅｓ）、検出結果から適切な設定を選ぶ。
【００８６】
例えば、イメージセンサ１は、信号機Ｓを検出（認識）した場合、センサ設定２で第２ＤＮＮ入力画Ｄ６の画像データを生成する（ステップＳ２０４）。ここで、センサ設定２は、低ＡＤｂｉｔ（ｅｘ．８Ｂｉｔ）、Ｂｉｎｎｉｎｇ（ｅｘ．なし）、長時間露光画素使用、切り出し（ｅｘ．被写体付近）、高ＦＰＳ（ｅｘ．６０ｆｐｓ）となっているとする。
【００８７】
この場合、イメージセンサ１は、長時間露光画素を使用し、６０ｆｐｓのフレームレートでフルサイズ画像Ｄ４を撮像し、フルサイズ画像Ｄ４の画素信号を８ｂｉｔでアナログデジタル変換する。その後、イメージセンサ１は、フルサイズ画像Ｄ４の解像度を低下させずに、フルサイズ画像Ｄ４から被写体（信号機Ｓ）付近の部分を切り出して第２ＤＮＮ入力画Ｄ６の画像データを生成する。
【００８８】
続いて、イメージセンサ１は、第２ＤＮＮ入力画Ｄ６の画像データをＤＮＮへ入力して第２ＤＮＮを実行する（ステップＳ２０５）。このとき、イメージセンサ１は、信号機認識とトラッキングとを高ａｃｃｕｒａｃｙで行う。その後、イメージセンサ１は、処理をステップＳ２０８へ移す。
【００８９】
また、イメージセンサ１は、前方車両Ｃを検出（認識）した場合、センサ設定３で第３ＤＮＮ入力画Ｄ７の画像データを生成する（ステップＳ２０６）。ここで、センサ設定３は、低ＡＤｂｉｔ（ｅｘ．８Ｂｉｔ）、Ｂｉｎｎｉｎｇ（ｅｘ．なし）、短時間露光画素使用、切り出し（ｅｘ．被写体付近）、高ＦＰＳ（ｅｘ．６０ｆｐｓ）となっているとする。
【００９０】
この場合、イメージセンサ１は、短時間露光画素を使用し、６０ｆｐｓのフレームレートでフルサイズ画像Ｄ４を撮像し、フルサイズ画像Ｄ４の画素信号を８ｂｉｔでアナログデジタル変換する。その後、イメージセンサ１は、フルサイズ画像Ｄ４の解像度を低下させずに、フルサイズ画像Ｄ４から被写体（前方車両Ｃ）付近の部分を切り出して第３ＤＮＮ入力画Ｄ７の画像データを生成する。
【００９１】
続いて、イメージセンサ１は、第３ＤＮＮ入力画Ｄ７の画像データをＤＮＮへ入力して第３ＤＮＮを実行する（ステップＳ２０７）。このとき、イメージセンサ１は、前方車両認識とトラッキングとを高ａｃｃｕｒａｃｙで行う。その後、イメージセンサ１は、処理をステップＳ２０８へ移す。
【００９２】
ステップＳ２０８において、イメージセンサ１は、認識対象である信号機Ｓまたは前方車両Ｃを検出したか否かの判定を行う。そして、イメージセンサ１は、信号機Ｓまたは前方車両Ｃを検出しないと判定した場合（ステップＳ２０８，Ｎｏ）、処理をステップＳ２０１へ移す。
【００９３】
また、イメージセンサ１は、信号機Ｓまたは前方車両Ｃを検出したと判定した場合（ステップＳ２０８，Ｙｅｓ）、ＡＰ２へＡＤＡＳ（Advanced  Driver  Assistance  System）通知を行い（ステップＳ２０９）、処理を終了する。このとき、イメージセンサ１は、例えば、ＭＩＰＩ規格に準拠した通信方式で画像データと被写体の検出（認識）結果をＡＰ２へ出力する。
【００９４】
なお、イメージセンサ１は、被写体を認識する度に、毎回、画像データと被写体の検出（認識）結果をＡＰ２へ出力する必要はない。例えば、イメージセンサ１は、ＡＰ２から要求される場合に限って、画像データと被写体の検出（認識）結果をＡＰ２へ出力することもできる。
【００９５】
イメージセンサ１は、上記処理を実行することによって、信号機Ｓの状態および前方車両Ｃの位置を高精度に認識することができる。具体的には、ＬＥＤ（Light  Emitting  Diode）が採用された信号機Ｓは、微小時間周期で点灯と消灯とを繰り返すフリッカを起こしている。
【００９６】
このため、イメージセンサ１は、短時間露光画素で信号機Ｓを撮像した場合、撮像画像中の信号機Ｓが消灯していることがある。このため、イメージセンサ１は、フリッカによる被写体の誤認識を防止するために、少なくとも１０ｍｓ以上の露光が必要である。一方、イメージセンサ１は、例えば、前方車両等のフリッカを起こさない被写体の場合、被写体のブレを抑えるために、露光時間を短くする必要がある。
【００９７】
そこで、図１３に示すように、イメージセンサ１は、長時間露光画素によって撮像した画像データについて信号機認識用の第２ＤＮＮを実行し、短時間露光画素によって撮像した画像について前方車両認識用の第３ＤＮＮを実行する。
【００９８】
これにより、イメージセンサ１は、フリッカの影響を受けることなく信号機Ｓの状態を高精度に認識することができ、被写体のブレを抑制することで前方車両Ｃの位置を高精度に認識することができる。
【００９９】
（２．第２の実施形態）
次に、第２の実施形態に係る画像認識システムについて説明する。第２の実施形態に係る画像認識システムは、イメージセンサが備える画素アレイの構成と、イメージセンサが実行する処理とが第１の実施形態とは異なり、他の構成は第１実施形態と同様である。このため、以下では、第１実施形態と異なる点について説明する。
【０１００】
［２−１．第２の実施形態に係る画素アレイ］
図１４は、本開示の第２の実施形態に係る画素アレイを示す説明図である。図１４に示す画素アレイＡ３は、赤色光を受光する４個の画素Ｌ、Ｍ、Ｍ、Ｓを備える撮像画素Ｒ、緑色光を受光する４個の画素Ｌ、Ｍ、Ｍ、Ｓを備える撮像画素Ｇｒ、Ｇｂ、青色光を受光する４個の画素Ｌ、Ｍ、Ｍ、Ｓを備える撮像画素Ｂがベイヤ配列される。
【０１０１】
画素Ｌ、Ｍ、Ｍ、Ｓは、全て受光面積が同一であるが、露光時間が異なる。画素Ｌは、長時間露光画素である。画素Ｍは、中時間露光画素である。画素Ｓは、短時間露光画素である。かかる画素アレイＡ３は、通常、各画素から画素信号を出力することで、非常に高解像度の画素アレイとして機能する。また、画素アレイＡ３は、周囲が暗くなった場合に、２画素を１画素にビニングすることで、暗い場所でも被写体を移すことが可能な画素アレイとして機能する。
【０１０２】
第２の実施形態に係るイメージセンサは、画素アレイＡ３によって長時間露光画像、中時間露光画像、および短時間露光画像を撮像する。そして、イメージセンサは、長時間露光画像、中時間露光画像、および短時間露光画像のそれぞれから被写体を認識する。
【０１０３】
図１５は、本開示の第２の実施形態に係るＤＮＮの使用例を示す説明図である。図１６は、本開示の第２の実施形態に係るＤＮＮの他の使用例を示す説明図である。第２の実施形態に係るイメージセンサは、図３に示すイメージセンサ１と同一の構成を備える。
【０１０４】
このため、図１５に示すように、イメージセンサは、デモザイク後の長時間露光の画素信号Ｒ、Ｇ、Ｂと、中時間露光の画素信号Ｒ、Ｇ、Ｂと、短時間露光の画素信号Ｒ、Ｇ、ＢとをＤＮＮへ入力する。
【０１０５】
ＤＮＮからは、長時間露光画像、中時間露光画像、および短時間露光画像のそれぞれから被写体が認識された認識結果が出力される。これにより、イメージセンサは、アーチファクトのない長時間露光画像、中時間露光画像、および短時間露光画像のそれぞれから、高輝度、中輝度、および低輝度の被写体を高精度に認識することができる。
【０１０６】
また、第２の実施形態に係るイメージセンサは、第１の実施形態と同様に、デモザイクを省略することができ、信号処理部１３による信号処理を省略することもできる。かかる場合、図１６に示すように、イメージセンサは、デモザイクが行われない長時間露光の画素信号Ｒ、Ｇｒ、Ｇｂ、Ｂと、中時間露光の画素信号Ｒ、Ｇｒ、Ｇｂ、Ｂと、短時間露光の画素信号Ｒ、Ｇｒ、Ｂｂ、ＢとをＤＮＮへ入力する。
【０１０７】
これにより、ＤＮＮの入力チャンネル数が増えるので処理量が増すが、ＤＮＮには、長時間露光画像、中時間露光画像、および短時間露光画像の画像データが個別に入力されるので、アーチファクトの影響を受けることなく被写体を高精度に認識することができる。
【０１０８】
［２−２．第２の実施形態に係るイメージセンサが実行する処理の具体例］
次に、図１７を参照し、第１の実施形態に係るイメージセンサが実行する処理の具体例について説明する。ここでは、イメージセンサが画像から前方車両と信号機とを認識する場合に実行する処理について説明する。
【０１０９】
図１７は、本開示の第２の実施形態に係るイメージセンサが実行する処理の具体例を示すフローチャートである。第２実施形態に係るイメージセンサは、図１１に示した各画像と同様のフルサイズ画像Ｄ４、第１ＤＮＮ入力画Ｄ５、第２ＤＮＮ入力画Ｄ６、および第３ＤＮＮ入力画Ｄ７の画像データを生成するが、センサ設定１、２、３の内容が第１実施形態とは異なる。
【０１１０】
具体的には、図１７に示すように、イメージセンサは、まず、センサ設定１で第１ＤＮＮ入力画Ｄ５の画像データを生成する（ステップＳ３０１）。ここで、センサ設定１は、ＡＤｂｉｔ（ｅｘ．１０Ｂｉｔ）、Ｂｉｎｎｉｎｇ（ｅｘ．なし）、長／中／短時間露光画素使用、切り出し（ｅｘ．なし）、高ＦＰＳ（ｅｘ．３０ｆｐｓ）となっているとする。
【０１１１】
この場合、イメージセンサは、長時間露光画素、中時間露光画素、および短時間露光画素を使用し、３０ｆｐｓのフレームレートでフルサイズ画像Ｄ４を撮像し、フルサイズ画像Ｄ４の画素信号を１０ｂｉｔでアナログデジタル変換する。そして、イメージセンサは、フルサイズ画像Ｄ４の解像度を低下させず、画像切り出しを行うことなく第１ＤＮＮ入力画Ｄ５を生成する。
【０１１２】
続いて、イメージセンサは、第１ＤＮＮ入力画Ｄ５の画像データをＤＮＮへ入力して第１ＤＮＮを実行する（ステップＳ３０２）。このとき、イメージセンサは、物体の検出を高ａｃｃｕｒａｃｙで行う。その後、イメージセンサは、物体を検出したか否かの判定を行う（ステップＳ３０３）。
【０１１３】
そして、イメージセンサは、物体を検出しないと判定した場合（ステップＳ３０３，Ｎｏ）、処理をステップＳ３０２へ移す。また、イメージセンサは、物体を検出したと判定した場合（ステップＳ３０３，Ｙｅｓ）、検出結果から適切な設定を選ぶ。
【０１１４】
例えば、イメージセンサは、信号機Ｓを検出（認識）した場合、センサ設定２で第２ＤＮＮ入力画Ｄ６の画像データを生成する（ステップＳ３０４）。ここで、センサ設定２は、低ＡＤｂｉｔ（ｅｘ．８Ｂｉｔ）、Ｂｉｎｎｉｎｇ（ｅｘ．なし）、中時間露光画素使用、切り出し（ｅｘ．被写体付近）、高ＦＰＳ（ｅｘ．６０ｆｐｓ）となっているとする。
【０１１５】
この場合、イメージセンサは、中時間露光画素を使用し、６０ｆｐｓのフレームレートでフルサイズ画像Ｄ４を撮像し、フルサイズ画像Ｄ４の画素信号を８ｂｉｔでアナログデジタル変換する。その後、イメージセンサは、フルサイズ画像Ｄ４の解像度を低下させずに、フルサイズ画像Ｄ４から被写体（信号機Ｓ）付近の部分を切り出して第２ＤＮＮ入力画Ｄ６の画像データを生成する。
【０１１６】
続いて、イメージセンサは、第２ＤＮＮ入力画Ｄ６の画像データをＤＮＮへ入力して第２ＤＮＮを実行する（ステップＳ３０５）。このとき、イメージセンサは、信号機認識とトラッキングとを高ａｃｃｕｒａｃｙで行う。その後、イメージセンサは、処理をステップＳ３０８へ移す。
【０１１７】
また、イメージセンサは、前方車両Ｃを検出（認識）した場合、センサ設定３で第３ＤＮＮ入力画Ｄ７の画像データを生成する（ステップＳ３０６）。ここで、センサ設定３は、低ＡＤｂｉｔ（ｅｘ．８Ｂｉｔ）、Ｂｉｎｎｉｎｇ（ｅｘ．なし）、短時間露光画素使用、切り出し（ｅｘ．被写体付近）、高ＦＰＳ（ｅｘ．６０ｆｐｓ）となっているとする。
【０１１８】
この場合、イメージセンサは、短時間露光画素を使用し、６０ｆｐｓのフレームレートでフルサイズ画像Ｄ４を撮像し、フルサイズ画像Ｄ４の画素信号を８ｂｉｔでアナログデジタル変換する。その後、イメージセンサは、フルサイズ画像Ｄ４の解像度を低下させずに、フルサイズ画像Ｄ４から被写体（前方車両Ｃ）付近の部分を切り出して第３ＤＮＮ入力画Ｄ７の画像データを生成する。
【０１１９】
続いて、イメージセンサは、第３ＤＮＮ入力画Ｄ７の画像データをＤＮＮへ入力して第３ＤＮＮを実行する（ステップＳ３０７）。このとき、イメージセンサは、前方車両認識とトラッキングとを高ａｃｃｕｒａｃｙで行う。その後、イメージセンサは、処理をステップＳ３０８へ移す。
【０１２０】
ステップＳ３０８において、イメージセンサは、認識対象である信号機Ｓまたは前方車両Ｃを検出したか否かの判定を行う。そして、イメージセンサは、信号機Ｓまたは前方車両Ｃを検出しないと判定した場合（ステップＳ３０８，Ｎｏ）、処理をステップＳ３０１へ移す。
【０１２１】
また、イメージセンサは、信号機Ｓまたは前方車両Ｃを検出したと判定した場合（ステップＳ３０８，Ｙｅｓ）、ＡＰ２へＡＤＡＳ通知を行い（ステップＳ３０９）、処理を終了する。
【０１２２】
なお、イメージセンサ１は、被写体を認識する度に、毎回、画像データと被写体の検出（認識）結果をＡＰ２へ出力する必要はない。例えば、イメージセンサ１は、ＡＰ２から要求される場合に限って、画像データと被写体の検出（認識）結果をＡＰ２へ出力することもできる。
【０１２３】
このように、第２の実施形態に係るイメージセンサは、中時間露光画素によって撮像した画像データについて信号機認識用の第２ＤＮＮを実行し、短時間露光画素によって撮像した画像について前方車両認識用の第３ＤＮＮを実行する。
【０１２４】
これにより、イメージセンサは、フリッカの影響を受けることなく信号機Ｓの状態を高精度に認識することができ、被写体のブレを抑制することで前方車両Ｃの位置を高精度に認識することができる。
【０１２５】
［２−３．第２の実施形態に係る他の画素アレイ］
第２の実施形態に係る画素アレイは、図１４に示した画素アレイＡ３に限定されるものではない。次に、図１８を参照し、他の画素アレイを採用した場合のイメージセンサの動作例について説明する。図１８は、本開示の第２の実施形態に係る他の画素アレイを採用したイメージセンサの動作例を示す説明図である。
【０１２６】
イメージセンサは、図１８の右上に示す画素アレイＡ４を採用することもできる。画素アレイＡ４は、赤色光を受光する４個の画素Ｍ、Ｍ、Ｍ、Ｓを備える撮像画素Ｒ、緑色光を受光する４個の画素Ｍ、Ｍ、Ｍ、Ｓを備える撮像画素Ｇｒ、Ｇｂ、青色光を受光する４個の画素Ｍ、Ｍ、Ｍ、Ｓを備える撮像画素Ｂがベイヤ配列される。画素Ｍ、Ｍ、Ｍ、Ｓは、全て受光面積が同一であるが、露光時間が異なる。画素Ｍは、中時間露光画素である。画素Ｓは、短時間露光画素である。
【０１２７】
イメージセンサは、画素アレイＡ３を採用する場合、画素アレイＡ３の画素Ｍ、Ｍ、Ｍ、Ｓ毎に、シャッタ制御および画素信号の読出し制御を独立して行う。ここで、前述したように、イメージセンサは、フリッカを起こす信号機の状態を正確に認識するために、１０ｍｓ以上の長時間露光が必要である。しかしながら、イメージセンサは、通常の画素で昼間に１０ｍｓ以上の長時間露光を行うと、画素が飽和する場合がある。
【０１２８】
そこで、イメージセンサは、画素アレイＡ３を採用する場合、図１８に示すように、例えば、３個の中時間露光画素Ｍ、Ｍ、Ｍを３．３ｍｓずつ時系列に順次中時間露光させる。これにより、３個の各中時間露光画素Ｍ、Ｍ、Ｍは、飽和することがない。また、このとき、イメージセンサは、同時に短時間露光画素Ｓを短時間露光させる。
【０１２９】
そして、イメージセンサは、中時間露光画像の各画像データについて信号機認識用の第２ＤＮＮを実行し、短時間露光画像の画像データについて前方車両認識用の第３ＤＮＮを実行する。これにより、イメージセンサは、フリッカの影響を受けることなく信号機の状態を高精度に認識することができ、被写体のブレを抑制することで前方車両の位置を高精度に認識することができる。
【０１３０】
［２−４．第２の実施形態に係るイメージセンサの他の動作例］
次に、図１９を参照し、第２の実施形態に係るイメージセンサの他の動作例について説明する。図１９は、第２の実施形態に係るイメージセンサの他の動作例の説明図である。なお、ここでは、イメージセンサが図１４に示す画素アレイＡ３を備えるものとして説明する。
【０１３１】
ただし、図１９に示す画素アレイＡ３の長時間露光画素Ｌ上には低透光率のカラーフィルタが設けられ、中時間露光画素Ｍ上には中透光率のカラーフィルタが設けられ、短時間露光画素Ｓ上には高透光率のカラーフィルタが設けられる。
【０１３２】
かかる構成の場合、図１９に示すように、イメージセンサは、長時間露光画素Ｌを長時間露光させて低感度画像の画像データを生成し、低感度画像の画像データについて信号機認識用の第２ＤＮＮを実行する。このとき、長時間露光画素Ｌは、低透光率のカラーフィルタが積層されているため、長時間露光しても飽和することがない。これにより、イメージセンサは、フリッカの影響を受けることなく信号機の状態を高精度に認識することができる。
【０１３３】
また、イメージセンサは、中時間露光画像Ｍを中時間露光させて中感度画像を生成し、短時間露光画素Ｓを短時間露光させて高感度画像を生成し、中感度画像および高感度画像の画像データそれぞれについて前方車両認識用の第３ＤＮＮを実行する。これにより、イメージセンサは、被写体のブレを抑制することで前方車両の位置を高精度に認識することができる。
【０１３４】
（３．効果）
画像認識装置の一例であるイメージセンサ１は、撮像部１０と、認識部１４とを有する。撮像部１０は、感度が異なる撮像画素を使用し、１フレーム期間に複数の画像を同一の露光開始タイミングで撮像して画像データを生成する。認識部１４は、画像データのそれぞれから被写体を認識する。これにより、イメージセンサ１は、アーチファクトの影響を排除することで、被写体の認識精度を向上させることができる。
【０１３５】
また、撮像部１０は、受光面積が同一であり露光時間が異なる複数の撮像画素が２次元に配列された画素アレイを有する。これにより、イメージセンサ１は、長時間露光画像と短時間露光画像とから、それぞれ高精度に被写体を認識することができる。
【０１３６】
また、撮像部１０は、受光面積が同一であり積層されるカラーフィルタの透光率が異なる複数の撮像画素が２次元に配列された画素アレイを有する。これにより、イメージセンサ１は、高感度画像と低感度画像とから、それぞれ高精度に被写体を認識することができる。
【０１３７】
また、撮像部１０は、受光面積が異なる複数の撮像画素が２次元に配列された画素アレイを有する。これにより、これにより、イメージセンサ１は、大画素の画素信号と小画素の画素信号とから、それぞれ高精度に被写体を認識することができる。
【０１３８】
また、撮像部１０は、長時間露光撮像画素、中時間露光撮像画素、および短時間露光撮像画素が２次元に配列された画素アレイを有する。これにより、イメージセンサ１は、長時間露光画像と、中時間露光画像と、短時間露光画像とから、それぞれ高精度に被写体を認識することができる。
【０１３９】
また、撮像部１０は、低感度撮像画素、中感度撮像画素、および高感度撮像画素が２次元に配列された画素アレイを有する。これにより、イメージセンサ１は、高感度画像と、中間度画像と、低感度画像とから、それぞれ高精度に被写体を認識することができる。
【０１４０】
また、認識部１４は、被写体を認識した場合に、被写体の認識結果および画像データを後段の装置へ出力し、被写体を認識しない場合に、その旨を示す情報を後段の装置へ出力する。これにより、イメージセンサ１は、被写体を認識しない場合に、消費電力を低減することができる。
【０１４１】
また、認識部１４は、デモザイク処理が実行された画像データから被写体を認識する。これにより、イメージセンサ１は、例えば、ＤＮＮの入力チャンネル数を少なくすることで、処理負荷を低減しつつ、高精度に被写体を認識することができる。
【０１４２】
また、認識部１４は、デモザイク処理が実行されない画像データから被写体を認識する。これにより、イメージセンサ１は、例えば、ＤＮＮの入力チャンネル数が増加するが、高精度に被写体を認識することができる。
【０１４３】
認識部は、撮像部から入力される画像データから被写体を認識する。これにより、イメージセンサ１は、信号処理を省略することができるので、大幅に処理負荷を低減しつつ、高精度に被写体を認識することができる。
【０１４４】
また、撮像部１０は、認識部１４によって被写体が検出される前には、低感度の撮像画素を使用し、低解像および低フレームレートで撮像した画像全体の画像データを生成する。撮像部１０は、認識部によって被写体が検出された後には、高感度の撮像画素を使用し、高解像度および高フレームレートで撮像した画像から被写体を切り出した画像データを生成する。認識部１４は、被写体を検出する前には、画像データに被写体が存在するか否かを認識し、被写体を検出した後には、被写体が何かを認識する。これにより、イメージセンサは、被写体を検出するまでに要する処理負荷および消費電力を低減することができる。
【０１４５】
また、撮像部１０は、認識部１４によって被写体が検出される前には、低感度の撮像画素および高感度の撮像画素を使用し、高解像および高フレームレートで撮像した画像全体の画像データを生成する。撮像部１０は、認識部１４によって検出された被写体が信号機の場合には、低感度の撮像画素を使用し、被写体が車両の場合には、高感度の撮像画素を使用して、高解像度および高フレームレートで撮像した画像から被写体を切り出した画像データを生成する。認識部１４は、被写体を検出する前には、画像データから被写体を認識する処理を行い、被写体を認識した後には、画像データに基づいて被写体に応じた認識処理を行う。これにより、イメージセンサは、フリッカが起こる信号機の状態を正確に認識することができると共に、前方車両の位置を高精度に認識することができる。
【０１４６】
また、撮像部１０は、認識部１４によって被写体が検出される前には、長時間露光撮像画素、中時間露光撮像画素、および短時間露光撮像画素を使用し、高解像および高フレームレートで撮像した画像全体の画像データを生成する。撮像部１０は、認識部１４によって検出された被写体が信号機の場合には、中時間露光撮像画素を使用し、被写体が車両の場合には、短時間露光撮像画素を使用して、高解像度および高フレームレートで撮像した画像から被写体を切り出した画像データを生成する。認識部１４は、被写体を検出する前には、画像データから被写体を認識する処理を行い、被写体を認識した後には、画像データに基づいて被写体に応じた認識処理を行う。これにより、イメージセンサは、フリッカが起こる信号機の状態を正確に認識することができると共に、前方車両の位置を高精度に認識することができる。
【０１４７】
また、画像認識方法は、感度が異なる撮像画素を使用し、１フレーム期間に複数の画像を同一の露光開始タイミングで撮像して画像データを生成し、画像データのそれぞれから被写体を認識する。これにより、アーチファクトの影響を排除することで、被写体の認識精度を向上させることができる。
【０１４８】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【０１４９】
なお、本技術は以下のような構成も取ることができる。
（１）
感度が異なる撮像画素を使用し、１フレーム期間に複数の画像を同一の露光開始タイミングで撮像して画像データを生成する撮像部と、
前記画像データのそれぞれから被写体を認識する認識部と
を有する画像認識装置。
（２）
前記撮像部は、
受光面積が同一であり露光時間が異なる複数の前記撮像画素が２次元に配列された画素アレイ
を有する前記（１）に記載の画像認識装置。
（３）
前記撮像部は、
受光面積が同一であり積層されるカラーフィルタの透光率が異なる複数の前記撮像画素が２次元に配列された画素アレイ
を有する前記（１）に記載の画像認識装置。
（４）
前記撮像部は、
受光面積が異なる複数の前記撮像画素が２次元に配列された画素アレイ
を有する前記（１）に記載の画像認識装置。
（５）
前記撮像部は、
長時間露光撮像画素、中時間露光撮像画素、および短時間露光撮像画素が２次元に配列された画素アレイ
を有する前記（１）に記載の画像認識装置。
（６）
前記撮像部は、
低感度撮像画素、中感度撮像画素、および高感度撮像画素が２次元に配列された画素アレイ
を有する前記（１）に記載の画像認識装置。
（７）
前記認識部は、
前記被写体を認識した場合に、前記被写体の認識結果および前記画像データを後段の装置へ出力し、前記被写体を認識しない場合に、その旨を示す情報を後段の装置へ出力する
前記（１）〜（６）のいずれか一つに記載の画像認識装置。
（８）
前記認識部は、
デモザイク処理が実行された前記画像データから前記被写体を認識する
前記（１）〜（６）のいずれか一つに記載の画像認識装置。
（９）
前記認識部は、
デモザイク処理が実行されない前記画像データから前記被写体を認識する
前記（１）〜（６）のいずれか一つに記載の画像認識装置。
（１０）
前記認識部は、
前記撮像部から入力される前記画像データから前記被写体を認識する
前記（１）〜（６）のいずれか一つに記載の画像認識装置。
（１１）
前記撮像部は、
前記認識部によって前記被写体が検出される前には、低感度の前記撮像画素を使用し、低解像および低フレームレートで撮像した画像全体の画像データを生成し、
前記認識部によって前記被写体が検出された後には、高感度の前記撮像画素を使用し、
高解像度および高フレームレートで撮像した画像から前記被写体を切り出した画像データを生成し、
前記認識部は、
前記被写体を検出する前には、前記画像データに前記被写体が存在するか否かを認識し、前記被写体を検出した後には、前記被写体が何かを認識する
前記（１）〜（１０）のいずれか一つに記載の画像認識装置。
（１２）
前記撮像部は、
前記認識部によって前記被写体が検出される前には、低感度の前記撮像画素および高感度の前記撮像画素を使用し、高解像および高フレームレートで撮像した画像全体の画像データを生成し、
前記認識部によって検出された前記被写体が信号機の場合には、低感度の前記撮像画素を使用し、前記被写体が車両の場合には、高感度の前記撮像画素を使用して、高解像度および高フレームレートで撮像した画像から前記被写体を切り出した画像データを生成し、
前記認識部は、
前記被写体を検出する前には、前記画像データから前記被写体を認識する処理を行い、前記被写体を認識した後には、前記画像データに基づいて前記被写体に応じた認識処理を行う
前記（１）〜（１０）のいずれか一つに記載の画像認識装置。
（１３）
前記撮像部は、
前記認識部によって前記被写体が検出される前には、前記長時間露光撮像画素、前記中時間露光撮像画素、および前記短時間露光撮像画素を使用し、高解像および高フレームレートで撮像した画像全体の画像データを生成し、
前記認識部によって検出された前記被写体が信号機の場合には、前記中時間露光撮像画素を使用し、前記被写体が車両の場合には、前記短時間露光撮像画素を使用して、高解像度および高フレームレートで撮像した画像から前記被写体を切り出した画像データを生成し、
前記認識部は、
前記被写体を検出する前には、前記画像データから前記被写体を認識する処理を行い、前記被写体を認識した後には、前記画像データに基づいて前記被写体に応じた認識処理を行う
前記（５）に記載の画像認識装置。
（１４）
感度が異なる撮像画素を使用し、１フレーム期間に複数の画像を同一の露光開始タイミングで撮像して画像データを生成し、
前記画像データのそれぞれから被写体を認識する
画像認識方法。
【符号の説明】
【０１５０】
１００  画像認識システム
１  イメージセンサ
１０  撮像部
１１  撮像素子
１２  Ａ／Ｄ変換部
１３  信号処理部
１４  認識部
１５  データ送信判断部
１６  ＳＥＬ
１７  送信部
２  ＡＰ
２１  受信部
２２  認証部
２３  認証用データ記憶部
３１  物体認識部
３２  物体認識用データ記憶部
【図１Ａ】
2020188310.tif 000003
【図１Ｂ】
2020188310.tif 000004
【図２Ａ】
2020188310.tif 000005
【図２Ｂ】
2020188310.tif 000006
【図３】
2020188310.tif 000007
【図４】
2020188310.tif 000008
【図５Ａ】
2020188310.tif 000009
【図５Ｂ】
2020188310.tif 000010
【図６】
2020188310.tif 000011
【図７】
2020188310.tif 000012
【図８】
2020188310.tif 000013
【図９】
2020188310.tif 000014
【図１０】
2020188310.tif 000015
【図１１】
2020188310.tif 000016
【図１２】
2020188310.tif 000017
【図１３】
2020188310.tif 000018
【図１４】
2020188310.tif 000019
【図１５】
2020188310.tif 000020
【図１６】
2020188310.tif 000021
【図１７】
2020188310.tif 000022
【図１８】
2020188310.tif 000023
【図１９】
2020188310.tif 000024