(57)【要約】【課題】被写体の認識精度を向上させることができる画像認識装置、固体撮像装置、および画像認識方法を提供すること。【解決手段】本開示に係る画像認識装置は、撮像部と、認識部とを有する。撮像部は、１フレーム期間に感度が異なる複数の画像を撮像して画像データを生成する。認識部は、画像データのそれぞれから被写体を認識し、被写体の認識結果に基づいて、１フレームの画像に写る被写体を認識する。【選択図】図１
2020187409.tif 000002
【特許請求の範囲】
【請求項１】
１フレーム期間に感度が異なる複数の画像を撮像して画像データを生成する撮像部と、
前記画像データのそれぞれから被写体を認識し、前記被写体の認識結果に基づいて、１フレームの画像に写る被写体を認識する認識部と
を有する画像認識装置。
【請求項２】
前記撮像部と前記認識部とを備える固体撮像装置
を有する請求項１に記載の画像認識装置。
【請求項３】
前記撮像部を備える固体撮像装置と、
前記認識部を備えるプロセッサと
を有する請求項１に記載の画像認識装置。
【請求項４】
前記認識部は、
ＤＮＮ（Deep  Neural  Network）を使用するＤＮＮ処理によって前記画像データのそれぞれから被写体を認識する
請求項１に記載の画像認識装置。
【請求項５】
前記認識部は、
１フレーム期間に撮像される複数の画像の画像データを時系列にＤＮＮ処理して前記被写体を認識する
請求項４に記載の画像認識装置。
【請求項６】
前記認識部は、
１フレーム期間に撮像される複数の画像の画像データを並行してＤＮＮ処理して前記被写体を認識する
請求項４に記載の画像認識装置。
【請求項７】
前記認識部は、
前記感度が異なる画像毎に特化されたＤＮＮを使用するＤＮＮ処理によって被写体を認識する
請求項４に記載の画像認識装置。
【請求項８】
前記撮像部は、
露光時間が異なる前記複数の画像を撮像する
請求項１に記載の画像認識装置。
【請求項９】
前記認識部は、
前記被写体の認識結果の信頼度に応じて前記撮像部の前記露光時間を調整する
請求項８に記載の画像認識装置。
【請求項１０】
前記認識部は、
前記被写体の認識結果の信頼度が最高値に収束するまで前記撮像部の前記露光時間の調整を繰り返す
請求項９に記載の画像認識装置。
【請求項１１】
前記撮像部は、
受光領域内に設けられる受光面積が異なる受光素子によって前記複数の画像を撮像する
請求項１に記載の画像認識装置。
【請求項１２】
１フレーム期間に感度が異なる複数の画像を撮像して画像データを生成する撮像部と、
前記画像データのそれぞれから被写体を認識し、前記被写体の認識結果に基づいて、１フレームの画像に写る被写体を認識する認識部と
を有する固体撮像装置。
【請求項１３】
１フレーム期間に感度が異なる複数の画像を撮像して画像データを生成し、
前記画像データのそれぞれから被写体を認識し、前記被写体の認識結果に基づいて、１フレームの画像に写る被写体を認識する
画像認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像認識装置、固体撮像装置、および画像認識方法に関する。
【背景技術】
【０００２】
１フレーム期間に感度が異なる複数の画像を撮像して合成することによりＨＤＲ（High  Dynamic  Range）画像を生成するＨＤＲ撮像モードを備え、ＨＤＲ画像から被写体を認識する撮像装置がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１０３６４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の従来技術では、被写体の認識精度が低下することがある。そこで、本開示では、被写体の認識精度を向上させることができる画像認識装置、固体撮像装置、および画像認識方法を提案する。
【課題を解決するための手段】
【０００５】
本開示に係る画像認識装置は、撮像部と、認識部とを有する。撮像部は、１フレーム期間に感度が異なる複数の画像を撮像して画像データを生成する。認識部は、前記画像データのそれぞれから被写体を認識し、前記被写体の認識結果に基づいて、１フレームの画像に写る被写体を認識する。
【図面の簡単な説明】
【０００６】
【図１】本開示の第１の実施形態に係る画像認識装置の構成例を示す図である。
【図２】本開示の第１の実施形態に係る画像認識装置の動作説明図である。
【図３】本開示の第１の実施形態に係る露光時間調整方法の説明図である。
【図４】本開示の第１の実施形態に係る露光時間調整方法の説明図である。
【図５】本開示の第１の実施形態に係る認識部が行う処理の一例を示すフローチャートである。
【図６】本開示の第１の実施形態に係る画像認識装置の変形例（１）の動作説明図である。
【図７】本開示の第１の実施形態に係る画像認識装置の変形例（２）が備える受光部の説明図である。
【図８】本開示の第１の実施形態に係る画像認識装置の変形例（２）の動作説明図である。
【図９】本開示の第２の実施形態に係る画像認識装置の構成例を示す図である。
【発明を実施するための形態】
【０００７】
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【０００８】
（１．第１の実施形態）
［１−１．第１の実施形態に係る画像認識装置の構成］
図１は、第１の実施形態に係る画像認識装置１の構成例を示す図である。図１に示すように、画像認識装置１は、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサ（以下、ＣＩＳ２と記載する）と、アプリケーションプロセッサ（以下、ＡＰ３と記載する）とを有する。
【０００９】
ＣＩＳ２は、１チップで構成され、画像を撮像する固体撮像装置の一例であり、画像を撮像する機能に加えて、撮像画像中の被写体を認識して被写体の認識結果をＡＰ３へ出力する機能を備える。なお、本開示に係る固体撮像装置は、ＣＩＳ２に限定されるものではなく、例えば、ＣＣＤ（Charge  Coupled  Device）イメージセンサ等、他のイメージセンサであってもよい。
【００１０】
ＡＰ３は、画像認識装置１の用途に応じた各種アプリケーションプログラムを実行するＣＰＵ（Central  Processing  Unit）等のプロセッサの一例であるＡＰ制御部３１と、ＣＩＳ２との間で情報通信を行う通信Ｉ／Ｆ（インターフェイス）３２とを備える。
【００１１】
ＡＰ３は、例えば、画像認識装置１が車両に搭載されて車両周辺の物体等を検知するセンサとして使用される場合、ＣＩＳ２によって歩行者等の被写体が認識されると、その旨をドライバーへ通知したり、自動ブレーキシステムへ通知したりする処理等を行う。
【００１２】
また、ＡＰ３は、例えば、画像認識装置１が顔認証システムに使用される場合、ＣＩＳ２によって認識される顔が事前に登録された人の顔か否かを示す情報を顔認証システムへ出力する処理等を行う。このように、ＡＰ３は、ＣＩＳ２によって認識される被写体について、画像認識装置１の用途に応じた処理を行う。
【００１３】
ＣＩＳ２は、１フレームの画像を撮像する期間となる１フレーム期間に、感度が異なる複数の画像を撮像し、撮像画像をＨＤＲ（High  Dynamic  Range）合成することによってＨＤＲ画像を生成する機能と、前述した撮像画像中の被写体を認識する機能とを備える。
【００１４】
具体的には、ＣＩＳ２は、撮像部４と、ＨＤＲ（High  Dynamic  Range）合成部５と、メモリ６と、画像出力部７と、通信Ｉ／Ｆ８と、認識部９とを備える。撮像部４は、受光部４１と、読出部４２とを備える。
【００１５】
受光部４１は、例えば、ズームレンズ、フォーカスレンズ、絞り等を備える光学系と、フォトダイオードなどの受光素子を含む単位画素が２次元マトリクス状に配列された画素アレイ部とを備える。
【００１６】
受光部４１は、外部から入射する光を光学系によって画素アレイ部の受光面に結像する。画素アレイ部の各単位画素は、受光素子に入射した光を光電変換することで、入射光の光量に応じた電荷を読出可能に蓄積する。
【００１７】
読出部４２は、各単位画素に蓄積された電荷を画素信号として読み出す読出回路と、読出回路によって読み出されたアナログの画素信号をデジタル値に変換することで、デジタルの画像データを生成するＡＤＣ（Analog  to  Digital  Converter）とを備える。
【００１８】
かかる撮像部４は、１フレーム期間に、通常の露光時間よりも短い露光時間で撮像する短時間露光画像と、通常の露光時間よりも長い露光時間で撮像する長時間露光画像という感度が異なる２枚の画像を撮像する。
【００１９】
これにより、撮像部４は、通常の露光時間では被写体の輝度が高すぎて白つぶれするような被写体であっても、被写体の像がきれいに写った短時間露光画像を撮像することができる。また、撮像部４は、通常の露光時間では被写体の輝度が低すぎて黒つぶれするような被写体であっても、被写体の像がきれいに写った長時間露光画像を撮像することができる。撮像部４は、撮像した短時間露光画像の画像データと、長時間露光画像の画像データとをＨＤＲ合成部５へ出力する。
【００２０】
ＨＤＲ合成部５は、例えば、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ（Read  Only  Memory）、ＲＡＭ（Random  Access  Memory）などを有するマイクロコンピュータや各種の回路を含む。
【００２１】
ＨＤＲ合成部５は、ＣＰＵがＲＯＭに記憶されたプログラムを、ＲＡＭを作業領域として使用して実行し、撮像部４から入力される短時間露光画像の画像データと、長時間露光画像の画像データとをＨＤＲ合成することによってＨＤＲ画像の画像データを生成する。
【００２２】
これにより、ＨＤＲ合成部５は、１フレームの画像に収める画角内に、暗い領域と明るい領域とが混在している場合であっても、暗い領域内の被写体の像と、明るい領域内の被写体の像とがきれいに写ったＨＤＲ画像の画像データを生成することができる。
【００２３】
なお、ＨＤＲ合成部５は、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等のハードウェアで構成されてもよい。ＨＤＲ合成部５は、生成したＨＤＲ画像の画像データをメモリ６へ出力する。メモリ６は、例えば、フラッシュメモリ等の記憶デバイスであり、ＨＤＲ合成部５から入力されるＨＤＲ画像の画像データを記憶する。
【００２４】
画像出力部７は、例えば、ＡＰ３からＨＤＲ画像の取得要求を受け付けた場合に限り、メモリ６からＨＤＲ画像の画像データを読み出し、通信Ｉ／Ｆ８を介してＡＰ３へ出力し、それ以外の場合には、ＨＤＲ画像の画像データをＡＰ３へ出力することはない。
【００２５】
このように、画像出力部７は、ＡＰ３からＨＤＲ画像の取得要求を受け付けた場合を除き、ＨＤＲ画像の画像データを外部へ出力しないので、ＣＩＳ２の消費電力を低く抑えることができ、且つセキュリティやプライバシーを保護することができる。
【００２６】
認識部９は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有するマイクロコンピュータや各種の回路を含む。認識部９は、ＣＰＵがＲＯＭに記憶されたプログラムを、ＲＡＭを作業領域として使用して実行することによって、撮像画像の画像データから被写体を認識し、通信Ｉ／Ｆ８を介して被写体の認識結果をＡＰ３へ出力する処理部である。なお、認識部９は、一部または全部がＡＳＩＣやＦＰＧＡ等のハードウェアで構成されてもよい。
【００２７】
ここで、例えば、ＨＤＲ画像の画像データから被写体を認識した場合、被写体の認識精度が低下することがある。具体的には、上記したように、ＨＤＲ画像は、短時間露光画像と、長時間露光画像とをＨＤＲ合成して生成される。
【００２８】
短時間露光画像および長時間露光画像は、通常の露光時間とは異なる露光時間で撮像される画像であるため、人間が見た被写体とは輝度や色彩が若干異なる画像となっていることがある。
【００２９】
このような短時間露光画像と長時間露光画像とをＨＤＲ合成して生成されるＨＤＲ画像には、実際には存在しない二次的に発生するアーチファクトが写り込むことがある。このため、ＨＤＲ画像の画像データから被写体を認識した場合、アーチファクトに起因して、被写体を正確に認識することができず、被写体の認識精度が低下することがある。
【００３０】
そこで、本開示に係る認識部９は、ＨＤＲ合成前のアーチファクトを含まない短時間露光画像および長時間露光画像の画像データのそれぞれから被写体を認識し、認識結果に基づいて１フレームの画像に写る被写体を認識することで被写体の認識精度を向上させる。
【００３１】
具体的には、認識部９は、第１ＤＮＮ（Deep  Neural  Network）部９１と、第２ＤＮＮ部９２と、認識結果決定部９３とを備える。ＤＮＮは、画像データから被写体の特徴（パターン）を認識するように機械学習によって設計された人間の脳神経回路（ニューラルネットワーク）をモデルとした多階層構造のアルゴリズムである。
【００３２】
第１ＤＮＮ部９１は、短時間露光画像から被写体を認識するように特化されたＤＮＮを使用するＤＮＮ処理によって、撮像部４から入力される短時間露光画像の画像データから被写体を認識する処理部である。
【００３３】
第１ＤＮＮ部９１は、短時間露光画像に写っている被写体を認識し、被写体の認識結果と認識結果の信頼度の高さを示すＤＮＮスコアとを含む認識結果情報を導出して認識結果決定部９３へ出力する。
【００３４】
このように、第１ＤＮＮ部９１は、短時間露光画像用に特化されたＤＮＮを使用するＤＮＮ処理によって被写体を認識するため、短時間露光画像の画像データから的確に被写体を認識することができる。
【００３５】
第２ＤＮＮ部９２は、長時間露光画像から被写体を認識するように特化されたＤＮＮを使用するＤＮＮ処理によって、撮像部４から入力される長時間露光画像の画像データから被写体を認識する処理部である。
【００３６】
第２ＤＮＮ部９２は、長時間露光画像に写っている被写体を認識し、被写体の認識結果と認識結果の信頼度の高さを示すＤＮＮスコアとを含む認識結果情報を導出して認識結果決定部９３へ出力する。
【００３７】
このように、第２ＤＮＮ部９２は、長時間露光画像用に特化されたＤＮＮを使用するＤＮＮ処理によって被写体を認識するため、長時間露光画像の画像データから的確に被写体を認識することができる。
【００３８】
認識結果決定部９３は、第１ＤＮＮ部９１および第２ＤＮＮ部９２から入力される認識結果情報に基づいて、１フレームの画像に写る被写体を認識する。例えば、認識結果決定部９３は、ＤＮＮスコアが所定値以上の被写体と、被写体のＤＮＮスコアとを含む最終的な認識結果情報を導出し、通信Ｉ／Ｆ８を介してＡＰ３へ出力する。
【００３９】
また、認識結果決定部９３は、第１ＤＮＮ部９１と第２ＤＮＮ部９２とから入力される認識結果情報に含まれるＤＮＮスコアに応じて、次回以降のＤＮＮスコアが向上するように、撮像部４による露光時間を調整する。かかる露光時間調整方法の一例については、図３および図４を参照して後述する。
【００４０】
なお、認識結果決定部９３は、必須の構成要件ではない。認識部９は、第１ＤＮＮ部９１によって導出される認識結果情報と、第２ＤＮＮ部９２によって導出される認識結果情報とをＡＰ３へ出力する構成であってもよい。
【００４１】
このように、認識部９は、ＨＤＲ合成される前のアーチファクトが写り込んでいない短時間露光画像および長時間露光画像の画像データのそれぞれから被写体を認識し、被写体の認識結果に基づいて、１フレームの画像に写る被写体を認識する。これにより、認識部９は、アーチファクトが写り込むことがあるＨＤＲ画像から被写体を認識するよりも、被写体の認識精度を向上させることができる。
【００４２】
［１−２．第１の実施形態に係る画像認識装置の動作例］
次に、第１の実施形態に係る画像認識装置１の動作例について説明する。図２は、本開示の第１の実施形態に係る画像認識装置１の動作説明図である。
【００４３】
図２に示すように、撮像部４は、１フレーム期間ｔ１の間に、露光時間がｔ２の短時間露光画像を撮像した後、露光時間がｔ２よりも長いｔ３の長時間露光画像を撮像する。そして、撮像部４は、短時間露光画像の画像データを第１ＤＮＮ部９１へ出力し、長時間露光画像の画像データを第２ＤＮＮ部９２へ出力する。
【００４４】
第１ＤＮＮ部９１は、比較的暗い短時間露光画像の画像データから、例えば、被写体の車両１０を認識し、認識結果情報Ｄ１を認識結果決定部９３へ出力する。認識結果情報Ｄ１は、画像データではなく、認識した被写体を示す情報と上記したＤＮＮスコアとを含むメタデータである。
【００４５】
第２ＤＮＮ部９２は、比較的明るい長時間露光画像の画像データから、例えば、被写体の車両１０を認識し、認識結果情報Ｄ２を認識結果決定部９３へ出力する。認識結果情報Ｄ２は、画像データではなく、認識した被写体を示す情報と、上記したＤＮＮスコアとを含むメタデータである。このとき、第１ＤＮＮ部９１および第２ＤＮＮ部９２は、ＤＮＮ処理を並行して行う。これにより、認識部９は、被写体の認識処理に要する時間を短縮することができる。
【００４６】
認識結果決定部９３は、認識結果情報Ｄ１，Ｄ２に基づいて、被写体の車両１０を認識し、最終的な認識結果情報Ｄ３を通信Ｉ／Ｆ８へ送信する。最終的な認識結果情報Ｄ３も画像データではなく、認識した被写体を示す情報と、上記したＤＮＮスコアとを含むメタデータである。
【００４７】
通信Ｉ／Ｆ８は、認識結果情報Ｄ３をＡＰ３の通信Ｉ／Ｆ３２へ出力する。このように、ＣＩＳ２は、画像データではないメタデータの認識結果情報Ｄ３をＡＰ３へ出力するので、画像データを出力する場合に比べて、消費電力を低減することができると共に、プライバシーおよびセキュリティを保護することができる。
【００４８】
［１−３．露光時間調整方法］
次に、図３および図４を参照し、認識結果決定部９３が行う露光時間調整方法の一例について説明する。図３および図４は、本開示の第１の実施形態に係る露光時間調整方法の説明図である。なお、図３および図４に示す２０ラインや５０ラインは、露光時間の長さを示す指標であり、ライン数が多い方が露光時間が長いことを示している。
【００４９】
図３に示すように、例えば、初回の１フレーム期間ｔ１の間に撮像した短時間露光画像Ｐ１のＤＮＮスコアが８０となり、長時間露光画像Ｐ２のＤＮＮスコアが６０となる場合がある。かかる場合、このときの撮像対象は、露光時間が長くなるほどＤＮＮスコアが低くなる可能性が高い。
【００５０】
そこで、認識結果決定部９３は、短時間露光画像の方が長時間露光画像の方よりも高スコアであった場合（ステップＳ１）、次回の１フレーム期間で撮像する短時間露光画像および長時間露光画像の露光時間を短くする露光時間調整を行う（ステップＳ２）。
【００５１】
例えば、認識結果決定部９３は、次回に撮像する短時間露光画像Ｐ３の露光時間を２０ラインから１０ラインに短縮し、次回に撮像する長時間露光画像Ｐ４の露光時間を５０ラインから４０ラインに短縮する。これにより、認識結果決定部９３は、次回に撮像される短時間露光画像のＤＮＮスコアを例えば８０から８５まで高めることができ、次回に撮像される長時間露光画像のＤＮＮスコアを６０から７０まで高めることができる。
【００５２】
また、認識結果決定部９３は、長時間露光画像の方が短時間露光画像の方よりも高スコアであった場合、次回の１フレーム期間で撮像する短時間露光画像および長時間露光画像の露光時間を長くする露光時間調整を行う。
【００５３】
なお、認識結果決定部９３は、露光時間を長くし過ぎたり、短くし過ぎたりすると、ＤＮＮスコアを低下させることがある。そこで、認識結果決定部９３は、ＤＮＮスコアが最高値に収束するまで、上記した露光時間調整を繰り返す。
【００５４】
例えば、図４に示すように、認識結果決定部９３は、初回に２０ラインの露光時間で撮像された画像のＤＮＮスコアが５０であり、２回目に露光時間を３０ラインに延長して撮像させた画像のＤＮＮスコアが６０に上昇した場合、３回目の露光時間をさら延長する。
【００５５】
認識結果決定部９３は、３回目に露光時間を４０ラインに延長して撮像させた画像のＤＮＮスコアが７０まで上昇した場合、４回目に露光時間を５０ラインまで延長して画像を撮像させる。そして、認識結果決定部９３は、４回目に撮像された画像のＤＮＮスコアが８０まで上昇した場合、５回目に露光時間を６０ラインまで延長して画像を撮像させる。
【００５６】
このとき、認識結果決定部９３は、５回目に撮像された画像のＤＮＮスコアが６０に低下した場合、５０ラインの露光時間で撮像された画像のＤＮＮスコアである８０をＤＮＮスコアの最高値と判定する。
【００５７】
そして、認識結果決定部９３は、６回目に露光時間を５０ラインまで短縮して画像を撮像させる。その結果、６回目に撮像された画像のＤＮＮスコアは、最高値の８０まで上昇する。その後、認識結果決定部９３は、撮像画像のＤＮＮスコアが最高値である８０に収束するように露光時間を５０ラインに維持させて画像を撮像させる。これにより、認識部９は、以後、ＤＮＮスコアが最高値となる信頼度の高い被写体の認識結果を継続的に導出することができる。
【００５８】
［１−４．認識部が実行する処理］
次に、図５を参照し、認識部９が実行する処理の一例について説明する。図５は、開示の第１の実施形態に係る認識部９が実行する処理の一例を示すフローチャートである。認識部９は、撮像部４によって短時間露光画像および長時間露光画像が撮像される毎に、図５に示す処理を実行する。
【００５９】
具体的には、認識部９は、撮像部４によって短時間露光画像および長時間露光画像が撮像されると、撮像部４から短時間露光画像の画像データを取得し（ステップＳ１０１）、短時間露光画像の画像データをＤＮＮ処理する（ステップＳ１０２）。
【００６０】
また、認識部９は、ステップＳ１０１，Ｓ１０２の処理と並行して、撮像部４から長時間露光画像の画像データを取得し（ステップＳ１０３）、長時間露光画像の画像データをＤＮＮ処理する（ステップＳ１０４）。
【００６１】
続いて、認識部９では、短時間露光画像の画像データのＤＮＮ処理結果である被写体の認識結果情報Ｄ１と、長時間露光画像の画像データのＤＮＮ処理結果である被写体の認識結果情報Ｄ２とに基づいて、被写体を認識する（ステップＳ１０５）。
【００６２】
その後、認識部９は、被写体の認識結果となる最終的な認識結果情報Ｄ３を通信Ｉ／Ｆ８を介してＡＰ３へ出力する（ステップＳ１０６）。そして、認識部９は、認識結果情報Ｄ１，Ｄ２に含まれるＤＮＮスコアに応じて、撮像部４に撮像させる画像の露光時間調整を行い（ステップＳ１０７）、処理を終了する。
【００６３】
［１−５．画像認識装置の変形例（１）］
次に、画像認識装置１の変形例（１）について説明する。変形例（１）に係る画像認識装置は、認識部が第１ＤＮＮ部９１および第２ＤＮＮ部９２という２つのＤＮＮ部を備えるのではなく、１つのＤＮＮを備える点が図１に示す画像認識装置１とは異なり、それ以外の構成は図１に示す画像認識装置と同様である。
【００６４】
このため、ここでは、変形例（１）に係る画像認識装置の全体構成については重複する説明を省略し、図６を参照して変形例（１）に係る画像認識装置の動作について説明する。また、ここでは、図２に示すものと同一のものについては、図２に示す符号と同一の符号を付することにより、重複する説明を省略する。
【００６５】
図６は、本開示の第１の実施形態に係る画像認識装置１の変形例（１）の動作説明図である。図６に示すように、変形例（１）に係るＤＮＮ部９０は、撮像部４から短時間露光画像と、長時間露光画像とを撮像された順に取得する。
【００６６】
そして、ＤＮＮ部９０は、１フレーム期間に撮像される短時間露光画像および長時間露光画像の画像データを取得する順で時系列にＤＮＮ処理して被写体を認識する。そして、ＤＮＮ部９０は、短時間露光画像の画像データをＤＮＮ処理して導出する認識結果情報Ｄ１と、長時間露光画像の画像データをＤＮＮ処理して導出する認識結果情報Ｄ２とを順次、通信Ｉ／Ｆ８を介してＡＰ３へ出力する。
【００６７】
このように、変形例（１）に係る画像認識装置は、アーチファクトを含まないＨＤＲ合成前の短時間露光画像および長時間露光画像の画像データから被写体を認識するので、１フレームの画像に写る被写体の認識精度を向上させることができる。
【００６８】
また、変形例（１）に係る画像認識装置は、認識部が１つのＤＮＮ部９０を備えるため、回路構成を簡略化することがで、これにより、製造コストを低減することができる。また、変形例（１）に係る画像認識装置は、ＤＮＮ部９０に使用させるＤＮＮが１種類で済むため、ＤＮＮの設計に要する手間、時間、およびコストを削減することができる。
【００６９】
［１−６．１−５．画像認識装置の変形例（２）］
次に、画像認識装置１の変形例（２）について説明する。変形例（２）に係る画像認識装置は、撮像部における受光部の構成が図１に示す画像認識装置１とは異なり、それ以外の構成は図１に示す画像認識装置と同様である。
【００７０】
このため、ここでは、変形例（２）に係る画像認識装置の全体構成については重複する説明を省略し、図７を参照して変形例（２）に係る受光部４１ａの構成について説明し、図８を参照して変形例（２）に係る画像認識装置の動作について説明する。また、ここでは、図２に示すものと同一のものについては、図２に示す符号と同一の符号を付することにより、重複する説明を省略する。
【００７１】
図７は、本開示の第１の実施形態に係る画像認識装置の変形例（２）が備える受光部４１ａの説明図である。図８は、第１の実施形態に係る画像認識装置の動作説明図である。なお、図７には、受光部４１ａの平面図と、受光部４１ａの受光領域４０における点線で囲む一部分の拡大図を示している。
【００７２】
図７に示すように、受光部４１ａは、受光面積が比較的小さな光電変換素子である小受光素子４３と、受光面積が比較的大きな光電変換素子である大受光素子４４とを備える。受光部４１ａには、例えば、小受光素子４３と、大受光素子４４とが縦横方向に交互に配置される。
【００７３】
これらの小受光素子４３および大受光素子４４は、受光面積が異なるため、同じ時間露光した場合に、光電変換して蓄積する電荷量が異なる。つまり、露光時間が同じ場合、小受光素子４３は、大受光素子４４よりも少ない電荷を蓄積する。
【００７４】
かかる受光部４１ａによれば、１回の露光で小受光素子４３群を画素とする短時間露光画像を模擬した第１画像と、大受光素子４４群を画素とする長時間露光画像を模擬した第２画像とを同時に撮像可能なシングルショットＨＤＲ画像を撮像することができる。
【００７５】
これにより、図８に示すように、変形例（２）に係る画像認識装置では、撮像部によって１フレーム期間に撮像するシングルショットＨＤＲ画像に含まれる第１画像を第１ＤＮＮ部９１へ入力すると同時に第２画像を第２ＤＮＮ部９２へ入力することができる。その結果、第１ＤＮＮ部９１および第２ＤＮＮ部９２は、同時にＤＮＮ処理を開始して同時にＤＮＮ処理を終了することができる。
【００７６】
このため、認識結果決定部９３は、時間差で短時間露光画像と長時間露光画像とが撮像される場合のように、第１ＤＮＮ部９１の認識結果情報Ｄ１が入力されてから、第２ＤＮＮ部９２の認識結果情報Ｄ２が入力されるのを待つ必要がない。
【００７７】
したがって、認識結果決定部９３は、最終的な認識結果情報Ｄ３の導出に要する時間を短縮することができる。なお、変形例（２）に係る画像認識装置は、最終的な認識結果情報Ｄ３の導出後、図２に示す画像認識装置１の動作と同様に、通信Ｉ／Ｆ８を介して最終的な認識結果情報Ｄ３をＡＰ３へ出力する。
【００７８】
また、変形例（２）に係る画像認識装置は、図１に示す画像認識装置１と同様に、アーチファクトを含まないＨＤＲ合成前の第１画像および第２画像の画像データから被写体を認識するので、１フレームの画像に写る被写体の認識精度を向上させることができる。
【００７９】
（２．第２の実施形態）
次に、図９を参照し、第２実施形態に係る画像認識装置１ａについて説明する。図９は、本開示の第２実施形態に係る画像認識装置１ａの構成例を示す図である。なお、ここでは、図９に示す構成要素のうち、図１に示す構成要素と同一の構成要素については、図１に示す符号と同一の符号を付することにより、詳細な説明を省略する。
【００８０】
図９に示すように、第２実施形態に係る画像認識装置１ａは、ＣＩＳ２ａが認識部９を備えておらず、ＡＰ３が認識部９を備える点が図１に示す画像認識装置１とは異なり、その他の構成は図１に示す画像認識装置１と同一である。
【００８１】
ＣＩＳ２ａの撮像部４は、短時間露光画像と長時間露光画像とを撮像し、短時間露光画像および長時間露光画像の画像データをＨＤＲ合成部５へ出力すると共に、通信Ｉ／Ｆ８を介してＡＰ３へも出力する。
【００８２】
ＨＤＲ合成部５は、短時間露光画像および長時間露光画像の画像データをＨＤＲ合成して生成するＨＤＲ画像をメモリ６へ出力する。メモリ６は、ＨＤＲ合成部５から入力されるＨＤＲ画像を記憶する。画像出力部７は、ＡＰ３からＨＤＲ画像の取得要求を受け付けた場合に限り、メモリ６からＨＤＲ画像の画像データを読み出してＡＰ３へ出力する。
【００８３】
ＡＰ３ａの認識部９は、第１実施形態に係る認識部９と同様の処理を行う。具体的には、第１ＤＮＮ部９１は、通信Ｉ／Ｆ３２を介してＣＩＳ２ａから入力される短時間露光画像の画像データをＤＮＮ処理することによって、短時間露光画像の被写体を認識し、被写体の認識結果情報Ｄ１を認識結果決定部９３へ出力する。
【００８４】
第２ＤＮＮ部９２は、通信Ｉ／Ｆ３２を介してＣＩＳ２ａから入力される長時間露光画像の画像データをＤＮＮ処理することによって、長時間露光画像の被写体を認識し、被写体の認識結果情報Ｄ２を認識結果決定部９３へ出力する。
【００８５】
認識結果決定部９３は、第１ＤＮＮ部９１から入力される認識結果情報Ｄ１と、第２ＤＮＮ部９２から入力される認識結果情報Ｄ２とに基づいて、１フレームの画像に写る被写体を認識する。
【００８６】
例えば、認識結果決定部９３は、ＤＮＮスコアが所定値以上の被写体と、被写体のＤＮＮスコアとを含む最終的な認識結果情報Ｄ３を導出する。そして、認識結果決定部９３は、ＡＰ制御部３１へ出力する。ＡＰ制御部３１は、認識部９によって認識された被写体について、画像認識装置１の用途に応じた処理を行う。
【００８７】
第２実施形態に係る画像認識装置１ａにおいても、認識部９は、ＨＤＲ合成前のアーチファクトを含まない短時間露光画像および長時間露光画像の画像データのそれぞれから被写体を認識し、認識結果に基づいて１フレームの画像に写る被写体を認識する。
【００８８】
これにより、画像認識装置１ａは、アーチファクトを含むことがあるＨＤＲ画像から被写体を認識する場合に比べて、被写体の認識精度を向上させることができる。なお、第２実施形態に係る認識部９の構成は、図９に示す構成に限定されるものではない。
【００８９】
また、画像認識装置１ａは、一般的にＣＩＳ２ａよりも情報処理能力が高いＡＰ３ａ側でＤＮＮ処理を行って被写体を認識するので、画像を撮像してから被写体の認識結果を導出するまでに要する時間を短縮することができる。
【００９０】
例えば、第２実施形態に係る認識部９は、第１実施形態の変形例（１）に係る認識部と同様の構成であってもよい。また、第２実施形態に係る受光部４１は、第１実施形態の変形例（２）に係る受光部４１ａと同様の構成であってもよい。
【００９１】
（３．効果）
画像認識装置１は、撮像部４と、認識部９とを有する。撮像部４は、１フレーム期間に感度が異なる複数の画像を撮像して画像データを生成する。認識部９は、画像データのそれぞれから被写体を認識し、被写体の認識結果に基づいて、１フレームの画像に写る被写体を認識する。これにより、画像認識装置１は、アーチファクトを含まないＨＤＲ合成前の画像データから被写体を認識することで、被写体の認識精度を向上させることができる。
【００９２】
また、画像認識装置１は、撮像部４と認識部９とを備える固体撮像装置の一例であるＣＩＳ２を有する。これにより、画像認識装置１は、ＣＩＳ２から外部へ画像データを出力せずに、ＣＩＳ２の内部で被写体を認識することができる。したがって、画像認識装置１は、ＣＩＳ２の消費電力を低減すると共に、被写体のプライバシーおよびセキュリティを保護することができる。
【００９３】
また、画像認識装置１ａは、撮像部４を備える固体撮像装置の一例であるＣＩＳ２ａと、認識部９を備えるプロセッサの一例であるＡＰ３ａとを有する。これにより、画像認識装置１ａは、被写体の認識精度を向上させ、さらに、被写体の認識結果を導出するまでに要する時間を短縮することができる。
【００９４】
また、認識部９は、ＤＮＮ（Deep  Neural  Network）を使用するＤＮＮ処理によって画像データのそれぞれから被写体を認識する。これにより、認識部９は、信頼性の高い被写体の認識結果を導出することができる。
【００９５】
また、認識部９は、１フレーム期間に撮像される複数の画像の画像データを時系列にＤＮＮ処理して被写体を認識する。かかる認識部９は、１種類のＤＮＮによって複数の画像から被写体を認識することができる。これにより、画像認識装置１は、被写体の認識に使用するＤＮＮの設計に要する手間、時間、およびコストを削減することができる。
【００９６】
また、認識部９は、１フレーム期間に撮像される複数の画像の画像データを並行してＤＮＮ処理して被写体を認識する。これにより、認識部９は、被写体の認識処理に要する時間を短縮することができる。
【００９７】
また、認識部９は、感度が異なる画像毎に特化されたＤＮＮを使用するＤＮＮ処理によって被写体を認識する。これにより、画像認識装置１は、ＨＤＲ画像と同等のダイナミックレンジの画像に写る被写体を高精度に認識することができる。
【００９８】
また、撮像部４は、露光時間が異なる複数の画像を撮像する。これにより、これにより、画像認識装置１は、ＨＤＲ画像と同等のダイナミックレンジの画像に写る被写体を高精度に認識することができる。
【００９９】
また、認識部９は、被写体の認識結果の精度に応じて撮像部４の露光時間を調整する。これにより、画像認識装置１は、被写体の認識に適した露光時間で撮像した画像から被写体を認識することで、被写体の認識結果をさらに向上させることができる。
【０１００】
また、認識部９は、被写体の認識結果の精度が最高値に収束するまで撮像部４の露光時間の調整を繰り返す。これにより、画像認識装置１は、被写体の認識に最適な露光時間で撮像した画像から被写体を認識することで、被写体の認識結果をより一層向上させることができる。
【０１０１】
また、撮像部４は、受光領域４０内に設けられる受光面積が異なる受光素子である小受光素子４３および大受光素子４４によって複数の画像を撮像する。これにより、画像認識装置１は、ＨＤＲ画像と同等のダイナミックレンジの画像に写る被写体を高精度に認識することができる。
【０１０２】
固体撮像装置の一例であるＣＩＳ２は、撮像部４と、認識部９とを有する。撮像部４は、１フレーム期間に感度が異なる複数の画像を撮像して画像データを生成する。認識部９は、画像データのそれぞれから被写体を認識し、被写体の認識結果に基づいて、１フレームの画像に写る被写体を認識する。これにより、ＣＩＳ２は、アーチファクトを含まないＨＤＲ合成前の画像データから被写体を認識することで、被写体の認識精度を向上させることができる。
【０１０３】
画像認識方法は、１フレーム期間に感度が異なる複数の画像を撮像して画像データを生成し、画像データのそれぞれから被写体を認識し、被写体の認識結果に基づいて、１フレームの画像に写る被写体を認識する。これにより、画像認識方法は、アーチファクトを含まないＨＤＲ合成前の画像データから被写体を認識することで、被写体の認識精度を向上させることができる。
【０１０４】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【０１０５】
なお、本技術は以下のような構成も取ることができる。
（１）
１フレーム期間に感度が異なる複数の画像を撮像して画像データを生成する撮像部と、
前記画像データのそれぞれから被写体を認識し、前記被写体の認識結果に基づいて、１フレームの画像に写る被写体を認識する認識部と
を有する画像認識装置。
（２）
前記撮像部と前記認識部とを備える固体撮像装置
を有する前記（１）に記載の画像認識装置。
（３）
前記撮像部を備える固体撮像装置と、
前記認識部を備えるプロセッサと
を有する前記（１）に記載の画像認識装置。
（４）
前記認識部は、
ＤＮＮ（Deep  Neural  Network）を使用するＤＮＮ処理によって前記画像データのそれぞれから被写体を認識する
前記（１）〜（３）のいずれか一つに記載の画像認識装置。
（５）
前記認識部は、
１フレーム期間に撮像される複数の画像の画像データを時系列にＤＮＮ処理して前記被写体を認識する
前記（４）に記載の画像認識装置。
（６）
前記認識部は、
１フレーム期間に撮像される複数の画像の画像データを並行してＤＮＮ処理して前記被写体を認識する
前記（４）に記載の画像認識装置。
（７）
前記認識部は、
前記感度が異なる画像毎に特化されたＤＮＮを使用するＤＮＮ処理によって被写体を認識する
前記（４）〜（６）のいずれか一つに記載の画像認識装置。
（８）
前記撮像部は、
露光時間が異なる前記複数の画像を撮像する
前記（１）〜（７）のいずれか一つに記載の画像認識装置。
（９）
前記認識部は、
前記被写体の認識結果の信頼度に応じて前記撮像部の前記露光時間を調整する
前記（８）に記載の画像認識装置。
（１０）
前記認識部は、
前記被写体の認識結果の信頼度が最高値に収束するまで前記撮像部の前記露光時間の調整を繰り返す
前記（９）に記載の画像認識装置。
（１１）
前記撮像部は、
受光領域内に設けられる受光面積が異なる受光素子によって前記複数の画像を撮像する
前記（１）〜（１０）のいずれか一つに記載の画像認識装置。
（１２）
１フレーム期間に感度が異なる複数の画像を撮像して画像データを生成する撮像部と、
前記画像データのそれぞれから被写体を認識し、前記被写体の認識結果に基づいて、１フレームの画像に写る被写体を認識する認識部と
を有する固体撮像装置。
（１３）
１フレーム期間に感度が異なる複数の画像を撮像して画像データを生成し、
前記画像データのそれぞれから被写体を認識し、前記被写体の認識結果に基づいて、１フレームの画像に写る被写体を認識する
画像認識方法。
【符号の説明】
【０１０６】
１，１ａ  画像認識装置
２，２ａ  ＣＩＳ
３，３ａ  ＡＰ
３１  ＡＰ制御部
３２  通信Ｉ／Ｆ
４  撮像部
４０  受光領域
４１，４１ａ  受光部
４２  読出部
４３  小受光素子
４４  大受光素子
５  ＨＤＲ合成部
６  メモリ
７  画像出力部
８  通信Ｉ／Ｆ
９  認識部
９０  ＤＮＮ部
９１  第１ＤＮＮ部
９２  第２ＤＮＮ部
９３  認識結果決定部
【図１】
2020187409.tif 000003
【図２】
2020187409.tif 000004
【図３】
2020187409.tif 000005
【図４】
2020187409.tif 000006
【図５】
2020187409.tif 000007
【図６】
2020187409.tif 000008
【図７】
2020187409.tif 000009
【図８】
2020187409.tif 000010
【図９】
2020187409.tif 000011