(57)【要約】【課題】被写体の認識精度を向上させることができる画像認識装置および画像認識方法を提供すること。【解決手段】本開示に係る画像認識装置は、撮像部と、認識部とを有する。撮像部は、可視光を受光する撮像画素と、赤外光を受光する撮像画素とを使用し、１フレーム期間に複数の画像を同一露光タイミングで撮像して画像データを生成する。認識部は、画像データのそれぞれから被写体を認識する。【選択図】図２Ｂ
2020198470.tif 000002
【特許請求の範囲】
【請求項１】
可視光を受光する撮像画素と、赤外光を受光する撮像画素とを使用し、１フレーム期間に複数の画像を同一露光タイミングで撮像して画像データを生成する撮像部と、
前記画像データのそれぞれから被写体を認識する認識部と
を有する画像認識装置。
【請求項２】
前記撮像部は、
受光面積が同一であり露光時間が異なる複数の前記撮像画素と、赤外光を受光する撮像画素とが２次元に配列された画素アレイ
を有する請求項１に記載の画像認識装置。
【請求項３】
前記画素アレイは、
前記可視光を受光する長時間露光撮像画素、中時間露光撮像画素、および短時間露光撮像画素
を有する請求項２に記載の画像認識装置。
【請求項４】
前記画素アレイは、
各画素が露光時間の異なる２個の撮像素子によって構成される
請求項２に記載の画像認識装置。
【請求項５】
前記画素アレイは、
各画素が２個の撮像素子によって構成され、
各前記撮像素子は、
露光時間の異なる２個の光電変換素子を備える
請求項２に記載の画像認識装置。
【請求項６】
前記認識部は、
前記被写体を認識した場合に、前記被写体の認識結果および前記画像データを後段の装置へ出力し、前記被写体を認識しない場合に、その旨を示す情報を後段の装置へ出力する
請求項１に記載の画像認識装置。
【請求項７】
前記認識部は、
バッテリの残量が所定残量以上である場合に、前記被写体の認識結果および前記画像データを後段の装置へ出力し、前記所定残量未満の場合に、前記後段の装置へ前記画像データを出力することなく前記被写体の認識結果を出力する
請求項６に記載の画像認識装置。
【請求項８】
前記認識部は、
デモザイク処理が実行された前記画像データから前記被写体を認識する
請求項１に記載の画像認識装置。
【請求項９】
前記認識部は、
デモザイク処理が実行されない前記画像データから前記被写体を認識する
請求項１に記載の画像認識装置。
【請求項１０】
前記認識部は、
前記撮像部から入力される前記画像データから前記被写体を認識する
請求項１に記載の画像認識装置。
【請求項１１】
前記赤外光を受光する撮像画素は、
ＴｏＦ（Time  of  Flight）センサである
請求項１に記載の画像認識装置。
【請求項１２】
可視光を受光する撮像画素と、赤外光を受光する撮像画素とを使用し、１フレーム期間に複数の画像を同一露光タイミングで撮像して画像データを生成し、
前記画像データのそれぞれから被写体を認識する
画像認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像認識装置および画像認識方法に関する。
【背景技術】
【０００２】
１フレーム期間に感度が異なる複数の画像を撮像して合成することによりＨＤＲ（High  Dynamic  Range）画像を生成するＨＤＲ撮像モードを備え、ＨＤＲ画像から被写体を認識する撮像装置がある（例えば、特許文献１参照）。
【０００３】
また、可視光を受光する撮像画素と、赤外光を受光する撮像画素とを使用して撮像した画像を合成することにより、ＨＤＲ画像を生成し、ＨＤＲ画像から被写体を認識する撮像装置もある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１０３６４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の従来技術では、被写体の認識精度が低下することがある。そこで、本開示では、被写体の認識精度を向上させることができる画像認識装置および画像認識方法を提案する。
【課題を解決するための手段】
【０００６】
本開示に係る画像認識装置は、撮像部と、認識部とを有する。撮像部は、可視光を受光する撮像画素と、赤外光を受光する撮像画素とを使用し、１フレーム期間に複数の画像を同一露光タイミングで撮像して画像データを生成する。認識部は、前記画像データのそれぞれから被写体を認識する。
【図面の簡単な説明】
【０００７】
【図１】本開示に係る画素アレイを示す説明図である。
【図２Ａ】一般的なＤＮＮの使用例を示す説明図である。
【図２Ｂ】本開示に係るＤＮＮの使用例を示す説明図である。
【図３】本開示に係る画像認識システムの構成例を示す図である。
【図４】本開示に係る信号処理部が実行する処理の説明図である。
【図５Ａ】本開示に係る認識部が実行する処理の説明図である。
【図５Ｂ】本開示に係る認識部が実行する処理の説明図である。
【図６】本開示に係る信号処理部が実行する処理の変形例を示す説明図である。
【図７】本開示に係る認識部が使用するＤＮＮの変形例を示す説明図である。
【図８】本開示に係る画素アレイの第１変形例を示す説明図である。
【図９】本開示に係る画素アレイの第２変形例を示す説明図である。
【図１０】本開示に係る画素アレイの第２変形例を採用した場合のＤＮＮの使用例を示す説明図である。
【図１１】本開示に係る画素アレイの第３変形例を示す説明図である。
【発明を実施するための形態】
【０００８】
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【０００９】
［１．画像認識方法の概要］
まず、本開示に係る画像認識方法の概要について説明する。本開示に係る画像認識方法では、可視光を受光する撮像画素と、赤外光を受光する撮像画素を使用し、１フレーム期間に複数の画像を同一露光タイミングで撮像して画像データを生成し、画像データのそれぞれから被写体を認識する。ここでの同一露光タイミングで撮像するとは、例えば、複数の画素の露光を別々のタイミングで開始させ、同一のタイミングで終了させて画像を撮像することを意味する。
【００１０】
複数の画像の撮像には、ＨＤＲ（High  Dynamic  Range）画像の撮像に使用される画素アレイを使用する。図１は、本開示に係る画素アレイを示す説明図である。例えば、図１に示すように、ＨＤＲ画像の撮像に使用される画素アレイＡ１は、赤色光を受光する撮像画素Ｒ、緑色光を受光する撮像画素Ｇｒ、Ｇｂ、青色光を受光する撮像画素Ｂがベイヤ配列されている。
【００１１】
なお、撮像画素Ｇｒは、撮像画素Ｒが配置される列に設けられて緑色光を受光する撮像画素である。撮像画素Ｇｂは、撮像画素Ｂが配置される列に設けられて緑色光を受光する撮像画素である。
【００１２】
撮像画素Ｒ、Ｇｒ、Ｇｂ、Ｂは、それぞれ、Ｌ字状に配置される受光面積が同一の３個の撮像素子を備える。撮像素子Ｌは、撮像素子Ｍ、Ｓに比べて露光時間が長い長時間露光素子である。撮像素子Ｓは、撮像素子Ｌ、Ｍに比べて露光時間が短い短時間露光素子である。
【００１３】
撮像素子Ｍは、撮像素子Ｓよりも露光時間が長く、撮像素子Ｌよりも露光時間が短い中時間露光素子である。また、画素アレイＡ１は、同色の光を受光するＬ字状に配置された撮像素子Ｌ、Ｍ、Ｓによって三方が囲まれる位置に、赤外光を受光する撮像画素となる撮像素子ＩＲを備える。
【００１４】
撮像素子Ｌは、露光時間が長いので、周囲が暗い場合であっても十分な受光量を得ることができる。これにより、撮像素子Ｌは、輝度が低すぎて通常の露光時間では黒つぶれするような被写体であっても、被写体の像がきれいに写った高感度画像（以下、長時間露光画像という場合がある）を撮像することができる。
【００１５】
撮像素子Ｓは、露光時間が短いので、周囲が明るい場合であっても飽和することがない。これにより、撮像素子Ｓは、輝度が高すぎて通常の露光時間では白飛びするような被写体であっても、被写体の像がきれいに写った低感度画像（以下、短時間露光画像という場合がある）を撮像することができる。なお、撮像素子Ｍは、一般的なデジタルカメラと同様の露光時間で中感度画像（以下、中時間露光画像という場合がある）を撮像することができる。
【００１６】
撮像素子ＩＲは、赤外光を受光するので、例えば、肉眼では見え難い暗闇での歩行者や車両、車両のヘッドライトやスポットライトで見え難い歩行者、煙や霧で見え難い物体等の像がきれいに写ったＩＲ（Infrared  Ray）画像を撮像することができる。また、撮像素子ＩＲは、被写体の熱情報を検知することもできる。
【００１７】
ＨＤＲ画像は、上記した高感度画像、中間度画像、低感度画像、およびＩＲ画像をＨＤＲ合成することによって生成される。このため、ＨＤＲ画像は、暗い被写体、明るい被写体、および肉眼ではみえ難い被写体等の全ての被写体の像がきれいに写った画像となる。
【００１８】
なお、図１に示す画素アレイＡ１では、露光時間を異ならせることで、受光面積が同一の撮像素子Ｌ、Ｍ、Ｓによって高感度画像、中感度画像、または低感度画像を撮像するが、これは一例である。例えば、画素アレイＡ１は、各撮像画素に積層されるカラーフィルタの透光率を異ならせることで、露光時間を同一にしても、高感度画像、中感度画像、または低感度画像を撮像することができる。
【００１９】
この場合、画素アレイＡ１では、カラーフィルタの透光率が通常よりも高い撮像画素が高感度撮像画素となり、カラーフィルタの透光率が通常の撮像画素が中感度撮像画素となり、カラーフィルタの透光率が通常よりも低い撮像画素が低感度撮像画素となる。
【００２０】
なお、露光開始時間を異ならせる方法として、露光開始時間を同一にし露光終了時間を異ならせる方法、露光開始時間を異ならせ露光終了時間を同一にする方法、露光開始時間と終了時間のいずれも異なる時間にする方法を用いても、高感度画像、中感度画像、または低感度画像を撮像することができる。
【００２１】
かかる画素アレイＡ１によっても、同時に高感度画像および低感度画像を撮像することができるので、両画像をＨＤＲ合成することにより、ＨＤＲ画像を撮像することが可能である。また、撮像画素の受光面積を異ならせることで、カラーフィルタの透光性および露光時間が同一の撮像画素を高感度撮像画素または低感度撮像画素として機能させることもできる。
【００２２】
ここで、画像データから被写体を認識する方法の一例として、ＤＮＮ（Deep  Neural  Network）を用いる画像認識方法がある。ＤＮＮは、画像データから被写体の特徴（パターン）を認識するように機械学習によって設計された人間の脳神経回路（ニューラルネットワーク）をモデルとした多階層構造のアルゴリズムである。
【００２３】
図２Ａは、一般的なＤＮＮの使用例を示す説明図である。例えば、ＨＤＲ画像から被写体を認識する場合、図２Ａに示すように、ＨＤＲ合成後のＨＤＲ画像における赤Ｒ、緑Ｇ、青Ｂの各画素の信号Ｒ、Ｇ、Ｂ（ＨＤＲ画像の画像データ）をＤＮＮへ入力すると、ＤＮＮから被写体の認識結果が出力される。
【００２４】
しかしながら、ＨＤＲ画像には、ＨＤＲ合成が行われたことで、実際には存在しないアーチファクトが写り込むことがある。このため、ＨＤＲ画像における各画素の信号Ｒ、Ｇ、ＢをＤＮＮへ入力すると、アーチファクトの弊害によって、ＤＮＮによる被写体の認識精度が低下することがある。
【００２５】
そこで、本開示では、ＨＤＲ合成前の高感度画像、中感度画像、低感度画像、およびＩＲ画像のそれぞれから被写体を認識することで、アーチファクトの影響を排除し、被写体の認識精度を向上させる。図２Ｂは、本開示に係るＤＮＮの使用例を示す説明図である。
【００２６】
図２Ｂに示すように、本開示では、例えば、撮像素子Ｌから出力される長時間露光信号Ｒ、Ｇｒ、Ｇｂ、Ｂ（高感度画像の画像データ）と、撮像素子Ｍから出力される中時間露光信号Ｒ、Ｇｒ、Ｇｂ、Ｂ（中感度画像の画像データ）とをＤＮＮへ入力する。さらに、本開示では、撮像素子Ｓから出力される短時間露光信号Ｒ、Ｇｒ、Ｇｂ、Ｂ（低感度画像の画像データ）と、撮像素子ＩＲから出力される赤外光信号ＩＲｒ、ＩＲｇｒ、ＩＲｇｂ、ＩＲｂ（ＩＲ画像の画像データ）をＤＮＮへ入力する。
【００２７】
これにより、ＤＮＮは、高感度画像、中感度画像、低感度画像とＩＲ画像から被写体を認識した認識結果とを出力する。
【００２８】
このとき、ＤＮＮは、アーチファクトを含まない高感度画像、中感度画像、低感度画像
およびＩＲ画像から被写体を認識するので、アーチファクトの影響を受けることなく高精度な被写体の認識結果を出力することができる。
【００２９】
このように、本開示に係る画像認識方法は、可視光を受光する撮像画素と、赤外光を受光する撮像画素を使用し、１フレーム期間に複数の露光時間で撮像し、これら全てを用いて被写体を認識するので被写体の認識精度を向上させることができる。
【００３０】
［２．画像認識システムの構成］
次に、図３を参照し、本開示に係る画像認識システムの構成について説明する。図３は、本開示に係る画像認識システムの構成例を示す図である。図３に示すように、本開示に係る画像認識システム１００は、画像認識装置の一例であるイメージセンサ１と、アプリケーションプロセッサ（以下、ＡＰ２と記載する）とを有する。
【００３１】
イメージセンサ１は、撮像部１０と、信号処理部１３と、認識部１４と、データ送信判断部１５と、セレクタ（以下、ＳＥＬ１６と記載する）と、送信部１７とを備える。撮像部１０は、画素アレイＡ１と、Ａ／Ｄ（Analog／Digital）変換部１２とを備える。
【００３２】
画素アレイＡ１は、撮像素子Ｌ、Ｍ、Ｓ、ＩＲによって、高感度画像、中感度画像、低感度画像、およびＩＲ画像を撮像する。そして、画素アレイＡ１は、撮像素子Ｌ、Ｍ、Ｓ、ＩＲからＡ／Ｄ変換部１２へ受光量に応じたアナログの画素信号を出力する。
【００３３】
Ａ／Ｄ変換部１２は、画素アレイＡ１から入力されるアナログの画素信号をデジタルの画素信号にＡ／Ｄ変換して高感度画の画像データと、中感度の画像データと、低感度画像の画像データと、赤外光の画像データとを生成し、信号処理部１３へ出力する。
【００３４】
信号処理部１３は、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ（Read  Only  Memory）、ＲＡＭ（Random  Access  Memory）などを有するマイクロコンピュータや各種の回路を含む。
【００３５】
信号処理部１３は、Ａ／Ｄ変換部１２から入力される高感度画の画像データと、中感度の画像データと、低感度画像の画像データと、赤外光の画像データとに対して、それぞれ所定の信号処理を実行する。そして、信号処理部１３は、信号処理後の高感度画の画像データと、中感度の画像データと、低感度画像の画像データと、赤外光の画像データとを認識部１４と、ＳＥＬ１６へ出力する。
【００３６】
ここで、図４を参照し、信号処理部１３が実行する処理の流れについて説明する。図４は、本開示に係る信号処理部が実行する処理の説明図である。図４に示すように、信号処理部１３は、入力される画像データに対して、まず、シェーディング補正を行い、続いて、混色補正を行う。
【００３７】
その後、信号処理部１３は、画像データに対してデジタルゲイン調整を行い、続いて、ホワイトバランスゲイン調整を行う。その後、信号処理部１３は、画像データに対してデモザイクを行った後、最後にガンマ補正を行い、ガンマ補正後の画像データを出力する。
【００３８】
なお、デモザイクでは、高感度画像、中感度画像、低感度画像、およびＩＲ画像の各画素の色を周囲の画素の色によって補完する処理を行う。このため、デモザイク前の高感度画像、中感度画像、低感度画像の画像データは、それぞれ４種類の画素信号Ｒ、Ｇｒ、Ｇｂ、Ｂとなるが、デモザイク後の画像データは、３種類の画素信号Ｒ、Ｇ、Ｂとなる。また、デモザイク前のＩＲ画像の画像データは、４種類の画素信号ＩＲｒ、ＩＲｇｒ、ＩＲｇｂ、ＩＲｂとなるが、デモザイク後の画像データは、１種類の画像信号ＩＲとなる。
【００３９】
図３へ戻り、認識部１４は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有するマイクロコンピュータや各種の回路を含む。認識部１４は、ＣＰＵがＲＯＭに記憶された物体認識プログラムを、ＲＡＭを作業領域として使用して実行することにより機能する物体認識部３１と、ＲＡＭまたはＲＯＭに設けられる物体認識用データ記憶部３２とを備える。物体認識用データ記憶部３２には、認識対象となる物体の種類毎にＤＮＮが記憶されている。
【００４０】
物体認識部３１は、設定される認識対象の種類に応じたＤＮＮを物体認識用データ記憶部３２から読出し、画像データをＤＮＮへ入力してＤＮＮから出力される被写体の認識結果をデータ送信判断部１５へ出力し、認識結果のメタデータをＳＥＬ１６へ出力する。
【００４１】
ここで、図５Ａよび図５Ｂを参照し、認識部１４が行う処理の流れについて説明する。図５Ａおよび図５Ｂは、本開示に係る認識部が実行する処理の説明図である。図５Ａに示すように、認識部１４は、まず、入力される画像データのサイズおよび入力値をＤＮＮ用のサイズおよび入力値に合わせて正規化し、正規化後の画像データをＤＮＮへ入力して物体認識を行う。そして、認識部１４は、ＤＮＮから出力される被写体の認識結果をデータ送信判断部１５へ出力し、認識結果のメタデータをＳＥＬ１６へ出力する。
【００４２】
このとき、図５Ｂに示すように、認識部１４は、長時間露光信号Ｒ、Ｇ、Ｂと、中時間露光信号Ｒ、Ｇ、Ｂと、短時間露光信号Ｒ、Ｇ、Ｂと、赤外光信号ＩＲとをＤＮＮへ入力する。これにより、認識部１４は、アーチファクトのない高感度画像、中感度画像、低感度画像、およびＩＲ画像のそれぞれから被写体を認識することで、被写体の認識精度を向上させることができる。
【００４３】
図３へ戻り、データ送信判断部１５は、認識部１４から入力される認識結果に応じてＳＥＬ１６から出力させるデータを切替える制御信号をＳＥＬ１６へ出力する。データ送信判断部１５は、認識部１４によって被写体が認識された場合には、画像データと、認識結果を示すメタデータとを送信部１７へ出力させる制御信号をＳＥＬ１６へ出力する。
【００４４】
また、データ送信判断部１５は、認識部１４によって被写体が認識されなかった場合、その旨を示す情報（ノーデータ）を送信部１７へ出力させる制御信号をＳＥＬ１６へ出力する。ＳＥＬ１６は、データ送信判断部１５から入力される制御信号に応じて、画像データおよびメタデータのセット、または、ノーデータのいずれかを送信部１７へ出力する。
【００４５】
送信部１７は、ＡＰ２との間でデータ通信を行う通信Ｉ／Ｆ（インターフェース）であり、ＳＥＬ１６から入力される画像データおよびメタデータのセット、または、ノーデータのいずれかをＡＰ２へ送信する。
【００４６】
このように、イメージセンサ１は、被写体を認識した場合に限って画像データをＡＰ２へ送信し、被写体を認識しない場合には、画像データをＡＰ２へ送信することがないため、画像データの送信に要する消費電力を低減することができる。
【００４７】
ＡＰ２は、画像認識システム１００の用途に応じた各種アプリケーションプログラムを実行するＣＰＵ、ＲＯＭ、ＲＡＭなどを有するマイクロコンピュータや各種の回路を含む。ＡＰ２は、受信部２１と、認証部２２と、認証用データ記憶部２３とを備える。
【００４８】
認証用データ記憶部２３には、イメージセンサ１によって認識された被写体を認証するための認証用プログラムおよび認証用画像データ等が記憶されている。受信部２１は、イメージセンサ１との間でデータ通信を行う通信Ｉ／Ｆである。受信部２１は、イメージセンサ１から画像データおよびメタデータのセット、または、ノーデータのいずれかを受信して認証部２２へ出力する。
【００４９】
認証部２２は、受信部２１からノーデータが入力される場合には起動せず、画像データおよびメタデータのセットが入力された場合に起動する。認証部２２は、起動すると認証用データ記憶部２３から認証用プログラムを読み出して実行し、イメージセンサ１によって認識された被写体を認証する。
【００５０】
例えば、認証部２２は、被写体が人であることを示すメタデータと画像データのセットが入力される場合、画像データと人の認証用画像データとを照合し、認識された人が誰かを特定する処理等を行う。
【００５１】
このとき、認証部２２は、イメージセンサ１によって被写体が人であると高精度に認識されたアーチファクトの影響がない高感度画像、中感度画像、低感度画像、およびＩＲ画像の画像データに基づいて人を特定する。これにより、認証部２２は、認識された人が誰かを的確に特定することができる。なお、上記した実施形態は、一例であり、種々の変形が可能である。次に本開示に係る実施形態に係る変形例について説明する。
【００５２】
［３．信号処理部が実行する処理の変形例］
図６は、本開示に係る信号処理部が実行する処理の変形例を示す説明図である。図７は、本開示に係るＤＮＮの使用例の変形例を示す説明図である。
【００５３】
図６に示すように、変形例に係る信号処理部は、入力される画像データに対して、シェーディング補正、混色補正、デジタルゲイン調整、ホワイトバランスゲイン調整、およびガンマ補正を行い、信号処理後の画像データを認識部１４と、ＳＥＬ１６とに出力する。
【００５４】
このように、信号処理部は、図４に示した信号処理からデモザイクを省略することができる。この場合、認識部１４は、デモザイクが実行されない画像データから被写体を認識する。前述したように、デモザイクが実行されない高感度画像、中感度画像、および低感度画像の画像データは、４種類の画素信号Ｒ、Ｇｒ、Ｇｂ、Ｂとなる。また、デモザイクが実行されないＩＲ画像の画像データは、画素信号ＩＲｒ、ＩＲｇｒ、ＩＲｇｂ、ＩＲｂとなる。
【００５５】
このため、認識部１４は、長時間露光信号Ｒ、Ｇｒ、Ｇｂ、Ｂと、中時間露光信号Ｒ、Ｇｒ、Ｇｂ、Ｂと、短時間露光信号Ｒ、Ｇｒ、Ｇｂ、Ｂとと、赤外光信号ＩＲｒ、ＩＲｇｒ、ＩＲｇｂ、ＩＲをＤＮＮへ入力する（図２Ｂ参照）。かかる場合、認識部１４は、ＤＮＮの入力チャンネル数が増えるので処理量が増すが、ＤＮＮには、高感度画像、中感度画像、低感度画像、ＩＲ画像の画像データが個別に入力されるので、アーチファクトの影響を受けることなく被写体を高精度に認識することができる。
【００５６】
なお、他の変形例では、信号処理部自体を省略することもできる。かかる場合にも同様に、認識部１４は、長時間露光信号Ｒ、Ｇｒ、Ｇｂ、Ｂと、中時間露光信号Ｒ、Ｇｒ、Ｇｂ、Ｂと、短時間露光信号Ｒ、Ｇｒ、Ｇｂ、Ｂとと、赤外光信号ＩＲｒ、ＩＲｇｒ、ＩＲｇｂ、ＩＲをＤＮＮへ入力する。このため、認識部１４は、処理量が増すが、信号処理を行わない分、イメージセンサ１全体としての処理量が大幅に低減される。
【００５７】
なお、上記した実施形態では、データ送信判断部１５は、被写体を認識した場合に、毎回、認識結果のメタデータと画像データとをＳＥＬ１６に出力させたが、バッテリ残量に応じてＳＥＬ１６から出力させるデータを選択してもよい。
【００５８】
例えば、データ送信判断部１５は、認識部１４によって被写体が認識された場合、バッテリの残量が所定残量以上ある状態の通常モードでは、メタデータと画像データとをＳＥＬ１６から出力させる。また、データ送信判断部１５は、バッテリの残量が所定残量未満の状態の低消費電力モードでは、メタデータのみをＳＥＬ１６から出力させる。これにより、データ送信判断部１５は、バッテリの残量が不足している場合に、イメージセンサ１の消費電力を低く抑えることができる。
【００５９】
［４．認識部による被写体認識の変形例］
図７は、本開示に係る認識部が使用するＤＮＮの変形例を示す説明図である。図２Ｂおよび図５Ｂに示した例では、認識部１４は、１つのＤＮＮを使用して被写体の認識を行ったが、図７に示すように、２つのＤＮＮを使用することもできる。
【００６０】
具体的には、長時間露光画像、中時間露光画像、および短時間露光画像には、色彩があるが、ＩＲ画像には、色彩がない。このため、長時間露光画像、中時間露光画像、および短時間露光画像と、ＩＲ画像とでは、画像中の被写体の特徴が異なる。
【００６１】
そこで、変形例に係る認識部は、第１ＤＮＮと、第２ＤＮＮとを使用して被写体を認識する。第１ＤＮＮは、長時間露光画像、中時間露光画像、および短時間露光画像から被写体を認識することに特化して機械学習された学習モデルである。第２ＤＮＮは、ＩＲ画像から被写体を認識することに特化して機械学習された学習モデル。
【００６２】
変形例に係る認識部は、第１ＤＮＮへ長時間露光信号Ｒ、Ｇ、Ｂ、中時間露光信号Ｒ、Ｇ、Ｂ、短時間露光信号Ｒ、Ｇ、Ｂを入力して、長時間露光画像、中時間露光画像、および短時間露光画像から被写体を認識する。また、認識部は、第２ＤＮＮへ赤外光信号を入力して、ＩＲ画像から被写体を認識する。これにより、認識部は、被写体の認識精度をさらに向上させることができる。
【００６３】
［５．画素アレイの変形例］
図８は、本開示に係る画素アレイの第１変形例を示す説明図である。図９は、本開示に係る画素アレイの第２変形例を示す説明図である。図１０は、本開示に係る画素アレイの第２変形例を採用した場合のＤＮＮの使用例を示す説明図である。図１１は、本開示に係る画素アレイの第３変形例を示す説明図である。
【００６４】
図８に示すように、第１変形例に係る画素アレイＡ２は、図１に示した撮像素子ＩＲの代わりにＴｏＦ（Time  of  Flight）センサを備える。画素アレイＡ２を採用する場合、イメージセンサ１は、被写体へ向けて赤外光を照射する発光部を備える。
【００６５】
ＴｏＦセンサは、赤外光が照射されてから、被写体に反射した赤外光を受光するまでの時間に基づいて、被写体までの距離を測定するセンサである。イメージセンサ１は、かかる画素アレイＡ２を採用することによって、被写体の認識に加えて、被写体までの距離を測定することができる。
【００６６】
また、図９に示すように、第２変形例に係る画素アレイＡ３は、赤色光を受光する撮像画素Ｒと、緑色光を受光する撮像画素Ｇと、青色光を受光する撮像画素Ｂと、赤外光を受光するＩＲとを備える。
【００６７】
撮像画素Ｒは、長時間露光する撮像素子ＲＬと短時間露光する撮像素子ＲＳとを備える。撮像画素Ｇは、長時間露光する撮像素子ＧＬと短時間露光する撮像素子ＧＳとを備える。撮像画素Ｂは、長時間露光する撮像素子ＢＬと短時間露光する撮像素子ＢＳとを備える。
【００６８】
このように、画素アレイＡ３は、各撮像画素Ｒ、Ｇ、Ｂが、それぞれ２個の撮像素子ＲＬ、ＲＳ，ＧＬ、ＧＳ、ＢＬ、ＢＳを備える。かかる画素アレイＡ３は、一般的には、各撮像画素Ｒ、Ｇ、Ｂが備える全ての撮像素子ＲＬ、ＲＳ，ＧＬ、ＧＳ、ＢＬ、ＢＳの露光時間を同一にし、左右の撮像素子で受光される光の位相差に基づいて焦点を自動調整するオートフォーカスに使用される。
【００６９】
本開示では、かかる画素アレイＡ３の撮像画素Ｒ、Ｇ、Ｂが備える撮像素子ＲＬ、ＲＳ，ＧＬ、ＧＳ、ＢＬ、ＢＳの露光時間を個別に制御することで、撮像素子ＲＬ、ＧＬ、ＢＬを長時間露光画素、撮像素子ＲＳ，ＧＳ，ＢＳを短時間露光画素として機能させる。
【００７０】
これにより、画素アレイＡ３は、長時間露光画像および短時間露光画像を撮像することができる。また、画素アレイＡ３は、撮像素子ＩＲを備えるので、長時間露光画像および短時間露光画像と同時にＩＲ画像を撮像することもできる。
【００７１】
認識部１４は、画素アレイＡ３が採用される場合、図１０に示すように、撮像画素ＲＬ、ＧＬ、ＢＬから出力される長時間露光信号、撮像画素ＲＳ、ＧＳ、ＢＳ出力される短時間露光信号、および撮像素子ＩＲから出力される赤外光信号をＤＮＮへ入力する。これにより、認識部１４は、長時間露光画像、短時間露光画像、およびＩＲ画像のそれぞれから高精度に被写体を認識することができる。
【００７２】
また、図１１に示すように、第４変形例に係る画素アレイＡ４は、図９に示した画素アレイＡ３と同様に、赤色光を受光する一対の撮像素子Ｒ、Ｒ、緑色光を受光する一対の撮像素子Ｇ、Ｇ、および青色光を受光する撮像素子Ｂ、Ｂを備える。また、画素アレイＡ４は、赤外光を受光する一対の撮像素子ＩＲ、ＩＲを備える。各撮像素子Ｒ、Ｇ、Ｂ、ＩＲは、それぞれ、２個の光電変換素子ＰＤを備える。
【００７３】
かかる画素アレイＡ４では、例えば、一対の撮像素子Ｒ、Ｒが備える４個の光電変換素子ＰＤのうち、１個を長時間露光、２個を中時間露光、残りの１個を短時間露光させる。また、画素アレイＡ４では、一対の撮像素子Ｇ、Ｇが備える４個の光電変換素子ＰＤのうち、１個を長時間露光、２個を中時間露光、残りの１個を短時間露光させる。
【００７４】
また、画素アレイＡ４では、例えば、一対の撮像素子Ｂ、Ｂが備える４個の光電変換素子ＰＤのうち、１個を長時間露光、２個を中時間露光、残りの１個を短時間露光させる。これにより、画素アレイＡ４は、長時間露光画像、中時間露光画像、および短時間露光画像を撮像することができる。
【００７５】
また、画素アレイＡ４は、撮像素子ＩＲ、ＩＲを露光させることで、ＩＲ画像を撮像することができる。かかる画素アレイＡ４が採用される場合、認識部１４は、長時間露光画像、中時間露光画像、短時間露光画像、およびＩＲ画像の画像データをＤＮＮへ入力することにより、アーチファクトの影響を受けることなく、高精度に被写体を認識することができる。
【００７６】
［６．効果］
画像認識装置の一例であるイメージセンサ１は、撮像部１０と、認識部１４とを有する。撮像部１０は、可視光を受光する撮像画素Ｒ、Ｇｒ、Ｇｂ、Ｂと、赤外光を受光する撮像画素ＩＲとを使用し、１フレーム期間に複数の画像を同一露光タイミングで撮像して画像データを生成する。認識部は、画像データのそれぞれから被写体を認識する。これにより、イメージセンサ１は、アーチファクトの影響を排除することで、被写体の認識精度を向上させることができる。
【００７７】
また、撮像部１０は、受光面積が同一であり露光時間が異なる複数の撮像画素Ｒ、Ｇｒ、Ｇｂ、Ｂと、赤外光を受光する撮像画素ＩＲとが２次元に配列された画素アレイＡ１を有する。これにより、イメージセンサ１は、露光時間の異なる画像データおよびＩＲ画像のそれぞれから被写体を認識することで、アーチファクトの影響を受けることなく、高精度に被写体を認識することができる。
【００７８】
また、画素アレイＡ１は、可視光を受光する長時間露光撮像画素の一例である撮像素子Ｌ、中時間露光撮像画素の一例である撮像素子Ｍ、および短時間露光撮像画素の一例である撮像素子Ｓを有する。これにより、イメージセンサ１は、長時間露光画像、中時間露光画像、および短時間露光画像のそれぞれから被写体を認識することで、アーチファクトの影響を受けることなく、高精度に被写体を認識することができる。
【００７９】
また、画素アレイＡ３は、各画素が露光時間の異なる２個の撮像素子ＲＬ、ＲＳ，ＧＬ、ＧＳ、ＢＬ、ＢＳによって構成される。これにより、イメージセンサ１は、オートフォーカス用の位相差画素を使用して、長時間露光画像および短時間露光画像を撮像することができる。
【００８０】
また、画素アレイＡ４は、各画素が２個の撮像素子Ｒ、Ｒ、Ｇ、Ｇ、Ｂ、Ｂによって構成される。各撮像素子Ｒ、Ｇ、Ｂは、露光時間の異なる２個の光電変換素子ＰＤを備える。これにより、イメージセンサ１は、各光電変換素子ＰＤの露光時間を制御することによって、長時間露光画像、中時間露光画像、および短時間露光画像を撮像することができる。
【００８１】
また、認識部１４は、被写体を認識した場合に、被写体の認識結果および画像データを後段の装置の一例であるＡＰ２へ出力し、被写体を認識しない場合に、その旨を示す情報をＡＰ２へ出力する。これにより、イメージセンサ１は、被写体を認識しない場合に、画像データの出力を行わないので、消費電力を低減することができる。
【００８２】
また、認識部１４は、バッテリの残量が所定残量以上である場合に、被写体の認識結果および画像データをＡＰ２へ出力し、所定残量未満の場合に、ＡＰ２へ画像データを出力することなく被写体の認識結果を出力する。これにより、イメージセンサ１は、バッテリ残量が所定残量未満である場合に、被写体を認識しても画像データの出力を行わないので、消費電力を低減することができる。
【００８３】
また、認識部１４は、デモザイク処理が実行された画像データから被写体を認識する。これにより、イメージセンサ１は、ＤＮＮを使用して被写体を認識する場合に、ＤＮＮの入力チャンネル数を低減することによって、処理負荷を低減することができる。
【００８４】
また、認識部１４は、デモザイク処理が実行されない画像データから被写体を認識する。これにより、イメージセンサ１は、ＤＮＮを使用して被写体を認識する場合に、処理量が増すが、高感度画像、中感度画像、低感度画像、ＩＲ画像の画像データから高精度に被写体を認識することができる。
【００８５】
また、認識部１４は、撮像部１０から入力される画像データから被写体を認識する。これにより、イメージセンサ１は、ＤＮＮを使用して被写体を認識する場合に、処理量が増すが、信号処理を行わない分、イメージセンサ１全体としての処理量が大幅に低減することができる。
【００８６】
また、赤外光を受光する撮像画素は、ＴｏＦ（Time  of  Flight）センサである。これにより、イメージセンサ１は、被写体の認識に加えて、被写体までの距離を測定することができる。
【００８７】
また、画像認識方法は、可視光を受光する撮像画素と、赤外光を受光する撮像画素とを使用し、１フレーム期間に複数の画像を同一露光タイミングで撮像して画像データを生成し、画像データのそれぞれから被写体を認識する。かかる画像認識方法によれば、アーチファクトの影響を排除することで、被写体の認識精度を向上させることができる。
【００８８】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【００８９】
なお、本技術は以下のような構成も取ることができる。
（１）
可視光を受光する撮像画素と、赤外光を受光する撮像画素とを使用し、１フレーム期間に複数の画像を同一露光タイミングで撮像して画像データを生成する撮像部と、
前記画像データのそれぞれから被写体を認識する認識部と
を有する画像認識装置。
（２）
前記撮像部は、
受光面積が同一であり露光時間が異なる複数の前記撮像画素と、赤外光を受光する撮像画素とが２次元に配列された画素アレイ
を有する前記（１）に記載の画像認識装置。
（３）
前記画素アレイは、
前記可視光を受光する長時間露光撮像画素、中時間露光撮像画素、および短時間露光撮像画素
を有する前記（２）に記載の画像認識装置。
（４）
前記画素アレイは、
各画素が露光時間の異なる２個の光電変換素子によって構成される
前記（２）に記載の画像認識装置。
（５）
前記画素アレイは、
各画素が２個の撮像素子によって構成され、
各前記撮像素子は、
露光時間の異なる２個の光電変換素子を備える。
前記（２）に記載の画像認識装置。
（６）
前記認識部は、
前記被写体を認識した場合に、前記被写体の認識結果および前記画像データを後段の装置へ出力し、前記被写体を認識しない場合に、その旨を示す情報を後段の装置へ出力する
前記（１）〜（５）のいずれか一つに記載の画像認識装置。
（７）
前記認識部は、
バッテリの残量が所定残量以上である場合に、前記被写体の認識結果および前記画像データを後段の装置へ出力し、前記所定残量未満の場合に、前記後段の装置へ前記画像データを出力することなく前記被写体の認識結果を出力する
前記（６）に記載の画像認識装置。
（８）
前記認識部は、
デモザイク処理が実行された前記画像データから前記被写体を認識する
前記（１）〜（７）のいずれか一つに記載の画像認識装置。
（９）
前記認識部は、
デモザイク処理が実行されない前記画像データから前記被写体を認識する
前記（１）〜（８）のいずれか一つに記載の画像認識装置。
（１０）
前記認識部は、
前記撮像部から入力される前記画像データから前記被写体を認識する
前記（１）〜（８）のいずれか一つに記載の画像認識装置。
（１１）
前記赤外光を受光する撮像画素は、
ＴｏＦ（Time  of  Flight）センサである
前記（１）〜（１０）のいずれか一つに記載の画像認識装置。
（１２）
可視光を受光する撮像画素と、赤外光を受光する撮像画素とを使用し、１フレーム期間に複数の画像を同一露光タイミングで撮像して画像データを生成し、
前記画像データのそれぞれから被写体を認識する
画像認識方法。
【符号の説明】
【００９０】
１００  画像認識システム
１  イメージセンサ
１０  撮像部
Ａ１、Ａ２、Ａ３、Ａ４  画素アレイ
１２  Ａ／Ｄ変換部
１３  信号処理部
１４  認識部
１５  データ送信判断部
１６  ＳＥＬ
１７  送信部
２  ＡＰ
２１  受信部
２２  認証部
２３  認証用データ記憶部
３１  物体認識部
３２  物体認識用データ記憶部
【図１】
2020198470.tif 000003
【図２Ａ】
2020198470.tif 000004
【図２Ｂ】
2020198470.tif 000005
【図３】
2020198470.tif 000006
【図４】
2020198470.tif 000007
【図５Ａ】
2020198470.tif 000008
【図５Ｂ】
2020198470.tif 000009
【図６】
2020198470.tif 000010
【図７】
2020198470.tif 000011
【図８】
2020198470.tif 000012
【図９】
2020198470.tif 000013
【図１０】
2020198470.tif 000014
【図１１】
2020198470.tif 000015