(57)【要約】【課題】高精度の画像認識と高速な画像認識とを両立すると共に、低消費電力化、小規模化を図る画像認識装置および画像認識方法を提供する。【解決手段】複数の画素の信号電荷を保持する複数の第１の電荷蓄積回路と、予め定めた画素の信号電荷を保持する複数の第２の電荷蓄積回路と、第１の電荷蓄積回路から信号電荷を読み出して第１の画像として出力する第１の電荷読み出し回路部と、第２の電荷蓄積回路から信号電荷を読み出して予め定めた画素数に減縮した第２の画像として出力する第２の電荷読み出し回路部と、画像を読み出す電荷読み出し回路部を選択する読み出し回路選択部と、画像を読み出す画像読み出し部と、画像に含まれる被写体の特徴量を算出し検出対象の被写体を判定する特徴量判定部とを備え、最初に第２の画像に含まれる被写体の特徴量に基づいて判定した判定結果に応じて、次に第１の画像に含まれる被写体に対する判定を行うか否かを決定する。【選択図】図１
2015177300.tif 000002
【特許請求の範囲】
【請求項１】
二次元の行列状に配置された複数の画素のそれぞれに備えた光電変換部が発生した信号電荷を保持する複数の第１の電荷蓄積回路と、
複数の前記画素の内、予め定めた前記画素に備えた前記光電変換部が発生した前記信号電荷を保持する複数の第２の電荷蓄積回路と、
前記第１の電荷蓄積回路のそれぞれに保持した前記信号電荷に応じた画素信号を読み出し、該読み出した画素信号に基づいた画像を、第１の画像として出力する第１の電荷読み出し回路部と、
前記第２の電荷蓄積回路のそれぞれに保持した前記信号電荷に応じた画素信号を読み出し、該読み出した画素信号に基づいた画像を、予め定めた数の画素数に減縮した第２の画像として出力する第２の電荷読み出し回路部と、
前記第１の電荷読み出し回路部または前記第２の電荷読み出し回路部のいずれか一方を、画像を読み出す電荷読み出し回路部として選択する読み出し回路選択部と、
前記読み出し回路選択部によって選択された電荷読み出し回路部から画像を読み出す画像読み出し部と、
前記画像読み出し部が読み出した前記画像に含まれる被写体の特徴量を算出し、該算出した前記特徴量に基づいて検出対象の被写体を判定する特徴量判定部と、
を備え、
最初に前記第２の電荷読み出し回路部を選択し、該選択した前記第２の電荷読み出し回路部から読み出した前記第２の画像に含まれる被写体の特徴量に基づいて前記検出対象の被写体であるか否かを判定した判定結果に応じて、次に前記第１の電荷読み出し回路部を選択して、前記第１の画像に含まれる被写体に対する前記判定を行うか否かを決定する、
ことを特徴とする画像認識装置。
【請求項２】
前記第２の電荷蓄積回路は、
対応する複数の前記画素内の前記光電変換部のそれぞれが同じ露光期間で発生したそれぞれの前記信号電荷を平均化した電荷量の信号電荷を保持し、
前記第２の電荷読み出し回路部が出力する前記第２の画像は、前記第１の電荷読み出し回路部が出力する前記第１の画像と同じ露光によって得られた前記信号電荷に応じた画素信号に基づいた、前記第１の画像よりも解像度が低い画像である、
ことを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記画像読み出し部が読み出した前記画像の領域を、少なくとも１つの領域に分割した部分画像を設定する部分画像設定部、
をさらに備え、
前記特徴量判定部は、
前記部分画像設定部によって設定された前記部分画像毎に、該部分画像に含まれる被写体が前記検出対象の被写体であるか否かを判定する、
ことを特徴とする請求項１または請求項２に記載の画像認識装置。
【請求項４】
前記部分画像設定部は、
前記画像読み出し部が最初に読み出した前記第２の画像の領域を分割した複数の前記部分画像を設定する、
ことを特徴とする請求項３に記載の画像認識装置。
【請求項５】
前記画像読み出し部が読み出す前記画像の範囲を設定する画像範囲設定部、
をさらに備え、
前記画像範囲設定部は、
前記第２の画像に対して前記特徴量判定部が判定した、前記検出対象の被写体であるか否かの判定結果に基づいて、前記画像読み出し部が次に読み出す前記第１の画像の範囲を再設定し、
前記画像読み出し部は、
次に前記第１の画像を読み出す際に、前記画像範囲設定部によって再設定された画像の範囲の前記第１の画像を読み出す、
ことを特徴とする請求項１から請求項４のいずれか１の項に記載の画像認識装置。
【請求項６】
前記特徴量判定部は、
前記画像読み出し部が読み出した前記画像に含まれる被写体の前記特徴量を算出する特徴量計算部と、
前記特徴量計算部が算出した前記特徴量を、予め構築しておいた分類器に入力し、検出対象の被写体らしさを表す分類スコアを出力する分類器適用部と、
前記分類器適用部が算出した分類スコアに基づいて、前記特徴量計算部が算出した前記特徴量で表される被写体が前記検出対象の被写体であるか否かを判定する検出判定部と、
を備える、
ことを特徴とする請求項１から請求項５のいずれか１の項に記載の画像認識装置。
【請求項７】
前記特徴量計算部は、
前記画像読み出し部が最初に読み出した前記第２の画像に含まれる被写体の前記特徴量と、前記画像読み出し部が次に読み出した前記第１の画像に含まれる被写体の前記特徴量とのそれぞれを、異なる算出方法で算出し、
前記分類器適用部は、
前記第２の画像に対して算出された前記特徴量と、前記第１の画像に対して算出された前記特徴量とのそれぞれを、予め構築しておいた異なる分類器に入力する、
ことを特徴とする請求項６に記載の画像認識装置。
【請求項８】
前記画像範囲設定部は、
前記画像読み出し部が最初に前記第２の画像を読み出す際に、該読み出す前記第２の画像の全ての範囲を、該画像読み出し部が読み出す前記画像の範囲に設定する、
ことを特徴とする請求項５を引用する請求項５から請求項７のいずれか１の項に記載の画像認識装置。
【請求項９】
複数の第１の電荷蓄積回路に、二次元の行列状に配置された複数の画素のそれぞれに備えた光電変換部が発生した信号電荷を保持させる第１の電荷蓄積手順と、
複数の第２の電荷蓄積回路に、複数の前記画素の内、予め定めた前記画素に備えた前記光電変換部が発生した前記信号電荷を保持させる第２の電荷蓄積手順と、
第１の電荷読み出し回路部に、前記第１の電荷蓄積回路のそれぞれに保持した前記信号電荷に応じた画素信号を読み出させ、該読み出させた画素信号に基づいた画像を、第１の画像として出力させる第１の電荷読み出し手順と、
第２の電荷読み出し回路部に、前記第２の電荷蓄積回路のそれぞれに保持した前記信号電荷に応じた画素信号を読み出させ、該読み出させた画素信号に基づいた画像を、予め定めた数の画素数に減縮した第２の画像として出力させる第２の電荷読み出し手順と、
読み出し回路選択部に、前記第１の電荷読み出し回路部または前記第２の電荷読み出し回路部のいずれか一方を、画像を読み出させる電荷読み出し回路部として選択させる読み出し回路選択手順と、
画像読み出し部に、前記読み出し回路選択手順によって選択された電荷読み出し回路部から画像を読み出させる画像読み出し手順と、
特徴量判定部に、前記画像読み出し手順によって読み出された前記画像に含まれる被写体の特徴量を算出させ、該算出させた前記特徴量に基づいて検出対象の被写体を判定させる特徴量判定手順と、
を含み、
最初の処理過程で、前記第２の電荷読み出し回路部を選択し、該選択した前記第２の電荷読み出し回路部によって読み出した前記第２の画像に含まれる被写体の特徴量に基づいて前記検出対象の被写体であるか否かを判定した判定結果に応じて、次の処理過程で、前記第１の電荷読み出し回路部を選択して、前記第１の画像に含まれる被写体に対する前記判定を行うか否かを決定する、
ことを特徴とする画像認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置および画像認識方法に関する。
【背景技術】
【０００２】
従来から、画像に写されている物体、つまり、被写体（対象物）を認識する画像認識の技術がある。画像認識では、高解像度の画像に基づいて被写体の特徴量を算出することにより、より詳細な特徴量を取得し、より複雑な認識ができるが、処理速度は遅くなってしまう。逆に、画像認識において低解像度の画像に基づいて被写体の特徴量を算出すると、処理速度は速くなるが、簡易的な特徴量しか取得できず、単純な認識しかできない。
【０００３】
このことから、例えば、特許文献１のように、画像認識の過程を２段階に分けて、高精度の画像認識と高速な画像認識とを両立する技術が開示されている。特許文献１で開示された技術は、検査対象となる部品が複雑な形状を有する部品であったり、複数種類の欠陥が存在する部品であったりした場合でも、短時間で精度良く欠陥を検出することができる欠陥検出方法の技術である。この特許文献１で開示された技術では、カメラで撮影した画像から検査対象部品の表面に存在する欠陥の特徴を表す量である第１の特徴量を算出し、ここで算出した第１の特徴量に基づいて、欠陥候補の部位が存在するか否かを検査する。欠陥候補の部位が存在するとの検査結果が得られた場合、カメラを移動させて詳細な画像をさらに、撮影する。そして、さらに撮影した画像から第２の特徴量を算出し、ここで算出した第２の特徴量に基づいて欠陥候補の部位が欠陥であるか否かを定量化する。
【０００４】
このように、画像認識の過程を２段階に分け、前段の処理において低解像度の画像と簡易な特徴量とを用いた簡易的な画像認識の処理を行い、詳細な画像認識の処理が必要となったときに、後段の処理において高解像度の画像と詳細な特徴量とを用いた詳細な画像認識の処理を行うことによって、高精度の画像認識と高速な画像認識とを両立することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２２３９３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１で開示された技術のように、過程を２段階に分けて画像認識の処理を行う場合、詳細な画像認識の処理が必要となったときに、カメラで高解像度の画像を再度撮影する必要がある。このとき、カメラの位置やズーム倍率の変更も必要になる場合もある。また、２回の撮影を行わずに画像認識の過程を２段階に分けることも考えられるが、この場合には、１回の撮影で高解像度の画像を撮影し、ここで撮影した高解像度の画像から、簡易的な画像認識の処理に用いる低解像度の画像を生成する必要がある。つまり、１回の撮影のみで画像認識の過程を２段階に分ける場合には、撮影した画像の解像度を変換する画像処理が必要になる。このため、画像認識の処理に要する処理時間や、処理中の消費電力は増大してしまう。
【０００７】
また、画像認識を自動で実施するシステムを構築する場合には、カメラの位置やズーム倍率を自動で変更するための構成が必要になり、システム全体が大規模になってしまう。このため、画像認識を行う構成を、低消費電力、長時間駆動、小型の撮像システム内に構築することは困難である。
【０００８】
本発明は、上記の課題認識に基づいてなされたものであり、高精度の画像認識と高速な画像認識とを両立すると共に、低消費電力化および小規模化を図ることができる画像認識装置および画像認識方法を提供することを目的としている。
【課題を解決するための手段】
【０００９】
上記の課題を解決するため、本発明の画像認識装置は、二次元の行列状に配置された複数の画素のそれぞれに備えた光電変換部が発生した信号電荷を保持する複数の第１の電荷蓄積回路と、複数の前記画素の内、予め定めた前記画素に備えた前記光電変換部が発生した前記信号電荷を保持する複数の第２の電荷蓄積回路と、前記第１の電荷蓄積回路のそれぞれに保持した前記信号電荷に応じた画素信号を読み出し、該読み出した画素信号に基づいた画像を、第１の画像として出力する第１の電荷読み出し回路部と、前記第２の電荷蓄積回路のそれぞれに保持した前記信号電荷に応じた画素信号を読み出し、該読み出した画素信号に基づいた画像を、予め定めた数の画素数に減縮した第２の画像として出力する第２の電荷読み出し回路部と、前記第１の電荷読み出し回路部または前記第２の電荷読み出し回路部のいずれか一方を、画像を読み出す電荷読み出し回路部として選択する読み出し回路選択部と、前記読み出し回路選択部によって選択された電荷読み出し回路部から画像を読み出す画像読み出し部と、前記画像読み出し部が読み出した前記画像に含まれる被写体の特徴量を算出し、該算出した前記特徴量に基づいて検出対象の被写体を判定する特徴量判定部と、を備え、最初に前記第２の電荷読み出し回路部を選択し、該選択した前記第２の電荷読み出し回路部から読み出した前記第２の画像に含まれる被写体の特徴量に基づいて前記検出対象の被写体であるか否かを判定した判定結果に応じて、次に前記第１の電荷読み出し回路部を選択して、前記第１の画像に含まれる被写体に対する前記判定を行うか否かを決定する、ことを特徴とする。
【００１０】
また、本発明の画像認識装置において、前記第２の電荷蓄積回路は、対応する複数の前記画素内の前記光電変換部のそれぞれが同じ露光期間で発生したそれぞれの前記信号電荷を平均化した電荷量の信号電荷を保持し、前記第２の電荷読み出し回路部が出力する前記第２の画像は、前記第１の電荷読み出し回路部が出力する前記第１の画像と同じ露光によって得られた前記信号電荷に応じた画素信号に基づいた、前記第１の画像よりも解像度が低い画像である、ことを特徴とする。
【００１１】
また、本発明の画像認識装置は、前記画像読み出し部が読み出した前記画像の領域を、少なくとも１つの領域に分割した部分画像を設定する部分画像設定部、をさらに備え、前記特徴量判定部は、前記部分画像設定部によって設定された前記部分画像毎に、該部分画像に含まれる被写体が前記検出対象の被写体であるか否かを判定する、ことを特徴とする。
【００１２】
また、本発明の画像認識装置において、前記部分画像設定部は、前記画像読み出し部が最初に読み出した前記第２の画像の領域を分割した複数の前記部分画像を設定する、ことを特徴とする。
【００１３】
また、本発明の画像認識装置は、前記画像読み出し部が読み出す前記画像の範囲を設定する画像範囲設定部、をさらに備え、前記画像範囲設定部は、前記第２の画像に対して前記特徴量判定部が判定した、前記検出対象の被写体であるか否かの判定結果に基づいて、前記画像読み出し部が次に読み出す前記第１の画像の範囲を再設定し、前記画像読み出し部は、次に前記第１の画像を読み出す際に、前記画像範囲設定部によって再設定された画像の範囲の前記第１の画像を読み出す、ことを特徴とする。
【００１４】
また、本発明の画像認識装置において、前記特徴量判定部は、前記画像読み出し部が読み出した前記画像に含まれる被写体の前記特徴量を算出する特徴量計算部と、前記特徴量計算部が算出した前記特徴量を、予め構築しておいた分類器に入力し、検出対象の被写体らしさを表す分類スコアを出力する分類器適用部と、前記分類器適用部が算出した分類スコアに基づいて、前記特徴量計算部が算出した前記特徴量で表される被写体が前記検出対象の被写体であるか否かを判定する検出判定部と、を備える、ことを特徴とする。
【００１５】
また、本発明の画像認識装置において、前記特徴量計算部は、前記画像読み出し部が最初に読み出した前記第２の画像に含まれる被写体の前記特徴量と、前記画像読み出し部が次に読み出した前記第１の画像に含まれる被写体の前記特徴量とのそれぞれを、異なる算出方法で算出し、前記分類器適用部は、前記第２の画像に対して算出された前記特徴量と、前記第１の画像に対して算出された前記特徴量とのそれぞれを、予め構築しておいた異なる分類器に入力する、ことを特徴とする。
【００１６】
また、本発明の画像認識装置において、前記画像範囲設定部は、前記画像読み出し部が最初に前記第２の画像を読み出す際に、該読み出す前記第２の画像の全ての範囲を、該画像読み出し部が読み出す前記画像の範囲に設定する、ことを特徴とする。
【００１７】
また、本発明の画像認識方法は、複数の第１の電荷蓄積回路に、二次元の行列状に配置された複数の画素のそれぞれに備えた光電変換部が発生した信号電荷を保持させる第１の電荷蓄積手順と、複数の第２の電荷蓄積回路に、複数の前記画素の内、予め定めた前記画素に備えた前記光電変換部が発生した前記信号電荷を保持させる第２の電荷蓄積手順と、第１の電荷読み出し回路部に、前記第１の電荷蓄積回路のそれぞれに保持した前記信号電荷に応じた画素信号を読み出させ、該読み出させた画素信号に基づいた画像を、第１の画像として出力させる第１の電荷読み出し手順と、第２の電荷読み出し回路部に、前記第２の電荷蓄積回路のそれぞれに保持した前記信号電荷に応じた画素信号を読み出させ、該読み出させた画素信号に基づいた画像を、予め定めた数の画素数に減縮した第２の画像として出力させる第２の電荷読み出し手順と、読み出し回路選択部に、前記第１の電荷読み出し回路部または前記第２の電荷読み出し回路部のいずれか一方を、画像を読み出させる電荷読み出し回路部として選択させる読み出し回路選択手順と、画像読み出し部に、前記読み出し回路選択手順によって選択された電荷読み出し回路部から画像を読み出させる画像読み出し手順と、特徴量判定部に、前記画像読み出し手順によって読み出された前記画像に含まれる被写体の特徴量を算出させ、該算出させた前記特徴量に基づいて検出対象の被写体を判定させる特徴量判定手順と、を含み、最初の処理過程で、前記第２の電荷読み出し回路部を選択し、該選択した前記第２の電荷読み出し回路部によって読み出した前記第２の画像に含まれる被写体の特徴量に基づいて前記検出対象の被写体であるか否かを判定した判定結果に応じて、次の処理過程で、前記第１の電荷読み出し回路部を選択して、前記第１の画像に含まれる被写体に対する前記判定を行うか否かを決定する、ことを特徴とする。
【発明の効果】
【００１８】
本発明によれば、高精度の画像認識と高速な画像認識とを両立すると共に、低消費電力化および小規模化を図ることができる画像認識装置および画像認識方法を提供することができるという効果が得られる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態における画像認識装置の概略構成を示したブロック図である。
【図２】本実施形態の画像認識装置における画像認識の処理手順を示したフローチャートである。
【図３】本実施形態の画像認識装置における画像認識の処理のそれぞれの段階の一例を模式的に示した図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態について、図面を参照して説明する。図１は、本実施形態における画像認識装置の概略構成を示したブロック図である。図１において、画像認識装置１０は、画素信号処理部１００と、画像認識処理部１１０とから構成される。
【００２１】
画素信号処理部１００は、画像認識処理部１１０から入力された画像読み出し制御信号に応じて、撮影した画像を画像認識処理部１１０に出力する。画素信号処理部１００は、複数の画素が二次元の行列状に配置されて形成された画素アレイを備え、画素アレイ内に配置された全ての画素の画素信号に基づいた画像を高解像度画像Ｓ１とし、画素アレイ内に配置された画素の数（画素数）を減縮した画素の画素信号に基づいた画像を低解像度画像Ｓ２として、別々に出力する。
【００２２】
画像認識処理部１１０は、画素信号処理部１００から高解像度画像Ｓ１または低解像度画像Ｓ２のいずれか一方の画像を読み出し、読み出した画像に含まれる被写体の特徴量を算出して画像認識の処理を行う。このとき、画像認識処理部１１０は、最初に低解像度画像Ｓ２に基づいて簡易的な画像認識の処理を行い、詳細な画像認識の処理が必要となったときに、高解像度画像Ｓ１に基づいて詳細な画像認識の処理を行う。
【００２３】
このような構成によって、画像認識装置１０は、画像認識の処理過程を２段階に分けて、高精度の画像認識と高速な画像認識とを両立する。つまり、最初（前段）の画像認識の処理過程において、画素数を減縮していない高解像度画像Ｓ１よりも早く読み出しが完了することができる低解像度画像Ｓ２を用いて高速な画像認識の処理を行い、次（後段）の画像認識の処理過程において、画素数を減縮した低解像度画像Ｓ２よりも詳細な被写体の特徴量を算出することができる高解像度画像Ｓ１を用いて高精度の画像認識の処理を行うことによって、高精度の画像認識と高速な画像認識とを両立する。
【００２４】
次に、本実施形態の画像認識装置１０のそれぞれの構成要素について、さらに詳細に説明する。まず、図１に示した本実施形態の画像認識装置１０内の画素信号処理部１００の構成について、さらに詳細に説明する。なお、画像認識装置１０においては、上述したように、複数の画素が二次元の行列状に配置された画素アレイを画素信号処理部１００内に含んでいるが、説明を容易にするため、図１においては、画像認識装置１０に備えた画素信号処理部１００内に、画素ａ〜画素ｄの４つの画素が配置されている場合の一例を示している。なお、画素信号処理部１００内には、本実施形態の画像認識装置１０を構築した撮像システムに備えられ、本画像認識装置１０の制御を行う制御装置による制御に応じて、画素信号処理部１００内に配置されたそれぞれの画素の構成要素を駆動する垂直走査回路や水平走査回路などの構成要素も備えているが、図１においては省略している。
【００２５】
なお、以下の説明においては、それぞれの構成要素が対応する画素、すなわち、画素ａ〜画素ｄを区別するため、それぞれの構成要素の符号の最後に対応する画素を示す「ａ」、「ｂ」、「ｃ」、または「ｄ」の符号を付与して説明する。より具体的には、画素ａに対応する構成要素の符号の最後に「ａ」を付与し、画素ｂに対応する構成要素の符号の最後に「ｂ」を付与し、画素ｃに対応する構成要素の符号の最後に「ｃ」を付与し、画素ｄに対応する構成要素の符号の最後に「ｄ」を付与して説明する。また、画素ａ〜画素ｄの内、複数の画素に対応する構成要素には、対応する複数の画素の符号（「ａ」〜「ｄ」）を複数付与して説明する。また、画素ａ〜画素ｄに共通して対応する構成要素には、「ａ」〜「ｄ」の符号は付与せずに説明する。また、画素ａ〜画素ｄのいずれかに対応する構成要素ではあるが、説明を行う際に対応する画素を区別しない場合には、「ａ」〜「ｄ」の符号を示さずに、それぞれの構成要素の符号までを示して説明する。
【００２６】
図１に示した本実施形態の画像認識装置１０内の画素信号処理部１００は、４つの光電変換部１０１ａ〜光電変換部１０１ｄと、４つの電荷転送回路１０２ａ〜電荷転送回路１０２ｄと、４つの第１の電荷蓄積回路１０３ａ〜第１の電荷蓄積回路１０３ｄと、２つの第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄと、第１の電荷読み出し回路部１０５と、第２の電荷読み出し回路部１０６とから構成される。図１に示した画素信号処理部１００では、光電変換部１０１ａと、電荷転送回路１０２ａと、第１の電荷蓄積回路１０３ａとの構成要素によって画素ａを構成し、光電変換部１０１ｂと、電荷転送回路１０２ｂと、第１の電荷蓄積回路１０３ｂとの構成要素によって画素ｂを構成する。また、光電変換部１０１ｃと、電荷転送回路１０２ｃと、第１の電荷蓄積回路１０３ｃとの構成要素によって画素ｃを構成し、光電変換部１０１ｄと、電荷転送回路１０２ｄと、第１の電荷蓄積回路１０３ｄとの構成要素によって画素ｄを構成する。また、第２の電荷蓄積回路１０４ａｂは、画素ａと画素ｂとに共通の構成要素であり、第２の電荷蓄積回路１０４ｃｄは、画素ｃと画素ｄとに共通の構成要素である。
【００２７】
光電変換部１０１ａ〜光電変換部１０１ｄのそれぞれは、入射した光を光電変換して信号電荷を発生し、発生した信号電荷を蓄積する、フォトダイオードなどの光電変換部である。
【００２８】
電荷転送回路１０２ａ〜電荷転送回路１０２ｄのそれぞれは、対応する光電変換部１０１ａ〜光電変換部１０１ｄのそれぞれが発生して蓄積した信号電荷を、対応する第１の電荷蓄積回路１０３ａ〜第１の電荷蓄積回路１０３ｄのそれぞれと、対応する第２の電荷蓄積回路１０４ａｂまたは第２の電荷蓄積回路１０４ｃｄのそれぞれに転送する。
【００２９】
第１の電荷蓄積回路１０３ａ〜第１の電荷蓄積回路１０３ｄのそれぞれは、対応する電荷転送回路１０２ａ〜電荷転送回路１０２ｄのそれぞれから転送された、対応する光電変換部１０１ａ〜光電変換部１０１ｄのそれぞれが発生した信号電荷を保持（蓄積）する。ここで、第１の電荷蓄積回路１０３ａ〜第１の電荷蓄積回路１０３ｄのそれぞれが保持（蓄積）する信号電荷は、画素信号処理部１００に備えた全ての画素の信号電荷、つまり、高解像度の画像の生成に用いる信号電荷である。また、第１の電荷蓄積回路１０３ａ〜第１の電荷蓄積回路１０３ｄのそれぞれは、第１の電荷読み出し回路部１０５から入力された電荷読み出し制御信号に応じて、保持した信号電荷に応じた信号電圧を、画素信号として第１の電荷読み出し回路部１０５に出力する。
【００３０】
第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれは、対応する電荷転送回路１０２ａ〜電荷転送回路１０２ｄのそれぞれから転送された、対応する光電変換部１０１ａ〜光電変換部１０１ｄのそれぞれが発生したそれぞれの信号電荷の電荷量を平均化した電荷量の信号電荷、またはそれぞれの信号電荷の電荷量を平均化するための信号電荷を保持（蓄積）する回路（平均化電荷蓄積回路）である。例えば、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれは、画素信号処理部１００に備えたそれぞれの画素の信号電荷を加算平均することによって、画素信号処理部１００に備えた画素の数（画素数）を減縮した状態にするための信号電荷を保持する。ここで、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれが保持（蓄積）する信号電荷は、画素信号処理部１００に備えた画素の数（画素数）を減縮した、低解像度の画像の生成に用いる信号電荷である。また、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれは、第２の電荷読み出し回路部１０６から入力された電荷読み出し制御信号に応じて、保持した信号電荷に応じた信号電圧を、画素数を減縮した状態の画素信号として第２の電荷読み出し回路部１０６に出力する。
【００３１】
なお、図１に示した画素信号処理部１００においては、第２の電荷蓄積回路１０４ａｂが電荷転送回路１０２ａおよび電荷転送回路１０２ｂ、すなわち、光電変換部１０１ａおよび光電変換部１０１ｂに対応し、第２の電荷蓄積回路１０４ｃｄが電荷転送回路１０２ｃおよび電荷転送回路１０２ｄ、すなわち、光電変換部１０１ｃおよび光電変換部１０１ｄに対応している。
【００３２】
なお、画素数を減縮するために行うそれぞれの画素の信号電荷を加算平均する構成は、例えば、光電変換部１０１ａおよび光電変換部１０１ｂが発生したそれぞれの信号電荷を第２の電荷蓄積回路１０４ａｂに保持する際に加算平均する構成、第２の電荷蓄積回路１０４ａｂが保持したそれぞれの信号電荷に応じた信号電圧を出力する際に加算平均する構成などがある。なお、例えば、第２の電荷蓄積回路１０４ａｂが保持したそれぞれの信号電荷に応じた信号電圧を出力した後に加算平均する構成であってもよい。
【００３３】
第１の電荷読み出し回路部１０５は、画像認識処理部１１０から入力された画像読み出し制御信号に応じて、第１の電荷蓄積回路１０３ａ〜第１の電荷蓄積回路１０３ｄのそれぞれから画素信号のそれぞれを順次読み出すための電荷読み出し制御信号を、第１の電荷蓄積回路１０３ａ〜第１の電荷蓄積回路１０３ｄのそれぞれに順次出力する。そして、第１の電荷読み出し回路部１０５は、第１の電荷蓄積回路１０３ａ〜第１の電荷蓄積回路１０３ｄのそれぞれから読み出した画素信号に基づいた画像を、高解像度画像Ｓ１として画像認識処理部１１０に出力する。
【００３４】
第２の電荷読み出し回路部１０６は、画像認識処理部１１０から入力された画像読み出し制御信号に応じて、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれから画素数を減縮した状態の画素信号のそれぞれを順次読み出すための電荷読み出し制御信号を、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれに順次出力する。そして、第２の電荷読み出し回路部１０６は、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれから読み出した画素信号に基づいた画像を、低解像度画像Ｓ２として画像認識処理部１１０に出力する。
【００３５】
なお、第１の電荷読み出し回路部１０５と第２の電荷読み出し回路部１０６とのそれぞれは、その機能として、読み出した画素信号に対してノイズ除去などの処理を行う、例えば、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ：相関二重サンプリング）処理の機能を備えている構成であってもよい。また、第１の電荷読み出し回路部１０５と第２の電荷読み出し回路部１０６とのそれぞれは、読み出したそれぞれの画素信号（アナログ信号）をアナログデジタル変換するＡ／Ｄ変換回路を備え、アナログデジタル変換したそれぞれの画素信号（アナログ信号）の大きさを表す値（デジタル値）のそれぞれを、高解像度画像Ｓ１または低解像度画像Ｓ２として出力する構成であってもよい。
【００３６】
なお、画素信号処理部１００内の第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれが、保持したそれぞれの信号電荷に応じた信号電圧を加算平均せずにそのまま画素信号として出力する構成である場合には、第２の電荷読み出し回路部１０６内でそれぞれの画素信号（信号電圧）を加算平均した後に、この画素信号に基づいた低解像度画像Ｓ２を画像認識処理部１１０に出力する構成であってもよい。この場合、第２の電荷読み出し回路部１０６は、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれから順次読み出されたそれぞれの画素信号を、アナログ信号の状態で加算平均してもよいし、それぞれの画素信号をアナログデジタル変換した後のデジタル値の状態で加算平均してもよい。
【００３７】
このような構成によって、画素信号処理部１００では、それぞれの画素を同じ露光期間で露光し、それぞれの画素内で、光電変換部１０１が発生した信号電荷を第１の電荷蓄積回路１０３にそれぞれに保持すると共に、それぞれの信号電荷を平均化した信号電荷（画素数を減縮した信号電荷）を第２の電荷蓄積回路１０４に保持する。つまり、画素信号処理部１００では、高解像度と低解像度との異なる解像度の画像の生成に用いる信号電荷を、それぞれ保持する。より具体的には、画素信号処理部１００では、光電変換部１０１ａが発生した信号電荷を第１の電荷蓄積回路１０３ａに、光電変換部１０１ｂが発生した信号電荷を第１の電荷蓄積回路１０３ｂに、光電変換部１０１ｃが発生した信号電荷を第１の電荷蓄積回路１０３ｃに、光電変換部１０１ｄが発生した信号電荷を第１の電荷蓄積回路１０３ｄにそれぞれに保持する。また、画素信号処理部１００では、光電変換部１０１ａが発生した信号電荷と光電変換部１０１ｂが発生した信号電荷とを平均化した信号電荷を第２の電荷蓄積回路１０４ａｂに、光電変換部１０１ｃが発生した信号電荷と光電変換部１０１ｄが発生した信号電荷とを平均化した信号電荷を第２の電荷蓄積回路１０４ｃｄにそれぞれに保持する。
【００３８】
そして、画素信号処理部１００では、第１の電荷蓄積回路１０３のそれぞれに保持した信号電荷に応じたそれぞれの画素信号の第１の電荷読み出し回路部１０５による読み出しと、第２の電荷蓄積回路１０４のそれぞれに保持した信号電荷に応じたそれぞれの画素信号の第２の電荷読み出し回路部１０６による読み出しとを別々に行う。これにより、画素信号処理部１００は、同じ１回の露光によって得られた信号電荷に基づいて、画素信号処理部１００に備えた全ての画素の画素信号に基づいた高解像度画像Ｓ１と、画素信号処理部１００に備えた画素の数（画素数）を減縮した画素信号に基づいた低解像度画像Ｓ２とのそれぞれを別々に出力する。
【００３９】
なお、図１に示した画素信号処理部１００では、予め定めた２つの画素を組とし、それぞれの画素に備えた光電変換部１０１が発生したそれぞれの信号電荷の電荷量を平均化した信号電荷を保持する第２の電荷蓄積回路１０４を備えた画素信号処理部１００の構成を示した。しかし、実際に画素信号処理部１００に備えられ、二次元の行列状に複数の画素が配置された画素アレイでは、例えば、ベイヤー配列のカラーフィルタが貼付され、それぞれの画素に備えた光電変換部１０１は、入射した光に含まれる、貼付されたカラーフィルタの対応する色を光電変換して信号電荷を発生する。従って、本実施形態の画像認識装置１０内の画素信号処理部１００においては、貼付されたカラーフィルタの色の重心がずれないように、また、異なる色の信号電荷を平均化しないように、画素の組を構成することが望ましい。
【００４０】
また、図１に示した画素信号処理部１００においては、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれが、対応する光電変換部１０１ａ〜光電変換部１０１ｄのそれぞれが発生したそれぞれの信号電荷を加算平均することによって画素数を減縮する構成を示した。しかし、画素数を減縮する方法は、図１に示した加算平均のみに限定されるものではなく、例えば、画素を間引くことによって、画素数を減縮する構成であってもよい。この場合、図１に示した画素信号処理部１００においては、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれが、対応する光電変換部１０１ａ〜光電変換部１０１ｄのそれぞれが発生したそれぞれの信号電荷のいずれか一方の信号電荷を保持（蓄積）することによって、画素を間引く構成が考えられる。
【００４１】
次に、図１に示した本実施形態の画像認識装置１０内の画像認識処理部１１０の構成について、さらに詳細に説明する。図１に示した本実施形態の画像認識装置１０内の画像認識処理部１１０は、画像範囲設定部１１１と、読み出し回路選択部１１２と、画像読み出し部１１３と、部分画像設定部１１４と、特徴量判定部１１５とから構成される。
【００４２】
画像範囲設定部１１１は、画素信号処理部１００からそれぞれの画像を読み出して画像認識の処理を行う画像の範囲（画像範囲）を設定する。言い換えれば、画像範囲設定部１１１は、それぞれの画像に対して画像認識の処理を行う範囲（画像内の領域）を設定する。このとき、画像範囲設定部１１１は、特徴量判定部１１５から入力された画像認識の処理の結果に応じて、設定する画像認識の処理を行う範囲を変更する。そして、画像範囲設定部１１１は、設定した画像認識の処理を行う範囲を表す範囲情報を、画像読み出し部１１３に出力する。
【００４３】
読み出し回路選択部１１２は、２段階に分けた画像認識のそれぞれの処理過程に応じて、画像認識の処理に用いる画像を読み出す電荷読み出し回路部として、第１の電荷読み出し回路部１０５または第２の電荷読み出し回路部１０６のいずれか一方の電荷読み出し回路部を選択する。このとき、読み出し回路選択部１１２は、現在の処理過程が何段階目の処理過程であるかに応じて、選択する電荷読み出し回路部を変更する。なお、現在の処理過程が何段階目の処理過程であるかは、特徴量判定部１１５から入力された画像認識の処理の結果を参照することによって判定することができる。そして、読み出し回路選択部１１２は、選択した電荷読み出し回路部から画像を読み出すための画像読み出し指示を、画像読み出し部１１３に出力する。より具体的には、画像認識の処理過程が高解像度画像Ｓ１を用いる画像認識の処理である場合、読み出し回路選択部１１２は、第１の電荷読み出し回路部１０５から高解像度画像Ｓ１を読み出すための画像読み出し指示を、画像読み出し部１１３に出力する。また、画像認識の処理過程が低解像度画像Ｓ２を用いる画像認識の処理である場合、読み出し回路選択部１１２は、第２の電荷読み出し回路部１０６から低解像度画像Ｓ２を読み出すための画像読み出し指示を、画像読み出し部１１３に出力する。
【００４４】
なお、読み出し回路選択部１１２は、特徴量判定部１１５から入力される画像認識の処理の結果を参照せずに選択する電荷読み出し回路部を変更する構成にすることもできる。この場合、画像認識装置１０における画像認識の処理では、本実施形態の画像認識装置１０を構築した撮像システムに備えられ、本画像認識装置１０の制御を行う制御装置が、特徴量判定部１１５による画像認識の処理の結果に応じて、選択する電荷読み出し回路部を変更することが考えられる。
【００４５】
画像読み出し部１１３は、読み出し回路選択部１１２から入力された画像読み出し指示に応じて、指示された電荷読み出し回路部から画像を読み出すための画像読み出し制御信号を、画素信号処理部１００に出力する。このとき、画像読み出し部１１３は、画像範囲設定部１１１から入力された範囲情報で表された範囲の画像を読み出すための画像読み出し制御信号を、画素信号処理部１００に出力する。より具体的には、画像読み出し部１１３は、読み出し回路選択部１１２から、第１の電荷読み出し回路部１０５を用いて高解像度画像Ｓ１を読み出すことを表す画像読み出し指示が入力された場合、画像範囲設定部１１１から入力された範囲情報で表された範囲の高解像度画像Ｓ１を読み出すための画像読み出し制御信号を、画素信号処理部１００内の第１の電荷読み出し回路部１０５に出力する。また、画像読み出し部１１３は、読み出し回路選択部１１２から、第２の電荷読み出し回路部１０６を用いて低解像度画像Ｓ２を読み出すことを表す画像読み出し指示が入力された場合、画像範囲設定部１１１から入力された範囲情報で表された範囲の低解像度画像Ｓ２を読み出すための画像読み出し制御信号を、画素信号処理部１００内の第２の電荷読み出し回路部１０６に出力する。
【００４６】
これにより、画像認識のそれぞれの処理過程において画像認識の処理に用いる、範囲情報で表された範囲の高解像度画像Ｓ１または低解像度画像Ｓ２のいずれか一方の画像が、画素信号処理部１００から読み出される。そして、画像読み出し部１１３は、読み出した範囲情報で表された範囲の画像を、部分画像設定部１１４と特徴量判定部１１５とに出力する。
【００４７】
部分画像設定部１１４は、画像読み出し部１１３から入力された画像の領域を、画像認識の処理を行う対象の少なくとも１つの領域に分割した部分画像を設定する。そして、部分画像設定部１１４は、設定した画像認識の処理を行う対象のそれぞれの領域を表す情報を、それぞれの部分画像情報として特徴量判定部１１５に出力する。
【００４８】
なお、部分画像設定部１１４が入力された画像の領域を分割する方法としては、例えば、画像の領域を、水平方向および垂直方向にそれぞれ予め定めた複数個の領域（ブロック）に分割する、いわゆる、ブロック分割などの方法が考えられる。ただし、このブロック分割において分割されたそれぞれのブロック、すなわち、部分画像は、隣接するブロックの一部または全部が重複していてもよい。また、部分画像設定部１１４が入力された画像の領域を分割する他の方法としては、例えば、ＪＳＥＧアルゴリズムなどの領域分割の手法を用いて画像の領域を過分割し、分割したそれぞれの領域を部分画像とすることなども考えられる。この過分割の方法を用いることによって、画像の輪郭や色の情報に応じて部分画像を設定することができ、入力された画像において画像認識の処理を行う対象となる被写体の領域と背景の領域とを、より正確に分割することができる。なお、部分画像設定部１１４が入力された画像を画像認識の処理を行う対象の複数の領域（部分画像）に分割する方法に関しては、特に規定しない。つまり、画像の領域を複数の分割する既存の技術を用いることができる。
【００４９】
なお、部分画像設定部１１４にも特徴量判定部１１５から画像認識の処理の結果が入力され、入力された画像認識の処理の結果に応じて、設定する部分画像を変更する構成にすることもできる。また、画像認識装置１０内に部分画像設定部１１４を備えない構成にすることもできる。この場合、画像認識装置１０における画像認識の処理では、部分画像を設定せず、入力された画像の全ての範囲を画像認識の処理を行う対象の領域とすることになる。ただし、本実施形態の画像認識装置１０を構築した撮像システムに備えられ、本画像認識装置１０の制御を行う制御装置が、部分画像設定部１１４の代わりに部分画像を設定する構成にすることはできる。
【００５０】
特徴量判定部１１５は、画像読み出し部１１３から入力された画像に対して、部分画像設定部１１４から入力されたそれぞれの部分画像情報で表された領域毎、すなわち、それぞれの部分画像毎に、画像認識の処理を行う。そして、特徴量判定部１１５は、それぞれの部分画像における画像認識の処理の結果を、画像範囲設定部１１１と読み出し回路選択部１１２とに出力する。特徴量判定部１１５は、特徴量計算部１１５１と、分類器適用部１１５２と、検出判定部１１５３とを備えている。
【００５１】
なお、特徴量判定部１１５が行った画像認識の処理の結果は、例えば、本実施形態の画像認識装置１０を構築した撮像システムに備えられ、本画像認識装置１０による画像認識の結果に応じて撮像システムの制御を行う制御装置や、本画像認識装置１０による画像認識の結果に応じて最終的な画像の生成を行う画像処理部などに出力する構成にすることもできる。これにより、本実施形態の画像認識装置１０を構築した撮像システムでは、例えば、予め定めた検出対象の被写体が含まれる画像を記録するなど、本画像認識装置１０による画像認識の結果に応じた様々な機能を実現することができる。
【００５２】
特徴量計算部１１５１は、画像読み出し部１１３から入力された画像内に含まれる被写体の特徴量を算出する。このとき、特徴量計算部１１５１は、部分画像設定部１１４によって設定されたそれぞれの部分画像毎に、この部分画像内に含まれる被写体の特徴量を算出する。そして、特徴量計算部１１５１は、部分画像毎に算出したそれぞれの特徴量を、分類器適用部１１５２に出力する。
【００５３】
なお、特徴量計算部１１５１が入力された画像内に含まれる被写体の特徴量を算出する方法としては、例えば、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ  ｏｆ  ｏｒｉｅｎｔｅｄ  ｇｒａｄｉｅｎｔｓ）を用いる方法などが考えられる。また、特徴量計算部１１５１が入力された画像内に含まれる被写体の特徴量を算出する他の方法としては、例えば、ＢｏＦ（Ｂａｇ  ｏｆ  ｆｅａｔｕｒｅｓ）を用いる方法なども考えられる。このような、複雑な特徴量を特徴量計算部１１５１が算出することにより、本実施形態の画像認識装置１０や、本実施形態の画像認識装置１０を構築した撮像システムでは、より高精度の画像認識を行うことができる。
【００５４】
なお、特徴量計算部１１５１が入力された画像内に含まれる被写体の特徴量を算出する方法に関しては、特に規定しない。つまり、画像内に含まれる被写体の特徴量を算出する既存の技術を用いることができる。ただし、特徴量計算部１１５１が、低解像度画像Ｓ２に対して設定された部分画像内に含まれる被写体の特徴量を算出する場合には、つまり、簡易的な画像認識の処理を行う場合には、特徴量を算出する方法も簡易的なものにしたり、算出する特徴量の数を少なくしたりすることによって、処理の負荷を軽減することが望ましい。ここで、特徴量計算部１１５１が入力された画像内に含まれる被写体の簡易的な特徴量を算出する方法としては、例えば、部分画像内のそれぞれの画素を赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のそれぞれの色空間に分割し、分割した色空間のそれぞれの分割範囲に相当する色をもつ画素の数を要素としたヒストグラム（ＲＧＢヒストグラム）を用いる方法などが考えられる。また、特徴量計算部１１５１が入力された画像内に含まれる被写体の簡易的な特徴量を算出する他の方法としては、例えば、部分画像内のそれぞれの画素がもつ輝度の平均値や標準偏差などの統計量を用いる方法なども考えられる。このように、特徴量計算部１１５１が簡易的な特徴量を算出することにより、本実施形態の画像認識装置１０や、本実施形態の画像認識装置１０を構築した撮像システムでは、低解像度画像Ｓ２の画素数が少ないことによる低消費電力化のみではなく、全体の処理時間の短縮も実現することができる。
【００５５】
なお、画素信号処理部１００は、高解像度画像Ｓ１と低解像度画像Ｓ２との差分をとった画像を高速に出力する構成も考えられる。この場合には、特徴量計算部１１５１は、例えば、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）のスケール探索などを用いて、入力された画像内に含まれる被写体の複雑な特徴量を算出することも考えられる。
【００５６】
分類器適用部１１５２は、画像読み出し部１１３から入力された画像内に含まれる被写体の、予め用意された検出対象の被写体らしさを表す分類スコアを算出する。このとき、分類器適用部１１５２は、特徴量計算部１１５１から入力された部分画像毎のそれぞれの特徴量を予め構築しておいた分類器にそれぞれ適用（入力）し、それぞれの部分画像内の特徴量毎に算出した分類スコアを検出判定部１１５３に出力する。
【００５７】
なお、分類器適用部１１５２が予め構築しておく分類器としては、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ  ｖｅｃｔｏｒ  ｍａｃｈｉｎｅ：サポートベクタマシン）などが考えられ、特徴量計算部１１５１が算出した被写体の特徴量と、予め用意された被写体の特徴を表す大量のデータ（いわゆる、教師データ）のそれぞれとを比較することによって、教師データとの類似度を基に、検出対象の被写体らしさを表す分類スコアとして算出する方法などが考えられる。また、分類器適用部１１５２が予め構築しておく他の分類器としては、例えば、ＫＤＡ（Ｋｅｒｎｅｌ  Ｄｉｓｃｒｉｍｉｎａｎｔ  Ａｎａｌｙｓｉｓ）などの教師あり学習器も考えられる。また、分類器適用部１１５２が予め構築しておく他の分類器として、特徴量計算部１１５１から入力された特徴量を、予め定めた特徴量の閾値と比較する方法を用いることも考えられる。
【００５８】
なお、分類器適用部１１５２が入力された特徴量の検出対象の被写体らしさを表す分類スコアを算出する方法に関しては、特に規定しない。つまり、画像内に含まれる被写体の特徴量に基づいて分類する既存の技術を用いることができる。ただし、分類器適用部１１５２が、低解像度画像Ｓ２に対して設定された部分画像内に含まれる被写体の特徴量に対して、検出対象の被写体らしさを表す分類スコアを算出する場合には、つまり、簡易的な画像認識の処理を行う場合には、分類スコアを算出するために用いる分類器の処理も簡易的なものにして、分類器の処理の負荷を軽減することが望ましい。これにより、本実施形態の画像認識装置１０や、本実施形態の画像認識装置１０を構築した撮像システムにおける全体の処理時間を短縮することができる。
【００５９】
なお、特徴量判定部１１５に用いる分類器を逐次更新していく構成にすることもできる。具体的には、画像読み出し部１１３から入力された画像に対して特徴量判定部１１５から出力された判定結果の正否を外部から与えることで、新たな教師データを作成し、あらかじめ用意された教師データセットに追加する。そして、追加された教師データセットを基に分類器を再構築し、再構築された分類器を特徴量判定部１１５に用いる分類器に設定する。これにより本実施形態の画像認識装置１０を用いたデジタルカメラ等で画像認識をユーザの好みに合うように更新していく等が可能となる。
【００６０】
検出判定部１１５３は、分類器適用部１１５２から入力されたそれぞれの部分画像毎の分類スコアに基づいて、それぞれの部分画像が検出対象であるか否かを判定する。そして、検出判定部１１５３は、判定した結果を、それぞれの部分画像における画像認識の処理の結果として、画像範囲設定部１１１と読み出し回路選択部１１２とに出力する。
【００６１】
なお、検出判定部１１５３による検出対象であるか否かの判定方法としては、例えば、分類器適用部１１５２から入力された分類スコアを、予め定めた検出対象であると判定する分類スコアの閾値と比較することによって判定する方法などが考えられる。この場合、分類器適用部１１５２から入力された分類スコアが、予め定めた分類スコアの閾値以上であるか否かによって、分類器適用部１１５２から入力されたそれぞれの部分画像が予め定めた検出対象であるか否かを判定する。
【００６２】
なお、検出判定部１１５３が判定した結果は、特徴量判定部１１５内の構成要素、すなわち、特徴量計算部１１５１と、分類器適用部１１５２と、検出判定部１１５３とで共有される。しかし、検出判定部１１５３が判定した結果を特徴量判定部１１５内の構成要素で共有せず、本実施形態の画像認識装置１０を構築した撮像システムに備えられ、本画像認識装置１０の制御を行う制御装置が、検出判定部１１５３が判定した結果に応じて、特徴量判定部１１５内のそれぞれの構成要素を制御することも考えられる。
【００６３】
このような構成によって、画像認識処理部１１０では、画像認識のそれぞれの処理過程において画像認識の処理に用いる高解像度画像Ｓ１または低解像度画像Ｓ２のいずれか一方の画像を画素信号処理部１００から読み出す。そして、画像認識処理部１１０では、画素信号処理部１００から読み出した高解像度画像Ｓ１または低解像度画像Ｓ２のいずれか一方の画像に対して画像認識の処理を行う。より具体的には、最初に低解像度画像Ｓ２を画素信号処理部１００から読み出して簡易的な画像認識の処理を行い、詳細な画像認識の処理が必要となったときに、高解像度画像Ｓ１画素信号処理部１００から読み出して詳細な画像認識の処理を行う。
【００６４】
これにより、本実施形態の画像認識装置１０では、画像認識の処理過程を２段階に分けて、高精度の画像認識と高速な画像認識とを両立することができる。
【００６５】
次に、本実施形態の画像認識装置１０における画像認識の処理の処理手順について説明する。図２は、本実施形態の画像認識装置１０における画像認識の処理手順を示したフローチャートである。また、図３は、本実施形態の画像認識装置１０における画像認識の処理のそれぞれの段階の一例を模式的に示した図である。図２に示した画像認識装置１０における画像認識の処理のフローチャートの説明においては、適宜、図３に示した画像認識装置１０における画像認識の処理のそれぞれの段階の一例を参照し、被写体として「犬」が写っている画像において、「正面を向いている犬」を検出対象とする場合の例を説明する。
【００６６】
画像認識装置１０における画像認識の処理では、上述したように、画像認識の処理過程を２段階に分けて実行する。より具体的には、まず、前段の画像認識の処理過程（以下、「第１の画像認識過程」という）において、検出対象（今回の説明では「犬」）らしい被写体を、検出対象候補として判定する。この第１の画像認識過程では、画素数を減縮した低解像度画像Ｓ２を用いるため、高速に画像認識の処理を行うことができ、例えば、画像の更新頻度（フレームレート）を高くした場合でも、高速な画像認識を行うことができる。その後、後段の画像認識の処理過程（以下、「第２の画像認識過程」という）において、第１の画像認識過程において判定した検出対象候補の被写体の中から、最終的に検出すべき検出対象の被写体を判定する。この第２の画像認識過程では、画素数を減縮していない高解像度画像Ｓ１を用いるため、第１の画像認識過程よりも高精度で画像認識を行うことができる。
【００６７】
前段の画像認識の処理過程（第１の画像認識過程）を開始すると、まず、ステップＳ１０１において、画像範囲設定部１１１は、画素信号処理部１００から読み出して画像認識の処理を行う画像範囲を設定する。ステップＳ１０１は、第１の画像認識過程において最初に画像認識の処理を行う画像範囲を設定する処理段階であるため、画像範囲設定部１１１には、特徴量判定部１１５から画像認識の処理の結果は入力されていない。このため、画像範囲設定部１１１は、画素信号処理部１００から読み出す画像の全ての範囲を、画像認識の処理を行う画像範囲に設定する。そして、画像範囲設定部１１１は、全ての範囲を画像範囲として設定したことを表す範囲情報を、画像読み出し部１１３に出力する。
【００６８】
続いて、ステップＳ１０２において、読み出し回路選択部１１２は、画像認識の処理に用いる画像を読み出す電荷読み出し回路部として選択する。ステップＳ１０２は、第１の画像認識過程において画像認識の処理を行う最初の画像を読み出す処理段階であるため、読み出し回路選択部１１２には、特徴量判定部１１５から画像認識の処理の結果は入力されていない。このため、読み出し回路選択部１１２は、第２の電荷読み出し回路部１０６を、画像認識の処理に用いる画像を読み出す電荷読み出し回路部として選択する。そして、読み出し回路選択部１１２は、選択した第２の電荷読み出し回路部１０６から画像を読み出すための画像読み出し指示を、画像読み出し部１１３に出力する。
【００６９】
続いて、ステップＳ１０３において、画像読み出し部１１３は、読み出し回路選択部１１２から入力された画像読み出し指示に応じて、画像範囲設定部１１１から入力された範囲情報で表された全ての範囲の低解像度画像Ｓ２を読み出すための画像読み出し制御信号を、画素信号処理部１００内の第２の電荷読み出し回路部１０６に出力する。これにより、画素信号処理部１００内の第２の電荷読み出し回路部１０６から、図３（ａ）に示したような、全ての範囲の低解像度画像Ｓ２が出力される。そして、画像読み出し部１１３は、画素信号処理部１００内の第２の電荷読み出し回路部１０６から読み出した全ての範囲の低解像度画像Ｓ２を、部分画像設定部１１４と、特徴量判定部１１５とに出力する。
【００７０】
このように、第１の画像認識過程においては、画素信号処理部１００から画素数を減縮した低解像度画像Ｓ２を読み出す。すなわち、第１の画像認識過程においては、画素信号処理部１００から高解像度画像Ｓ１を読み出すときよりも低消費電力で高速に低解像度画像Ｓ２を読み出す。これにより、第１の画像認識過程では、高速な画像認識の処理を実現することができる。
【００７１】
続いて、ステップＳ１０４において、部分画像設定部１１４は、画像読み出し部１１３から入力された全ての範囲の低解像度画像Ｓ２の領域を分割した部分画像を設定する。図３（ｂ）に示した第１の画像認識過程における部分画像の設定段階の一例では、全ての範囲の低解像度画像Ｓ２の領域を、予め定めた複数個（図３（ｂ）では水平方向および垂直方向にそれぞれの４つずつの１６個）のブロックに分割し、それぞれのブロックを部分画像Ｂ１〜部分画像Ｂ１６として設定した場合を示している。そして、部分画像設定部１１４は、設定した部分画像Ｂ１〜部分画像Ｂ１６のそれぞれを表す部分画像情報を、特徴量判定部１１５内の特徴量計算部１１５１に出力する。
【００７２】
続いて、ステップＳ１０５において、特徴量計算部１１５１は、画像読み出し部１１３から入力された全ての範囲の低解像度画像Ｓ２内に含まれる被写体の特徴量を、部分画像設定部１１４から入力された部分画像情報で表されたそれぞれの部分画像毎に算出する。なお、ステップＳ１０５は、低解像度画像Ｓ２に対して設定されたそれぞれの部分画像に対して特徴量を算出する処理を行う処理段階であるため、特徴量計算部１１５１は、例えば、上述したＲＧＢヒストグラムや統計量を用いた簡易的な方法によって被写体の特徴量を算出する。そして、特徴量計算部１１５１は、低解像度画像Ｓ２に対して設定されたそれぞれの部分画像毎に算出したそれぞれの特徴量を、分類器適用部１１５２に出力する。
【００７３】
続いて、ステップＳ１０６において、分類器適用部１１５２は、特徴量計算部１１５１から入力された低解像度画像Ｓ２に対して設定された部分画像毎のそれぞれの特徴量を予め構築しておいた分類器にそれぞれ入力し、それぞれの部分画像毎に、検出対象の被写体らしさを表す分類スコアを算出する。なお、それぞれの特徴量を入力する分類器としては、例えば、上述したＳＶＭなどが考えられるが、ステップＳ１０６は、低解像度画像Ｓ２の部分画像の特徴量に対して分類器を適用する処理を行う処理段階であるため、分類器適用部１１５２は、例えば、特徴量計算部１１５１から入力されたそれぞれの特徴量の数を少なくしたり、少ない教師データを用いて構築された分類器を用いたりすることなどによって分類器の処理を簡易的なものとし、分類器の処理の負荷を軽減する。また、分類器の処理の負荷を軽減するため、低解像度画像Ｓ２の部分画像の特徴量と予め定めた特徴量の閾値と比較した結果を分類スコアとする分類器を用いることもできる。そして、分類器適用部１１５２は、それぞれの部分画像毎に算出したそれぞれの分類スコアを、検出判定部１１５３に出力する。
【００７４】
続いて、ステップＳ１０７において、検出判定部１１５３は、分類器適用部１１５２から入力された低解像度画像Ｓ２に対して設定された部分画像毎の分類スコアに基づいて、それぞれの部分画像が検出対象候補であるか否かを判定する。そして、ステップＳ１０８において、検出判定部１１５３は、いずれかの部分画像が検出対象候補であるか否かを判定する。すなわち、検出判定部１１５３は、検出対象候補である部分画像が１つ以上あるか否かを判定する。
【００７５】
ステップＳ１０８における判定の結果、検出対象候補である部分画像が１つ以上ない場合、すなわち、低解像度画像Ｓ２に対して設定されたいずれの部分画像も検出対象候補ではない場合（ステップＳ１０８の“ＮＯ”）には、第１の画像認識過程を完了する。そして、例えば、次のフレームの画像に対する画像認識の処理を、第１の画像認識過程から再度実行する。
【００７６】
一方、ステップＳ１０８における判定の結果、検出対象候補である部分画像が１つ以上ある場合、すなわち、低解像度画像Ｓ２に対して設定されたいずれの部分画像が検出対象候補である場合（ステップＳ１０８の“ＹＥＳ”）には、検出判定部１１５３は、低解像度画像Ｓ２に対して設定された部分画像毎に判定した結果を、画像範囲設定部１１１と読み出し回路選択部１１２とに出力する。
【００７７】
このとき、検出判定部１１５３は、いずれの部分画像が検出対象候補であるかを表す情報を判定結果に含めて、画像範囲設定部１１１と読み出し回路選択部１１２とに出力する。図３（ｃ）では、ブロック分割した１６個の部分画像Ｂ１〜部分画像Ｂ１６の内、部分画像Ｂ１０と部分画像Ｂ１６とが検出対象候補である場合を示している。従って、検出判定部１１５３は、部分画像Ｂ１０と部分画像Ｂ１６とが検出対象候補であることを表す情報を含んだ判定結果を、画像範囲設定部１１１と読み出し回路選択部１１２とに出力する。
【００７８】
画像範囲設定部１１１は、特徴量判定部１１５から検出対象候補である部分画像が１つ以上あることを表す判定結果が入力されると、ステップＳ１１１から、後段の画像認識の処理過程（第２の画像認識過程）を開始する。
【００７９】
後段の画像認識の処理過程（第２の画像認識過程）を開始すると、まず、ステップＳ１１１において、画像範囲設定部１１１は、検出対象候補である部分画像の範囲を、画素信号処理部１００から読み出して画像認識の処理を行う新たな画像範囲に再度設定する。ステップＳ１１１は、第２の画像認識過程において詳細な画像認識の処理を行う画像範囲を設定する処理段階であるため、画像範囲設定部１１１は、特徴量判定部１１５から入力された判定結果に含まれている検出対象候補である部分画像の範囲を、画像認識の処理を行う新たな画像範囲に再度設定する。図３（ｃ）では、部分画像Ｂ１０と部分画像Ｂ１６とが検出対象候補であるため、画像範囲設定部１１１は、部分画像Ｂ１０と部分画像Ｂ１６とのそれぞれの範囲を、画素信号処理部１００から読み出して画像認識の処理を行う新たな画像範囲に再度設定する。そして、画像範囲設定部１１１は、検出対象候補である部分画像の範囲、すなわち、部分画像Ｂ１０と部分画像Ｂ１６とのそれぞれの範囲を新たな画像範囲として再度設定したことを表す範囲情報を、画像読み出し部１１３に出力する。
【００８０】
続いて、ステップＳ１１２において、読み出し回路選択部１１２は、画像認識の処理に用いる画像を読み出す電荷読み出し回路部として選択する。ステップＳ１１２は、第２の画像認識過程において詳細な画像認識の処理を行う画像を読み出す処理段階であるため、読み出し回路選択部１１２には、特徴量判定部１１５から検出対象候補である部分画像があることを表す判定結果が入力されている。このため、読み出し回路選択部１１２は、第１の電荷読み出し回路部１０５を、画像認識の処理に用いる画像を読み出す電荷読み出し回路部として選択する。そして、読み出し回路選択部１１２は、選択した第１の電荷読み出し回路部１０５から画像を読み出すための画像読み出し指示を、画像読み出し部１１３に出力する。
【００８１】
続いて、ステップＳ１１３において、画像読み出し部１１３は、読み出し回路選択部１１２から入力された画像読み出し指示に応じて、画像範囲設定部１１１から入力された範囲情報で表された検出対象候補である部分画像の範囲の高解像度画像Ｓ１を読み出すための画像読み出し制御信号を、画素信号処理部１００内の第１の電荷読み出し回路部１０５に出力する。これにより、画素信号処理部１００内の第１の電荷読み出し回路部１０５から、図３（ｄ）に示したような、検出対象候補である部分画像Ｂ１０と部分画像Ｂ１６とのそれぞれの範囲の高解像度画像Ｓ１が出力される。そして、画像読み出し部１１３は、画素信号処理部１００内の第１の電荷読み出し回路部１０５から読み出した検出対象候補である部分画像の範囲の高解像度画像Ｓ１を、部分画像設定部１１４と、特徴量判定部１１５とに出力する。
【００８２】
このように、第２の画像認識過程においては、画素信号処理部１００から読み出す高解像度画像Ｓ１の範囲を限定する。これにより、第２の画像認識過程では、画素信号処理部１００から低解像度画像Ｓ２を読み出すときよりも低速で、よりも消費電力が高いことが予想される高解像度画像Ｓ１の読み出しにおける読み出し速度の向上と、消費電力の低減とを実現する。すなわち、第２の画像認識過程では、処理時間と消費電力とを抑えた状態で、高精度の画像認識の処理を行うことができる。
【００８３】
なお、第２の画像認識過程では、検出対象候補である部分画像の範囲の高解像度画像Ｓ１のみを画素信号処理部１００から読み出す。従って、第２の画像認識過程では、検出対象候補である部分画像の範囲の高解像度画像Ｓ１の領域をさらに分割した部分画像を設定する必要がないため、部分画像設定部１１４は動作せず、部分画像情報を特徴量判定部１１５内の特徴量計算部１１５１に出力しない。しかし、画素信号処理部１００から高解像度画像Ｓ１を読み出す場合、画素信号処理部１００に備えた画素アレイ内に配置された複数の画素から画素信号を読み出す行の範囲は、画像読み出し部１１３が出力する画像読み出し制御信号によって制御することができるが、列の範囲は画像読み出し制御信号によって制御することができないことも考えられる。この場合、画像範囲設定部１１１は、ステップＳ１１１において、検出対象候補であるそれぞれの部分画像が全て含まれる和の範囲を、画素信号処理部１００から読み出して画像認識の処理を行う新たな画像範囲に再度設定することが考えられる。より具体的には、画像範囲設定部１１１が、図３（ｄ）に示した検出対象候補である部分画像Ｂ１０と部分画像Ｂ１６とが含まれる部分画像Ｂ９〜部分画像Ｂ１６の範囲を、画素信号処理部１００から読み出して画像認識の処理を行う新たな画像範囲に再度設定することが考えられる。このため、画像読み出し部１１３は、ステップＳ１１３において、画像範囲設定部１１１から入力された範囲情報で表された検出対象候補である部分画像Ｂ１０と部分画像Ｂ１６とが含まれる部分画像Ｂ９〜部分画像Ｂ１６の範囲の高解像度画像Ｓ１を読み出すための画像読み出し制御信号を、画素信号処理部１００内の第１の電荷読み出し回路部１０５に出力する。そして、画素信号処理部１００内の第１の電荷読み出し回路部１０５からは、部分画像Ｂ９〜部分画像Ｂ１６の範囲の高解像度画像Ｓ１が出力される。従って、このような場合には、部分画像設定部１１４が、画像読み出し部１１３から入力された検出対象候補である部分画像Ｂ１０と部分画像Ｂ１６とが含まれる部分画像Ｂ９〜部分画像Ｂ１６の範囲の高解像度画像Ｓ１の領域を分割し、検出対象候補である部分画像Ｂ１０または部分画像Ｂ１６のみの領域をそれぞれの部分画像として設定したことを表す部分画像情報を、特徴量判定部１１５内の特徴量計算部１１５１に出力することが考えられる。
【００８４】
続いて、ステップＳ１１５において、特徴量計算部１１５１は、画像読み出し部１１３から入力された検出対象候補である部分画像の範囲の高解像度画像Ｓ１内に含まれる被写体の特徴量を、それぞれの部分画像毎に算出する。なお、ステップＳ１１５は、高解像度画像Ｓ１に対して、それぞれの部分画像毎に特徴量を算出する処理を行う処理段階であるため、特徴量計算部１１５１は、例えば、上述したＨＯＧやＢｏＦを用いた詳細な方法によって被写体の特徴量を算出する。そして、特徴量計算部１１５１は、高解像度画像Ｓ１に対してそれぞれの部分画像毎に算出したそれぞれの特徴量を、分類器適用部１１５２に出力する。
【００８５】
続いて、ステップＳ１１６において、分類器適用部１１５２は、特徴量計算部１１５１から入力された高解像度画像Ｓ１の部分画像毎のそれぞれの特徴量を予め構築しておいた分類器にそれぞれ入力し、それぞれの部分画像毎に、予め用意された検出対象の被写体らしさを表す分類スコアを算出する。なお、ステップＳ１１６は、高解像度画像Ｓ１の部分画像の特徴量に対して分類器を適用する処理を行う処理段階であるため、分類器適用部１１５２は、例えば、上述したＳＶＭやＫＤＡなどをそれぞれの特徴量を入力する分類器として用いることによって、より高精度な分類スコアを算出する。そして、分類器適用部１１５２は、高解像度画像Ｓ１に対してそれぞれの部分画像毎に算出したそれぞれの分類スコアを、検出判定部１１５３に出力する。
【００８６】
続いて、ステップＳ１１７において、検出判定部１１５３は、分類器適用部１１５２から入力された高解像度画像Ｓ１の部分画像毎の分類スコアに基づいて、それぞれの部分画像が検出対象であるか否かを判定し、第２の画像認識過程を完了する。つまり、検出判定部１１５３は、第１の画像認識過程において検出された検出対象候補である部分画像が、最終的に検出すべき検出対象の部分画像であうか否かを判定し、第２の画像認識過程を完了する。図３（ｅ）では、図３（ｄ）に示した検出対象候補である部分画像Ｂ１０と部分画像Ｂ１６との内、部分画像Ｂ１０が検出対象である場合を示している。
【００８７】
ここで、検出判定部１１５３が高解像度画像Ｓ１の部分画像毎に判定した結果、つまり、部分画像Ｂ１０が検出対象であることを表す情報を含んだ判定結果は、例えば、本実施形態の画像認識装置１０を構築した撮像システムに備えられ、本画像認識装置１０による画像認識の結果に応じて撮像システムの制御を行う制御装置や、本画像認識装置１０による画像認識の結果に応じて最終的な画像の生成を行う画像処理部などによって利用される。これにより、本実施形態の画像認識装置１０を構築した撮像システムでは、本画像認識装置１０による画像認識の結果に応じた様々な機能を実現することができる。例えば、図３（ｆ）に示したように、「正面を向いている犬」を検出したことを表す表示枠Ａ１０を、本実施形態の画像認識装置１０を構築した撮像システムに備えた表示装置に表示する、高解像度画像Ｓ１や低解像度画像Ｓ２に基づいて生成した表示画像に重畳して表示させることができる。
【００８８】
本実施形態によれば、二次元の行列状に配置された複数の画素のそれぞれに備えた光電変換部（光電変換部１０１ａ〜光電変換部１０１ｄ）が発生した信号電荷を保持する複数の第１の電荷蓄積回路（第１の電荷蓄積回路１０３ａ〜第１の電荷蓄積回路１０３ｄ）と、複数の画素の内、予め定めた画素に備えた光電変換部（光電変換部１０１ａ〜光電変換部１０１ｄ）が発生した信号電荷を保持する複数の第２の電荷蓄積回路（第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄ）と、第１の電荷蓄積回路１０３ａ〜第１の電荷蓄積回路１０３ｄのそれぞれに保持した信号電荷に応じた画素信号を読み出し、ここで読み出した画素信号に基づいた画像を、第１の画像（高解像度画像Ｓ１）として出力する第１の電荷読み出し回路部（第１の電荷読み出し回路部１０５）と、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれに保持した信号電荷に応じた画素信号を読み出し、ここで読み出した画素信号に基づいた画像を、予め定めた数の画素数に減縮した第２の画像（低解像度画像Ｓ２）として出力する第２の電荷読み出し回路部（第２の電荷読み出し回路部１０６）と、第１の電荷読み出し回路部１０５または第２の電荷読み出し回路部１０６のいずれか一方を、画像を読み出す電荷読み出し回路部として選択する読み出し回路選択部（読み出し回路選択部１１２）と、読み出し回路選択部１１２によって選択された電荷読み出し回路部から画像を読み出す画像読み出し部（画像読み出し部１１３）と、画像読み出し部１１３が読み出した画像に含まれる被写体の特徴量を算出し、ここで算出した特徴量に基づいて検出対象の被写体を判定する特徴量判定部（特徴量判定部１１５）と、を備え、最初に第２の電荷読み出し回路部１０６を選択し、ここで選択した第２の電荷読み出し回路部１０６から読み出した低解像度画像Ｓ２に含まれる被写体の特徴量に基づいて検出対象の被写体であるか否かを判定した判定結果に応じて、次に第１の電荷読み出し回路部１０５を選択して、高解像度画像Ｓ１に含まれる被写体に対する判定を行うか否かを決定する、画像認識装置（画像認識装置１０）が構成される。
【００８９】
また、本実施形態によれば、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄは、対応する複数の画素内の光電変換部（光電変換部１０１ａ〜光電変換部１０１ｄ）のそれぞれが同じ露光期間で発生したそれぞれの信号電荷を平均化した電荷量の信号電荷を保持し、第２の電荷読み出し回路部１０６が出力する低解像度画像Ｓ２は、第１の電荷読み出し回路部１０５が出力する高解像度画像Ｓ１と同じ露光によって得られた信号電荷に応じた画素信号に基づいた、高解像度画像Ｓ１よりも解像度が低い画像である画像認識装置１０が構成される。
【００９０】
また、本実施形態によれば、画像読み出し部１１３が読み出した画像の領域を、少なくとも１つの領域に分割した部分画像（例えば、部分画像Ｂ１〜部分画像Ｂ１６）を設定する部分画像設定部（部分画像設定部１１４）、をさらに備え、特徴量判定部１１５は、部分画像設定部１１４によって設定された部分画像（例えば、部分画像Ｂ１〜部分画像Ｂ１６）毎に、この部分画像に含まれる被写体が検出対象の被写体であるか否かを判定する画像認識装置１０が構成される。
【００９１】
また、本実施形態によれば、部分画像設定部１１４は、画像読み出し部１１３が最初に読み出した低解像度画像Ｓ２の領域を分割した複数の部分画像（例えば、部分画像Ｂ１〜部分画像Ｂ１６）を設定する画像認識装置１０が構成される。
【００９２】
また、本実施形態によれば、画像読み出し部１１３が読み出す画像の範囲を設定する画像範囲設定部（画像範囲設定部１１１）、をさらに備え、画像範囲設定部１１１は、低解像度画像Ｓ２に対して特徴量判定部１１５が判定した、検出対象の被写体であるか否かの判定結果に基づいて、画像読み出し部１１３が次に読み出す高解像度画像Ｓ１の範囲を再設定し、画像読み出し部１１３は、次に高解像度画像Ｓ１を読み出す際に、画像範囲設定部１１１によって再設定された画像の範囲の高解像度画像Ｓ１を読み出す画像認識装置１０が構成される。
【００９３】
また、本実施形態によれば、特徴量判定部１１５は、画像読み出し部１１３が読み出した画像に含まれる被写体の特徴量を算出する特徴量計算部（特徴量計算部１１５１）と、特徴量計算部１１５１が算出した特徴量を、予め構築しておいた分類器に入力し、検出対象の被写体らしさを表す分類スコアを出力する分類器適用部（分類器適用部１１５２）と、分類器適用部１１５２が算出した分類スコアに基づいて、特徴量計算部１１５１が算出した特徴量で表される被写体が検出対象の被写体であるか否かを判定する検出判定部（検出判定部１１５３）と、を備える、画像認識装置１０が構成される。
【００９４】
また、本実施形態によれば、特徴量計算部１１５１は、画像読み出し部１１３が最初に読み出した低解像度画像Ｓ２に含まれる被写体の特徴量と、画像読み出し部１１３が次に読み出した高解像度画像Ｓ１に含まれる被写体の特徴量とのそれぞれを、異なる算出方法（例えば、ＲＧＢヒストグラムや統計量を用いた簡易的な方法と、ＨＯＧやＢｏＦを用いた詳細な方法）で算出し、分類器適用部１１５２は、低解像度画像Ｓ２に対して算出された特徴量と、高解像度画像Ｓ１に対して算出された特徴量とのそれぞれを、予め構築しておいた異なる分類器（例えば、特徴量を閾値と比較する分類器と、ＳＶＭやＫＤＡなどの分類器）に入力する画像認識装置１０が構成される。
【００９５】
また、本実施形態によれば、画像範囲設定部１１１は、画像読み出し部１１３が最初に低解像度画像Ｓ２を読み出す際に、読み出す低解像度画像Ｓ２の全ての範囲を、このとき画像読み出し部１１３が読み出す画像の範囲に設定する画像認識装置１０が構成される。
【００９６】
また、本実施形態によれば、複数の第１の電荷蓄積回路（第１の電荷蓄積回路１０３ａ〜第１の電荷蓄積回路１０３ｄ）に、二次元の行列状に配置された複数の画素のそれぞれに備えた光電変換部（光電変換部１０１ａ〜光電変換部１０１ｄ）が発生した信号電荷を保持させる第１の電荷蓄積手順と、複数の第２の電荷蓄積回路（第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄ）に、複数の画素の内、予め定めた画素に備えた光電変換部（光電変換部１０１ａ〜光電変換部１０１ｄ）が発生した信号電荷を保持させる第２の電荷蓄積手順と、第１の電荷読み出し回路部（第１の電荷読み出し回路部１０５）に、第１の電荷蓄積回路１０３ａ〜第１の電荷蓄積回路１０３ｄのそれぞれに保持した信号電荷に応じた画素信号を読み出させ、ここで読み出させた画素信号に基づいた画像を、第１の画像（高解像度画像Ｓ１）として出力させる第１の電荷読み出し手順と、第２の電荷読み出し回路部（第２の電荷読み出し回路部１０６）に、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれに保持した信号電荷に応じた画素信号を読み出させ、ここで読み出させた画素信号に基づいた画像を、予め定めた数の画素数に減縮した第２の画像（低解像度画像Ｓ２）として出力させる第２の電荷読み出し手順と、読み出し回路選択部（読み出し回路選択部１１２）に、第１の電荷読み出し回路部１０５または第２の電荷読み出し回路部１０６のいずれか一方を、画像を読み出させる電荷読み出し回路部として選択させる読み出し回路選択手順と、画像読み出し部（画像読み出し部１１３）に、読み出し回路選択手順によって選択された電荷読み出し回路部から画像を読み出させる画像読み出し手順と、特徴量判定部（特徴量判定部１１５）に、画像読み出し手順によって読み出された画像に含まれる被写体の特徴量を算出させ、ここで算出させた特徴量に基づいて検出対象の被写体を判定させる特徴量判定手順と、を含み、最初の処理過程（第１の画像認識過程）で、第２の電荷読み出し回路部１０６を選択し、ここで選択した第２の電荷読み出し回路部１０６によって読み出した低解像度画像Ｓ２に含まれる被写体の特徴量に基づいて検出対象の被写体であるか否かを判定した判定結果に応じて、次の処理過程（第２の画像認識過程）で、第１の電荷読み出し回路部１０５を選択して、高解像度画像Ｓ１に含まれる被写体に対する判定を行うか否かを決定する、画像認識方法が構成される。
【００９７】
上記に述べたとおり、本発明を実施するための形態によれば、画素信号処理部から、同じ露光によって得られた信号電荷に基づいて、画素信号処理部に配置された全ての画素の画素信号に基づいた高解像度の画像と、画素信号処理部に配置された画素の数（画素数）を減縮した画素信号に基づいた低解像度の画像とのそれぞれを、別々に独立して出力する。そして、本発明を実施するための形態によれば、画像認識処理部が、最初に画素信号処理部から低解像度の画像を読み出して簡易的な画像認識の処理を行い、詳細な画像認識の処理が必要となったときに、画素信号処理部から高解像度の画像を読み出して詳細な画像認識の処理を行う。これにより、本発明を実施するための形態では、高精度の画像認識と高速な画像認識とを両立した画像認識装置を実現することができる。
【００９８】
また、本発明を実施するための形態によれば、画素信号処理部による同じ１回の露光（撮影）によって得られた高解像度の画像と低解像度の画像とを用いて画像認識の処理を行う。このとき、本発明を実施するための形態では、低解像度の画像を画素信号処理部内で生成する、つまり、画素信号処理部に備えた第２の電荷蓄積回路（平均化電荷蓄積回路）が、光電変換部が発生した信号電荷を平均化することによって生成するため、低解像度の画像を瞬時に生成することができる。このため、本発明を実施するための形態では、従来の画像認識の処理において１回の撮影のみで画像認識の過程を２段階に分ける場合に必要であった画像の解像度を変換する画像処理が不要となり、画像認識の処理に要する処理時間や、処理中の消費電力を少なくした画像認識装置を実現することができる。また、本発明を実施するための形態では、画像の解像度を変換する画像処理が不要となったことにより、小型化した画像認識装置を実現することができる。
【００９９】
また、本発明を実施するための形態によれば、画素信号処理部による同じ１回の露光（撮影）によって得られた高解像度の画像と低解像度の画像とを用いて画像認識の処理を行うことにより、最初に行う低解像度の画像を用いた高速で簡易的な画像認識の処理と、その後に行う高解像度の画像を用いた詳細な画像認識の処理とで、同じタイミングで撮影された被写体、すなわち、位置のずれがない被写体に対して画像認識の処理を行うことができる。これにより、本発明を実施するための形態では、高速で実行した簡易的な画像認識の処理で検出した結果を、その後に行う詳細な画像認識の処理に有効に活用することができる。
【０１００】
例えば、高解像度の画像内の被写体と低解像度の画像内の被写体との位置合わせなど、画像認識において動きが速い被写体を検出対象とする際に必要になると考えられる処理が不要になる。この被写体との位置合わせの処理が不要になるということは、小型化した画像認識装置を実現する際にも有効である。より詳細には、従来の画像認識の処理では、低解像度の画像と高解像度の画像とが異なる撮影によって得られるため、動きが速い被写体を検出対象として検出する際に、低解像度の画像を用いて高速に実行した簡易的な画像認識の処理で検出した被写体の状態と、高解像度の画像を用いた詳細な画像認識の処理で検出した被写体の状態とが異なってしまっていた。このため、従来の画像認識の処理では、高解像度の画像内の被写体と低解像度の画像内の被写体との位置合わせなどの処理が必要であった。これに対して、本発明を実施するための形態では、同じタイミングの被写体に対してそれぞれの画像認識の処理を行うことができるため、動きが速い被写体を検出対象として検出する場合でも、低解像度の画像を用いて高速に実行した簡易的な画像認識の処理で検出した被写体の状態と、高解像度の画像を用いた詳細な画像認識の処理で検出した被写体の状態とが同じ状態である。このため、本発明を実施するための形態では、図３の画像認識の処理の一例で示したペット（図３では、「犬」）が正面を向いている状態を検出する場合のように、高速で実行した簡易的な画像認識の処理で検出した結果を、その後に行う詳細な画像認識の処理に用いることができ、従来の画像認識の処理において必要であった高解像度の画像内の被写体と低解像度の画像内の被写体との位置合わせなどの処理が不要となる。
【０１０１】
また、同じ１回の露光（撮影）によって高解像度の画像と低解像度の画像とが得られ、高解像度の画像内の被写体と低解像度の画像内の被写体との位置合わせなどの処理が不要であるということは、例えば、低解像度の画像を用いた簡易的な画像認識の処理の結果を、その結果に応じて画像認識装置の全ての動作が開始したり、フレームレートを高くしたりする、いわゆる、ウェイクアップ動作の判定などにも、利用することができる。このウェイクアップ動作の判定への利用は、画像認識装置のさらなる低消費電力化の実現にも有効である。より詳細には、例えば、従来の画像認識の処理において低解像度の画像を用いた簡易的な画像認識の処理の結果をウェイクアップ動作の判定に利用した場合には、従来の画像認識装置の全ての動作が開始された後に、高解像度の画像の撮影が再度必要になってしまう。このため、従来の画像認識装置では、ウェイクアップすると判定した低解像度の画像と異なる高解像度の画像に対して、ウェイクアップ後の処理を行うことになる。これに対して、本発明を実施するための形態では、同じ露光（撮影）によって高解像度の画像と低解像度の画像とが得られているため、ウェイクアップすると判定した低解像度の画像と同じ露光（撮影）によって得られた高解像度の画像に対して、ウェイクアップ後の処理を行うことができる。つまり、本発明を実施するための形態では、低解像度の画像を用いた簡易的な画像認識の処理の結果をウェイクアップ動作の判定などに利用した場合でも、ウェイクアップ動作をしていないときと同様の処理を行うことができる。
【０１０２】
このように、本発明を実施するための形態では、高精度の画像認識と高速な画像認識とを両立すると共に、全体の処理時間を短縮、低消費電力化および小規模化を図った画像認識装置を構築することができる。そして、本発明を実施するための形態の画像認識装置を構築した撮像システムでは、高精度の画像認識と高速な画像認識との両立、全体の処理時間を短縮による高速化、低消費電力化による長時間駆動、および小型化を実現した有効なシステムを実現することができる。
【０１０３】
なお、本実施形態においては、画像認識装置１０に備えた画素信号処理部１００において、それぞれの画素に備えた対応する光電変換部１０１が発生したそれぞれの信号電荷の電荷量を平均化した信号電荷を保持する第２の電荷蓄積回路１０４を備え、高解像度画像Ｓ１と低解像度画像Ｓ２とをそれぞれ出力する構成を示した。しかし、本発明の画像認識装置に備える画素信号処理部の構成は、本発明を実施するための形態においてに示した構成に限定されるものではない。例えば、画素信号処理部内に、第２の電荷蓄積回路１０４が保持した対応する画素が発生したそれぞれの信号電荷を平均化した信号電荷を、さらに平均化する構成を備え、画素信号処理部から、低解像度画像Ｓ２よりもさらに低解像度の画像も出力する構成にすることもできる。この場合、画像認識装置では、画像認識の処理過程を３段階に分けて、それぞれの段階で検出対象候補を絞り込んでいくような画像認識を構築することが考えられる。より具体的には、画像認識装置１０に備えた画像認識処理部１１０が、最初（１段目）の画像認識の処理過程において、低解像度画像Ｓ２よりもさらに低解像度の画像を用いてさらに高速な画像認識の処理を行い、次（２段目）の画像認識の処理過程において、低解像度画像Ｓ２を用いて高速な画像認識の処理を行い、最後の（３段目）の画像認識の処理過程において、高解像度画像Ｓ１を用いて高精度の画像認識の処理を行うことが考えられる。これにより、検出対象候補の見落としを抑制することができると考えられる。
【０１０４】
また、本実施形態においては、第１の画像認識過程におけるそれぞれの処理を簡易的な方法で行い、第２の画像認識過程におけるそれぞれの処理を詳細な方法で行う場合、つまり、第１の画像認識過程におけるそれぞれの処理の方法と第２の画像認識過程におけるそれぞれの処理の方法とが異なる場合について説明した。しかし、第１の画像認識過程において用いる低解像度画像Ｓ２は、第２の画像認識過程において用いる高解像度画像Ｓ１よりも解像度が低い画像、つまり、低解像度画像Ｓ２に含まれる画素数は、高解像度画像Ｓ１に含まれる画素数よりも少ない画像である。このため、第１の画像認識過程におけるそれぞれの処理の方法と第２の画像認識過程におけるそれぞれの処理の方法とを同じ方法にすることもできる。これは、低解像度画像Ｓ２は、高解像度画像Ｓ１よりも含まれる画素数が少ない画像であるため、第１の画像認識過程と第２の画像認識過程とにおけるそれぞれの処理を同じ方法で行った場合でも、第１の画像認識過程のそれぞれの処理の方が、第２の画像認識過程のそれぞれの処理よりも処理の負荷が軽減されていると考えることができるからである。
【０１０５】
また、本実施形態においては、画像認識装置１０に備えた画素信号処理部１００において、予め定めた２つの画素を組とした構成の一例を示した。しかし、本発明の画像認識装置に備える画素信号処理部における画素の組は、本発明を実施するための形態の構成に限定されるものではない。すなわち、本発明を実施するための形態に示した構成よりもさらに多くの画素で１つの組を構成することもできる。
【０１０６】
また、画素信号処理部１００に備える画素の数（画素数）や画素数を減縮する数は、本発明を実施するための形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において画素信号処理部１００に備える画素の数（画素数）や画素数を減縮する数を変更することができる。
【０１０７】
また、本実施形態においては、画像認識装置１０や、画像認識装置１０に備えた画素信号処理部１００に備えたそれぞれの構成要素を配置するための構造に関しては、限定しない。例えば、画素信号処理部１００が、それぞれの画素に入射した光を光電変換した画素信号に基づいた高解像度画像Ｓ１と低解像度画像Ｓ２とを別々に出力する、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ：電荷結合素子）型の固体撮像装置や、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）型の固体撮像装置で構成されていてもよい。そして、この固体撮像装置は、それぞれの構成要素を複数の基板に分けて配置した多層基板の構造であっても、全ての構成要素を１枚の基板に配置した、いわゆる、モノリシックの構造であってもよい。また、例えば、画像認識装置１０のそれぞれの構成要素を複数の基板に分けて多層基板の構造にしても、全ての構成要素をモノリシックの構造にしてもよい。
【０１０８】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
【符号の説明】
【０１０９】
１０・・・画像認識装置
１００・・・画素信号処理部（画像認識装置）
１０１ａ，１０１ｂ，１０１ｃ，１０１ｄ・・・光電変換部（画素，画像認識装置）
１０２ａ，１０２ｂ，１０２ｃ，１０２ｄ・・・電荷転送回路（画素，画像認識装置）
１０３ａ，１０３ｂ，１０３ｃ，１０３ｄ・・・第１の電荷蓄積回路（画素，画像認識装置）
１０４ａｂ，１０４ｃｄ・・・第２の電荷蓄積回路（画素，画像認識装置）
１０５・・・第１の電荷読み出し回路部（画像認識装置）
１０６・・・第２の電荷読み出し回路部（画像認識装置）
１１０・・・画像認識処理部（画像認識装置）
１１１・・・画像範囲設定部（画像認識装置）
１１２・・・読み出し回路選択部（画像認識装置）
１１３・・・画像読み出し部（画像認識装置）
１１４・・・部分画像設定部（画像認識装置）
１１５・・・特徴量判定部（特徴量判定部，画像認識装置）
１１５１・・・特徴量計算部（特徴量判定部，画像認識装置）
１１５２・・・分類器適用部（特徴量判定部，画像認識装置）
１１５３・・・検出判定部（特徴量判定部，画像認識装置）
【図１】
2015177300.tif 000003
【図２】
2015177300.tif 000004
【図３】
2015177300.tif 000005