(57)【要約】【課題】特徴量抽出装置において画像特徴量の演算精度を向上できるようにする。【解決手段】画像処理装置１は、撮像画像中の物体を認識する際に用いられる画像特徴量を抽出するように構成されており、処理部１０は、小領域特徴算出部２２と、テンソル算出部２３と、を備える。小領域特徴算出部２２は、撮像画像の少なくとも一部または全部の領域を複数に分割することによって複数の小領域を設定し、小領域毎に、２以上のパラメータを有する小領域特徴量を抽出するように構成される。テンソル算出部２３は、小領域から選定された対象領域の小領域特徴量を表す第１特徴量と、対象領域に対して予め設定された位置関係となる他の小領域についての小領域特徴量を表す第２特徴量との積を求める演算を含む演算を行うことによって、対象領域についての画像特徴量として求めるように構成される。【選択図】図１
2019212284.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像中の物体を認識する際に用いられる画像特徴量を抽出する特徴量抽出装置（１０）であって、
撮像画像の少なくとも一部または全部の領域を複数に分割することによって複数の小領域を設定する小領域設定部（２２）と、
前記小領域毎に、２以上のパラメータを有する小領域特徴量を抽出する小領域抽出部（２２）と、
前記小領域から選定された対象領域の小領域特徴量を表す第１特徴量と、前記対象領域に対して予め設定された位置関係となる他の小領域についての小領域特徴量を表す第２特徴量との積を求める演算を含む演算を行うことによって、前記対象領域についての画像特徴量として求める特徴量演算部（２３）と、
を備える特徴量抽出装置。
【請求項２】
請求項１に記載の特徴量抽出装置であって、
前記小領域抽出部は、ベクトルである小領域特徴量を抽出するように構成され、
前記特徴量算出部は、前記積として、前記第１特徴量と前記第２特徴量との直積を演算する
ように構成された特徴量抽出装置。
【請求項３】
請求項１又は請求項２に記載の特徴量抽出装置であって、
前記特徴量演算部は、前記積についての冪を、前記画像特徴量として演算する
ように構成された特徴量抽出装置。
【請求項４】
請求項３に記載の特徴量抽出装置であって、
前記特徴量演算部は、前記冪として、クロネッカー冪を演算する
ように構成された特徴量抽出装置。
【請求項５】
請求項１から請求項４までのいずれか１項に記載の特徴量抽出装置であって、
前記小領域抽出部は、前記２以上のパラメータを有する特徴量として、前記小領域を構成する各画素における輝度勾配方向のヒストグラムを用いる
ように構成された特徴量抽出装置。
【請求項６】
請求項１から請求項５までのいずれか１項に記載の特徴量抽出装置であって、
複数の前記小領域を含む分割領域を複数設定する分割設定部（２４）と、
前記分割領域の各々について、該分割領域に含まれる各小領域についての画像特徴量の合計又は平均を演算し、該分割領域についての画像特徴量として求める分割演算部（２４）と、
を更に備える特徴量抽出装置。
【請求項７】
請求項１から請求項６までのいずれか１項に記載の特徴量抽出装置であって、
前記対象領域は、複数の画素を有する特徴量抽出装置。
【請求項８】
コンピュータが実行する特徴量抽出方法であって、
撮像画像中において物体が含まれる領域を表す物体領域を複数に分割することによって複数の画素を有する複数の小領域を設定し、
前記小領域毎に、該小領域での特徴量であって２以上のパラメータを有する特徴量を表す小領域特徴量を抽出し、
前記小領域のうちの少なくとも１つである対象領域についての小領域特徴量を表す第１特徴量と、前記対象領域に対して予め設定された位置関係となる他の小領域についての小領域特徴量を表す第２特徴量との積を求める演算を含む演算を行うことによって、該演算
結果を前記小領域についての画像特徴量として求める、
特徴量抽出方法。
【請求項９】
車両に搭載され、前記車両の進行方向を撮像する撮像部（３１）、および物体の認識結果を報知するように構成された報知装置（３２）または物体の認識結果を用いて車両の予防安全制御を実施する電子制御装置と通信可能に接続され、前記撮像部で撮像された撮像画像中の物体を認識する物体認識装置（１０）であって、
前記撮像部（３１）、と通信する入力部と、
特徴量抽出プログラムを格納している第１メモリ（１２）と、
前記第１メモリから前記特徴量抽出プログラムを読み込み、
（ａ）前記撮像部から得られた撮像画像を分割し、複数の小領域を設定し、
（ｂ）前記小領域毎に、２以上のパラメータを有する小領域特徴量を抽出し、
（ｃ）前記小領域から選定された対象領域の小領域特徴量を表す第１特徴量と、前記対象領域に対して予め設定された位置関係となる他の小領域についての小領域特徴量を表す第２特徴量との積を求める演算を含む演算を行うことによって、前記対象領域についての画像特徴量として求めることによって
前記画像特徴量に基づいて前記物体を認識する特徴量演算装置と、
前記報知装置（３２）または前記電子制御装置の少なくともいずれか一方と通信可能に接続され、前記物体の認識結果を含むデータを該報知装置または電子制御装置の少なくとも一方に対して送信する送信部（２５）と、
を備える物体認識装置。
【請求項１０】
請求項９に記載の物体認識装置であって、
識別プログラムと比較参照テンソルとを格納している第２メモリ（１２）と、
前記第２メモリから前記識別プログラムと前記比較参照テンソルを読み込み、
（ｄ）前記画像特徴量と、前記比較参照テンソルとの内積演算を近似した、有限個のベクトルと小領域特徴量との内積の積の和を演算してスカラー量を得て、
（ｅ）前記スカラー量に基づき、前記比較参照テンソルが示す物体の識別を行う、
識別演算装置と、
を備える物体認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像画像中の物体を認識する際に用いられる画像特徴量を抽出するように構成された特徴量抽出装置、特徴量抽出方法、および物体認識装置に関する。
【背景技術】
【０００２】
撮像画像中に含まれる物体の種別を認識する技術が広く知られている。例えば、下記特許文献１には、撮像画像を構成する画素毎に、各画素の特徴量と各画素から所定の画素だけ離れた写像となる画素での特徴量との関係から、より精密な各画素の特徴量を算出し、算出された精密な特徴量を用いて物体を認識するという技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−０４４４３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、発明者の詳細な検討の結果、上記の特許文献１の技術では、物体の位置がずれた場合や、物体が回転した場合等に、写像となる画素との位置関係が変化するため、特徴量を算出する精度が低下するという課題が見出された。また、画素特徴量が複数パラメータからなる場合は、組み合わせ数が増加して要素数が非常に多くなってしまう。
【０００５】
本開示の１つの局面は、特徴量抽出装置、特徴量抽出方法、および物体認識装置のいずれかにおいて、画像特徴量の演算精度を向上させられるようにすることにある。
【課題を解決するための手段】
【０００６】
本開示の一態様は、撮像画像中の物体を認識する際に用いられる画像特徴量を抽出するように構成された特徴量抽出装置（１０）であって、小領域設定部（２２）と、小領域抽出部（２２）と、特徴量演算部（２３）と、を備える。
【０００７】
小領域設定部は、撮像画像の少なくとも一部または全部の領域を複数に分割することによって複数の小領域を設定するように構成される。小領域抽出部は、小領域毎に、２以上のパラメータを有する小領域特徴量を抽出するように構成される。特徴量演算部は、小領域から選定された対象領域の小領域特徴量を表す第１特徴量と、対象領域に対して予め設定された位置関係となる他の小領域についての小領域特徴量を表す第２特徴量との積を求める演算を含む演算を行うことによって、対象領域についての画像特徴量として求めるように構成される。
【０００８】
このような構成によれば、小領域単位で特徴量の積による特徴量を求めるので、物体の位置ずれ、すなわち移動や回転の影響を受けにくくすることができる。また、このような構成によれば、第１特徴量と第２特徴量との積を求める演算にて小領域の画像特徴量を求めるので、適切な積演算を用いれば、得られる要素数が過大にならないようにできる。よって、画像特徴量の演算精度を向上させることができる。
【０００９】
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
【図面の簡単な説明】
【００１０】
【図１】画像処理装置１の構成を示すブロック図である。
【図２】小領域特徴量の一例を示す説明図である。
【図３】写像についての説明図である。
【図４】分割領域の一例を示す説明図である。
【図５】通常手法および近似手法での歩行者検出率を示すグラフである。
【図６】通常手法および近似手法での処理時間を示すグラフである。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、本開示の実施形態を説明する。
［１．実施形態］
［１−１．構成］
本開示の一態様の画像処理装置１は、例えば乗用車やトラック等の車両に搭載され、車両の進行方向に位置する物体の種別を識別する機能を有する装置である。画像処理装置１は、図１に示すように処理部１０を備える。また、画像処理装置１は、入力部１６と、出力部１７と、撮像部３１と、表示部３２と、電子制御装置３３と、を備えてもよい。
【００１２】
入力部１６は、撮像部３１と通信する機能を有するインタフェース回路である。送信部１７は、物体の認識結果を含むデータを表示部３２、および電子制御装置３３の少なくとも一方に対して送信する機能を有するインタフェース回路である。
【００１３】
撮像部３１は、車両の周囲が撮像領域になるよう車両の外部に配置され、周知のカメラとして構成される。撮像部３１は、通常、進行方向である前方または後方が撮像領域になるように、前方または後方に向けて配置される。撮像部３１は撮像画像を処理部１０に送る。
【００１４】
表示部３２は、周知のディスプレイ等の表示装置として構成される。表示部３２は、処理部１０から撮像画像中の物体の識別結果を取得し、その結果を画像、文字、ランプの点灯等によって車両の乗員に報知する。
【００１５】
処理部１０は、撮像部３１、表示部３２、および電子制御装置３３と、前述の入力部１６および送信部１７の何れかを介して通信線で接続される。なお、処理部１０は、撮像部３１、表示部３２、および電子制御装置３３と無線で接続されていてもよい。処理部１０は、撮像部３１にて得られた撮像画像から、撮像画像中の物体の種別を識別し、その識別結果を表示部３２に送る処理を実施する。より詳細には、処理部１０は、ＣＰＵ１１と、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、メモリ１２）と、を有するマイクロコンピュータを備える。ＣＰＵ１１は、プログラムを実行し、演算を行う演算装置である。
【００１６】
処理部１０の各機能は、ＣＰＵ１１が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ１２が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、非遷移的実体的記録媒体とは、記録媒体のうちの電磁波を除く意味である。また、処理部１０は、１つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。
【００１７】
なお、メモリ１２は、ＳＶＭ（support vector machine）等の一般的な学習処理によって予め得られた学習モデルを記憶している。学習モデルは、物体の種別毎に準備されるデータであって、かつ本実施形態で求める画像特徴量との比較参照用のデータである。学習モデルは、例えば、線形モデルを利用する場合であれば、本実施形態で求める画像特徴量と同次元の比較参照用のデータとされる。学習モデルは、テンソルである比較参照テンソルとされてもよい。学習モデルは、メモリ１２以外の他の記録装置に格納されていてもよい。
【００１８】
処理部１０は、図１に示すように、画像取得部２１と、小領域特徴算出部２２と、テンソル算出部２３と、画像特徴量抽出部２４と、識別部２５と、を備える。小領域特徴算出部２２、テンソル算出部２３、および画像特徴量抽出部２４は、メモリ１２に格納された特徴量抽出プログラムを実行することで実現される。また、識別部２５は、メモリ１２に格納された識別プログラムを実行することで実現される。処理部１０に含まれる各部の機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の機能は、一つあるいは複数のハードウェアを用いて実現されてもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は、デジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現されてもよい。
【００１９】
［１−２．処理］
次に、処理部１０が各種処理を実行することによって実現される各機能について、以下に説明する。
【００２０】
［１−２−１．画像取得部２１］
画像取得部２１としての機能では、撮像部３１から送られた撮像画像を取得する処理を実施する。取得した撮像画像は、一時的にメモリ１２に格納される。
【００２１】
［１−２−２．小領域特徴算出部２２］
小領域特徴算出部２２としての機能では、画像取得部２１による処理に続いて、小領域特徴量を算出する処理を実施する。
【００２２】
この機能では、処理部１０は、まず、図２に示すように、撮像画像中において物体が含まれる領域を表す物体領域を複数に分割することによって複数の画素を有する複数の小領域を設定する。物体領域は、任意に設定すればよい。例えば、物体が存在すると予想される位置を含む領域を、撮像画像全体から適当に切り出すことによって設定してもよいし、撮像画像全体から輝度の境界を表すエッジの位置を抽出することによってある程度の物体の位置を認識し、この物体の位置の一部又は全体が含まれる領域を切り出すことによって設定してもよい。
【００２３】
小領域は、図２において実線の枠で表記されている。小領域は、例えば、縦４画素、横４画素というように縦方向、横方向の画素数が等しくなるように設定されてもよいし、縦４画素、横６画素というように、１画素当たりの縦横の長さの比を考慮して、小領域が正方形に近い形になるように設定されてもよい。
【００２４】
続いて、処理部１０は、小領域毎に小領域特徴量を抽出する。ここで、小領域特徴量とは、小領域での特徴量であって２以上のパラメータを有する特徴量を表す。本実施形態の小領域特徴量は、ベクトルであるものとして説明する。ただし、小領域特徴量は、例えば、スカラーでもよく、また、テンソルの各成分をベクトル表記したものでもよい。
【００２５】
より詳細には、本実施形態での小領域特徴量は、図２に示すように、小領域を構成する各画素における輝度勾配方向ヒストグラムとする。輝度勾配方向とは、ある画素に対して周囲の画素の輝度がどちらの方向に最も大きく変化するかを示す値であり、例えば、輝度が最も暗く変化する方向を８方向で示す値である。
【００２６】
そして、輝度勾配方向ヒストグラムは、小領域を構成する各画素の全てについて、輝度勾配方向を投票した結果を表す。図２の例では、輝度勾配方向が、下、右下、右、右上、上、左上、左、左下の順に、投票数を棒グラフの長さで表現している。
【００２７】
これらの投票数を、８つのパラメータからなるベクトルとして表記したものを、ｈで表現し、例えば、左上の小領域を始点としたときに、ｍ番目の小領域の小領域特徴をｈｍと表記する。
【００２８】
［１−２−３．テンソル算出部２３］
テンソル算出部２３としての機能では、小領域特徴算出部２２による処理に続いて、ｍ番目の小領域とτ(ｍ)番目の小領域とで、小領域特徴ベクトルの積であるテンソルを算出して、ｍ番目の小領域の画像特徴量とする処理を実施する。
【００２９】
【数１】
2019212284.tif 000003
上記式（１）において、τは、例えば、演算対象となる小領域から所定距離だけ右方向、或いは下方向に平行移動した位置にある他の小領域の番号を返す写像である。図３に示す例では、ai番目の小領域の写像をbiと表記している。
【００３０】
つまり、小領域a1の写像はb1となり、小領域a2の写像はb2となる。また、図３示すaiでの小領域特徴量は、上記式（１）でのｈｍ、或いは後述する第１特徴量に対応し、図３示すbiでの小領域特徴量は、上記式（１）でのｈτ（ｍ）、或いは後述する第２特徴量に対応する。
【００３１】
また、上記式（１）では、ベクトルの積として、直積を採用している。さらに、高次特徴を得るために、得られたテンソルの冪をとっており、テンソルの冪としてクロネッカー冪を採用している。
【００３２】
クロネッカー冪は、冪の数だけ自身とのクロネッカー積をとったものであり、下記式（２）のように求められる。
【００３３】
【数２】
2019212284.tif 000004
［１−２−４．画像特徴量抽出部２４］
画像特徴量抽出部２４としての機能では、テンソル算出部２３による処理に続いて、分割領域の画像特徴量を演算する処理を実施する。分割領域とは、図４に示すように、物体領域を複数に分割した領域であって、かつ複数の小領域を含む領域を表す。図４では、分割領域を太実線の枠で表記し、小領域を破線枠で表記している。
【００３４】
分割領域の画像特徴量とは、各分割領域について、各領域内に含まれる複数の小領域の画像特徴量の合計または平均を表す。
i番目の分割領域ciの画像特徴量は、例えば下記式（３）を用いて求められる。
【００３５】
【数３】
2019212284.tif 000005
［１−２−５．識別部２５］
識別部２５としての機能では、画像特徴量抽出部２４による処理に続いて、メモリ１２に格納された学習モデルを参照して、分割領域の画像特徴量に基づいて物体の種別を識別する処理を実施する。
【００３６】
この処理では、周知の態様を採用できるが、例えば、線形モデルを実施するための学習モデルを準備しておき、線形モデルで物体の種別を識別する。
例えば、学習モデルをＷとして、下記式（４）のように、学習モデルＷと分割領域の画像特徴量との内積を求める。
【００３７】
【数４】
2019212284.tif 000006
ここで、この式（４）は一般式である下記式（５）にて定義される。
【００３８】
【数５】
2019212284.tif 000007
すなわち、学習モデルＷおよび分割領域の画像特徴量は、それぞれｐ階テンソルであるが、上記式（５）では、これらをそれぞれベクトル表記、換言すれば一列化し、一列化された学習モデルＷおよび分割領域の画像特徴量についての内積を求める。内積の演算結果はスカラーとなり、この値が予め準備された閾値（例えば０）を超えるか否かによって、物体の種別が学習モデルＷにより示される種別（例えば、歩行者）であるか否かを判定する。
【００３９】
このように上記式（４）を用いて演算を行う手法を以下では通常手法と呼ぶ。通常手法を採用して物体の種別を判定してもよいが、本実施形態では、通常手法よりも演算による処理負荷を軽減するために、下記の近似手法を採用する。
【００４０】
近似手法では、まず上記式（４）のうち、学習モデルＷの部分を等価になるように分解し、下記式（６）を得る。ただし、○の中に×が記載された記号である二項演算子は、直積演算を表す。
【００４１】
【数６】
2019212284.tif 000008
上記式（６）を得るには、特異値分解、ＣＰ分解等の一般的な手法を利用できる。上記式（６）中のｒについては、式（４）と式（６）とが等価になるように、任意に設定される。
【００４２】
式（６）においては、内積が線形性を有することから、シグマを内積の括弧の外に出すことができる。すなわち、式（６）は、下記式（７）のように表記できる。
【００４３】
【数７】
2019212284.tif 000009
ここで、テンソル積として直積を用いるので、下記式（８）が成立する。
【００４４】
【数８】
2019212284.tif 000010
したがって、式（７）を式（８）に倣って等価変換すると、下記式（９）が得られる。
【００４５】
【数９】
2019212284.tif 000011
ここで、近似手法では、式（９）に相当する学習モデルをメモリ１２において準備しておき、分割領域の画像特徴量が得られると、式（９）に分割領域の画像特徴量を分解して得られる各値を入力して演算を行う。ただし、本実施形態では、式（９）におけるｒの値を小さく変更してから演算を行う。
【００４６】
ｒの値が、特異値分解、ＣＰ分解等で得られた式（４）と等価となる値のままであると、演算精度は維持されるが、演算回数が多く、処理負荷が大きい。しかし、ｒの値を小さくすることで、演算精度は低下するが、演算回数および処理負荷を低減できる。ただし、ｒの値を小さくしすぎると、演算精度が低下しすぎる。このため、本実施形態では、例えば、演算精度が１％程度低下するようにｒの値を設定する。換言すれば、ｒの値を制限することによって、式（９）を用いた演算が、演算回数が制限された有限個の直積の和になるようにする。
【００４７】
図５には、分割領域の解像度を変更しつつ、通常手法および近似手法での歩行者検出率を測定した実験結果を示す。なお、図５では、近似手法での歩行者検出率が、その解像度での通常手法の歩行者検出率に対して１％低下するように、ｒの値を手動でチューニングしている。
【００４８】
また、図５で示す歩行者検出を実施した際の処理時間を図６に示している。図６からは、各解像度において、実線で示す近似手法の処理時間が、破線で示す通常手法の処理時間の約半分になっていることが分かる。なお、図６では、背景技術に相当する手法による処理時間を一点鎖線で示す。
【００４９】
このように、通常手法では、充分に処理時間の短縮が可能である。また、近似手法では、ｒの値を変更するだけで演算精度を変更することができる。また、演算精度を僅かに低下させるようにｒの値を変更すれば、処理時間を大きく低減させることできる。
【００５０】
続いて、物体の識別結果を含むデータは、表示部３２に出力され、識別結果が車両の乗員に報知される。なお、物体の識別結果の出力対象は、表示部３２に限らず、予防安全制御を実施する電子制御装置３３であってもよい。この場合、予防安全装置３３は、自動ブレーキを実施する装置、警報音を発する装置、或いは障害物を避ける自動操舵を行う操舵装置等であってもよい。なお、予防安全制御とは、車両の衝突を抑制する制御、或いは車両が衝突しないように車両を自動運転させる制御を示す。
【００５１】
［１−３．効果］
以上詳述した実施形態によれば、以下の効果を奏する。
（１ａ）本開示の一態様の画像処理装置１は、撮像画像中の物体を認識する際に用いられる画像特徴量を抽出するように構成されており、処理部１０は、小領域特徴算出部２２と、テンソル算出部２３と、を備える。
【００５２】
小領域特徴算出部２２は、撮像画像中において物体が含まれる領域を表す物体領域を複数に分割することによって複数の画素を有する複数の小領域を設定するように構成される。また、小領域特徴算出部２２は、小領域毎に、小領域での特徴量であって２以上のパラメータを有する特徴量を表す小領域特徴量を抽出する。
【００５３】
テンソル算出部２３は、小領域のうちの少なくとも１つである対象領域についての小領域特徴量を表す第１特徴量と、対象領域に対して予め設定された位置関係となる他の小領域についての小領域特徴量を表す第２特徴量との積を求める演算を含む演算を行うことによって、演算結果を小領域についての画像特徴量として求めるように構成される。
【００５４】
このような構成によれば、小領域単位で特徴量を求めるので、画素単位で特徴量を求める構成と比較して、物体の位置ずれ、すなわち移動や回転の影響を受けにくくすることができる。よって、画像特徴量の演算精度を向上させることができる。
【００５５】
また、このような構成によれば、第１特徴量と第２特徴量との積を求める演算にて小領域の画像特徴量を求めるので、適切な積演算を用いることで得られる要素数が過大にならないようにできる。
【００５６】
（１ｂ）本開示の一態様では、小領域特徴算出部２２は、ベクトルである小領域特徴量を抽出するように構成されてもよい。特徴量算出部は、積として、第１特徴量と第２特徴量との直積を演算してもよい。このような構成によれば、直積という一般的な演算で小領域の特徴量を求めることができる。
【００５７】
（１ｃ）本開示の一態様では、テンソル算出部２３は、積についての冪を、画像特徴量として演算してもよい。このような構成によれば、高次特徴を含む画像特徴量を求めることができる。
【００５８】
（１ｄ）本開示の一態様では、テンソル算出部２３は、冪として、クロネッカー冪を演算してもよい。
このような構成によれば、高次特徴を得る際にクロネッカー冪という具体的な演算で求めることができる。また、テンソル冪、ここではクロネッカー冪により非線形な特徴を得られるため、精度向上を期待できる。
【００５９】
（１ｅ）本開示の一態様では、小領域特徴算出部２２は、２以上のパラメータを有する特徴量として、小領域を構成する各画素における輝度勾配方向のヒストグラムを用いてもよい。このような構成によれば、小領域を構成する各画素の輝度勾配方向の傾向を特徴量
として表すことができる。
【００６０】
（１ｆ）本開示の一態様は、画像特徴量抽出部２４を更に備えてもよい。画像特徴量抽出部２４は、物体領域を複数に分割した領域であって、かつ複数の小領域を含む領域を表す複数の分割領域を設定するように構成される。また、画像特徴量抽出部２４は、分割領域の各々について、分割領域に含まれる各小領域についての画像特徴量の合計又は平均を演算し、演算結果を分割領域についての画像特徴量として求めるように構成される。
【００６１】
このような構成によれば、分割領域に含まれる各小領域についての画像特徴量の合計又は平均を演算することで分割領域の画像特徴量を求めるので、分割領域の画像特徴量に含まれるパラメータ数の増加を抑制することができる。
【００６２】
（１ｇ）上記実施形態の処理部１０は、車両に搭載され、車両の進行方向を撮像する撮像部３１、および物体の認識結果を報知するように構成された報知装置３２または物体の認識結果を用いて車両の予防安全制御を実施する電子制御装置３３と通信可能に接続され、撮像部３１で撮像された撮像画像中の物体を認識するように構成される。
【００６３】
処理部１０は、撮像部３１と通信する入力部１６と、特徴量抽出プログラムを格納しているメモリ１２と、メモリ１２から特徴量抽出プログラムを読み込み、
（ａ）撮像部３１から得られた撮像画像を分割し、複数の小領域を設定し、
（ｂ）小領域毎に、２以上のパラメータを有する小領域特徴量を抽出し、
（ｃ）小領域から選定された対象領域の小領域特徴量を表す第１特徴量と、対象領域に対して予め設定された位置関係となる他の小領域についての小領域特徴量を表す第２特徴量との積を求める演算を含む演算を行うことによって、対象領域についての画像特徴量として求めることによって
画像特徴量に基づいて物体を認識する特徴量演算装置と、
報知装置３２または電子制御装置３３の少なくともいずれか一方と通信可能に接続され、物体の認識結果を含むデータを報知装置３２または電子制御装置３３の少なくとも一方に対して送信する送信部２５と、
を備える物体認識装置として構成される。特徴量演算装置は、小領域特徴算出部２２、テンソル算出部２３、および画像特徴量抽出部２４が該当する。
【００６４】
このような構成によれば、物体の認識結果を利用した報知や予防安全制御を実施することができる。
（１ｈ）上記実施形態の処理部１０は、識別プログラムと比較参照テンソルとを格納しているメモリ１２と、メモリ１２から識別プログラムと比較参照テンソルを読み込み、
（ｄ）画像特徴量と、比較参照テンソルとの内積演算を近似した、有限個のベクトルの直積の和と画像特徴量との内積に相当する、有限個のベクトルと小領域特徴量との内積の積の和を演算してスカラー量を得て、
（ｅ）スカラー量に基づき、比較参照テンソルが示す物体の識別を行う、
識別演算装置と、を備える物体認識装置として構成される。識別演算装置には、識別部２５が該当する。
【００６５】
このような構成によれば、近似式による有限個のベクトルと小領域特徴量との内積の積の和の演算をし、かつスカラー量に基づき、比較参照テンソルが示す物体の識別を行うので、物体の識別を行う際の処理負荷を軽減することができる。
【００６６】
［２．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
【００６７】
（２ａ）上記実施形態では、テンソル算出部２３は、小領域の画像特徴量を算出する際にベクトル積、特に直積を算出するよう構成したが、これに限定されるものではない。例えば、小領域の画像特徴量を算出する際にベクトル積に限らずスカラーまたは行列の積を演算してもよい。また、直積以外にベクトルのクロス積、例えば、外積を演算してもよい。クロス積の演算例を式（１０）に示す。
【００６８】
【数１０】
2019212284.tif 000012
（２ｂ）上記実施形態では、テンソル算出部２３は小領域の画像特徴量を算出する際にクロネッカー冪を算出するように構成したが、これに限定されるものではない。例えば、クロネッカー冪以外に行列の冪乗を算出してもよい。行列の冪乗の一例を式（１１）に示す。
【００６９】
【数１１】
2019212284.tif 000013
（２ｃ）上記実施形態では、処理部１０が物体の種別を識別する機能を備えたが、物体の種別を識別する機能を備えることなく、画像特徴量を演算する機能を備えてもよい。
【００７０】
（２ｄ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
【００７１】
（２ｅ）上述した画像処理装置１の他、当該画像処理装置１を構成要素とするシステム、当該画像処理装置１としてコンピュータを機能させるためのプログラム、このプログラ
ムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像処理方法など、種々の形態で本開示を実現することもできる。
【００７２】
［３．実施形態の構成要素と本開示の構成要素との対応関係］
上記実施形態の処理部１０は、本開示での特徴量抽出装置に相当し、上記実施形態の小領域特徴算出部２２は、本開示での小領域設定部および小領域抽出部に相当する。また、上記実施形態のテンソル算出部２３は、本開示での特徴量演算部に相当し、上記実施形態の画像特徴量抽出部２４は、本開示での分割設定部、分割演算部に相当する。また、上記実施形態のＣＰＵは、本開示での演算装置に相当する。
【符号の説明】
【００７３】
１…画像処理装置、１０…処理部、１１…ＣＰＵ、１２…メモリ、１６…入力部、１７…送信部、２１…画像取得部、２２…小領域特徴算出部、２３…テンソル算出部、２４…画像特徴量抽出部、２５…識別部、３１…撮像部、３２…表示部、３３…電子制御装置。
【図１】
2019212284.tif 000014
【図２】
2019212284.tif 000015
【図３】
2019212284.tif 000016
【図４】
2019212284.tif 000017
【図５】
2019212284.tif 000018
【図６】
2019212284.tif 000019