(57)【要約】【課題】物体認識の精度低下を抑制しつつ、処理負荷を低減する。【解決手段】本開示に係る画像処理装置１０は、画像を取得するインターフェース１２と、取得された画像である取得画像に対して特異値分解による低ランク近似を行い、特異値分解による低ランク近似後の画像に対して物体認識を行うプロセッサ１３とを備える。【選択図】図１
2020071532.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得するインターフェースと、
前記取得された画像である取得画像に対して特異値分解による低ランク近似を行い、前記特異値分解による低ランク近似後の画像に対して物体認識を行うプロセッサと、を備える、画像処理装置。
【請求項２】
前記プロセッサは、
特異値分解により、前記取得画像に対応する行列を、左特異値行列と、第１の対角行列と、右特異値行列とに分解し、前記左特異値行列と、前記第１の対角行列のランクを下げた第２の対角行列と、前記右特異値行列との内積により得られる行列に対応する画像を、前記特異値分解による低ランク近似後の画像とし、
前記特異値分解による低ランク近似後の画像における所望の特徴量に応じて、前記第２の対角行列のランクを決定する、請求項１に記載の画像処理装置。
【請求項３】
前記プロセッサは、前記取得画像のエリアに応じて、前記所望の特徴量を異ならせる、請求項２に記載の画像処理装置。
【請求項４】
前記取得画像は、移動体に搭載されたカメラにより撮像され、
前記プロセッサは、前記移動体の挙動に応じて、前記所望の特徴量を異ならせる、請求項２または３に記載の画像処理装置。
【請求項５】
前記プロセッサは、学習により生成されたモデルに前記特異値分解による低ランク近似後の画像を入力して、前記物体認識を行う、請求項１から４のいずれか一項に記載の画像処理装置。
【請求項６】
前記モデルの学習に用いられる学習データは、前記特異値分解による低ランク近似が施されていない画像である、請求項５に記載の画像処理装置。
【請求項７】
撮像光学系と、
前記撮像光学系を介して結像した像を撮像する撮像素子と、
前記撮像素子により撮像された画像を取得するインターフェースと、
前記取得された画像である取得画像に対して特異値分解による低ランク近似を行い、前記特異値分解による低ランク近似後の画像に対して物体認識を行うプロセッサと、を備えるカメラ。
【請求項８】
移動体であって、
前記移動体の周辺を撮像するカメラを備え、
前記カメラは、
撮像光学系と、
前記撮像光学系を介して結像した像を撮像する撮像素子と、
前記撮像素子により撮像された画像を取得するインターフェースと、
前記取得された画像である取得画像に対して特異値分解による低ランク近似を行い、前記特異値分解による低ランク近似後の画像に対して物体認識を行うプロセッサと、を備える移動体。
【請求項９】
画像処理装置における画像処理方法であって、
画像を取得するステップと、
前記取得された画像である取得画像に対して特異値分解による低ランク近似を行い、前記特異値分解による低ランク近似後の画像に基づき物体認識を行うステップと、を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、カメラ、移動体および画像処理方法に関する。
【背景技術】
【０００２】
特許文献１には、機械学習により生成されたモデルを用いて、撮影画像から注目物体を検出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−７３１９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像に含まれる物体の物体認識を行う場合、物体認識の精度低下を抑制しつつ、処理負荷を低減することが有益である。
【０００５】
本開示の目的は、上述した課題を解決し、物体認識の精度低下を抑制しつつ、処理負荷を低減することにある。
【課題を解決するための手段】
【０００６】
本開示の実施形態に係る画像処理装置は、画像を取得するインターフェースと、前記取得された画像である取得画像に対して特異値分解による低ランク近似を行い、前記特異値分解による低ランク近似後の画像に対して物体認識を行うプロセッサと、を備える。
【０００７】
本開示の実施形態に係るカメラは、撮像光学系と、前記撮像光学系を介して結像した像を撮像する撮像素子と、前記撮像素子により撮像された画像を取得するインターフェースと、前記取得された画像である取得画像に対して特異値分解による低ランク近似を行い、前記特異値分解による低ランク近似後の画像に対して物体認識を行うプロセッサと、を備える。
【０００８】
本開示の実施形態に係る移動体は、前記移動体の周辺を撮像するカメラを備え、前記カメラは、撮像光学系と、前記撮像光学系を介して結像した像を撮像する撮像素子と、前記撮像素子により撮像された画像を取得するインターフェースと、前記取得された画像である取得画像に対して特異値分解による低ランク近似を行い、前記特異値分解による低ランク近似後の画像に対して物体認識を行うプロセッサと、を備える。
【０００９】
本開示の実施形態に係る画像処理方法は、画像処理装置における画像処理方法であって、
画像を取得するステップと、前記取得された画像である取得画像に対して特異値分解による低ランク近似を行い、前記特異値分解による低ランク近似後の画像に基づき物体認識を行うステップと、を含む。
【発明の効果】
【００１０】
本開示によれば、物体認識の精度低下を抑制しつつ、処理負荷を低減することができる画像処理装置、カメラ、移動体および画像処理方法を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本開示の一実施形態に係る画像処理装置の構成例を示す図である。
【図２】図１に示すプロセッサによる所望の特徴量の決定の一例について説明するための図である。
【図３Ａ】撮像画像および特異値分解による低ランク近似後の画像の一例を示す図である。
【図３Ｂ】撮像画像および特異値分解による低ランク近似後の画像の一例を示す図である。
【図４Ａ】撮像画像および特異値分解による低ランク近似後の画像を用いた物体認識の結果の一例を示す図である。
【図４Ｂ】撮像画像および特異値分解による低ランク近似後の画像を用いた物体認識の結果の一例を示す図である。
【図４Ｃ】撮像画像および特異値分解による低ランク近似後の画像を用いた物体認識の結果の一例を示す図である。
【図４Ｄ】撮像画像および特異値分解による低ランク近似後の画像を用いた物体認識の結果の一例を示す図である。
【図４Ｅ】撮像画像および特異値分解による低ランク近似後の画像を用いた物体認識の結果の一例を示す図である。
【図４Ｆ】撮像画像および特異値分解による低ランク近似後の画像を用いた物体認識の結果の一例を示す図である。
【図５Ａ】撮像画像および特異値分解による低ランク近似後の画像を用いた物体認識の結果の一例を示す図である。
【図５Ｂ】撮像画像および特異値分解による低ランク近似後の画像を用いた物体認識の結果の一例を示す図である。
【図５Ｃ】撮像画像および特異値分解による低ランク近似後の画像を用いた物体認識の結果の一例を示す図である。
【図５Ｄ】撮像画像および特異値分解による低ランク近似後の画像を用いた物体認識の結果の一例を示す図である。
【図５Ｅ】撮像画像および特異値分解による低ランク近似後の画像を用いた物体認識の結果の一例を示す図である。
【図５Ｆ】撮像画像および特異値分解による低ランク近似後の画像を用いた物体認識の結果の一例を示す図である。
【図６】図１に示す画像処理装置における画像処理方法について説明するためのフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本開示の実施の形態について図面を参照して例示説明する。各図中、同一符号は
、同一または同等の構成要素を示している。
【００１３】
図１は、本開示の一実施形態に係る画像処理装置１０の構成例を示す図である。本実施形態に係る画像処理装置１０は、画像に含まれる物体を認識する物体認識を行う。画像処理装置１０は、例えば、図１に示すように、移動体１に搭載される。画像処理装置１０が移動体１に搭載される場合、画像処理装置１０は、移動体１の周辺を撮像した画像に対して、その画像に含まれる人、他の移動体などの物体の物体認識を行う。以下では、画像処理装置１０は、移動体１に搭載されるものとして説明する。
【００１４】
本開示における移動体１は、例えば、車両である。車両には、自動車および産業車両を含むが、これに限られず、鉄道車両、生活車両、および、滑走路を走行する固定翼機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、およびトロリーバスなどを含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業および建設向けの産業車両を含む。産業車両には、フォークリフト、およびゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。
【００１５】
図１に示す画像処理装置１０は、インターフェイス１２と、プロセッサ１３と、メモリ１４とを備える。移動体１には、移動体１の周辺を撮像した画像を取得する撮像部１１が搭載されている。画像処理装置１０および撮像部１１は、移動体１に搭載されたカメラ１Ａを構成する。まず、撮像部１１について説明する。
【００１６】
撮像部１１は、移動体１に搭載された車載カメラである。撮像部１１は、移動体１の周辺を撮像した画像を取得する。撮像部１１は、移動体１に複数台搭載されてもよい。例えば、移動体１に４台の車載カメラが搭載される場合、例えば、移動体１の前方の周辺領域と、移動体１の前側面の少なくとも一部とを撮影可能な位置と、移動体１の後方の周辺領域と、移動体１の後側面の少なくとも一部とを撮影可能な位置と、移動体１の左側方の周辺領域と、移動体１の左側面の少なくとも一部とを撮影可能な位置と、移動体１の右側方の周辺領域と、移動体１の右側面の少なくとも一部とを撮影可能な位置とにそれぞれ、撮像部１１を配置する。このような配置とすることにより、移動体１の四方の周辺領域を撮影することができる。
【００１７】
撮像部１１は、少なくとも撮像光学系１１ａと、撮像素子１１ｂとを備える。
【００１８】
撮像光学系１１ａは、例えば、１個以上のレンズおよび絞りなどの光学部材を含む。撮像光学系１１ａが備えるレンズは、例えば、魚眼レンズなどの画角の広いレンズであってもよい。撮像光学系１１ａは、被写体像を撮像素子１１ｂの受光面に結像させる。撮像素子１１ｂは、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどを含む。撮像素子１１ｂの受光面上には、複数の画素が配列されている。撮像素子１１ｂは、受光面上に結像された被写体像を撮像して撮像画像を生成する。撮像部１１は、移動体１に搭載されたＥＣＵ（Electronic Control Unit）、ディスプレイおよびナビゲーション装置などの外部装置に撮像した画像を出力してもよい。また、撮像部１１は、撮像した画像に対して、ホワイトバランス調整処理、露出調整処理およびガンマ補正処理などの所定の画像処理を施す機能を有していてもよい。
【００１９】
次に、画像処理装置１０が備える構成について説明する。
【００２０】
インターフェイス１２は、有線または無線を介して、移動体１が備える各種構成と通信を行う。例えば、インターフェイス１２は、撮像部１１が撮像した画像を取得し、プロセッサ１３に出力する。
【００２１】
プロセッサ１３は、例えば、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）およびＦＰＧＡ（Field-Programmable Gate Array）などの専用のプロセッサ、または、ＣＰＵ（Central Processing Unit）などの汎用プロセッサを含む。プロセッサ１３は、画像処理装置１０全体の動作を制御する。例えば、プロセッサ１３は、インターフェイス１２が取得した画像である取得画像を用いて物体認識を行う。プロセッサ１３による物体認識の詳細は後述する。
【００２２】
メモリ１４は、例えば、一次記憶装置または二次記憶装置などを含む。メモリ１４は、画像処理装置１０の動作に必要な種々の情報およびプログラムを記憶する。
【００２３】
次に、プロセッサ１３による物体認識について説明する。
【００２４】
プロセッサ１３は、インターフェイス１２が取得した取得画像に対して、数学的な処理を行い、処理後の画像に対して物体認識を行う。具体的には、プロセッサ１３は、取得画像に対して、特異値分解による低ランク近似を行い、低ランク近似後の画像に対して物体認識を行う。
【００２５】
プロセッサ１３は、取得画像に対応する行列Ｍを生成する。取得画像に対応する行列Ｍとは、取得画像を行列で表現したものである。通常、画像は、行方向と列方向とに配列された複数の画素からなる。プロセッサ１３は、例えば、取得画像の各画素の輝度値などを、各画素の位置に対応する要素とする行列Ｍを生成する。そして、プロセッサ１３は、生成した行列Ｍの特異値分解を行う。特異値分解は、一般的な数学的処理であり、詳細な説明は省略するが、任意のｍ×ｎの行列Ｍを、以下の式（１）に示すように、３つの行列Ａ，Ｂ，Ｃに分解する処理である。
Ｍ＝ＡＢＣ  ・・・式（１）
【００２６】
式（１）において、Ａは、ｍ×ｍの直交行列である左特異値行列であり、Ｂは、ｍ×ｎの対角行列であり、Ｃはｎ×ｎの直交行列である右特異値行列である。対角行列Ｂ（第１の対角行列）は、対角成分が正の値または０であり、非対角成分が０である行列である。対角行列Ｂの対角成分は、値の大きなものから降順に並ぶ。対角行列Ｂの対角成分のうち、ゼロでない成分の数をランクｋと称する。
【００２７】
プロセッサ１３は、上述した特異値分解を行った後、低ランク近似を行う。具体的には、プロセッサ１３は、対角行列Ｂのランクをｋ−ｌに下げた対角行列Ｂ’（第２の対角行列）を生成する。ここで、プロセッサ１３は、対角行列Ｂのゼロでないｋ個の対角成分のうち、値の小さな成分から順にｌ個の対角成分をゼロとすることで、対角行列Ｂ’を生成する。すなわち、プロセッサ１３は、対角行列Ｂのランクを下げた対角行列Ｂ’を生成する。そして、プロセッサ１３は、左特異値行列Ａと、対角行列Ｂのランクを下げた対角行列Ｂ’と、右特異値行列Ｃとの内積により得られる行列Ｍ’に対応する画像を、低ランク近似後の画像として生成する。
【００２８】
次に、プロセッサ１３は、行列Ｍ’に対応する画像を用いて、物体認識を行う。以下では、取得画像について算出された行列Ｍ’に対応する画像を、特異値分解による低ランク近似後の画像と称する。
【００２９】
上述したように、特異値分解による低ランク近似後の行列Ｍ’は、左特異値行列Ａと、対角行列Ｂのランクを下げた対角行列Ｂ’と、右特異値行列Ｃとの内積により得られる。対角行列Ｂ’は、対角行列Ｂよりも、値がゼロである対角成分の数が多い。このような対角行列Ｂ’のスパース性により、プロセッサ１３は、物体認識の処理負荷の低減を図ることができる。例えば、プロセッサ１３は、任意の値ｘ×０＝０あるいは任意の値ｘ＋０＝ｘといった計算結果が自明な計算を省略することで、処理負荷を低減することができる。
【００３０】
また、対角行列Ｂ’は、対角行列Ｂの対角成分のうち、値の小さな対角成分から順に所定の数の対角成分をゼロとすることで得られる。そのため、特異値分解による低ランク近似後の画像では、取得画像のうち特徴に乏しい部分が優先的に圧縮される。したがって、特異値分解による低ランク近似後の画像においても、物体認識に必要な特徴的な部分は残るので、物体認識の精度低下は抑制される。
【００３１】
一般に、物体認識の精度を上げるには、解像度の高い画像を用いることが考えられる。しかしながら、解像度の高い画像を用いると、処理負荷が増大し、物体認識に要する時間も長くなってしまう。また、物体認識の処理負荷を下げるには、画像の解像度を下げることが考えられる。しかしながら、画像の解像度を下げると、物体認識に必要な特徴的な部分の解像度も下がるため、物体認識の精度が低下してしまう。一方、本実施形態においては、特異値分解による低ランク近似を行うことで、物体認識の精度の低下を抑制しつつ、処理負荷を低減することができる。
【００３２】
プロセッサ１３は、物体認識に必要とされる画像の特徴量に応じて、対角行列Ｂ’のランクを決定する。すなわち、プロセッサ１３は、特異値分解による低ランク近似後の画像における所望の特徴量に応じて、対角行列Ｂ’のランクを決定する。例えば、プロセッサ１３は、対角行列Ｂ’のランクを所定値ずつ変化させながら、各ランクにおける、特異値分解による低ランク近似後の画像の特徴量を求め、対角行列Ｂ’のランクと特異値分解による低ランク近似後の画像の特徴量との関係から、所望の特徴量に応じた対角行列Ｂ’のランクを決定する。ここで、対角行列Ｂ’のランクと特異値分解による低ランク近似後の画像の特徴量との関係は画像ごとに異なる。そのため、画像ごとに、対角行列Ｂ’のランクと特異値分解による低ランク近似後の画像の特徴量との関係を求めるための演算を行う必要があるが、このような演算を行ったとしても、取得画像自体を用いて物体認識を行うよりは、プロセッサ１３の処理負荷を低減することができる。なお、特徴量とは、物体のエッジのような、物体認識に必要な特徴的な部分の量を意味し、例えば、空間周波数を用いて表すことができる。
【００３３】
また、プロセッサ１３は、画像のエリアに応じて、所望の特徴量を決定してもよい。
【００３４】
例えば、移動体１の前方を撮像した画像では、画像の上部には、空などの移動体１の走行に影響の小さい物体が含まれることが多く、画像の中部には、他の移動体１あるいは歩行者などの、移動体１の走行に影響の大きい物体が含まれることが多い。すなわち、移動体１の前方を撮像した画像の上部には、物体認識の必要性が低い物体が含まれ、画像の中部には、物体認識の必要性が高い物体が含まれることが多い。また、移動体１の前方を撮像した画像の下部には、画像の中部に存在していた、距離情報を取得済みで移動体の走行に伴って相対的に移動体１に近づいてきた物体が含まれることが多い。このように、１つの画像の中でも、物体認識を優先的に行うべきエリアが存在する。したがって、プロセッサ１３は、取得画像のエリアに応じて、所望の特徴量を決定し、その決定した所望の特徴量に応じて、エリアごとに、対角行列Ｂ’のランクを決定してもよい。例えば、プロセッサ１３は、図２に示すように、取得画像２の中部２ｂにおける所望の特徴量を高くし、取得画像２の上部２ａにおける所望の特徴を低くし、取得画像２の下部２ｃにおける所望の特徴量を、上部２ａの特徴量と中部２ｂの特徴量との間の値としてもよい。
【００３５】
また、プロセッサ１３は、移動体１の挙動に応じて、所望の特徴量を決定してもよい。例えば、プロセッサ１３は、移動体１が高速で移動している場合には、所望の特徴量を高くし、移動体１が低速で移動している場合には、所望の特徴量を低くしてもよい。
【００３６】
また、プロセッサ１３は、撮像部１１が撮像を行うフレームレートが可変である場合、移動体１の挙動に応じて、フレームレートと所望の特徴量とを決定してもよい。例えば、移動体１が高速で移動している場合、移動体１は高速道路を走行していると考えられる。移動体１が高速道路を走行している場合、移動体１の単位時間当たりに移動量が大きいため、撮像部１１の撮像間隔が長くなり過ぎないことが望ましい。また、移動体１の単位時間当たりに移動量が大きいため、物体認識に要する時間を短くすることが望ましい。したがって、プロセッサ１３は、例えば、移動体１が高速道路を走行している場合、撮像部１１のフレームレートを高くするとともに、所望の特徴量を低くする。
【００３７】
また、例えば、移動体１が低速で移動している場合、移動体１は市街地を走行していると考えられる。移動体１が市街地を走行している場合、移動体１の単位時間当たりの移動量は小さいが、歩行者の飛び出しなどが起きる可能性が高く、高い物体認識の精度が求められることが多い。したがって、プロセッサ１３は、例えば、移動体１が低速で移動している場合、撮像部１１のフレームレートを低くするとともに、所望の特徴量を高くする。こうすることで、プロセッサ１３は、移動体１が移動する状況に適した物体認識を行うことができる。
【００３８】
プロセッサ１３は、上述したように、特異値分解による低ランク近似後の画像を用いて物体認識を行う。具体的には、プロセッサ１３は、学習により生成されたモデルに、特異値分解による低ランク近似後の画像を入力して、物体認識を行う。物体認識を行うためのモデルは、例えば、ニューラルネットワークを用いた学習により生成される。モデルの学習には、特異値分解による低ランク近似が施されていない画像を用いることができる。
【００３９】
次に、実際の撮像画像、および、その撮像画像に対する特異値分解による低ランク近似により特徴量を圧縮した画像を例示する。以下では、撮像画像はカラー画像であるとする。そして、そのカラー画像を３階テンソルとみなし、カラー画像に対して、タッカー分解（Tucker Decomposition）／高次特異値分解（ＨＯＳＶＤ：Higher Order Singular Value Decomposition）による低ランク近似を施した例を示す。タッカー分解／高次特異値分解とは行列（２階テンソル）における特異値分解をテンソルに拡張した手法である。
【００４０】
図３Ａ，３Ｂは、オリジナルの撮像画像、および、撮像画像に対して、特異値分解による低ランク近似により情報量を圧縮した画像を示す図である。図３Ａには、オリジナルの撮像画像、および、特徴量の圧縮率が９５％，９０％，８０％である画像を示している。図３Ｂには、特徴量の圧縮率が７５％，７０％，６０％，５０％である画像を示している。特徴量の圧縮率は、撮像画像に対応する行列の特異値分解により得られる対角行列Ｂの特異値（非ゼロの対角成分）を規格化して定義される。
【００４１】
図３Ａ，３Ｂに示すように、オリジナルの撮像画像の幅方向のランクは１２８０であり、高さ方向のランクは９６０である。特徴量の圧縮率が９５％である画像の幅方向のランクは５６９であり、高さ方向のランクは４９４である。特徴量の圧縮率が９０％である画像の幅方向のランクは３７１であり、高さ方向のランクは３３３である。特徴量の圧縮率が８０％である画像の幅方向のランクは２０２であり、高さ方向のランクは１８６である。特徴量の圧縮率が７５％である画像の幅方向のランクは１５６であり、高さ方向のランクは１４５である。特徴量の圧縮率が７０％である画像の幅方向のランクは１２２であり、高さ方向のランクは１１４である。特徴量の圧縮率が６０％である画像の幅方向のランクは７３であり、高さ方向のランクは６９である。特徴量の圧縮率が５０％である画像の幅方向のランクは４１であり、高さ方向のランクは３８である。
【００４２】
図３Ａ，３Ｂに示すように、特異値分解による低ランク近似を行うことで、オリジナルの撮像画像に対して、例えば、空あるいは車両のボンネットなどの特徴の乏しい部分の像が粗くなっている。一方、特異値分解による低ランク近似後の画像でも、車両のエッジ、路面に描かれた文字及び線などの特徴的な部分は、認識可能となっている。したがって、撮像画像に対して、特異値分解による低ランク近似を行い、ランクを数分の一から数十分の一に下げても、特徴の乏しい部分から圧縮が行われ、物体認識に必要な特徴的な部分は保持されていることが分かる。したがって、物体認識の精度低下を抑制することができるとともに、特異値分解による低ランク近似後の画像に対応する行列のスパース性により、処理負荷を低減し、物体認識の速度を向上することができる。
【００４３】
次に、特異値分解による低ランク近似を行った画像を用いた物体認識の結果の一例について説明する。
【００４４】
図４Ａ〜図４Ｆは、後方に車両が存在する場合の撮像画像、および、その撮像画像に対する特異値分解による低ランク近似後の画像を用いた物体認識の結果の一例を示す図である。図４Ａ〜図４Ｆにおいては、タッカー分解／高次特異値分解による低ランク近似により、情報量をオリジナルの撮像画像の８０％に圧縮した例を示している。オリジナルの撮像画像の幅方向のランクは１２８０であり、高さ方向のランクは９６０である。
【００４５】
図４Ａにおいては、１７ｍ後方に車両が存在する場合のオリジナルの撮像画像、および、その撮像画像に対する特異値分解による低ランク近似により得られた特徴量の圧縮率が８０％である画像を示している。特徴量の圧縮率が８０％である画像の幅方向のランクは１８１であり、高さ方向のランクは１６３である。
【００４６】
図４Ｂにおいては、１２ｍ後方に車両が存在する場合のオリジナルの撮像画像、および、その撮像画像に対する特異値分解による低ランク近似により得られた特徴量の圧縮率が８０％である画像を示している。特徴量の圧縮率が８０％である画像の幅方向のランクは１８０であり、高さ方向のランクは１６２である。
【００４７】
図４Ｃにおいては、８ｍ後方に車両が存在する場合のオリジナルの撮像画像、および、その撮像画像に対する特異値分解による低ランク近似により得られた特徴量の圧縮率が８０％である画像を示している。特徴量の圧縮率が８０％である画像の幅方向のランクは１７９であり、高さ方向のランクは１６１である。
【００４８】
図４Ｄにおいては、５ｍ後方に車両が存在する場合のオリジナルの撮像画像、および、その撮像画像に対する特異値分解による低ランク近似により得られた特徴量の圧縮率が８０％である画像を示している。特徴量の圧縮率が８０％である画像の幅方向のランクは１７８であり、高さ方向のランクは１５９である。
【００４９】
図４Ｅにおいては、３ｍ後方に車両が存在する場合のオリジナルの撮像画像、および、その撮像画像に対する特異値分解による低ランク近似により得られた特徴量の圧縮率が８０％である画像を示している。特徴量の圧縮率が８０％である画像の幅方向のランクは１７５であり、高さ方向のランクは１５７である。
【００５０】
図４Ｆにおいては、１ｍ後方に車両が存在する場合のオリジナルの撮像画像、および、その撮像画像に対する特異値分解による低ランク近似により得られた特徴量の圧縮率が８０％である画像を示している。特徴量の圧縮率が８０％である画像の幅方向のランクは１７４であり、高さ方向のランクは１５８である。
【００５１】
図５Ａ〜図５Ｆは、後方に人が存在する場合の、実際の撮像画像、および、その撮像画像に対する特異値分解による低ランク近似後の画像を用いた物体認識の結果の一例を示す図である。図５Ａ〜図４５においては、タッカー分解／高次特異値分解による低ランク近似により、情報量を撮像画像の８０％に圧縮した例を示している。オリジナルの撮像画像の幅方向のランクは１２８０であり、高さ方向のランクは９６０である。
【００５２】
図５Ａにおいては、１７ｍ後方に人が存在する場合のオリジナルの撮像画像、および、その撮像画像に対する特異値分解による低ランク近似により得られた特徴量の圧縮率が８０％である画像を示している。特徴量の圧縮率が８０％である画像の幅方向のランクは１８７であり、高さ方向のランクは１６８である。
【００５３】
図５Ｂにおいては、１２ｍ後方に人が存在する場合のオリジナルの撮像画像、および、その撮像画像に対する特異値分解による低ランク近似により得られた特徴量の圧縮率が８０％である画像を示している。特徴量の圧縮率が８０％である画像の幅方向のランクは１８５であり、高さ方向のランクは１６７である。
【００５４】
図５Ｃにおいては、８ｍ後方に人が存在する場合のオリジナルの撮像画像、および、その撮像画像に対する特異値分解による低ランク近似により得られた特徴量の圧縮率が８０％である画像を示している。特徴量の圧縮率が８０％である画像の幅方向のランクは１８５であり、高さ方向のランクは１６７である。
【００５５】
図５Ｄにおいては、５ｍ後方に人が存在する場合のオリジナルの撮像画像、および、その撮像画像に対する特異値分解による低ランク近似により得られた特徴量の圧縮率が８０％である画像を示している。特徴量の圧縮率が８０％である画像の幅方向のランクは１８３であり、高さ方向のランクは１６４である。
【００５６】
図５Ｅにおいては、３ｍ後方に人が存在する場合のオリジナルの撮像画像、および、その撮像画像に対する特異値分解による低ランク近似により得られた特徴量の圧縮率が８０％である画像を示している。特徴量の圧縮率が８０％である画像の幅方向のランクは１８６であり、高さ方向のランクは１６７である。
【００５７】
図５Ｆにおいては、１ｍ後方に人が存在する場合のオリジナルの撮像画像、および、その撮像画像に対する特異値分解による低ランク近似により得られた特徴量の圧縮率が８０％である画像を示している。特徴量の圧縮率が８０％である画像の幅方向のランクは１９４であり、高さ方向のランクは１７４である。
【００５８】
図４Ａ〜図４Ｆおよび図５〜図５Ｆに示すように、物体認識の対象が車両である場合にも、人である場合にも、特異値分解による低ランク近似により、幅方向および高さ方向にランクを１５％程度まで下げても、オリジナルの撮像画像を用いたのと同程度の物体認識の精度が得られた。
【００５９】
ここで、オリジナルの撮像画像に対応する行列は、概念的に言うと、Ｗ（幅）：１２８０×Ｈ（高さ）：９６０×Ｃ（色）：３（Ｒ，Ｇ，Ｂ）の大きさの立体行列の各要素に値が割り当てられている行列である。一方、図４Ａ〜図４Ｆおよび図５〜図５Ｆに示す、特徴量の圧縮率が８０％である画像に対応する行列は、概念的に言うと、大きさはオリジナルの撮像画像に対応する行列の大きさと同じで、Ｗ：１８０×Ｈ：１６０×Ｃ：３の要素だけが値を持ち、他の要素は０である、疎な行列である。このような疎な行列に対応する画像を用いた画像認識では、０をかける、あるいは、０を足すといった計算結果が明らかな計算を省略することができるので、物体認識の処理負荷を低減することができる。また、図４Ａ〜図４Ｆおよび図５〜図５Ｆに示すように、空、あるいは、車両のボンネットなどの特徴の乏しい部分が優先的に圧縮されるので、物体認識の精度の低下を抑制することができる。
【００６０】
次に、本実施形態に係る画像処理装置１０における画像処理方法について、図６に示すフローチャートを参照して説明する。画像処理装置１０は、図６に示すフローを、例えば、所定の時間間隔で繰り返す。
【００６１】
インターフェイス１２は、撮像部１１が撮像した画像を取得する（ステップＳ１１）。
【００６２】
プロセッサ１３は、インターフェイス１２が取得した周辺画像に対して、特異値分解による低ランク近似を行う（ステップＳ１２）。
【００６３】
次に、プロセッサ１３は、特異値分解による低ランク近似後の画像に対して物体認識を行う（ステップＳ１３）。
【００６４】
なお、特異値分解による低ランク近似後の画像により、プロセッサ１３は、画像上で特徴量が大きい領域あるいは特徴量が小さい領域を検出するといった画像解析を行うこともできる。また、細かい模様が存在するアスファルト路面は、特異値分解による低ランク近似後の画像でもその特徴量が保持されるので、プロセッサ１３は、移動体１が走行するアスファルト路面などを検出することができる。また、プロセッサ１３は、水面、湖面、芝生、田畑などアスファルト路面でない領域を検出することもできる。
【００６５】
また、特異値分解による低ランク近似後の画像では、太陽光および屋外照明光など強い光が照射される方向の壁面は、特徴量が小さくなり、低ランク近似により優先的に圧縮される。そのため、プロセッサ１３は、日当たりおよび光の照射方向などを検出することもできる。また、プロセッサ１３は、行列の次元を上げて、動画像から切り出した静止画をバッチ処理することで、移動物体および静止物体を検出することもできる。
【００６６】
このように、本実施形態においては、画像処理装置１０は、画像を取得するインターフェイス１２と、取得された画像である取得画像に対して、特異値分解による低ランク近似を行い、特異値分解による低ランク近似後の画像に対して物体認識を行うプロセッサ１３と、を備える。
【００６７】
取得画像に対する低ランク近似を行うことで、特異値分解による低ランク近似後の画像に対応する行列では、より多くの要素がゼロとなる。そのため、０をかけるあるいは０を足すといった結果が自明な計算を省略することができるので、物体認識の処理負荷を低減することができる。また、特異値分解による低ランク近似では、特徴の乏しい部分が優先的に圧縮され、特徴的な部分は残るので、物体認識の精度低下を抑制することができる。
【００６８】
本開示の一実施形態を諸図面および実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形および修正を行うことが容易であることに注意されたい。従って、これらの変形および修正は本開示の範囲に含まれることに留意されたい。
【符号の説明】
【００６９】
１    移動体
１Ａ    カメラ
１０    画像処理装置
１１    撮像部
１１ａ    撮像光学系
１１ｂ    撮像素子
１２    インターフェイス
１３    プロセッサ
１４    メモリ
【図１】
2020071532.tif 000003
【図２】
2020071532.tif 000004
【図３Ａ】
2020071532.tif 000005
【図３Ｂ】
2020071532.tif 000006
【図４Ａ】
2020071532.tif 000007
【図４Ｂ】
2020071532.tif 000008
【図４Ｃ】
2020071532.tif 000009
【図４Ｄ】
2020071532.tif 000010
【図４Ｅ】
2020071532.tif 000011
【図４Ｆ】
2020071532.tif 000012
【図５Ａ】
2020071532.tif 000013
【図５Ｂ】
2020071532.tif 000014
【図５Ｃ】
2020071532.tif 000015
【図５Ｄ】
2020071532.tif 000016
【図５Ｅ】
2020071532.tif 000017
【図５Ｆ】
2020071532.tif 000018
【図６】
2020071532.tif 000019