(57)【要約】【課題】画像認識における演算量の低減と、認識率の向上を図ることができる画像認識撮像装置を提供する。【解決手段】画像認識撮像装置は、画像を撮像する画像センサ１と、画像の撮像範囲に対応する範囲の各画素が撮影対象までの距離で表される距離画像を取得する３Ｄセンサ２とを備える。また、画像認識撮像装置は、距離画像から距離に基づいて距離画像上の認識対象物を抽出する物体抽出手段３を備える。また、画像認識撮像装置は、距離画像から抽出された物体の距離画像上の範囲に基づき、画像から物体となる部分画像を抽出する物体画像抽出手段４と、部分画像の画像認識を行い、抽出した物体を識別する画像認識手段５とを備える。【選択図】図１
2018156408.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する撮像手段と、
前記画像の撮像範囲に対応する範囲の各画素が撮影対象までの距離で表される距離画像を取得する距離画像取得手段と、
前記距離画像から距離に基づいて距離画像上の認識対象物を抽出する距離画像認識対象物抽出手段と、
前記距離画像から抽出された前記認識対象物の前記距離画像上の範囲に基づき、前記画像から前記認識対象物となる部分画像を抽出する認識対象物画像抽出手段と、
前記部分画像の画像認識を行い、前記認識対象物を識別する画像認識手段とを備えることを特徴とする画像認識撮像装置。
【請求項２】
前記距離画像取得手段は、前記距離画像の各画素の距離を計測する距離計測手段を有することを特徴とする請求項１に記載の画像認識撮像装置。
【請求項３】
前記距離画像取得手段は、二つの前記撮像手段の視差に基づいて距離画像を求めることを特徴とする画像認識撮像装置。
【請求項４】
一つの筐体内に、撮像手段、距離画像取得手段、距離画像認識対象物抽出手段、認識対象物画像抽出手段および画像認識手段を備えることを特徴とする請求項１〜３のいずれか１項に記載の画像認識撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２次元画像と距離画像を取得して画像認識を行う画像認識撮像装置に関する。
【背景技術】
【０００２】
一般に監視カメラでは、画像を撮影してモニタに表示させ、この画像を人がリアルタイムで監視したり、画像を記憶して事件発生後に事件を確認するのに利用されたりする。近年は、ＡＩ（人工知能）技術の発達に伴い、画像認識により、特定の人物の存在を自動で検知したり、立入禁止区域への不審者の侵入を自動で検知したりすることが可能である。
【０００３】
一方、自動車においては、衝突等の危険の回避を自動化するために、縦横に配置された各画素における撮影対象までの距離からなる距離画像を用いることが提案されている（例えば、特許文献１参照）これにより、障害物の位置や動きを検知することができる。この場合に、距離の測定と画像の取得に２台のカメラを有するステレオカメラが使用されている。また、近年、距離画像を取得するための３Ｄセンサ（深度センサ）と２Ｄカメラを組み合わせた３Ｄカメラが普及し始めており、ステレオカメラおよび３Ｄカメラでは、撮影対象範囲の可視光の２Ｄ画像と、距離画像との両方を得ることができるとともに、可視光の所謂３Ｄ画像を得ることもできる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１４６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、２Ｄカメラを用いた二次元画像の認識は、３次元空間内の人や物が二次元に投影された状態の画像上で行われるので、ＡＩ技術（深層機械学習等）を利用しても処理速度および認識率の向上が頭打ちになってしまう。すなわち、二次元の可視画像からの物体抽出では、異なる色、および異なる輝度の部分を同じ物体のものであると認識するため、全画面を処理して、色や輝度の変化等から物体を認識した上で抽出する必要があり、膨大な演算量が必要となり、処理に時間がかかるだけでなく、検出精度が深層機械学習を使った画像認識においても、９０％程度が限界である。
【０００６】
一方、３Ｄカメラでは、距離が分かることにより、自車両がぶつかる障害物があるか否かを比較的容易に認識することが可能である。すなわち、衝突するような位置にある人や物を障害物として検知することが容易である。すなわち、３Ｄセンサでは、物体の形状を認識可能だが、３Ｄセンサで読み取った形状だけで物体を識別できない場合もある。
【０００７】
本発明は、前記事情に鑑みてなされたものであり、画像認識における演算量の低減と、認識率の向上を図ることができる画像認識撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記課題を解決するために、本発明の画像認識撮像装置は、画像を撮像する撮像手段と、
前記画像の撮像範囲に対応する範囲の各画素が撮影対象までの距離で表される距離画像を取得する距離画像取得手段と、
前記距離画像から距離に基づいて距離画像上の認識対象物を抽出する距離画像認識対象物抽出手段と、
前記距離画像から抽出された前記認識対象物の前記距離画像上の範囲に基づき、前記画像から前記認識対象物となる部分画像を抽出する認識対象物画像抽出手段と、
前記部分画像の画像認識を行い、前記認識対象物を識別する画像認識手段とを備えることを特徴とする。
【０００９】
このような構成によれば、距離画像において、距離の値が互いに近く、かつ、一塊となった画素の集団を距離画像上の認識対象物である物体として認識することができる。この場合に例えば二次元のカラーの可視画像から物体を抽出する場合に比較して簡単な計算で物体を抽出することができる。
【００１０】
距離画像は、基本的に画像の撮影範囲に対応しており、画像の各位置に対応する距離画像の位置には距離情報を含むものである。たとえば、画像と距離画像が同一の画素数である場合には、対象物の一部を撮影した画像の特定位置の画素に対応する距離画像の画素はその色により当該対象物の一部までの距離情報を表すものとなっている。また、画像の撮像範囲が距離画像の範囲に対応している。すなわち、基本的に画像と距離画像は同じ範囲を撮像したものであることが好ましいが、画像と距離画像の位置の対応関係が取れていれば、いずれかの画像が他方の画像より大きくてもよい。なお、同時に撮像されたものであることが好ましい。したがって、距離画像上の認識対象物を画像上に割り当てることが可能であり、距離画像上で抽出された物体の範囲と画像上で同じ範囲を画像上の物体とすることができる。
【００１１】
この画像上の物体の範囲となる分部画像を画像認識して、物体を識別する。この場合に、従来のように画像全体に対して画像認識を行うのに比較して、抽出された分部画像だけの画像認識を行うので演算量を大幅に削減することができる。また、画像上の背景から物体が既に分離された状態なので、画像から物体を分離する演算の多くを必要とせず、演算量を削減することができる。また、この物体の分離が距離により行われているので、分離の精度を高くできる。
【００１２】
画像認識においては、抽出された物体の形状や色や輝度等に基づいて、物体の属性として人や自動車等を識別することができる。また、深層機械学習を使った画像認識により、人として識別するだけでなく、男、女、大人、子供等を識別することができたり、顔の特徴、たとえば、鼻の高さ、目や口の大きさ、目の色を職別できたりする。また、自動車の車種や年式等を識別可能である。また、予め特定の人物の特徴点のデータが記憶されていれば、人と認識された認識対象物が特定の人物か否かを識別することができる。また、物体を距離画像から分離した際に、距離の関係から物体の立体形状とサイズを認識可能であり、物体の立体形状やサイズを参酌して、画像認識を行なうことが可能であり、距離画像からの距離による物体の分離と、画像に加えて立体形状やサイズのデータを利用した画像認識により物体の検出や識別を含む物体の識別能力や識別精度を向上することができる。
【００１３】
本発明の前記構成において、前記距離画像取得手段は、前記距離画像の各画素の距離を計測する距離計測手段を有することが好ましい。
【００１４】
このような構成によれば、画像を撮影する単眼のカメラである撮像手段と、深度センサ、３Ｄセンサといった距離画像を生成する距離計測手段とから上述の画像と距離画像を得ることができる。深度センサ、３Ｄセンサとしては、例えばＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）方式のものを用いることができる。
【００１５】
また、本発明の前記構成において、前記距離画像取得手段は、二つの前記撮像手段の視差に基づいて距離画像を求めることが好ましい。
【００１６】
このような構成によれば、いわゆるステレオカメラの視差から距離画像を求めることができる。
【００１７】
また、本発明の前記構成において、一つの筐体内に、撮像手段、距離画像取得手段、距離画像認識対象物抽出手段、認識対象物画像抽出手段および画像認識手段を備えることが好ましい。
【００１８】
このような構成によれば、画像認識に要する処理が簡略化されるので、処理速度の高い大型の演算処理装置を必用とせず、監視カメラ等の比較的小さな筐体内に画像認識撮像装置を収めることができる。なお、画像認識撮像装置が外部のサーバとデータ通信可能に接続され、サーバでデータの保存やより高度な画像認識処理を行えるようにしてもよい。
【発明の効果】
【００１９】
本発明によれば、画像認識を容易かつ高精度で行うことができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施の形態の画像認識撮像装置を示すブロック図である。
【図２】同、画像認識方法を示すフローチャートである。
【図３】同、画像認識方法を説明するための図である。
【図４】同、画像認識方法を説明するための図である。
【図５】本発明の第２の実施の形態の画像認識撮像装置を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施の形態について説明する。
本実施の形態の画像認識撮像装置は、例えば、監視カメラや車載カメラ等の主に監視に係るカメラに画像認識装置を組み合わせたものであり、撮影範囲における人や自動車等を識別するようになっている。
【００２２】
本実施の形態の画像認識撮像装置は、撮像手段である画像センサ１と、距離画像取得手段である３Ｄセンサ２と、３Ｄセンサ２により得られた距離画像から認識対象となる物体（人を含む）、すなわち、認識対象物を抽出する距離画像認識対象物抽出手段としての物体抽出手段３と、画像センサ１の画像から前記認識対象物となる部分画像を抽出する認識対象物画像抽出手段としての物体画像抽出手段４と、抽出された部分画像（物体画像）の画像認識を行う画像認識手段５と、これらを制御する制御手段６と、画像、距離画像、認識結果等のデータを記憶する記憶手段７とを備える。
また、制御手段６は、インターネット等の通信網８を介して外部のサーバ９（ホストＰＣ）にデータ通信可能に接続されている。
【００２３】
画像センサ１は、所謂撮像素子（イメージセンサ）であり、画像センサ１上に撮影対象の像を結像させるレンズを備えるカメラとして使用される。
３Ｄセンサ２は、上述のＴＯＦ方式のものであり、例えば、赤外レーザの超短パルスを撮影範囲で走査して、物体に当たった光の反射光が戻るまでの時間を計測し、この時間に光速を乗算することで、撮影範囲の各画素の距離を求めるようになっている。なお、画像センサ１の解像度と、３Ｄセンサ２の解像度が一致してもよいし、一致しなくてもよく、画像センサ１の撮影範囲の各部分の位置と、３Ｄセンサ２の撮影範囲の各部分の位置が対応していればよく、画像センサ１の撮影範囲の任意の位置が３Ｄセンサ２の撮影範囲のどこに位置するかが分かるようになっていればよい。基本的に画像センサ１と３Ｄセンサ２とで、互いに重なる範囲を画像および距離画像として同時に撮影するようになっている。
【００２４】
物体抽出手段３は、３Ｄセンサ２で取得された距離情報である距離画像から物体を抽出する。この際には、距離画像上で距離の値が互いに近く、かつ、略一塊となった画素（近傍の画素）の集団を抽出すべき物体と判断する。この際には、距離の値が近似する一塊の画素が一つの物体として抽出される。この場合に基本的に距離画像における各画素の距離だけで物体を抽出することができるので、同じ範囲を常時または繰り返し撮影している監視カメラ等の画像でなく、一回だけ撮影された距離画像、例えば、車載の３Ｄセンサ２で撮影された距離画像からでも精度高く物体を抽出することが可能となる。なお、画素の距離の値が所定距離以上となっている部分を背景として、物体として抽出しないようにしてもよい。また、監視カメラのように固定された３Ｄセンサ２や、回転等の移動範囲が決まっている３Ｄセンサ２では、常時同じ範囲が撮影されるか、繰り返し同じ範囲が撮影されるので、３Ｄセンサ２の撮影に際し、各画素で一定期間変化しない距離（変化する場合に最も長い距離）をその画素の背景距離として記憶し、当該背景となる距離から距離が変化した画素の集団を物体として認識するものとしてもよい。この際には、時間経過により距離が変化する画素の集団を物体として検出するものとしてもよい。なお、画像の時間経過による変化から背景と物体を分離することは、二次元画像でも可能であるが、距離画像の場合には、基本的に背景に対して距離が短くなるように変化した部分を物体として識別することができる。
【００２５】
物体抽出手段３では、３Ｄセンサ２による距離画像上で物体の範囲の位置が決定される。
物体画像抽出手段４は、距離画像上で決定された上述の物体の範囲を、画像センサ１による可視の二次元の画像上の範囲に変換して、この範囲内の部分画像を抽出する。すなわち、距離画像上で抽出された物体の範囲を画像に割り当て、画像から物体の範囲となる部分画像を抽出する。例えば、距離画像と画像とにそれぞれ座標系を設けるとともに、画像上の座標を距離画像上の座標に変換可能にしたり、両者の座標系を同じにしたりしてもよい。
【００２６】
画像認識手段５は、上述のように画像から抽出された画像上の物体である部分画像の画像認識を行なう。この場合には、既に、距離画像において、物体となる部分が抽出されているので、抽出された部分画像が例えば、人なのか車なのかを画像認識する。この際には、例えば、記憶されている人の特徴点や自動車の特徴点と、部分画像上から検出された特徴点を比較して、人か、自動車か等を判定する。また、深層機械学習により取得されたアルゴリズムに基いて、人は、小人か大人か、女か男かを識別するものとしてもよい。実際の画像認識には、例えば、画像認識に関連する機能のライブラリであるＯｐｅｎＣＶ（Ｏｐｅｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  Ｌｉｂｒａｒｙ）、および、深層機械学習による認識を利用することで、人検知、人追跡、顔認識を行うことができる。最新のＯｐｅｎＣＶライブラリには、機械学習機能も含まれ、例えば、ディープラーニングモジュールも備えており、人、車両等の識別が可能である。なお、本実施例では、既に距離画像を用いて物体となる画像上の領域が決定されているので、例えば、識別された人や自動車となる画像の領域を決定する必要がなく、既に抽出された物体の領域が人か自動車等かを識別すればよいので、画像全体を処理して物体となる部分を特定する演算を必要とせず、演算量は少ないものとなる。画像認識では、物体の属性を認識するようになっており、人や車等の物体の種類、さらに人ならば大人、小人、男性、女性、人種、顔の特徴等の物体の属性を検出する。また、車ならば車種や年式や色等を属性として識別するようになっている。また、本実施の形態においては、物体を抽出した際の距離画像上の物体のデータから立体形状とサイズを認識可能であり、上述の物体の属性を識別する際に立体形状とサイズを利用するようになっており、大人と小人、小型車と大型車等の判定が容易になっている。
【００２７】
制御手段６は、画像センサ１および３Ｄセンサ２による撮影、物体抽出手段３による距離画像からの物体抽出、物体画像抽出手段４による画像からの部分画像の抽出、画像認識手段５による画像認識を制御する。制御手段６は、演算処理装置からなるものであり、演算処理装置は、物体抽出手段３、物体画像抽出手段４、画像認識手段５として機能してもよい。例えば、画像認識手段５は、演算処理装置上で深層機械学習済みの機械学習モデル（画像認識アルゴリズム）を実行することにより実現してもよい。
記憶手段７は、ハードディスク、フラッシュメモリ等からなるストレージ装置であり、画像、距離画像、画像認識結果等のデータを記憶するようになっている。
【００２８】
次に、図２のフローチャートと、図３、図４を参照して画像認識撮像装置による画像認識方法を説明する。
３Ｄセンサ２により距離画像ｂを撮影する（ステップＳ１）。なお、この際には、同時に画像センサ１により二次元の可視（カラー）画像ａを撮影する。例えば、撮影された画像ａには、図３に示すように、大人の男性と、自動車と、小人の女性が写っている。また、図４に示す距離画像ｂでは、各画素の距離の違いが画像として表現可能となっており、距離に明暗や色を割付けることにより、図４に示すように画像とすることができる。なお、図４においては、所定距離以上の画素を例えば白で表している。
【００２９】
次に、距離画像から互いに距離が近い一塊の画素の集団として物体を抽出する（ステップＳ２）。この際には、上述のように所定距離以上の画素を背景とし、それより距離の値が小さく、距離が近似する画素の集団をそれぞれ物体として抽出してもよい。なお、一塊の画素であっても、明らかに異なる距離の画素に別れる場合には、別の物体として取り扱う。距離画像上で抽出された物体は、画素の集団として物体の範囲内となる各画素の位置で配置を表すことができる。ここでは、大人の男性、自動車、小人の女性の距離画像部分が抽出される。
【００３０】
次に、画像センサ１で撮影した図４の画像ａ上で、図４の距離画像ｂで抽出された物体の範囲と同じ位置となる範囲を物体画像となる部分画像として抽出する（ステップＳ３）。これにより２次元のカラー画像上の物体が抽出された状態となる。ここでは、画像上で物体を識別して、物体の範囲を決めて抽出している分けではなく、距離画像上の距離の違いにより物体を分離し、分離された距離画像上の物体を画像上に当て嵌めているだけなので、物体は画像上の位置が分かるだけで、何であるかを識別された状態となっていない。したがって、距離画像上の距離だけで物体を抽出し、その位置に基づいて画像上の物体を抽出しているだけなので、物体を識別して物体を抽出するのに比較して、演算量が極めて少ない。
【００３１】
次いで、画像から抽出された物体画像としての部分画像の画像認識を行う（ステップＳ４）。この場合には、上述のように物体が抽出された状態なので、画像認識において、画像全体を処理して物体を抽出する処理が必要ない。すなわち、画像から物体を検知して抽出する必要がないので、画像認識は、既に抽出された部分画像に対してだけ行われることになり、演算量を削減することができる。また、画像認識は、抽出された部分画像が一つの物体または近接する複数の物体であることを前提として画像認識を行うことができるので、例えば、抽出された部分の外縁部分を物体の外縁部分と判断することが可能であり、部分画像の画像認識において、演算量を削減することができる。上述のように周知の人検知、顏認識等により人を識別することができる。また、人以外の物体も、アルゴリズムの一部として各種物体の特徴点を登録しておくことで、例えば、自動車や自転車等を識別することができる。また、物体の特徴点として、距離画像から読み取ることが可能な物体の立体形状やサイズを利用することが可能であり、物体の認識精度を向上することができる。
【００３２】
画像認識結果としての物体の属性等のデータをサーバ９に送信する（ステップＳ５）。また、上述の画像認識に係る各種データ、例えば、画像認識に用いられた距離画像、画像や、抽出された物体の範囲等のデータをサーバ９にも送る。この場合に、より高度な画像認識をサーバ９側で行うものとしてもよい。この場合に、物体抽出手段３、物体画像抽出手段４、画像認識手段５がサーバ９にあるものとしてもよい。高い演算能力を有するサーバ側で画像認識の処理を行うことで、より高度な処理を行うことが可能である。また、サーバ９で画像認識の処理を行う場合に、複数の画像センサ１および３Ｄセンサ２を接続したシステムとしてもよい。この場合に、各画像認識撮像装置の演算量はサーバにおいても削減することが可能であり、例えば、多くの画像センサ１および３Ｄセンサ２を備えたシステムにおいて、１台の高機能サーバで対応することもできる。また、通常時の画像認識は、画像認識撮像装置側で行い、事件発生時に過去のデータで画像認識を行う場合にサーバで画像認識を行うようにしてもよい。この場合に、全ての画像および距離画像を保存しておく必要はなく、例えば、抽出された物体画像（部分画像）だけを保存するようにして、サーバ９で必要となる記憶容量を削減することができる。
【００３３】
このような画像認識撮像装置によれば、距離画像で物体を抽出した後に、抽出された物体の距離画像上の位置に応じた画像上の位置に基いて物体画像を抽出してから、抽出した物体画像に対して画像認識を行うことにより演算量を削減することができるとともに、物体の抽出を距離画像に対して行うことで、背景からの物体の分離の精度を高めることができ、例えば、物体の検出精度を９９％程度まで引き上げることができる。また、物体までの距離が分かることから物体の属性としてサイズを容易かつ正確に算出することができる。このサイズに基いて、物体の他の属性、例えば、大人か小人かや、自動車の車種の判断等が容易になる。
【００３４】
次に、本發明の第２の実施の形態を説明する。
図５に示すように、本実施の形態の画像認識撮像装置では、距離画像取得手段が撮像手段としての２台のカメラ（カメラ１、カメラ２）１０と、これらカメラ１０で撮影された左右の画像の視差から画素毎の距離を算出して距離画像を生成する距離画像検出手段１１とを備えている。また、２台のカメラ１０と距離画像検出手段１１とから３Ｄセンサ機能付きステレオカメラ１２が構成される。３Ｄセンサ機能付きステレオカメラ１２により、距離画像検出手段１１で生成された距離画像と、カメラ１０で撮影された画像を得ることができる。なお、ステレオカメラ１２により視差のある２つの画像が得られるが両方を用いるものとしても、どちらか一方を用いるものとしてもよい。
第２の実施の形態において、距離画像取得手段と撮像手段の構成以外の構成は、上述の第１の実施の形態の画像認識撮像装置と同様であり、物体抽出手段３、物体画像抽出手段４、画像認識手段５、制御手段６および記憶手段７を備え、通信網８を介して外部のサーバ９に接続されている。
【００３５】
第２の実施の形態においても、距離画像をステレオカメラ１２で撮影された一対の画像の視差から周知の方法により求める以外は、第１の実施の形態と同様の方法により画像認識を行なうことができ、第１の実施の形態の画像認識撮像装置と同様の作用効果を奏することができる。
なお、距離画像取得手段は、ＴＯＦ方式の３Ｄセンサやステレオカメラに限られるものではなく、撮像手段の撮影範囲に対応して距離画像を生成可能であれば他の方式の３Ｄセンサであってもよい。
【符号の説明】
【００３６】
１    画像センサ（撮像手段）
２    ３Ｄセンサ（距離画像取得手段、距離計測手段）
３    物体抽出手段（距離画像認識対象物抽出手段）
４    物体画像抽出手段（認識対象物画像抽出手段）
５    画像認識手段
１０  カメラ（撮像手段）
１１  距離画像検出手段（距離画像取得手段）
１２  ステレオカメラ（距離画像取得手段）
【図１】
2018156408.tif 000003
【図２】
2018156408.tif 000004
【図３】
2018156408.tif 000005
【図４】
2018156408.tif 000006
【図５】
2018156408.tif 000007