(57)【要約】【課題】動物の大きさを精度よく推定することが可能な認識処理装置を提供する。【解決手段】認識処理装置１００は、映像取得部１１２、認識処理部１２０及び推定部１３０を有する。映像取得部１１２は、周囲を撮影した映像を取得する。認識処理部１２０は、映像から、動物と動物の２つの目の反射とを認識する。推定部１３０は、認識された２つの目の反射から得られる２つの目の間の距離に基づいて、動物の大きさを推定する。【選択図】図２
2020087233.tif 000002
【特許請求の範囲】
【請求項１】
周囲を撮影するカメラが撮影した映像を取得する映像取得部と、
前記映像から、動物と前記動物の２つの目の反射とを認識する認識処理部と、
認識された前記２つの目の反射から得られる前記２つの目の間の距離に基づいて、前記動物の大きさを推定する推定部と
を有する認識処理装置。
【請求項２】
前記推定部は、推定された前記動物の大きさ又は前記２つの目の間の距離に基づいて、前記カメラから前記動物までの距離を推定する
請求項１に記載の認識処理装置。
【請求項３】
前記映像取得部は、赤外線カメラによる赤外線映像と、可視光カメラによる可視光映像とを取得し、
前記認識処理部は、
前記赤外線映像から前記動物を認識し、
前記可視光映像において、前記動物と認識された物体に対応する範囲に２つの光が検出された場合に、前記２つの光が前記動物の２つの目の反射と認識する
請求項１又は２に記載の認識処理装置。
【請求項４】
周囲を撮影した映像を取得し、
前記映像から、動物と前記動物の２つの目の反射とを認識し、
認識された前記２つの目の反射から得られる前記２つの目の間の距離に基づいて、前記動物の大きさを推定する
認識処理方法。
【請求項５】
周囲を撮影した映像を取得するステップと、
前記映像から、動物と前記動物の２つの目の反射とを認識するステップと、
認識された前記２つの目の反射から得られる前記２つの目の間の距離に基づいて、前記動物の大きさを推定するステップと
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、認識処理装置、認識処理方法及びプログラムに関する。
【背景技術】
【０００２】
特許文献１は、歩行者であるか、歩行者以外の動物であるかを明確に区別する画像認識装置を開示する。特許文献１にかかる画像認識装置は、画像から検出された判別の候補となる物体が歩行者以外の所定の動物であるか否かを判別して、歩行者であるか、歩行者以外の動物であるかを明確に区別する。また、特許文献１にかかる画像認識装置は、判別の候補となる物体について、歩行者以外の所定の動物を構成する所定の部位に関する判定を行う。そして、特許文献１にかかる画像認識装置は、その結果得られる当該所定の部位についての判別値が所定の閾値を超えている場合には、当該歩行者以外の所定の動物であると判別する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−０２１０３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
動物の種類等によって、動物の大きさは千差万別である。例えば、鹿と猫とでは、大きさが全く異なる。ここで、特許文献１にかかる技術では、入力画像から検出された判別の候補となる物体までの距離を画像上の位置から測定して、その測定した距離に基づいて判別の候補となる物体の大きさを測定する。しかしながら、特許文献１にかかる技術において物体までの距離を測定する方法では、精度よく距離を測定できないおそれがある。したがって、特許文献１にかかる技術では、動物の大きさを精度よく推定することができないおそれがある。
【０００５】
上記課題に鑑み、本発明は、動物の大きさを精度よく推定することが可能な認識処理装置、認識処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明にかかる認識処理装置は、周囲を撮影するカメラが撮影した映像を取得する映像取得部と、前記映像から、動物と前記動物の２つの目の反射とを認識する認識処理部と、認識された前記２つの目の反射から得られる前記２つの目の間の距離に基づいて、前記動物の大きさを推定する推定部とを有する。
【０００７】
また、本発明にかかる認識処理方法は、周囲を撮影した映像を取得し、前記映像から、動物と前記動物の２つの目の反射とを認識し、認識された前記２つの目の反射から得られる前記２つの目の間の距離に基づいて、前記動物の大きさを推定する。
【０００８】
また、本発明にかかるプログラムは、周囲を撮影した映像を取得するステップと、前記映像から、動物と前記動物の２つの目の反射とを認識するステップと、認識された前記２つの目の反射から得られる前記２つの目の間の距離に基づいて、前記動物の大きさを推定するステップとをコンピュータに実行させる。
【発明の効果】
【０００９】
本発明によれば、動物の大きさを精度よく推定することが可能な認識処理装置、認識処理方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１にかかる車両を示す図である。
【図２】実施の形態１にかかる認識処理装置及び認識処理装置を有する認識システムの構成を示す図である。
【図３】実施の形態１にかかる認識処理方法を示すフローチャートである。
【図４】動物の大きさの推定処理を説明するための図である。
【発明を実施するための形態】
【００１１】
（実施の形態１）
以下、図面を参照して本発明の実施の形態について説明する。なお、実質的に同じ構成要素には、同じ符号が付される。
【００１２】
図１は、実施の形態１にかかる認識システム５０を備えた車両１を示す図である。図１においては、車両１が、１つの赤外線カメラ２と、１つの可視光カメラ４と、認識処理装置１００とを有する例が示されている。なお、赤外線カメラ２及び可視光カメラ４は、それぞれ、２つ以上設けられていてもよい。複数の赤外線カメラ２及び可視光カメラ４が、車両１の前後及び左右を撮影してもよい。また、以下の説明では、認識処理装置１００が車両１に搭載されている例を示しているが、本実施の形態にかかる認識処理装置１００は、車両１に搭載されている必要はない。
【００１３】
赤外線カメラ２は、赤外線、特に遠赤外線により、車両１の周囲の映像を撮影する。そして、赤外線カメラ２は、物体の熱エネルギーを検知することで、熱画像の映像データである赤外線映像データを生成する。つまり、赤外線映像データは、赤外線カメラ２によって撮影された赤外線映像を示す映像データである。
【００１４】
可視光カメラ４は、可視光を受光して結像する通常のカメラである。可視光カメラ４は、物体が発する光及び物体における反射光を受光することで、車両１の周囲の映像を撮影する。そして、可視光カメラ４は、可視光の映像データである可視光映像データを生成する。つまり、可視光映像データは、可視光カメラ４によって撮影された可視光映像を示す映像データである。
【００１５】
認識処理装置１００は、車両１の任意の位置に設置され得る。認識処理装置１００は、車両１が備えるＣＡＮ（Control Area Network）に接続され得る。認識処理装置１００は、赤外線カメラ２によって撮影された映像において、認識辞書を用いて、歩行者等の人物を認識する人物認識を行う。詳しくは後述する。なお、以下、用語「映像」は、情報処理における処理対象としての、「映像を示す映像データ」も意味する。同様に、以下、用語「画像」は、情報処理における処理対象としての、「画像を示す画像データ」も意味する。また、用語「音声」は、情報処理における処理対象としての、「音声を示す音声データ」も意味する。
【００１６】
図２は、実施の形態１にかかる認識処理装置１００及び認識処理装置１００を有する認識システム５０の構成を示す図である。実施の形態１にかかる認識システム５０は、赤外線カメラ２と、可視光カメラ４と、認識辞書記憶部２０と、表示部３０と、認識処理装置１００とを有する。なお、認識処理装置１００は、赤外線カメラ２、可視光カメラ４、認識辞書記憶部２０及び表示部３０の少なくとも１つを有してもよい。
【００１７】
認識辞書記憶部２０は、認識処理装置１００が人間以外の動物を認識するために使用される認識辞書である動物認識辞書に関する辞書データを記憶する。なお、以降、人間以外の動物を、単に「動物」と称する。認識辞書は、例えば、機械学習によって生成される学習済みモデルである。動物認識辞書は、例えば、様々な動物を撮影した多数の映像（赤外線映像）を用いて機械学習により生成され得る。認識辞書は、認識処理装置１００が、映像において動物を検出する際に用いられる。なお、用語「認識辞書」は、情報処理における処理対象としての、「認識辞書を示す辞書データ」も意味する。
【００１８】
表示部３０は、例えばディスプレイ等である。表示部３０は、認識処理装置１００の制御により映像を表示する。なお、表示部３０は、スピーカを含んでもよい。この場合、表示部３０は、スピーカから音声を出力してもよい。また、認識処理装置１００が車両１に搭載される場合、表示部３０は、車両１の内部に、車両の運転者が運転中に視認できる位置に設けられる。この場合、表示部３０は、後述するインタフェース部１０８によって実現されてもよい。
【００１９】
認識処理装置１００は、主要なハードウェア構成として、制御部１０２と、記憶部１０４と、通信部１０６と、インタフェース部１０８（ＩＦ；Interface）とを有する。制御部１０２、記憶部１０４、通信部１０６及びインタフェース部１０８は、データバスなどを介して相互に接続されている。つまり、認識処理装置１００は、コンピュータとしての機能を有する。
【００２０】
制御部１０２は、例えばＣＰＵ（Central Processing Unit）等のプロセッサである。制御部１０２は、制御処理及び演算処理等を行う演算装置としての機能を有する。記憶部１０４は、例えばメモリ又はハードディスク等の記憶デバイスである。記憶部１０４は、例えばＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）等である。記憶部１０４は、制御部１０２によって実行される制御プログラム及び演算プログラム等を記憶するための機能を有する。また、記憶部１０４は、処理データ等を一時的に記憶するための機能を有する。
【００２１】
通信部１０６は、外部の装置と通信を行うために必要な処理を行う。通信部１０６は、通信ポートを含み得る。インタフェース部１０８（ＩＦ；Interface）は、例えばユーザインタフェース（ＵＩ）である。インタフェース部１０８は、キーボード、タッチパネル又はマウス等の入力装置と、ディスプレイ又はスピーカ等の出力装置とを有する。
【００２２】
また、認識処理装置１００は、映像取得部１１２と、認識処理部１２０と、算出部１２２と、推定部１３０と、表示制御部１４０とを有する。推定部１３０は、大きさ推定部１３２と、距離推定部１３４とを有する。映像取得部１１２、認識処理部１２０、算出部１２２、推定部１３０及び表示制御部１４０は、例えば、制御部１０２の制御によってまたは制御部１０２の機能として、プログラムを実行させることによって実現できる。より具体的には、映像取得部１１２、認識処理部１２０、算出部１２２、推定部１３０及び表示制御部１４０は、記憶部１０４に格納されたプログラムを、制御部１０２が実行することによって実現され得る。また、必要なプログラムを任意の不揮発性記録媒体に記録しておき、必要に応じてインストールすることで、映像取得部１１２、認識処理部１２０、算出部１２２、推定部１３０及び表示制御部１４０を実現するようにしてもよい。
【００２３】
また、映像取得部１１２、認識処理部１２０、算出部１２２、推定部１３０及び表示制御部１４０は、プログラムによるソフトウェアで実現することに限られない。映像取得部１１２、認識処理部１２０、算出部１２２、推定部１３０及び表示制御部１４０は、ハードウェア、ファームウェア及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、映像取得部１１２、認識処理部１２０、算出部１２２、推定部１３０及び表示制御部１４０は、例えばＦＰＧＡ（field-programmable gate array）又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。
【００２４】
映像取得部１１２は、周囲を撮影した映像を取得する。具体的には、映像取得部１１２は、赤外線カメラ２から赤外線映像を取得する。また、映像取得部１１２は、可視光カメラ４から可視光映像を取得する。
【００２５】
認識処理部１２０は、映像から、動物と動物の２つの目の反射とを認識する。具体的には、認識処理部１２０は、赤外線映像から、動物認識辞書を用いて動物を認識する。さらに具体的には、認識処理部１２０は、赤外線映像から、動物の可能性のある物体を検出し、その物体が動物であると認識する。また、認識処理部１２０は、可視光映像において、動物認識辞書を用いて動物と認識された物体に対応する範囲に２つの光が検出された場合に、この２つの光が動物の２つの目の反射と認識する。詳しくは後述する。
【００２６】
なお、夜間等において、動物は、車両１のヘッドライト等を浴びると、ヘッドライトの光源側つまり車両１の方向を向く傾向がある。また、この場合、動物の目は、車両１のヘッドライト等の光を反射して光って見える。したがって、可視光映像に、その動物の２つの目の反射光が現れ得る。動物の目の反射光とは、車両１のヘッドライト等の光が動物の目に入射すると、眼球奥の輝板に光が反射した光である。
【００２７】
また、認識処理部１２０は、映像取得部１１２によって取得された映像データに対し、映像データを構成するフレーム毎、又は所定間隔のフレーム毎に、動物の認識処理を行う。ここで、赤外線カメラ２の画角は、可視光カメラ４の画角と略一致しているとする。映像取得部１１２は、互いに同じタイミングで撮影された赤外線映像データのフレームと可視光映像データのフレームとを対応付ける。そして、映像取得部１１２は、赤外線カメラ２の位置と可視光カメラ４の位置とのずれに応じて赤外線映像のフレームと可視光映像のフレームとの位置関係を校正する。これにより、同じタイミングで撮影された赤外線映像と可視光映像との位置座標が概ね一致する。したがって、これらの赤外線映像と可視光映像とを重ね合せたときに、両者に写った物体の位置が一致し得る。なお、映像取得部１１２によって行われる上述したような校正処理は、認識処理部１２０が行ってもよい。
【００２８】
算出部１２２は、可視光映像における、動物の２つの目の間の距離つまり間隔を算出する。推定部１３０は、動物に関する推定を行う。大きさ推定部１３２は、２つの目の反射から得られる２つの目の間の距離に基づいて、動物の大きさを推定する。距離推定部１３４は、推定された動物の大きさ又は２つの目の間の距離に基づいて、動物までの距離を推定する。詳しくは後述する。
【００２９】
なお、動物の目の間隔は、その動物の種類又は大きさによらず、概ね同じ距離であり得る。つまり、動物の体の大きさ（体長又は体高など）の個体差と比較して、動物の目の間隔の個体差は、はるかに小さい。例えば、動物の目の間隔は、概ね１５ｃｍ〜２０ｃｍ前後であり得る。本実施の形態では、動物のこのような性質を利用する。
【００３０】
表示制御部１４０は、認識処理部１２０及び推定部１３０の処理結果に応じて、表示部３０に画像を表示させるための制御を行う。例えば、表示制御部１４０は、認識処理部１２０によって動物が認識されたときに、動物が車両１の前方等に存在する旨の警告を、表示部３０に表示させてもよい。また、表示制御部１４０は、推定部１３０によって推定された動物の大きさ及び車両１から動物までの距離を、表示部３０に表示させてもよい。
【００３１】
図３は、実施の形態１にかかる認識処理方法を示すフローチャートである。映像取得部１１２は、赤外線カメラ２から赤外線映像を取得する（ステップＳ１０２）。また、映像取得部１１２は、可視光カメラ４から可視光映像を取得する（ステップＳ１０４）。認識処理部１２０は、上述したように、赤外線映像から、動物認識辞書を用いて動物を認識する（ステップＳ１０６）。
【００３２】
動物が認識されると（ステップＳ１０８のＹＥＳ）、認識処理部１２０は、可視光映像において、動物の２つの目の反射を検出する（ステップＳ１１０）。具体的には、認識処理部１２０は、赤外線映像データのフレームと可視光映像データのフレームとが重畳された重畳画像において、Ｓ１０６の処理で動物認識辞書を用いて動物と認識された物体に対応する範囲に、２つの光が検出されたか否かを判定する。そして、認識処理部１２０は、この範囲に２つの光が検出された場合に、この２つの光が動物の２つの目の反射と認識する。ステップＳ１０８の処理は、赤外線映像から動物であると認識され、動物の頭部であると判断された範囲において、２つの光が検出されたか否かを判定することとしてもよい。
【００３３】
動物の２つの目の反射が検出されると（ステップＳ１１２のＹＥＳ）、算出部１２２は、可視光映像又は重畳画像における、動物の２つの目の間の距離を算出する（ステップＳ１２０）。具体的には、算出部１２２は、可視光映像又は重畳画像における、２つの目の反射にそれぞれ対応する画素の間の画素数を算出する。または、算出部１２２は、可視光映像又は重畳画像における、２つの目の反射にそれぞれ対応する画素の間の距離を算出してもよい。
【００３４】
大きさ推定部１３２は、算出された２つの目の間の距離に基づいて、Ｓ１０６の処理で認識された動物の大きさを推定する（ステップＳ１２２）。具体的には、上述したように、動物の目の間隔は、動物によらないで概ね一定であり得る。そこで、この動物の目の間隔をＤ（ｃｍ）とする。ここで、Ｄは、予め定められた一定値であり得る。以下、図４を用いて説明する。
【００３５】
図４は、動物の大きさの推定処理を説明するための図である。図４は、動物９０が撮影された赤外線映像に、動物の目９２の反射が撮影された可視光映像が重畳された重畳画像である。この重畳画像における２つの目９２の間の距離をｄとする。また、重畳画像における動物９０の胴体の横幅に対応する距離をｗとする。また、重畳画像における動物９０の体高に対応する距離をｈとする。この場合、大きさ推定部１３２は、動物９０の実際の胴体の横幅の推定値Ｗを、Ｗ＝Ｄ＊ｗ／ｄと算出する。また、大きさ推定部１３２は、動物９０の実際の体高の推定値Ｈを、Ｈ＝Ｄ＊ｈ／ｄと算出する。
【００３６】
距離推定部１３４は、推定された動物の大きさ又は算出された２つの目の間の距離に基づいて、赤外線カメラ２から動物までの距離を推定する（ステップＳ１２４）。赤外線カメラ２から動物までの距離は、認識システム５０から動物までの距離としてもよく、認識システム５０が車両１に搭載されている場合は、車両１から動物までの距離としてもよい。具体的には、距離推定部１３４は、例えば、以下の２つの方法により、赤外線カメラ２から動物までの距離を算出する。しかしながら、動物までの距離を算出する方法は、以下の方法に限られない。
【００３７】
図４に例示するように、赤外線映像の上端から下端まで動物が写りこんでいる場合、赤外線映像のフレーム高さはｈとなり、ｈに対応する実際の高さはＨである。そして、赤外線カメラ２の画角をθ、赤外線カメラ２から動物までの距離をＬとする。この場合、以下の式（１）が成り立つ。
ｔａｎ（θ／２）＝Ｈ／２Ｌ  ・・・（１）
したがって、距離推定部１３４は、赤外線カメラ２から動物までの距離Ｌを、以下の式（２）によって算出する。
Ｌ＝Ｈ／｛２＊ｔａｎ（θ／２）｝  ・・・（２）
【００３８】
あるいは、赤外線カメラ２及び可視光カメラ４の焦点距離をｆとすると、重畳画像における２つの目の間の距離ｄを用いて、以下の式（３）が成り立つ。
ｆ：ｄ＝Ｌ：Ｄ  ・・・（３）
したがって、距離推定部１３４は、赤外線カメラ２から動物までの距離Ｌを、以下の式（４）によって算出する。
Ｌ＝Ｄ＊（ｆ／ｄ）  ・・・（４）
【００３９】
上述したように、本実施の形態にかかる認識処理装置１００は、映像から、動物と動物の２つの目の反射とを認識し、２つの目の間の距離に基づいて、動物の大きさを推定するように構成されている。ここで、上述したように、動物の２つの目の間の距離は、個体差によらず略一定であり得る。これにより、動物の大きさを精度よく推定することが可能となる。
【００４０】
また、本実施の形態にかかる認識処理装置１００は、推定された動物の大きさ又は２つの目の間の距離に基づいて、赤外線カメラ２から動物までの距離を推定するように構成されている。上述したように、推定された動物の大きさは概ね動物の実際の動物の大きさに対応している。また、上述したように、動物の２つの目の間の距離は、個体差によらず略一定であり得る。したがって、上記のように構成されていることにより、赤外線カメラ２から動物までの距離を精度よく推定することが可能となる。
【００４１】
また、本実施の形態にかかる認識処理装置１００は、赤外線映像から動物を認識し、可視光映像において、動物と認識された物体に対応する範囲に２つの光が検出された場合に、２つの光が動物の２つの目の反射と認識するように構成されている。これにより、２つの光が確実に動物の目の反射であると認識することが可能となる。
【００４２】
また、上記実施の形態において、認識処理部１２０は、赤外線映像から動物認識辞書を用いて、動物の種別を認識してもよい。この場合、大きさ推定部１３２は、認識された動物の種別に対応した動物の２つの目の間の距離を用いて、動物の大きさを推定するため、より精度よく、動物の大きさを推定できる。  
【００４３】
（変形例）  なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述したフローチャートにおける各処理の順序は、適宜、変更可能である。また、上述したフローチャートにおける各処理のうちの１つ以上は、省略され得る。
【００４４】
例えば、図３のフローチャートにおいて、Ｓ１０４の処理は、Ｓ１０８の処理の後など、Ｓ１０６の処理以降で実行されてもよい。また、Ｓ１２２の処理とＳ１２４の処理の順序は逆でもよい。つまり、動物の大きさではなく動物の２つ目の距離から動物までの距離を推定する場合は、Ｓ１２４の処理をＳ１２２の処理の前に行ってもよい。
【００４５】
また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【符号の説明】
【００４６】
１  車両
２  赤外線カメラ
４  可視光カメラ
２０  認識辞書記憶部
３０  表示部
５０  認識システム
１００  認識処理装置
１１２  映像取得部
１２０  認識処理部
１２２  算出部
１３０  推定部
１３２  大きさ推定部
１３４  距離推定部
１４０  表示制御部
【図１】
2020087233.tif 000003
【図２】
2020087233.tif 000004
【図３】
2020087233.tif 000005
【図４】
2020087233.tif 000006