(57)【要約】  三次元畳み込みニューラルネットワークを用いた認識処理が実行される三次元領域の絞り込みを効率よく行える認識処理装置、認識処理方法及びプログラムを提供する。第１認識処理実行部（６８）は、ボクセルデータの生成に用いられる、実空間を撮影した撮影画像に対して第１の認識処理を実行する。ターゲット二次元領域決定部（７０）は、第１の認識処理の結果に基づいて、撮影画像の一部を占める二次元領域を決定する。ターゲット三次元領域決定部（７２）は、二次元領域と撮影画像を撮影した際のカメラの位置とに基づいて、実空間内の三次元領域を決定する。第２認識処理実行部（７４）は、三次元領域内の位置に対応付けられるボクセルデータに対して三次元畳み込みニューラルネットワークを用いた第２の認識処理を実行する。
2019012632.tif 000002
【特許請求の範囲】
【請求項１】
実空間における位置とボクセル値とが対応付けられたボクセルデータに対して三次元畳み込みニューラルネットワークを用いた認識処理を実行する認識処理装置であって、
前記ボクセルデータの生成に用いられる、前記実空間を撮影した撮影画像に対して第１の認識処理を実行する第１認識処理実行部と、
前記第１の認識処理の結果に基づいて、前記撮影画像の一部を占める二次元領域を決定する二次元領域決定部と、
前記二次元領域と前記撮影画像を撮影した際のカメラの位置とに基づいて、前記実空間内の三次元領域を決定する三次元領域決定部と、
前記三次元領域内の位置に対応付けられる前記ボクセルデータに対して三次元畳み込みニューラルネットワークを用いた第２の認識処理を実行する第２認識処理実行部と、
を含むことを特徴とする認識処理装置。
【請求項２】
前記第１認識処理部は、互いに異なる位置から前記実空間を撮影した第１の撮影画像と第２の撮影画像のそれぞれに対して前記第１の認識処理を実行し、
前記二次元領域決定部は、前記第１の認識処理の結果に基づいて、前記第１の撮影画像の一部を占める第１の二次元領域と、前記第２の撮影画像の一部を占める第２の二次元領域と、を決定し、
前記三次元領域決定部は、前記第１の二次元領域と前記第１の撮影画像を撮影した際のカメラの位置とに基づいて決定される第１の三次元領域と、前記第２の二次元領域と前記第２の撮影画像を撮影した際のカメラの位置とに基づいて決定される第２の三次元領域と、を決定し、
前記第２認識処理実行部は、前記第１の三次元領域及び前記第２の三次元領域に応じた前記実空間内の三次元領域内の位置に対応付けられる前記ボクセルデータに対して三次元畳み込みニューラルネットワークを用いた第２の認識処理を実行する、
ことを特徴とする請求項１に記載の認識処理装置。
【請求項３】
前記第２認識処理実行部は、前記第１の三次元領域と前記第２の三次元領域とが交差する三次元領域内の位置に対応付けられる前記ボクセルデータに対して三次元畳み込みニューラルネットワークを用いた第２の認識処理を実行する、
ことを特徴とする請求項２に記載の認識処理装置。
【請求項４】
前記第１の認識処理実行部は、深さ情報に関連付けられた撮影画像に対して前記第１の認識処理を実行し、
前記三次元領域決定部は、前記二次元領域内の位置に関連付けられている前記深さ情報に基づいて、前記実空間内の三次元領域を決定する、
ことを特徴とする請求項１から３のいずれか一項に記載の認識処理装置。
【請求項５】
前記第１認識処理実行部は、前記撮影画像に対して二次元畳み込みニューラルネットワークを用いた前記第１の認識処理を実行する、
ことを特徴とする請求項１から４のいずれか一項に記載の認識処理装置。
【請求項６】
実空間における位置とボクセル値とが対応付けられたボクセルデータに対して三次元畳み込みニューラルネットワークを用いた認識処理を実行する認識処理方法であって、
前記ボクセルデータの生成に用いられる、前記実空間を撮影した撮影画像に対して第１の認識処理を実行するステップと、
前記第１の認識処理の結果に基づいて、前記撮影画像の一部を占める二次元領域を決定するステップと、
前記二次元領域と前記撮影画像を撮影した際のカメラの位置とに基づいて、前記実空間内の三次元領域を決定するステップと、
前記三次元領域内の位置に対応付けられる前記ボクセルデータに対して三次元畳み込みニューラルネットワークを用いた第２の認識処理を実行するステップと、
を含むことを特徴とする認識処理方法。
【請求項７】
実空間における位置とボクセル値とが対応付けられたボクセルデータに対して三次元畳み込みニューラルネットワークを用いた認識処理を実行するコンピュータに、
前記ボクセルデータの生成に用いられる、前記実空間を撮影した撮影画像に対して第１の認識処理を実行する手順、
前記第１の認識処理の結果に基づいて、前記撮影画像の一部を占める二次元領域を決定する手順、
前記二次元領域と前記撮影画像を撮影した際のカメラの位置とに基づいて、前記実空間内の三次元領域を決定する手順、
前記三次元領域内の位置に対応付けられる前記ボクセルデータに対して三次元畳み込みニューラルネットワークを用いた第２の認識処理を実行する手順、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、認識処理装置、認識処理方法及びプログラムに関する。
【背景技術】
【０００２】
三次元空間内の位置とボクセル値とを関連付けたボクセルデータに対して三次元畳み込みニューラルネットワークを用いた認識処理を実行することで、三次元空間内における物体認識等の認識処理を行う技術が知られている。このような認識処理の技術で用いられるボクセルデータは、例えば三次元空間を撮影した撮影画像を用いて生成される。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
一般的に三次元畳み込みニューラルネットワークを用いた認識処理の計算コストは高い。そのため三次元畳み込みニューラルネットワークを用いた認識処理の対象となるボクセルの数はできるだけ少ない方が望ましい。【０００４】
ここで三次元畳み込みニューラルネットワークを用いた認識処理の計算コストの低減のために、例えば当該認識処理を実行する前に当該認識処理の対象となる三次元領域を絞り込むことが考えられる。【０００５】
しかしこの場合、三次元領域の絞り込みのためのデータをわざわざ別途用意するのは手間がかかり効率が悪い。【０００６】
本発明は上記課題に鑑みてなされたものであって、その目的の１つは、三次元畳み込みニューラルネットワークを用いた認識処理が実行される三次元領域の絞り込みを効率よく行える認識処理装置、認識処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明に係る認識処理装置は、実空間における位置とボクセル値とが対応付けられたボクセルデータに対して三次元畳み込みニューラルネットワークを用いた認識処理を実行する認識処理装置であって、前記ボクセルデータの生成に用いられる、前記実空間を撮影した撮影画像に対して第１の認識処理を実行する第１認識処理実行部と、前記第１の認識処理の結果に基づいて、前記撮影画像の一部を占める二次元領域を決定する二次元領域決定部と、前記二次元領域と前記撮影画像を撮影した際のカメラの位置とに基づいて、前記実空間内の三次元領域を決定する三次元領域決定部と、前記三次元領域内の位置に対応付けられる前記ボクセルデータに対して三次元畳み込みニューラルネットワークを用いた第２の認識処理を実行する第２認識処理実行部と、を含む。【０００８】
本発明の一態様では、前記第１認識処理部は、互いに異なる位置から前記実空間を撮影した第１の撮影画像と第２の撮影画像のそれぞれに対して前記第１の認識処理を実行し、前記二次元領域決定部は、前記第１の認識処理の結果に基づいて、前記第１の撮影画像の一部を占める第１の二次元領域と、前記第２の撮影画像の一部を占める第２の二次元領域と、を決定し、前記三次元領域決定部は、前記第１の二次元領域と前記第１の撮影画像を撮影した際のカメラの位置とに基づいて決定される第１の三次元領域と、前記第２の二次元領域と前記第２の撮影画像を撮影した際のカメラの位置とに基づいて決定される第２の三次元領域と、を決定し、前記第２認識処理実行部は、前記第１の三次元領域及び前記第２の三次元領域に応じた前記実空間内の三次元領域内の位置に対応付けられる前記ボクセルデータに対して三次元畳み込みニューラルネットワークを用いた第２の認識処理を実行する。【０００９】
この態様では、前記第２認識処理実行部は、前記第１の三次元領域と前記第２の三次元領域とが交差する三次元領域内の位置に対応付けられる前記ボクセルデータに対して三次元畳み込みニューラルネットワークを用いた第２の認識処理を実行してもよい。【００１０】
また、本発明の一態様では、前記第１の認識処理実行部は、深さ情報に関連付けられた撮影画像に対して前記第１の認識処理を実行し、前記三次元領域決定部は、前記二次元領域内の位置に関連付けられている前記深さ情報に基づいて、前記実空間内の三次元領域を決定する。【００１１】
また、本発明の一態様では、前記第１認識処理実行部は、前記撮影画像に対して二次元畳み込みニューラルネットワークを用いた前記第１の認識処理を実行する。【００１２】
また、本発明に係る認識処理方法は、実空間における位置とボクセル値とが対応付けられたボクセルデータに対して三次元畳み込みニューラルネットワークを用いた認識処理を実行する認識処理方法であって、前記ボクセルデータの生成に用いられる、前記実空間を撮影した撮影画像に対して第１の認識処理を実行するステップと、前記第１の認識処理の結果に基づいて、前記撮影画像の一部を占める二次元領域を決定するステップと、前記二次元領域と前記撮影画像を撮影した際のカメラの位置とに基づいて、前記実空間内の三次元領域を決定するステップと、前記三次元領域内の位置に対応付けられる前記ボクセルデータに対して三次元畳み込みニューラルネットワークを用いた第２の認識処理を実行するステップと、を含む。【００１３】
また、本発明に係るプログラムは、実空間における位置とボクセル値とが対応付けられたボクセルデータに対して三次元畳み込みニューラルネットワークを用いた認識処理を実行するコンピュータに、前記ボクセルデータの生成に用いられる、前記実空間を撮影した撮影画像に対して第１の認識処理を実行する手順、前記第１の認識処理の結果に基づいて、前記撮影画像の一部を占める二次元領域を決定する手順、前記二次元領域と前記撮影画像を撮影した際のカメラの位置とに基づいて、前記実空間内の三次元領域を決定する手順、前記三次元領域内の位置に対応付けられる前記ボクセルデータに対して三次元畳み込みニューラルネットワークを用いた第２の認識処理を実行する手順、を実行させる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係る認識処理装置の構成図である。
【図２】実空間の一例を示す図である。
【図３】ボクセルデータの一例を示す図である。
【図４Ａ】撮影画像の一例を示す図である。
【図４Ｂ】撮影画像の一例を示す図である。
【図５Ａ】認識結果画像の一例を示す図である。
【図５Ｂ】認識結果画像の一例を示す図である。
【図６】ターゲット三次元領域の一例を示す図である。
【図７】コートが占める二次元領域を底面とする直方体とターゲット三次元領域との関係の一例を示す図である。
【図８】本発明の一実施形態に係る認識処理装置で実装される機能の一例を示す機能ブロック図である。
【図９】本発明の一実施形態に係る認識処理装置で行われる処理の流れの一例を示すフロー図である。
【発明を実施するための形態】
【００１５】
以下、本発明の一実施形態について図面に基づき詳細に説明する。
【００１６】
図１は、本発明の一実施形態に係る認識処理装置１０の構成図である。本実施形態に係る認識処理装置１０は、例えば、ゲームコンソールやパーソナルコンピュータなどのコンピュータである。図１に示すように、本実施形態に係る認識処理装置１０は、例えば、プロセッサ１２、記憶部１４、操作部１６、表示部１８を含んでいる。
【００１７】
プロセッサ１２は、例えば認識処理装置１０にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。
【００１８】
記憶部１４は、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部１４には、プロセッサ１２によって実行されるプログラムなどが記憶される。
【００１９】
操作部１６は、キーボード、マウス、ゲームコンソールのコントローラ等のユーザインタフェースであって、ユーザの操作入力を受け付けて、その内容を示す信号をプロセッサ１２に出力する。
【００２０】
表示部１８は、液晶ディスプレイ等の表示デバイスであって、プロセッサ１２の指示に従って各種の画像を表示する。
【００２１】
なお、認識処理装置１０は、ネットワークボードなどの通信インタフェース、ＤＶＤ−ＲＯＭやＢｌｕ−ｒａｙ（登録商標）ディスクなどの光ディスクを読み取る光ディスクドライブ、ＵＳＢ（Universal Serial Bus）ポートなどを含んでいてもよい。
【００２２】
本実施形態に係る認識処理装置１０では、例えば図２に例示する三次元空間である実空間２０に対する物体認識等の認識処理が実行される。図２に例示する実空間２０には、バスケットボールのコート２２にボール２４を持った選手２６がゴール２８に向かってボール２４をシュートする様子が表されている。ここで本実施形態では、三次元空間である実空間２０における選手２６の輪郭や選手２６に相当するボクセル群を推定するセマンティックセグメンテーションの処理が実行されることとする。
【００２３】
本実施形態では、図２に示すように、互いに異なる位置から実空間２０を撮影する複数のカメラ３０が実空間２０に配置されている。図２の例では、４つのカメラ３０（３０ａ，３０ｂ，３０ｃ，及び３０ｄ）が示されているが、４つ以上のカメラ３０が実空間２０に配置されていてもよい。またこれらのカメラ３０は、ステレオカメラや赤外線測距センサ付きのカメラなどといった、深さ情報を含む画像の撮影が可能なカメラであってもよい。この場合例えば、撮影される画像の画素のそれぞれに対応付けられる、カメラ３０から被写体までの距離の分布を示すデプス画像が併せて生成されてもよい。
【００２４】
そして本実施形態では例えば、これら複数のカメラ３０によって撮影される画像に基づいて、公知の手法により図３に例示するボクセルデータが生成される。図３に示すように、ボクセルデータには、三次元座標値と、ボクセル値と、が含まれている。ここでは例えば、複数のカメラ３０のそれぞれについての、当該カメラ３０の位置、向き、及び、画角を示す情報と、当該カメラ３０によって撮影された画像に基づいて、ボクセルデータが生成されてもよい。また撮影される画像とデプス画像とに基づいてボクセルデータが生成されてもよい。また図２には図示されていないカメラ３０によって撮影された画像も用いてボクセルデータが生成されてもよい。
【００２５】
そして本実施形態では、生成されたボクセルデータに対するセマンティックセグメンテーションの処理が実行される前に、ボクセルデータの生成に用いられる、カメラ３０によって撮影される撮影画像３２（図４Ａ及び図４Ｂ参照）に対する認識処理が実行される。
【００２６】
図４Ａは、選手２６の後に配置されたカメラ３０ａにより撮影される画像である撮影画像３２ａの一例を示す図である。図４Ｂは、選手２６の右に配置されたカメラ３０ｂにより撮影される画像である撮影画像３２ｂの一例を示す図である。そして本実施形態では例えば、ボクセルデータに対するセマンティックセグメンテーションの処理が実行される前に、撮影画像３２に対するセマンティックセグメンテーションが実行される。ここでは例えば、撮影画像３２が、セマンティックセグメンテーションを行うための学習が実行済である二次元畳み込みニューラルネットワーク（二次元ＣＮＮ）に入力される。そしてこの入力に応じて二次元ＣＮＮから、撮影画像３２に対するセマンティックセグメンテーションの実行結果が出力される。図５Ａ及び図５Ｂには、撮影画像３２に対するセマンティックセグメンテーションの実行結果の一例である認識結果画像３４が示されている。例えば図５Ａには、撮影画像３２ａに対するセマンティックセグメンテーションの実行結果の一例である認識結果画像３４ａが示されている。図５Ｂには、撮影画像３２ｂに対するセマンティックセグメンテーションの実行結果の一例である認識結果画像３４ｂの一例が示されている。
【００２７】
図５Ａ及び図５Ｂに示すように、認識結果画像３４は、それぞれが認識結果である物体に応じたカテゴリに対応付けられる複数の領域（例えば、選手領域３６、ボール領域３８、及び、ゴール領域４０）に画素単位で分割されている。認識結果画像３４ａには、選手２６に対応付けられる選手領域３６ａ、ボール２４に対応付けられるボール領域３８ａ、及び、ゴール２８に対応付けられるゴール領域４０ａが示されている。また認識結果画像３４ｂには、選手２６に対応付けられる選手領域３６ｂ、ボール２４に対応付けられるボール領域３８ｂ、及び、ゴール２８に対応付けられるゴール領域４０ｂが示されている。
【００２８】
そして本実施形態では、特定のカテゴリに対応付けられる、認識結果画像３４内の一部の領域が、ターゲット二次元領域４２として決定される。図５Ａには、ターゲット二次元領域４２ａが示されており、図５Ｂには、ターゲット二次元領域４２ｂが示されている。
【００２９】
ここで例えば上述の特定のカテゴリが予め設定されていてもよい。ここでは例えば選手領域３６が特定のカテゴリとして設定されていることとする。そしてこの場合に、認識結果画像３４ａ内における、選手領域３６ａに対応付けられる領域がターゲット二次元領域４２ａとして決定されるようにしてもよい。また認識結果画像３４ｂ内における、選手領域３６ｂに対応付けられる領域がターゲット二次元領域４２ｂとして決定されるようにしてもよい。
【００３０】
ここで例えば図５Ａ及び図５Ｂに示すように、選手領域３６に外接する矩形領域がターゲット二次元領域４２として決定されてもよい。また選手領域３６に外接する矩形領域に余裕領域を加えた領域がターゲット二次元領域４２として決定されてもよい。例えば選手領域３６に外接する矩形領域と重心が同じであり、当該矩形領域よりも縦横の長さが所定の長さだけ長い領域がターゲット二次元領域４２として決定されてもよい。また例えば、選手領域３６に外接する矩形領域と重心が同じであり、当該矩形領域に対して１倍より大きな所定倍の大きさである領域がターゲット二次元領域４２として決定されてもよい。またターゲット二次元領域４２は四角形の領域である必要はなく、例えば選手領域３６を構成する画素の輪郭よりも内側の領域がターゲット二次元領域４２として決定されてもよい。
【００３１】
そして本実施形態では、認識結果画像３４内におけるターゲット二次元領域４２の位置及び大きさに基づいて、撮影画像３２内におけるターゲット二次元領域４４の位置及び大きさが決定される。なおここでは認識結果画像３４と撮影画像３２は形状もサイズも同じであり、認識結果画像３４内におけるターゲット二次元領域４２の位置及び大きさと撮影画像３２内におけるターゲット二次元領域４４の位置及び大きさは同じであることとする。
【００３２】
そして本実施形態では、撮影画像３２内におけるターゲット二次元領域４４に基づいて、当該ターゲット二次元領域４４に対応付けられる、図６に示されている、実空間２０内におけるターゲット三次元領域４６が決定される。ここで例えば、ターゲット二次元領域４４に撮影画像３２の撮影において投影される実空間２０内の三次元領域がターゲット三次元領域４６として決定されてもよい。
【００３３】
図６には、撮影画像３２を撮影した際のカメラ３０の位置に相当するカメラ位置４８、及び、カメラ３０の光軸に垂直な仮想的な撮像面５０が示されている。ここでカメラ位置４８ａは、カメラ３０ａの位置に相当し、カメラ位置４８ｂは、カメラ３０ｂの位置に相当することとする。また、撮像面５０ａはカメラ３０ａの光軸に垂直な面であり、撮像面５０ｂはカメラ３０ｂの光軸に垂直な面であることとする。
【００３４】
そして撮像面５０には、撮影画像３２内におけるターゲット二次元領域４４に相当するターゲット二次元領域５２が示されている。図６には、撮影画像３２ａ内におけるターゲット二次元領域４４ａに相当するターゲット二次元領域５２ａ、及び、撮影画像３２ｂ内におけるターゲット二次元領域４４ｂに相当するターゲット二次元領域５２ｂが示されている。本実施形態では例えば、撮影画像３２に対するターゲット二次元領域４４の相対的な位置及び相対的なサイズは、撮像面５０に対するターゲット二次元領域５２の相対的な位置及び相対的なサイズと同じであることとする。
【００３５】
そして本実施形態では例えば、ターゲット二次元領域５２ａとターゲット二次元領域５２ｂとに基づいて、ターゲット三次元領域４６が決定される。ここで例えば、カメラ位置４８ａを頂点としターゲット二次元領域５２ａを断面とする底面のない錐体（例えば四角錐体５４ａ）が特定されてもよい。また例えば、カメラ位置４８ｂを頂点としターゲット二次元領域５２ｂを断面とする底面のない錐体（例えば四角錐体５４ｂ）が特定されてもよい。そして例えば、四角錐体５４ａと四角錐体５４ｂとが交差する三次元領域がターゲット三次元領域４６として決定されてもよい。
【００３６】
本実施形態では以上のようにして撮影画像３２に基づくターゲット三次元領域４６の決定が実行される。なおボクセルデータの生成に用いられるすべてのカメラ３０によって撮影される撮影画像３２に対して上述の処理が実行される必要はない。以上で説明したように、ボクセルデータの生成に用いられるカメラ３０のうちの一部（例えば、カメラ３０ａ及びカメラ３０ｂ）によって撮影される撮影画像３２に対して上述の処理が実行されても構わない。
【００３７】
そして本実施形態では例えば、ターゲット三次元領域４６内の位置に対応付けられるボクセルデータが、セマンティックセグメンテーションを行うための学習が実行済である三次元畳み込みニューラルネットワーク（三次元ＣＮＮ）に入力される。
【００３８】
そしてこの入力に応じて三次元ＣＮＮから、ボクセルデータに対するセマンティックセグメンテーションの実行結果が出力される。ここでは例えば、三次元座標値に当該三次元座標値が表す位置における認識結果である物体に応じたカテゴリが対応付けられた実行結果のデータが出力される。そして当該実行結果のデータに基づいて、例えば三次元空間である実空間２０内における選手２６の輪郭や選手２６に相当するボクセル群が推定される。
【００３９】
例えば図７に例示するような、コート２２が占める二次元領域を底面とする直方体５６の内側であるボクセルに対応付けられるボクセルデータのすべてに対して三次元ＣＮＮを用いた認識処理が実行されるとする。このようにすると、認識対象の物体である選手２６とは無関係な領域に対しても認識処理が実行されてしまい、計算コストの無駄が発生する。
【００４０】
以上の点を踏まえ、本実施形態では、直方体５６が占める三次元空間の一部であるターゲット三次元領域４６を選手２６が存在する可能性が高い領域として絞り込むようにした。そして絞り込まれたターゲット三次元領域４６に対して三次元ＣＮＮを用いた認識処理を実行するようにした。このようにして本実施形態によれば、直方体５６の内側であるボクセルに対応付けられるボクセルデータのすべてに対して三次元ＣＮＮを用いた認識処理が実行されるよりも低い計算コストで選手２６の認識処理が実行できることとなる。
【００４１】
また本実施形態では、ボクセルデータの生成に用いられる撮影画像３２に基づいてターゲット三次元領域４６が決定されるので、三次元領域の絞り込みのためのデータをわざわざ別途用意する必要がない。このようにして本実施形態によれば三次元ＣＮＮを用いた認識処理が実行されるターゲット三次元領域４６の絞り込みを効率よく行えることとなる。
【００４２】
以下、本実施形態に係る認識処理装置１０の機能、及び、認識処理装置１０で実行される処理についてさらに説明する。
【００４３】
図８は、本実施形態に係る認識処理装置１０で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る認識処理装置１０で、図８に示す機能のすべてが実装される必要はなく、また、図８に示す機能以外の機能が実装されていても構わない。
【００４４】
図８に示すように、認識処理装置１０は、機能的には例えば、二次元ＣＮＮ６０、三次元ＣＮＮ６２、撮影画像取得部６４、ボクセルデータ生成部６６、第１認識処理実行部６８、ターゲット二次元領域決定部７０、ターゲット三次元領域決定部７２、第２認識処理実行部７４、を含んでいる。以上の要素は、プロセッサ１２、及び、記憶部１４を主として実装される。
【００４５】
以上の機能は、コンピュータである認識処理装置１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１２で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して認識処理装置１０に供給されてもよい。
【００４６】
二次元ＣＮＮ６０は、本実施形態では例えば、セマンティックセグメンテーションを行うための学習が実行済の二次元畳み込みニューラルネットワークである。例えば二次元ＣＮＮ６０は、二次元画像を入力データとして含み認識結果画像３４のようなカテゴリによって領域が分割された画像を教師データとして含む学習データによる教師あり学習が実行済の二次元畳み込みニューラルネットワークであってもよい。
【００４７】
三次元ＣＮＮ６２は、本実施形態では例えば、セマンティックセグメンテーションを行うための学習が実行済の三次元畳み込みニューラルネットワークである。例えば三次元ＣＮＮ６２は、ボクセルデータを入力データとして含みカテゴリによって領域が分割されたボクセルデータを教師データとして含む学習データによる教師あり学習が実行済の三次元畳み込みニューラルネットワークであってもよい。
【００４８】
撮影画像取得部６４は、本実施形態では例えば、カメラ３０が撮影する撮影画像３２を取得する。
【００４９】
ボクセルデータ生成部６６は、本実施形態では例えば、撮影画像取得部６４が取得する撮影画像３２に基づいて、ボクセルデータを生成する。
【００５０】
第１認識処理実行部６８は、本実施形態では例えば、ボクセルデータの生成に用いられる、実空間２０を撮影した撮影画像３２に対して第１の認識処理を実行する。ここで例えば撮影画像３２に対して二次元ＣＮＮ６０を用いた第１の認識処理が実行されてもよい。なお上述のように、ボクセルデータの生成に用いられた撮影画像３２のすべてに対して第１の認識処理が実行される必要はない。例えば、ボクセルデータの生成に用いられた撮影画像３２の一部である撮影画像３２ａ及び撮影画像３２ｂだけに対して第１の認識処理が実行されてもよい。
【００５１】
例えば第１認識処理実行部６８は、撮影画像３２ａを二次元ＣＮＮ６０に入力した際の出力である認識結果画像３４ａ、及び、撮影画像３２ｂを二次元ＣＮＮ６０に入力した際の出力である認識結果画像３４ｂを、第１の認識処理の結果として特定する。このように第１認識処理実行部６８は、撮影画像３２に対して二次元ＣＮＮ６０を用いた第１の認識処理を実行してもよい。また第１認識処理実行部６８は、撮影画像３２が表す選手２６等の特定の物体を特定してもよい。
【００５２】
ターゲット二次元領域決定部７０は、本実施形態では例えば、第１の認識処理の結果に基づいて、撮影画像３２の一部を占めるターゲット二次元領域４４を決定する。ここで例えば、撮影画像３２ａの一部を占めるターゲット二次元領域４４ａ、及び、撮影画像３２ｂの一部を占めるターゲット二次元領域４４ｂが決定されてもよい。また例えばターゲット二次元領域決定部７０は、第１認識処理実行部６８が特定する選手２６等の特定の物体の像が占める領域をターゲット二次元領域４４として決定してもよい。
【００５３】
例えば上述のように、認識結果画像３４ａ内の選手領域３６ａに基づいて、認識結果画像３４ａ内のターゲット二次元領域４２ａが決定されてもよい。そして認識結果画像３４ａ内のターゲット二次元領域４２ａに相当する、撮影画像３２ａ内の領域がターゲット二次元領域４４ａとして決定されてもよい。また認識結果画像３４ｂ内の選手領域３６ｂに基づいて、認識結果画像３４ｂ内のターゲット二次元領域４２ｂが決定されてもよい。そして認識結果画像３４ｂ内のターゲット二次元領域４２ｂに相当する、撮影画像３２ｂ内の領域がターゲット二次元領域４４ｂとして決定されてもよい。
【００５４】
ターゲット三次元領域決定部７２は、本実施形態では例えば、ターゲット二次元領域４４と撮影画像３２を撮影した際のカメラ３０の位置とに基づいて、ターゲット三次元領域４６を決定する。ここで例えばターゲット三次元領域決定部７２は、上述のように、カメラ位置４８を頂点としターゲット二次元領域５２を断面とする底面のない錐体（四角錐体５４ａ及び四角錐体５４ｂ）を特定してもよい。そして例えばターゲット三次元領域決定部７２は、四角錐体５４ａと四角錐体５４ｂとが交差する三次元領域をターゲット三次元領域４６として決定してもよい。
【００５５】
第２認識処理実行部７４は、本実施形態では例えば、ターゲット三次元領域４６内の位置に対応付けられるボクセルデータに対して三次元ＣＮＮ６２を用いた第２の認識処理を実行する。ここで例えば四角錐体５４ａに相当する第１の三次元領域と四角錐体５４ｂに相当する第２の三次元領域とに応じた実空間２０内の三次元領域内の位置に対応付けられるボクセルデータに対して三次元ＣＮＮ６２を用いた第２の認識処理が実行されてもよい。また例えば、四角錐体５４ａと四角錐体５４ｂとが交差するターゲット三次元領域４６内の位置に対応付けられるボクセルデータに対して三次元ＣＮＮ６２を用いた第２の認識処理が実行されてもよい。
【００５６】
例えばターゲット三次元領域４６内の位置に対応付けられるボクセルデータが、三次元ＣＮＮ６２に入力されてもよい。そしてこの入力に応じて三次元ＣＮＮ６２から出力される、ボクセルデータに対するセマンティックセグメンテーションの実行結果のデータが特定されてもよい。そして当該実行結果のデータに基づいて、例えば三次元空間である実空間２０内における選手２６の輪郭や選手２６に相当するボクセル群が推定されてもよい。
【００５７】
ここで、本実施形態に係る認識処理装置１０で行われる処理の流れの一例を、図９に例示するフロー図を参照しながら説明する。
【００５８】
まず、撮影画像取得部６４が撮影画像３２ａ及び撮影画像３２ｂを含む複数の撮影画像３２を取得する（Ｓ１０１）。
【００５９】
そして、ボクセルデータ生成部６６が、Ｓ１０１に示す処理で取得した複数の撮影画像３２に基づいて、ボクセルデータを生成する（Ｓ１０２）。ここでは例えば図７に示す直方体５６の内側であるボクセルに対応付けられるボクセルデータが生成されることとする。
【００６０】
そして、第１認識処理実行部６８が、Ｓ１０１に示す処理で取得した撮影画像３２ａに対して第１の認識処理を実行し、Ｓ１０１に示す処理で取得した撮影画像３２ｂに対して第１の認識処理を実行する（Ｓ１０３）。ここでは例えば二次元ＣＮＮ６０を用いたセマンティックセグメンテーションが実行される。また例えば第１の認識処理の実行結果として二次元ＣＮＮ６０から認識結果画像３４ａ及び認識結果画像３４ｂが出力される。
【００６１】
そして、ターゲット二次元領域決定部７０が、認識結果画像３４内のターゲット二次元領域４２を決定する（Ｓ１０４）。ここでは例えば、Ｓ１０３に示す処理で出力された認識結果画像３４ａに基づいて、認識結果画像３４ａ内のターゲット二次元領域４２ａが決定される。また、Ｓ１０３に示す処理で出力された認識結果画像３４ｂに基づいて、認識結果画像３４ｂ内のターゲット二次元領域４２ｂが決定される。ここで上述のように予め定められた特定のカテゴリに対応付けられる領域がターゲット二次元領域４２として決定されてもよい。例えば選手領域３６に外接する矩形領域、選手領域３６に外接する矩形領域に余裕領域を加えた領域、選手領域３６を構成する画素の輪郭よりも内側の領域、などがターゲット二次元領域４２として決定されてもよい。
【００６２】
そして、ターゲット二次元領域決定部７０が、撮影画像３２内のターゲット二次元領域４４を決定する（Ｓ１０５）。ここでは例えば、Ｓ１０４に示す処理で決定された認識結果画像３４ａ内のターゲット二次元領域４２ａに基づいて、撮影画像３２ａ内のターゲット二次元領域４４ａが決定される。またＳ１０４に示す処理で決定された認識結果画像３４ｂ内のターゲット二次元領域４２ｂに基づいて、撮影画像３２ｂ内のターゲット二次元領域４４ｂが決定される。
【００６３】
そして、ターゲット三次元領域決定部７２が、Ｓ１０５に示す処理で決定されたターゲット二次元領域４４に基づいて、ターゲット三次元領域４６を決定する（Ｓ１０６）。
【００６４】
そして第２認識処理実行部７４が、Ｓ１０２に示す処理で生成されたボクセルデータのうちの一部である、Ｓ１０６に示す処理で決定されたターゲット三次元領域４６内のボクセルに相当するボクセルデータに対して第２の認識処理を実行する（Ｓ１０７）。そして本処理例に示す処理は終了される。Ｓ１０７に示す処理では例えば三次元ＣＮＮ６２を用いたセマンティックセグメンテーションが実行されてもよい。例えば第２認識処理実行部７４が、Ｓ１０６に示す処理で決定されたターゲット三次元領域４６内のボクセルに相当するボクセルデータを三次元ＣＮＮ６２に入力してもよい。そして、第２認識処理実行部７４が、当該入力に応じて三次元ＣＮＮ６２から出力される、ボクセルデータに対するセマンティックセグメンテーションの実行結果のデータを特定してもよい。そして当該実行結果のデータに基づいて、例えば三次元空間である実空間２０内における選手２６の輪郭や選手２６に相当するボクセル群が推定されてもよい。
【００６５】
なお以上の処理例では、Ｓ１０２に示す処理で直方体５６の内側であるボクセルに対応付けられるボクセルデータが生成され、Ｓ１０７に示す処理で当該ボクセルデータの一部が選択されている。ここで例えば、Ｓ１０１に示す処理の後にＳ１０２に示す処理が実行されずにＳ１０３に示す処理が実行されてもよい。そしてＳ１０６に示す処理の後に、ボクセルデータ生成部６６が、Ｓ１０６に示す処理で決定されたターゲット三次元領域４６の内側であるボクセルに対応付けられるボクセルデータを生成してもよい。そしてＳ１０７に示す処理で、このようにして生成されたボクセルデータに対して第２の認識処理が実行されてもよい。こうすれば直方体５６の内側であるすべてのボクセルに対応付けられるボクセルデータが生成される場合よりもボクセルデータの生成のための計算コストが低くなる。
【００６６】
また例えば、認識処理装置１０が、所定のサンプリングレートで撮影される撮影画像３２を順次受信してもよい。そして認識処理装置１０が、順次受信する撮影画像３２に基づいてＳ１０１〜Ｓ１０７を当該サンプリングレートで繰り返し実行してもよい。
【００６７】
また、ターゲット三次元領域４６の決定方法は上述の方法に限定されない。
【００６８】
例えば、１のカメラ３０によって生成される画像に基づいてターゲット三次元領域４６が決定されてもよい。また例えば、撮影画像３２内のターゲット二次元領域４４内の位置に関連付けられている深さ情報に基づいて、ターゲット三次元領域４６が決定されてもよい。
【００６９】
例えばカメラ３０ａが撮影画像３２ａ及びデプス画像を生成する、深さ情報を含む画像の撮影が可能なカメラであるとする。この場合に、撮影画像３２ａ内のターゲット二次元領域４４ａに対応付けられるデプス画像内のターゲット二次元領域が決定されてもよい。
【００７０】
ここでデプス画像内のターゲット二次元領域内のそれぞれの画素に対応付けられる深さ（カメラ３０から被写体までの距離）を表す値の最小値がｚ１であり最大値がｚ２であるとする。この場合に、値ｚ１及び値ｚ２に基づいて、四角錐体５４ａの一部がターゲット三次元領域４６として決定されてもよい。
【００７１】
例えばカメラ位置４８ａからの距離がｚ１からｚ２までである四角錐体５４ａの一部に相当する四角錐台体がターゲット三次元領域４６として決定されてもよい。あるいは例えば、カメラ位置４８ａからの距離がｚ１からｋ×ｚ１までである四角錐体５４ａの一部に相当する四角錐台体がターゲット三次元領域４６として決定されてもよい（ｋは例えば１．５や２などといった１以上の所定の係数）。また例えば、カメラ位置４８ａからの距離がｚ１−ｄからｋ×ｚ１＋ｄまでである四角錐体５４ａの一部に相当する四角錐台体がターゲット三次元領域４６として決定されてもよい（ｄは所定の閾値）。
【００７２】
また複数のカメラ３０のそれぞれについて上述のようにして特定される四角錐体の一部が交差する三次元領域がターゲット三次元領域４６として決定されてもよい。
【００７３】
また例えば、ＳＬＡＭ(Simultaneous Localization and Mapping)による空間再構成における特徴点マッチングの手法でボクセルデータが生成されるようにしてもよい。そしてこの場合にボクセルデータに対応付けられる二次元ＣＮＮによるセマンティックセグメンテーションによる認識結果をマッピングするようにしてもよい。そしてここで例えば選手２６にマッピングされたボクセルデータに対して三次元ＣＮＮによるセマンティックセグメンテーションが実行されてもよい。
【００７４】
またターゲット二次元領域４４の決定方法も上述の方法に限定されない。
【００７５】
例えば第１認識処理実行部６８が、ビジュアルアテンションの技術を用いて、撮影画像３２の中から注視すべき領域を特定する処理を実行してもよい。そしてターゲット二次元領域決定部７０が、第１認識処理実行部６８が特定する領域を撮影画像３２内のターゲット二次元領域４４として決定してもよい。
【００７６】
なお、本発明は上述の実施形態に限定されるものではない。
【００７７】
また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。
【図１】
2019012632.tif 000003
【図２】
2019012632.tif 000004
【図３】
2019012632.tif 000005
【図４Ａ】
2019012632.tif 000006
【図４Ｂ】
2019012632.tif 000007
【図５Ａ】
2019012632.tif 000008
【図５Ｂ】
2019012632.tif 000009
【図６】
2019012632.tif 000010
【図７】
2019012632.tif 000011
【図８】
2019012632.tif 000012
【図９】
2019012632.tif 000013
【国際調査報告】
2019012632.tif 000014
2019012632.tif 000015
2019012632.tif 000016
2019012632.tif 000017