(57)【要約】  【課題】  撮像画像に映らない物体の存在を推定できる情報処理システムを提供する。  【解決手段】  情報処理システム１００は、光学的なセンシングによって所定範囲内の光学情報を生成する光学センシング部１０と、光学情報から反応物体を検出する反応物体検出部２２と、光学情報に基づいて、反応物体の状態を認識する状態認識部２３と、反応物体の状態に基づいて、光学情報から検出されない観察不能物体の存在を推定する存在推定部２４とを備えている。【選択図】  図３
2020042446.tif 000002
【特許請求の範囲】
【請求項１】
光学的なセンシングによって所定範囲内の光学情報を生成する光学センシング部（１０）と、
前記光学情報から反応物体を検出する反応物体検出部（２２）と、
前記光学情報に基づいて、前記反応物体の状態を認識する状態認識部（２３）と、
前記反応物体の状態に基づいて、前記光学情報から検出されない観察不能物体の存在を推定する存在推定部（２４）と、
を備えた、情報処理システム。
【請求項２】
前記観察不能物体の存在を推定する対象とする観察不能領域を設定する領域設定部（２１）をさらに備え、
前記存在推定部は、前記観察不能領域における前記観察不能物体の存在を推定する、請求項１に記載の情報処理システム。
【請求項３】
前記領域設定部は、前記光学情報から、前記所定範囲内の死角領域を検出して、前記死角領域を前記観察不能領域として設定する、請求項２に記載の情報処理システム。
【請求項４】
前記領域設定部は、前記所定範囲外の領域を前記観察不能領域として設定する、請求項１に記載の情報処理システム。
【請求項５】
前記光学センシング部は、カメラを用い、前記光学情報として画角範囲内の画像を生成する、請求項１に記載の情報処理システム。
【請求項６】
前記光学センシング部は、３次元撮像システムを用い、前記光学情報として画角範囲内の３次元画像を生成する、請求項１に記載の情報処理システム。
【請求項７】
前記光学センシング部は、連続的に前記光学情報を生成し、
前記状態認識部は、連続的に生成された複数の前記光学情報に基づいて、前記反応物体の状態を認識する、請求項１に記載の情報処理システム。
【請求項８】
前記状態認識部は、少なくとも前記反応物体が停止している状態及び前記反応物体が移動している状態を認識可能であり、
前記存在推定部は、少なくとも前記反応物体が停止している状態にあるときには、前記観察不能物体が存在すると推定する、請求項１に記載の情報処理システム。
【請求項９】
前記領域設定部は、前記反応物体に最も近い前記観察不能領域を当該反応物体に対応する観察不能領域として設定し、
前記存在推定部は、前記反応物体の状態に基づいて、当該反応物体に対応する前記観察不能領域について前記観察不能物体の存在を推定する、請求項２に記載の情報処理システム。
【請求項１０】
前記領域設定部は、前記反応物体から所定の距離内にある前記観察不能領域を当該反応物体に対応する観察不能領域として設定し、
前記存在推定部は、前記反応物体の状態に基づいて、当該反応物体に対応する前記観察不能領域について前記観察不能物体の存在を推定する、請求項２に記載の情報処理システム。
【請求項１１】
前記状態認識部は、前記反応物体の注意方向を認識し、
前記領域設定部は、前記反応物体の注意方向にある前記観察不能領域を当該反応物体に対応する観察不能領域として設定し、
前記存在推定部は、前記反応物体の状態に基づいて、当該反応物体に対応する前記観察不能領域について前記観察不能物体の存在を推定する、請求項２に記載の情報処理システム。
【請求項１２】
光学的なセンシングによって所定範囲内の光学情報を生成する撮像ステップと、
前記光学情報から反応物体を検出する反応物体検出ステップと、
前記光学情報に基づいて、前記反応物体の状態を認識する状態認識ステップと、
前記反応物体の状態に基づいて、前記光学情報から検出されない観察不能物体の存在を推定する存在推定ステップと、
を備えた、情報処理方法。
【請求項１３】
光学的なセンシングによって所定範囲内の光学情報を生成する光学センシング装置から前記光学情報を取得するコンピュータを、
前記光学情報から反応物体を検出する反応物体検出部、
前記光学情報に基づいて、前記反応物体の状態を認識する状態認識部、及び
前記反応物体の状態に基づいて、前記光学情報から検出されない観察不能物体の存在を推定する存在推定部、
として機能させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学情報を処理する情報処理システム、情報処理方法、及び情報処理プログラムに関する。
【背景技術】
【０００２】
従来より、移動体に設置されたカメラで撮像された画像を分析することで、他の移動体等の物体を検知して、移動体の移動支援や自動運転を行うシステムが知られている。このようなシステムとして、例えば、車載カメラの撮像画像を分析することで、車両の前方の歩行者や他車両を検知して、運転者に警告を出力する運転支援システムが実用化されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−６７００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のシステムでは、カメラの撮像画像に映り込む物体は検出できるが、他の物体に遮蔽された物体や画角外の物体など、撮像画像に映らない物体の存在に基づいて運転支援や自動運転のための情報を得ることはできなかった。
【０００５】
そこで、本発明は、撮像画像に映らない物体の存在の情報を得ることができる情報処理システム、情報処理方法、及び情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様の情報処理システムは、光学的なセンシングによって所定範囲内の光学情報を生成する光学センシング部（１０）と、前記光学情報から反応物体を検出する反応物体検出部（２２）と、前記光学情報に基づいて、前記反応物体の状態を認識する状態認識部（２３）と、前記反応物体の状態に基づいて、前記光学情報から検出されない観察不能物体の存在を推定する存在推定部（２４）とを備えた構成を有する。
【発明の効果】
【０００７】
本発明によれば、撮像画像に映っている反応物体の状態に基づいて、観察不能領域にある観察不能物体の存在を推定するので、カメラでは撮像できない観察不能物体についても、その存在を推定することができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、本発明の実施の形態の情報処理システムの利用状況を示す図である。
【図２】図２は、図１の車両Ｃ１に搭載された光学センシング装置によって撮像される画像を示す図である。
【図３】図３は、本発明の実施の形態の情報処理システムの構成を示すブロック図である。
【図４】図４は、反応物体が歩行者である場合のルールテーブルの例を示す図である。
【図５】図５は、本実施の形態の情報処理システムの動作フロー図である。
【図６】図６は、存在推定部による存在推定処理の動作フロー図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施の形態を説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。
【００１０】
図１は、本発明の実施の形態の情報処理システムの利用状況を示す図である。図１の例では、本発明の実施の形態の情報処理システム１００が車両Ｃ１に適用されている。また、図１の例では、情報処理システム１００が適用された車両Ｃ１が道路を走行しており、交差点に差し掛かっている。車両Ｃ１には、情報処理システム１００を構成する光学センシング装置１０が設けられている。
【００１１】
本実施の形態において、光学センシング装置１０は、撮像をすることでカラーの画像を生成するカメラである。カメラの光軸は、車両Ｃ１の前方を向いており、車両Ｃ１の前方を撮像可能である。カメラは、画角Ｆで撮像可能である。しかしながら、左右の建造物によって遮蔽される図１中の斜線領域は、カメラの死角となり、カメラの撮像画像によって直接その状況を把握することはできない。また、当然ながら画角Ｆの外側についてもカメラの撮像画像によって直接その状況を把握することはできない。図１の例では、車両Ｃ１の前方の交差点に横方向から侵入しようとする車両Ｃ２は、カメラの死角にあり、カメラの撮像画像には映らない。
【００１２】
一方で、図１の例では、交差点の向こう側には反応物体Ｒとしての歩行者がおり、車両Ｃ１の方を向いている。この歩行者は、他の物体に遮蔽されることなくカメラによって観察され、撮像画像内に映り込む。
【００１３】
図２は、図１の車両Ｃ１に搭載された光学センシング装置１０によって撮像される画像を示す図である。撮像画像内の左右の斜線領域は、撮像画像の死角領域Ｏ１、Ｏ２である。また、撮像画像の左右の周囲の外側の斜線領域は、撮像画像の画角外領域Ｏ３、Ｏ４である。
【００１４】
左側の死角領域Ｏ１には壁の向こう側に車両Ｃ２が存在しているが、この車両Ｃ２は撮像画像には映っていない。また、右側の死角領域Ｏ２についても、壁の背後に他車両がいたとしても当該他車両は撮像画像には映らない。さらに、画角外領域Ｏ３、Ｏ４についても、当然ながら他車両がいたとしても当該他車両は撮像画像には映らない。以下では、これらの死角領域Ｏ１、Ｏ２、及び画角外領域Ｏ３、Ｏ４のように観察不能な物体（以下、「観察不能物体」という。）がいる可能性がある領域を「観察不能領域」という。
【００１５】
一方で、前方の交差点の向こう側には反応物体Ｒとしての歩行者が映っている。本実施の形態の情報処理システム１００は、図１のような状況で図２のような撮像画像が得られた場合に、この撮像画像を用いて、観察不能領域に観察不能物体が存在するかを推定することで、図１の例において死角領域Ｏ１に車両Ｃ２が存在することを推定しようとするものである。
【００１６】
図３は、本発明の実施の形態の情報処理システムの構成を示すブロック図である。情報処理システム１００は、光学センシング装置１０と、情報処理装置２０とを備えている。光学センシング装置１０は、光学センシング手段を用いて所定範囲内の光学情報を生成する。本実施の形態では、光学センシング手段として光学系、撮像素子、画像処理プロセッサ等を含むカメラを採用する。このカメラは、光学情報として、カメラの画角に応じた２次元カラー画像を生成する。
【００１７】
情報処理装置２０は、光学センシング装置１０で撮像によって生成された撮像画像を入力して、この撮像画像に基づいて、この撮像画像から検出されない観察不能物体の存在を推定する。このために、情報処理装置２０は、領域設定部２１、反応物体検出部２２、状態認識部２３、及び存在推定部２４を備えている。なお、情報処理装置２０は、プロセッサ、メモリ、記憶装置等からなるコンピュータが、所定のプログラムを実行することで実現される。
【００１８】
情報処理装置２０は、車両に搭載され、車両内で観察不能物体の存在を推定する。なお、情報処理装置２０の一部または全部の構成が、他のコンピュータに備えられていてもよい。この場合に、情報処理装置２０の一部または全部を搭載した車両と光学センシング装置１０を搭載した車両とは通信可能である。この場合は、光学センシング装置１０は、得られた光学情報を情報処理装置２０に送信する。
【００１９】
領域設定部２１は、光学センシング装置１０から入力された画像において観察不能物体の存在を推定する対象とする観察不能領域を設定する。具体的には、領域設定部２１は、光学センシング装置１０から入力された撮像画像から死角領域を検出し、この死角領域を観察不能領域として設定する。画像から死角領域を検出する方法としては、任意の方法を用いることができる。例えば、ニューラルネットワーク等の機械学習によって大量の車載カメラの画像の死角領域を学習しておくことで、光学センシング装置１０から入力された画像から死角領域を検出してもよい。
【００２０】
また、領域設定部２１は、光学センシング装置１０から入力された画像の所定方向の周囲にある画角外領域を観察不能領域として設定する。本実施の形態では、領域設定部２１は、画像の左右の周囲にある画角外領域を観察不能領域として設定する。
【００２１】
反応物体検出部２２は、光学センシング装置１０から入力された撮像画像から反応物体を検出する。この反応物体検出にも、ニューラルネットワーク等の機械学習による推定を採用することができる。具体的には、反応物体検出部２２は、Ｒ−ＣＮＮ（Regions with Convolutional Neural Networks）、Ｆａｓｔｅｒ−ＲＣＮＮ、ＳＳＤ（Single Shot Multibox Detector）、Ｙｏｌｏ（You only lock once）、Ｍａｓｋ  Ｒ−ＣＮＮ等によって撮像画像から反応物体を検出できる。
【００２２】
反応物体検出部２２は、まず、撮像画像から物体を検出して、検出した物体にアノテーションを行って、アノテーションデータとして「歩行者」、「車両」、「二輪車」、「自転車」、「横断歩道」、「標識」等のラベルを付す。これらのラベルのうち、移動可能な物体についてはその旨のタグが付されている。反応物体検出部２２は、検出した物体に付されたラベルに移動可能な物体である旨のタグが付されている場合に、その物体を反応物体として検出する。本実施の形態では、「歩行者」、「車両」、「二輪車」、「自転車」のラベルに、移動する物体である旨のタグが付されている。
【００２３】
反応物体とは、周りの環境に応じて反応する物体である。即ち、歩行者、車両、二輪車、自転車は、周囲の障害物（他の車両等）に反応して、移動を停止する、急いで移動する等の反応をする。歩行者の場合には、さらに、周囲の障害物に反応して、視線を向ける、驚く等の反応をすることもある。
【００２４】
状態認識部２３は、観察不能物体の存在を推定するために、反応物体検出部２２にて検出された反応物体について、撮像画像に基づいて、当該反応物体の状態を認識する。本実施の形態では、状態認識部２３は、歩行者、車両、二輪車、自転車等の状態として、停止している、移動している等の反応物体の行動を推定する。状態認識部２３も、ニューラルネットワーク等の機械学習によって、ある反応物体に対応する状態を大量に学習しておくことで、反応物体の状態を認識できる。
【００２５】
状態認識部２３は、反応物体の状態をラベリングする。反応物体の状態は、反応物体毎に定義されている。例えば、歩行者については、状態ラベルとして、停止、歩行、早歩き、駆け足、左側注視、右側注視、驚き、挙手等のラベルが用意されている。また、例えば、車両については、状態ラベルとして、停車、走行、徐行、左ウィンカ、右ウィンカ、ハザード、左折、右折、後退等のラベルが用意されている。
【００２６】
存在推定部２４は、状態認識部２３にて認識された反応物体の状態に基づいて、画像から検出されない観察不能物体の存在を推定する。存在推定部２４は、まず、検出された反応物体の位置と、当該反応物体の状態とに基づいて、観察不能物体の存在を推定する死角領域と反応物体とを対応付ける。本実施の形態では、検出された反応物体に最も近い死角領域について、当該反応物体の状態に基づいて当該死角領域における観察不能物体の存在を推定する。
【００２７】
このために、存在推定部２４は、検出された観察不能領域及び反応物体のそれぞれの重心を求める。存在推定部２４は、各反応物体の重心と、各観察不能領域の重心との間の距離を求め、各観察不能領域について、重心間の距離が最も近い反応物体を対応付ける。そして、存在推定部２４は、各観察不能領域に対応付けられた反応物体の状態に基づいて、当該観察不能領域における観察不能物体の存在を推定する。
【００２８】
存在推定部２４は、状態認識部２３で認識された反応物体の状態と、当該反応物体に対応付けられた観察不能領域における観察不能物体の存在確率との対応関係を規定したルールテーブルを有する。
【００２９】
図４は、反応物体が歩行者である場合のルールテーブルの例を示す図である。この例では、歩行者の状態として、驚く、立ち止まる、方向転換、急ぐ、一定速度が定義されており、それぞれについて、当該歩行者に対応する観察不能領域における観察不能物体の存在確率が規定されている。存在推定部２４は、ルールテーブルを参照して、状態認識部２３にて認識された反応物体の状態に対応する観測不能物体の存在確率を求めることで、観察不能物体の存在を推定する。存在推定部２４は、推定結果として観察不能物体の存在確率を出力する。
【００３０】
存在推定部２４から出力された推定結果は、種々の用途に用いることができる。例えば、情報処理システム１００が車両に適用される場合には、車両は、推定結果に基づいて、制動等の車両制御を行ってよく、あるいは、運転者に注意喚起をしてもよい。
【００３１】
図５は、本実施の形態の情報処理システムの動作フロー図である。まず、光学センシング装置１０は、撮像を行って撮像画像を生成する（ステップＳ５１）。次に、領域設定部２１は、撮像画像から死角領域を検出し、画角外領域とともに、観察不能領域として設定する（ステップＳ５２）。具体的には、領域設定部２１は、死角領域があればそれらを検出し、死角領域がない場合には周囲の画角外領域のみを観察不能領域として設定する。
【００３２】
反応物体検出部２２は、撮像画像から反応物体を検出する（ステップＳ５３）。撮像画像から反応物体が検出されなかった場合には（ステップＳ５３にてＮＯ）、そのまま処理を終了する。撮像画像に反応物体がある場合には、反応物体検出部２２は、撮像画像から反応物体がラベリングされて検出される（ステップＳ５３にてＹＥＳ）。
【００３３】
状態認識部２３は、検出された反応物体の状態を認識する（ステップＳ５４）。なお、領域設定部２１による領域設定の処理（ステップＳ５２）と、物体検出部２２による物体検出処理（ステップＳ５３）及び状態認識部２３による状態認識処理（ステップＳ５４）とは、並行して行ってよい。
【００３４】
存在推定部２４は、領域設定部２１にて設定された観察不能領域と、状態認識部２３にて認識された反応物体の状態とに基づいて、観察不能物体の存在を推定する（ステップＳ５５）。
【００３５】
図６は、存在推定部２４による存在推定処理の動作フロー図である。存在推定部２４は、まず、領域設定部２１にて設定された観察不能領域をすべて読み出し（ステップＳ６１）、各観察不能領域について、対応する反応物体を決定する（ステップＳ６２）。
【００３６】
各観察不能領域について、対応する反応物体が決定された場合には（ステップＳ６２にてＹＥＳ）、当該観察不能領域について、当該対応する反応物体の状態とルールテーブルから観察不能物体の存在を推定する（ステップＳ６３）。各観察不能領域について、対応する反応物体が決定できない場合には（ステップＳ６２にてＮＯ）、存在推定部２４は、当該観察不能領域について観察不能物体が存在するかは不明であると判断する（ステップＳ６４）。
【００３７】
存在推定部２４は、すべての観察不能領域について、推定結果を出力する（ステップＳ６５）。具体的には、観察不能物体の存在を推定できた観察不能領域については推定結果として観察不能物体の存在確率を出力し、観察不能物体の存在が推定できなかった観察不能領域については不明であるとの推定結果を出力する。
【００３８】
以上のように、本実施の形態の情報処理システム１００によれば、撮像画像に映っている反応物体の状態に基づいて、観察不能領域にある観察不能物体の存在を推定するので、カメラでは撮像できない観察不能物体についても、その存在を推定することができる。上記の実施の形態は、本発明の一態様に過ぎず、種々の変形が可能である。以下、変形例を説明する。
【００３９】
上記の実施の形態の情報処理システム１００は、光学センシング装置１０が車両に搭載されて、車両の前方における観察不能物体の存在を推定するものであったが、本発明の情報処理システムは、他の用途にも応用可能である。例えば、情報処理システム１００は、自律移動ロボットに適用可能である。この場合には、光学センシング装置１０がロボットに設置され、ロボットが自律的に移動するにあたって、進行方向前方の曲がり角の死角に観察不能物体としての人がいることを推定することができる。また、そのような人の存在を推定することで、推定結果に基づいて大回りで移動する等の自律移動制御を行うことができる。
【００４０】
また、情報処理システム１００は、フォークリフトに適用可能である。この場合には、フォークリフトに光学センシング装置１０を設置し、例えば、前方の曲がり角の死角に観察不能物体がいることを推定して、推定結果に基づいてブザーや振動で運転者に注意喚起をすることができる。また、情報処理システム１００は、視覚障碍者支援システムに適用できる。この場合には、視覚障碍者が光学センシング装置１０を所持ないし装着し、例えば、前方の曲がり角の死角に観察不能物体として人や車両がいることを推定して、推定結果に基づいてブザーや振動で視覚障碍者に注意喚起をすることができる。さらに、情報処理システム１００は、ウェアラブルカメラやアクションカメラにも適用可能である。この場合には、死角に人がいるかもしれないことをブザーや振動でユーザに知らせることができる。
【００４１】
また、上記の実施の形態では、光学センシング装置１０としてカメラを用い、光学情報として画像を生成し、情報処理装置２０は、光学センシング装置１０で得られた１枚の撮像画像を処理することで観察不能物体の存在を推定したが、情報処理装置２０は複数枚の連続する画像を処理することで観察不能物体の存在を推定してもよい。
【００４２】
この場合には、カメラは、連続して撮像を行って、連続的な撮像画像を生成して情報処理装置２０に出力する。情報処理装置２０の反応物体検出部２２は、これらの連続的な撮像画像に基づいて反応物体を検出することができる。また、状態認識部２３も、連続的な撮像画像に基づいて反応物体の状態を認識することができる。このように空間的な情報だけでなく時系列の情報も用いることで、反応物体検出部２２や状態認識部２３は、Ｔｗｏ−Ｓｔｒｅａｍ  ＣＮＮ、Ｃ３Ｄ、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long Short-Term Memory）等の技術を用いて反応物体を検出したり、反応物体の状態を認識したりすることができる。
【００４３】
また、上記の実施の形態では、反応物体検出部２２が反応物体を検出して、状態認識部２３が検出された反応物体の状態を認識したが、これらの処理を同時に行ってもよい。即ち、撮像画像から反応物体を検出する際に、同時にその反応物体の状態も認識してよい。例えば、停止している歩行者、左ウィンカを出している車両のように反応物体を検出してよい。特に、画像情報に加えて時系列の情報を用いることで、このような検出を有効に行うことができる。
【００４４】
また、上記の実施の形態では、光学センシング装置１０として、撮像によって画像を生成するカメラ（即ち、単眼カメラ）を採用したが、光学センシング装置１０は、光学的なセンシングによって所定範囲内の光学情報を生成するものであれば、他の態様であってもよい。例えば、光学センシング装置１０は、画角内の３次元情報を取得する３次元撮像システムであってよい。３次元撮像システムとしての光学センシング装置１０は、ステレオカメラであってよく、あるいは、単眼カメラに加えて、赤外線デプスセンサ、超音波センサ、ミリ波レーダ、ＬｉＤＡＲ（Light Detection and Ranging）を用いて距離画像を生成するシステムであってもよい。
【００４５】
このように、光学センシング装置１０が、光学情報として、平面的な情報だけでなく、立体情報又は距離情報等の３次元情報を得ることで、領域設定部２１において、死角領域を好適に検出することができる。領域設定部２１は、立体情報又は距離情報に基づいて、デプスの飛び値に基づいて死角領域を検出することができる。
【００４６】
また、上記の実施の形態では、存在推定部２４は、各観察不能領域について、当該領域に最も近い反応物体を対応付けて、対応付けられた反応物体の状態に基づいて当該観察不能領域における観察不能物体の存在を推定した。この場合には、１つの反応物体が複数の観察不能領域に対応付けられることがある一方で、いずれの反応物体にも対応付けられない観察不能領域も存在し得る。
【００４７】
観察不能領域と反応物体との対応付けは上記に限られない。存在推定部２４は、各反応物体について、重心間距離が最も近い観察不能領域を対応付けてもよい。この場合には、１つの観察不能領域が複数の反応物体に対応付けられることがある一方で、いずれの観察不能領域にも対応付けられない反応物体も存在し得る。
【００４８】
また、存在推定部２４は、すべての観察不能領域とすべての反応物体との重心間距離を求めて、重心間距離が所定の閾値以下であるすべての観察不能領域と反応物体とを対応付けてもよい。また、存在推定部２４は、重心間距離が所定値以下である最も近い反応物体と観察不能領域とを対応付けてもよい。
【００４９】
さらに、存在推定部２４は、状態認識部２３が人間（歩行者や車両の運転手）の視線方向を認識して、存在推定部２４が視線方向に基づいて観察不能領域と反応物体との対応付けを行ってよい。例えば、歩行者の視線が観察不能領域を通過する場合に、それらの歩行者と観察不能領域とを対応付けてよい。また、歩行者の視線と観察不能物体の重心との距離が所定値以下である場合に、それらの歩行者と観察不能領域とを対応付けてよい。
【００５０】
また、上記の実施の形態では、存在推定部２４は、観察不能領域と反応物体との間の距離を評価するのに、重心間距離を用いたが、これに限らず、例えば、反応物体の重心と、観察不能領域におけるその反応物体の重心に最も近い部分との間の距離に基づいて、対応付けを行ってよい。また、存在推定部２４は、反応物体の重心以外の点を基準点として、観察不能領域と反応物体との間の距離を測ってもよい。
【００５１】
また、上記の実施の形態では、存在推定部２４は、推定結果として、各観察不能領域について観察不能物体が存在する確率を出力したが、この確率を閾値処理して、観察不能物体が存在するかしないかを推定結果として出力してよい。また、存在推定部２４は、閾値処理をすることで、存在する、存在しないという２値の判断ではなく、存在確率を低、中、高等として複数段階に離散的に表現する推定結果を出力してもよい。さらに、存在推定部２４は、存在確率が所定の閾値以上である場合にのみ、その旨の信号を出力してもよい。
【００５２】
また、領域設定部２１は、撮像画像から観察不能領域として死角領域を検出するが、検出された反応物体と観察不能領域との対応付けができれば、この死角領域は撮像画像から厳密に正確な位置及び形状で検出されなくてもよいものであり、それが存在する画像内のおよその位置及び形状が特定されればよいものである。
【００５３】
また、画角外領域については、撮像画像の縁に基準点を設定して、この基準点と反応物体の基準点（例えば、重心）との位置関係に基づいて対応付けを行ってもよい。なお、領域設定部２１は、観察不能領域として死角領域を検出せずに、画角外領域のみを設定してもよく、逆に、画角外領域は設定せずに死角領域のみを検出して設定してもよい。
【００５４】
また、上記の実施の形態では、存在推定部２４は、ルールテーブルを参照して、認識した状態に対応する存在確率を求めたが、観察不能物体の存在を推定する方法はこれに限られない。存在推定部２４は、例えば、反応物体の状態に対応する観察不能物体の存在のデータを収集して、統計確率で観察不能物体の存在を推定してもよい。また、存在推定部２４は、ニューラルネットワーク等の機械学習によって、反応物体の状態に対応する観察不能物体の存在確率を求めてもよい。
【００５５】
さらに、存在推定部２４は、１つの観察不能領域に対して複数の反応物体が対応付けられている場合に、各反応物体に基づいて推定される存在確率の最大確率を出力としてもよいし、各反応物体に基づいて推定される存在確率の重み付け和をとることで、観察不能物体の存在確率を求めてもよい。
【００５６】
また、存在推定部２４は、反応物体の状態に応じて観察不能物体の存在確率を求めるのみでなく、その内容、即ち観察不能物体が何であるのかを推定するようにしてよい。
【００５７】
また、上記の実施の形態では、光学センシング装置１０と情報処理装置２０とが別体の装置として情報処理システム１００が構成されていたが、これらが一体となって情報処理システム１００が構成されてもよい。
【産業上の利用可能性】
【００５８】
以上のように、本発明は、撮像画像に映っている反応物体の状態に基づいて、観察不能領域にある観察不能物体の存在を推定するので、カメラでは撮像できない観察不能物体についても、その存在を推定することができるという効果を有し、光学情報を処理する情報処理システム等として有用である。
【符号の説明】
【００５９】
１０  光学センシング装置，２０  情報処理装置，２１  領域設定部，
２２  反応物体検出部，２３  状態認識部，２４  存在推定部
【図１】
2020042446.tif 000003
【図２】
2020042446.tif 000004
【図３】
2020042446.tif 000005
【図４】
2020042446.tif 000006
【図５】
2020042446.tif 000007
【図６】
2020042446.tif 000008