(57)【要約】【課題】第１の撮像装置が撮影した第１画像と、電磁波源を用いて第２の撮像装置が撮影した第２画像とに基づいて、物体の位置を推定する。【解決手段】撮像装置１１１は、撮影対象領域１２１内の物体１２２の第１画像を撮影し、電磁波源１１３は、撮影対象領域１２１に対して電磁波を照射し、撮像装置１１２は、撮影対象領域１２１からの反射電磁波により第２画像を撮影する。位置推定装置１１４は、第２画像内の強反射領域の位置が第２画像内の所定位置に対応する場合、第１画像と、強反射領域の画像を補完する補完情報とに基づいて、物体１２２の位置を推定する。【選択図】図１
2017067503.tif 000002
【特許請求の範囲】
【請求項１】
第１の撮像装置が撮影した撮影対象領域内の物体の第１画像と、前記撮影対象領域に対して電磁波を照射する電磁波源を用いて、第２の撮像装置が前記撮影対象領域からの反射電磁波により撮影した第２画像とを記憶する記憶部と、
前記第２画像内の強反射領域の位置が、前記第２画像内の所定位置に対応する場合、前記第１画像と、前記強反射領域の画像を補完する補完情報とに基づいて、前記物体の位置を推定する位置推定部と、
を備えることを特徴とする位置推定装置。
【請求項２】
前記位置推定部は、前記第１画像から求めた情報を前記補完情報として用いることを特徴とする請求項１記載の位置推定装置。
【請求項３】
前記第２の撮像装置は、前記第２画像よりも前に、前記撮影対象領域からの反射電磁波により第３画像を撮影し、前記位置推定部は、前記第３画像から求めた情報を前記補完情報として用いることを特徴とする請求項１記載の位置推定装置。
【請求項４】
前記強反射領域の前記位置が前記所定位置に対応する場合、前記強反射領域の周囲の領域から求めた特徴量に基づいて、前記物体の前記位置を推定するか否かを決定する判定部をさらに備え、
前記物体の前記位置を推定する場合、前記位置推定部は、前記第１画像と前記補完情報とに基づいて前記物体の前記位置を推定することを特徴とする請求項１乃至３のいずれか１項に記載の位置推定装置。
【請求項５】
第１の撮像装置が、撮影対象領域内の物体の第１画像を撮影し、
電磁波源が、前記撮影対象領域に対して電磁波を照射し、
第２の撮像装置が、前記撮影対象領域からの反射電磁波により第２画像を撮影し、
位置推定装置が、前記第２画像内の強反射領域の位置が前記第２画像内の所定位置に対応する場合、前記第１画像と前記強反射領域の画像を補完する補完情報とに基づいて、前記物体の位置を推定する、
ことを特徴とする位置推定方法。
【請求項６】
第１の撮像装置が撮影対象領域内の物体の第１画像を撮影し、電磁波源が前記撮影対象領域に対して電磁波を照射し、第２の撮像装置が前記撮影対象領域からの反射電磁波により第２画像を撮影し、かつ、前記第２画像内の強反射領域の位置が前記第２画像内の所定位置に対応する場合、前記第１画像と前記強反射領域の画像を補完する補完情報とに基づいて、前記物体の位置を推定する、
処理をコンピュータに実行させる位置推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、位置推定システム、位置推定方法、及び位置推定プログラムに関する。
【背景技術】
【０００２】
小売店舗において、カメラによって撮影された映像に基づいて、顧客が商品を手に取ったことを検出する技術が知られている（例えば、特許文献１乃至３を参照）。顧客が商品を手に取ったことを示す情報は、顧客の購買行動を表す情報として利用することができる。例えば、顧客が一度手に取ったが、購入せずに元の商品棚に戻した商品等を特定することで、より効果的な広告を作成して売り上げを増加させること等が可能になり、マーケティング上の効果が期待されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−４８４３０号公報
【特許文献２】特開２００９−３７０１号公報
【特許文献３】特開２０１４−２６３５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
１台のカメラの画像は２次元の情報であり、奥行き情報を含んでいない。このため、１台のカメラの画像に基づいて、３次元空間内の物体の位置を特定することは困難である。一方、互いに離れた位置に設置された２台のカメラの画像を用いれば、三角測量の原理により物体の３次元位置を特定することができる。
【０００５】
小売店舗には、防犯用の可視カメラが設置されていることがある。また、商品棚前における顧客の商品に対する視線等を検出するために、商品棚付近に赤外カメラが設置されていることもある。可視カメラは、被写体によって反射された可視光線に基づいて可視画像を撮影し、赤外カメラは、赤外線源から照射され、被写体によって反射された赤外線に基づいて赤外画像を撮影する。
【０００６】
しかしながら、可視カメラの可視画像と赤外カメラの赤外画像とに基づいて顧客の手の位置を推定する技術は知られていない。
【０００７】
１つの側面において、本発明は、撮像装置が撮影した画像と、電磁波源を用いて撮像装置が撮影した画像とに基づいて、物体の位置を推定することを目的とする。
【課題を解決するための手段】
【０００８】
１つの案では、位置推定システムは、第１の撮像装置、第２の撮像装置、電磁波源、及び位置推定装置を含む。
【０００９】
第１の撮像装置は、撮影対象領域内の物体の第１画像を撮影し、電磁波源は、撮影対象領域に対して電磁波を照射し、第２の撮像装置は、撮影対象領域からの反射電磁波により第２画像を撮影する。位置推定装置は、第２画像内の強反射領域の位置が第２画像内の所定位置に対応する場合、第１画像と、強反射領域の画像を補完する補完情報とに基づいて、物体の位置を推定する。
【発明の効果】
【００１０】
実施形態によれば、撮像装置が撮影した画像と、電磁波源を用いて撮像装置が撮影した画像とに基づいて、物体の位置を推定することができる。
【図面の簡単な説明】
【００１１】
【図１】位置推定システムの構成図である。
【図２】位置推定処理のフローチャートである。
【図３】位置推定システムの具体例を示す構成図である。
【図４】位置推定システムの適用例を示す図である。
【図５】赤外画像内の所定領域を示す図である。
【図６】位置推定処理の具体例を示すフローチャートである。
【図７】差分可視画像及び差分赤外画像を示す図である。
【図８】可視映像における特徴量の時間変化を示す図である。
【図９】高輝度領域を含む差分領域を示す図である。
【図１０】赤外映像における特徴量の時間変化を示す図である。
【図１１】推定差分領域を示す図である。
【図１２】再判定を行う位置推定処理のフローチャートである。
【図１３】再判定処理のフローチャートである。
【図１４】情報処理装置の構成図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照しながら、実施形態を詳細に説明する。
上述したように、小売店舗において可視カメラと赤外カメラとはそれぞれ異なる目的のために設置される。ここで、発明者らは、２台のカメラの設置位置が既知であり、光軸方向が異なることから、可視カメラの可視画像と赤外カメラの赤外画像とを、物体の３次元位置の推定に利用することができることに気付いた。可視画像及び赤外画像を併用すれば、例えば、顧客が商品に対して手を伸ばすような行動を検出することも可能である。
【００１３】
しかし、視線検出用の赤外カメラは、赤外カメラの周辺に設置された赤外線源から照射され、被写体によって反射された赤外線を検知する。このため、被写体がカメラに対して所定距離以上近い場所に存在したり、被写体の周囲に反射しやすい材質の物体が存在したりする場合、反射された赤外線が強過ぎて、赤外画像内に輝度値が極めて大きくなる強反射領域が出現することがある。このような強反射領域では、画像が白くなって物体の輪郭が不明になる、いわゆる白飛びと呼ばれる現象が発生する。
【００１４】
被写体付近に強反射領域が出現すると、可視画像と赤外画像との間で被写体の位置の対応関係が不明になるため、三角測量により被写体の３次元位置を特定することが困難になる。
【００１５】
例えば、顧客の手が赤外線源のすぐ近くにあり、顧客の手又は服の袖によって赤外線が反射された場合、その領域が強反射領域となるため、手の形状を正確に検出することが困難になる。このような強反射が発生している状態が長時間続くと、顧客が商品を手に取っていなくても、手に取ったものと誤判定したり、商品を手に取っていても、手に取っていないと誤判定したりする可能性がある。
【００１６】
なお、かかる問題は、赤外画像に限らず、可視光源を含む他の電磁波源を用いて撮影した画像においても生ずるものである。また、かかる問題は、顧客の手を撮影する場合に限らず、撮影対象領域内の他の物体を撮影する場合においても生ずるものである。
【００１７】
図１は、位置推定システムの構成例を示している。図１の位置推定システム１０１は、撮像装置１１１、撮像装置１１２、電磁波源１１３、及び位置推定装置１１４を含む。
【００１８】
図２は、図１の位置推定システム１０１が行う位置推定処理の例を示すフローチャートである。撮像装置１１１は、撮影対象領域１２１内の物体１２２の第１画像を撮影する（ステップ２０１）。電磁波源１１３は、撮影対象領域１２１に対して電磁波を照射し（ステップ２０２）、撮像装置１１２は、撮影対象領域１２１からの反射電磁波により第２画像を撮影する（ステップ２０３）。位置推定システム１０１は、ステップ２０１〜ステップ２０３の処理を並行して行ってもよい。
【００１９】
位置推定装置１１４は、第２画像内の強反射領域の位置が第２画像内の所定位置に対応する場合、第１画像と、強反射領域の画像を補完する補完情報とに基づいて、物体１２２の位置を推定する（ステップ２０４）。
【００２０】
このような位置推定システム１０１によれば、撮像装置１１１が撮影した第１画像と、電磁波源１１３を用いて撮像装置１１２が撮影した第２画像とに基づいて、物体１２２の位置を推定することができる。
【００２１】
図３は、図１の位置推定システム１０１の具体例を示している。図３の位置推定システム３０１は、可視カメラ３１１、赤外カメラ３１２、赤外線源３１３、及び位置推定装置３１４を含む。可視カメラ３１１、赤外カメラ３１２、赤外線源３１３、及び位置推定装置３１４は、図１の撮像装置１１１、撮像装置１１２、電磁波源１１３、及び位置推定装置１１４にそれぞれ対応する。
【００２２】
可視カメラ３１１は、撮影対象領域１２１の可視映像３３１を撮影する。赤外線源３１３は、撮影対象領域１２１に対して赤外線を照射し、赤外カメラ３１２は、撮影対象領域１２１からの反射赤外線により赤外映像３３２を撮影する。照射される赤外線は、近赤外線であってもよい。また、鏡で反射させる等、間接的に赤外線を照射してもよい。可視映像３３１は、複数時刻における可視画像を含み、赤外映像３３２は、複数時刻における赤外画像を含む。各時刻における画像は、フレームと呼ばれることもある。
【００２３】
赤外画像内において白飛びが発生しても当然である領域で白飛びが発生している場合は、その領域に物体１２２が存在していることを意味する。白飛びが発生する所定領域は、赤外カメラ３１２の設置位置と赤外線源３１３の設置位置との関係から予測できるため、その所定領域で白飛びが発生した場合、物体１２２のおおよその存在範囲を推定することが可能である。この場合、位置推定装置３１４は、可視画像内における物体１２２の位置と、赤外画像内における物体１２２の存在範囲とに基づいて、物体１２２の３次元位置を推定することができる。
【００２４】
赤外画像内において白飛びが発生している場合に一律に位置推定を行わないのではなく、白飛びが所定領域で発生していれば位置推定を行うことで、位置推定が行われない場合が減少し、位置推定が行われる機会が増加する。
【００２５】
位置推定装置３１４は、記憶部３２１、映像取得部３２２、状況変化検出部３２３、特徴量計算部３２４、類似度判定部３２５、領域判定部３２６、及び位置推定部３２７を含む。
【００２６】
記憶部３２１は、可視映像３３１、赤外映像３３２、キー可視画像３３３、キー赤外画像３３４、及び領域情報３３５を記憶する。キー可視画像３３３は、可視映像３３１に含まれる可視画像と比較される基準画像であり、キー赤外画像３３４は、赤外映像３３２に含まれる赤外画像と比較される基準画像である。キー可視画像３３３及びキー赤外画像３３４は、例えば、撮影対象領域１２１内に物体１２２が存在しないときに、可視カメラ３１１及び赤外カメラ３１２によって撮影された可視画像及び赤外画像であってもよい。
【００２７】
領域情報３３５は、赤外線源３１３に起因して白飛びが発生すると予測される所定領域の位置及び形状を表す。所定領域は、赤外カメラ３１２と赤外線源３１３との位置関係に基づいて、事前に赤外画像内の所定位置に設定される。
【００２８】
映像取得部３２２は、可視カメラ３１１及び赤外カメラ３１２から入力される可視映像３３１及び赤外映像３３２を、記憶部３２１に格納する。
【００２９】
状況変化検出部３２３は、可視映像３３１、赤外映像３３２、キー可視画像３３３、及びキー赤外画像３３４に基づいて、撮影対象領域１２１内における状況の変化を検出する。状況の変化は、例えば、物体１２２が出現したこと、物体１２２が移動したこと等であってもよい。
【００３０】
特徴量計算部３２４は、可視画像及び赤外画像の各々において、状況の変化が検出された領域の特徴量を計算する。この特徴量としては、例えば、可視画像及び赤外画像の各々において、物体１２２に対応する領域の代表位置を表す座標を用いることができる。領域の代表位置は、その領域の外周上の１点であってもよく、領域内の１点であってもよく、領域の重心であってもよい。
【００３１】
類似度判定部３２５は、可視映像３３１における特徴量の時間変化と、赤外映像３３２における特徴量の時間変化との間の類似度を計算し、計算した類似度を閾値と比較する。そして、類似度判定部３２５は、類似度が閾値よりも大きい場合、可視画像と赤外画像とに基づく位置推定を行うと判定する。
【００３２】
領域判定部３２６は、類似度が閾値以下である場合、状況の変化が検出された領域が、領域情報３３５が表す所定領域に対応する強反射領域であるか否かを判定する。そして、領域判定部３２６は、状況の変化が検出された領域が、所定領域に対応する強反射領域である場合、可視画像と赤外画像とに基づく位置推定を行うと判定する。また、領域判定部３２６は、状況の変化が検出された領域が、所定領域に対応する強反射領域ではない場合、可視画像と赤外画像とに基づく位置推定を行わないと判定する。
【００３３】
位置推定部３２７は、類似度判定部３２５又は領域判定部３２６が位置推定を行うと判定した場合、状況の変化が検出されたときの可視画像と赤外画像とに基づいて、物体１２２の３次元位置を推定する。
【００３４】
図４は、小売店舗における図３の位置推定システム３０１の適用例を示している。店内の天井付近には、可視カメラ３１１が設置されており、商品棚４０１の下部には、赤外カメラ３１２及び赤外線源３１３を含む視線センサ４１１が設置されている。可視カメラ３１１は、商品棚４０１に陳列された商品４０２と、商品４０２に対して伸ばされる顧客の腕４０３とを、上方から撮影可能な位置に設置されており、視線センサ４１１は、顧客の腕４０３を、下方から撮影可能な位置に設置されている。顧客の腕４０３は、図３の物体１２２に対応する。
【００３５】
この場合、可視カメラ３１１及び視線センサ４１１は、有線又は無線の通信ネットワークを介して位置推定装置３１４と通信する。位置推定装置３１４は、店内に設置されていてもよく、小売店舗から離れた別の建物に設置されていてもよい。
【００３６】
図５は、図４の視線センサ４１１によって撮影される赤外画像内の所定領域の例を示している。顧客の腕４０３が視線センサ４１１のすぐ近くに存在する場合、赤外画像５０１内の所定領域５０２において白飛びが発生する。そこで、この所定領域５０２を表す領域情報３３５が、記憶部３２１に格納される。
【００３７】
図６は、図３の位置推定システム３０１が行う位置推定処理の具体例を示すフローチャートである。まず、状況変化検出部３２３は、可視映像３３１から最初の時刻の可視画像を抽出し、抽出した可視画像とキー可視画像３３３との差分を表す差分可視画像を生成する（ステップ６０１）。また、状況変化検出部３２３は、赤外映像３３２から同じ時刻の赤外画像を抽出し、抽出した赤外画像とキー赤外画像３３４との差分を表す差分赤外画像を生成する。
【００３８】
次に、状況変化検出部３２３は、差分可視画像及び差分赤外画像の各々に含まれる差分領域の大きさを計算する（ステップ６０２）。差分領域の大きさは、画像内における差分領域の水平方向又は垂直方向の長さであってもよく、差分領域の面積であってもよい。
【００３９】
図７は、差分可視画像及び差分赤外画像の例を示している。キー可視画像７０１及びキー赤外画像７０２は、キー可視画像３３３及びキー赤外画像３３４にそれぞれ対応する。キー可視画像３３３には、図４の商品棚４０１及び商品４０２が写っており、キー赤外画像３３４には、天井の蛍光灯７３１が写っている。
【００４０】
可視映像３３１及び赤外映像３３２から可視画像７１１及び赤外画像７１２がそれぞれ抽出された場合、可視画像７１１とキー可視画像７０１から差分可視画像７２１が生成され、赤外画像７１２とキー赤外画像７０２から差分赤外画像７２２が生成される。可視画像７１１及び赤外画像７１２には、顧客の腕４０３が写っており、差分可視画像７２１内の差分領域７４１及び差分赤外画像７２２内の差分領域７４２は、腕４０３の領域に対応する。
【００４１】
ステップ６０２において、状況変化検出部３２３は、差分可視画像内の差分を表す領域のうち、肌色の部分のみを差分領域として抽出してもよい。これにより、腕４０３の領域をより正確に抽出することが可能になる。
【００４２】
次に、状況変化検出部３２３は、各差分領域の大きさを閾値ＴＨ１と比較する（ステップ６０３）。差分可視画像及び差分赤外画像の両方の差分領域の大きさが閾値ＴＨ１よりも大きい場合（ステップ６０３，ＹＥＳ）、状況変化検出部３２３は、状況が変化したと判定する。一方、差分可視画像又は差分赤外画像の少なくとも一方の差分領域の大きさが閾値ＴＨ１以下である場合（ステップ６０３，ＮＯ）、状況変化検出部３２３は、状況が変化していないと判定する。
【００４３】
ＴＨ１は、可視画像又は赤外画像内に物体１２２が出現したか否かを判定するための閾値である。例えば、差分領域の大きさが面積を表している場合、画像全体の面積の１０％又はそれ以上の値を、ＴＨ１として用いることができる。
【００４４】
状況が変化していない場合（ステップ６０３，ＮＯ）、状況変化検出部３２３は、可視映像３３１及び赤外映像３３２から最後の時刻の可視画像及び赤外画像を抽出したか否かをチェックする（ステップ６１０）。最後の時刻の可視画像及び赤外画像を未だ抽出していない場合（ステップ６１０，ＮＯ）、状況変化検出部３２３は、次の時刻の可視画像及び赤外画像についてステップ６０１以降の処理を繰り返す。
【００４５】
一方、状況が変化した場合（ステップ６０３，ＹＥＳ）、特徴量計算部３２４は、各差分領域の特徴量を計算する（ステップ６０４）。差分領域の特徴量としては、例えば、差分領域の重心等の代表位置を表す座標を用いることができる。画像の水平方向をＸ軸とし、垂直方向をＹ軸とした場合、重心のＸ座標は、差分領域内の全画素のＸ座標の平均値であり、重心のＹ座標は、差分領域内の全画素のＹ座標の平均値である。
【００４６】
次に、類似度判定部３２５は、可視映像３３１における特徴量の時間変化と、赤外映像３３２における特徴量の時間変化との間の類似度を計算する（ステップ６０５）。
【００４７】
図８は、可視映像３３１における特徴量の時間変化の例を示している。折れ線８０１は、可視映像３３１に含まれる複数時刻の可視画像において、差分領域の重心のＹ座標が時間とともに変化する様子を表している。図４の商品棚４０１上の商品４０２に対して顧客が手を伸ばす場合、腕４０３に対応する差分領域の重心のＹ座標は徐々に増加し、商品４０２を掴んでいる間は一定値Ｙ０になる。そして、商品４０２を掴んだまま手を引き戻す場合、重心のＹ座標は一定値Ｙ０から徐々に減少する。このとき、赤外映像３３２における差分領域の重心のＹ座標も、折れ線８０１と同様に変化すると考えられる。
【００４８】
そこで、類似度判定部３２５は、時刻ｔにおける可視画像及び赤外画像から状況の変化が検出された場合、所定時刻ｔ０から時刻ｔまでの区間における可視映像３３１の特徴量の時間変化と、赤外映像３３２の特徴量の時間変化とを比較する。これにより、差分可視画像内の差分領域と差分赤外画像内の差分領域とが、同じ物体を表しているか否かを推定することができる。所定時刻ｔ０は、可視映像３３１及び赤外映像３３２における最初の時刻であってもよい。
【００４９】
２つの特徴量の時間変化の類似度としては、例えば、それぞれの時刻における特徴量の差分の総和、分散、又は標準偏差の逆数を用いることができる。このとき、可視画像と赤外画像とを比較するために、正規化した特徴量を用いてもよい。
【００５０】
次に、類似度判定部３２５は、特徴量の時間変化の類似度を閾値ＴＨ２と比較する（ステップ６０６）。類似度が閾値ＴＨ２よりも大きい場合（ステップ６０６，ＹＥＳ）、類似度判定部３２５は、差分可視画像内の差分領域と差分赤外画像内の差分領域とが、同じ物体を表していると判定する。一方、類似度が閾値ＴＨ２以下である場合（ステップ６０６，ＮＯ）、類似度判定部３２５は、差分可視画像内の差分領域と差分赤外画像内の差分領域との対応関係が不明であると判定する。
【００５１】
類似度が閾値ＴＨ２よりも大きい場合（ステップ６０６，ＹＥＳ）、位置推定部３２７は、差分可視画像内の差分領域と差分赤外画像内の差分領域との対応関係に基づいて、三角測量により物体１２２の３次元位置を推定する（ステップ６１１）。そして、状況変化検出部３２３は、ステップ６１０以降の処理を行う。
【００５２】
例えば、物体１２２が顧客の腕４０３である場合、位置推定部３２７は、各差分領域における指先に対応する位置の座標を用いて、指先の３次元位置を推定してもよい。これにより、顧客の手が商品棚４０１上の商品４０２に到達したか否かを判定することができる。
【００５３】
一方、類似度が閾値ＴＨ２以下である場合（ステップ６０６，ＮＯ）、領域判定部３２６は、差分赤外画像内の差分領域が高輝度領域を含んでいるか否かをチェックする（ステップ６０７）。高輝度領域は、例えば、所定値よりも大きな輝度値を有する画素の集合に対応し、所定値よりも大きな面積を有する領域である。
【００５４】
図９は、高輝度領域を含む差分領域の例を示している。可視映像３３１及び赤外映像３３２から可視画像９１１及び赤外画像９１２がそれぞれ抽出された場合、可視画像９１１とキー可視画像７０１から差分可視画像９２１が生成され、赤外画像９１２とキー赤外画像７０２から差分赤外画像９２２が生成される。差分可視画像９２１内の差分領域９３１及び差分赤外画像９２２内の差分領域９３２は、腕４０３の領域に対応する。
【００５５】
この場合、手が視線センサ４１１のすぐ近くにあるため、差分領域９３２に含まれる手の領域９４１で白飛びが発生し、領域９４１は高輝度領域になっている。一方、差分領域９３２に含まれる腕の領域９４２では白飛びが発生しておらず、領域９４２は低輝度領域になっている。
【００５６】
差分領域が高輝度領域を含んでいる場合（ステップ６０７，ＹＥＳ）、領域判定部３２６は、その高輝度領域を強反射領域とみなす。そして、領域判定部３２６は、その強反射領域が、領域情報３３５が表す所定領域に対応するか否かをチェックする（ステップ６０８）。領域判定部３２６は、例えば、以下の条件（ａ）又は条件（ｂ）の少なくとも一方が満たされる場合に、強反射領域が所定領域に対応すると判定することができる。
（ａ）強反射領域の代表位置と所定領域の位置との距離が閾値よりも小さい。
（ｂ）所定領域の面積に対する、強反射領域と所定領域との重複部分の面積の比率が閾値よりも大きい。
【００５７】
ステップ６０８において、領域判定部３２６は、さらに同じ時刻の可視画像に赤外線源３１３が写っているか否かをチェックしてもよい。顧客の手が赤外線源３１３のすぐ近くにある場合、可視映像３３１では赤外線源３１３が顧客の影に隠れてしまうことが多い。そこで、同じ時刻の可視画像に赤外線源３１３が写っていないことを確認することで、強反射領域が所定領域に対応する確信度が向上する。
【００５８】
差分領域が高輝度領域を含んでいない場合（ステップ６０７，ＮＯ）、又は強反射領域が所定領域に対応しない場合（ステップ６０８，ＮＯ）、領域判定部３２６は、差分可視画像内の差分領域と差分赤外画像内の差分領域とが、同じ物体を表していないと判定する。そして、状況変化検出部３２３は、ステップ６１０以降の処理を行う。
【００５９】
一方、強反射領域が所定領域に対応する場合（ステップ６０８，ＹＥＳ）、領域判定部３２６は、差分可視画像内の差分領域と差分赤外画像内の差分領域とが、同じ物体を表していると判定する。そして、位置推定部３２７は、差分可視画像内の差分領域と、強反射領域の画像を補完する補完情報とを用いて、三角測量により物体１２２の３次元位置を推定し（ステップ６０９）、状況変化検出部３２３は、ステップ６１０以降の処理を行う。
【００６０】
補完情報としては、例えば、赤外画像において白飛びが発生しないと仮定した場合の推定差分領域を用いることができる。位置推定部３２７は、例えば、現時刻の差分可視画像内の差分領域又は過去の差分赤外画像内の差分領域の特徴量に基づいて、現時刻の推定差分領域を生成する。過去の差分赤外画像は、現時刻よりも前の時刻に撮影された赤外画像に対応する差分赤外画像である。
【００６１】
図１０は、高輝度領域を含む赤外映像３３２における特徴量の時間変化の例を示している。線分１００１及び線分１００２は、区間１０１１を除く複数時刻の赤外画像において、差分領域の重心のＹ座標が時間とともに変化する様子を表している。区間１０１１では、差分赤外画像内の差分領域が高輝度領域を含んでいるため、差分領域の重心が特定されていない。
【００６２】
この場合、位置推定部３２７は、可視映像３３１における特徴量の時間変化に基づいて、区間１０１１における重心のＹ座標を推定することができる。例えば、図８の折れ線８０１の形状を用いて重心のＹ座標を補完すると、破線１００３のような時間変化が生成される。区間１０１１の時刻ｔ１における推定差分領域を生成するには、時刻ｔ１における破線１００３上の値Ｙ１を、推定差分領域の重心のＹ座標として用いればよい。
【００６３】
位置推定部３２７は、例えば、区間１０１１よりも前の時刻における差分赤外画像の差分領域から、物体１２２を表す物体領域の形状と、その物体領域の重心のＸ座標の値Ｘ１とを求めることができる。そして、位置推定部３２７は、物体領域の重心が差分赤外画像内の点（Ｘ１，Ｙ１）に一致するように物体領域を配置することで、推定差分領域を生成する。
【００６４】
図１１は、生成された推定差分領域の例を示している。差分赤外画像１１０１内の推定差分領域１１１１は、図９の赤外画像９１２において白飛びが発生しないと仮定した場合の差分領域を表す。位置推定部３２７は、図９の差分赤外画像９２２内の差分領域９３２の代わりに推定差分領域１１１１を用いることで、腕４０３の３次元位置を推定することが可能になる。位置推定部３２７は、推定差分領域１１１１における指先に対応する位置の座標を用いて、指先の３次元位置を推定してもよい。
【００６５】
位置推定部３２７は、可視映像３３１における特徴量の時間変化の代わりに、白飛びが発生していない過去の赤外映像における特徴量の時間変化に基づいて、区間１０１１における重心のＹ座標を推定してもよい。時刻ｔ１におけるＹ座標の推定値がＹ１’である場合、位置推定部３２７は、例えば、物体領域の重心が差分赤外画像内の点（Ｘ１，Ｙ１’）に一致するように物体領域を配置することで、推定差分領域を生成することができる。
【００６６】
また、物体１２２の３次元位置を推定する際に、差分領域の特徴量のみを用い、差分領域の形状を用いない場合、必ずしも推定差分領域を生成する必要はない。例えば、差分領域の特徴量が指先の座標である場合、推定差分領域を生成しなくても、指先の３次元位置を推定することが可能である。この場合、現時刻の差分可視画像内の差分領域又は過去の差分赤外画像内の差分領域の特徴量を、そのまま補完情報として用いることができる。
【００６７】
図６の位置推定処理によれば、赤外画像内において白飛びが発生している場合であっても、白飛びが所定領域で発生していれば、補完情報を用いて位置推定が行われる。したがって、赤外画像を用いて位置推定が行われる機会が増加する。
【００６８】
図１２は、白飛びが所定領域で発生している場合に類似度の再判定を行う位置推定処理の例を示すフローチャートである。図１２のステップ１２０１〜ステップ１２０８及びステップ１２１０〜ステップ１２１１の処理は、図６のステップ６０１〜ステップ６０８及びステップ６１０〜ステップ６１１の処理と同様である。
【００６９】
強反射領域が所定領域に対応する場合（ステップ１２０８，ＹＥＳ）、領域判定部３２６は、差分領域内に強反射領域が存在することを前提として、特徴量の時間変化の類似度に対する再判定を行う（ステップ１２０９）。
【００７０】
図１３は、図１２のステップ１２０９における再判定処理の例を示すフローチャートである。まず、領域判定部３２６は、差分赤外画像内の差分領域が低輝度領域を含んでいるか否かをチェックする（ステップ１３０１）。低輝度領域は、ステップ１２０７において高輝度領域と判定された領域以外の部分に対応する。例えば、図９の差分領域９３２は、高輝度領域９４１及び低輝度領域９４２を含んでいる。
【００７１】
差分領域が低輝度領域を含んでいる場合（ステップ１３０１，ＹＥＳ）、領域判定部３２６は、その差分領域を低輝度領域のみに変更する（ステップ１３０２）。図９の差分領域９３２の場合、高輝度領域９４１が除外され、変更後の差分領域は低輝度領域９４２のみになる。
【００７２】
次に、特徴量計算部３２４は、各差分領域の特徴量を計算する（ステップ１３０３）。変更後の差分領域の特徴量として、図１２のステップ１２０４と同様に、差分領域の重心のＹ座標を用いた場合、変更前の差分領域の重心のＹ座標とは異なる値になる。このため、図１０の区間１０１１における重心のＹ座標の時間変化は、破線１００３を縦軸に対して平行に移動させた形状になると考えられる。この場合、類似度がステップ１２０５で計算した値よりもさらに小さくなってしまう。
【００７３】
そこで、特徴量計算部３２４は、ステップ１３０３において、ステップ１２０４とは異なる方法で各差分領域の特徴量を計算する。この場合の特徴量としては、例えば、差分領域の代表位置の時間変化を表す指標を用いることができる。その理由は、差分領域の形状を変更しても、変更前の差分領域と同じ物体を表している限り、代表位置の時間変化は変わらないからである。代表位置の時間変化を表す指標は、連続する２つの時刻間における、差分領域の代表位置を表す座標の差分であってもよい。
【００７４】
次に、類似度判定部３２５は、可視映像３３１における特徴量の時間変化と、赤外映像３３２における特徴量の時間変化との間の類似度を計算し（ステップ１３０４）、特徴量の時間変化の類似度を閾値ＴＨ２と比較する（ステップ１３０５）。
【００７５】
類似度が閾値ＴＨ２よりも大きい場合（ステップ１３０５，ＹＥＳ）、位置推定部３２７は、差分可視画像内の差分領域と、強反射領域の画像を補完する補完情報とを用いて、三角測量により物体１２２の３次元位置を推定する（ステップ１３０６）。一方、類似度が閾値ＴＨ２以下である場合（ステップ１３０５，ＮＯ）、位置推定部３２７は、位置推定を行わない。
【００７６】
差分領域が低輝度領域を含んでいない場合（ステップ１３０１，ＮＯ）、位置推定部３２７は、ステップ１３０６の処理を行う。
【００７７】
このような再判定処理によれば、白飛びが所定領域で発生している場合に、白飛びが発生していない差分領域に限定して、可視映像３３１の特徴量の時間変化と、赤外映像３３２の特徴量の時間変化とを再度比較することができる。これにより、類似度の判定をより正確に行うことができるため、補完情報に基づく位置推定の精度が向上する。
【００７８】
図３の位置推定システム３０１は、小売店舗において顧客が商品を手に取ったか否かを判定する場合に限らず、様々な場面で利用することができる。例えば、工場において作業者の手の動きをモニタしたり、教室において板書する教師の手の動きをモニタしたり、Automatic Teller Machine（ＡＴＭ）等でのカード等の取り忘れを検知したり、運動中の動作フォームを確認したりすることも可能である。
【００７９】
図１の位置推定システム１０１と図３及び図４の位置推定システム３０１の構成は一例に過ぎず、位置推定システムの用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、図３の赤外カメラ３１２及び赤外線源３１３の代わりに、可視カメラ及び可視光源を用いてもよい。また、所定領域が重複しないように設定すれば、可視カメラ３３１の代わりに、新たな赤外カメラ及び赤外線源を用いてもよい。また、赤外カメラ３１２の設置数と赤外線源３１３の設置数とは等しくなくてもよい。
【００８０】
図３の位置推定装置３１４が状況の変化以外の事象を契機として位置推定を行う場合は、状況変化検出部３２３を省略することができる。位置推定装置３１４が特徴量の時間変化の類似度以外の指標に基づいて、差分可視画像内の差分領域と差分赤外画像内の差分領域とが同じ物体を表していると判定する場合は、特徴量計算部３２４及び類似度判定部３２５を省略することができる。
【００８１】
図１及び図３の物体１２２は、人間の手又は腕に限らず、頭又は顔であってもよく、トング等の器具であってもよい。図４の可視カメラ３１１又は視線センサ４１１は、店内の別の場所に設置されていてもよい。
【００８２】
図２、図６、図１２、及び図１３のフローチャートは一例に過ぎず、位置推定システムの構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、状況の変化以外の事象を契機として位置推定を行う場合は、図６のステップ６０３及び図１２のステップ１２０３の処理を省略することができる。特徴量の時間変化の類似度を用いない場合は、図６のステップ６０４〜ステップ６０６及び図１２のステップ１２０４〜ステップ１２０６の処理を省略することができる。
【００８３】
図５の所定領域５０２は一例に過ぎず、別の形状又は大きさの所定領域を用いてもよい。図７、図９、及び図１１の可視画像及び赤外画像は一例に過ぎず、別の画像を用いてもよい。図８及び図１０の特徴量の時間変化は一例に過ぎず、特徴量の種類又は画像内の座標系の定義に応じて、特徴量が別の時間変化を示すこともある。
【００８４】
図１の位置推定装置１１４及び図３の位置推定装置３１４は、例えば、図１４に示すような情報処理装置（コンピュータ）を用いて実現可能である。
【００８５】
図１４の情報処理装置は、Central Processing Unit（ＣＰＵ）１４０１、メモリ１４０２、入力装置１４０３、出力装置１４０４、補助記憶装置１４０５、媒体駆動装置１４０６、及びネットワーク接続装置１４０７を備える。これらの構成要素はバス１４０８により互いに接続されている。図１の撮像装置１１１及び撮像装置１１２と図３の可視カメラ３１１及び赤外カメラ３１２は、通信ネットワークを介してネットワーク接続装置１４０７に接続されていてもよい。
【００８６】
メモリ１４０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、位置推定処理に用いられるプログラム及びデータを格納する。メモリ１４０２は、図３の記憶部３２１として用いることができる。
【００８７】
ＣＰＵ１４０１（プロセッサ）は、例えば、メモリ１４０２を利用してプログラムを実行することにより、図３の映像取得部３２２、状況変化検出部３２３、特徴量計算部３２４、類似度判定部３２５、領域判定部３２６、及び位置推定部３２７として動作する。
【００８８】
入力装置１４０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示又は情報の入力に用いられる。出力装置１４０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は処理結果の出力に用いられる。処理結果は、物体１２２の３次元位置の推定結果であってもよい。
【００８９】
補助記憶装置１４０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１４０５は、ハードディスクドライブであってもよい。情報処理装置は、補助記憶装置１４０５にプログラム及びデータを格納しておき、それらをメモリ１４０２にロードして使用することができる。補助記憶装置１４０５は、図３の記憶部３２１として用いることができる。
【００９０】
媒体駆動装置１４０６は、可搬型記録媒体１４０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１４０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１４０９は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、Universal Serial Bus（ＵＳＢ）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体１４０９にプログラム及びデータを格納しておき、それらをメモリ１４０２にロードして使用することができる。
【００９１】
このように、位置推定処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１４０２、補助記憶装置１４０５、又は可搬型記録媒体１４０９のような、物理的な（非一時的な）記録媒体である。
【００９２】
ネットワーク接続装置１４０７は、Local Area Network、Wide Area Network等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１４０７を介して受信し、それらをメモリ１４０２にロードして使用することができる。情報処理装置は、ネットワーク接続装置１４０７を介して、ユーザ端末から処理要求を受信し、位置推定処理を行って、処理結果をユーザ端末へ送信することもできる。
【００９３】
なお、情報処理装置が図１４のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、オペレータ又はユーザからの指示又は情報を入力する必要がない場合は、入力装置１４０３を省略してもよい。オペレータ又はユーザへの問い合わせ又は処理結果を出力する必要がない場合は、出力装置１４０４を省略してもよい。可搬型記録媒体１４０９を利用しない場合は、媒体駆動装置１４０６を省略してもよい。
【００９４】
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。
【００９５】
図１乃至図１４を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
第１の撮像装置が撮影した撮影対象領域内の物体の第１画像と、前記撮影対象領域に対して電磁波を照射する電磁波源を用いて、第２の撮像装置が前記撮影対象領域からの反射電磁波により撮影した第２画像とを記憶する記憶部と、
前記第２画像内の強反射領域の位置が、前記第２画像内の所定位置に対応する場合、前記第１画像と、前記強反射領域の画像を補完する補完情報とに基づいて、前記物体の位置を推定する位置推定部と、
を備えることを特徴とする位置推定装置。
（付記２）
前記位置推定部は、前記第１画像から求めた情報を前記補完情報として用いることを特徴とする付記１記載の位置推定装置。
（付記３）
前記第２の撮像装置は、前記第２画像よりも前に、前記撮影対象領域からの反射電磁波により第３画像を撮影し、前記位置推定部は、前記第３画像から求めた情報を前記補完情報として用いることを特徴とする付記１記載の位置推定装置。
（付記４）
前記強反射領域の前記位置が前記所定位置に対応する場合、前記強反射領域の周囲の領域から求めた特徴量に基づいて、前記物体の前記位置を推定するか否かを決定する判定部をさらに備え、
前記物体の前記位置を推定する場合、前記位置推定部は、前記第１画像と前記補完情報とに基づいて前記物体の前記位置を推定することを特徴とする付記１乃至３のいずれか１項に記載の位置推定装置。
（付記５）
第１の撮像装置が、撮影対象領域内の物体の第１画像を撮影し、
電磁波源が、前記撮影対象領域に対して電磁波を照射し、
第２の撮像装置が、前記撮影対象領域からの反射電磁波により第２画像を撮影し、
位置推定装置が、前記第２画像内の強反射領域の位置が前記第２画像内の所定位置に対応する場合、前記第１画像と、前記強反射領域の画像を補完する補完情報とに基づいて、前記物体の位置を推定する、
ことを特徴とする位置推定方法。
（付記６）
前記位置推定装置は、前記第１画像から求めた情報を前記補完情報として用いることを特徴とする付記５記載の位置推定方法。
（付記７）
前記第２の撮像装置は、前記第２画像よりも前に、前記撮影対象領域からの反射電磁波により第３画像を撮影し、前記位置推定装置は、前記第３画像から求めた情報を前記補完情報として用いることを特徴とする付記５記載の位置推定方法。
（付記８）
前記位置推定装置は、前記強反射領域の前記位置が前記所定位置に対応する場合、前記強反射領域の周囲の領域から求めた特徴量に基づいて、前記物体の前記位置を推定するか否かを決定し、前記物体の前記位置を推定する場合、前記第１画像と前記補完情報とに基づいて前記物体の前記位置を推定することを特徴とする付記５乃至７のいずれか１項に記載の位置推定方法。
（付記９）
第１の撮像装置が撮影対象領域内の物体の第１画像を撮影し、電磁波源が前記撮影対象領域に対して電磁波を照射し、第２の撮像装置が前記撮影対象領域からの反射電磁波により第２画像を撮影し、かつ、前記第２画像内の強反射領域の位置が前記第２画像内の所定位置に対応する場合、前記第１画像と、前記強反射領域の画像を補完する補完情報とに基づいて、前記物体の位置を推定する、
処理をコンピュータに実行させる位置推定プログラム。
（付記１０）
前記コンピュータは、前記第１画像から求めた情報を前記補完情報として用いることを特徴とする付記９記載の位置推定プログラム。
（付記１１）
前記第２の撮像装置は、前記第２画像よりも前に、前記撮影対象領域からの反射電磁波により第３画像を撮影し、前記コンピュータは、前記第３画像から求めた情報を前記補完情報として用いることを特徴とする付記１０記載の位置推定プログラム。
（付記１２）
前記コンピュータは、前記強反射領域の前記位置が前記所定位置に対応する場合、前記強反射領域の周囲の領域から求めた特徴量に基づいて、前記物体の前記位置を推定するか否かを決定し、前記物体の前記位置を推定する場合、前記第１画像と前記補完情報とに基づいて前記物体の前記位置を推定することを特徴とする付記９乃至１１のいずれか１項に記載の位置推定プログラム。
【符号の説明】
【００９６】
１０１、３０１  位置推定システム
１１１、１１２  撮像装置
１１３  電磁波源
１１４、３１４  位置推定装置
１２１  撮影対象領域
１２２  物体
３１１  可視カメラ
３１２  赤外カメラ
３１３  赤外線源
３２１  記憶部
３２２  映像取得部
３２３  状況変化検出部
３２４  特徴量計算部
３２５  類似度判定部
３２６  領域判定部
３２７  位置推定部
３３１  可視映像
３３２  赤外映像
３３３  キー可視画像
３３４  キー赤外画像
３３５  領域情報
４０１  商品棚
４０２  商品
４０３  腕
４１１  視線センサ
５０１、７１２、９１２  赤外画像
５０２  所定領域
７０１  キー可視画像
７０２  キー赤外画像
７１１、９１１  可視画像
７２１、９２１  差分可視画像
７２２、９２２、１１０１  差分赤外画像
７３１  蛍光灯
７４１、７４２、９３１、９３２  差分領域
８０１  折れ線
９４１  高輝度領域
９４２  低輝度領域
１００１、１００２  線分
１００３  破線
１０１１  区間
１１１１  推定差分領域
１４０１  ＣＰＵ
１４０２  メモリ
１４０３  入力装置
１４０４  出力装置
１４０５  補助記憶装置
１４０６  媒体駆動装置
１４０７  ネットワーク接続装置
１４０８  バス
１４０９  可搬型記録媒体
【図１】
2017067503.tif 000003
【図２】
2017067503.tif 000004
【図３】
2017067503.tif 000005
【図６】
2017067503.tif 000006
【図８】
2017067503.tif 000007
【図１０】
2017067503.tif 000008
【図１２】
2017067503.tif 000009
【図１３】
2017067503.tif 000010
【図１４】
2017067503.tif 000011
【図４】
2017067503.tif 000012
【図５】
2017067503.tif 000013
【図７】
2017067503.tif 000014
【図９】
2017067503.tif 000015
【図１１】
2017067503.tif 000016
【手続補正書】
【提出日】平成28年6月21日(2016.6.21)
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、位置推定装置、位置推定方法、及び位置推定プログラムに関する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
１つの案では、位置推定装置は、記憶部及び位置推定部を含む。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
記憶部は、第１の撮像装置が撮影した撮影対象領域内の物体の第１画像と、撮影対象領域に対して電磁波を照射する電磁波源を用いて、第２の撮像装置が撮影対象領域からの反射電磁波により撮影した第２画像とを記憶する。位置推定部は、第２画像内の強反射領域の位置が第２画像内の所定位置に対応する場合、第１画像と、強反射領域の画像を補完する補完情報とに基づいて、物体の位置を推定する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００７９
【補正方法】変更
【補正の内容】
【００７９】
図１の位置推定システム１０１と図３及び図４の位置推定システム３０１の構成は一例に過ぎず、位置推定システムの用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、図３の赤外カメラ３１２及び赤外線源３１３の代わりに、可視カメラ及び可視光源を用いてもよい。また、所定領域が重複しないように設定すれば、可視カメラ３１１の代わりに、新たな赤外カメラ及び赤外線源を用いてもよい。また、赤外カメラ３１２の設置数と赤外線源３１３の設置数とは等しくなくてもよい。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００９５
【補正方法】変更
【補正の内容】
【００９５】
図１乃至図１４を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
第１の撮像装置が撮影した撮影対象領域内の物体の第１画像と、前記撮影対象領域に対して電磁波を照射する電磁波源を用いて、第２の撮像装置が前記撮影対象領域からの反射電磁波により撮影した第２画像とを記憶する記憶部と、
前記第２画像内の強反射領域の位置が、前記第２画像内の所定位置に対応する場合、前記第１画像と、前記強反射領域の画像を補完する補完情報とに基づいて、前記物体の位置を推定する位置推定部と、
を備えることを特徴とする位置推定装置。
（付記２）
前記位置推定部は、前記第１画像から求めた情報を前記補完情報として用いることを特徴とする付記１記載の位置推定装置。
（付記３）
前記第２の撮像装置は、前記第２画像よりも前に、前記撮影対象領域からの反射電磁波により第３画像を撮影し、前記位置推定部は、前記第３画像から求めた情報を前記補完情報として用いることを特徴とする付記１記載の位置推定装置。
（付記４）
前記強反射領域の前記位置が前記所定位置に対応する場合、前記強反射領域の周囲の領域から求めた特徴量に基づいて、前記物体の前記位置を推定するか否かを決定する判定部をさらに備え、
前記物体の前記位置を推定する場合、前記位置推定部は、前記第１画像と前記補完情報とに基づいて前記物体の前記位置を推定することを特徴とする付記１乃至３のいずれか１項に記載の位置推定装置。
（付記５）
第１の撮像装置が、撮影対象領域内の物体の第１画像を撮影し、
電磁波源が、前記撮影対象領域に対して電磁波を照射し、
第２の撮像装置が、前記撮影対象領域からの反射電磁波により第２画像を撮影し、
位置推定装置が、前記第２画像内の強反射領域の位置が前記第２画像内の所定位置に対応する場合、前記第１画像と、前記強反射領域の画像を補完する補完情報とに基づいて、前記物体の位置を推定する、
ことを特徴とする位置推定方法。
（付記６）
前記位置推定装置は、前記第１画像から求めた情報を前記補完情報として用いることを特徴とする付記５記載の位置推定方法。
（付記７）
前記第２の撮像装置は、前記第２画像よりも前に、前記撮影対象領域からの反射電磁波により第３画像を撮影し、前記位置推定装置は、前記第３画像から求めた情報を前記補完情報として用いることを特徴とする付記５記載の位置推定方法。
（付記８）
前記位置推定装置は、前記強反射領域の前記位置が前記所定位置に対応する場合、前記強反射領域の周囲の領域から求めた特徴量に基づいて、前記物体の前記位置を推定するか否かを決定し、前記物体の前記位置を推定する場合、前記第１画像と前記補完情報とに基づいて前記物体の前記位置を推定することを特徴とする付記５乃至７のいずれか１項に記載の位置推定方法。
（付記９）
第１の撮像装置が撮影対象領域内の物体の第１画像を撮影し、電磁波源が前記撮影対象領域に対して電磁波を照射し、第２の撮像装置が前記撮影対象領域からの反射電磁波により第２画像を撮影し、かつ、前記第２画像内の強反射領域の位置が前記第２画像内の所定位置に対応する場合、前記第１画像と、前記強反射領域の画像を補完する補完情報とに基づいて、前記物体の位置を推定する、
処理をコンピュータに実行させる位置推定プログラム。
（付記１０）
前記コンピュータは、前記第１画像から求めた情報を前記補完情報として用いることを特徴とする付記９記載の位置推定プログラム。
（付記１１）
前記第２の撮像装置は、前記第２画像よりも前に、前記撮影対象領域からの反射電磁波により第３画像を撮影し、前記コンピュータは、前記第３画像から求めた情報を前記補完情報として用いることを特徴とする付記９記載の位置推定プログラム。
（付記１２）
前記コンピュータは、前記強反射領域の前記位置が前記所定位置に対応する場合、前記強反射領域の周囲の領域から求めた特徴量に基づいて、前記物体の前記位置を推定するか否かを決定し、前記物体の前記位置を推定する場合、前記第１画像と前記補完情報とに基づいて前記物体の前記位置を推定することを特徴とする付記９乃至１１のいずれか１項に記載の位置推定プログラム。