(57)【要約】【課題】  大規模な物体又は大規模な空間の３次元復元モデルを作成するために用いるデータを取得する時間が短くする。【解決手段】  本発明による、撮像装置を有する測距装置は、前記撮像装置が撮像する撮像画像を取得する画像取得部と、前記撮像画像より空間分解能が低く、かつ、前記撮像画像に写る被写体までの距離を計測した計測データを生成する計測部と、前記計測データが示す計測点に基づいて、前記計測点から所定の範囲内となる第１範囲で推定して第１推定結果を計算する第１推定部と、前記被写体が直交座標系のいずれかと平行であると仮定して、前記第１範囲より広い範囲である第２範囲で推定して第２推定結果を計算する第２推定部と、前記第１推定結果及び前記第２推定結果に基づいて３次元モデルを生成する生成部とを備える。【選択図】図１
2020144051.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置を有する測距装置であって、
前記撮像装置が撮像する撮像画像を取得する画像取得部と、
前記撮像画像より空間分解能が低く、かつ、前記撮像画像に写る被写体までの距離を計測した計測データを生成する計測部と、
前記計測データが示す計測点に基づいて、前記計測点から所定の範囲内となる第１範囲で推定して第１推定結果を計算する第１推定部と、
前記被写体が直交座標系のいずれかと平行であると仮定して、前記第１範囲より広い範囲である第２範囲で推定して第２推定結果を計算する第２推定部と、
前記第１推定結果及び前記第２推定結果に基づいて３次元モデルを生成する生成部と
を備える測距装置。
【請求項２】
前記第１推定部は、ドロネー推定で推定する
請求項１に記載の測距装置。
【請求項３】
前記第２推定部は、マンハッタンワールド仮説に基づいて推定する
請求項１又は２に記載の測距装置。
【請求項４】
前記第２推定結果を採用するか否かは、前記第１推定部によって推定される画素数が閾値より多い数であるか否かで判断する
請求項３に記載の測距装置。
【請求項５】
前記第１推定部は、画角に基づく重み係数を適用した正規分布によって推定する
請求項１乃至４のいずれか１項に記載の測距装置。
【請求項６】
前記撮像画像は、ＥｑｕｉＲｅｃｔａｎｇｕｌａｒ投影画像であり、
前記第１推定部は、実空間において推定する
請求項１乃至５のいずれか１項に記載の測距装置。
【請求項７】
撮像装置を有する測距装置が行う測距方法であって、
測距装置が、前記撮像装置が撮像する撮像画像を取得する画像取得手順と、
測距装置が、前記撮像画像より空間分解能が低く、かつ、前記撮像画像に写る被写体までの距離を計測した計測データを生成する計測手順と、
測距装置が、前記計測データが示す計測点に基づいて、前記計測点から所定の範囲内となる第１範囲で推定して第１推定結果を計算する第１推定手順と、
測距装置が、前記被写体が直交座標系のいずれかと平行であると仮定して、前記第１範囲より広い範囲である第２範囲で推定して第２推定結果を計算する第２推定手順と、
測距装置が、前記第１推定結果及び前記第２推定結果に基づいて３次元モデルを生成する生成手順と
を含む測距方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、測距装置及び測距方法に関する。
【背景技術】
【０００２】
まず、実在する物体、建築物又はそれらを含む空間全体をカメラによる撮像又はレーザ光の照射等によって計測する。そして、計測結果等に基づき、電子データとして３次元情報を復元する、いわゆる３次元復元モデルの技術が知られている。近年では、例えば、橋梁の検査又は建築現場といった様々な場面で、この３次元復元モデルの利用が検討されている。具体的には、ビルディング等の大規模な施設の建設において、設計時のＣＡＤ（Ｃｏｍｐｕｔｅｒ−Ａｉｄｅｄ  Ｄｅｓｉｇｎ）による図面と、建設現場で計測して作成する３次元復元モデルとの比較を行う方法等がある。また、建設後の検査等において、３次元復元モデルを作成して状況を確認するといった方法もある。
【０００３】
特許文献１には、３次元復元データの取得に適用可能な３次元距離計測センサが開示されている。そして、特許文献１によれば、まず、３次元距離計測センサは、魚眼レンズ特性を有する３  台のカメラを３つの視点位置にそれぞれ配置する。続いて、３次元距離計測センサは、これら３  台のカメラによって撮像された画像に基づき、３次元距離を算出する。
【０００４】
特許文献２には、レンズ構成方法を工夫することで、全周囲を全天球画像として撮像可能とした撮像システムが開示されている。そして、特許文献２では、撮像システムは、視点の異なる複数の撮像画像を取得することで、より広範囲について、３次元復元モデルを作成することが可能である。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
３次元復元モデルは、一般的には、対象となる物体又は空間をそれぞれ異なる視点から撮像した複数の画像を用いて作成される。そのため、大規模な物体又は大規模な空間の３次元復元モデルを作成するためには、大規模な装置でないと難しい場合がある。また、従来の方法は、データ取得に長時間を要する場合が多く、改善が望まれる。
【０００６】
本発明の一態様は、大規模な物体又は大規模な空間の３次元復元モデルを作成するために用いるデータを取得する時間を短くすること等を目的とする。
【課題を解決するための手段】
【０００７】
本発明の一実施形態による、撮像装置を有する測距装置は、
前記撮像装置が撮像する撮像画像を取得する画像取得部と、
前記撮像画像より空間分解能が低く、かつ、前記撮像画像に写る被写体までの距離を計測した計測データを生成する計測部と、
前記計測データが示す計測点に基づいて、前記計測点から所定の範囲内となる第１範囲で推定して第１推定結果を計算する第１推定部と、
前記被写体が直交座標系のいずれかと平行であると仮定して、前記第１範囲より広い範囲である第２範囲で推定して第２推定結果を計算する第２推定部と、
前記第１推定結果及び前記第２推定結果に基づいて３次元モデルを生成する生成部と
を備えることを特徴とする。
【発明の効果】
【０００８】
本発明の実施形態によって、大規模な物体又は大規模な空間の３次元復元モデルを作成するために用いるデータを取得する時間が短くできる。
【図面の簡単な説明】
【０００９】
【図１】測距装置の例を示す図である。
【図２】撮像体の構造例を示す断面図である。
【図３】測距装置の変形例を示す図である。
【図４】ＴＯＦセンサの構成例を示すブロック図である。
【図５】全体処理例を示すフローチャートである。
【図６】透視投影上でのドロネー推定平面の投影例を示す図である。
【図７】ＥｑｕｉＲｅｃｔａｎｇｕｌａｒ投影上でのドロネー推定平面の投影例を示す図である。
【図８】何もない空間にドロネー平面を構築する例を示す図である。
【図９】誤った情報に基づいてドロネー平面を構築する例を示す図である。
【図１０】マンハッタンワールド仮説に基づく仮説の例を示す図である。
【図１１】画角に基づく重み付けの例を示す図である。
【図１２】全天球カメラの構成における計測データの例を示す図である。
【図１３】カメラの構成における計測データの例を示す図である。
【図１４】測距装置の機能構成例を示す機能ブロック図である。
【図１５】比較例を示す図である。
【発明を実施するための形態】
【００１０】
以下、発明を実施するための最適な形態について、図面を参照して説明する。
【００１１】
＜測距装置の例＞
図１は、測距装置の例を示す図である。例えば、測距装置は、図示するような全天球カメラ１Ａ等である。具体的には、全天球カメラ１Ａは、複数の撮像体２１Ａ及び２１Ｂ等を有する装置である。また、撮像体２１Ａ及び２１Ｂは、例えば、以下のような構造である。
【００１２】
図２は、撮像体の構造例を示す断面図である。図示するように、撮像体２１Ａ及び２１Ｂは、一方に、撮像レンズ２０ａを含む結像光学系２０１ａと、ＣＣＤ又はＣＭＯＳ等の光センサである撮像素子２００ａとを配置する構造である。同様に、他方に、撮像レンズ２０ｂを含む結像光学系２０１ｂと、ＣＣＤ又はＣＭＯＳ等の光センサである撮像素子２００ｂとを配置する構造である。また、結像光学系２０１ａ及び２０１ｂは、例えば、６群７枚の魚眼レンズで構成される。これらの光学系により、全天球カメラ１Ａは、画角が１８０  °（＝３６０度／ｎ、ｎは光学系数＝２である。）より大きいのが望ましい。なお、画角は、１８５  °以上であるのが望ましく、より好適には、１９０  °以上が望ましい。
【００１３】
各結像光学系２０１ａ及び２０１ｂは、それぞれ、光路を９０  °変更するプリズム２０２ａ及び２０２ｂを含む。また、結像光学系２０１ａ及び２０１ｂにそれぞれ含まれる６群７枚の魚眼レンズは、プリズム２０２ａ及び２０２ｂより入射側のグループと、出射側（撮像素子２００ａ及び２００ｂ側）のグループとに分けることができる。例えば、結像光学系２０１ａにおいて、撮像レンズ２０ａに入射された光は、プリズム２０２ａより入射側のグループに属する各レンズを介してプリズム２０２ａに入射される。そして、プリズム２０２ａに入射された光は、光路を９０  °変換されて、プリズム２０２ａより出射側のグループに属する各レンズ、開口絞り及びフィルタを介して撮像素子２００ａに入射する。
【００１４】
２つの結像光学系２０１ａ及び２０１ｂの光学素子（例えば、レンズ、プリズム２０２ａ、２０２ｂ、フィルタ及び開口絞り等である。）は、撮像素子２００ａ及び２００ｂに対して位置関係が定まる。具体的には、結像光学系２０１ａ及び２０１ｂにおいて、光学素子の光軸が、対応する撮像素子２００ａ及び２００ｂの受光領域の中心部に直交して位置し、かつ、受光領域が対応する魚眼レンズの結像面となるように、位置決めが行われる。また、撮像体２１Ａ及び２１Ｂでは、結像光学系２０１ａ及び２０１ｂは、同一仕様のものであり、それぞれの光軸が合致するようにして、互いに逆向きの組み合わせである。
【００１５】
全天球カメラ１Ａは、上記のような撮像体を複数有する構成等である。したがって、全天球カメラ１Ａは、撮像体２１Ａ又は２１Ｂがそれぞれの光学系によって、撮像する画像を組み合わせると、広角な範囲を示す画像が生成できる。
【００１６】
一方で、撮像体２１Ａ及び２１Ｂが視差ができるように離れて設置されるため、全天球カメラ１Ａは、撮像体２１Ａ及び２１Ｂが有する同一面の光学系によって、撮像する画像に基づいてステレオ法等を行うと、距離等を計測したデータを生成できる。
【００１７】
また、全天球カメラ１Ａは、上記のような制御及びデータに対する処理を行う制御装置及び演算装置を有するハードウェア構成である。
【００１８】
なお、測距装置は、以下のような装置でもよい。
【００１９】
＜測距装置の変形例＞
図３は、測距装置の変形例を示す図である。例えば、測距装置は、図示するようなカメラ１Ｂ等である。具体的には、カメラ１Ｂは、一方に、撮像素子ＳＥＮ１と、光源Ｌ１とを有する。同様に、カメラ１Ｂは、他方に、撮像素子ＳＥＮ２と、光源Ｌ２とを有する。さらに、カメラ１Ｂは、撮像素子ＳＥＮ１及びＳＥＮ２が出力するデータを処理する処理基板ＣＲ及び電源ＢＵを有する構成である。このようなハードウェア構成により、例えば、カメラ１Ｂは、以下のようなＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）センサの構成となる。
【００２０】
図４は、ＴＯＦセンサの構成例を示すブロック図である。図示するように、撮像素子、光源及び処理基板によって、投光系、受光系及び制御系等が構成される。
【００２１】
制御部ＣＲ１は、距離測定の際に、投光系の光源駆動部ＬＤと、受光系の撮像素子ＳＥＮ１又はＳＥＮ２を制御する。また、制御部ＣＲ１は、光源駆動信号のパルス幅及びデューティ比を設定する信号（すなわち、発光制御信号となる。）を光源駆動部ＬＤに送出する。そして、パルス幅に合わせた取得時間制御信号が撮像素子に送出される。
【００２２】
投光系では、制御部ＣＲ１からの指示（すなわち、発光制御信号である。）に基づいて、光源駆動部ＬＤは、光源Ｌ１又はＬ２をパルス発光させる。例えば、光源Ｌ１及びＬ２には、ＬＤ（端面発光レーザ）、ＬＥＤ（発光ダイオード）又はＶＣＳＥＬ（面発光レーザ）等が用いられる。
【００２３】
受光系では、撮像素子ＳＥＮ１及びＳＥＮ２は、対象物からの反射光の一部を受光して生成したアナログ信号をＡＤＣ（Ａｎａｌｏｇ  ｔｏ  Ｄｉｇｉｔａｌ  Ｃｏｎｖｅｒｔｅｒ）Ｃ１に出力する。次に、ＡＤＣＣ１は、入力するアナログ信号をデジタル信号に変換して、ＴＯＦ演算部ＣＲ２に送る。例えば、撮像素子ＳＥＮ１及びＳＥＮ２は、ＣＭＯＳセンサ又はＣＣＤセンサ等が用いられる。一般的なＴＯＦセンサでは、専用の撮像素子が用いられる。
【００２４】
以上のような構成であると、出力部ＣＲ３は、撮像する画像を組み合わせた広角な範囲を示す画像を出力できる。又は、出力部ＣＲ３は、それぞれの撮像素子が撮像した画像を出力し、後段で画像を組み合わせて、広角な範囲を示す画像が生成されてもよい。
【００２５】
さらに、出力部ＣＲ３は、投光された光の到達時間に基づいて、被写体までの距離を示すデータを出力することができる。
【００２６】
＜全体処理例＞
図５は、全体処理例を示すフローチャートである。例えば、測距装置は、以下のような全体処理を行う。
【００２７】
ステップＳ１では、測距装置は、計測データを生成する。具体的には、測距装置は、ステレオ法又はＴＯＦセンサによって、被写体までの距離を測定し、計測点ごとの計測結果を測定データとする。
【００２８】
ステップＳ２では、測距装置は、撮像画像を取得する。なお、測距装置は、いわゆる全天球画像のように、広い範囲を撮像した撮像画像を取得するのが望ましい。したがって、撮像画像は、複数の画像を合成等して生成された画像でもよい。以下、撮像画像が全天球画像である例で説明する。
【００２９】
なお、ステップＳ１及びステップＳ２は、並列でなくともよい。すなわち、計測データ及び撮像画像は、ほぼ同じ被写体が対象であればよく、測距装置は、どちらかの処理を先にして順に実行してもよい。
【００３０】
ステップＳ３では、測距装置は、ドロネー（Ｄｅｌａｕｎａｙ）推定を行う。ドロネー推定の詳細は、後述する。
【００３１】
ステップＳ４では、測距装置は、マンハッタンワールド仮説（Ｍａｎｈａｔｔａｎ  Ｗｏｒｌｄ  Ａｓｓｕｍｐｔｉｏｎ）に基づいて推定を行う。マンハッタンワールド仮説に基づく推定の詳細は、後述する。
【００３２】
ステップＳ５では、測距装置は、計測点から所定の範囲内（以下「第１範囲」という。）に対して第１推定結果を適用する。すなわち、信頼できる範囲を第１範囲と設定し、第１範囲においては、ドロネー推定等の第１推定結果を適用する。このように、計測点の周辺のように、信頼できる範囲に、第１推定結果を適用させるため、第１範囲において信頼の高い結果を構築できる。
【００３３】
なお、ステップＳ３、ステップＳ４及びステップＳ５は、並列でなくともよい。すなわち、測距装置は、どちらかの処理を先にして順に実行してもよい。
【００３４】
ステップＳ６では、測距装置は、第１推定結果及び第２推定結果に基づいて３次元モデルを生成する。
【００３５】
＜全体処理結果例＞
例えば、図１のように、ステレオ法を用いる構成等では、視差情報を用いると、いわゆるＥＬＡＳ（Ｅｆｆｉｃｉｅｎｔ  Ｌａｒｇｅ−ｓｃａｌｅ  Ｓｔｅｒｅｏ）アルゴリズム等による計算は、下記（１）式のようになる。
【００３６】
【数１】
2020144051.tif 000003
なお、「上画像」は、撮像体２１Ａが撮像する撮像画像である。一方で、「下画像」は、撮像体２１Ｂが撮像する撮像画像である。また、以下の説明では、下画像ｕをステレオ法における基準画像とする。そして、撮像体２１Ａ及び撮像体２１Ｂが設置された間隔、いわゆる基線長が「視差」となる。なお、以下の説明では、「Ｓ」、すなわち、計測データに距離情報のある点を「サポートポイント」という。
【００３７】
さらに、上記（１）式おける右辺の第１項は、下記（２）式のようになる。
【００３８】
【数２】
2020144051.tif 000004
上記（２）式は、３次元モデルの生成における距離のうち、計測データに計測結果がない点の距離「ｐ」について計算することを示す。また、上記（２）式は、平均化関数「μ」で計算される平均値を中心に「３σ」となる範囲に対象とする点の視差「ｄｎ」が入り、かつ、近傍となる範囲、すなわち、「２０×２０」の範囲に存在すると、「ｅｘｐ」等で示す計算等を行うことを示す。以下、「μ」で計算する視差を「代表視差」という。また、上記（２）式では、「ｅｘｐ」により、「ｄｎ」が代表視差に近いほど、計算結果は、「１．０」に近い値となる。一方で、「ｄｎ」が代表視差から遠いと、計算結果は、値が小さくなる。このように、上記（２）式は、計測データにおいて、計測点でない、すなわち、距離情報がない点となる画像における画素のそれぞれの距離を正規分布的な確率を持たせて計算する式である。このように、上記（２）式は、確率化計算を行う式である。
【００３９】
また、上記（２）式では、「μ」による計算結果は、計測データに基づく距離情報から推定する推定結果である。さらに、上記（２）式は、「μ」で計算される平均値を中心に、「３σ」の範囲内に対して、確率分布を与える。以下、第１範囲を「３σ」の範囲内とする例で説明する。
【００４０】
続いて、上記（１）式おける右辺の第２項は、下記（３）式のようになる。
【００４１】
【数３】
2020144051.tif 000005
上記（３）式は、上記（２）式で計算する距離の候補値に対して、再投影誤差を計算する式となる。また、上記（３）式は、再投影誤差のマッチングレベルを確率関数化する式である。
【００４２】
＜ドロネー推定例＞
上記のＥＬＡＳアルゴリズム等に対して、ドロネー推定は、例えば、まず、下記（４）式のような形で、画像座標（ｕ，ｖ）にドロネー三角を構築する。
【００４３】
【数４】
2020144051.tif 000006
例えば、上記のとおり、透視投影画像となる撮像画像において、画像座標（ｕ，ｖ）にドロネー三角を適用すると、以下のようになる。
【００４４】
図６は、透視投影上でのドロネー推定平面の投影例を示す図である。以下、撮像画像ＩＭＧ１の座標系を（ｕ、ｖ、ｄ）とする。これに対して、実空間の座標系を（Ｘ，Ｙ，Ｚ）とする。図示するように、撮像画像ＩＭＧ１における３点「Ｓ１」、「Ｓ２」及び「Ｓ３」で示すドロネー平面は、実空間に対して投影される。そして、撮像画像ＩＭＧ１が透視投影画像であると、ドロネー推定面ＤＥ１は、実空間、すなわち、３次元空間において、平面として推定される。
【００４５】
一方で、ＥｑｕｉＲｅｃｔａｎｇｕｌａｒ投影画像（正距円筒図法によって生成する画像ともいう。）となる撮像画像において、ドロネー推定を行うと、例えば、以下のようになる。
【００４６】
図７は、ＥｑｕｉＲｅｃｔａｎｇｕｌａｒ投影上でのドロネー推定平面の投影例を示す図である。図６と異なるのは、図７は、撮像画像が図示するように、ＥｑｕｉＲｅｃｔａｎｇｕｌａｒ投影画像である点が異なる。
【００４７】
図示する投影は、ＥｑｕｉＲｅｃｔａｎｇｕｌａｒ投影において、上記（４）式を適用する場合の例である。この例のように撮像画像ＩＭＧ２がＥｑｕｉＲｅｃｔａｎｇｕｌａｒ投影であると、ドロネー推定面ＤＥ２は、実空間、すなわち、３次元空間において、球状の曲面として推定される。その結果、平均値「μ」は、図示するような例では、ドロネー推定面ＤＥ２内、すなわち、球曲面内に推定される。このように、距離情報「Ｓ」に基づいて推定する推定面が、図示するような曲面で構成されるのは稀である。
【００４８】
そこで、測距装置は、まず、距離情報「Ｓ」がある点、すなわち、計測データにおいて計測点として計測された点を実空間となる３次元空間にプロットする。次に、測距装置は、プロットされた点から、平均値「μ」の計算を実空間、すなわち、Ｘ−Ｙ−Ｚ座標系において、下記（５）式のように計算する。
【００４９】
【数５】
2020144051.tif 000007
上記（５）式のように、実空間、すなわち、「ｘ」及び「ｙ」を用いる計算による推定であると、撮像画像がＥｑｕｉＲｅｃｔａｎｇｕｌａｒ投影画像であっても、図６のような平面的なドロネー推定ができる。したがって、撮像画像がＥｑｕｉＲｅｃｔａｎｇｕｌａｒ投影画像であっても、測距装置は、自然な復元をする結果を得ることができる。
【００５０】
＜マンハッタンワールド仮説に基づく推定例＞
図１又は図２のような装置等で計測データを生成すると、距離情報「Ｓ」は、信頼できる計測点が少数となる場合がある。このような場合において、ドロネー推定を行うと、ドロネー平面が大きくなる場合があり、例えば、以下のような問題が起きる。
【００５１】
図８は、何もない空間にドロネー平面を構築する例を示す図である。ドロネー推定では、ドロネー平面は、例えば、空間を最小距離でつないで平面が構築される。そのため、３次元モデルにおいて、被写体の３次元的な特徴が壊れてしまう場合がある。
【００５２】
具体的には、図示するように、ドロネー推定面ＤＥＢのような大きな三角が推定される場合等である。例えば、壁等のエッジに、計測結果が信頼できる点である「Ｓ１」、「Ｓ２」及び「Ｓ３」が検出されると、３点を結ぶように、ドロネー推定が行われるため、図示するように、大きな三角が推定される問題が起きる場合がある。
【００５３】
また、ドロネー推定では、以下のような問題も起きる。
【００５４】
図９は、誤った情報に基づいてドロネー平面を構築する例を示す図である。例えば、床面ＦＲが被写体であるとする。すなわち、以下の例は、推定結果が、床面ＦＲと同じように、Ｘ−Ｚ平面に対して平面となると、「正解」といえる場合である。
【００５５】
この例では、「Ｓ４」が信頼できる点と設定された場合の例である。しかし、図示するように、「Ｓ４」は、信頼できるとされる計測結果を示すはずなのに対して、何らかの要因により、図示するように誤った計測結果等が入力された場合である。具体的には、図示するように、「Ｓ４」は、床面ＦＲとなる１点を示すので、Ｙ方向において、値が「０」（すなわち、「Ｓ１」及び「Ｓ２」等と同一の高さとなる。）となるのが「正解」であるのに対して、誤って、Ｙ方向に大きな値を持つ場合である。
【００５６】
「Ｓ４」のようなデータがあると、例えば、ドロネー推定面ＤＥＭは、「Ｓ４」により、Ｙ方向に持ちあがった形状と推定される。すなわち、「Ｓ４」が信頼できるとされる計測結果であるため、推定結果は、「Ｓ４」に引っ張られた結果となる。
【００５７】
なお、図示するような問題点は、信頼できる点、すなわち、計測点の空間分解能が低く、粗い分布であるほど、影響が大きい。
【００５８】
一方で、工場、倉庫又は会議室等のように、開けた空間等において、測距装置により、測距方法を実行する場合がある。このような空間には、いわゆるテクスチャがない平面が含まれる場合が多い。
【００５９】
これらの問題が起きる場合等に対して、測距装置は、マンハッタンワールド仮説に基づく推定を行うと、精度よく３次元モデルを生成できる。
【００６０】
マンハッタンワールド仮説は、例えば、以下のように推定する方法である。
【００６１】
図１０は、マンハッタンワールド仮説に基づく仮説の例を示す図である。図示するように、マンハッタンワールド仮説は、被写体ＴＧは、いずれかの直交座標系に対して平行すると仮定する。すなわち、マンハッタンワールド仮説は、壁、天井又は樹木等は、Ｘ方向、Ｙ方向又はＺ方向等に平行な拘束があるとする。このように、マンハッタンワールド仮説に基づく推定であると、大域的な３次元モデルを推定できる。
【００６２】
なお、マンハッタンワールド仮説に基づく推定結果を採用するのに、測距装置は、第１推定部によって推定される画素数を用いて判断するのが望ましい。すなわち、測距装置は、第２推定結果によって、推定された平面に、第１推定結果で推定された点がいくつ含まれるかによって、第２推定結果が信頼できるか否かを判断する。具体的には、測距装置は、例えば、下記（６）式のように判断する。
【００６３】
【数６】
2020144051.tif 000008
上記（６）式のように、閾値を用いる判断をすると、測距装置は、信頼できる第２推定結果を採用できる。
【００６４】
上記のとおり計算する第１推定結果及び第２推定結果は、例えば、
＜画角に基づく重み付けを行う例＞
上記（２）式に示す計算を行う上で画角に基づく重み付けがされるのが望ましい。具体的には、測距装置は、例えば、下記（７）式のように、重み付けがされた計算を行う。
【００６５】
【数７】
2020144051.tif 000009
上記（７）式のように計算すると、正規分布は、下記のようになる。
【００６６】
図１１は、画角に基づく重み付けの例を示す図である。例えば、広角な範囲を撮像できる光学系において、画角が小さい領域では、正規分布は、上記（７）式における重み係数によって、図１１（Ａ）のような分布とする。一方で、画角が大きい領域では、正規分布は、上記（７）式における重み係数によって、図１１（Ｂ）のような分布とする。
【００６７】
全天球カメラのように広角な範囲を撮像できる光学系であると、画角が大きい領域、すなわち、撮像画像における端の位置では、歪み（歪曲収差、ｄｉｓｔｏｒｔｉｏｎ）が大きくなる場合が多い。そこで、画角が大きい領域、いわゆる高画角エリアでは、推定において正規分布の幅が狭くなるように、画角に基づいて、正規分布の形状を重み係数によって変化させるのが望ましい。そして、重み係数は、光学系の特性によって定まる。
【００６８】
一方で、図２等のように、距離をベースに計算するような場合は、重み係数をすべて「１」としてもよい。
【００６９】
また、図１のように、撮像画像に基づいて計算する場合には、例えば、下記（８）式で再投影誤差を計算する。そして、測距装置は、下記（９）式によって、３次元モデルを生成できる。
【００７０】
【数８】
2020144051.tif 000010
【００７１】
【数９】
2020144051.tif 000011
また、図２等のように、撮像画像がステレオ法に適用できないような構成等では、撮像画像の間で再投影誤差の計算をせず、上記（６）式を計算するようにしてもよい。一方で、複数の視点で撮像画像を生成し、上記（８）式及び上記（９）式で計算するようにしてもよい。
【００７２】
＜全天球カメラの構成における計測データの例＞
図１２は、全天球カメラの構成における計測データの例を示す図である。例えば、図１に示すような構成では、まず、図１２（Ａ）に示すような撮像画像が撮像される。そして、図１に示すような構成であると、図１２（Ａ）を撮像した視点とは異なる視点で同様の撮像画像が撮像できる。このような複数の撮像画像に対して、ステレオ法による三角測量視差計算等を行うと、距離情報を含む計測データが生成できる。
【００７３】
そして、測距装置は、例えば、図１２（Ｂ）に示すように、距離情報を選別して信頼できる計測点を抽出する。例えば、信頼できる計測点は、撮像画像をベースに計測データを生成する場合には、画像において、図１２（Ｂ）に示すように、エッジとなる点等である。このようなエッジとなる点を計測点にして、計測データを生成すると、信頼できるデータを集めることができる。
【００７４】
＜カメラにおける計測データの例＞
図１３は、カメラの構成における計測データの例を示す図である。例えば、図２に示すような構成では、撮像素子で撮像画像が撮像され（以下図１２（Ａ）と同様の撮像画像が撮像される例とする。）、図示するように、ＴＯＦセンサが計測した結果等である計測点ＭＰが撮像画像においてマッピングされる。
【００７５】
上記のような計測データ及び撮像画像がステップＳ１及びステップＳ２で準備され、ステップＳ３以降の処理が行われる。
【００７６】
＜機能構成例＞
図１４は、測距装置の機能構成例を示す機能ブロック図である。例えば、測距装置１は、図示するように、画像取得部１Ｆ１、計測部１Ｆ２、第１推定部１Ｆ３、第２推定部１Ｆ４及び生成部１Ｆ５を備える機能構成である。
【００７７】
画像取得部１Ｆ１は、撮像画像ＩＭＧを取得する画像取得手順を行う。例えば、画像取得部１Ｆ１は、撮像体２１Ａ等によって実現する。
【００７８】
計測部１Ｆ２は、撮像画像ＩＭＧより低い空間分解能で、かつ、被写体までの距離等の３次元データを計測して計測データＭＤを生成する計測手順を行う。例えば、計測部１Ｆ２は、撮像体２１Ａ及び２１Ｂの組み合わせ等によって実現する。
【００７９】
第１推定部１Ｆ３は、計測データＭＤが示す計測点に基づいて、計測点から所定の範囲内となる第１範囲で推定して第１推定結果Ｒ１を計算する第１推定手順を行う。例えば、第１推定部１Ｆ３は、制御装置及び演算装置等によって実現する。
【００８０】
第２推定部１Ｆ４は、被写体が直交座標系のいずれかと平行であると仮定して、第１範囲より広い範囲である第２範囲で推定して第２推定結果Ｒ２を計算する第２推定手順を行う。例えば、第２推定部１Ｆ４は、制御装置及び演算装置等によって実現する。
【００８１】
生成部１Ｆ５は、第１推定部１Ｆ３による第１推定結果Ｒ１及び第２推定部１Ｆ４による第２推定結果Ｒ２に基づいて３次元モデルを生成する生成手順を行う。例えば、生成部１Ｆ５は、制御装置及び演算装置等によって実現する。
【００８２】
大規模な物体又は大規模な空間の３次元復元モデルを作成するには、例えば、回転機構を有する大型のレーザを用いるデバイスを用いる方法等がある。このようなデバイスでは、以下のような問題がある。
【００８３】
・十分な距離範囲を確保、すなわち、３６０  °かつ３次元データを取得するため、デバイスが大型である。
【００８４】
・３６０  °かつ３次元データを取得する時間が長い。
【００８５】
・３６０  °かつ３次元データを点群にする処理（又は、メッシュモデル化する処理である。）を行う時間が長い。
【００８６】
一方で、本実施形態のような構成であると、測距装置１は、まず、ドロネー推定等の第１推定により、信頼できる範囲等で第１推定結果Ｒ１を生成する。一方で、測距装置１は、マンハッタンワールド仮説に基づいて第２推定結果Ｒ２を生成する。このように、複数の推定結果を融合させて３次元モデルを生成すると、大規模な物体又は大規模な空間の３次元復元モデルが対象であっても、高速で処理を行うことができるため、データを取得する時間を短くすることができる。
【００８７】
また、本実施形態のような構成であると、測距装置１は、例えば、図１又は図２のような小型な装置であっても実現できる。すなわち、本実施形態によれば、多数のカメラを配置して１箇所で複数の画像を撮像する方法等よりカメラの台数が少なくでき、装置を小型化することができる。また、それぞれの画像を処理するデータ量及び処理の負荷を少なくもできる。
【００８８】
全天球画像を用いるステレオ法だけの方法では、ミスマッチが多く密度の高い３次元モデルを生成しにくい場合が多い。これに対して、本実施形態のような構成であると、測距装置１は、信頼できる計測点から近傍等となる第１範囲は、ドロネー推定等とし、それ以外の大域となる第２範囲は、マンハッタンワールド仮説に基づいて推定等とする。このようにすると、高速で、広い範囲に対しても高密度な３次元モデルを手軽に生成することができる。
【００８９】
＜比較例＞
図１５は、比較例を示す図である。例えば、比較例となる撮像装置１Ｃは、略直方体の形状である筐体１０ａにおける第１の面に、複数（この例では、５  個である。）の撮像レンズ２０ａ１、２０ａ２、２０ａ３、２０ａ４及び２０ａ５と、シャッタボタン３０とを有するハードウェア構成である。
【００９０】
また、筐体１０ａ内には、それぞれの撮像レンズ２０ａ１、２０ａ２、２０ａ３、２０ａ４及び２０ａ５に対応して撮像素子が設置される。図示するように、撮像レンズ２０ａ１、２０ａ２、２０ａ３、２０ａ４及び２０ａ５は、Ｚ軸方向に距離ｄずつ視点が異なり、且つ、同一のタイミングで、撮像された各５枚の撮像画像を取得できる。
【００９１】
このような構成であると、撮像レンズ等が多く、装置が大型化しやすい。
【００９２】
＜その他の実施形態＞
なお、本発明に係る各処理の全部又は一部は、低水準言語又は高水準言語で記述され、コンピュータに測距方法を実行させるためのプログラムによって実現されてもよい。すなわち、プログラムは、測距装置又は測距システム等のコンピュータに各処理を実行させるためのコンピュータプログラムである。
【００９３】
したがって、プログラムに基づいて測距方法が実行されると、コンピュータが有する演算装置及び制御装置は、各処理を実行するため、プログラムに基づいて演算及び制御を行う。また、コンピュータが有する記憶装置は、各処理を実行するため、プログラムに基づいて、処理に用いられるデータを記憶する。
【００９４】
また、プログラムは、コンピュータが読み取り可能な記録媒体に記録されて頒布することができる。なお、記録媒体は、磁気テープ、フラッシュメモリ、光ディスク、光磁気ディスク又は磁気ディスク等のメディアである。さらに、プログラムは、電気通信回線を通じて頒布することができる。
【００９５】
なお、本発明に係る実施形態は、画像形成システムによって実現されてもよい。また、画像形成システムは、各処理を冗長、分散、並列、仮想化又はこれらを組み合わせて実行してもよい。
【００９６】
以上、実施形態における一例について説明したが、本発明は、上記実施形態に限定されない。すなわち、本発明の範囲内で種々の変形及び改良が可能である。
【符号の説明】
【００９７】
１  測距装置
１Ａ  全天球カメラ
１Ｂ  カメラ
１Ｃ  撮像装置
１Ｆ１  画像取得部
１Ｆ２  計測部
１Ｆ３  第１推定部
１Ｆ４  第２推定部
１Ｆ５  生成部
１０ａ  筐体
２０ａ  撮像レンズ
２０ａ１  撮像レンズ
２０ａ２  撮像レンズ
２０ａ３  撮像レンズ
２０ａ４  撮像レンズ
２０ａ５  撮像レンズ
２０ｂ  撮像レンズ
２１Ａ  撮像体
２１Ｂ  撮像体
３０  シャッタボタン
２００ａ  撮像素子
２００ｂ  撮像素子
２０１ａ  結像光学系
２０１ｂ  結像光学系
２０２ａ  プリズム
２０２ｂ  プリズム
ＢＵ  電源
ＣＲ  処理基板
ＣＲ１  制御部
ＣＲ２  ＴＯＦ演算部
ＣＲ３  出力部
ＤＥ１  ドロネー推定面
ＤＥ２  ドロネー推定面
ＤＥＢ  ドロネー推定面
ＤＥＭ  ドロネー推定面
ＦＲ  床面
ＩＭＧ  撮像画像
ＩＭＧ１  撮像画像
ＩＭＧ２  撮像画像
Ｌ１  光源
Ｌ２  光源
ＬＤ  光源駆動部
ＭＤ  計測データ
ＭＰ  計測点
Ｒ１  第１推定結果
Ｒ２  第２推定結果
ＳＥＮ１  撮像素子
ＳＥＮ２  撮像素子
ＴＧ  被写体
【先行技術文献】
【特許文献】
【００９８】
【特許文献１】特許第５０１１５２８号公報
【特許文献２】特開２０１３−２１８２７８号公報
【図１】
2020144051.tif 000012
【図２】
2020144051.tif 000013
【図３】
2020144051.tif 000014
【図４】
2020144051.tif 000015
【図５】
2020144051.tif 000016
【図６】
2020144051.tif 000017
【図７】
2020144051.tif 000018
【図８】
2020144051.tif 000019
【図９】
2020144051.tif 000020
【図１０】
2020144051.tif 000021
【図１１】
2020144051.tif 000022
【図１２】
2020144051.tif 000023
【図１３】
2020144051.tif 000024
【図１４】
2020144051.tif 000025
【図１５】
2020144051.tif 000026