(57)【要約】【課題】構造物の三次元モデルの表示姿勢の特定に要する計算量を削減すること。【解決手段】表示制御装置は、構造物の画像を含む撮影画像から抽出された複数のエッジ線より所定数のエッジ線を選択する。表示制御装置は、構造物の三次元モデルに含まれる複数の稜線より所定数の稜線を選択する。表示制御装置は、撮影画像のうち、構造物の画像に応じた画像領域での、所定数のエッジ線の分布状況と、三次元モデルの第１の投影像に応じた投影像領域での所定数の稜線の分布状況との対応関係が基準を満たすか否かを判定する。表示制御装置は、対応関係が基準を満たす場合、所定数のエッジ線の位置関係が、所定数の稜線の位置関係に対応する三次元モデルの第２の投影像を生成する。表示制御装置は、生成した第２の投影像を撮影画像に重畳して表示部に表示する。【選択図】図１
2020119395.tif 000002
【特許請求の範囲】
【請求項１】
構造物の画像を含む撮影画像から抽出された複数のエッジ線より所定数のエッジ線を選択し、
前記構造物の三次元モデルに含まれる複数の稜線より所定数の稜線を選択し、
前記撮影画像のうち、前記構造物の画像に応じた画像領域での、前記所定数のエッジ線の分布状況と、前記三次元モデルの第１の投影像に応じた投影像領域での前記所定数の稜線の分布状況との対応関係が基準を満たすか否かを判定し、
前記対応関係が前記基準を満たす場合、前記所定数のエッジ線の位置関係が、前記所定数の稜線の位置関係に対応する前記三次元モデルの第２の投影像を生成し、
生成した前記第２の投影像を前記撮影画像に重畳して表示部に表示する、
処理をコンピュータが実行することを特徴とする表示制御方法。
【請求項２】
前記判定する処理は、選択した前記所定数の線分の配置関係が基準を満たすか否かをさらに判定し、前記配置関係が前記基準を満たす場合、前記対応関係が前記基準を満たすか否かを判定する、
ことを特徴とする請求項１に記載の表示制御方法。
【請求項３】
前記判定する処理は、選択した前記所定数の線分のうち、互いに平行な線分の数があらかじめ設定された閾値未満配である場合、配置関係が基準を満たすと判定することを特徴とする請求項２に記載の表示制御方法。
【請求項４】
前記エッジ線を選択する処理は、構造物の画像を含む撮影画像に含まれるエッジ線から、互いのなす角及び距離の両方が閾値より大きくなるように、かつ長い順に抽出された複数のエッジ線より前記所定数のエッジ線を選択し、
前記稜線を選択する処理は、前記構造物の三次元モデルに含まれる複数の稜線から、互いのなす角及び距離の両方が閾値より大きくなるように、かつ長い順に抽出された複数の稜線より前記所定数の稜線を選択する、
ことを特徴とする請求項１から３のいずれか１項に記載の表示制御方法。
【請求項５】
構造物の画像を含む撮影画像から抽出された複数のエッジ線より所定数のエッジ線を選択し、前記構造物の三次元モデルに含まれる複数の稜線より所定数の稜線を選択する選択部と、
前記撮影画像のうち、前記構造物の画像に応じた画像領域での、前記所定数のエッジ線の分布状況と、前記三次元モデルの第１の投影像に応じた投影像領域での前記所定数の稜線の分布状況との対応関係が基準を満たすか否かを判定する判定部と、
前記対応関係が前記基準を満たす場合、前記所定数のエッジ線の位置関係が、前記所定数の稜線の位置関係に対応する前記三次元モデルの第２の投影像を生成する生成部と、
生成した前記第２の投影像を前記撮影画像に重畳して表示部に表示する表示制御部と、
を有することを特徴とする表示制御装置。
【請求項６】
構造物の画像を含む撮影画像から抽出された複数のエッジ線より所定数のエッジ線を選択し、
前記構造物の三次元モデルに含まれる複数の稜線より所定数の稜線を選択し、
前記撮影画像のうち、前記構造物の画像に応じた画像領域での、前記所定数のエッジ線の分布状況と、前記三次元モデルの第１の投影像に応じた投影像領域での前記所定数の稜線の分布状況との対応関係が基準を満たすか否かを判定し、
前記対応関係が前記基準を満たす場合、前記所定数のエッジ線の位置関係が、前記所定数の稜線の位置関係に対応する前記三次元モデルの第２の投影像を生成し、
生成した前記第２の投影像を前記撮影画像に重畳して表示部に表示する、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御方法、表示制御装置及び表示制御プログラムに関する。
【背景技術】
【０００２】
従来、構造物の撮影画像に、当該構造物の三次元モデルの投影像を重ね合わせて表示させる技術が知られている。例えば、従来の技術では、撮影画像から抽出したエッジ線に基づき、三次元モデルの表示姿勢を特定する処理が行われる。また、このような技術は、例えば、製造された構造物が、あらかじめ作成された３ＤＣＡＤ（computer  aided  design）データと異なっていないかを検査するために用いられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−１４２１０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の技術では、構造物の三次元モデルの表示姿勢の特定に膨大な計算量が必要になる場合があるという問題がある。従来の技術では、撮影画像のエッジ線と三次元モデルの投影像における稜線の組み合わせを選択し、各特徴線間の誤差がなるべく小さくなるように三次元モデルの表示姿勢が特定される。その際、従来の技術では、膨大な数の組み合わせについて誤差等の計算が行われるため、実用的な時間で計算が終わらない程度にまで計算量が増大する場合がある。
【０００５】
１つの側面では、構造物の三次元モデルの表示姿勢の特定に要する計算量を削減することを目的とする。
【課題を解決するための手段】
【０００６】
１つの態様において、表示制御方法は、構造物の画像を含む撮影画像から抽出された複数のエッジ線より所定数のエッジ線を選択する処理をコンピュータが実行する。表示制御方法は、構造物の三次元モデルに含まれる複数の稜線より所定数の稜線を選択する処理をコンピュータが実行する。表示制御方法は、撮影画像のうち、構造物の画像に応じた画像領域での、所定数のエッジ線の分布状況と、三次元モデルの第１の投影像に応じた投影像領域での所定数の稜線の分布状況との対応関係が基準を満たすか否かを判定する処理をコンピュータが実行する。表示制御方法は、対応関係が基準を満たす場合、所定数のエッジ線の位置関係が、所定数の稜線の位置関係に対応する三次元モデルの第２の投影像を生成する処理をコンピュータが実行する。表示制御方法は、生成した第２の投影像を撮影画像に重畳して表示部に表示する処理をコンピュータが実行する。
【発明の効果】
【０００７】
１つの側面では、構造物の三次元モデルの表示姿勢の特定に要する計算量を削減することができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施例に係る表示制御装置の機能構成の一例を示す図である。
【図２】図２は、撮影画像の一例を示す図である。
【図３】図３は、三次元モデルの投影像の一例を示す図である。
【図４】図４は、抽出される特徴線の一例を示す図である。
【図５】図５は、抽出されない特徴線の一例を示す図である。
【図６】図６は、特徴線のなす角について説明するための図である。
【図７】図７は、配置関係が基準を満たす場合の特徴線の一例を示す図である。
【図８】図８は、配置関係が基準を満たさない場合の特徴線の一例を示す図である。
【図９】図９は、対応関係が基準を満たす場合の特徴線の一例を示す図である。
【図１０】図１０は、対応関係が基準を満たさない場合の特徴線の一例を示す図である。
【図１１】図１１は、表示制御処理の流れを示すフローチャートである。
【図１２】図１２は、特徴線の抽出処理の流れを示すフローチャートである。
【図１３】図１３は、特徴線の分布状況の判定処理の流れを示すフローチャートである。
【図１４】図１４は、ハードウェア構成例を説明する図である。
【発明を実施するための形態】
【０００９】
以下に、本発明に係る表示制御方法、表示制御装置及び表示制御プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例により本発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
【実施例１】
【００１０】
一例として、実施例の表示制御方法、表示制御装置及び表示制御プログラムは、製造された構造物と当該構造物の三次元モデルとが異なっていないかを確認するために用いられる。例えば、表示制御装置は、撮影された構造物の姿勢を三次元モデルの姿勢に合わせた上で投影像を生成し、撮影画像に投影像を重畳表示させることができる。
【００１１】
撮影画像中の構造物の姿勢に三次元モデルの姿勢を合わせる姿勢推定の処理は、特に処理負荷が大きい処理である。また、姿勢推定の処理においては、構造物の画像から取得したエッジ線と三次元モデルの投影像の稜線との組み合わせごとに誤差の計算が行われる。そこで、実施例では、計算量を削減するために、実際に誤差の計算を行う前に、エッジ線と稜線の組み合わせの絞り込みが行われる。
【００１２】
［機能構成］
図１を用いて、実施例に係る表示制御装置の機能構成について説明する。図１は、実施例に係る表示制御装置の機能構成の一例を示す図である。例えば、表示制御装置１０は、スマートフォン、タブレット型端末、パーソナルコンピュータ等である。図１に示すように、表示制御装置１０は、表示部１１、撮影部１２、記憶部１３及び制御部１４を有する。
【００１３】
表示部１１は、制御部１４による制御に応じて画像を表示する。例えば、表示部１１は、タッチパネルディスプレイ等である。また、撮影部１２は、画像を撮影する。例えば、撮影部１２はカメラである。
【００１４】
記憶部１３は、データや制御部１４が実行するプログラム等を記憶する記憶装置の一例であり、例えばハードディスクやメモリ等である。記憶部１３は、３Ｄモデル情報１３１を記憶する。
【００１５】
３Ｄモデル情報１３１は、３ＤＣＡＤ等により作成されたデータであって、構造物の三次元モデルを構築するためのデータである。３Ｄモデル情報１３１によれば、指定された構造物の三次元モデルの投影像を生成することができる。制御部１４は、適宜３Ｄモデル情報１３１を参照し三次元モデルに関する処理を行う。
【００１６】
制御部１４は、例えば、ＣＰＵ（Central  Processing  Unit）、ＭＰＵ（Micro  Processing  Unit）、ＧＰＵ（Graphics  Processing  Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１４は、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路により実現されるようにしてもよい。制御部１４は、抽出部１４１、選択部１４２、判定部１４３、生成部１４４及び表示制御部１４５を有する。
【００１７】
抽出部１４１は、撮影部１２によって撮影された構造物の撮影画像からエッジ線を抽出する。抽出部１４１は、既知の手法を用いてエッジ線を抽出することができる。例えば、抽出部１４１は、撮影画像中の画素間の明暗の差を基にエッジ線を抽出してもよい。
【００１８】
また、抽出部１４１は、三次元モデルの稜線を抽出する。具体的には、抽出部１４１は、三次元モデルから生成された投影像の稜線を取得する。ここで、稜線とは、三次元モデルの投影像として可視化されている部分のエッジ線である。
【００１９】
また、ユーザは、ＣＡＤツール等を使って、三次元モデルの姿勢をマニュアルで操作することができる。このため、抽出部１４１は、撮影済み又はこれから撮影を行う構造物に合わせて姿勢が操作された三次元モデルの投影図から稜線を取得するようにしてもよい。なお、抽出部１４１が稜線を取得する投影像は、第１の投影像の一例である。
【００２０】
以降の説明では、抽出部１４１によって撮影画像から抽出されたエッジ線を２Ｄ特徴線と呼ぶ場合がある。また、抽出部１４１によって三次元モデルの投影像から抽出された稜線を３Ｄ特徴線と呼ぶ場合がある。さらに、３Ｄ特徴線及び２Ｄ特徴線を区別せずに単に特徴線と呼ぶ場合がある。また、特徴線はいずれも長さをもつ線分である。
【００２１】
図２は、撮影画像の一例を示す図である。また、特徴線Ｌ２１、Ｌ２２、Ｌ２３、Ｌ２４及びＬ２５は、抽出部１４１によって抽出されるエッジ線、すなわち２Ｄ特徴線の一例である。
【００２２】
また、図３は、三次元モデルの投影像の一例を示す図である。また、特徴線Ｌ１１、Ｌ１２、Ｌ１３及びＬ１４は、抽出部１４１によって抽出される稜線、すなわち３Ｄ特徴線の一例である。
【００２３】
抽出部１４１は、構造物の画像を含む撮影画像に含まれるエッジ線から、互いのなす角及び距離の両方が閾値より大きくなるように、かつ長い順にエッジ線を抽出する。また、抽出部１４１は、構造物の三次元モデルに含まれる複数の稜線から、互いのなす角及び距離の両方が閾値より大きくなるように、かつ長い順に稜線を抽出する。
【００２４】
ここで、特徴線が長いほど姿勢推定の精度は向上する。また、離れた位置になるべく傾きの異なる特徴線が複数存在しているほど、姿勢推定の精度は向上する。このため、抽出部１４１は、上記の方法で特徴線を抽出する。例えば、近い位置に同じような傾きの長い特徴線が存在する第１のケースと、離れた位置に異なる傾きの短い特徴線が存在する第２のケースとを比べると、第２のケースの方が姿勢推定の精度が向上する場合がある。
【００２５】
ここで、図４及び図５を用いて、抽出部１４１による特徴線の抽出について説明する。図４は、抽出される特徴線の一例を示す図である。図５は、抽出されない特徴線の一例を示す図である。まず、抽出部１４１は、未選択の特徴線のうち最も長いものを選択する。そして、選択した特徴線と既に抽出済みの各特徴線とのなす角及び距離を比較する。
【００２６】
抽出部１４１は、抽出済みの特徴線の中に、選択した特徴線とのなす角及び距離が、あらかじめ設定された閾値以下であるものが存在しない場合、選択した特徴線を抽出し、抽出済みの特徴線とする。抽出部１４１は、各特徴線を、例えば２０本ずつ抽出する。
【００２７】
図４の特徴線Ｌ１０１は抽出済みの特徴線である。また、図４の特徴線Ｌ１０２は、選択した特徴線である。また、特徴線Ｌ１０１と特徴線Ｌ１０２とのなす角は閾値以下でないものとする。また、特徴線Ｌ１０１と特徴線Ｌ１０２との距離は閾値以下でないものとする。このため、抽出部１４１は、特徴線Ｌ１０２を抽出する。
【００２８】
図５の特徴線Ｌ１０１は抽出済みの特徴線である。また、図５の特徴線Ｌ１０３は、選択した特徴線である。また、特徴線Ｌ１０１と特徴線Ｌ１０３とのなす角は閾値以下であるものとする。また、特徴線Ｌ１０１と特徴線Ｌ１０３との距離は閾値以下であるものとする。このため、抽出部１４１は、特徴線Ｌ１０３を抽出しない。
【００２９】
選択部１４２は、構造物の画像を含む撮影画像から抽出された複数のエッジ線より所定数のエッジ線を選択する。また、選択部１４２は、構造物の三次元モデルに含まれる複数の稜線より所定数の稜線を選択する。選択部１４２は、エッジ線及び稜線を、例えば４本ずつ選択する。
【００３０】
選択部１４２は、構造物の画像を含む撮影画像に含まれるエッジ線から、互いのなす角及び距離の両方が閾値より大きくなるように、かつ長い順に抽出された複数のエッジ線より所定数のエッジ線を選択する。また、選択部１４２は、構造物の三次元モデルに含まれる複数の稜線から、互いのなす角及び距離の両方が閾値より大きくなるように、かつ長い順に抽出された複数の稜線より所定数の稜線を選択する。
【００３１】
選択部１４２は、まず３Ｄ特徴線を所定数だけ選択し、なす角の制約に基づいて２Ｄ特徴線を選択する。図６は、特徴線のなす角について説明するための図である。特徴線Ｌ１１、Ｌ１２、Ｌ１３及びＬ１４はいずれも３Ｄ特徴線である。また、特徴線Ｌ１１と特徴線Ｌ１２とのなす角をθ１とする。また、特徴線Ｌ１１と特徴線Ｌ１３とのなす角をθ２とする。また、特徴線Ｌ１３と特徴線Ｌ１４とのなす角をθ３とする。なお、図６は、各特徴線は、同一の符号が付された図３の特徴線と対応している。
【００３２】
ここで、例えば、なす角の制約として、「各なす角の差の絶対値が３０°以下なら選択しない」と定められているとする。また、選択された３Ｄ特徴線のなす角（θ１，θ２，θ３）は、（８５°，７５°，６５°）であるとする。このとき、４本の２Ｄ特徴線の候補のなす角（θ１´，θ２´，θ３´）が（８３°，７６°，６７°）である場合、なす角の制約にしたがい、選択部１４２は、当該４本の２Ｄ特徴線を選択する。一方、４本の２Ｄ特徴線の候補のなす角（θ１´，θ２´，θ３´）が（２１°，１８°，６７°）である場合、なす角の制約にしたがい、選択部１４２は、当該４本の２Ｄ特徴線を選択しない。
【００３３】
判定部１４３は、選択した所定数の特徴線の配置関係が基準を満たすか否かを判定し、配置関係が基準を満たす場合、対応関係が基準を満たすか否かを判定する。判定部１４３は、互いに平行な特徴線の数により配置関係が基準を満たすか否かを判定することができる。また、判定部１４３は、特徴線の分布状況の同一性により対応関係が基準を満たすか否かを判定することができる。
【００３４】
まず、判定部１４３が配置関係の基準を満たすか否かを判定する処理について説明する。判定部１４３は、選択部１４２が選択した所定数の特徴線のうち、互いに平行な特徴線の数があらかじめ設定された閾値未満配である場合、配置関係が基準を満たすと判定する。例えば、判定部１４３は、互いに平行な特徴線の数が、例えば４本中３本未満であれば基準を満たすと判定する。ここで、互いに平行な特徴線は、姿勢推定の精度向上に寄与しないだけでなく、誤った姿勢での誤差を小さくしてしまう場合がある。
【００３５】
図７は、配置関係が基準を満たす場合の特徴線の一例を示す図である。図７の例では、特徴線Ｌ１１１、Ｌ１１２、Ｌ１１３及びＬ１１４の４本のうち、特徴線Ｌ１１２及びＬ１１３の２本が平行であるため、判定部１４３は配置関係が基準を満たすと判定する。
【００３６】
図８は、配置関係が基準を満たさない場合の特徴線の一例を示す図である。図８の例では、特徴線Ｌ１１１、Ｌ１１２、Ｌ１１５及びＬ１１６の４本のうち、特徴線Ｌ１１２、Ｌ１１５及びＬ１１６の３本が平行であるため、判定部１４３は配置関係が基準を満たさないと判定する。
【００３７】
次に、判定部１４３が対応関係の基準を満たすか否かを判定する処理について説明する。判定部１４３は、撮影画像のうち、構造物の画像に応じた画像領域での、所定数のエッジ線の分布状況と、三次元モデルの第１の投影像に応じた投影像領域での所定数の稜線の分布状況との対応関係が基準を満たすか否かを判定する。これは、各特徴線の分布状況が大きく異なると、姿勢推定の精度は向上しないためである。
【００３８】
画像領域及び投影像領域がいずれも矩形である場合、まず、判定部１４３は、当該矩形の平行な各辺の中点を結ぶ直線で、当該矩形を４つに分割する。そして、画像領域及び投影像領域について、分割された４つの分割領域ごとに特徴線の中点が存在するか否かを判定し、中点が存在する分割領域の位置関係が一致している場合、対応関係が基準を満たすと判定する。
【００３９】
図９は、対応関係が基準を満たす場合の特徴線の一例を示す図である。図１０は、対応関係が基準を満たさない場合の特徴線の一例を示す図である。ここで、図９及び図１０の左上、右上、左下、右下の分割領域を、それぞれ第１の分割領域、第２の分割領域、第３の分割領域、第４の分割領域と呼ぶ。
【００４０】
図９の例では、３Ｄ特徴線Ｌ１２１、Ｌ１２２、Ｌ１２３、Ｌ１２４の中点は、第２の分割領域及び第４の分割領域に分布している。また、２Ｄ特徴線Ｌ２２１、Ｌ２２２、Ｌ２２３、Ｌ２２４の中点は、第２の分割領域及び第４の分割領域に分布している。この場合、３Ｄ特徴線の中点が存在する分割領域と２Ｄ特徴線の中点が存在する分割領域が一致するため、判定部１４３は、対応関係が基準を満たすと判定する。
【００４１】
図１０の例では、３Ｄ特徴線Ｌ１２１、Ｌ１２２、Ｌ１２３、Ｌ１２４の中点は、第２の分割領域及び第４の分割領域に分布している。一方、２Ｄ特徴線Ｌ２２１、Ｌ２２２、Ｌ２２４、Ｌ２２５の中点は、第１の分割領域及び第２の分割領域に分布している。この場合、３Ｄ特徴線の中点が存在する分割領域と２Ｄ特徴線の中点が存在する分割領域が一致しないため、判定部１４３は、対応関係が基準を満たさないと判定する。
【００４２】
生成部１４４は、対応関係が基準を満たす場合、所定数のエッジ線の位置関係が、所定数の稜線の位置関係に対応する三次元モデルの第２の投影像を生成する。なお、判定部１４３が配置関係の基準についての判定を行う場合、生成部１４４は、配置関係が基準を満たし、かつ対応関係が基準を満たす場合に第２の投影像を生成する。また、表示制御部１４５は、生成した第２の投影像を撮影画像に重畳して表示部１１に表示する。
【００４３】
［処理の流れ］
図１１、図１２及び図１３を用いて、表示制御装置１０の処理の流れを説明する。図１１は、表示制御処理の流れを示すフローチャートである。また、図１２は、特徴線の抽出処理の流れを示すフローチャートである。また、図１３は、特徴線の分布状況の判定処理の流れを示すフローチャートである。
【００４４】
まず、図１１に示すように、表示制御装置１０は、三次元モデル及び撮影画像からそれぞれ例えば２０本の特徴線を抽出する（ステップＳ１１）。つまり、表示制御装置１０は、例えば２０本の３Ｄ特徴線、及び例えば２０本の２Ｄ特徴線を抽出する。抽出処理については、後に図１２を用いて説明する。
【００４５】
次に、表示制御装置１０は、抽出した３Ｄ特徴線の中から、例えば４本の３Ｄ特徴線を選択する（ステップＳ１２）。ここで、表示制御装置１０は、選択した３Ｄ特徴線のうち、平行線の数が例えば３未満であるか否かを判定する（ステップＳ１３）。
【００４６】
表示制御装置１０は、平行線の数が例えば３以上であると判定した場合（ステップＳ１３、Ｎｏ）、ステップＳ１２に戻り、３Ｄ特徴線をさらに選択する。一方、表示制御装置１０は、平行線の数が例えば３未満であると判定した場合（ステップＳ１３、Ｙｅｓ）、抽出した２Ｄ特徴線の中から例えば４本の２Ｄ特徴線を選択する（ステップＳ１４）。このとき、表示制御装置１０は、なす角の制約にしたがい２Ｄ特徴線を選択する。
【００４７】
ここで、表示制御装置１０は、選択した特徴線の分布状況に関する判定を行う（ステップＳ１５）。つまり、表示制御装置１０は、対応関係が基準を満たすか否かを判定する。分布状況の判定処理については、後に図１３を用いて説明する。
【００４８】
表示制御装置１０は、分布状況が妥当でなかった場合（ステップＳ１６、Ｎｏ）、ステップＳ１４に戻り、２Ｄ特徴線をさらに選択する。一方、表示制御装置１０は、分布状況が妥当であった場合（ステップＳ１６、Ｙｅｓ）、姿勢推定を行う（ステップＳ１７）。
【００４９】
そして、表示制御装置１０は、三次元モデルの投影像を生成し（ステップＳ１８）、生成した投影像を撮影画像に重ねて表示する（ステップＳ１９）。ここで、表示制御装置１０は、４本の２Ｄ特徴線の全組み合わせを選択済みであるか否かを判定する（ステップＳ２０）。
【００５０】
表示制御装置１０は、全組み合わせを選択済みでないと判定した場合（ステップＳ２０、Ｎｏ）、ステップＳ１４に戻り、２Ｄ特徴線をさらに選択する。一方、表示制御装置１０は、全組み合わせを選択済みであると判定した場合（ステップＳ２０、Ｙｅｓ）、処理開始後の経過時間が制限時間内であるか否かを判定する（ステップＳ２１）。表示制御装置１０は、制限時間内であると判定した場合（ステップＳ２１、Ｙｅｓ）、ステップＳ１２に戻り、３Ｄ特徴線をさらに選択する。一方、表示制御装置１０は、制限時間内でないと判定した場合（ステップＳ２１、Ｎｏ）、処理を終了する。
【００５１】
図１２を用いて抽出処理について説明する。図１２に示すように、まず、表示制御装置１０は、未選択の特徴線のうち最も長いものを選択する（ステップＳ１１１）。次に、表示制御装置１０は、抽出した特徴線の中に、選択した特徴線とのなす角が閾値以下かつ距離が閾値以下のものが存在するか否かを判定する（ステップＳ１１２）。表示制御装置１０は、存在すると判定した場合（ステップＳ１１３、Ｙｅｓ）、ステップＳ１１１に戻り、特徴線をさらに選択する。一方、表示制御装置１０は、存在しないと判定した場合（ステップＳ１１３、Ｎｏ）、選択した特徴線を抽出する（ステップＳ１１４）。
【００５２】
表示制御装置１０は、抽出した特徴線が例えば２０本未満であるか否かを判定する（ステップＳ１１５）。表示制御装置１０は、抽出した特徴線が例えば２０本未満である場合、ステップＳ１１１に戻り、特徴線をさらに選択する。一方、表示制御装置１０は、抽出した特徴線が例えば２０本未満でない場合、抽出処理を終了する。
【００５３】
図１３を用いて分布状況の判定処理について説明する。図１３に示すように、まず、表示制御装置１０は、三次元モデルの投影像を例えば４つの領域に分割する（ステップＳ１５１）。そして、表示制御装置１０は、選択した３Ｄ特徴線の中点が含まれる領域を特定する（ステップＳ１５２）。
【００５４】
また、表示制御装置１０は、撮影画像を例えば４つの領域に分割する（ステップＳ１５３）。そして、表示制御装置１０は、選択した２Ｄ特徴線の中点が含まれる領域を特定する（ステップＳ１５４）。
【００５５】
ここで、表示制御装置１０は、特定した領域の位置関係が一致しているか否かを判定する（ステップＳ１５５）。表示制御装置１０は、特定した領域の位置関係が一致している場合（ステップＳ１５５、Ｙｅｓ）、分布状況が妥当であると判定する（ステップＳ１５６）。一方、表示制御装置１０は、特定した領域の位置関係が一致していない場合（ステップＳ１５５、Ｎｏ）、分布状況が妥当でないと判定する（ステップＳ１５７）。
【００５６】
［効果］
上述したように、表示制御装置１０は、構造物の画像を含む撮影画像から抽出された複数のエッジ線より所定数のエッジ線を選択する。表示制御装置１０は、構造物の三次元モデルに含まれる複数の稜線より所定数の稜線を選択する。表示制御装置１０は、撮影画像のうち、構造物の画像に応じた画像領域での、所定数のエッジ線の分布状況と、三次元モデルの第１の投影像に応じた投影像領域での所定数の稜線の分布状況との対応関係が基準を満たすか否かを判定する。表示制御装置１０は、対応関係が基準を満たす場合、所定数のエッジ線の位置関係が、所定数の稜線の位置関係に対応する三次元モデルの第２の投影像を生成する。表示制御装置１０は、生成した第２の投影像を撮影画像に重畳して表示部１１に表示する。このように、表示制御装置１０は、各基準が満たされているかの判定を行った上で、基準が満たされている場合に実際に三次元モデルから投影像を生成する。このため、実施例によれば、構造物の三次元モデルの表示姿勢の特定に要する計算量を削減することができる。
【００５７】
表示制御装置１０は、選択した所定数の線分の配置関係が基準を満たすか否かをさらに判定し、配置関係が基準を満たす場合、対応関係が基準を満たすか否かを判定する。このように、表示制御装置１０は、１つ目の基準が満たされた場合に次の基準に関する判定を行う。このため、実施例によれば、無駄な計算を省略し計算量を削減することができる。
【００５８】
表示制御装置１０は、選択部１４２が選択した所定数の線分のうち、互いに平行な線分の数があらかじめ設定された閾値未満配である場合、配置関係が基準を満たすと判定する。このように、表示制御装置１０は、高精度な姿勢推定を行えないことがあらかじめ予想される場合、基準を満たさないと判定する。このため、実施例によれば、無駄な計算を省略し計算量を削減することができる。
【００５９】
表示制御装置１０は、構造物の画像を含む撮影画像に含まれるエッジ線から、互いのなす角及び距離の両方が閾値より大きくなるように、かつ長い順に抽出された複数のエッジ線より所定数のエッジ線を選択する。表示制御装置１０は、構造物の三次元モデルに含まれる複数の稜線から、互いのなす角及び距離の両方が閾値より大きくなるように、かつ長い順に抽出された複数の稜線より所定数の稜線を選択する。このように、表示制御装置１０は、高精度な姿勢推定に寄与する長い特徴線を選択と姿勢推定の精度向上に寄与しない特徴線を除外する。このため、実施例によれば、姿勢推定の精度を維持しつつ計算量を削減することができる。
【００６０】
［実験結果］
ここで、判定部１４３による分布状況の判定処理を行った場合（実施例の計算処理）と、当該判定処理を行わなかった場合（従来の計算処理）の姿勢推定処理の速度を比較するための第１の実験を行ったので、第１の実験の結果について説明する。第１の実験では、１５本の２Ｄ特徴線と２０本の３Ｄ特徴線を抽出し、制限時間が１８０秒であるものとする。
【００６１】
また、第１の実験では、表示制御装置１０は、配置関係の基準の判定処理、すなわち平行性に関する判定処理は行わないものとする。つまり、第１の実験では、表示制御装置１０は、図１１のステップＳ１２からステップＳ２１までのステップからステップＳ１３を除いたループを、１８０秒の間繰り返し実行する。
【００６２】
実施例の計算処理では、図１１のステップＳ１５及びＳ１６が実行される。一方、従来の計算処理では、図１１のステップＳ１５及びＳ１６は実行されない。また、ループ回数は、ステップＳ１２の実行回数であるものとする。その結果、従来の計算処理では、ループ回数が４０回程度であったのに対し、実施例の計算処理ではループ回数が６０回から２５０回程度であった。言い換えると、従来の計算処理では、三次元モデルの姿勢について、制限時間内に４０通り程度しか評価ができなかったのに対し、実施例の計算処理では、制限時間内に６０通りから２５０通り程度評価できたことになる。
【００６３】
さらに、判定部１４３による配置関係の判定処理を行った場合（平行性判定ありの計算処理）と、当該判定処理を行わなかった場合（平行性判定なしの計算処理）の姿勢推定処理の速度を比較するための第２の実験を行ったので、第２の実験の結果について説明する。第２の実験では、第１の実験と同様に、１５本の２Ｄ特徴線と２０本の３Ｄ特徴線を抽出し、制限時間が１８０秒であるものとする。第２の実験では、表示制御装置１０は、図１１のステップＳ１２からステップＳ２１までのステップからステップＳ１３を除いたループを、１８０秒の間繰り返し実行する。
【００６４】
平行性判定あり計算処理では、図１１のステップＳ１３が実行される。一方、平行性判定なしの計算処理では、図１１のステップＳ１３は実行されない。また、ループ回数は、ステップＳ１２の実行回数であるものとする。その結果、平行性判定なしの計算処理では、ループ回数が１０００回から１１００回程度であったのに対し、平行性判定ありの計算処理ではループ回数が概ね１２００回以上であった。このため、配置関係の判定処理によって、計算速度が１．１倍程度に向上しているといえる。
【００６５】
なお、上記の実施例では、判定部１４３は、投影像及び撮影画像を４つの領域に分割して分布状況の判定処理を行うものとしたが、判定部１４３は、他の方法で分布状況の判定処理を行ってもよい。例えば、判定部１４３は、各特徴線の中点間の距離の合計が、閾値以下である場合に分布状況の対応関係が基準を満たしていると判定してもよい。
【００６６】
また、抽出部１４１による特徴線の抽出方法は、上記のものに限られない。例えば、抽出部１４１は、ランダムに特徴線を抽出してもよいし、あらかじめ手動で指定された特徴線を抽出するようにしてもよい。
【００６７】
［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。また、実施例で説明した具体例、分布、数値等は、あくまで一例であり、任意に変更することができる。
【００６８】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００６９】
［ハードウェア］
図１４は、ハードウェア構成例を説明する図である。図１４に示すように、表示制御装置１０は、通信インタフェース１０ａ、ＨＤＤ（Hard  Disk  Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１４に示した各部は、バス等で相互に接続される。
【００７０】
通信インタフェース１０ａは、ネットワークインタフェースカード等であり、他のサーバとの通信を行う。ＨＤＤ１０ｂは、図１に示した機能を動作させるプログラムやＤＢを記憶する。
【００７１】
プロセッサ１０ｄは、図１に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図１等で説明した各機能を実行するプロセスを動作させる。すなわち、このプロセスは、表示制御装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、抽出部１４１、選択部１４２、判定部１４３、生成部１４４及び表示制御部１４５と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、抽出部１４１、選択部１４２、判定部１４３、生成部１４４及び表示制御部１４５等と同様の処理を実行するプロセスを実行する。プロセッサ１０ｄは、例えば、ＣＰＵ、ＭＰＵ、ＡＳＩＣ等のハードウェア回路である。
【００７２】
このように表示制御装置１０は、プログラムを読み出して実行することで分類方法を実行する情報処理装置として動作する。また、表示制御装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、表示制御装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータ又はサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。
【００７３】
このプログラムは、インターネット等のネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ（Magneto−Optical  disk）、ＤＶＤ（Digital  Versatile  Disc）等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。
【符号の説明】
【００７４】
１０  表示制御装置
１１  表示部
１２  撮影部
１３  記憶部
１４  制御部
１４１  抽出部
１４２  選択部
１４３  判定部
１４４  生成部
１４５  表示制御部
【図１】
2020119395.tif 000003
【図２】
2020119395.tif 000004
【図３】
2020119395.tif 000005
【図４】
2020119395.tif 000006
【図５】
2020119395.tif 000007
【図６】
2020119395.tif 000008
【図７】
2020119395.tif 000009
【図８】
2020119395.tif 000010
【図９】
2020119395.tif 000011
【図１０】
2020119395.tif 000012
【図１１】
2020119395.tif 000013
【図１２】
2020119395.tif 000014
【図１３】
2020119395.tif 000015
【図１４】
2020119395.tif 000016