(57)【要約】【課題】一般的に、撮像装置（カメラ）の傾き角、即ちロール角（左右方向の傾き）及びピッチ角（上下方向の傾き）を取得することは比較的容易であるが、方位角（ヨー角）の取得は撮像装置が移動している場合には基準となるものがないため比較的困難であった。【解決手段】カメラ１の傾き角（ロール角とピッチ角）を傾きセンサ２で取得し、取得した傾き角からカメラ１の画像面上に仮想的な水平な直線として地平線を設定し、カメラ１で撮像した画像の画像面Ｓ上に、現実の水平な線分Ｌを表す情報に基づいて現実の水平な直線Ｌ１　を設定し、地平線と現実の水平な直線Ｌ１　との画像面Ｓ上での関係を表す数式に基づいて、現実の水平な線分Ｌの方向との偏差をカメラ１の方位角（ヨー角）として求める。【選択図】　　　　図５
2004108836.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置の傾き角に基づいて前記撮像装置の方位角を計算する方法において、
前記傾き角に基づいて前記撮像装置の画像面上に仮想的な水平な直線を設定し、
前記撮像装置で撮像した画像に含まれる現実の水平な線分を表す情報に基づいて前記画像面上に現実の水平な直線を設定し、
前記画像面上にそれぞれ設定された前記仮想的な水平な直線と前記現実の水平な直線との前記画像面上での関係を表す数式に基づいて前記撮像装置の方位角を求めること
を特徴とする撮像装置の方位角計算方法。
【請求項２】
撮像装置の傾き角に基づいて前記撮像装置の方位角を求める撮像装置の方位角計算装置において、
撮像装置の傾き角に基づいて前記撮像装置の画像面上に仮想的な水平な直線を設定する手段と、
前記撮像装置で撮像した画像に含まれる現実の水平な線分を表す情報に基づいて前記画像面上に現実の水平な直線を設定する手段と、
前記画像面上にそれぞれ設定された前記仮想的な水平な直線と前記現実の水平な直線との前記画像面上での関係を表す数式に基づいて前記撮像装置の方位角を求める手段と
を備えたことを特徴とする撮像装置の方位角計算装置。
【請求項３】
撮像装置の傾き角を取得するセンサと、
該センサが取得した傾き角に基づいて前記撮像装置の画像面上に仮想的な水平な直線を設定する手段と、前記撮像装置で撮像した画像に含まれる現実の水平な線分を表す情報に基づいて前記画像面上に現実の水平な直線を設定する手段と、前記画像面上にそれぞれ設定された前記仮想的な水平な直線と前記現実の水平な直線との前記画像面上での関係を表す数式に基づいて前記撮像装置の方位角を求める手段とを有する方位角計算装置と
を備えたことを特徴とする撮像装置の姿勢検出装置。
【請求項４】
撮像装置の傾き角に基づいて前記撮像装置の画像面上に仮想的な水平な直線を設定する手段と、前記撮像装置で撮像した画像に含まれる現実の水平な線分を表す情報に基づいて前記画像面上に現実の水平な直線を設定する手段と、前記画像面上にそれぞれ設定された前記仮想的な水平な直線と前記現実の水平な直線との前記画像面上での関係を表す数式に基づいて前記撮像装置の方位角を求める手段とを備えた撮像装置の姿勢検出装置に、前記撮像装置の傾き角を取得して与えるようにしてあることを特徴とする撮像装置の傾きセンサ。
【請求項５】
撮像装置の傾き角に基づいて前記撮像装置の方位角をコンピュータに計算させるためのコンピュータプログラムであって、
撮像装置が被写体を撮像した場合に被写体が撮像される状態を示すパラメータを取得する手順と、
撮像装置の傾き角と、取得したパラメータとから、前記撮像装置の画像面上に仮想的な水平な直線を設定する手順と、
前記撮像装置が撮像した画像を読み込む手順と、
読み込んだ画像に含まれる現実の水平な線分を表す情報に基づいて前記画像面上に現実の水平な直線を設定する手順と、
前記画像面上にそれぞれ設定された前記仮想的な水平な直線と前記現実の水平な直線との前記画像面上での関係を表す数式に基づいて前記撮像装置の方位角を求める手順と
をコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項６】
対象物を撮像装置で撮像した複数の画像から前記対象物の三次元モデルを構成する三次元モデル構成装置において、
前記撮像装置の傾き角を取得する手段と、
前記撮像装置の傾き角に基づいて前記撮像装置の画像面上に仮想的な水平な直線を設定する手段と、
前記撮像装置で撮像した画像に含まれる現実の水平な線分を表す情報に基づいて前記画像面上に現実の水平な直線を設定する手段と、
前記画像面上にそれぞれ設定された前記仮想的な水平な直線と前記現実の水平な直線との前記画像面上での関係を表す数式に基づいて前記撮像装置の方位角を求める手段と、
前記撮像装置で撮像した複数の画像及びそれぞれの画像の撮像時の撮像装置の傾き角及び方位角から撮像装置の位置を求める手段と、
前記撮像装置で撮像した複数の画像それぞれの撮像時の撮像装置の位置と、撮像された画像の対象物の像の輪郭とから、対象物の三次元モデルを構成する手段と
を備えたことを特徴とする三次元モデル構成装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は撮像装置の方位角計算方法、そのための装置、撮像装置の姿勢検出装置、撮像装置の傾きセンサ、及びコンピュータプログラムに関する。更に本発明は、そのようにして計算された撮像装置の方位角（ヨー角）をセンサで取得した撮像装置の傾き角（ロール角及びピッチ角）と共に使用して、撮像装置により撮像された物体の三次元モデルを構成する三次元モデル構成装置に関する。
【０００２】
【従来の技術】
三次元モデルとは、主に物体の三次元形状データと表面の模様（の画像）等をデータとして構成される。このような三次元モデルが計算機で構成されている物体に関しては、その物体を任意の方向（視点）から見た場合の画像を計算機上で生成して表示することが可能になる。このため、近年では、ＣＡＤデータを元に三次元モデルを構成することにより実物が存在しないにも拘わらずあたかも実物が存在するかのようにして種々の試験を行なったり、また実物が存在する場合にはその三次元モデルを利用して電子カタログを作成したり等の用途に利用範囲が拡大している。
【０００３】
ところで、ＣＡＤデータまたは製品の設計図から三次元モデルが構成可能な場合は問題はないが、設計図が存在しないような物体、たとえば仏像、陶磁器等のような古美術品の三次元モデルを簡易に取得する方法または装置に対する需要は、近年のマルチメディア化の時代にあっては非常に多い。そのような需要に対して、従来は三次元モデル化すべき物体をターンテーブル上に載置してターンテーブルを回転させつつ、ターンテーブル外に固定した撮像装置で複数の画像を撮像し、これらの画像から三次元モデルを得る方法が既に実用化されている。このような従来の技術では、大規模な装置を必要とせずに比較的良質な三次元モデルを得ることが可能である。
【０００４】
上述のような従来の技術の代表的なものとしては、物体を複数の角度から見た場合の輪郭の見え方からその物体の形状を復元する手法（Ｓｈａｐｅ−ｆｒｏｍ−Ｓｉｌｈｏｕｅｔｔｅｓ法）が比較的広く知られている。
【０００５】
しかし、上述のようなターンテーブルを利用する従来技術では、以下のような問題があった。まず、三次元モデル化すべき物体の大きさ、重量に制限があるということである。即ち、三次元モデル化すべき物体の大きさ、重量に耐えられるターンテーブルを用意する必要があるが、それには自ずと限界が生じる。また、大きさ、重量のみならず、他の要因で移動させることが不可能、換言すればターンテーブルに乗せることが不可能な物体、たとえば岩壁に彫られた仏像等に対しても適用できないことはいうまでもない。
【０００６】
また、上述のようなターンテーブルを利用する従来技術では、物体を見る方向が限定されるという問題もあった。Ｓｈａｐｅ−ｆｒｏｍ−Ｓｉｌｈｏｕｅｔｔｅｓ法では、物体をより多くの角度から見た場合の輪郭を使用することがよりよい三次元モデルを構成するために重要である。しかし、ターンテーブルを利用する場合には、視点（撮像装置位置）が限定されるため、上述のような観点からは不充分にならざるを得なかった。
【０００７】
たとえば、物体の表面の凹状になっている部分の形状が復元できないという問題がある。具体的には、物体の表面に主曲率が共に負であるような部分が存在すると、その部分を正確に復元することができず、逆にその部分だけをその部分の凸包で置換したような形状として復元されてしまうことがあった。しかし、そのような復元は理想的な場合にのみ可能である。現実には、曲率の一方が負である部分が物体の表面に存在していて、しかも見る方向（撮像装置による撮像方向）の変化が十分ではなく、そのような負の曲率を有する方向からのみ物体の輪郭をみた場合には、その部分が正しく復元される可能性は非常に小さい。この場合、その部分はやはり凸包のような形状として復元されてしまうという、いわゆるｖｉｓｕａｌ　ｈｕｌｌ　効果が見られた。
【０００８】
上述のように、撮像装置を固定して物体をターンテーブルで回転させる場合には、どれほど回転角を細かくして多数の視点（撮像装置位置）から画像を撮像したとしても、物体を見る視点（撮像装置位置）からの角度は制約を受けるため、上述のような問題が生じることはやむを得ない面があった。
【０００９】
以上のような問題を解決するためには、物体をその周囲の可能なあらゆる角度から撮像すればよいことになる。しかし、そのためには撮像装置の位置・姿勢を自由に変化させることが可能であり、しかもその位置・姿勢（傾き及び方位）を表す値を正確に知ることが必要である。そのための従来の方法としては、背景の画像または三次元モデル化すべき物体そのものの表面に特徴点を設定しておき、複数の画像中の特徴点を追跡し、または対応付けてｓｔｒｕｃｔｕｒｅ　ｆｒｏｍ　ｍｏｔｉｏｎ　法によって画像から撮像装置の位置・姿勢を復元する技術が知られている。
【００１０】
たとえば、Ｎｉｅｍらは三次元モデル化されるべき物体の周囲にキャリブレーション用のパターンを予め設置しておき、撮像装置の位置・姿勢を撮像した画像中のキャリブレーション用のパターンの状態から復元して三次元モデルを構成する手法を提案している。しかしこの手法では、複数の画像から特徴点を抽出すること及び特徴点を抽出することができたとしても、複数の特徴点を相互に対応付けることが困難な場合がある。また、キャリブレーション用のパターンが必要であるということは、応用の範囲が限定されることを意味する。たとえば、ビル等の建造物、自動車等の比較的大きい物体に関しては、撮像装置を移動しつつ撮像すればよいが、その場合にキャリブレーション用のパターンを必要とするのであれば、必ずそのパターンが画像中に撮像されるようにする必要がある。しかし、そのようなパターンは固定された位置に配置されているため、撮像装置の移動に関して大きな制約とならざるを得ない。
【００１１】
以上のような事情に鑑み、以下のような発明が本願発明者の内の一人によりなされている（特許文献１参照）。
【００１２】
【特許文献１】
特開２００１−３０７０７４号公報
【００１３】
この特許文献１に開示された発明においては、画像を撮像した際の撮像装置の姿勢情報を得る姿勢センサを備え、この姿勢センサにより得られる撮像装置の姿勢情報に基づいてそれぞれの画像を撮像した際の撮像装置の位置を計算する。そして、複数の画像に関する計算により得られた撮像装置の位置と、取得した画像からの三次元モデル化の対象物体の輪郭とを用いて、対象物体の三次元モデルを構成する。このような特許文献１の発明では、ターンテーブルに載置不可能な物体に対しては勿論のこと、ターンテーブルに載置された物体に対しても非常に有効である。たとえば、撮像装置のターンテーブルに対する平面的な位置関係は固定されていても、撮像装置を上下方向に移動させ、即ち昇降させることにより、より多数の位置から対象物体の画像を撮像することが可能になるからである。
【００１４】
【発明が解決しようとする課題】
しかし、上述の特許文献１の発明では、姿勢センサ、即ち傾き角であるロール角及びピッチ角と方位角であるヨー角とを検出するセンサとしてジャイロセンサを利用している。しかし、小型で高精度なジャイロセンサは非常に高価であるため、現実には比較的安価なジャイロセンサを使用せざるを得ず、このためにジャイロセンサの精度、特に方位角（ヨー角）の精度が不足し、高精度の三次元モデルを得ることができないという問題があった。
【００１５】
また、ジャイロセンサに限らず、一般的にも傾き角（重力加速度方向と直交する平面に対する傾き）、即ちロール角（左右方向の傾き）及びピッチ角（俯仰角）を測定すること（そのデータを取得すること）は、重力加速度の方向、または水平面に対する傾きを検出すればよいため比較的容易である。しかし、方位角（重力加速度方向と直交する平面内での方向）、即ちヨー角を測定すること（そのデータを取得すること）は撮像装置を移動させない場合は容易であるが、多数の画像を撮像するために撮像装置を移動させるような場合には基準にすべき対象が事実上は地磁気方向のみであるために比較的困難である。
【００１６】
本発明は以上のような事情に鑑みてなされたものである。即ち、傾き角（ロール角及びピッチ角）に関しては比較的単純な構成の角度センサにより十分に高精度な検出が可能であることに鑑み、特許文献１に開示された発明において三次元モデルを得るために必要な撮像装置の方位角（ヨー角）を傾き角（ロール角及びピッチ角）から計算により求めることを主たる目的とする。具体的には、少なくとも傾き角（ロール角及びピッチ角）を十分に高精度に検出可能である比較的単純な構成の角度センサにより撮像装置の傾き角（ロール角及びピッチ角）を取得し、これに基づいて撮像装置の方位角（ヨー角）を計算により高精度で求めることを可能とした撮像装置の方位角計算方法及び装置の提供を目的とする。
【００１７】
また本発明は、上述のような方位角計算方法及び装置に使用する撮像装置の姿勢検出装置、傾きセンサ、コンピュータプログラムに関し、更に傾きセンサで検出された傾き角（ロール角及びピッチ角）とこれに基づいて計算された方位角（ヨー角）とから三次元モデルを構成する三次元モデル構成装置を提供することを目的とする。
【００１８】
【課題を解決するための手段】
本発明に係る撮像装置の方位角計算方法は、撮像装置の傾き角に基づいて前記撮像装置の方位角を計算する方法において、前記傾き角に基づいて前記撮像装置の画像面上に仮想的な水平な直線を設定し、前記撮像装置で撮像した画像に含まれる現実の水平な線分を表す情報に基づいて前記画像面上に現実の水平な直線を設定し、前記画像面上にそれぞれ設定された前記仮想的な水平な直線と前記現実の水平な直線との前記画像面上での関係を表す数式に基づいて前記撮像装置の方位角を求めることを特徴とする。
【００１９】
このような本発明の方位角計算方法では、傾き角（ロール角及びピッチ角）に基づいて仮想的な水平な直線が撮像装置の画像面上に設定され、撮像装置で撮像した画像に含まれる現実の水平な線分を表す情報、たとえば水平面上に載置された適宜の長さの棒、水平面上にマークされた線分、水平面と平行な線分を表すように設定された少なくとも２個の点等、に基づいて画像面上に現実の水平な直線が設定される。そして、画像面上にそれぞれ設定された仮想的な水平な直線と現実の水平な直線との画像面上での関係を表す数式に基づいて撮像装置の方位角（ヨー角）、具体的には現実の水平な直線の方向との偏差が求まる。
【００２０】
また本発明に係る撮像装置の方位角計算装置は、撮像装置の傾き角に基づいて前記撮像装置の方位角を求める撮像装置の方位角計算装置において、撮像装置の傾き角に基づいて前記撮像装置の画像面上に仮想的な水平な直線を設定する手段と、前記撮像装置で撮像した画像に含まれる現実の水平な線分を表す情報に基づいて前記画像面上に現実の水平な直線を設定する手段と、前記画像面上にそれぞれ設定された前記仮想的な水平な直線と前記現実の水平な直線との前記画像面上での関係を表す数式に基づいて前記撮像装置の方位角を求める手段とを備えたことを特徴とする。
【００２１】
このような本発明の方位角計算装置では、撮像装置の傾き角（ロール角及びピッチ角）に基づいて仮想的な水平な直線が撮像装置の画像面上に設定され、撮像装置で撮像した画像に含まれる現実の水平な線分を表す情報、たとえば水平面上に載置された適宜の長さの棒、水平面上にマークされた線分、水平面と平行な線分を表すように設定された少なくとも２個の点等、に基づいて画像面上に現実の水平な直線が設定される。そして、これらの画像面上にそれぞれ設定された仮想的な水平な直線と現実の水平な直線との画像面上での関係を表す数式に基づいて撮像装置の方位角（ヨー角）、具体的には現実の水平な直線の方向との偏差が求められる。
【００２２】
更に本発明は、上述のような方位角計算装置を備えた撮像装置のための姿勢検出装置である。具体的には、撮像装置の傾き角を取得するセンサと、該センサが取得した傾き角に基づいて前記撮像装置の画像面上に仮想的な水平な直線を設定する手段と、前記撮像装置で撮像した画像に含まれる現実の水平な線分を表す情報に基づいて前記画像面上に現実の水平な直線を設定する手段と、前記画像面上にそれぞれ設定された前記仮想的な水平な直線と前記現実の水平な直線との前記画像面上での関係を表す数式に基づいて前記撮像装置の方位角を求める手段とを有する方位角計算装置とを備えたことを特徴とする。
【００２３】
このような本発明の撮像装置のための姿勢検出装置では、センサが撮像装置の傾き角（ロール角及びピッチ角）を取得する。方位角計算装置は、センサが取得した傾き角（ロール角及びピッチ角）に基づいて仮想的な水平な直線を撮像装置の画像面上に設定し、撮像装置で撮像した画像に含まれる現実の水平な線分を表す情報、たとえば水平面上に載置された適宜の長さの棒、水平面上にマークされた線分、水平面と平行な線分を表すように設定された少なくとも２個の点等、に基づいて画像面上に現実の水平な直線を設定する。そして、これらの画像面上にそれぞれ設定された仮想的な水平な直線と現実の水平な直線との画像面上での関係を表す数式に基づいて撮像装置の方位角（ヨー角）、具体的には現実の水平な直線の方向との偏差が求められる。
【００２４】
更に本発明の撮像装置の傾きセンサは、撮像装置の姿勢検出装置のためのセンサである。撮像装置の姿勢検出装置は、撮像装置の傾き角に基づいて前記撮像装置の画像面上に仮想的な水平な直線を設定する手段と、前記撮像装置で撮像した画像に含まれる現実の水平な線分を表す情報に基づいて前記画像面上に現実の水平な直線を設定する手段と、前記画像面上にそれぞれ設定された前記仮想的な水平な直線と前記現実の水平な直線との前記画像面上での関係を表す数式に基づいて前記撮像装置の方位角を求める手段とを備えている。本発明の傾きセンサは、このような撮像装置の姿勢検出装置に撮像装置の傾き角を取得して与えるようにしてあることを特徴とする。
【００２５】
このような本発明の本発明の撮像装置の傾きセンサでは、撮像装置の傾き角（ロール角及びピッチ角）を取得して撮像装置の姿勢検出装置に与える。これにより、撮像装置の姿勢検出装置は、撮像装置の傾き角（ロール角及びピッチ角）に基づいて仮想的な水平な直線を撮像装置の画像面上に設定し、撮像装置で撮像した画像に含まれる現実の水平な線分を表す情報、たとえば水平面上に載置された適宜の長さの棒、水平面上にマークされた線分、水平面と平行な線分を表すように設定された少なくとも２個の点等、に基づいて画像面上に現実の水平な直線を設定する。そして、撮像装置の姿勢検出装置は、これらの画像面上にそれぞれ設定された仮想的な水平な直線と現実の水平な直線との画像面上での関係を表す数式に基づいて撮像装置の方位角（ヨー角）、具体的には現実の水平な直線の方向との偏差を求める。
【００２６】
また本発明は、撮像装置の傾き角に基づいて撮像装置の方位角をコンピュータに計算させるためのコンピュータプログラムであって、以下の手順をコンピュータに実行させることを特徴とする。第１の手順として、撮像装置が被写体を撮像した場合に被写体が撮像される状態を示すパラメータを取得する手順。第２の手順として、撮像装置の傾き角と、取得したパラメータとから、前記撮像装置の画像面上に仮想的な水平な直線を設定する手順。第３の手順として、前記撮像装置が撮像した画像を読み込む手順。第４の手順として、読み込んだ画像に含まれる現実の水平な線分を表す情報に基づいて前記画像面上に現実の水平な直線を設定する手順。第５の手順として、前記画像面上にそれぞれ設定された前記仮想的な水平な直線と前記現実の水平な直線との前記画像面上での関係を表す数式に基づいて前記撮像装置の方位角を求める手順。
【００２７】
このような本発明のコンピュータプログラムを汎用のコンピュータにインストールすることにより、前述のような本発明の方位角計算方法が実行されると共に、そのような汎用コンピュータは前述のような本発明の方位角計算装置として機能する。
【００２８】
更にまた本発明に係る三次元モデル構成装置は、対象物を撮像装置で撮像した複数の画像から対象物の三次元モデルを構成する三次元モデル構成装置であり、具体的には以下の各構成要件を備えることを特徴とする。即ち、前記撮像装置の傾き角を取得する手段を備えている。また、これらにより得られた前記撮像装置の傾き角に基づいて前記撮像装置の画像面上に仮想的な水平な直線を設定する手段と、前記撮像装置で撮像した画像に含まれる現実の水平な線分を表す情報に基づいて前記画像面上に現実の水平な直線を設定する手段とを備えている。更に、これらの手段により前記画像面上にそれぞれ設定された前記仮想的な水平な直線と前記現実の水平な直線との前記画像面上での関係を表す数式に基づいて前記撮像装置の方位角を求める手段と、前記撮像装置で撮像した複数の画像及びそれぞれの画像の撮像時の撮像装置の傾き角と方位角とから撮像装置の位置を求める手段とを備えている。そして、前記撮像装置で撮像した複数の画像それぞれの撮像時の撮像装置の位置と、撮像された画像の対象物の像の輪郭とから、対象物の三次元モデルを構成する手段を備えている。
【００２９】
このような本発明の三次元モデル構成装置では、撮像装置の傾き角（ロール角及びピッチ角）が取得され、これらに基づいて仮想的な水平な直線が撮像装置の画像面上に設定され、撮像装置で撮像した画像に含まれる現実の水平な線分を表す情報、たとえば水平面上に載置された適宜の長さの棒、水平面上にマークされた線分、水平面と平行な線分を表すように設定された少なくとも２個の点等、に基づいて画像面上に現実の水平な直線が設定される。更に、これらの画像面上にそれぞれ設定された仮想的な水平な直線と現実の水平な直線との画像面上での関係を表す数式に基づいて撮像装置の方位角（ヨー角）、具体的には現実の水平な直線の方向との偏差が求められ、撮像装置で撮像した複数の画像及びそれぞれの画像の撮像時の撮像装置の傾き角（ロール角及びピッチ角）と方位角（ヨー角）とから撮像装置の位置が求められる。そして、撮像装置で撮像した複数の画像それぞれの撮像時の撮像装置の位置と、撮像された画像の対象物の像の輪郭とから、対象物の三次元モデルが構成される。
【００３０】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。図１は本発明に係る三次元モデル構成装置のシステム構成例を示すブロック図である。
【００３１】
本発明の三次元モデル構成装置は、三次元モデル化すべき対象物（以下、対象物という）を撮像するための撮像装置であるカメラ１と、このカメラ１の傾き角を取得する傾きセンサ２と、カメラ１からは画像情報が、傾きセンサ２からは傾き情報がそれぞれ入力される計算機（コンピュータ）３とで主として構成されている。また、計算機３にはたとえばハードディスク等のような大規模記憶装置４が接続されており、この記憶装置４に本発明のコンピュータプログラム４１及び他の種々のプログラム等が記憶されている。
【００３２】
なお、本実施の形態においては、傾きセンサ２が取得する傾き角は重力加速度方向と直交する平面、即ち水平面に対する傾きを表すロール角及びピッチ角であり、こられの傾き情報に基づいて求められる方位角は重力加速度方向と直交する平面内、即ち水平面内での方向を表すヨー角である。
【００３３】
カメラ１は、撮像した画像情報及びそれぞれの画像情報が撮像された際に傾きセンサ２が取得した傾き情報を計算機３へ入力させることが可能なものであれば、たとえばビデオカメラ、デジタルスチルカメラ等、種々の撮像装置が使用可能である。また、画像情報及び傾き情報は直接的にオンラインで計算機３へ入力させてもよいし、間接的に、たとえば何らかの記録媒体に一旦記録した後にオフラインで計算機３へ入力させてもよい。なお、アナログ信号で画像情報を撮像するビデオカメラを使用する場合は、計算機３へ入力後にデジタルデータ化するか、またはコンバータを利用してデジタルデータ化した後に計算機３へ入力すればよい。
【００３４】
カメラ１にはレンズ１１が備えられているが、このレンズ１１の焦点距離ｆは本実施の形態では固定であるとする。但し、原理的には、カメラ１のレンズ１１の焦点距離ｆが可変であっても本発明を実施することは可能である。
【００３５】
傾きセンサ２は種々の構成のものが利用可能であるが、カメラ１そのものに取り付けるセンサとしては、たとえば重力加速度を利用して傾きを検出するようにした公知の加速度センサを利用することが可能である。また、カメラ１を三脚に固定して撮像する場合には、三脚の雲台を水平にした状態を基準として、雲台の傾斜を測定するようなセンサでもよい。いずれにしろ、傾きセンサ２は少なくともロール角とピッチ角とを検出可能なセンサであればよい。たとえば、重力加速度の方向に対する傾きを検出可能なセンサ、水平面に対する傾きを検出可能なセンサ等、種々のセンサが傾きセンサ２として利用可能であり、どのような種類のセンサを利用するかは、カメラ１及びその固定方法、撮像対象、周囲環境等に応じて適宜に選択することが可能である。
【００３６】
そして、傾きセンサ２とカメラ１との相対的な位置関係が変化しないことは勿論のこと、両者間の姿勢の相対的変化も生じないことが望ましい。そのような場合には、傾きセンサ２が測定したロール角及びピッチ角と、カメラ１のロール角及びピッチ角との間には常時一定の相対関係があることになるので、それらの間の補正等を行なう必要はない。しかし、両者間の相対的な位置関係が変化したり、姿勢の相対的変化が生じたりするような場合であっても、それらの状態が判明してさえいれば補正することは勿論可能である。なお、本実施の形態では傾きセンサ２から計算機３へ入力される傾き情報の内の計算機３が使用する情報はロール角及びピッチ角のみであるとする。
【００３７】
なお、対象物ＯＢをカメラ１で実際に撮像する場合に、カメラ１のロール角及びピッチ角を所定角度に固定すれば傾きセンサ２を使用する必要はない。また、ロール角とは左右の傾き（より具体的には水平面に対する左右の傾き）であるのでこれを０に固定する、換言すれば常に左右の傾きがない状態でカメラ１による対象物の撮像が可能である場合には、傾きセンサ２はピッチ角のみを計測するものでよい。このような状態はたとえば、対象物ＯＢをターンテーブルに載置して回転させ、カメラ１そのものはロール角を０に固定したままでしかも平面的な移動を行なわない状態で上下に昇降させつつ高さを変えて撮像するというような場合に有効である。なお、カメラ１のロール角及びピッチ角を固定すること、またはロール角またはピッチ角のいずれか一方を０に固定することは、ロール角及びピッチ角を厳密に調整可能な雲台付きの三脚を利用することにより容易に実現可能である。
【００３８】
計算機３は、カメラ１が撮像した対象物の画像を画像情報として入力し、その時点で傾きセンサ２から与えられる傾き情報、即ち傾きセンサ２が計測したロール角とピッチ角とを入力する。そして、計算機３はこれらの情報に基づいて、後述するような手順で、カメラ１が対象物を撮像した時点で傾きセンサ２が計測したロール角とピッチ角とからカメラ１のヨー角（方位角）を算出する方位角の計算装置として機能する。また同時に、計算機３はカメラ１のヨー角を計算で求めることにより、カメラ１のロール角及びピッチ角を取得する傾きセンサ２と共にカメラ１の姿勢検出装置として機能する。更に、計算機３はカメラ１のロール角、ピッチ角及びヨー角（方位角）に基づいて公知の手法、たとえば特許文献１に開示されている手法により対象物の三次元モデル化を行なう三次元モデル構成装置としても機能する。
【００３９】
図２は上述のような本発明の三次元モデル構成装置により対象物ＯＢの三次元モデルを構成するために、傾きセンサ２が固定されたカメラ１により対象物ＯＢを撮像する状況を示す模式図である。
【００４０】
本発明では、後述するように、傾きセンサ２が取得する傾き情報である傾き角、即ちロール角及びピッチ角から方位角、即ちヨー角を計算により算出するようにしているため、カメラ１で対象物ＯＢを複数の位置から撮像する際に水平面と平行な直線、実際には現実の線分Ｌの方位を仮の基準として利用する。なお、現実の線分Ｌではなく、その代わりに現実の水平な線分を表すことが可能な種々の情報を利用してもよい。そのような情報としては、たとえば水平面上に載置された適宜の長さの棒、水平面上にマークされた線分、水平面と平行な線分を表すように設定された少なくとも２個の点等が利用可能である。更に具体的なものとしては、対象物ＯＢが建築物であるような場合にはその建築物の水平な部分（たとえば窓枠等）を利用してもよい。なお、水平面を設定することが不可能な場合にはたとえば水平面と平行に適宜の長さの紐を張るようにしてもよいし、上述のように少なくとも２個の点を両者を結ぶ線分が水平面と平行になるように設定して利用してもよい。
【００４１】
なお、上述の少なくとも２個の点を設定して現実の水平な線分を表す情報として利用する場合には、たとえば十字型、多重円等の標識を設置し、その中心点を利用するようにすればカメラ１の画像面上での特定が容易になる。また、少なくとも２個の点として発光体を利用することも可能である。この場合には、特定の波長の発光体を使用することにより、カメラ１の画像面上での特定が非常に容易になる。
【００４２】
いずれにしろ、図２に示すようにしてカメラ１により複数の位置から対象物ＯＢを撮像した結果の画像情報と、それぞれの撮像時点において傾きセンサ２が取得している傾き情報（少なくともロール角及びピッチ角）とが計算機３に入力される。
【００４３】
次に、本発明に係る撮像装置の方位角（ヨー角）の計算方法について説明する。本発明に係る撮像装置の方位角（ヨー角）の計算方法の原理を要約すると以下のようになる。カメラ１に取り付けた傾きセンサ２により検出されるロール角及びピッチ角に基づいて画像上に地平線（無限遠点の集合）を描くことができる。この地平線は仮想的な水平な直線である。本実施の形態においては、この地平線を仮想的な水平な直線として使用するが、このような地平線ではなくとも、カメラ１により撮像された画像上に仮想的な水平な直線を設定することが可能であればそれを使用してもよい。また、前述の水平面と平行な現実の線分Ｌに関しても、複数のそのような線分（現実の水平な線分を表す情報）を利用することが可能である場合には、上述の仮想的な水平な直線となるべく直交状態に近いものを選択すれば、以下に説明する計算の精度が向上する。
【００４４】
次に、この画像上に描かれた地平線と、現実の水平な線分Ｌが撮像された画像上の像Ｌ０　との交点を求める。但し、一般的には両者が交点を持たない場合が多いことを考慮して、現実の線分Ｌの画像上の像Ｌ０　を通る直線Ｌ１　、即ち現実の水平な直線を設定し、この直線Ｌ１　と画像上に描かれた地平線との交点を求める。この交点は仮想的な無限遠に位置する固定点となるので、この固定点の画像面上の位置を求めることにより、カメラ１のヨー角（直線Ｌ１　の方位を基準とする方位角）を計算により求めることが可能である。
【００４５】
本発明に係る撮像装置の方位角（ヨー角）の計算方法の概略の手順は、図３に示すフローチャートのようになる。なお、図４はワールド座標、カメラ座標、画像座標、及びセンサ座標それぞれの間の関係を示す模式図である。
【００４６】
ここで、ワールド座標（ＸＹＺ座標系：原点はＯｗ）とは仮に基準とする絶対座標系のことであり、現実の水平な線分Ｌ、即ち現実の水平な直線Ｌ１　の方向をこのワールド座標系のＸ軸と一致させてカメラ１のヨー角の基準とする。この場合、ワールド座標系のＺ軸は重力加速度の方向（鉛直線の天空向き）とする。
【００４７】
カメラ座標（ｘｙｚ座標系：原点はＯｃ）とは、カメラ１に固有の座標系であり、本実施の形態ではカメラ１の光軸をｚ軸とし、このｚ軸と直交する平面である画像面Ｓの左右方向をｘ軸、上下方向をｙ軸とする。但し、カメラ座標がこれらとは異なる座標であってもよく、その場合には上述のような座標系に変換する処理を行なえばよい。
【００４８】
画像座標（ｕｖ座標系）とは、上述のカメラ１の画像面Ｓ上に設定された座標系であり、大略画像面Ｓの左右方向をｕ軸、上下方向をｖ軸としているが、両軸が空間的になす角度をφとする。
【００４９】
センサ座標は傾きセンサ２に設定されている三次元座標系であり、初期設定は三次元方向の全てが０であり、この状態をセンサ基準座標系という。なお、カメラ座標とセンサ座標とは、カメラ１に傾きセンサ２が固定されているという前提においては、相対的に一定の関係を維持する。
【００５０】
まず最初に、ステップＳ１として、画像の撮像に使用するカメラ１をキャリブレーションすることにより、カメラ１の内部パラメータ、具体的には被写体が撮像される状態を表すパラメータを求める。このカメラ１の内部パラメータは行列Ｋとして式（１）で表される。
【００５１】
【数１】
2004108836.tif 000003
【００５２】
ここで、ｆはカメラ１のレンズ１１の焦点距離を、ｋｕ　はカメラ１の画素サイズ（具体的には、ＣＣＤの個々の画素のサイズ）の縦方向のサイズの逆数を、ｋｖ　は同じく横方向のサイズの逆数を、φは前述した如く画像面Ｓ上の座標軸、即ち画像座標のｕ軸とｖ軸とが空間的になす角度をそれぞれ表している。また、（ｕ０　，ｖ０　）は画像面Ｓ上で光軸、即ちカメラ座標のｚ軸が横切る点（画像中心）の座標値を表している。なお、このカメラ１のパラメータの実際の取得方法としては、テストチャートを撮像することにより、その画像から取得するようにしてもよい。
【００５３】
更に、センサ座標系とカメラ座標系との間のキャリブレーションも行なっておき、両者の相対的位置関係を表す回転行列Ｒｇｃを求めておく。前述したように、カメラ座標とセンサ座標とは、カメラ１に傾きセンサ２が固定されているという前提である場合は相対的には固定された関係にあるので、この時点で求められた回転行列Ｒｇｃは定数となる。
【００５４】
次にステップＳ２として、現実の水平な線分Ｌが撮像されている画像を取得し、そのカメラ１の画像面Ｓ上での像Ｌ０　とし、この像Ｌ０　も線分であるので、これを通る直線、即ち現実の水平な直線Ｌ１　を設定する。そして、この直線Ｌ１　を表す式、即ち画像座標上での座標値を求める。
【００５５】
次にステップＳ３として、傾きセンサ２が取得したカメラ１のロール角及びピッチ角から、画像面Ｓ上の地平線Ｌｉｎｆｉｎｉを下記式（２）により計算して求める。
【００５６】
【数２】
2004108836.tif 000004
【００５７】
ここで、Ｒｙ（α）はｙ軸周りの回転角αを表す回転行列であり、Ｒｘ（β）はｘ軸周りの回転角βを表す回転行列である。
【００５８】
次に、ステップＳ４として、現実の水平な直線Ｌ１　と地平線Ｌｉｎｆｉｎｉとの画像面Ｓ上での位置関係（相対的な位置関係）を表す数式に基づいてカメラ１のヨー角を求める。具体的な例としては、両者の交点の位置と両者のなす角度に関係する数式とに基づいて以下のような手順により、ヨー角を求めることが可能である。
【００５９】
まず、現実の水平な直線Ｌ１　と地平線の像Ｌｉｎｆｉｎｉとの交点を求め、その座標を（ｘｉｎｆｉｎｉ，ｙｉｎｆｉｎｉ）とする。また、ワールド座標系のＸＹ平面上の無限遠点ｍの画像面Ｓ上の像を下記式とおく。
ｍｉｎｆｉｎｉ＝［ｘｉｎｆｉｎｉ，ｙｉｎｆｉｎｉ，１］Ｔ　
そして、ｍｉｎｆｉｎｉを用いて下記式（３）に示すベクトルｐを計算する。
【００６０】
【数３】
2004108836.tif 000005
【００６１】
このベクトルｐは、ｐ＝［ｐ１，ｐ２，０］Ｔ　であるので第３成分が０になっている。従って、センサ基準座標系（傾きセンサ２がリセットされた時点の座標系）を基準としたときのある視点（カメラ位置）のセンサ座標系の方位角をγ、ワールド座標系とセンサ基準座標系とのなす方位角をγｗｇｏ　とすると、求めるべき方位角（ヨー角）は下記式（４）の右辺にて計算される。
γ＋γｗｇｏ　＝　ａｒｃｔａｎ（ｐ２／ｐ１）　…（４）
【００６２】以上に、本発明に係る撮像装置の方位角（ヨー角）の計算方法の概略の手順について説明したが、以下により詳細に説明する。なお、図５の模式図は、現実の水平な線分Ｌの画像面Ｓ上での像Ｌ０　（太い実線）と、これを通って画像面Ｓ上に設定された直線Ｌ１　、即ち現実の水平な直線（破線）と、ワールド座標系との関係を、画像座標系上で見た状態を示している。
【００６３】
まず、現実の水平な線分Ｌの方向をヨー角（方位角）の基準として定め、これをワールド座標系のＸ軸とする。従って、以下においてはこのワールド座標系のＸ軸が方位角の基準となり、実際に算出されるヨー角（方位角）はこの基準の方位角に対する相対的な偏差になる。勿論、必要な場合には、現実の水平な線分Ｌの方向を何らかの方法によって厳密に南北方向、または特定の方位に一致させることにより、絶対的な方位角が算出可能であることはいうまでもない。またこの場合、ワールド座標系のＺ軸は重力加速度の方向（鉛直線の天空向き）とする（ワールド座標系のＹ軸はＸ軸及びＺ軸と直交する方向となる）。
【００６４】
ここで、先のステップＳ２において、現実の水平な線分Ｌの像Ｌ０　を取得する。この場合、線分Ｌの画像面Ｓ上での像Ｌ０　は当然線分になるので、この線分Ｌ０　を
Ｌ０　＝［ａ，ｂ，ｃ］Ｔ　
と表す。その意味は、この線分Ｌを通る画像面Ｓ上の画像系の座標値（ｕ，ｖ）の点ｍ１　を
ｍ１　＝［ｕ，ｖ，１］Ｔ　
とした場合に下記式（５）を満たすということである。
Ｌ０　Ｔ　ｍ１　＝０　　…（５）
【００６５】
最初に地平線（ワールド座標系のＺ＝０において、Ｘ，Ｙが∞（ｉｎｆｉｎｉ）、即ち無限遠となる点の画像面Ｓ上の像の集合）の表現を求める。但し、地平線も当然ながら画像面Ｓ上では直線になるので、前述同様にＬｉｎｆｉｎｉとする。ＸＹ平面上の無限遠点ｍｉｎｆｉｎｉは、射影空間の斉次座標として下記式（６）にて表される。但し、Ｍは三次元空間中の無限遠点である。
【００６６】
【数４】
2004108836.tif 000006
【００６７】
その画像上の像、即ちＸＹ平面上の無限遠点ｍの像は画像面Ｓ上の像ｍｉｎｆｉｎｉとして下記式（７）にて表される。
ｍｉｎｆｉｎｉ∝Ｋ［Ｒ｜ｔ］Ｍ　　…（７）
但し、「∝」は両辺が定数倍を許せば等しいことを表す。Ｒ及びｔはワールド座標系（ＸＹＺ座標系）からカメラ座標系（ｘｙｚ座標系）への座標変換を表す回転行列及び平行移動ベクトルをそれぞれ表している。また、［　］内の縦線は両側の行列の要素を単純に並べて配列することを意味している。従って、ここで前述の式（６）を上記の式（７）に代入すると下記式（８）が得られる。
【００６８】
【数５】
2004108836.tif 000007
【００６９】
地平線Ｌｉｎｆｉｎｉは、ワールド座標系のＸ，Ｙには関係なく、ＬｉｎｆｉｎｉＴ　ｍ＝０となること、及び式（８）とから下記式（９）のように表すことができる。
【００７０】
【数６】
2004108836.tif 000008
【００７１】
本発明においては、傾きセンサ２はヨー角（方位角）は取得しないが、傾きセンサ２をリセットした時点においては傾き角であるロール角及びピッチ角と、方位角であるヨー角とはいずれも０であり、その際のセンサ座標系をセンサ基準座標系と称することは前述した。従って、傾きセンサ２から得られるロール角及びピッチ角をそれぞれα及びβとし、更に傾きセンサ２からヨー角（方位角）が得られると仮定してそれをγとする。更に、センサ基準座標系からある視点（カメラ位置）のセンサ座標系への変換を表す回転行列をＲｇｏｇｎとし、ワールド座標系からセンサ基準座標系への変換を表す回転行列をＲｗｇｏ　とする。また、ｙ軸周りの回転角（ロール角）αを表す回転行列をＲｙ（α）とし、ｘ軸周りの回転角（ピッチ角）βを表す回転行列をＲｘ（β）とし、ｚ軸周りの回転（ヨー角）γを表す回転行列Ｒｚ（γ）とする。以上のようにした場合、ワールド座標系からカメラ座標系への変換を表す回転行列Ｒは下記式（１０）にて表される。
Ｒ＝ＲｇｃＲｇｏｇｎＲｗｇｏ
＝ＲｇｃＲｙ　（α）　Ｒｘ　（β）　Ｒｚ　（γ）　Ｒｗｇｏ　　…（１０）
【００７２】
ワールド座標系からセンサ基準座標系への変換はヨー角（方位角）成分のみであるので、その角度をγｗｇｏ　とすると、
Ｒｗｇｏ　＝Ｒｚ（γｗｇｏ　）
となり、上記式（１０）は下記式（１１）のように表される。
Ｒ＝ＲｇｃＲｙ　（α）　Ｒｘ　（β）　Ｒｚ　（γ＋γｗｇｏ　）　　…（１１）
【００７３】
上記式（１１）において未知であるのはγ及びγｗｇｏ　のみである。ここで、式（１１）を前述の式（９）に代入すると下記式（１２），　（１３）となる。
【００７４】
【数７】
2004108836.tif 000009
【００７５】
上記式（１３）にはヨー角（方位角）γ及びγｗｇｏ　を含まないので、ロール角α及びピッチ角βのみから式（１３）により地平線の画像面Ｓ上の像Ｌｉｎｆｉｎｉを作成することが可能になる。一方、画像面Ｓ上に撮像された現実の水平な線分Ｌを空間中で無限遠まで延伸した場合（即ち現実の水平な直線Ｌ１　）の延伸先の無限遠点Ｍｉｎｆｉｎｉは下記式（１４）で表すことができる。
【００７６】
【数８】
2004108836.tif 000010
【００７７】
無限遠点Ｍｉｎｆｉｎｉの像ｍｉｎｆｉｎｉは前述の式（７）に示されているように、
ｍｉｎｆｉｎｉ∝Ｋ［Ｒ｜ｔ］Ｍ
であるので、下記式（１５）のように表される。
【００７８】
【数９】
2004108836.tif 000011
【００７９】
現実の水平な線分Ｌの画像面Ｓ上で求めた像Ｌ０　を通る直線Ｌ１　と、傾きセンサ２により取得されたロール角α及びピッチ角βとから、前述の式（１３）で求めたＬｉｎｆｉｎｉとの交点がこの点である。従って、この点の座標とヨー角（方位角）との関係は前述の式（１１）及び式（１５）から下記式（１６）のように表される。
【００８０】
【数１０】
2004108836.tif 000012
【００８１】
ここで、式（１６）の左辺を前述の概略の手順のステップＳ５の式（３）に示されているように
ｐ＝［ｐ１，ｐ２，０］Ｔ　
とおくと、ヨー角（方位角）は下記式（１８）の右辺から計算可能である。
γ＋γｗｇｏ　＝　ａｒｃｔａｎ（ｐ２／ｐ１）　…（１８）
【００８２】
以上のような手順により、カメラ１のヨー角（方位角）をいかなるセンサによっても実際に検出することなしに、カメラ１が撮像した画像とその際に傾きセンサ２により取得されたカメラ１の傾き角、即ちロール角α及びピッチ角βとから計算により求めることが可能であることが理解される。なお、カメラ１により撮像された画像が１枚のみである場合には、カメラ１のヨー角は現実の水平な線分Ｌの方向に対する偏差、換言すれば相対的な方位角として求まるのみである。しかし、カメラ１を移動させつつ複数の画像を撮像した場合には、各画像が撮像された際のカメラ１の他の画像が撮像された際のカメラ１に対する方位角の偏差、即ちヨー角が判明することになる。
【００８３】
図６は上述のような各座標系の間での変換の状態を示す模式図であり、図７はワールド座標系とセンサ基準座標系とある視点（カメラ位置）でのセンサ座標系とのヨー角（方位角）の関係を示す模式図である。
【００８４】
なお、上述の実施の形態においては、線分Ｌの画像面Ｓ上での像Ｌ０　（または像Ｌ０　を通る現実の水平な直線Ｌ１　）と地平線の像Ｌｉｎｆｉｎｉとの交点を求め、この交点の座標（ｘｉｎｆｉｎｉ，ｙｉｎｆｉｎｉ）に基づいて現実の水平な線分Ｌの方向に対する方位角の偏差としてカメラ１のヨー角を求めるようにしている。具体的には、前述の式（７）、即ち
ｍｉｎｆｉｎｉ∝Ｋ［Ｒ｜ｔ］Ｍ　　…（７）
の左辺のｍｉｎｆｉｎｉに上述の交点の値を代入しているが、これに代えて「Ｌ０　×Ｌｉｎｆｉｎｉ」、即ちベクトルＬ０　とベクトルＬｉｎｆｉｎｉとの外積を代入することにより、同様の結果を得ることが可能である。
【００８５】
より具体的には、ｍｉｎｆｉｎｉは直線Ｌ０　及びＬｉｎｆｉｎｉの交点である、換言すればｍｉｎｆｉｎｉは直線Ｌ０　及びＬｉｎｆｉｎｉが共に通る点であるので、前述した式（５）と同様にそれぞれに関して、下記式（１９）、（２０）が成立する。
Ｌ０　Ｔ　ｍｉｎｆｉｎｉ＝０　　…（１９）
ＬｉｎｆｉｎｉＴ　ｍｉｎｆｉｎｉ＝０　　…（２０）
【００８６】
このことは、ベクトルｍｉｎｆｉｎｉがベクトルＬ０　及びベクトルＬｉｎｆｉｎｉとなす角が９０度であることを意味している。従って、ｍｉｎｆｉｎｉはベクトルＬ０　とベクトルＬｉｎｆｉｎｉとの外積である、即ち「Ｌ０　×Ｌｉｎｆｉｎｉ」と定義できる。以上のことから、上記式（７）によりカメラ１のヨー角を求めることが可能である。
【００８７】
以上のようにして、複数の画像情報とそれぞれの画像が撮像された際のカメラ１の傾き角、即ちロール角α及びピッチ角βが計算機１へ入力され、計算機１においてそれぞれの画像が撮像された際のカメラ１の現実の水平な線分Ｌの方向に対する偏差として方位角、即ちヨー角が算出される。従って、以後は公知の手法、たとえば特許文献１に開示されているような手法により、カメラ１により撮像された複数の画像を使用して対象物ＯＢの三次元モデル化を行なうことが可能になる。
【００８８】
なお参考として、対象物ＯＢの三次元モデル化は特許文献１に開示されている手法に従えば以下のようにして行うことが可能である。計算機３は、前述のようにしてカメラ１により撮像した複数の画像とそれぞれに対応する姿勢情報（傾き角、即ちロール角及びピッチ角と、方位角、即ちヨー角）から、各画像を撮像した際のカメラ１の位置を計算する。具体的には、計算機３はカメラ１の傾き情報（ロール角、ピッチ角及びヨー角）を使用して各画像上に他の画像の輪郭の像を投影し、各画像上で他の画像の投影中心を始点として輪郭に接する線分を計算する。そして、計算機３は各輪郭に接する線分が等しくなるようにカメラ１の位置を計算し直し、この処理を収束するまで反復することにより、各画像が撮像された際のカメラ１の位置が判明する。
【００８９】
次に、計算機３は対象物ＯＢの輪郭を使用して計算を行なうことによりその対象物ＯＢの三次元モデルを構成する。この際の計算は、たとえば公知のＳｈａｐｅ−ｆｒｏｍ−Ｓｉｌｈｏｕｅｔｔｅｓ法を利用することにより容易に可能である。具体的には、カメラ１の撮像位置が決定した後、ボリュームデータが作成され、このボリュームデータに三角メッシュが設定される。そして、各メッシュの頂点の平滑化及び間引きを行なうことにより、三次元形状が作成される。最後に、画像から対象物ＯＢの表面のテクスチャを取得し、これを復元された三次元形状の表面にマッピングすることにより三次元モデルが完成する。
【００９０】
なお、上述の実施の形態では、方位角であるヨー角の計算と三次元モデルの構成とを同一の計算機３で行なうようにしているが、対象物体が存在する場所、計算量等を考慮して個別のコンピュータで行なうようにしてもよいことはいうまでもない。
【００９１】
図８はコンピュータである計算機３に上述のような方位角（ヨー角）の計算を行なわせるためのコンピュータプログラム４１の内容を示す模式図であり、当初から記憶装置４に記憶させておいてもよいし、たとえばＣＤ−ＲＯＭ４２等のような可搬型の記録媒体に記録されていてもよい。但し、コンピュータプログラム４１が記録媒体に記録されている場合は、記録媒体に記録されているコンピュータプログラムを計算機３に読み込ませる必要があるが、これは一般的な汎用コンピュータに備えられているＣＤ−ＲＯＭドライブ等により読み込ませるか、または通信回線を介してダウンロードすることも可能である。
【００９２】
図８に示すように、本発明のコンピュータプログラム４１は、カメラ１の傾き角、即ちロール角及びピッチ角に基づいてカメラ１の方位角、即ちヨー角をコンピュータに計算させるためのコンピュータプログラムであり、具体的には以下の手順を含む。
【００９３】
カメラ１が被写体を撮像した場合に被写体が撮像される状態を示すパラメータを取得する手順（Ｐ１）。カメラ１のロール角及びピッチ角と、取得したパラメータとから、カメラ１の画像面Ｓ上に仮想的な水平な直線を設定する手順（Ｐ２）。カメラ１が撮像した画像を読み込む手順（Ｐ３）。読み込んだ画像に含まれる現実の水平な線分Ｌを表す情報に基づいて画像面Ｓ上に現実の水平な直線Ｌ１　を設定する手順（Ｐ４）。画像面Ｓ上にそれぞれ設定された仮想的な水平な直線Ｌｉｎｆｉｎｉと現実の水平な直線Ｌ１　との画像面Ｓ上での関係を表す数式に基づいてカメラ１のヨー角を求める手順（Ｐ５）。
【００９４】
なお、コンピュータプログラム４１は更に、上述のようにして求められたヨー角を含む傾き情報と画像情報とから、たとえば特許文献１に開示されている手法に従って三次元モデルを構成するコンピュータプログラム（Ｐ６）をも含んでいる。
【００９５】
【発明の効果】
以上に詳述したように本発明の方位角計算方法及び装置によれば、撮像装置の傾き角、即ちロール角及びピッチ角を取得するのみにて、その際の撮像装置の方位角、即ちヨー角が計算により求まる。このため、ヨー角を取得するためのセンサが不要になると共に、従来一般的な比較的安価なヨー角取得用のセンサよりも正確にヨー角を取得することが可能になる。
【００９６】
また本発明の撮像装置のための姿勢検出装置によれば、センサは撮像装置の傾き角、即ちロール角及びピッチ角のみを取得し、このセンサが取得した撮像装置のロール角及びピッチ角に基づいて方位角計算装置が撮像装置の方位角、即ちヨー角を計算により求める。このため、ヨー角を取得するためのセンサが不要になると共に、従来一般的な比較的安価なヨー角取得用のセンサよりも正確にヨー角を取得することが可能になる。
【００９７】
更に本発明の撮像装置の傾きセンサによれば、撮像装置の傾き角、即ちロール角及びピッチ角のみを取得して撮像装置の姿勢検出装置に与える。姿勢検出装置は、傾きセンサから与えられた撮像装置の傾き角（ロール角及びピッチ角）に基づいて撮像装置の方位角（ヨー角）を計算により求める。このため、ヨー角を取得するためのセンサが不要になると共に、従来一般的な比較的安価なヨー角取得用のセンサよりも正確にヨー角を取得することが可能になる。
【００９８】
また更に本発明のコンピュータプログラムによれば、汎用のコンピュータにインストールすることにより、上述のような本発明の方位角計算方法が実行され、またそのような汎用コンピュータは前述のような本発明の方位角計算装置として機能する。換言すれば、そのような汎用コンピュータを前述のような本発明の方位角計算装置として機能させることが可能になるので、ロール角及びピッチ角のみを取得するセンサと、汎用コンピュータとで本発明の撮像装置の傾きセンサ及び三次元モデル構成装置を構成することが可能になる。
【００９９】
また更に本発明の三次元モデル構成装置によれば、撮像装置の傾き角、即ちロール角及びピッチ角を取得するのみで、これらに基づいて撮像装置の方位角、即ちヨー角が求められ、複数の画像の撮像時の撮像装置の位置が求められる。そして、撮像装置で撮像した複数の画像それぞれの撮像時の撮像装置の位置と、撮像された画像の対象物の像の輪郭とから、対象物の三次元モデルが構成される。従って、ロール角及びピッチ角のみを取得するセンサと、汎用コンピュータとで本発明の三次元モデル構成装置を構成することが可能になると共に、より良質な三次元モデルを構成することが可能になる。
【図面の簡単な説明】
【図１】本発明に係る三次元モデル構成装置のシステム構成例を示すブロック図である。
【図２】本発明の三次元モデル構成装置により対象物の三次元モデルを構成するために対象物ＯＢを撮像する状況を示す模式図である。
【図３】本発明に係る撮像装置のヨー角計算方法の概略の手順を示すフローチャートである。
【図４】ワールド座標、カメラ座標、画像座標、及びセンサ座標それぞれの間の関係を示す模式図である。
【図５】水平な線分の画像面上での像とワールド座標系との関係を、画像座標系上で見た場合の状態を示す模式図である。
【図６】各座標系の間での変換の状態を示す模式図である。
【図７】ワールド座標系とセンサ基準座標系とある視点（カメラ位置）でのセンサ座標系とのヨー角（方位角）の関係を示す模式図である。
【図８】本発明のヨー角の計算を行なわせるためのコンピュータプログラムの内容を示す模式図である。
【符号の説明】
１　　カメラ
２　　傾きセンサ
３　　計算機（コンピュータ）
４　　記憶装置
４１　コンピュータプログラム
４２　ＣＤ−ＲＯＭ（記録媒体）
α　　ロール角
β　　ピッチ角
γ　　ヨー角
ＯＢ　三次元モデル化の対象物
Ｌ　　現実の水平な線分
Ｌ０　　現実の水平な線分Ｌの画像面上の像
Ｌ１　　画像面上に設定された現実の水平な直線
Ｌｉｎｆｉｎｉ　　画像面上に設定された仮想的な地平線の像
【図１】
2004108836.tif 000013
【図２】
2004108836.tif 000014
【図３】
2004108836.tif 000015
【図４】
2004108836.tif 000016
【図５】
2004108836.tif 000017
【図６】
2004108836.tif 000018
【図７】
2004108836.tif 000019
【図８】
2004108836.tif 000020