(57)【要約】  画像処理装置は、注目物体を設置する回転台、加速度センサ等の他の装置を用いずに、単一のカメラで自由な方向から注目物体を撮影した画像から位置合わせ画像を生成する。幾何変換手法決定手段１６は、各変換対象画像について、第１基準点射影手段１３によって決定された第１基準点と、第２基準点設定手段１５によって設定された第２基準点とに基づいて、所定の幾何変換式のパラメータを算出する。幾何変換手段１７は、幾何変換手法決定手段１６が算出したパラメータによる幾何変換式を用いて変換対象画像を幾何変換する。
2013105205.tif 000002
【特許請求の範囲】
【請求項１】
注目物体を含む複数の変換対象画像から注目物体の位置合わせ画像を生成する画像処理装置であって、
各変換対象画像について、撮影時のカメラ位置姿勢を推定するカメラ位置姿勢推定手段と、
前記カメラ位置姿勢推定手段によって推定されたカメラ位置姿勢に基づいて、各変換対象画像における３次元座標で表現される第１基準点空間座標を各変換対象画像に射影し、各変換対象画像における画像座標で表現される第１基準点を生成する第１基準点射影手段と、
画像座標で表現される第２基準点変換元座標と前記カメラ位置姿勢を受け付け、前記カメラ位置姿勢に応じて前記第１基準点の変換先である画像座標で表現される第２基準点を設定する第２基準点設定手段と、
各変換対象画像について、前記第１基準点射影手段によって決定された前記第１基準点と、前記第２基準点設定手段によって設定された前記第２基準点とに基づいて、所定の幾何変換式のパラメータを算出する幾何変換手法決定手段と、
前記幾何変換手法決定手段が算出したパラメータによる幾何変換式を用いて変換対象画像を幾何変換する幾何変換手段とを備えた
ことを特徴とする画像処理装置。
【請求項２】
前記第２基準点設定手段は、前記カメラ位置姿勢に応じて前記第１基準点の変換先である画像座標で表現される前記第２基準点を動的に計算して設定する
請求項１に記載の画像処理装置。
【請求項３】
前記第２基準点設定手段は、前記カメラ位置姿勢に応じて前記第１基準点の変換先である画像座標で表現される前記第２基準点を記憶装置から読み込むことによって設定する
請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記カメラ位置姿勢推定手段は、各変換対象画像と、外部の装置から読み込んだカメラ位置姿勢のパラメータ情報の一方または両方に基づいて前記変換対象画像のカメラ位置姿勢を推定する
請求項１から請求項３のうちのいずれか１項に記載の画像処理装置。
【請求項５】
各変換対象画像における３次元座標で表現される第１基準点空間座標の少なくとも１つの候補を受け付け、候補の中から１つの第１基準点空間座標を決定する第１基準点空間座標受付決定手段を備えた
請求項１から請求項４のうちのいずれか１項に画像処理装置。
【請求項６】
前記第１基準点受付決定手段は、前記第１基準点空間座標の少なくとも１つの候補から、少なくとも１つの変換対象画像上に表示される前記第１基準点空間座標が射影された画像座標に対する決定信号を受け付け、前記決定信号を受け付けた場合に当該決定信号の対象とされた前記第１基準点をそれぞれ各変換対象画像における前記第１基準点として決定する
請求項５に記載の画像処理装置。
【請求項７】
前記第２基準点設定手段は、設定された前記第２基準点に対する前記決定信号を受け付け、前記第２基準点を決定する
請求項１から請求項６のうちのいずれか１項に記載の画像処理装置。
【請求項８】
前記第２基準点設定手段は、少なくとも１つの画像座標を前記第２基準点変換元座標として受け付ける
請求項１から請求項７のうちのいずれか１項に記載の画像処理装置。
【請求項９】
注目物体を含む複数の画像である変換対象画像それぞれに幾何変換を施して位置合わせ画像を生成するための画像処理方法であって、
各変換対象画像について、撮影時のカメラ位置姿勢を推定し、
推定されたカメラ位置姿勢に基づいて、各変換対象画像における３次元座標で表現される第１基準点空間座標を各変換対象画像に射影し、各変換対象画像における画像座標で表現される第１基準点を生成し、
画像座標で表現される第２基準点変換元座標と前記カメラ位置姿勢を受け付け、前記カメラ位置姿勢に応じて前記第１基準点の変換先である画像座標で表現される第２基準点を設定し、
各変換対象画像について、前記第１基準点と前記第２基準点とに基づいて、所定の幾何変換式のパラメータを算出し、
算出されたパラメータによる幾何変換式を用いて変換対象画像を幾何変換する
ことを特徴とする画像処理方法。
【請求項１０】
注目物体を含む複数の画像である変換対象画像それぞれに幾何変換を施して位置合わせ画像を生成するための画像処理用プログラムであって、
コンピュータに、
各変換対象画像について、撮影時のカメラ位置姿勢を推定する処理と、
推定されたカメラ位置姿勢に基づいて、各変換対象画像における３次元座標で表現される第１基準点空間座標を各変換対象画像に射影し、各変換対象画像における画像座標で表現される第１基準点を生成する処理と、
画像座標で表現される第２基準点変換元座標と前記カメラ位置姿勢を受け付け、前記カメラ位置姿勢に応じて前記第１基準点の変換先である画像座標で表現される第２基準点を設定する処理と、
各変換対象画像について、前記第１基準点と前記第２基準点とに基づいて、所定の幾何変換式のパラメータを算出する処理と、
算出されたパラメータによる幾何変換式を用いて変換対象画像を幾何変換する処理と
を実行させるための画像処理用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法および画像処理用プログラムに関し、特に、注目物体を含む複数の変換対象画像から、画像中の任意の位置に注目物体の位置合わせが行われた画像を生成するための画像処理装置、画像処理方法および画像処理用プログラムに関する。
【背景技術】
【０００２】
様々な距離や角度から撮影した注目物体の画像に対し、注目物体の位置と回転方向と大きさを合わせた画像を連続的に切り替えることによって、ユーザに見やすい映像提示ができる。以下、注目物体の位置と回転方向と大きさを合わせた画像を、位置合わせ画像と呼ぶ。【０００３】
注目物体が画像の中心に位置するような位置合わせ画像を撮影する方法の一例が特許文献１〜３、および非特許文献１に記載されている。特許文献１に記載されている撮影方法では、複数のカメラとそれらを支える支持部を用いて注目物体が様々な角度から撮影される。【０００４】
特許文献２に記載されている撮影装置は、複数のカメラと計算機に接続された回転台とを用いて注目物体を様々な角度から撮影する。【０００５】
特許文献３に記載されている画像入力方法では、固定されていないカメラで注目物体が様々な角度から撮影され、姿勢検出部で検出されたカメラの姿勢情報から画像中の注目物体の中心位置を揃えるための２次元幾何変換行列が算出され、画像変換が施される。【０００６】
非特許文献１に記載されている画像変換方法では、水平方向に動く固定されていないカメラで注目物体と正方マーカが様々な距離と角度から撮影され、正方マーカから計算されたカメラの姿勢情報から位置合わせ画像を生成するための２次元幾何変換行列が算出され、画像変換が施される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−２６４４９２号公報
【特許文献２】特開２００７−７２５３７号公報
【特許文献３】特開２００５−４９９９９号公報
【特許文献４】特開２０００−９７６３７号公報
【非特許文献】
【０００８】
【非特許文献１】中野  学、田治米純二、仙田裕三、“単眼カメラとARマーカによる低演算自由視点映像生成”、情報科学技術フォーラム講演論文集9(3)、189-190、2010-08-20
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、特許文献１〜３に記載されている方法および装置では、注目物体の位置合わせ画像を生成するために、単一のカメラ以外に、設置場所が固定された複数のカメラや注目物体を設置する回転台、加速度センサ等の多数の装置が必要である。【００１０】
例えば、特許文献１に記載されている撮影方法では、支持部はカメラを固定する複数の雲台と、雲台を支える支持フレームと支持アームおよび支柱などの多数の装置が必要である。また、撮影者は複数のカメラを同一直線上、同一円弧状、同一平面上、同一形状のいずれかに配置しなければならず、撮影にいたるまでの準備が非常に複雑である。【００１１】
また、特許文献２に記載されている撮影装置では、回転台は計算機により動作を制御される。またカメラは、円弧状の撮像装置設置台に等間隔に設置されている。撮影者は注目物体を回転台に載せるだけで撮影を開始できるので、カメラや工作の知識は必要ない。しかし、特許文献１に記載されている撮影方法と同様にカメラ以外にも多数の装置が必要である。【００１２】
また、特許文献３に記載されている画像入力方法では、複数のカメラやカメラを固定するための設置台は不要である。従って、撮影者はカメラで撮影するだけでよい。しかし、特許文献１や特許文献２に記載されている撮影装置と同様に、加速度センサや磁気センサといった姿勢検出装置等のカメラ以外の装置が必要である。【００１３】
また、非特許文献１に記載されている画像変換方法では、複数のカメラやカメラを固定するための設置台は不要であり、単一のカメラのみで画像を生成可能である。しかし、カメラは水平方向のみしか移動撮影できず、上下方向に移動撮影した場合、注目物体の大きさを合わせることができない。【００１４】
そこで、本発明は、注目物体を設置する回転台、加速度センサ等の他の装置を用いずに、単一のカメラで自由な方向から注目物体を撮影した画像から位置合わせ画像を生成することができる画像処理装置、画像処理方法および画像処理用プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明による画像処理装置は、注目物体を含む複数の変換対象画像から注目物体の位置合わせ画像を生成する画像処理装置であって、各変換対象画像について、撮影時のカメラ位置姿勢を推定するカメラ位置姿勢推定手段と、カメラ位置姿勢推定手段によって推定されたカメラ位置姿勢に基づいて、各変換対象画像における３次元座標で表現される第１基準点空間座標を各変換対象画像に射影し、各変換対象画像における画像座標で表現される第１基準点を生成する第１基準点射影手段と、画像座標で表現される第２基準点変換元座標とカメラ位置姿勢を受け付け、カメラ位置姿勢に応じて第１基準点の変換先である画像座標で表現される第２基準点を設定する第２基準点設定手段と、各変換対象画像について、第１基準点射影手段によって決定された第１基準点と、第２基準点設定手段によって設定された第２基準点とに基づいて、所定の幾何変換式のパラメータを算出する幾何変換手法決定手段と、幾何変換手法決定手段が算出したパラメータによる幾何変換式を用いて変換対象画像を幾何変換する幾何変換手段とを備えたことを特徴とする。【００１６】
本発明による画像処理方法は、注目物体を含む複数の画像である変換対象画像それぞれに幾何変換を施して位置合わせ画像を生成するための画像処理方法であって、各変換対象画像について、撮影時のカメラ位置姿勢を推定し、推定されたカメラ位置姿勢に基づいて、各変換対象画像における３次元座標で表現される第１基準点空間座標を各変換対象画像に射影し、各変換対象画像における画像座標で表現される第１基準点を生成し、画像座標で表現される第２基準点変換元座標とカメラ位置姿勢を受け付け、カメラ位置姿勢に応じて第１基準点の変換先である画像座標で表現される第２基準点を設定し、各変換対象画像について、第１基準点と第２基準点とに基づいて、所定の幾何変換式のパラメータを算出し、算出されたパラメータによる幾何変換式を用いて変換対象画像を幾何変換することを特徴とする。【００１７】
本発明による画像処理用プログラムは、注目物体を含む複数の画像である変換対象画像それぞれに幾何変換を施して位置合わせ画像を生成するための画像処理用プログラムであって、コンピュータに、各変換対象画像について、撮影時のカメラ位置姿勢を推定する処理と、推定されたカメラ位置姿勢に基づいて、各変換対象画像における３次元座標で表現される第１基準点空間座標を各変換対象画像に射影し、各変換対象画像における画像座標で表現される第１基準点を生成する処理と、画像座標で表現される第２基準点変換元座標とカメラ位置姿勢を受け付け、カメラ位置姿勢に応じて第１基準点の変換先である画像座標で表現される第２基準点を設定する処理と、各変換対象画像について、第１基準点と第２基準点とに基づいて、所定の幾何変換式のパラメータを算出する処理と、算出されたパラメータによる幾何変換式を用いて変換対象画像を幾何変換する処理とを実行させることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、注目物体を設置する回転台、加速度センサ等のカメラに内蔵または装着されていない装置を用いずに、単一のカメラで自由な方向から注目物体を撮影した画像から位置合わせ画像を生成することができる。
【図面の簡単な説明】
【００１９】
【図１】第１の実施形態の構成例を示すブロック図である。
【図２】第１の実施形態の動作の一例を示すフローチャートである。
【図３】第１の実施例の変換処理の概要を示す説明図である。
【図４】第１の実施例の変換処理の概要を示す説明図である。
【図５】第１の実施例の変換処理の概要を示す説明図である。
【図６】本発明を情報処理システムに適用した場合のブロック図である。
【図７】本発明の概要を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態を図面を参照して説明する。図１は、本発明の一実施形態の画像処理装置の構成例を示すブロック図である。
【００２１】
図１に示す画像処理装置は、カメラ位置姿勢推定手段１１と、第１基準点受付決定手段１２と、第１基準点空間座標射影手段１３と、画像表示手段１４と、第２基準点設定手段１５と、幾何変換手法決定手段１６と、幾何変換手段１７とを備える。
【００２２】
カメラ位置姿勢推定手段１１は、注目物体を含む複数の画像（以下、変換対象画像という。）のそれぞれについて、当該変換対象画像を撮影したカメラの位置および姿勢を推定し、推定位置および推定姿勢を第１基準点空間座標射影手段１３に出力する。カメラの位置および姿勢を推定するために、既定のマーカを用いる手法や既知の３次元座標とそれが観測された画像座標の対応を用いる手法など、様々な手法を利用可能である。また、カメラに加速度センサやジャイロセンサ等のセンサが内蔵または装着され、別途センサ類を用意する必要がない場合、それらから得られるデータを利用できる。
【００２３】
第１基準点受付決定手段１２は、ユーザからの入力として、当該変換対象画像について、３次元座標で表された第１基準点空間座標を受け付ける。また、第１基準点受付決定手段１２は、受け付けた第１基準点空間座標に対する決定信号を受け付けて、第１基準点空間座標を決定する。
【００２４】
第１基準点は、幾何変換の入力の基準となる点と出力の基準となる点のうち、入力側の基準点である。すなわち、第１基準点は、変換対象画像の座標系における位置情報（画像座標）によって表される基準点である。なお、基準点は、それぞれの変換対象画像に対して設定される。基準点は、例えば、変換画像で表現したい位置合わせ画像（例えば、注目物体の３６０度回転画像など）においてカメラの回転軸を構成する２以上の点であってもよい。
【００２５】
なお、カメラの回転軸は、実際に撮影した際のカメラの回転軸ではなく、目的とする位置合わせ画像においてユーザがカメラの移動の中心としたい軸である。また、基準点として必要な点の数（対応点数）は、幾何変換の方式に応じて設定可能であるが、いずれの方式においても２以上である。第２基準点は、出力側の基準点であり、第１基準点の変換先となる点である。すなわち、第２基準点は、変換画像の座標系における位置情報によって表される基準点である。第１基準点の各点と第２基準点の各点とは、同一の３次元座標が投影された画像座標であるという対応関係をもつ。また、位置合わせ画像の生成において、カメラの回転軸を構成する２以上の点のような、各変換対象画像間で同一の３次元座標を示す画像座標を基準点とすることがより望ましい。
【００２６】
第１基準点空間座標射影手段１３は、入力された第１基準点空間座標の情報と変換対象画像のカメラ位置姿勢とに基づいて、第１基準点空間座標（またはそれらを結んだ線分）を当該変換対象画像へ射影し、第１基準点として画像表示手段１４に出力する。
【００２７】
第１基準点空間座標射影手段１３は、例えば、画像表示手段１４に表示される各変換対象画像に対して行われるユーザ操作に応じて、第１基準点空間座標の情報（位置情報等）を入力することによって、第１基準点空間座標を受け付けてもよい。第１基準点空間座標射影手段１３は、例えば、受け付けた第１基準点空間座標を、カメラ位置姿勢推定手段１１が推定したカメラ位置姿勢に基づいて画像座標に射影し、画像表示手段１４を介して変換対象画像上に表示させる。
【００２８】
なお、第１基準点空間座標射影手段１３は、第１基準点空間座標の情報が変更された場合には、その情報を基に変換対象画像上で第１基準点を移動させる。第１基準点空間座標の情報入力は、例えば、マウス等によるポインティングやキーボード等を介して行われる。第１基準点空間座標射影手段１３は、最終的に、第１基準点決定信号（当該第１基準点決定信号の対象とする第１基準点を決定する旨を指示する情報）を受け付けることによって、そのときの第１基準点空間座標を第１基準点として決定すればよい。なお、第１基準点空間座標射影手段１３は、第１基準点として少なくとも２点を決定する。
【００２９】
また、第１基準点空間座標射影手段１３は、操作画面の描画領域に予め第１基準点空間座標の初期値として設定しておいた２点を射影し、表示した上で、その２点の位置をユーザに移動させてもよい。
【００３０】
第１基準点空間座標射影手段１３は、第１基準点を決定すると、決定した第１基準点を幾何変換手法決定手段１６に出力する。
【００３１】
画像表示手段１４は、画像を表示する。本実施形態では、画像表示手段１４は、変換対象画像を表示したり、変換対象画像に第１基準点空間座標や後述する第２基準点変換元座標を重ねた画像を表示する。また、変換後の画像である変換画像の枠内に第２基準点を表示したり、変換画像を表示してもよい。画像表示手段１４は、例えば、これらの表示を含む操作画面の画像情報を表示すればよい。
【００３２】
第２基準点設定手段１５は、カメラ位置姿勢と第２基準点変換元座標に基づいて、第１基準点の変換先である第２基準点を計算し、幾何変換手法決定手段１６に出力する。また、第２基準点設定手段１５は、第２基準点変換元座標決定信号を受け付けて第２基準点変換元座標を決定する。
【００３３】
第２基準点は、例えば、第１基準点が変換対象画像においてカメラの回転軸を構成する点（２以上）の位置を示す複数の画像座標である場合には、変換画像においてそのカメラの回転軸を構成する各点を投影したい位置を示す複数の画像座標とすればよい。
【００３４】
第２基準点変換元座標は、例えば、カメラが任意の位置姿勢であるときに回転軸を構成する各点の画像座標とすればよい。ただし、第２基準点設定手段１５は、第２基準点変換元座標を設定したときとは異なるカメラ位置姿勢が入力されたときに、カメラ位置姿勢に基づいて第２基準点変換元座標から適切な第２基準点を設定する。
【００３５】
第２基準点決定信号は、計算された第２基準点に対するユーザによる良否の判定を示す信号である。例えば、画像表示手段１４を介して変換対象画像とともに第２基準点を表示し、ユーザは満足した場合に決定信号を入力する。第２基準点決定信号の情報入力は、例えば、マウス等によるポインティングやキーボード等を介して行われる。
【００３６】
なお、第２基準点変換元座標は、予め設定されていてもよい。第２基準点の各点は第１基準点の各点に対応づけて設定される。なお、予め設定される場合には、その設定情報の読み出しが、第２基準点変換元座標の入力に相当する。
【００３７】
幾何変換手法決定手段１６は、第１基準点空間座標射影手段１３から出力される第１基準点と、第２基準点設定手段１５から出力される第２基準点とに基づいて、各変換対象画像に施す幾何変換手法を決定する。具体的には、幾何変換手法決定手段１６は、変換対象画像に施す幾何変換の変換式（座標変換式）のパラメータを決定する。幾何変換手法決定手段１６は、例えば、予め設定された変換手法に従って、各変換対象画像に対して設定された必要な数の第１基準点および第２基準点を基に、当該変換手法において使用される所定の変換式（座標変換式）のパラメータを決定してもよい。幾何変換手法決定手段１６は、決定したパラメータまたは決定したパラメータを含む座標変換式を、幾何変換手法を示す情報として幾何変換手段１７に出力する。
【００３８】
幾何変換手段１７は、幾何変換手法決定手段１６によって決定された幾何変換手法に基づいて各変換対象画像に幾何変換を施し、変換画像を出力する。幾何変換手段１７は、例えば、幾何変換手法を示す情報として入力される座標変換式を用いて、変換対象画像の画素情報を変換することにより変換画像を得る。この変換処理は、変換後の画像座標に対して内挿を行い画素の欠損を補償する処理を含む。なお、幾何変換手段１７が、幾何変換手法決定手段１６の機能を含んで構成されてもよい。すなわち、幾何変換手法決定手段１６は、幾何変換手段１７に実装されていてもよい。
【００３９】
第１基準点受付決定手段１２および第２基準点設定手段１５は、例えば、マウスやキーボード、タッチパネルなどの情報入力装置と、プログラムによって動作するＣＰＵ（Central Processing Unit ）とによって実現される。また、画像表示手段１４は、例えば、モニタやプロジェクタなどの画像表示装置と、プログラムに従って動作するＣＰＵによって実現される。また、幾何変換手法決定手段１６、幾何変換手段１７は、例えば、特定の演算処理等を行うよう設計されたハードウェアや、プログラムに従って動作するＣＰＵによって実現される。
【００４０】
次に、本実施形態の動作について図２を参照して説明する。図２は、本実施形態の画像処理装置の動作の一例を示すフローチャートである。
【００４１】
図２に示す例では、まず、カメラ位置姿勢推定手段１１が、変換対象画像のカメラ位置姿勢を推定する（ステップＳ１１）。本実施形態では、カメラ位置姿勢推定手段１１は、入力された各変換対象画像についてカメラの位置姿勢を推定する。カメラ位置姿勢推定手段１１は、例えば、撮影された画像情報から、カメラの位置として、ワールド座標系における３次元座標（Ｘ，Ｙ，Ｚ）を推定し、かつ、カメラの姿勢として、ワールド座標系に対する回転を表す３×３行列を推定する。
【００４２】
次に、第１基準点受付決定手段１２は、少なくとも１つの画像に対する第１基準点空間座標の情報として、変換対象画像においてカメラの回転軸の候補を構成する複数の３次元座標を入力する（ステップＳ１２）。第１基準点受付決定手段１２は、例えば、使用する幾何変換式で必要な対応点数分の第１基準点空間座標の情報入力用の入力フィールドを含む操作画面を表示して、ユーザに第１基準点空間座標の情報を入力させてもよいし、予め設定されている初期値を読み込むことによって、第１基準点空間座標の情報を得てもよい。そして、入力された第１基準点空間座標の情報は、第１基準点空間座標射影手段１３に出力される。
【００４３】
第１基準点空間座標射影手段１３は、ある変換対象画像に対する第１基準点空間座標の情報が入力されると、入力された第１基準点空間座標をカメラ位置姿勢に基づき画像に射影し、第１基準点とする（ステップＳ１３）。
【００４４】
次に、画像表示手段１４が、第１基準点とその画像とを重ねて表示する（ステップＳ１４）。画像表示手段１４は、例えば、変換対象画像上で第１基準点の位置等を調節するための操作画面を表示する。画像表示手段１４は、複数の第１基準点を結ぶことによって画像上に射影した回転軸（線分）を生成したものを含む操作画面を表示してもよい。
【００４５】
ユーザは、ステップＳ１４の処理で表示された第１基準点の変換対象画像における位置等を確認し、満足すれば第１基準点決定信号を入力する。また、ユーザは、複数の第１基準点を結んだ線分の長さ、傾き、位置がカメラの回転軸として適切となるように、第１基準点の位置を移動させるなどの調節を行う。このとき、第１基準点の情報が変更される。なお、第１基準点の情報として第１基準点空間座標を直接変更し、再度射影させてもよい。第１基準点決定信号は、第１基準点受付決定手段１２および第１基準点空間座標射影手段１３に入力される。
【００４６】
第１基準点受付決定手段１２または第１基準点空間座標射影手段１３は、第１基準点決定信号を受け付けると、第１基準点空間座標に対応する第１基準点を決定する（ステップＳ１５）。第１基準点受付決定手段１２または第１基準点空間座標射影手段１３は、例えば、当該第１基準点決定信号の対象とされた第１基準点として、そのとき表示している第１基準点（より具体的には、第１基準点を結んだ線分）を選択してもよい。本実施形態では、１つの変換対象画像について第１基準点空間座標から第１基準点が決定されると、その第１基準点空間座標を表す３次元座標が決定されることになり、その３次元座標と各画像のカメラ位置姿勢とに基づいて、他の変換対象画像についても第１基準点を算出することができる。
【００４７】
次いで、第２基準点設定手段１５は、第２基準点変換元座標を入力する（ステップＳ１６）。第２基準点設定手段１５は、予め設定されている第２基準点変換元座標の情報を記憶手段等から読み出すことによって第２基準点変換元座標を入力してもよい。また、第２基準点設定手段１５は、第１基準点受付決定手段１２が用いた方法と同様の方法で、すなわち、ユーザから第２基準点変換元座標の情報を受け付けることによって、第２基準点変換元座標を入力してもよい。
【００４８】
第２基準点設定手段１５は、第２基準点変換元座標を受け付けると、カメラ位置姿勢に基づいて第２基準点を設定する（ステップＳ１７）。
【００４９】
次に、画像表示手段１４が、第１基準点と第２基準点と変換対象画像とを重ねて表示する（ステップＳ１８）。画像表示手段１４は、ステップＳ１４の処理と同様に、変換対象画像上で第２基準点の位置等を調節するための操作画面を表示してもよい。また、画像表示手段１４は、第１基準点と第２基準点の両方、もしくは片方のみを表示してもよい。
【００５０】
ユーザは、表示された第２基準点が適切であると判断した場合、第２基準点変換元座標決定信号を入力する（ステップＳ１９）。本実施形態では、１つの変換対象画像について第２基準点変換元座標が決定されると、第２基準点を設定する元となる画像座標が決定されることになり、その画像座標と各画像のカメラ位置姿勢に基づいて、他の変換対象画像についても第２基準点を算出することができる。また、ステップＳ１５の第１基準点決定信号を、ステップＳ１９の処理で受け付けることも可能である。
【００５１】
各変換対象画像に対して必要な対応点数分の第１基準点と第２基準点とが決まると、幾何変換手法決定手段１６は、第１基準点と第２基準点とから、各変換対象画像に対して施す幾何変換手法を決定する（ステップＳ２０）。幾何変換手法決定手段１６は、例えば、基準点の数やそれらの画像における位置（画像座標）に基づいて、各変換対象画像に施す幾何変換の変換式のパラメータを決定することにより、変換式を生成する。
【００５２】
最後に、幾何変換手段１７は、ステップＳ２０の処理で決定された変換手法（変換式）を用いて各変換対象画像に幾何変換を施し、その結果生成される画像を変換画像として出力する（ステップＳ２１）。
【００５３】
なお、本実施形態では、各ステップにおいて、複数ある変換対象画像全てに対して処理が行われるが、図２に例示する処理を１つの変換対象画像に対する一連の処理として実行することも可能である。そのような場合には、変換対象画像の数分上記ステップ（ステップＳ１１〜Ｓ２１）を繰り返せばよい。
【００５４】
また、ステップＳ１６、ステップＳ１８、ステップＳ１９については、変換対象画像群のうちのいずれかの画像に対して既に処理済みであれば、他の変換対象画像についての当該処理を省略することができる。ユーザに第２基準点変換元座標を改めて入力させなくても、ステップＳ１７で当該変換対象画像における第２基準点を求めることができるからである。つまり、ある変換対象画像について第２基準点変換元座標を一度決定すれば、画像毎のカメラ位置姿勢に基づき、画像毎の第２基準点は一意に定まるからである。
【００５５】
また、本実施形態において、各手段は、例えば、特定の演算処理等を行うよう設計されたハードウェアや、プログラムに従って動作するＣＰＵによって実現される。
【実施例】
【００５６】
以下、具体的な実施例を説明する。図３は、第１の実施例において変換対象画像に施す幾何変換の概要を示す説明図である。図３に示す例では、カメラは下から上方向に向かって撮影を行う。｛画像１，・・・，画像ｍ，・・・，画像ｎ，・・・｝が変換対象画像として入力される。【００５７】
一例として、第１基準点空間座標を、３次元空間において、地面に垂直で注目物体の重心を通る線分（上端の３次元座標をq1、下端の３次元座標をq2）とし、第１基準点を、変換対象画像中における第１基準点空間座標を構成する２点の画像座標（当該変換対象画像軸における座標）とする。【００５８】
また、｛画像１，・・・，画像ｍ，・・・，画像ｎ，・・・｝を撮影したカメラの位置を｛t1、・・・、tm、・・・、tn、・・・｝、カメラの姿勢を｛R1、・・・、Rm、・・・、Rn、・・・｝とする。カメラの位置ｔは、例えば、ワールド座標系における３次元座標である。カメラの姿勢Ｒは、例えば、ワールド座標系に対する回転を表す３×３行列である。【００５９】
図３において、上段の変換対象画像（画像１、ｍ、ｎ）上に記された◇印と×印は、その変換対象画像に対して設定された第１基準点（◇印が上端、×印が下端）を表す。なお、◇印の方を第１基準点の第１の点（上端基準点）とし、×印を第１基準点の第２の点（下端基準点）とする。また、下段の変換画像１，ｍ，ｎに記された◇印と×印は、変換対象画像１，ｍ，ｎに対して設定された第１基準点の変換先である第２基準点を表す。【００６０】
なお、図３では、第１基準点を”Ｐ１”、第２基準点を”Ｐ２”と表し、つづく［Ａ］［Ｂ］の添字で、Ａ＝画像のインデックスとＢ＝基準点のインデックスが表わされている。図３に示す例では、インデックスは、ともに１から始まる値で示されている。例えば、Ｐ１［１］［１］は、第１の変換対象画像（画像１）における第１基準点のうちの第１の点（上端基準点）の情報である画像座標を表す。Ｐ１［１］［２］は、画像１における第１基準点のうちの第２の点（下端基準点）の情報である画像座標を表す。【００６１】
また、例えばＰ２［ｍ］［１］は、第ｍの変換対象画像（画像ｍ）から生成される変換画像ｍにおける第２基準点の第１の点（上端基準点）の情報である画像座標を表す。Ｐ２［ｍ］［２］は、画像ｍから生成される変換画像ｍにおける第２基準点の第２の点（下端基準点）の情報である画像座標を表す。【００６２】
本実施例では、まず、カメラ位置姿勢推定手段１１は、変換対象画像それぞれについて、その画像を撮影したカメラ位置姿勢を推定する。カメラ位置姿勢推定手段１１は、例えば、紙などに印刷するなどして事前に登録したマーカの画像上の見え方に基づいてカメラの位置ｔおよび姿勢Ｒを推定する。また、カメラ位置姿勢推定手段１１は、例えば、既知の３次元座標とそれが観測された画像座標との対応点の複数の組み合わせからカメラの位置ｔおよび姿勢Ｒを推定する。なお、カメラの姿勢Ｒは、ロール・ピッチ・ヨーによる表現によれば、以下の式（１）のように表現される。また、４元数による表現によれば、以下の式（２）のように表現される。【００６３】
【数１】
2013105205.tif 000003
【００６４】
なお、φはＺ軸回りの回転（roll）を表し、θは新しいＹ軸回りの回転（pitch ）を表し、ψは新しいＸ軸回りの回転（yaw ）を表す。【００６５】
【数２】
2013105205.tif 000004
【００６６】
また、カメラに加速度センサやジャイロセンサ等のセンサが内蔵または装着され、別途センサ類を用意する必要がない場合、それらから得られるデータをカメラ位置推定に利用できる。例えば、加速度センサから得られる角加速度を時間方向に２度積分することによって、カメラ位置ｔを推定できる。また、ジャイロセンサから得られる角速度を時間方向に積分することによって、カメラ姿勢Ｒを推定できる。また、加速度センサやジャイロセンサと変換対象画像を併用してカメラ位置推定を行う方法が上記の特許文献４に記載されている。【００６７】
次に、第１基準点受付決定手段１２は、第１基準点空間座標をユーザから入力として受け付け、第１基準点空間座標射影手段１３に出力する。【００６８】
第１基準点空間座標射影手段１３は、カメラ位置姿勢と第１基準点空間座標に基づいて、第１基準点を計算し、画像表示手段１４に第１基準点を出力する。【００６９】
第１基準点は、以下の式（３）で求めることができる。【００７０】
【数３】
2013105205.tif 000005
【００７１】
Ｋ［ＲＴ−ＲＴｔ］Ｘｉの左側の符合は、定数倍に等しいことを表す。なお、添字のＴは、行列の転置を表す。また、Ｋはカメラの内部パラメータである。Ｋは、例えば、射影変換を利用してカメラの内部パラメータを推定する方法（例えば、Zhang らの手法）を用いて予め決定されていてもよいし、３枚以上の画像からカメラの内部パラメータを推定する方法（例えば、Pollefeys らの手法）を用いて撮影と同時に求められてもよい。カメラの内部パラメータを推定する場合、カメラ位置姿勢推定手段１１は、カメラ位置姿勢に加え、カメラの内部パラメータを第１基準点空間座標射影手段１３に出力する。【００７２】
ユーザは、画像表示手段１４に表示された変換対象画像と第１基準点を見ながら、マウスやキーボードなどを用いて第１基準点空間座標（q1とq2の３次元座標）を入力する。ユーザは、例えば、第１基準点空間座標の第１の点（上端基準点）の初期値として３次元座標（０，０，０）を、第２の点（下端基準点）の初期値として３次元座標（０，１，０）を入力する。【００７３】
画像表示手段１４は、当該画像表示手段１４が有するモニタやプロジェクタなどの画像表示装置を介して、変換対象画像として入力された注目物体を含む画像を表示する。このとき、画像表示手段１４は、変換対象画像と、ツールバー、カーソル等の入力用インタフェースとを含む操作画面を表示する。【００７４】
ユーザは、画像表示手段１４に表示された第１基準点と注目物体とを比較し、第１基準点を結んだ線分の長さ、傾き、位置がカメラの回転軸として適切となるように第１基準点空間座標を調節し、満足すれば第１基準点決定信号を入力する。【００７５】
第１基準点受付決定手段１２は、例えば、現在表示中の画像＃１に対する第１基準点空間座標の情報（q1とq2の３次元座標）をユーザから入力として受け付ける。このとき、画像表示手段１４は、入力された第１基準点を変換対象画像に重ねて表示するなどして、ユーザがその変換対象画像における第１基準点空間座標の位置を確認できるようにする。ユーザは、表示された変換対象画像に対する第１基準点の位置等を確認し、現在表示されている第１基準点に満足した場合には、第１基準点決定信号を入力する。なお、ユーザは、位置関係が満足できなければ、マウスやキーボードなどを用いてツールバー、カーソル等の入力用インタフェースを操作して、第１基準点空間座標の有効／無効を切り替えたり、位置を調節すればよい。【００７６】
第１基準点決定信号が入力されると、第１基準点空間座標射影手段１３は、第１基準点空間座標が射影された画像座標を第１基準点とし、幾何変換手法決定手段１６に出力する。【００７７】
次に、第２基準点設定手段１５は、第２基準点変換元座標とカメラ位置姿勢に基づいて、第１基準点の変換先である第２基準点を設定する。本実施例では、ユーザがマウスやキーボードなどを用いて第２基準点変換元座標を入力し、第２基準点変換元座標とカメラ位置姿勢に基づいて第２基準点を設定する。本実施例において、ユーザは、計算された第２基準点に満足すれば第２基準点決定信号を入力し、それ以降の第２基準点変換元座標の入力は省略される。【００７８】
以下、変換画像の幅をｗ画素、高さをｈ画素とする。【００７９】
ユーザは、例えば、注目物体を正面から撮影した場合（図３のカメラ位置t1）に、幾何変換後の注目物体が横方向の中央、注目物体の重心gが画像の中央（０．５ｗ、０．５ｈ）に位置し、縦方向の８割の長さであるように第２基準点変換元座標を入力する。例えば、第２基準点変換元座標の上端基準点の画像座標を（０．５ｗ，０．９ｈ）とし、下端基準点の画像座標を（０．５ｗ，０．１ｈ）とする。または、上記の設定を事前に決めておき、このような第２基準点変換元座標の情報を外部記録媒体等の記憶手段から読み込んでもよい。【００８０】
例えば、変換対象画像が、注目物体を斜めから撮影した場合（図３のカメラ位置tm）、t1からtmへ高さが上昇した割合に応じて、変換画像の注目物体が縮小されるように第２基準点の上端基準点と下端基準点を計算すればよい。【００８１】
計算例を、図４を用いて説明する。まず、注目物体の重心ｇは、q1とq2の中点であると仮定し、その３次元座標をｇ=(q1+q2)/2とする。重心ｇを原点とした球座標系におけるカメラ位置は、tm’=tm-gと表される。【００８２】
次に、第１基準点空間座標の長さL0=｜q1-q2｜は、tm' において見かけの長さLmとして式（４）で表される。【００８３】
【数４】
2013105205.tif 000006
【００８４】
θは、図５に示すような、重心ｇを座標系の中心としたtm' の偏角である。L0の画像座標系における長さは、l0=0.9h-0.1h=0.8h であるため、Liの画像座標系における長さは、lm=0.8h*cosθ である。【００８５】
よって、カメラ位置tmで撮影された画像ｍにおける第２基準点は、上端基準点P2[m][1] =（0.5w 、0.5h+0.5lm）、下端基準点P2[m][2] =（0.5w 、0.5h-0.5lm）として計算される。【００８６】
なお、ここでは、カメラ位置姿勢に応じて第２基準点を動的に計算する方法が示されたが、上記計算を事前に行なっておき、第２基準点の情報を外部記録媒体等の記憶手段から読み込み、出力してもよい。例えば、適当な間隔でカメラ位置姿勢を量子化し、それらに対して式（４）に基づいてl0を事前に計算しておき、記憶手段にルックアップテーブルとして記憶する。そして、入力されたカメラ位置姿勢にもっとも近いテーブルからloを読み込み、出力する。記憶手段から読み込む場合、入力毎の式（４）の計算を省略することができる。【００８７】
また、第２基準点を動的に計算する方法と記憶手段から読み込む方法を組み合わせてもよい。例えば、まず記憶手段から読み込む方法により第２基準点を出力し、ユーザがより高精度な第２基準点を要求した場合、動的に計算する方法に切り替えてもよい。逆に、まず動的に計算する方法で第２基準点を出力し、ユーザがより低精度を要求した場合、記憶手段から読み込む方法に切り替えてもよい。【００８８】
また、ユーザによる要求がない場合、計算機の性能や記憶手段の容量に応じて切り替えてもよい。例えば、本実施例の画像処理装置の起動時に記憶手段の容量を確認し、ルックアップテーブルの確保が困難である場合、動的に計算する方法を用いてもよい。【００８９】
また、本実施例の画像処理装置の動作中に何らかの要因により記憶手段の容量を増やす必要が出た場合、ルックアップテーブルを解放し動的に計算する方法に切り替えてもよい。【００９０】
次に、幾何変換手法決定手段１６は、第１基準点と第２基準点からの幾何変換手法を決定し、幾何変換手段１７に出力する。本実施例では第１基準点、第２基準点でそれぞれ２点が選択されているので、幾何変換手法決定手段１６は、相似変換を利用する。相似変換は以下の式（５）で与えられる。【００９１】
ｕｉ’＝ａｕｉ−ｂｖｉ＋ｃ
ｖｉ’＝ｂｕｉ＋ａｖｉ＋ｄ・・・式（５）【００９２】
（ｕｉ，ｖｉ）は処理対象とした変換対象画像における第１基準点の上端基準点P1[m][1]と下端基準点P1[m][2]を表し、（ｕｉ’，ｖｉ’）は処理対象とした変換対象画像から生成される変換画像における第２基準点の上端基準点P2[m][1]と下端基準点P2[m][2]を表す。また、（ａ，ｂ，ｃ，ｄ）は相似変換パラメータである。添字のｉはｉ＝１で第１の点（上端基準点）を、ｉ＝２で第２の点（下端基準点）を表す。【００９３】
幾何変換手法決定手段１６は、第１基準点と第２基準点の点数がそれぞれ２点である場合は、式（５）の（ａ，ｂ，ｃ，ｄ）についての線形な連立方程式を解くと（ａ，ｂ，ｃ，ｄ）を得ることができる。【００９４】
また、幾何変換手法決定手段１６は、第１基準点と第２基準点の点数がそれぞれ３点以上である場合は、（ａ，ｂ，ｃ，ｄ）の最小二乗解を求める。【００９５】
なお、幾何変換手法決定手段１６は、相似変換パラメータを幾何変換手段１７を出力してもよいが、相似変換式を出力してもよい。【００９６】
幾何変換手段１７は、このようにして得られた相似変換パラメータ（ａ，ｂ，ｃ，ｄ）を用いて、処理対象とした変換対象画像に幾何変換を施し、変換画像を出力する。本実施例では、得られた相似変換パラメータを式（５）に代入し、画像の全画素に対して実行することで相似変換が施された画像を得ることができる。ここで、変換後の画像座標は一般に整数値にならないため、幾何変換手段１７は、内挿を行いて画素の欠損を補償する。内挿の手法には、内挿点に最も近い観測点の画素値を内挿点の画素値とする方法である最近隣法や、内挿点周囲の観測点４点の画素値の線形補間を内挿点の画素値とする方法であるバイリニア法など様々な手法が利用可能である。幾何変換手段１７は、相似変換が施された画像を変換画像として出力する。【００９７】
以上のように、本実施形態では、上下左右方向に自由に撮影した画像群から、簡単なユーザ操作により、回転台やカメラに内蔵または装着されていない加速度センサなどの機材がなくても単一のカメラで位置合わせ画像を生成することができる。【００９８】
その理由は、注目物体を含む複数の画像のそれぞれについて、カメラの回転軸を構成する複数の３次元座標をユーザに指定させ、指定された３次元座標の画像座標系における長さを撮影したカメラ位置に応じて計算し、３次元座標の重心が複数の画像において一致するように幾何変換を施すためである。また、画像情報のみを利用して幾何変換パラメータを算出することによって、撮影時にカメラ以外の機材を不要としたためである。また、ユーザは第１基準点と第２基準点を１度だけ決定すればよい。その理由は、第１基準点と第２基準点を一度決定すれば、画像毎のカメラ位置姿勢に基づき、第１基準点と第２基準点は一意に定まるためである。【００９９】
なお、上記の説明では、具体的な例として相似変換を行う例を示したが、相似変換以外にもアフィン変換、射影変換など任意の幾何変換を選択可能である。その場合、第１基準点受付決定手段１２と第２基準点設定手段１５とがそれぞれ２点以上の画像座標を受け付けて、幾何変換手法決定手段１６に出力すればよい。そして、選択した幾何変換のパラメータ数と変換式により、幾何変換手法決定手段１６の計算方法を変更することで対応することが可能である。【０１００】
例えば、アフィン変換を選択する場合、必要な対応点数（基準点の数）は最低３点である。第１基準点受付決定手段１２と第２基準点設定手段１５とは、それぞれ３点以上の画像座標を受け付けて、幾何変換手法決定手段１６に出力すればよい。幾何変換手法決定手段１６は、出力される第１基準点および第２基準点の情報に基づき、以下の式（６）によって変換パラメータ（ａ，ｂ，ｃ，ｄ，ｅ，ｆ）を求めればよい。【０１０１】
ｕｉ’＝ａｕｉ＋ｂｖｉ＋ｃ
ｖｉ’＝ｄｕｉ＋ｅｖｉ＋ｆ・・・式（６）【０１０２】
また、例えば、射影変換を選択する場合、必要な対応点数は最低４点である。第１基準点受付決定手段１２と第２基準点設定手段１５とは、それぞれ４点以上の画像座標を受け付けて、幾何変換手法決定手段１６に出力すればよい。幾何変換手法決定手段１６は、出力される第１基準点および第２基準点の情報に基づき、以下の式（７）によって変換パラメータ（ａ１〜ａ８）を求めればよい。【０１０３】
ｕｉ’＝（ａ１＊ｕｉ＋ａ２＊ｖｉ＋ａ３）／（ａ７＊ｕｉ＋ａ８＊ｖｉ＋１）
ｖｉ’＝（ａ４＊ｕｉ＋ａ５＊ｖｉ＋ａ６）／（ａ７＊ｕｉ＋ａ８＊ｖｉ＋１）
・・・式（７）【０１０４】
なお、本実施形態は、各手段に対応したハードウェア等により実現される画像処理装置に限らず、図６に示すような情報処理システムによっても実現可能である。【０１０５】
図６は、本発明による画像処理装置を情報処理システムに実装した場合のブロック図である。図６に示す情報処理システムは、プロセッサ４００と、プログラムメモリ４０１と、記憶媒体４０２とを備える一般的な情報処理システムである。【０１０６】
記憶媒体４０２は、別個の記憶媒体からなる記憶領域であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ＲＡＭ（Random Access Memory）や、ハードディスク等の磁気記憶媒体を用いることができる。【０１０７】
プログラムメモリ４０１には、上述したカメラ位置姿勢推定手段１１と、第１基準点受付決定手段１２と、第１基準点空間座標射影手段１３と、画像表示手段１４と、第２基準点設定手段１５と、幾何変換手法決定手段１６と、幾何変換手段１７との各部の処理を、プロセッサ４００に行わせるためのプログラムが格納されており、このプログラムに従ってプロセッサ４００は動作する。【０１０８】
プロセッサ４００は、例えば、ＣＰＵ等のプログラムに従って動作するプロセッサであればよい。【０１０９】
このように、本発明は、コンピュータプログラムにより実現することも可能である。なお、プログラムによる動作が可能な手段（例えば、カメラ位置姿勢推定手段１１、第１基準点受付決定手段１２、第２基準点設定手段１５、幾何変換手法決定手段１６、幾何変換手段１７など）の全てをプログラムで動作させる必要はなく、一部をハードウェアで構成してもよい。また、それぞれ別々のユニットとして実現されていてもよい。【０１１０】
次に、本発明の概要について説明する。図７は、本発明の概要を示すブロック図である。図７に示すように、画像処理装置は、各変換対象画像について、撮影時のカメラ位置姿勢を推定するカメラ位置姿勢推定部１１１と、カメラ位置姿勢推定部１１１によって推定されたカメラ位置姿勢に基づいて、各変換対象画像における３次元座標で表現される第１基準点空間座標を各変換対象画像に射影し、各変換対象画像における画像座標で表現される第１基準点を生成する第１基準点射影部１１３（実施形態では、第１基準点受付決定手段１２および第１基準点空間座標射影手段１３で実現される。）と、画像座標で表現される第２基準点変換元座標とカメラ位置姿勢を受け付け、カメラ位置姿勢に応じて第１基準点の変換先である画像座標で表現される第２基準点を設定する第２基準点設定部１１５と、各変換対象画像について、第１基準点射影部１１３によって決定された第１基準点と、第２基準点設定部１１５によって設定された第２基準点とに基づいて、所定の幾何変換式のパラメータを算出する幾何変換手法決定部１１６と、幾何変換手法決定部１１６が算出したパラメータによる幾何変換式を用いて変換対象画像を幾何変換する幾何変換部１１７とを備える。【０１１１】
上記の実施形態の一部又は全部は以下の付記のようにも記載されうるが、本発明の構成は以下の構成に限定されない。【０１１２】
（付記１）各変換対象画像について、撮影時のカメラ位置姿勢を推定するカメラ位置姿勢推定手段と、前記カメラ位置姿勢推定手段によって推定されたカメラ位置姿勢に基づいて、各変換対象画像における３次元座標で表現される第１基準点空間座標を各変換対象画像に射影し、各変換対象画像における画像座標で表現される第１基準点を生成する第１基準点射影手段と、画像座標で表現される第２基準点変換元座標と前記カメラ位置姿勢を受け付け、前記カメラ位置姿勢に応じて前記第１基準点の変換先である画像座標で表現される第２基準点を設定する第２基準点設定手段と、各変換対象画像について、前記第１基準点射影手段によって決定された前記第１基準点と、前記第２基準点設定手段によって設定された前記第２基準点とに基づいて、所定の幾何変換式のパラメータを算出する幾何変換手法決定手段と、前記幾何変換手法決定手段が算出したパラメータによる幾何変換式を用いて変換対象画像を幾何変換する幾何変換手段とを備え、さらに、少なくとも１つの変換対象画像を表示する画像表示手段を備えた画像処理装置。【０１１３】
（付記２）付記１の画像処理装置であって、前記画像表示手段が、前記第１基準点射影手段により生成された前記第１基準点と前記第２基準点設定手段により設定された前記第２基準点の一方または両方を表示する画像処理装置。【０１１４】
（付記３）付記１または付記２の画像処理装置であって、幾何変換手段が、内挿を行い画素の欠損を補償する画像処理装置。【０１１５】
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。【０１１６】
この出願は、２０１２年１月１０日に出願された日本特許出願２０１２−２５５９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０１１７】
本発明は、単一のカメラで自由な方向から注目物体を撮影した画像から位置合わせ画像を生成する用途に好適に適用可能である。
【符号の説明】
【０１１８】
１１    カメラ位置姿勢推定手段
１２    第１基準点受付決定手段
１３    第１基準点空間座標射影手段
１４    画像表示手段
１５    第２基準点設定手段
１６    幾何変換手法決定手段
１７    幾何変換手段
１１１  カメラ位置姿勢推定部
１１３  第１基準点射影部
１１５  第２基準点設定部
１１６  幾何変換手法決定部
１１７  幾何変換部
４００  プロセッサ
４０１  プログラムメモリ
４０２  記録媒体
【図１】
2013105205.tif 000007
【図２】
2013105205.tif 000008
【図３】
2013105205.tif 000009
【図４】
2013105205.tif 000010
【図５】
2013105205.tif 000011
【図６】
2013105205.tif 000012
【図７】
2013105205.tif 000013
【国際調査報告】
2013105205.tif 000014
2013105205.tif 000015
2013105205.tif 000016
2013105205.tif 000017