(57)【特許請求の範囲】
【請求項１】
撮影画像に映り込む平面物体の法線ベクトルを算出するようにコンピュータを機能させることを特徴とするプログラムにおいて、
連続的な撮影画像のＮc個のフレームiと、
前記Ｎc個のフレームiの内のいずれかのフレームである登録画像から検出されたＮp個の登録点ｐj（＝[ｕｊ,ｖｊ]T、ｊ＝１〜Ｎp）の３次元座標Ｘj（＝[ｘｊ,ｙｊ,ｚｊ]T）と、
各フレームに映るＮp個の登録点ｐj毎の追跡座標ｍij（＝[ｕij,ｖij]T、i＝１〜Ｎc）とを用いて、
再投影誤差関数を最小化する、カメラ姿勢パラメータＲi（＝[ｒix,ｒiy,ｒiz]T）及びｔi（＝[ｔix,ｔiy,ｔiz]T）と、法線ベクトルｎt（＝[ｘｎ,ｙｎ,ｚｎ]T,ｘｎ２+ｙｎ２+ｚｎ２＝１）との両方を算出する法線ベクトル算出手段と
して機能させ、
前記法線ベクトル算出手段は、登録画像の登録点ｐjの３次元座標Ｘjを、登録点ｐjと、物体平面の通る基準点Ｘ０（＝[ｘ０,ｙ０,ｚ０]T）と、法線ベクトルｎtとによって表現し、登録点ｐjの物体平面への逆投影によって算出する
ようにコンピュータを機能させることを特徴とするプログラム。
【請求項２】
前記法線ベクトル算出手段は、基準点Ｘ０を、登録点ｐjの重心ｐ０（＝[ｕ０,ｖ０]Tの逆投影（Ｘ０＝１／ｗ０[ｕ０,ｖ０,１]T）によって算出する
ようにコンピュータを機能させることを特徴とする請求項１に記載のプログラム。
【請求項３】
前記法線ベクトル算出手段について、前記再投影誤差関数は、以下の式によって表される
Ｒi',ｔi',ｎt'＝arg minＲi,ｔi,ntΣi=1NcΣｊ=1Nｐ(ｍij−proj(Ｒi,ｔi,Ｘj))2
Ｘj＝(ｎt・Ｘ０／ｎt・ｐj')ｐj'
＝(ｘｎｘ０＋ｙｎｙ０＋ｚnｚ０)／(ｘｎｕj＋ｙｎｖj＋ｚｎ)[ｕj,ｖj,1]T
ｘn2＋ｙn2＋ｚn2＝１
ｚn＝√(１−ｘn2−ｙn2)
ｐj'（＝[ｕj,ｖj,１]T）：登録点ｐjの同次座標表現
i：撮影画像のＮc個のフレームの番数
ｍij：フレームiに映るＮp個の登録点ｐj毎の追跡座標
Ｒi及びｔi：フレームiのカメラ姿勢パラメータ
ｎt：平面物体の法線ベクトル
Ｘ０：物体平面の通る基準点
proj(Ｒi,ｔi,Ｘj)：３次元座標Ｘjの投影関数  [Ｒi｜ｔi]Ｘj
Ｘj'：Ｘjの同次座標表現
Ｒi'及びｔi'：フレームiのカメラ姿勢パラメータＲi及びｔiの推定値
ｎt'：平面物体の法線ベクトルｎtの推定値
ようにコンピュータを機能させることを特徴とする請求項１又は２に記載のプログラム。
【請求項４】
前記法線ベクトル算出手段について、前記再投影誤差関数における未知パラメータの数は、Ｎc個のフレームi毎に生じるカメラ姿勢パラメータＲi（＝[ｒix,ｒiy,ｒiz]T）及びｔi（＝[ｔix,ｔiy,ｔiz]T）の６個と、登録点に対する法線ベクトルｎt（＝[ｘｎ,ｙｎ,ｚｎ]T,ｘｎ２+ｙｎ２+ｚｎ２＝１）の２個とを合計した、６Ｎc＋２個となる
ようにコンピュータを機能させることを特徴とする請求項３に記載のプログラム。
【請求項５】
前記法線ベクトル算出手段は、撮影画像のカメラワークが微小であるとする前提条件の下、初期値として、カメラ姿勢パラメータのＲiを単位行列とし、ｔiを零ベクトルとして、前記法線ベクトルを算出する
ようにコンピュータを機能させることを特徴とする請求項１から４のいずれか１項に記載のプログラム。
【請求項６】
前記法線ベクトル算出手段について、前記再投影誤差関数は、バンドル調整における法線ベクトルの初期値を、光軸と平行な方向（ｎt＝[0,0,1]T）とする
ようにコンピュータを機能させることを特徴とする請求項１から５のいずれか１項に記載のプログラム。
【請求項７】
登録画像の登録点と撮影画像の追跡座標との間のホモグラフィ行列を用いて、誤追跡された追跡座標を除外する画像特徴追跡手段と
して更にコンピュータを機能させることを特徴とする請求項１から６のいずれか１項に記載のプログラム。
【請求項８】
撮影画像の中から、ユーザ操作に応じて平面物体が映る対象領域を特定し、該対象領域を登録画像として記憶する登録画像記憶手段と
して更にコンピュータを機能させることを特徴とする請求項１から７のいずれか１項に記載のプログラム。
【請求項９】
前記登録画像記憶手段は、登録画像を、前記法線ベクトル算出手段によって算出された法線ベクトルによって正面化画像に幾何変換し、該正面化画像を登録画像として記憶する
ようにコンピュータを機能させることを特徴とする請求項８に記載のプログラム。
【請求項１０】
前記画像特徴追跡手段は、追跡に成功した画像特徴の数が第１の所定閾値以下の場合に、画像処理を中断して、画像登録からやり直す
ようにコンピュータを機能させることを特徴とする請求項７に記載のプログラム。
【請求項１１】
前記画像特徴追跡手段は、追跡に成功した画像特徴の数が第２の所定閾値（＜第１の所定閾値）以下の場合に、画像処理を中断して、「対象物体が平面で無い」旨をユーザに明示する
ようにコンピュータを機能させることを特徴とする請求項１０に記載のプログラム。
【請求項１２】
撮影画像に映り込む平面物体の法線ベクトルを算出する画像処理装置において、
連続的な撮影画像のＮc個のフレームiと、
前記Ｎc個のフレームiの内のいずれかのフレームである登録画像から検出されたＮp個の登録点ｐj（＝[ｕｊ,ｖｊ]T、ｊ＝１〜Ｎp）の３次元座標Ｘj（＝[ｘｊ,ｙｊ,ｚｊ]T）と、
各フレームに映るＮp個の登録点ｐj毎の追跡座標ｍij（＝[ｕij,ｖij]T、i＝１〜Ｎc）とを用いて、
再投影誤差関数を最小化する、カメラ姿勢パラメータＲi（＝[ｒix,ｒiy,ｒiz]T）及びｔi（＝[ｔix,ｔiy,ｔiz]T）と、法線ベクトルｎt（＝[ｘｎ,ｙｎ,ｚｎ]T,ｘｎ２+ｙｎ２+ｚｎ２＝１）との両方を算出する法線ベクトル算出手段
を有し、
法線ベクトル算出手段は、登録画像の登録点ｐjの３次元座標Ｘjを、登録点ｐjと、物体平面の通る基準点Ｘ０（＝[ｘ０,ｙ０,ｚ０]T）と、法線ベクトルｎtとによって表現し、登録点ｐjの物体平面への逆投影によって算出する
ことを特徴とする画像処理装置。
【請求項１３】
撮影画像に映り込む平面物体の法線ベクトルを算出する装置の法線ベクトル算出方法において、
装置は、
連続的な撮影画像のＮc個のフレームiと、
前記Ｎc個のフレームiの内のいずれかのフレームである登録画像から検出されたＮp個の登録点ｐj（＝[ｕｊ,ｖｊ]T、ｊ＝１〜Ｎp）の３次元座標Ｘj（＝[ｘｊ,ｙｊ,ｚｊ]T）と、
各フレームに映るＮp個の登録点ｐj毎の追跡座標ｍij（＝[ｕij,ｖij]T、i＝１〜Ｎc）とを用いて、
再投影誤差関数を最小化する、カメラ姿勢パラメータＲi（＝[ｒix,ｒiy,ｒiz]T）及びｔi（＝[ｔix,ｔiy,ｔiz]T）と、法線ベクトルｎt（＝[ｘｎ,ｙｎ,ｚｎ]T,ｘｎ２+ｙｎ２+ｚｎ２＝１）との両方を算出するステップ
を実行し、
前記ステップは、登録画像の登録点ｐjの３次元座標Ｘjを、登録点ｐjと、物体平面の通る基準点Ｘ０（＝[ｘ０,ｙ０,ｚ０]T）と、法線ベクトルｎtとによって表現し、登録点ｐjの物体平面への逆投影によって算出する
ことを特徴とする装置の法線ベクトル算出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラによる撮影画像から平面物体の法線ベクトル（法線方向）を算出する技術に関する。
【背景技術】
【０００２】
コンピュータビジョンやロボットビジョンの技術によれば、カメラによって撮影された映像を解析することによって、映像内に映り込む対象物体の位置姿勢を推定・追跡することができる。例えば、監視カメラの連続的な撮影画像に映る車両を追跡する技術がある（例えば特許文献１参照）。この技術によれば、フレーム毎に、画像中の対象物体をテンプレートマッチングによって追跡する。但し、画像に映る車両の位置を追跡するに過ぎず、向き（方向）を追跡することはできない。
【０００３】
これに対し、対象物体に仮想情報を重畳表示する拡張現実感技術によれば、カメラに対する対象物体の６自由度の位置姿勢を推定・追跡し、現実感の高い拡張現実を表示することができる。例えば、画像中で指定された対象物体に仮想オブジェクトを配置し、その対象物体の位置姿勢を推定・追跡することによって、仮想オブジェクトがあたかも指定された領域に存在するかのように表示することができる（例えば特許文献２参照）。
また、対象物体の３次元構造を３Ｄセンサでリアルタイムに取得し、その位置姿勢を推定／追跡する技術もある（例えば特許文献３参照）。
更に、単眼カメラのみで、撮影画像の３次元構造を推定する技術もある（例えば特許文献４参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許３６５１７４５号公報
【特許文献２】特開２０１３−１６４６９７号公報
【特許文献３】特開２０１４−５１１５９１号公報
【特許文献４】特開２０１４−１４９５８２号公報
【特許文献５】特開２０１５−０６９３５４号公報
【非特許文献】
【０００５】
【非特許文献１】A. Ruiz et al., "Practical planar metric rectification," In Proc. of British Machine Vision Conference, 2006.
【非特許文献２】A Mulloni et al., "User friendly SLAM initialization," in Proc. of IEEE International Symposium on Mixed and Augmented Reality, 2013.
【非特許文献３】F Yu et al., "3D Reconstruction from Accidental Motion," in Proc. of IEEE Conference on Computer Vision and Pattern Recognition, 2014.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、前述した従来技術によれば、単眼カメラの連続的な撮影画像を用いて、対象物体の位置姿勢を推定・追跡する際に、対象物体の３次元構造が未知である場合、撮影角度の変化による見た目の変化を予測することができない。そのために、ロバスト（頑健）性が著しく損なわれる。
【０００７】
また、単眼カメラしか用いない場合、処理負荷や推定精度、カメラワーク（撮影中のカメラの動かし方）に対する制約が高い。例えば大きな視点変化を含む画像群を取得するようにカメラを動かす、ということが必要となる。
【０００８】
これに対し、撮影画像に映る対象物体が平面物体（又は概ね平面で近似可能な物体）であるという前提条件の下では、計算量を削減し且つ推定精度を高めることができる。対象物体の３次元構造の平面を、「法線ベクトル」で表すことによって、計算量に影響する未知パラメータ数を大幅に減らすことができる。
対象物体が平面であれば、例えば画像間のホモグラフィ行列から、対象物体の方向を推定することもできる（例えば非特許文献１参照）。
また、対象物体に複数の平面が含まれる場合に推定精度を向上させる技術もある（例えば特許文献５参照）。
しかしながら、これら技術についても、カメラワークに対する制約が存在する。
【０００９】
更に、既存技術のカメラワークの制約を解消する技術として、小さなカメラワークで撮影された連続画像から、バンドル調整を用いて撮影シーンの３次元構造を推定する技術がある（例えば非特許文献２、３参照）。これらの技術によれば、小さなカメラワークを前提とすることによって、推定するパラメータを制約し、初期パラメータの精度を向上させている。
しかしながら、この技術によれば、指定する対象物体の模様に制約があり、対象物体から万遍なく特徴点（画像特徴）が検出される場合にしか、実用的な精度を得ることができない。また、特徴点の追跡失敗に対するロバスト性に乏しい。
【００１０】
そこで、本発明は、対象物体が平面物体（又は概ね平面で近似可能な物体）であるという前提条件の下で、カメラワークの大きな制約無しに、連続的な撮影画像に映り込む平面物体の法線ベクトルを、できる限り少ない計算量で算出することができるプログラム、装置及び方法を提供する。
【課題を解決するための手段】
【００１１】
本発明によれば、撮影画像に映り込む平面物体の法線ベクトルを算出するようにコンピュータを機能させることを特徴とするプログラムにおいて、
連続的な撮影画像のＮc個のフレームiと、
Ｎc個のフレームiの内のいずれかのフレームである登録画像から検出されたＮp個の登録点ｐj（＝[ｕｊ,ｖｊ]T、ｊ＝１〜Ｎp）の３次元座標Ｘj（＝[ｘｊ,ｙｊ,ｚｊ]T）と、
各フレームに映るＮp個の登録点ｐj毎の追跡座標ｍij（＝[ｕij,ｖij]T、i＝１〜Ｎc）とを用いて、
再投影誤差関数を最小化する、カメラ姿勢パラメータＲi（＝[ｒix,ｒiy,ｒiz]T）及びｔi（＝[ｔix,ｔiy,ｔiz]T）と、法線ベクトルｎt（＝[ｘｎ,ｙｎ,ｚｎ]T,ｘｎ２+ｙｎ２+ｚｎ２＝１）との両方を算出する法線ベクトル算出手段と
して機能させ、
法線ベクトル算出手段は、登録画像の登録点ｐjの３次元座標Ｘjを、登録点ｐjと、物体平面の通る基準点Ｘ０（＝[ｘ０,ｙ０,ｚ０]T）と、法線ベクトルｎtとによって表現し、登録点ｐjの物体平面への逆投影によって算出する
ようにコンピュータを機能させることを特徴とする。
【００１２】
本発明のプログラムにおける他の実施形態によれば、
法線ベクトル算出手段は、基準点Ｘ０を、登録点ｐjの重心ｐ０（＝[ｕ０,ｖ０]Tの逆投影（Ｘ０＝１／ｗ０[ｕ０,ｖ０,１]T）によって算出する
ようにコンピュータを機能させることも好ましい。
【００１３】
本発明のプログラムにおける他の実施形態によれば、
法線ベクトル算出手段について、再投影誤差関数は、以下の式によって表される
Ｒi',ｔi',ｎt'＝arg minＲi,ｔi,ntΣi=1NcΣｊ=1Nｐ(ｍij−proj(Ｒi,ｔi,Ｘj))2
Ｘj＝(ｎt・Ｘ０／ｎt・ｐj')ｐj'
＝(ｘｎｘ０＋ｙｎｙ０＋ｚnｚ０)／(ｘｎｕj＋ｙｎｖj＋ｚｎ)[ｕj,ｖj,1]T
ｘn2＋ｙn2＋ｚn2＝１
ｚn＝√(１−ｘn2−ｙn2)
ｐj'（＝[ｕj,ｖj,１]T）：登録点ｐjの同次座標表現
i：撮影画像のＮc個のフレームの番数
ｍij：フレームiに映るＮp個の登録点ｐj毎の追跡座標
Ｒi及びｔi：フレームiのカメラ姿勢パラメータ
ｎt：平面物体の法線ベクトル
Ｘ０：物体平面の通る基準点
proj(Ｒi,ｔi,Ｘj)：３次元座標Ｘjの投影関数  [Ｒi｜ｔi]Ｘj'
Ｘj'：Ｘjの同次座標表現
Ｒi'及びｔi'：フレームiのカメラ姿勢パラメータＲi及びｔiの推定値
ｎt'：平面物体の法線ベクトルｎtの推定値
ようにコンピュータを機能させることも好ましい。
【００１４】
本発明のプログラムにおける他の実施形態によれば、
法線ベクトル算出手段について、再投影誤差関数における未知パラメータの数は、Ｎc個のフレームi毎に生じるカメラ姿勢パラメータＲi（＝[ｒix,ｒiy,ｒiz]T）及びｔi（＝[ｔix,ｔiy,ｔiz]T）の６個と、登録点に対する法線ベクトルｎt（＝[ｘｎ,ｙｎ,ｚｎ]T,ｘｎ２+ｙｎ２+ｚｎ２＝１）の２個とを合計した、６Ｎc＋２個となる
ようにコンピュータを機能させることも好ましい。
【００１５】
本発明のプログラムにおける他の実施形態によれば、
法線ベクトル算出手段は、撮影画像のカメラワークが微小であるとする前提条件の下、初期値として、カメラ姿勢パラメータのＲiを単位行列とし、ｔiを零ベクトルとして、法線ベクトルを算出する
ようにコンピュータを機能させることも好ましい。
【００１６】
本発明のプログラムにおける他の実施形態によれば、
法線ベクトル算出手段について、再投影誤差関数は、バンドル調整における法線ベクトルの初期値を、光軸と平行な方向ｎt＝[0,0,1]Tとする
ようにコンピュータを機能させることも好ましい。
【００１７】
本発明のプログラムにおける他の実施形態によれば、
登録画像の登録点と撮影画像の追跡座標との間のホモグラフィ行列を用いて、誤追跡された追跡座標を除外する画像特徴追跡手段と
して更にコンピュータを機能させることも好ましい。
【００１８】
本発明のプログラムにおける他の実施形態によれば、
撮影画像の中から、ユーザ操作に応じて平面物体が映る対象領域を特定し、該対象領域を登録画像として記憶する登録画像記憶手段と
して更にコンピュータを機能させることも好ましい。
【００１９】
本発明のプログラムにおける他の実施形態によれば、
登録画像記憶手段は、登録画像を、法線ベクトル算出手段によって算出された法線ベクトルによって正面化画像に幾何変換し、該正面化画像を登録画像として記憶する
ようにコンピュータを機能させることも好ましい。
【００２０】
本発明によれば、撮影画像に映り込む平面物体の法線ベクトルを算出する画像処理装置において、
連続的な撮影画像のＮc個のフレームiと、
Ｎc個のフレームiの内のいずれかのフレームである登録画像から検出されたＮp個の登録点ｐj（＝[ｕｊ,ｖｊ]T、ｊ＝１〜Ｎp）の３次元座標Ｘj（＝[ｘｊ,ｙｊ,ｚｊ]T）と、
各フレームに映るＮp個の登録点ｐj毎の追跡座標ｍij（＝[ｕij,ｖij]T、i＝１〜Ｎc）とを用いて、
再投影誤差関数を最小化する、カメラ姿勢パラメータＲi（＝[ｒix,ｒiy,ｒiz]T）及びｔi（＝[ｔix,ｔiy,ｔiz]T）と、法線ベクトルｎt（＝[ｘｎ,ｙｎ,ｚｎ]T,ｘｎ２+ｙｎ２+ｚｎ２＝１）との両方を算出する法線ベクトル算出手段
を有し、
法線ベクトル算出手段は、登録画像の登録点ｐjの３次元座標Ｘjを、登録点ｐjと、物体平面の通る基準点Ｘ０（＝[ｘ０,ｙ０,ｚ０]T）と、法線ベクトルｎtとによって表現し、登録点ｐjの物体平面への逆投影によって算出する
ことを特徴とする。
【００２１】
本発明によれば、撮影画像に映り込む平面物体の法線ベクトルを算出する装置の法線ベクトル算出方法において、
装置は、
連続的な撮影画像のＮc個のフレームiと、
Ｎc個のフレームiの内のいずれかのフレームである登録画像から検出されたＮp個の登録点ｐj（＝[ｕｊ,ｖｊ]T、ｊ＝１〜Ｎp）の３次元座標Ｘj（＝[ｘｊ,ｙｊ,ｚｊ]T）と、
各フレームに映るＮp個の登録点ｐj毎の追跡座標ｍij（＝[ｕij,ｖij]T、i＝１〜Ｎc）とを用いて、
再投影誤差関数を最小化する、カメラ姿勢パラメータＲi（＝[ｒix,ｒiy,ｒiz]T）及びｔi（＝[ｔix,ｔiy,ｔiz]T）と、法線ベクトルｎt（＝[ｘｎ,ｙｎ,ｚｎ]T,ｘｎ２+ｙｎ２+ｚｎ２＝１）との両方を算出するステップ
を実行し、
ステップは、登録画像の登録点ｐjの３次元座標Ｘjを、登録点ｐjと、物体平面の通る基準点Ｘ０（＝[ｘ０,ｙ０,ｚ０]T）と、法線ベクトルｎtとによって表現し、登録点ｐjの物体平面への逆投影によって算出する
ことを特徴とする。
【発明の効果】
【００２２】
本発明のプログラム、装置及び方法によれば、対象物体が平面物体（又は概ね平面で近似可能な物体）であるという前提条件の下で、カメラワークの大きな制約無しに、連続的な撮影画像に映り込む平面物体の法線ベクトルを、大幅に少ない計算量で算出することができる。具体的には、法線ベクトルを算出するためのバンドル調整における未知パラメータの数を削減しているために、処理負荷を削減し、推定精度を高めることができる。また、ホモグラフィ行列を用いることによって、特徴点の追跡失敗に対するロバスト性も向上させることができる。
【図面の簡単な説明】
【００２３】
【図１】本発明における画像処理装置の機能構成図である。
【図２】登録画像及び正面化画像の法線ベクトルを表す説明図である。
【図３】法線ベクトルと正面化回転行列との関係を表す説明図である。
【図４】登録画像の登録点と撮影画像の追跡座標との間の対応関係を表す説明図である
【図５】登録点と追跡座標との対応を表す画像図である。
【図６】異なる未知パラメータの数で表現した特徴点（追跡座標）を表す画像図である。
【図７】登録点と基準点、法線ベクトル、対象物平面の幾何的関係を表す説明図である。
【図８】光軸中心と、画像平面上の登録画像の登録点と、撮影画像の法線ベクトルとの幾何的関係を表すグラフである。
【図９】バンドル調整に応じてフレーム数に対する法線ベクトルの収束及び処理時間を表すグラフである。
【発明を実施するための形態】
【００２４】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００２５】
図１は、本発明における画像処理装置の機能構成図である。
【００２６】
図１の画像処理装置によれば、画像取得部１０と、登録画像記憶部１１と、画像特徴追跡部１２と、法線ベクトル算出部１３とを有する。これら機能構成部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、装置の法線ベクトル算出方法としても理解できる。
【００２７】
本発明によれば、連続的な撮影画像に映り込む平面物体の法線ベクトルを算出する際に、以下の２つの条件を前提とすることによって、３次元構造の未知のパラメータ数を削減し、できる限り少ない計算量で実行する。
（前提条件１）対象物体が、平面物体（又は概ね平面で近似可能な物体）である
（前提条件２）撮影画像のカメラワークが、微小である
【００２８】
撮影画像に映り込む「対象物体」とは、平面で且つ剛体の「平面物体」であり、時間経過に応じて変形するような物体を対象としていない。また、特徴点追跡によって法線ベクトルを推定するために、撮影画像に映る対象物体から、比較的多くの特徴点が検出されることを前提としている。但し、単一色の平面の場合は、特徴点が検出されにくい場合がある。対象物体としては、例えば雑誌やポスター、広告、トレーディングカード、建物の壁面が想定されている。
【００２９】
「カメラワーク」とは、ユーザによるカメラの動かし方を意味する。「カメラワークが微小である」ということは、ユーザがカメラをできる限り動かさないように把持して、対象物体を撮影している状態をいう。これに対し、「カメラワークが大きい」とは、ユーザがカメラを大きく動かして、対象物体を様々な位置と方向から撮影している状態をいう。
【００３０】
［画像取得部１０］
画像取得部１０は、カメラによる連続的な撮影画像を取得する。撮影画像は、予め録画されたものであってもよいし、インタフェースを介して外部から時系列に入力されるもの（例えばライブ映像）であってもよい。インタフェースは、ネットワークに接続する通信インタフェースであってもよいし、カメラからの入力インタフェースであってもよい。取得された撮影画像は、画像特徴追跡部１２へ出力される。ここで、登録画像がユーザによって指定される場合、取得された撮影画像は、登録画像記憶部１１へも出力される。
【００３１】
［登録画像記憶部１１］
ユーザは、撮影画像中の平面物体の姿勢推定を開始する際に、ユーザインタフェースを介して登録画像を設定し、姿勢推定の開始を指示する。登録画像記憶部１１は、画像取得部１０から入力された撮影画像の中から、対象領域となる登録画像を記憶する。
【００３２】
登録画像記憶部１１は、ユーザからユーザインタフェースを介して、平面物体が映る大まかな画像範囲の指示を受け付けることもできる。例えば、ユーザが、平面物体を包含する矩形領域や輪郭を、ポインティング操作に応じて指示する。ここで、登録画像には、その平面物体が、比較的大きく撮像されていることが好ましい。この登録画像が、連続して入力される撮影画像の中で追跡されていく。
【００３３】
登録画像記憶部１１は、登録画像の画像範囲のトリミングや、画像範囲の外側の背景を単一色で塗りつぶすように画像処理を加えることによって、背景に対する画像特徴の追跡のロバスト性を高めることができる。また、対象物体を表すマスク画像（登録画像と同じ範囲で、対象領域の輝度値を２５５、それ以外の輝度値を０とすることで表現した画像）を保持し、そのマスク画像を用いて画像特徴追跡部１２が、画像特徴を検出する範囲を制限してもよい。
【００３４】
図２は、登録画像及び正面化画像の法線ベクトルを表す説明図である。
【００３５】
図２によれば、登録画像について、法線ベクトル算出部１３によって算出された法線ベクトルｎt＝[ｘn,ｙn,ｚn]Tを用いて幾何変換している。これによって、平面物体が映る登録画像を、正面化画像（平面物体を正面から撮像した際の画像をシミュレートした変換画像）に変換することができる。平面物体が正面から撮影されている場合、法線ベクトルは、画像平面と垂直、光軸と並行の関係になる。逆に、平面物体が真横から撮影されている場合、法線ベクトルは、光軸と垂直、画像平面と並行の関係になる。
【００３６】
登録画像記憶部１１は、その正面化画像を記憶することができる。登録画像を正面化画像に変換することによって、画像認識や姿勢追跡の精度を向上させることができる。
【００３７】
図３は、法線ベクトルと正面化回転行列との関係を表す説明図である。
【００３８】
図３によれば、回転行列をＲrecは、平面物体の法線ベクトルｎtが、光軸（Ｚ軸）と並行なベクトルｎZと一致するように変換するものである。
Ｒrec＝ＲY(θY)ＲX(θX)
ＲX：Ｘ軸周りの回転行列
ＲY：Ｙ軸周りの回転行列
θX：ｎtのＸ軸に沿った角度
θY：ｎtのＹ軸に沿った角度
【００３９】
この回転行列Ｒrecを用いて、登録画像を正面化することができる。例えば以下のようなホモグラフィ行列Ｈrecによって、登録画像を正面化画像に変換することができる。
Ｈrec＝[ｐ1,ｐ2,ｐ4］
Ｐrec＝[ｐ1,ｐ2,ｐ3,ｐ4］＝Ａ[Ｒrec｜ｔ]
ｔ：登録画像中の平面物体の位置を調整する並進ベクトル
ここで、ｔは正面化画像中の平面物体が画像中央に来るように調整して設定することが望ましい。
【００４０】
カメラの内部パラメータＡは、画像の歪みを無視した場合、以下のように表すことができる。
【数１】
0006515039.tif 000002
ｆx、ｆｙ：焦点距離、ｃx、ｃy：光軸のズレ
焦点距離ｆx、ｆy及び光軸のズレｃx、ｃyは、事前のキャリブレーションによって算出しておくことができる。画像平面上の二次元ピクセル座標[ｕ,ｖ]Tは、内部パラメータを用いて、以下の式で正規化座標[ｕ',ｖ']Tに変換することができる。
ｕ'＝(ｕ−ｃx)／ｆx  ，  ｖ'＝(ｖ−ｃy)／ｆy
このように、二次元座標を正規化座標で表現することにより、式を簡潔に記載することができる。そのために、本発明の登録点や特徴点の二次元座標は、正規化座標で記載していることに注意すべきである。
【００４１】
［画像特徴追跡部１２］
画像特徴追跡部１２は、連続的な撮影画像の中で、登録画像の登録点（画像特徴）を追跡する。
【００４２】
図４は、登録画像の登録点と撮影画像の追跡座標との間の対応関係を表す説明図である。
【００４３】
画像間で画像特徴を追跡するために、一般的に以下の２つの技術がある。
＜特徴点追跡ベース＞
＜局所特徴量のマッチングベース＞
画像特徴追跡部１２は、２つのいずれか一方又は両方を用いて、登録画像（法線ベクトルｎt）の登録点ｐj（＝[ｕｊ,ｖｊ]T、ｊ＝１〜Ｎp）に対応する撮影画像の追跡座標ｍij（＝[ｕij,ｖij]T、i＝１〜Ｎc）を取得する。
【００４４】
＜特徴点追跡ベース＞
特徴点追跡ベースの技術によれば、Harrisコーナー検出器や、ＦＡＳＴコーナー検出器によって、登録画像の登録点に対応する撮影画像の中の追跡座標を検出する。一般的に、ＫＬＴ(Kanade-Lucas-Tomasi)アルゴリズムや、特徴点周囲局所領域を切り出したパッチのテンプレートマッチングの技術が用いられる。テンプレートマッチングの類似度算出方法としては、ＮＣＣ(Normalized Cross Correlation)やＳＳＤ(Sum of Squared Difference)を用いることができる。
【００４５】
＜局所特徴量のマッチングベース＞
局所特徴量のマッチングベースの技術によれば、ＳＩＦＴ(Scale-Invariant Feature Transform)やＳＵＲＦ(Speeded Up Robust Features)のような、位置や回転、歪みの変化に頑健な特徴量のマッチングによって画像間の点対応を取得する。ＳＩＦＴは、１枚の画像からは１２８次元の特徴ベクトルの集合を抽出し、スケールスペースを用いて特徴的な局所領域を解析し、そのスケール変化及び回転に不変となる特徴ベクトルを記述する。ＳＵＲＦは、積分画像を利用することによってＳＩＦＴよりも高速処理が可能であって、１枚の画像から６４次元の特徴ベクトルの集合を抽出する。また、バイナリ特徴ベクトル抽出アルゴリズムであるＦＡＳＴ(Features from Accelerated Segment Test)やＦＲＥＡＫ(Fast Retina Keypoint)の場合、ＳＩＦＴやＳＵＲＦよりも高速且つコンパクトな特徴ベクトルを抽出することができる。
【００４６】
ここで、登録点と追跡座標との間で、背景画像が写りこむ場合や、照明変化、パターン模様等に起因して、誤追跡（アウトライア）される場合がある。後段の法線ベクトル算出部１３に入力される登録点及び追跡座標には、アウトライアの対応点が入力されないことが好ましい。ここで、画像特徴追跡部１２は、登録画像の登録点と撮影画像の追跡座標との間のホモグラフィ行列を用いて、誤追跡された追跡座標を除外する。即ち、アウトライアの追跡座標が除外され、インライアの追跡座標のみが、法線ベクトル算出部１３へ出力される。
【００４７】
図５は、登録点と追跡座標との対応を表す画像図である。
【００４８】
図５によれば、対象物体が平面であると仮定して、幾何的な検証によって誤追跡を除外することができる。平面物体上の登録点の位置の変化は、ホモグラフィ変換で表現することができる。そのために、画像特徴追跡部１２は、登録画像と撮影画像との間のホモグラフィ行列ＨRCを推定し、そのＨRCに該当しない追跡座標を除外することによって、追跡のロバスト性を向上させることができる。
【００４９】
具体的には、各登録点ｐjについて、ＨRCを用いた変換位置と、実際の追跡座標ｍijの距離ｄijを、以下の式によって算出する。
ｄij＝｜ｍij−ｐ'ij｜
Ｐ'ij￣＝ＨRCｐij￣
Ｐij'￣：ｐijの同次表現
ｄij：追跡座標ｍijのホモグラフィ行列ＨRCからの乖離度
ｄijが一定の閾値以上の追跡座標ｍijを除外することによって、追跡のロバスト性を向上させることができる。
【００５０】
一般に、ホモグラフィ行列の推定値は、登録点の投影誤差関数の最小化問題を解くことによって得られる。ここで、更に、ＲＡＮＳＡＣ(RANdom SAmple Consensus)のようなロバスト推定を併用することによって、ＨRCに該当する追跡座標のインライアとアウトライアとを、ロバストに分離することができる。
【００５１】
登録画像の全面に平面物体が映る場合、画像間のホモグラフィ行列を高精度に推定することができる。一方で、登録画像の一部にしか平面物体が映らない場合（背景が写る場合）や、対象物体が一部立体的構造を含む場合、画像特徴の対応からホモグラフィ行列を一意に推定することができない。このとき、正しい追跡座標であっても、ホモグラフィ推定によってアウトライアとなることが起こりうる。これらの点は平面構造に合致しないため、追跡結果に含まれると法線ベクトルの推定精度の劣化要因となる。そのため、ロバスト推定で除外されることが好ましい。
【００５２】
このような点が少数であれば、ロバスト推定で正しく除外することができる。尚、背景に対して平面物体の面積が相対的に小さい場合は、アウトライアの除外に失敗し、誤ったホモグラフィ行列を算出してしまうことに留意すべきである。
【００５３】
＜ホモグラフィ行列を用いた登録画像の画像範囲の推定＞
ユーザの指示に応じて平面物体が映る登録画像から、ある程度、背景領域を除外することができる。しかしながら、ユーザが厳密に、平面物体を登録画像全体で指定することは難しく、登録画像の指定には誤差が含まれる。尚、本来、利便性の観点からは、対象領域をユーザに指定させる必要が無いことが好ましい。
【００５４】
ここで、画像特徴追跡部１２は、登録画像中の対象領域を推定し、ホモグラフィ行列の算出に用いる画像特徴を制限することで、ホモグラフィ推定のロバスト性を向上させる。また、対象領域外の画像特徴に対して、ホモグラフィ行列と合致するかを検証することによって、画像特徴追跡のロバスト性を向上させる。最終的には、インライアとなった登録点のみを用いて対象領域を更新することができる。
【００５５】
＜登録画像に映る平面物体の位置の推定＞
平面物体は、登録画像の中央付近に写っていることが一般的に期待されており、対象領域の初期値として、登録画像の中央付近の領域を指定することが望ましい。ホモグラフィ行列に合致するインライアの取得後、インライアを包含する領域を対象領域として更新する。
【００５６】
＜大きすぎるカメラワークに対する処理の中断＞
追跡に成功した追跡座標（画像特徴）の数が著しく少ない場合、複数の原因がある。例えば、カメラワークが大きすぎるか、光源変化やフォーカスの変化によって画像特徴の追跡が著しく困難な画像が入力されたか、登録画像にノイズが乗っている場合がある。これらの場合、法線ベクトルを正確に算出することができない。そのために、画像特徴追跡部１２は、追跡に成功した画像特徴の数が第１の所定閾値τｎp以下の場合に、画像処理を中断して、画像登録からやり直す。
【００５７】
＜少なすぎる追跡座標に対する処理の中断＞
十分な数の追跡座標（画像特徴）が追跡できたにもかかわらず、ホモグラフィ行列に合致する（インライアとなる）追跡座標の数が著しく少ない場合、対象領域が平面で無い場合が想定される。この場合、画像特徴追跡部１２は、追跡に成功した画像特徴の数が第２の所定閾値（＜第１の所定閾値）以下の場合に、画像処理を中断して、「対象物体が平面で無い」旨をユーザに明示する。
【００５８】
＜多面体の対象物体に対する繰り返し処理＞
対象物体が複数平面で構成される場合は、第１の対象領域についてアウトライアとなった追跡座標のみから再度、ＲＡＮＳＡＣ等のロバスト推定を用いて、第２の対象領域として、第１のＨRCとは異なる第２のホモグラフィ行列ＨRCを算出し、そのインライアとなる追跡座標を抽出することも好ましい。３つ以上の対象領域についても、これを繰り返すことができる。
【００５９】
第２の対象領域以降の法線ベクトルは、法線ベクトル算出部１３の処理によって、第１の対象領域の法線ベクトルを推定した後で同様の処理を繰り返していくか、又は、各対象領域に対して法線ベクトル算出部１３の処理を並列に実行することもできる。並列的に実行する方が、法線ベクトルを高速に推定することができるが、処理負荷が高くなる。処理リソースに応じて、処理手順を選択することが好ましい。
【００６０】
［法線ベクトル算出部１３］
法線ベクトル算出部１３には、画像特徴追跡部１２から、各撮影画像に対応する連続的な登録点ｐの群が入力される。法線ベクトル算出部１３は、撮影画像に映り込む平面物体の法線ベクトルを算出するために、以下の要素を用いる。
ｉ：連続的な撮影画像のＮc個のフレームの番数
Ｘj（＝[ｘｊ,ｙｊ,ｚｊ]T）：平面物体の登録画像から検出されたＮp個の登録点ｐj（＝[ｕｊ,ｖｊ]T、ｊ＝１〜Ｎp）の３次元座標
ｍij（＝[ｕij,ｖij]T、i＝１〜Ｎc）：各フレームに映るＮp個の登録点ｐj毎の追跡座標
そして、法線ベクトル算出部１３は、再投影誤差関数（バンドル調整）を最小化する、カメラ姿勢パラメータＲi（＝[ｒix,ｒiy,ｒiz]T）及びｔi（＝[ｔix,ｔiy,ｔiz]T）と、法線ベクトルｎt（＝[ｘｎ,ｙｎ,ｚｎ]T,ｘｎ２+ｙｎ２+ｚｎ２＝１）とを算出する。
このとき、本発明の法線ベクトル算出部１３は、登録画像の登録点ｐjの３次元座標Ｘjを、登録点ｐjと、物体平面の通る基準点Ｘ０（＝[ｘ０,ｙ０,ｚ０]T）と、法線ベクトルｎtとによって表現し、登録点ｐjの物体平面への逆投影によって算出する。
これによって、Ｘj（＝[ｘｊ,ｙｊ,ｚｊ]T）を未知パラメータとすることなく、これに代えて、法線ベクトルｎtの２パラメータを未知パラメータとすることができる。
【００６１】
また、法線ベクトル算出部１３は、基準点Ｘ０を、登録点ｐjの重心ｐ０（＝[ｕ０,ｖ０]Tの逆投影（Ｘ０＝１／ｗ０[ｕ０,ｖ０,１]T）によって算出するものであってもよい。
物体平面の通る基準点Ｘ０（＝[ｘ０,ｙ０,ｚ０]T）は、再投影誤差関数の最小化計算の安定性の観点から、対象物平面の中心付近に設定することが好ましい。また、推定されるカメラ姿勢はスケール不定のため、Ｘ０の奥行きは任意の値に設定してもよい。例えば、Ｘ０＝[０,０,ｆ]T（ｆは焦点距離ｆｘ、ｆｙに近い値）と設定してもよい。
但し、対象物が画像中央に映るとは限らないため、登録点ｐjの重心ｐ０（＝[ｕ０,ｖ０]T）を算出して、ｐ０の逆投影点Ｘ０（＝１／ｗ０[ｕ０,ｖ０,１]T）を算出してもよい。これにより、対象物が画面の端の方に映る場合における、法線ベクトル算出の安定性を向上することができる。この場合についても、奥行き１／ｗ０は任意の値（例えば焦点距離ｆｘ、ｆｙに近い値）に設定してもよい。また、予め対象物平面までの距離が大まかに分かっている場合には、分かっている範囲に設定することも好ましい。
【００６２】
法線ベクトル算出部１３について、再投影誤差関数（バンドル調整）は、以下の式によって表される。
Ｒi',ｔi',ｎt'＝arg minＲi,ｔi,ntΣi=1NcΣｊ=1Nｐ(ｍij−proj(Ｒi,ｔi,Ｘj))2
Ｘj＝(ｎt・Ｘ０／ｎt・ｐj')ｐj'
＝(ｘｎｘ０＋ｙｎｙ０＋ｚnｚ０)／(ｘｎｕj＋ｙｎｖj＋ｚｎ)[ｕj,ｖj,１]T
ｘn2＋ｙn2＋ｚn2＝１
ｚn＝√(１−ｘn2−ｙn2)
ｐj'（＝[ｕj,ｖj,１]T）：登録点ｐjの同次座標表現
i：撮影画像のＮc個のフレームの番数
ｍij：フレームiに映るＮp個の登録点ｐj毎の追跡座標
Ｒi及びｔi：フレームiのカメラ姿勢パラメータ
ｎt：平面物体の法線ベクトル
Ｘ０：物体平面の通る基準点
proj(Ｒi,ｔi,Ｘj)：３次元座標Ｘjの投影関数  [Ｒi｜ｔi]Ｘj'
Ｘj'：Ｘjの同次座標表現
Ｒi'及びｔi'：フレームiのカメラ姿勢パラメータＲi及びｔiの推定値
ｎt'：平面物体の法線ベクトルｎtの推定値
【００６３】
図６は、異なる未知パラメータの数で表現した特徴点（追跡座標）を表す画像図である。
【００６４】
既存技術に基づく３次元復元で用いられるバンドル調整の場合、Ｘj（＝[ｘｊ,ｙｊ,ｚｊ]T）を未知パラメータとしている。そのために、再投影誤差関数における未知パラメータの数は、Ｎc個のフレームi毎に生じるカメラ姿勢パラメータＲi（＝[ｒix,ｒiy,ｒiz]T）及びｔi（＝[ｔix,ｔiy,ｔiz]T）の６個と、Ｎp個の３次元座標の登録点ｐjとなり、未知パラメータの数は、６Ｎc＋３Ｎｐ個となる。
Ｒi',ｔi',Ｘj'＝arg minＲi,ｔi,ｘjΣi=1NcΣj=1Np(ｍij−proj(Ｒi,ｔi,Ｘj))2
【００６５】
これに対し、本発明によれば、Ｘj（＝[ｘｊ,ｙｊ,ｚｊ]T）に代えて、法線ベクトルｎtの２パラメータを未知パラメータｎt’とする。そのために、再投影誤差関数における未知パラメータの数は、Ｎc個のフレームi毎に生じるカメラ姿勢パラメータＲi（＝[ｒix,ｒiy,ｒiz]T）及びｔi（＝[ｔix,ｔiy,ｔiz]T）の６個と、登録点ｐjに対する法線ベクトルｎt（＝[ｘｎ,ｙｎ,ｚｎ]T,ｘｎ２+ｙｎ２+ｚｎ２＝１）の２個とを合計した、６Ｎc＋２個となる。
Ｒi',ｔi',ｎt'＝arg minＲi,ｔi,ntΣi=1NcΣｊ=1Nｐ(ｍij−proj(Ｒi,ｔi,Ｘj))2
そのために、本発明によれば、パラメータ数を大幅に削減することができ、処理負荷の削減と、精度の向上との効果を得られる。
【００６６】
図７は、登録点と基準点、法線ベクトル、対象物平面の幾何的関係を表す説明図である。
【００６７】
法線ベクトルを算出できれば、平面物体の３次元構造を算出できる。ここで、法線ベクトルの推定対象となる平面物体は、事前に見た目やサイズに関する情報が全く与えられていないこととする。法線ベクトル算出部１３の推定する平面物体の法線ベクトルとは、画像平面に対する平面物体の法線ベクトルの情報である。
【００６８】
また、法線ベクトル算出部１３について、再投影誤差関数は、バンドル調整における法線ベクトルの初期値を、光軸と平行な方向とすることが好ましい。
【００６９】
再投影誤差関数の最小化は、ガウス・ニュートン法に代表される、非線形最小化問題の解法を用いることができる。
【００７０】
法線ベクトル算出部１３は、撮影画像のカメラワークが微小であるとする前提条件の下、初期値として、カメラ姿勢パラメータのＲiを単位行列とし、ｔiを零ベクトルとし、ｎt＝[0,0,1]Tとして、法線ベクトルを算出する。回転行列Ｒiは、以下の式で分解できるため、パラメータｒx,ｒy,ｒzをパラメータとして用いる。
【数２】
0006515039.tif 000003
θ＝||ｒ||L2
ｒ＝[ｒx,ｒy,ｒz]T
【００７１】
特に、カメラワーク（視点変化）が小さいほど、回転行列Ｒiは以下の式で近似できるため、θix,θiy,θizをパラメータとして用いてもよい。
【数３】
0006515039.tif 000004
最終的に、法線ベクトル算出部１３は、推定した法線ベクトルｎtを、所定のアプリケーションへ出力することができる。また、法線ベクトルｎtは、登録画像記憶部１１へ出力され、登録画像に対する正面化画像を記憶することもできる。
【００７２】
図８は、光軸中心と、画像平面上の登録画像の登録点と、撮影画像の法線ベクトルとの幾何的関係を表すグラフである。
【００７３】
図８によれば、400×400ピクセルの画像平面を、20ピクセル間隔でサンプリングし、441点の初期追跡点ｐjを取得したものである（Ｎp＝４４１）。
対象平面の法線ｎtを、z軸方向から角度４５度以内でランダムに生成し、登録点ｐjを逆投影して３次元座標Ｘjを取得する。焦点距離ｆは、500mmに設定している。
そして、初期のカメラ姿勢ｒ0＝[0 0 0]T、ｔ0＝[0 0 0]Tにガウシアンノイズを加え、カメラ姿勢Ｒi及びｔi（i＝1〜100）を生成する。
カメラ姿勢Ｒi及びｔiによってＸjを投影し、ガウシアンノイズを加えて、追跡点ｍij（j＝1〜441）を生成する。
ｍijを入力として、法線方向ｎt'を推定する。
推定に使用するフレーム数を、2枚から100枚まで徐々に増やし、精度及び処理時間を評価する（Ｎc＝2〜100）。
ｎtを100セット用意し、精度及び処理時間の平均を算出する。
【００７４】
図９は、バンドル調整に応じてフレーム数に対する法線ベクトルの精度及び処理時間を表すグラフである。
【００７５】
図９によれば、異なるバンドル調整について比較している。
ＤＥ：従来のバンドル調整（パラメータ数６Ｎc＋Ｎp＝453〜1041）で、３次元座標Ｘj'を主成分分析して、法線ベクトルｎt'を算出する。
ＯＥ：本発明のバンドル調整（パラメータ数６Ｎc＋２＝14〜602）で、法線ベクトルを算出する。
【００７６】
図９（ａ）は、フレーム数に応じた法線ベクトルの推定精度を表すグラフである。ここでは、従来技術のバンドル調整ＤＥと、本発明のバンドル調整ＯＥとを比較して、法線ベクトルの精度は同じである。即ち、２０フレーム程度で、法線ベクトルを高精度（角度誤差約２度）に算出できる。
【００７７】
図９（ｂ）は、フレーム数に応じた法線ベクトルの処理時間を表すグラフである。ここでは、従来技術のバンドル調整ＤＥと、本発明のバンドル調整ＯＥとを比較して、法線ベクトルの推定処理時間は大きく異なっている。即ち、本発明のバンドル調整ＯＥの処理時間が、極めて高速（短時間）であることが理解できる。具体的には、Ｎc＝2で60倍、Ｎc＝20で約12倍、Ｎc＝100で約3倍の高速化が確認できる。
【００７８】
前述した実施形態によれば、１枚の平面で構成された平面物体について説明した。勿論、本発明によれば、複数の主要平面で構成された対象物体であっても、複数平面のそれぞれについて適用することもできる。即ち、本発明は、対象物体を構成する主要な平面数を１枚に限定するものではない。平面数を増やすことで、任意形状の対象物体に対して適用することができる。
【００７９】
以上、詳細に説明したように、本発明のプログラム、装置及び方法によれば、対象物体が平面物体（又は概ね平面で近似可能な物体）であるという前提条件の下で、カメラワークの大きな制約無しに、連続的な撮影画像に映り込む平面物体の法線ベクトルを、大幅に少ない計算量で算出することができる。具体的には、法線ベクトルを算出するためのバンドル調整における未知パラメータの数を削減しているために、処理負荷を削減し、推定精度を高めることができる。また、ホモグラフィ行列を用いることによって、特徴点の追跡失敗に対するロバスト性も向上させることができる。
【００８０】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００８１】
１  画像処理装置
１０  画像取得部
１１  登録画像記憶部
１２  画像特徴追跡部
１３  法線ベクトル算出部
【図１】
0006515039.tif 000005
【図２】
0006515039.tif 000006
【図３】
0006515039.tif 000007
【図４】
0006515039.tif 000008
【図５】
0006515039.tif 000009
【図６】
0006515039.tif 000010
【図７】
0006515039.tif 000011
【図８】
0006515039.tif 000012
【図９】
0006515039.tif 000013