(57)【要約】【課題】３次元空間全体の精巧な立体モデルを生成することができる多視点ロボットカメラ立体モデル生成装置を提供する。【解決手段】多視点ロボットカメラ立体モデル生成装置１は、強校正キャリブレーションによって世界座標系を設定する強校正キャリブレーション部４２と、ロボットカメラＣ１〜Ｃ３を注視点に向けさせる制御を行うカメラ制御部３０と、ロボットカメラＣ１〜Ｃ３のカメラパラメータを、弱校正キャリブレーションによって算出する弱校正キャリブレーション部４３と、弱校正キャリブレーション部４３が算出したカメラパラメータを用いた射影変換によって、ロボットカメラＣ１〜Ｃ３の制御誤差を撮影画像上で補正する制御誤差補正部４４と、マッチングにより部分領域毎に立体モデルを生成する部分領域立体モデル生成部５０と、部分領域の立体モデルを連結して、３次元空間全体の立体モデルを生成する全領域立体モデル生成部６０と、を備える。【選択図】図１
2011146762.tif 000002
【特許請求の範囲】
【請求項１】
複数台のロボットカメラのそれぞれが３次元空間内の同じ部分領域をズームして撮影した撮影画像を用いて、前記３次元空間全体の立体モデルを生成する立体モデル生成装置であって、
強校正キャリブレーションによって前記複数台のロボットカメラに共通する世界座標系を設定する強校正キャリブレーション部と、
前記世界座標系において予め指定された注視点に向けられた前記複数台のロボットカメラのカメラパラメータを、弱校正キャリブレーションによって算出する弱校正キャリブレーション部と、
前記弱校正キャリブレーション部が算出したカメラパラメータを用いた射影変換によって、前記複数台のロボットカメラの制御誤差を前記撮影画像上で補正する制御誤差補正部と、
前記３次元空間を走査するように当該３次元空間内の全ての部分領域を撮影し、かつ、前記制御誤差が補正された前記撮影画像が入力され、マッチングにより前記部分領域毎に立体モデルを生成する部分領域立体モデル生成部と、
前記部分領域立体モデル生成部が生成した部分領域の立体モデルを連結して、前記３次元空間全体の立体モデルを生成する全領域立体モデル生成部と、
を備えることを特徴とする立体モデル生成装置。
【請求項２】
前記部分領域立体モデル生成部は、
入力された前記撮影画像のそれぞれから、ＳＩＦＴ特徴量による特徴点を抽出すると共に、前記撮影画像の間で前記特徴点における前記ＳＩＦＴ特徴量をマッチングすることで、前記特徴点の画像座標を算出する特徴点抽出部と、
前記特徴点抽出部が算出した特徴点の画像座標から、前記弱校正キャリブレーション部が算出したカメラパラメータを用いた射影変換によって前記部分領域の立体モデルを生成する特徴点世界座標算出部と、
を備えることを特徴とする請求項１に記載の立体モデル生成装置。
【請求項３】
前記部分領域立体モデル生成部は、
入力された前記撮影画像のそれぞれから、ステレオマッチングによって前記部分領域毎に距離画像を、前記部分領域の立体モデルとして生成する距離画像生成部を備えることを特徴とする請求項１に記載の立体モデル生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数台のロボットカメラがズームして撮影した撮影画像を用いて、３次元空間全体の立体モデルを生成する多視点ロボットカメラ立体モデル生成装置に関する。
【背景技術】
【０００２】
従来から、ロボットカメラの制御技術として、カーネギーメロン大学が開発した“Ｅｙｅ  Ｖｉｓｉｏｎ（登録商標）”と呼ばれるシステムが知られている。このシステムは、複数台のロボットカメラをそれぞれ電動雲台にのせて設置することで、パン角およびチルト角のリモート制御を可能としている。また、特許文献１には、電動雲台の代わりに、カメラ映像に射影変換を施すことで、パン角およびチルト角の制御を仮想的に行う多視点カメラ映像表現システムが記載されている。
【０００３】
また、非特許文献１には、立体モデルを生成する技術として、サッカーシーンを多視点のカメラで撮影し、選手およびサッカーフィールドの立体モデルを生成することで、視聴者が任意の視点からスポーツを観戦できるシステムが記載されている。さらに、多視点のカメラを用いる以外の技術として、レーザを用いて被写体形状を計測し、その結果から立体モデルを生成する技術が提案されている（例えば、非特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１１５２９８号公報
【非特許文献】
【０００５】
【非特許文献１】多視点スポーツ映像からの自由視点映像合成と提示：電子情報通信学会論文誌Ｄ‐ＩＩ  ｖｏｌ．Ｊ８８‐Ｄ‐ＩＩ  Ｎｏ．８  ｐｐ.１６９３‐１７０１
【非特許文献２】３次元モデル解析によるカンボジアバイヨン寺院尊顔制作背景に関する考察：画像の認識・理解シンポジウム（ＭＩＲＵ２００６）２００６年７月
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、前記した従来技術では、複数台のロボットカメラを空間中の１点（注視点）を向くように一斉に制御する際に、パン角、チルト角等の駆動を行う駆動モータの制御誤差によって、複数台のロボットカメラを正確に空間中の１点に向かせる制御が困難であるという問題がある。
【０００７】
そこで、本発明は、前記した問題を解決し、３次元空間全体の精巧な立体モデルを生成することができる立体モデル生成装置を提供することを課題とする。
【課題を解決するための手段】
【０００８】
本願発明者らは、前記した問題を解決することで、ロボットカメラのズームで細部を拡大した３次元空間の部分領域を撮影画角とし、その撮影画角で３次元空間全体を走査して撮影できること、および、撮影映像から、３次元空間内の全ての部分領域について立体モデルを生成して、それら立体モデルを連結することで３次元空間全体の立体モデルを生成できることを見出し、本発明を完成させた。具体的には、本願発明に係る立体モデル生成装置は、複数台のロボットカメラのそれぞれが３次元空間内の同じ部分領域をズームして撮影した撮影画像を用いて、前記３次元空間全体の立体モデルを生成する立体モデル生成装置であって、強校正キャリブレーション部と、弱校正キャリブレーション部と、制御誤差補正部と、部分領域立体モデル生成部と、全領域立体モデル生成部と、を備えることを特徴とする。
【０００９】
かかる構成によれば、立体モデル生成装置は、強校正キャリブレーション部によって、強校正キャリブレーションで前記複数台のロボットカメラに共通する世界座標系を設定する。また、立体モデル生成装置は、弱校正キャリブレーション部によって、前記世界座標系において予め指定された注視点に向けられた前記複数台のロボットカメラのカメラパラメータを、弱校正キャリブレーションで算出する。そして、立体モデル生成装置は、制御誤差補正部によって、前記弱校正キャリブレーション部が算出したカメラパラメータを用いた射影変換で、前記複数台のロボットカメラの制御誤差を前記撮影画像上で補正する。
つまり、立体モデル生成装置は、ロボットカメラが備える駆動モータの制御誤差によって注視点に対して撮影画角がずれてしまう場合でも、制御誤差補正部が射影変換を行うことで、この制御誤差を撮影画像上で補正する。このため、立体モデル生成装置は、ロボットカメラがズームして３次元空間の細部を拡大しても、３次元空間内の全ての部分領域について、制御誤差の影響がない正確な撮影画像を取得することができる。
【００１０】
また、立体モデル生成装置は、部分領域立体モデル生成部によって、前記３次元空間を走査するように当該３次元空間内の全ての部分領域を撮影し、かつ、前記制御誤差が補正された前記撮影画像が入力され、マッチングにより前記部分領域毎に立体モデルを生成する。このとき、ロボットカメラがズームして部分領域を撮影しているので、立体モデル生成装置は、部分領域立体モデル生成部が、これら撮影画像を用いて、細部が正確に再現された部分領域の立体モデルを生成する。
【００１１】
そして、立体モデル生成装置は、全領域立体モデル生成部によって、前記部分領域立体モデル生成部が生成した部分領域の立体モデルを連結して、前記３次元空間全体の立体モデルを生成する。これによって、立体モデル生成装置は、全領域立体モデル生成部が、細部が正確に再現された部分領域の立体モデルを連結して、３次元空間全体の立体モデルを生成できる。
【００１２】
また、本願発明において、立体モデル生成装置は、前記部分領域立体モデル生成部が、入力された前記撮影画像のそれぞれから、ＳＩＦＴ特徴量による特徴点を抽出すると共に、前記撮影画像の間で前記特徴点における前記ＳＩＦＴ特徴量をマッチングすることで、前記特徴点の画像座標を算出する特徴点抽出部と、前記特徴点抽出部が算出した特徴点の画像座標から、前記弱校正キャリブレーション部が算出したカメラパラメータを用いた射影変換によって前記部分領域の立体モデルを生成する特徴点世界座標算出部と、を備えることが好ましい。
【００１３】
また、本願発明において、立体モデル生成装置は、前記部分領域立体モデル生成部が、入力された前記撮影画像のそれぞれから、ステレオマッチングによって前記部分領域毎に距離画像を、前記部分領域の立体モデルとして生成する距離画像生成部を備えることが好ましい。
【発明の効果】
【００１４】
本発明の立体モデル生成装置は、３次元空間内の全ての部分領域について、制御誤差の影響がない正確な撮影画像を取得して立体モデルを生成すると共に、これら細部が正確に再現された部分領域の立体モデルを連結するので、精巧な３次元空間全体の立体モデルを生成することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１実施形態に係る多視点ロボットカメラ立体モデル生成装置の構成を示すブロック図である。
【図２】図１の多視点ロボットカメラ立体モデル生成装置の動作を示すフローチャートである。
【図３】本発明の第１実施形態において、強校正キャリブレーションを説明する図である。
【図４】本発明の第１実施形態において、注視点を説明する図である。
【図５】本発明の第１実施形態において、弱校正キャリブレーションを説明する図である。
【図６】本発明の第１実施形態において、エピポーラ幾何を説明する図である。
【図７】本発明の第１実施形態において、制御誤差の補正を説明する図である。
【図８】本発明の第１実施形態において、部分領域Ｂａ１の撮影を説明する図であり、（ａ）は部分領域Ｂａ１とロボットカメラＣ１〜Ｃ３との位置関係を示し、（ｂ）はロボットカメラＣ１の撮影画像であり、（ｃ）はロボットカメラＣ２の撮影画像であり、（ｄ）はロボットカメラＣ３の撮影画像である。
【図９】本発明の第１実施形態において、特徴点のマッチングと世界座標の算出とを説明する図であり、（ａ）はロボットカメラＣ１の撮影画像から抽出した特徴点を示し、（ｂ）はロボットカメラＣ２の撮影画像から抽出した特徴点を示し、（ｃ）はロボットカメラＣ３の撮影画像から抽出した特徴点を示し、（ｄ）は各特徴点の世界座標を示す図である。
【図１０】本発明の第１実施形態において、部分領域Ｂａ２の撮影を説明する図であり、（ａ）は部分領域Ｂａ２とロボットカメラＣ１〜Ｃ３との位置関係を示し、（ｂ）はロボットカメラＣ１の撮影画像であり、（ｃ）はロボットカメラＣ２の撮影画像であり、（ｄ）はロボットカメラＣ３の撮影画像である。
【図１１】本発明の第１実施形態において、部分領域の立体モデルの連結を説明する図であり、（ａ）は部分領域を示し、（ｂ）は部分領域の立体モデルを示し、（ｃ）は連結された部分領域の立体モデルを示す。
【図１２】本発明の第２実施形態に係る多視点ロボットカメラ立体モデル生成装置の構成を示すブロック図である。
【図１３】本発明の第２実施形態において、距離画像の連結を説明する図であり、（ａ）は部分領域を示し、（ｂ）は部分領域の距離画像を示し、（ｃ）は連結された距離画像を示す。
【図１４】図１２の多視点ロボットカメラ立体モデル生成装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１６】
本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。
【００１７】
（第１実施形態）
［多視点ロボットカメラ立体モデル生成システムの概略］
図１，図３を参照し、多視点ロボットカメラ立体モデル生成システム１００の概略について説明する。図１に示すように、多視点ロボットカメラ立体モデル生成システム１００は、３台のロボットカメラＣ１〜Ｃ３と、多視点ロボットカメラ立体モデル生成装置（立体モデル生成装置）１とを備える。
【００１８】
ロボットカメラＣ１〜Ｃ３は、駆動モータ（不図示）を備えると共に、後記する多視点ロボットカメラ立体モデル生成装置１からの制御信号に基づいて、パン角、チルト角、ズームおよびフォーカスの遠隔制御が可能な撮影カメラである。また、ロボットカメラＣ１〜Ｃ３は、それぞれの姿勢（パン角、チルト角、ズームおよびフォーカス）が記述されたカメラ姿勢情報（カメラパラメータ）を、多視点ロボットカメラ立体モデル生成装置１（カメラパラメータ記憶部４１）に随時出力する。さらに、ロボットカメラＣ１〜Ｃ３は、それぞれが撮影した撮影画像を、多視点ロボットカメラ立体モデル生成装置１（撮影画像記憶部１０）に出力する。なお、ロボットカメラＣ１〜Ｃ３は、カメラマン等の遠隔操作により撮影画像を撮影することもできる。
【００１９】
ここで、ロボットカメラＣ１〜Ｃ３は、３次元空間Ｓｐを撮影できるように、任意位置に設置される。ここでは、図３に示すように、ロボットカメラＣ１〜Ｃ３は、直線上に一列で略等間隔に設置されている。
【００２０】
３次元空間Ｓｐは、立体モデルを生成する対象となる被写体を囲う空間のことである。ここで、３次元空間Ｓｐは、例えば、市街地を模したミニチュア模型（被写体）を囲う空間としている（図３参照）。
部分領域とは、３次元空間Ｓｐに含まれる一部の領域のことである（例えば、図８の符号Ｂａ）。
【００２１】
多視点ロボットカメラ立体モデル生成装置１は、３次元空間Ｓｐ内の同じ部分領域を３台のロボットカメラＣ１〜Ｃ３がズームして撮影した撮影画像を用いて、３次元空間Ｓｐ全体の立体モデルを生成する。以下、多視点ロボットカメラ立体モデル生成装置１の構成について詳細に説明する。
【００２２】
［多視点ロボットカメラ立体モデル生成装置の構成］
図１に示すように、多視点ロボットカメラ立体モデル生成装置１は、撮影画像記憶部１０と、注視点指定部２０と、カメラ制御部３０と、カメラパラメータ生成・記憶部４０と、部分領域立体モデル生成部５０と、全領域立体モデル生成部６０とを備える。
【００２３】
なお、第１実施形態では、多視点ロボットカメラ立体モデル生成装置１の構成および動作を説明し、多視点ロボットカメラ立体モデル生成装置１の機能概要を先に示す。その後、第１実施形態では、多視点ロボットカメラ立体モデル生成装置１の各手段が行う処理内容を詳細に説明する。
【００２４】
撮影画像記憶部１０は、ロボットカメラＣ１〜Ｃ３から撮影画像がそれぞれ入力されると共に、入力された撮影画像を記憶するハードディスク、メモリ等の記憶手段である。
【００２５】
注視点指定部２０は、ユーザがマウス又はキーボード（不図示）を操作することで、世界座標系における注視点が指定される。そして、注視点指定部２０は、指定された注視点をカメラパラメータ生成・記憶部４０に出力する。
【００２６】
カメラ制御部３０は、ロボットカメラＣ１〜Ｃ３に制御信号を出力し、ロボットカメラＣ１〜Ｃ３の制御を行う。ここで、カメラ制御部３０は、３台のロボットカメラＣ１〜Ｃ３に対して同時に制御信号を出力し、３台のロボットカメラＣ１〜Ｃ３の制御を一斉に行うことができる。
【００２７】
具体的には、カメラ制御部３０は、後記するカメラパラメータ記憶部４１に記憶されたカメラパラメータ（内部パラメータおよび外部パラメータ）を参照し、ロボットカメラＣ１〜Ｃ３のパン角およびチルト角の制御量（移動量）を算出する。また、同様に、カメラ制御部３０は、ロボットカメラＣ１〜Ｃ３のズームおよびフォーカスの制御量を算出する。そして、カメラ制御部３０は、ロボットカメラＣ１〜Ｃ３のそれぞれに対して、パン角、チルト角、ズームおよびフォーカスの制御量を含む制御信号を出力する。このようにして、カメラ制御部３０は、ロボットカメラＣ１〜Ｃ３を、世界座標系において指定された注視点に向けさせる制御を行う。なお、制御量の算出手法は、従来技術と同様であるため、その説明を省略する。
【００２８】
カメラパラメータ生成・記憶部４０は、カメラ制御部３０がロボットカメラＣ１〜Ｃ３を制御するためのカメラパラメータを生成して記憶する。ここで、カメラパラメータ生成・記憶部４０は、図１に示すように、カメラパラメータ記憶部４１と、強校正キャリブレーション部４２と、弱校正キャリブレーション部４３と、制御誤差補正部４４と、世界座標指定部４５とを備える。
【００２９】
カメラパラメータ記憶部４１は、ロボットカメラＣ１〜Ｃ３からその姿勢が記述されたカメラ姿勢情報と、後記する弱校正キャリブレーション部４３からカメラパラメータとが入力される。そして、カメラパラメータ記憶部４１は、入力されたカメラ姿勢情報およびカメラパラメータを記憶するハードディスク、メモリ等の記憶手段である。
【００３０】
強校正キャリブレーション部４２は、強校正キャリブレーションによってロボットカメラＣ１〜Ｃ３に共通する世界座標系を設定する。
ここで、強校正キャリブレーションとは、位置が既知の空間点とその画像上への投影点とを用いてカメラパラメータを求め、ロボットカメラＣ１〜Ｃ３に共通する世界座標系を設定することである。
なお、強校正キャリブレーション部４２の詳細は、後記する。
【００３１】
弱校正キャリブレーション部４３は、世界座標系で指定された注視点に向けられたロボットカメラＣ１〜Ｃ３のカメラパラメータを、弱校正キャリブレーションによって算出する。そして、弱校正キャリブレーション部４３は、算出したカメラパラメータ記憶部４１に記憶させる。
ここで、弱校正キャリブレーションとは、エピポーラ拘束条件により、ロボットカメラＣ１〜Ｃ３のうち、２台ずつ位置関係を求めることである。
なお、弱校正キャリブレーション部４３の詳細は、後記する。
【００３２】
制御誤差補正部４４は、弱校正キャリブレーション部４３が算出したカメラパラメータを用いた射影変換によって、ロボットカメラＣ１〜Ｃ３の制御誤差を補正する。言い換えると、制御誤差補正部４４は、弱校正キャリブレーションが行われた後、注視点に向けられた現在のロボットカメラＣ１〜Ｃ３のパン角およびチルト角と、注視点に向いたとき本来のパン角およびチルト角とのずれ量を算出する。
【００３３】
ここで、ロボットカメラＣ１〜Ｃ３が注視点を正確に向くような制御信号を生成し、この制御信号によってロボットカメラＣ１〜Ｃ３を制御したとしても、その駆動モータには誤差が含まれるので、ロボットカメラＣ１〜Ｃ３を正確に注視点に向けることは困難である。そこで、本発明では、ロボットカメラＣ１〜Ｃ３を注視点に正確に向けさせるのではなく、ロボットカメラＣ１〜Ｃ３の撮影画像が正確に注視点を向いた状態で撮影されたように、撮影画像そのものを補正するという考え方を採用する。言い換えるなら、制御誤差補正部４４は、ロボットカメラＣ１〜Ｃ３に制御信号を出力してロボットカメラＣ１〜Ｃ３を直接制御するのではなく、撮影画像記憶部１０に記憶された撮影画像そのものを補正する。
なお、制御誤差補正部４４の詳細は、後記する。
【００３４】
世界座標指定部４５は、ロボットカメラＣ１〜Ｃ３のそれぞれが３次元空間Ｓｐ全体を撮影した撮影画像を用いて、ＳＩＦＴ（Scale Invariant Feature Transform）特徴量を用いて特徴点を抽出する。また、世界座標指定部４５は、ロボットカメラＣ１〜Ｃ３で撮影した撮影画像間で、抽出した特徴点におけるＳＩＦＴ特徴量をマッチングすることで特徴点の世界座標を算出する。そして、世界座標指定部４５は、３次元空間Ｓｐの端に位置する特徴点について、その世界座標から特徴点同士の距離を求めて、３次元空間Ｓｐのサイズを算出する。さらに、世界座標指定部４５は、３次元空間Ｓｐを一定数で等分して、この境界線上の各点を注視点として指定する。
なお、このように世界座標指定部４５が指定した注視点は、ロボットカメラＣ１〜Ｃ３が３次元空間Ｓｐ内の全ての部分領域を走査するように撮影する際、用いられる。
【００３５】
ここで、ＳＩＦＴについて補足する。このＳＩＦＴ特徴量は、画像座標、スケール、オリエンテーションおよび特徴ベクトル等の情報を持っている。従って、多視点ロボットカメラ立体モデル生成装置１は、ＳＩＦＴ特徴量を用いて、各撮影画像の間で特徴点の対応付けを行い、対応付けられた特徴点の位置を求めることができる。このＳＩＦＴ特徴量は、例えば、文献「単眼カメラ搭載移動ロボットを用いたＳＩＦＴ特徴量に基づく特徴追跡とＳｔｒｕｃｔｕｒｅ  ｆｒｏｍ  ＭｏｔｉｏｎによるＳＬＡＭ：静岡大学  井上  渉他」に詳細に記載されている。
【００３６】
部分領域立体モデル生成部５０は、部分領域の立体モデルを生成するものであり、図１に示すように、特徴点抽出部５１と、特徴点世界座標算出部５２とを備える。
特徴点抽出部５１は、撮影画像記憶部１０を参照し、ロボットカメラＣ１〜Ｃ３の撮影画像から、ＳＩＦＴ特徴量に基づいて特徴点を抽出する。そして、特徴点抽出部５１は、これら撮影画像の間で特徴点におけるＳＩＦＴ特徴量をマッチングすることで、特徴点の画像座標を算出する。
特徴点世界座標算出部５２は、カメラパラメータ記憶部４１を参照し、特徴点抽出部５１が算出した特徴点の画像座標から、弱校正キャリブレーション部４３が算出したカメラパラメータを用いた射影変換によって部分領域の立体モデルを生成する。
なお、部分領域立体モデル生成部５０の詳細は、後記する。
【００３７】
全領域立体モデル生成部６０は、部分領域立体モデル生成部５０から部分領域の立体モデルが入力され、この部分領域の立体モデルを連結して、３次元空間Ｓｐ全体の立体モデルを生成する。
なお、全領域立体モデル生成部６０の詳細は、後記する。
【００３８】
［多視点ロボットカメラ立体モデル生成装置の動作］
図２を参照し、図１の多視点ロボットカメラ立体モデル生成装置１の動作について説明する（適宜図１参照）。
【００３９】
多視点ロボットカメラ立体モデル生成装置１は、強校正キャリブレーション部４２によって、強校正キャリブレーションでロボットカメラＣ１〜Ｃ３に共通する世界座標系を設定する（ステップＳ１）。
【００４０】
また、多視点ロボットカメラ立体モデル生成装置１は、注視点指定部２０によって、世界座標系における注視点が指定される。そして、多視点ロボットカメラ立体モデル生成装置１は、カメラ制御部３０によって、ロボットカメラＣ１〜Ｃ３をこの注視点に向かせるように制御する（ステップＳ２）。
【００４１】
多視点ロボットカメラ立体モデル生成装置１は、弱校正キャリブレーション部４３によって、注視点に向けられたロボットカメラＣ１〜Ｃ３のカメラパラメータを、弱校正キャリブレーションによって算出する（ステップＳ３）。
【００４２】
このとき、ロボットカメラＣ１〜Ｃ３では、駆動モータで制御誤差が発生する。そこで、多視点ロボットカメラ立体モデル生成装置１は、この制御誤差を補正して立体モデルを生成するため、ステップＳ４以降の処理を行う。
【００４３】
多視点ロボットカメラ立体モデル生成装置１は、カメラ制御部３０によって、これら指定された注視点に基づいて、ロボットカメラＣ１〜Ｃ３が３次元空間Ｓｐ内の全ての部分領域を走査して撮影するように、ロボットカメラＣ１〜Ｃ３を順次制御する（ステップＳ４）。つまり、ステップＳ４の処理を行うことで、ロボットカメラＣ１〜Ｃ３が３次元空間Ｓｐ内の全ての部分領域を撮影した撮影画像が、撮影画像記憶部１０に記憶される。
【００４４】
また、多視点ロボットカメラ立体モデル生成装置１は、制御誤差補正部４４によって、弱校正キャリブレーション部４３が算出したカメラパラメータを用いた射影変換で、ロボットカメラＣ１〜Ｃ３の制御誤差を撮影画像上で補正する（ステップＳ５）。つまり、ステップＳ５の処理を行うことで、多視点ロボットカメラ立体モデル生成装置１は、３次元空間Ｓｐ内の全ての部分領域について、制御誤差の影響がない正確な撮影画像を取得することができる。
【００４５】
そして、多視点ロボットカメラ立体モデル生成装置１は、特徴点抽出部５１によって、ＳＩＦＴ特徴量に基づいて、撮影画像記憶部１０に記憶された撮影画像のそれぞれから、特徴点を抽出する。さらに、特徴点抽出部５１は、これら撮影画像の間で特徴点におけるＳＩＦＴ特徴量をマッチングすることで、特徴点の画像座標を算出する（ステップＳ６）。
【００４６】
さらに、多視点ロボットカメラ立体モデル生成装置１は、特徴点世界座標算出部５２によって、特徴点抽出部５１が算出した特徴点の画像座標から、弱校正キャリブレーション部４３が算出したカメラパラメータを用いた射影変換で部分領域の立体モデルを生成する（ステップＳ７）。
【００４７】
さらに、多視点ロボットカメラ立体モデル生成装置１は、全領域立体モデル生成部６０によって、部分領域立体モデル生成部５０が生成した部分領域の立体モデルを連結して、３次元空間Ｓｐ全体の立体モデルを生成する（ステップＳ８）。
【００４８】
＜強校正キャリブレーション部の詳細＞
図３を参照し、強校正キャリブレーション部４２の詳細について説明する（適宜図１参照）。なお、図３では、ロボットカメラＣ１〜Ｃ３の撮影画角を一点鎖線で図示した。
【００４９】
図３に示すように、ロボットカメラＣ１〜Ｃ３は、市松模様のキャリブレーションパターンａを予め撮影する。そして、強校正キャリブレーション部４２は、ロボットカメラＣ１〜Ｃ３がキャリブレーションパターンａを撮影した撮影画像を用いて、強校正キャリブレーションを行う。
【００５０】
まず、３×３の回転行列Ｒ、および、３次元の平行移動ベクトルｔを、下記の式（１）で定義する。
【００５１】
【数１】
2011146762.tif 000003
【００５２】
ここで、画像中の位置を示す汎用的な座標を画像座標（ｕ，ｖ）とする。また、正規化画像座標（ｘ，ｙ）とし、世界座標（Ｘｗ，Ｙｗ，Ｚｗ）とする。このとき、正規化画像座標（ｘ，ｙ）と、画像座標（ｕ，ｖ）との関係は、下記の式（２）で表される。
【００５３】
【数２】
2011146762.tif 000004
【００５４】
このｆはロボットカメラＣ１〜Ｃ３の焦点距離、δｕ，δｖはそれぞれ横方向と縦方向の画素の物理的な間隔、（ｃｕ，ｃｖ）は画像座標系における光軸と画像面との交点の位置を表す。このｆ，δｕ，δｖ，ｃｕ，ｃｖは、ロボットカメラＣ１〜Ｃ３によって決まる定数であり内部パラメータと呼ばれる。一方、回転行列Ｒと平行移動ベクトルｔは、世界座標に対するロボットカメラＣ１〜Ｃ３の位置および姿勢によって決まる定数であり、外部パラメータと呼ばれる。
【００５５】
ここで、下記の式（３）に示すように、正規化画像座標（ｘ，ｙ）と画像座標（ｕ，ｖ）とをベクトル表記し、内部パラメータからなる３×３の行列を内部パラメータ行列Ａとする。この場合、前記した式（２）は、下記の式（４）で表すことができる。
【００５６】
【数３】
2011146762.tif 000005
【００５７】
【数４】
2011146762.tif 000006
【００５８】
以上をまとめると、世界座標と画像座標との関係は、下記の式（５）で表すことができる。ここで、Ａ（Ｒ｜ｔ）はまとめて３×４の行列となるので、これを透視投影行列Ｐとおけば、この関係は、下記の式（６）で表すことができる。このように、任意の世界座標とその投影点の画像座標との関係は、同次座標を用いることにより、３×４の透視投影行列Ｐを用いて、簡単に表すことができる。なお、記号「〜」は、その両辺が定数倍の違いを許して等しいことを示す。
【００５９】
【数５】
2011146762.tif 000007
【００６０】
【数６】
2011146762.tif 000008
【００６１】
通常、ロボットカメラＣ１〜Ｃ３のカメラパラメータは、その具体的な値が分からない。そこで、強校正キャリブレーション部４２は、位置が既知の空間点とその画像上への投影点とを用いて、カメラパラメータを求める強校正キャリブレーションを行う必要がある。ここでは、強校正キャリブレーション部４２は、透視投影行列Ｐを求める強校正キャリブレーションを行う。
【００６２】
まず、透視投影行列Ｐの各要素を、下記の式（７）で定義する。このとき、前記した式（６）は、要素を用いて表すと、下記の式（８）のようになる。
【００６３】
【数７】
2011146762.tif 000009
【００６４】
【数８】
2011146762.tif 000010
【００６５】
前記した式（６）は、任意の定数倍を許した方程式であるため、そこから求められる透視投影行列Ｐは、定数倍の不定性が残る。そこで、透視投影行列Ｐの要素Ｐ３４＝１とし、他の要素について整理すると、下記の式（９）が得られる。
【００６６】
【数９】
2011146762.tif 000011
【００６７】
空間中の位置（ＸＷ，ＹＷ，ＺＷ）とその投影点の画像座標（ｕ，ｖ）が得られれば、前記した式（９）のように、Ｐの各要素に関する２つの方程式が得られる。式（９）において、未知数の数は全部で１１個（Ｐ１１，Ｐ１２，・・・，Ｐ３３）なので、既知の世界座標と画像座標とが６組以上わかれば、強校正キャリブレーション部４２は、透視投影行列Ｐを求めることができる。そして、強校正キャリブレーション部４２は、この透視投影行列Ｐからカメラパラメータを求めることで、ロボットカメラＣ１〜Ｃ３に共通する世界座標系を設定する。
【００６８】
なお、強校正キャリブレーションは、例えば、文献「デジタル画像処理：財団法人  画像情報教育振興協会」の「１５−１−１  透視投影モデルに基づく幾何学的関係の記述」、「１５−１−２  同次座標を用いた記述」および「１５−１−３  カメラキャリブレーション」により詳細に記載されている。
【００６９】
＜弱校正キャリブレーション部の詳細＞
図４〜図６を参照し、弱校正キャリブレーション部４３の詳細について説明する（適宜図１参照）。ここでは、図４の注視点Ｐｔが指定され、図５に示すように、ロボットカメラＣ１〜Ｃ３が注視点Ｐｔに向けられた状態として説明する。なお、図４，図５では、説明を簡易にするために、ロボットカメラＣ２の図示を省略した。
【００７０】
弱校正キャリブレーション部４３は、図６に示すように、エピポーラ拘束条件により、注視点Ｐｔに向けられたロボットカメラＣ１，Ｃ３のカメラパラメータ（内部パラメータおよび外部パラメータ）を算出する。ここでは、ロボットカメラＣ１，Ｃ３の光学中心をＣ，Ｃ´とし、２台のロボットカメラＣ１，Ｃ３の相対的な位置関係を示す回転行列Ｒおよび平行移動ベクトルｔとして、点Ｐのそれぞれの画像への投影点を正規化画像座標ｘ，ｘ´とする。この場合、３個のベクトル（図６の太線矢印）は、全てエピポーラ平面内に存在する。そこで、この３個のベクトルからなるスカラー３重積が０となることから、下記の式（１０）が成り立つ。
【００７１】
【数１０】
2011146762.tif 000012
【００７２】
ここで、［ｔ］Ｘは、下記の式（１１）で表されるベクトルｔの各要素からなる３×３の行列である。
【００７３】
【数１１】
2011146762.tif 000013
【００７４】
さらに、下記の式（１２）に置き換えることにより、２つの画像における投影点の正規化画像座標ｘ，ｘ´の間には、下記の式（１３）の関係が成り立つ。なお、Ｅは、３×３の行列で、基本行列と呼ばれる。
【００７５】
【数１２】
2011146762.tif 000014
【００７６】
【数１３】
2011146762.tif 000015
【００７７】
次に、前記した関係を一般的な画像座標を用いて表す。それぞれの画像への投影点の座標をｍ，ｍ´とすれば、前記した式（４）により、この関係は、下記の式（１４）で表される。
【００７８】
【数１４】
2011146762.tif 000016
【００７９】
前記した式（１０）と式（１４）より、下記の式（１５）が得られる。
【００８０】
【数１５】
2011146762.tif 000017
【００８１】
さらに、下記の式（１６）と置き換えることで、２つの画像における投影点の画像座標ｍ，ｍ´の間には、下記の式（１７）の関係が成り立つ。
【００８２】
【数１６】
2011146762.tif 000018
【００８３】
【数１７】
2011146762.tif 000019
【００８４】
このＦは、３×３の行列で、基礎行列と呼ばれる。また、前記した式（１３）および式（１７）は、２つの画像上の投影点の間には、それぞれの式で表される拘束条件が存在することを示している（エピポーラ拘束）。この式（１７）にロボットカメラＣ１が撮影した撮影画像（座標ｍ）における画像座標の値を代入すると、ロボットカメラＣ３が撮影した撮影画像（座標ｍ´）が満たすべき方程式が得られる。
【００８５】
以上のエピポーラ幾何をもとに、ロボットカメラＣ１，Ｃ３の位置関係（モーション）と撮影対象の３次元情報が推定できる。前記した（１７）は、各ベクトルと行列の要素を用いて、下記の式（１８）で表すことができる。ただし、ｆ１１，ｆ１２，・・・，ｆ３３は、基礎行列Ｆの各要素である。
【００８６】
【数１８】
2011146762.tif 000020
【００８７】
この式（１８）を基礎行列Ｆの各要素に関する方程式とみなしたとき、一組の画像座標から１つの方程式が得られる。基礎行列Ｆの要素数は９個であるが、式（１８）から求められる基礎行列Ｆには定数倍の不定性が残るため、実質的な未知数の数は８個である。そこで、最低８組の対応点の画像座標を得ることができれば、基礎行列Ｆを求めることができる。このように、２枚の撮影画像において、８以上の対応点の組からエピポーラ拘束を示す基礎行列Ｆを求める手法は、８点アルゴリズムと呼ばれる。
【００８８】
ここで、式（１２）と式（１６）より、下記の式（１９）の関係が成り立つ。
【００８９】
【数１９】
2011146762.tif 000021
【００９０】
弱校正キャリブレーション部４３は、内部パラメータ行列Ａが既知なので、基礎行列Ｆから基本行列Ｅを求めることができる。さらに、弱校正キャリブレーション部４３は、基本行列Ｅを歪対称行列と直交行列の積に分解することで、２つのロボットカメラＣ１，Ｃ３の位置関係を示す回転行列Ｒと平行移動ベクトルｔの方向とを求めることができる（スケールは算出不可）。
【００９１】
ここでは、ロボットカメラＣ１，Ｃ３での弱校正キャリブレーションを説明したが、弱校正キャリブレーション部４３は、ロボットカメラＣ１，Ｃ２等の他の組み合わせについても、弱校正キャリブレーションを行うことは言うまでもない。
【００９２】
なお、この弱校正キャリブレーションは、例えば、文献「デジタル画像処理：財団法人  画像情報教育振興協会」の「１５−４−１  エピポーラ幾何」および「１５−４−２  モーションと形状の推定」により詳細に記載されている。
【００９３】
＜制御誤差補正部の詳細＞
図７を参照し、制御誤差補正部４４の詳細について説明する（適宜図１参照）。なお、図７では、説明を簡易にするために、ロボットカメラＣ２の図示を省略した。
【００９４】
図７の実線で示すように、ロボットカメラＣ１，Ｃ３は、注視点Ｐｔに正確に向いた状態で撮影を行うことが好ましい。しかし、弱校正キャリブレーションによって求めた回転行列Ｒ（以後、「回転行列Ｒ´」と記す）には、前記したように、駆動モータの制御誤差が含まれている。このため、図７の破線で示すように、ロボットカメラＣ１，Ｃ３は、注視点Ｐｔに対して撮影画角がずれた状態で撮影を行うことになる。そこで、制御誤差補正部４４は、この制御誤差を補正する。
【００９５】
具体的には、制御誤差補正部４４は、ロボットカメラＣ１の位置から注視点Ｐｔの世界座標までの単位ベクトルを算出し、その単位ベクトルをカメラ座標軸のｚ軸とする。また、制御誤差補正部４４は、カメラ座標軸のｚ軸と世界座標系のＺ軸との直交条件から、カメラ座標軸のｘ軸を求める。そして、制御誤差補正部４４は、カメラ座標軸のｚ軸とカメラ座標軸のｘ軸との直交条件からカメラ座標軸のｙ軸を求め、これらカメラ座標軸から回転行列Ｒを求める。さらに、制御誤差補正部４４は、この回転行列Ｒと、弱校正キャリブレーションによって求めた回転行列Ｒ´とから射影変換行列を求め、ロボットカメラＣ１が撮影した撮影画像を射影変換して、撮影画像上で制御誤差を補正する。
【００９６】
つまり、制御誤差補正部４４は、下記の式（２０）の変換式を用いて、撮影画像を射影変換し、制御誤差を補正する。この式（２０）では、ｇが補正前の制御誤差を含んだ撮影画像であり、ｇ´が射影変換後の撮影画像であり、Ａが内部パラメータ行列であり、Ｒ´が弱校正キャリブレーションによって求めた回転行列であり、Ｒがカメラ座標軸から求めた回転行列である。
【００９７】
【数２０】
2011146762.tif 000022
【００９８】
なお、制御誤差補正部４４は、ロボットカメラＣ１と同様の手順でロボットカメラＣ２，Ｃ３の撮影画像を射影変換することは言うまでもない。ここで、この制御誤差の補正は、例えば、特許文献「特開２００６‐１１５２９８号公報：多視点カメラ映像表現システム」に記載されている。
【００９９】
＜部分領域立体モデル生成部の詳細＞
以下、図８〜図１０を参照し、部分領域立体モデル生成部５０の詳細について説明する（適宜図１参照）。ここでは、図８（ａ）に示すように、ロボットカメラＣ１〜Ｃ３のそれぞれが、３次元空間Ｓｐ内の部分領域Ｂａ１を撮影する。また、制御誤差補正部４４は、ロボットカメラＣ１〜Ｃ３がそれぞれ撮影した撮影画像について、制御誤差を補正する。そして、撮影画像記憶部１０は、図８（ｂ）〜（ｄ）に示すように、同一の部分領域Ｂａ１を、ロボットカメラＣ１〜Ｃ３がそれぞれ異なる撮影画角で撮影した撮影画像が記憶される。
【０１００】
特徴点抽出部５１は、ロボットカメラＣ１の撮影画像（図８（ｂ）参照）から、ＳＩＦＴ特徴量に基づいて特徴点を抽出する。ここで、特徴点抽出部５１は、例えば、図９（ａ）に示すように、撮影画像内で顕著な特徴を有する点を特徴点として抽出する（例えば、複数のσ値でフィルタして被写体の端点を抽出）。また、特徴点抽出部５１は、ロボットカメラＣ１と同様に、ロボットカメラＣ２，Ｃ３の撮影画像から、ＳＩＦＴ特徴量に基づいて特徴点を抽出する（図９（ｂ），（ｃ）参照）。
【０１０１】
つまり、図９（ａ）〜（ｃ）に示すように、ロボットカメラＣ１〜Ｃ３の撮影画像には、同一の特徴点が映ることになる。まず、特徴点抽出部５１は、ロボットカメラＣ１〜Ｃ３の撮影画像の間で、各特徴点のＳＩＦＴ特徴量をマッチングして特徴点の対応関係を求める。例えば、特徴点抽出部５１は、マッチングにより、ロボットカメラＣ１〜Ｃ３の撮影画像の間で特徴点Ｆｐ１が同一の特徴点であることが判り、特徴点Ｆｐ２も同一の特徴点であることが判る。そして、特徴点抽出部５１は、この対応関係から特徴点の画像座標を求める。
【０１０２】
次に、特徴点世界座標算出部５２は、特徴点抽出部５１が求めた特徴点の画像座標から世界座標を求め、図９（ｄ）に示すように、各特徴点を部分領域Ｂａ１における３次元空間にプロットする。特徴点の世界座標を算出するために、特徴点世界座標算出部５２は、弱キャリブレーションにより得たカメラパラメータから、下記の式（２１）のような射影投影行列Ｐｍを生成する。なお、図９（ｄ）では、説明のために、プロットした特徴点に対応する被写体を破線で図示した。
【０１０３】
【数２１】
2011146762.tif 000023
【０１０４】
ここで、ｍはロボットカメラの番号、ａは画素のアスペクト比、Ｆはロボットカメラの焦点距離、（Ｃｘ，Ｃｙ）はロボットカメラ光軸と画像面の交点、Ｒｍは撮影時におけるロボットカメラの姿勢に基づいた回転ベクトル、Ｔｍは世界座標からカメラ座標系への移動ベクトルである。
【０１０５】
そして、射影投影行列Ｐｍ、算出した特徴点の画像座標（ｕ，ｖ）、および、これから求める特徴点の世界座標（Ｘ、Ｙ、Ｚ）の関係は、下記の式（２２）で表される。
【０１０６】
【数２２】
2011146762.tif 000024
【０１０７】
前記した式（２２）を展開して世界座標（Ｘ、Ｙ、Ｚ）に関してまとめると、下記の式（２３）のようになる。
【０１０８】
【数２３】
2011146762.tif 000025
【０１０９】
特徴点の画像座標（ｕ，ｖ）は既知であるので、前記した式（２３）は、世界座標（Ｘ、Ｙ、Ｚ）を未知数とする連立一次方程式となる。１つの撮影映像から式（２３）の方程式が２つ得られるため、２つの撮影映像からは、下記の式（２４）で表される４つの方程式が得られる。
【０１１０】
【数２４】
2011146762.tif 000026
【０１１１】
式（２４）には３つの未知数に対して４つの方程式があるので、特徴点世界座標算出部５２は、最小二乗解を求める。式（２４）を下記の式（２５）とおくと、世界座標Ｘの最小二乗解は、下記の式（２６）で求めることができる。
【０１１２】
【数２５】
2011146762.tif 000027
【０１１３】
【数２６】
2011146762.tif 000028
【０１１４】
Ｍ＋は一般化逆行列と呼ばれ、下記の式（２７）で定義される。このように、特徴点世界座標算出部５２は、特徴点の世界座標（Ｘ、Ｙ、Ｚ）を算出して、これを部分領域の立体モデルとする。
【０１１５】
【数２７】
2011146762.tif 000029
【０１１６】
その後、部分領域Ｂａ１の立体モデルを生成したら、図１０に示すように、特徴点世界座標算出部５２は、それに隣接する部分領域Ｂａ２についても、部分領域Ｂａ２を撮影したロボットカメラＣ１〜Ｃ３の撮影画像を用いて、同様の手順で立体モデルを生成する。そして、特徴点世界座標算出部５２は、この手順を繰り返し行い、３次元空間Ｓｐ内の全ての部分領域Ｂａについて、立体モデルを生成する。
【０１１７】
なお、立体モデルを生成するときには部分領域が重複すること（例えば、部分領域Ｂａ２を撮影した撮影画像に部分領域Ｂａ１の一部が映り込むこと）が考えられる。この場合、重複部分に含まれる１つの特徴点は、世界座標系に複数回プロットされ、本来なら１点だけの特徴点か複数個存在することになる。この場合、特徴点世界座標算出部５２は、この複数回プロットされた特徴点の世界座標の平均値を算出し、この平均値を特徴点の世界座標としても良い。このようにして、特徴点世界座標算出部５２は、同一の特徴点が複数回プロットされる事態を防止できる。
【０１１８】
＜全領域立体モデル生成部の詳細＞
図１１を参照し、全領域立体モデル生成部６０の詳細について説明する（適宜図１参照）。図１１では、説明を簡易にするために、４個の部分領域Ｂａ３〜Ｂａ６の立体モデルを連結する例で説明するが、３次元空間Ｓｐ内の全ての部分領域Ｂａについて、立体モデルを連結することは言うまでもない。
【０１１９】
全領域立体モデル生成部６０は、図１１（ｂ），（ｃ）に示すように、部分領域の立体モデルを連結して、３次元空間Ｓｐ全体の立体モデルを生成する。具体的には、全領域立体モデル生成部６０は、注視点の世界座標を基準として、部分領域Ｂａ３〜Ｂａ６の立体モデルを連結する。その後、全領域立体モデル生成部６０は、ポリゴンや、撮影映像を用いたテクスチャを貼り付けることで、３次元空間Ｓｐ全体の立体モデルを生成する。
【０１２０】
以上より、本発明の第１実施形態に係る多視点ロボットカメラ立体モデル生成装置１によれば、以下（ａ）〜（ｃ）の手法を実現できる。
（ａ）ロボットカメラＣ１〜Ｃ３が空間中の１点（注視点）を向くように一斉に制御する手法。
（ｂ）ロボットカメラＣ１〜Ｃ３のズームにより細部を拡大した３次元空間の部分領域を撮影画角とし、その撮影画角で３次元空間全体を走査して撮影する手法。
（ｃ）撮影画像から３次元空間の部分領域の立体モデルを生成し、それら立体モデルを連結することで３次元空間全体の立体モデルを生成する手法。
【０１２１】
前記（ａ）〜（ｃ）を実現することにより、多視点ロボットカメラ立体モデル生成装置１は、ロボットカメラＣ１〜Ｃ３がズームして３次元空間Ｓｐの細部を拡大した際にも、制御誤差の影響がない正確な撮影画像を取得できる。そして、多視点ロボットカメラ立体モデル生成装置１は、ロボットカメラＣ１〜Ｃ３をズームさせて部分領域を撮影画角とし、この撮影画角で３次元空間Ｓｐ全体を走査するように撮影させる。さらに、多視点ロボットカメラ立体モデル生成装置１は、これら撮影画像を用いて、細部が正確に再現された部分領域の立体モデルを生成して連結し、３次元空間Ｓｐ全体の立体モデルを生成する。これによって、多視点ロボットカメラ立体モデル生成装置１は、多視点画像を用いた従来技術に比べて、精度の高い立体モデルおよび解像度の高いテクスチャを生成することが可能となり、３次元空間Ｓｐ全体の精巧な立体モデルを生成することができる。
【０１２２】
また、多視点ロボットカメラ立体モデル生成装置１は、レーザを用いて被写体形状を計測する従来技術に比べて、レーザを人等の被写体に照射する必要がないので安全性が高く、被写体の材質によって立体モデルの精度が劣化することもない。また、レーザを用いて被写体形状を計測する従来技術では、立体モデルを生成できる距離が最長１００メートル程度と言われている。しかし、多視点ロボットカメラ立体モデル生成装置１は、ロボットカメラＣ１〜Ｃ３がズーム可能な距離であれば、１００メートルよりも遠方の立体モデルを生成することができる。
【０１２３】
ここで、多視点ロボットカメラ立体モデル生成装置１は、ロボットカメラＣ１〜Ｃ３のズーム倍率が特に制限されるものではないが、例えば、１倍を超えて１５０倍以下であり、７２倍以下であることがより好ましい。
【０１２４】
なお、本発明の第１実施形態では、多視点ロボットカメラ立体モデル生成装置１が世界座標指定部４５を備えることとして説明したが、これを備えなくとも良い。具体的には、ロボットカメラＣ１〜Ｃ３が３次元空間Ｓｐ内の全ての部分領域Ｂａを走査して撮影できるように複数の注視点が手動で指定される場合、多視点ロボットカメラ立体モデル生成装置１は、世界座標指定部４５を備えなくとも良い。
【０１２５】
なお、本発明の第１実施形態では、ロボットカメラＣ１〜Ｃ３を固定型の撮影カメラとして説明したが、移動機構を備えた自律移動型の撮影カメラとしても良い。この場合、多視点ロボットカメラ立体モデル生成装置１は、ロボットカメラＣ１〜Ｃ３の何れかが移動したとき、強校正キャリブレーション等の処理を再び行えば良い。あるいは、多視点ロボットカメラ立体モデル生成装置１は、移動機構からのフィードバック信号を用いて、強校正キャリブレーションを行った位置を基準として、移動後の相対的な位置を算出しても良い。
【０１２６】
なお、本発明の第１実施形態では、３台のロボットカメラＣ１〜Ｃ３を一列に設置することとして説明したが、その台数および配置はこれに限定されない。例えば、本発明では、２台又は４台以上のロボットカメラを３次元空間Ｓｐの周囲に配置しても良い。
【０１２７】
（第２実施形態）
［多視点ロボットカメラ立体モデル生成装置の構成］
図１２，図１３を参照し、本発明の第２実施形態に係る多視点ロボットカメラ立体モデル生成装置１Ｂの構成について、第１実施形態と異なる点を説明する。この第２実施形態では、多視点ロボットカメラ立体モデル生成装置１Ｂが、ＳＩＦＴ特徴量の代わりに、ステレオマッチングを用いて立体モデルを生成する。
【０１２８】
図１２の撮影画像記憶部１０、注視点指定部２０、カメラ制御部３０、および、カメラパラメータ生成・記憶部４０は、図１の各手段と同様のため、説明を省略する。
【０１２９】
部分領域立体モデル生成部５０Ｂは、距離画像生成部５３を備える。
距離画像生成部５３は、撮影画像記憶部１０を参照し、ロボットカメラＣ１〜Ｃ３の撮影画像から、３次元空間Ｓｐ内の部分領域Ｂａ毎に、距離画像をステレオマッチングによって生成する（図１２（ａ）参照）。つまり、距離画像生成部５３は、部分領域Ｂａの立体モデルとして、距離画像を生成する。
【０１３０】
全領域立体モデル生成部６０Ｂは、部分領域立体モデル生成部５０Ｂから部分領域Ｂａ毎に距離画像が入力され、この距離画像を連結して、３次元空間Ｓｐ全体の立体モデルを生成する。具体的には、全領域立体モデル生成部６０Ｂは、図１２（ｂ）に示すように、各距離画像の中央部を切り出す。そして、全領域立体モデル生成部６０Ｂは、図１２（ａ）に示すように、注視点の世界座標を基準として、切り出した距離画像を連結させて３次元空間Ｓｐ全体の距離画像を生成する。そして、全領域立体モデル生成部６０Ｂは、生成した３次元空間Ｓｐ全体の距離画像に撮影映像のテクスチャを貼り付け、３次元空間Ｓｐ全体の立体モデルを生成する。
【０１３１】
［多視点ロボットカメラ立体モデル生成装置の動作］
図１４を参照し、図１２の多視点ロボットカメラ立体モデル生成装置１Ｂの動作について説明する（適宜図１２参照）。なお、図１４のステップＳ１〜Ｓ５は、図２の各ステップと同様であるため、説明を省略する。
【０１３２】
多視点ロボットカメラ立体モデル生成装置１Ｂは、距離画像生成部５３によって、部分領域Ｂａ毎の距離画像を生成する（ステップＳ１０）。また、多視点ロボットカメラ立体モデル生成装置１Ｂは、全領域立体モデル生成部６０Ｂによって、距離画像を連結して３次元空間Ｓｐ全体の立体モデルを生成する（ステップＳ１１）。
【０１３３】
以上のように、本発明の第２実施形態に係る多視点ロボットカメラ立体モデル生成装置１Ｂによれば、第１実施形態と同様、３次元空間Ｓｐ全体の精巧な立体モデルを生成することができる。
【０１３４】
なお、撮影画像の内容によって、ＳＩＦＴ特徴量を用いる手法（第１実施形態）、又は、ステレオマッチングを用いる手法（第２実施形態）の何れが最適なのか異なる。そこで、立体モデルの生成に際し、本発明に係る多視点ロボットカメラ立体モデル生成装置は、ＳＩＦＴ特徴量を用いる手法とステレオマッチングを用いる手法とを手動で選択可能とすることで、撮影画像の内容に関わらず精度の高い立体モデルを生成することができる。
【符号の説明】
【０１３５】
１，１Ｂ  多視点ロボットカメラ立体モデル生成装置（立体モデル生成装置）
１０  撮影画像記憶部
２０  注視点指定部
３０  カメラ制御部
４０  カメラパラメータ生成・記憶部
４１  カメラパラメータ記憶部
４２  強校正キャリブレーション部
４３  弱校正キャリブレーション部
４４  制御誤差補正部
４５  世界座標指定部
５０，５０Ｂ  部分領域立体モデル生成部
５１  特徴点抽出部
５２  特徴点世界座標算出部
５３  距離画像生成部
６０，６０Ｂ  全領域立体モデル生成部
【図１】
2011146762.tif 000030
【図２】
2011146762.tif 000031
【図３】
2011146762.tif 000032
【図４】
2011146762.tif 000033
【図５】
2011146762.tif 000034
【図６】
2011146762.tif 000035
【図７】
2011146762.tif 000036
【図８】
2011146762.tif 000037
【図９】
2011146762.tif 000038
【図１０】
2011146762.tif 000039
【図１１】
2011146762.tif 000040
【図１２】
2011146762.tif 000041
【図１３】
2011146762.tif 000042
【図１４】
2011146762.tif 000043