(57)【要約】【課題】容易に撮像装置の撮像パラメータを取得する。【解決手段】サーバ２０は、三次元モデルを作成するための視線を構成する各カメラ（撮像装置）が表示装置の表示面を撮像可能となるように表示装置の移動を指示するメッセージをクライアント１０に送信する。そして、移動の完了後、サーバ２０は、撮像パラメータ算出用のパターン画像を表示装置に表示させ、表示させたパターン画像をカメラで撮像させることをクライアント１０に指示する。そして、サーバ２０は、クライアント１０から、カメラが撮像した画像を取得し、取得した画像に表示されているパターン画像に基づいて、カメラの撮像パラメータを求める。【選択図】図１
2012142792.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像装置と表示装置とを備えたクライアントシステムとネットワークを介して接続された撮像パラメータ取得装置であって、
前記クライアントシステムに、三次元モデルを作成するための視線を構成する各前記撮像装置が前記表示装置の表示面を撮像可能となるように該表示装置の移動を指示するメッセージ情報を送信する移動指示手段と、
前記表示装置の移動を指示するメッセージ情報を送信した前記クライアントシステムに、撮像パラメータ算出用のパターン画像を前記表示装置に表示させることを指示する表示指示情報を送信するパターン画像表示指示手段と、
前記表示指示情報を送信した前記クライアントシステムに、前記視線を構成する各前記撮像装置に前記表示装置の表示面の撮像を指示する撮像指示情報を送信する撮像指示手段と、
前記撮像指示情報が示す指示に従って前記視線を構成する各前記撮像装置が撮像した画像を取得する画像取得手段と、
前記画像取得手段が取得した画像に基づいて、前記視線を構成する各前記撮像装置の撮像パラメータを取得する撮像パラメータ取得手段と、
を備えることを特徴とする撮像パラメータ取得装置。
【請求項２】
前記パターン画像の前記画像取得手段が取得した画像内での位置及びサイズに基づいて、前記視線を構成する各前記撮像装置の撮像位置が適切であるか否かを判別する撮像位置判別手段をさらに備え、
前記移動指示手段は、前記撮像位置判別手段が撮像位置が適切で無いと判別した場合、前記表示装置の移動を指示するメッセージ情報を再度送信する、
ことを特徴とする請求項１に記載の撮像パラメータ取得装置。
【請求項３】
前記撮像パラメータ取得手段が取得した撮像パラメータの精度を算出するパラメータ精度算出取得手段をさらに備え、
前記移動指示手段は、前記パラメータ精度算出取得手段が算出した撮像パラメータの精度が所定の閾値未満の場合、前記表示装置の移動を指示するメッセージ情報を再度送信する、
ことを特徴とする請求項１又は２に記載の撮像パラメータ取得装置。
【請求項４】
前記撮像パラメータ取得手段が取得した撮像パラメータの精度を算出するパラメータ精度算出取得手段をさらに備え、
前記パターン画像表示指示手段は、前記パラメータ精度算出取得手段が算出した撮像パラメータの精度が所定の閾値未満の場合、前回表示を指示したパターン画像とは異なるパターン画像を表示させることを指示する表示指示情報を送信する、
ことを特徴とする請求項１乃至３の何れか１項に記載の撮像パラメータ取得装置。
【請求項５】
複数の撮像装置と表示装置とを備えたクライアントシステムとネットワークを介して接続されたコンピュータを用いた撮像パラメータ取得方法であって、
前記コンピュータが、前記クライアントシステムに、三次元モデルを作成するための視線を構成する各前記撮像装置が前記表示装置の表示面を撮像可能となるように該表示装置の移動を指示するメッセージ情報を送信する移動指示ステップと、
前記コンピュータが、前記表示装置の移動を指示するメッセージ情報を送信した前記クライアントシステムに、撮像パラメータ算出用のパターン画像を前記表示装置に表示させることを指示する表示指示情報を送信するパターン画像表示指示ステップと、
前記コンピュータが、前記表示指示情報を送信した前記クライアントシステムに、前記視線を構成する各前記撮像装置に前記表示装置の表示面の撮像を指示する撮像指示情報を送信する撮像指示ステップと、
前記コンピュータが、前記撮像指示情報が示す指示に従って前記視線を構成する各前記撮像装置が撮像した画像を取得する画像取得ステップと、
前記コンピュータが、前記画像取得ステップで取得した画像に基づいて、前記視線を構成する各前記撮像装置の撮像パラメータを取得する撮像パラメータ取得ステップと、
を備えることを特徴とする撮像パラメータ取得方法。
【請求項６】
複数の撮像装置と表示装置とを備えたクライアントシステムとネットワークを介して接続されたコンピュータを、
前記クライアントシステムに、三次元モデルを作成するための視線を構成する各前記撮像装置が前記表示装置の表示面を撮像可能となるように該表示装置の移動を指示するメッセージ情報を送信する移動指示手段、
前記表示装置の移動を指示するメッセージ情報を送信した前記クライアントシステムに、撮像パラメータ算出用のパターン画像を前記表示装置に表示させることを指示する表示指示情報を送信するパターン画像表示指示手段、
前記表示指示情報を送信した前記クライアントシステムに、前記視線を構成する各前記撮像装置に前記表示装置の表示面の撮像を指示する撮像指示情報を送信する撮像指示手段、
前記撮像指示情報が示す指示に従って前記視線を構成する各前記撮像装置が撮像した画像を取得する画像取得手段、
前記画像取得手段が取得した画像に基づいて、前記視線を構成する各前記撮像装置の撮像パラメータを取得する撮像パラメータ取得手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像パラメータ取得装置、撮像パラメータ取得方法、及び、プログラムに関する。
【背景技術】
【０００２】
同一被写体を異なる方向から撮像したペア画像から三次元モデルを作成するためには、当該ペア画像を撮像した各カメラの撮像パラメータを取得する必要がある。
【０００３】
特許文献１には、パラメータ算出用のパターンを有する校正用ボードをカメラに撮像させ、撮像させた画像からカメラの撮像パラメータを算出することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−０７８９２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の技術では、特殊な校正用ボードを準備して、パラメータを算出したいカメラの前に配置する必要があり、ユーザにとって面倒であった。
【０００６】
本発明は、上記実情に鑑みてなされたものであり、容易に撮像装置の撮像パラメータを取得することができる撮像パラメータ取得装置、撮像パラメータ取得方法、及び、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため本発明の第１の観点に係る撮像パラメータ取得装置は、
複数の撮像装置と表示装置とを備えたクライアントシステムとネットワークを介して接続された撮像パラメータ取得装置であって、
前記クライアントシステムに、三次元モデルを作成するための視線を構成する各前記撮像装置が前記表示装置の表示面を撮像可能となるように該表示装置の移動を指示するメッセージ情報を送信する移動指示手段と、
前記表示装置の移動を指示するメッセージ情報を送信した前記クライアントシステムに、撮像パラメータ算出用のパターン画像を前記表示装置に表示させることを指示する表示指示情報を送信するパターン画像表示指示手段と、
前記表示指示情報を送信した前記クライアントシステムに、前記視線を構成する各前記撮像装置に前記表示装置の表示面の撮像を指示する撮像指示情報を送信する撮像指示手段と、
前記撮像指示情報が示す指示に従って前記視線を構成する各前記撮像装置が撮像した画像を取得する画像取得手段と、
前記画像取得手段が取得した画像に基づいて、前記視線を構成する各前記撮像装置の撮像パラメータを取得する撮像パラメータ取得手段と、
を備えることを特徴とする。
【０００８】
前記パターン画像の前記画像取得手段が取得した画像内での位置及びサイズに基づいて、前記視線を構成する各前記撮像装置の撮像位置が適切であるか否かを判別する撮像位置判別手段をさらに備え、
前記移動指示手段は、前記撮像位置判別手段が撮像位置が適切で無いと判別した場合、前記表示装置の移動を指示するメッセージ情報を再度送信してもよい。
【０００９】
前記撮像パラメータ取得手段が取得した撮像パラメータの精度を算出するパラメータ精度算出取得手段をさらに備え、
前記移動指示手段は、前記パラメータ精度算出取得手段が算出した撮像パラメータの精度が所定の閾値未満の場合、前記表示装置の移動を指示するメッセージ情報を再度送信してもよい。
【００１０】
前記撮像パラメータ取得手段が取得した撮像パラメータの精度を算出するパラメータ精度算出取得手段をさらに備え、
前記パターン画像表示指示手段は、前記パラメータ精度算出取得手段が算出した撮像パラメータの精度が所定の閾値未満の場合、前回表示を指示したパターン画像とは異なるパターン画像を表示させることを指示する表示指示情報を送信してもよい。
【００１１】
上記目的を達成するため本発明の第２の観点に係る撮像パラメータ取得方法は、
複数の撮像装置と表示装置とを備えたクライアントシステムとネットワークを介して接続されたコンピュータを用いた撮像パラメータ取得方法であって、
前記コンピュータが、前記クライアントシステムに、三次元モデルを作成するための視線を構成する各前記撮像装置が前記表示装置の表示面を撮像可能となるように該表示装置の移動を指示するメッセージ情報を送信する移動指示ステップと、
前記コンピュータが、前記表示装置の移動を指示するメッセージ情報を送信した前記クライアントシステムに、撮像パラメータ算出用のパターン画像を前記表示装置に表示させることを指示する表示指示情報を送信するパターン画像表示指示ステップと、
前記コンピュータが、前記表示指示情報を送信した前記クライアントシステムに、前記視線を構成する各前記撮像装置に前記表示装置の表示面の撮像を指示する撮像指示情報を送信する撮像指示ステップと、
前記コンピュータが、前記撮像指示情報が示す指示に従って前記視線を構成する各前記撮像装置が撮像した画像を取得する画像取得ステップと、
前記コンピュータが、前記画像取得ステップで取得した画像に基づいて、前記視線を構成する各前記撮像装置の撮像パラメータを取得する撮像パラメータ取得ステップと、
を備えることを特徴とする。
【００１２】
上記目的を達成するため本発明の第３の観点に係るプログラムは、
複数の撮像装置と表示装置とを備えたクライアントシステムとネットワークを介して接続されたコンピュータを、
前記クライアントシステムに、三次元モデルを作成するための視線を構成する各前記撮像装置が前記表示装置の表示面を撮像可能となるように該表示装置の移動を指示するメッセージ情報を送信する移動指示手段、
前記表示装置の移動を指示するメッセージ情報を送信した前記クライアントシステムに、撮像パラメータ算出用のパターン画像を前記表示装置に表示させることを指示する表示指示情報を送信するパターン画像表示指示手段、
前記表示指示情報を送信した前記クライアントシステムに、前記視線を構成する各前記撮像装置に前記表示装置の表示面の撮像を指示する撮像指示情報を送信する撮像指示手段、
前記撮像指示情報が示す指示に従って前記視線を構成する各前記撮像装置が撮像した画像を取得する画像取得手段、
前記画像取得手段が取得した画像に基づいて、前記視線を構成する各前記撮像装置の撮像パラメータを取得する撮像パラメータ取得手段、
として機能させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、撮像装置のユーザは、撮像装置が表示装置の表示面を撮像可能となるように当該表示装置を移動するだけの作業を行うだけで、容易にカメラの撮像パラメータを取得することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る三次元モデル作成システムの構成を示す図である。
【図２】クライアントシステムの構成を示す図である。
【図３】被写体と各カメラの位置関係を示す図である。
【図４】サーバの構成を示す図である。
【図５】クライアントＤＢの構成例を示す図である。
【図６】クライアント登録処理を説明するためのフローチャートである。
【図７】登録要求データ及び登録応答データの構成例を示す図である。
【図８】パラメータ取得処理を説明するためのフローチャートである。
【図９】パラメータ取得処理を説明するためのフローチャートである。
【図１０】被写体と表示装置の位置関係を示す図である。
【図１１】カメラのパラメータ算出用のパターン画像の例を示した図である。
【図１２】三次元モデル作成処理を説明するためのフローチャートである。
【図１３】３次元モデル作成要求データ及び３次元モデル作成応答データの構成例を示す図である。
【図１４】モデリング処理を説明するためのフローチャートである。
【図１５】三次元モデル合成処理を説明するためのフローチャートである。
【図１６】３次元モデル合成要求データ及び３次元モデル合成応答データの構成例を示す図である。
【図１７】合成処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、本発明は下記の実施形態及び図面によって限定されるものではない。また、本発明の要旨を変更しない範囲で下記の実施形態及び図面に変更を加えることが出来る。また、図中同一または相当部分には同一符号を付す。
【００１６】
本発明の実施形態に係る三次元モデル作成システム１について説明する。三次元モデル作成システム１は、図１に示すように、複数のクライアントシステム１０（以下、単にクライアント１０とする）と、サーバ２０とを備える。各クライアント１０とサーバ２０とは、インターネットを介して相互通信可能に接続されている。
【００１７】
各クライアント１０は、図２に示すように、複数のカメラ１１Ａ〜１１Ｆと、端末装置１２と、表示装置１３と、入力装置１４を備える。
【００１８】
各カメラ１１Ａ〜１１Ｆは、レンズ、絞り機構、シャッタ機構、ＣＣＤ（Charge Coupled Device）等を備え、被写体を撮像し、撮像した画像データを端末装置１２に送信する。なお、カメラ１１Ａ〜１１Ｆは、それぞれ、クライアント１０内でそれぞれを識別可能なカメラＩＤが設定されている。
【００１９】
なお、カメラ１１Ａ〜１１Ｆのそれぞれを区別しない場合は、単にカメラ１１と呼称する。また、必要に応じて、カメラ１１Ａ〜１１Ｆが撮像した画像をそれぞれ、画像Ａ〜画像Ｆとして説明する。なお、カメラ１１の数は６に限定するものではなく、２以上の任意の数でよい。
【００２０】
ここで、カメラ１１の配置について説明する。各カメラ１１Ａ〜１１Ｆは、図３に示すように被写体を取り囲むように配置されている。従って、カメラ１１Ａ〜１１Ｆは、それぞれ、被写体を異なる方向から撮像することができる。なお、カメラ１１は床やステージ等に固定されており、容易に動かせないものとするのが望ましい。
【００２１】
図２に戻り、端末装置１２は、例えば、ＰＣ（Personal Computer）等のコンピュータである。端末装置１２は、外部Ｉ／Ｆ部１２１と通信部１２２と記憶部１２３と制御部１２４とを備える。
【００２２】
外部Ｉ／Ｆ部１２１は、ＵＳＢ（Universal Serial Bus）やＩＥＥＥ１３９４等の規格に準拠したコネクタ、又は、拡張スロットに挿入されるカメラ接続用のボード（基板）等から構成され、各カメラ１１と接続するためのインタフェースである。
【００２３】
通信部１２２は、ＮＩＣ（Network Interface Card）等を備え、制御部１２４の指示に基づいて、インターネットを介して、サーバ２０と情報の送受信を行う。
【００２４】
記憶部は１２３は、ＲＡＭ（Read Only Memory）、ＲＯＭ（Rondom Access Memory）、ハードディスク装置等から構成され、各種の情報、各カメラ１１が撮影した画像データ、及び、制御部１２４が実行するためのプログラム等を記憶する。また、記憶部１２３は、制御部１２４が処理を実行するためのワークエリアとして機能する。また、記憶部１２３は、サーバ２０から送信された三次元モデル（ポリゴン情報）を保存する。
【００２５】
制御部１２４は、ＣＰＵ（Central Processing Unit）等を備え、記憶部１２３に記憶されているプログラムを実行することにより、端末装置１２の各部を制御する。また、制御部１２４は、各カメラ１１が撮像した画像から三次元モデルを作成することをサーバ２０に要求し、サーバ２０から受信した三次元モデルを表示装置１３に表示させる。また、制御部１２４は、複数の三次元モデルを合成することをサーバ２０に要求し、サーバ２０から受信した合成された三次元モデルを表示装置１３に表示させる。なお、制御部１２４の行う処理の詳細については後述する。
【００２６】
表示装置１３は、ＰＣ用のモニター等であり、制御部１２４の指示に基づいて、各種の情報を表示する。例えば、表示装置１３は、サーバ２０から受信した三次元モデルを表示する。
【００２７】
入力装置１４は、キーボードやマウス等であり、ユーザによる操作に応じた入力信号を生成して制御部１２４に供給する。
【００２８】
続いて、サーバ２０について説明する。サーバ２０は、端末装置１２から受信した画像データから三次元モデルを作成したり、複数の三次元モデルを合成する機能を有する。サーバ２０は、図４（Ａ）に示すように、通信部２１と、記憶部２２と、制御部２３とを備える。
【００２９】
通信部２１は、ＮＩＣ（Network Interface Card）等を備え、インターネットを介して、端末装置１２と情報の送受信を行う。
【００３０】
記憶部２２は、ハードディスク装置等から構成され、各種の情報、及び、制御部２３が実行するためのプログラム等を記憶する。また、記憶部２２は、制御部２３が処理を実行するためのワークエリアとして機能する。また、記憶部２２は、カメラ１１の撮像パラメータ算出用にクライアント１０の表示装置１３に表示させるパターン画像を記憶する。また、記憶部２２は、図４（Ｂ）に示すように、クライアントＤＢ（データベース）２２１と、三次元モデルＤＢ２２２とを備える。
【００３１】
クライアントＤＢ２２１は、後述する登録処理で登録されたクライアント１０に関する各種の情報が格納されるデータベースである。クライアントＤＢ２２１には、図５に示すように、登録されたクライアント１０毎に、クライアント１０を識別するクライアントＩＤと、認証用のパスワードと、当該クライアント１０が備える各カメラ１１のカメラ情報と、視線情報と、が記憶される。カメラ情報は、カメラＩＤと、基本属性、内部パラメータ、外部パラメータ等から構成される情報であり、クライアント１０内のカメラ１１毎に登録される。
【００３２】
基本属性は、経年劣化等の影響を受けにくい不変的なカメラ１１の属性（性能）を示す。従って、同じ種類のカメラ１１であれば、ほぼ同一の基本属性を有する。基本属性は、例えば、カメラ１１の解像度、画角、フォーカス距離等である。
【００３３】
内部パラメータは、経年劣化等の影響を受けて時間と共に変化するカメラ１１の撮像パラメータである。従って、同じ種類のカメラ１１であっても、それぞれで内部パラメータは異なる。内部パラメータは、例えば、焦点距離係数、画像の角度係数、レンズの歪み係数等である。
【００３４】
外部パラメータは、被写体に対するカメラ１１の位置関係を示す撮像パラメータである。外部パラメータは、例えば、被写体からみたカメラ１１の位置座標（ｘ，ｙ，ｚ）、カメラ１１の上下方向の角度（チルト）、左右方向の角度（パン）、回転角度（ロール）などを示す情報から構成される。
【００３５】
視線情報は、クライアント１０内のカメラ１１のうち、どのカメラ１１同士が三次元モデルを作成するための視線となるかを定義する情報である。具体的には、視線情報は、視線を構成するカメラ１１のカメラＩＤ同士を対応付けた情報となる。例えば、図３に示すようにカメラ１１が配置されており、隣り合うカメラ１１同士で１つの視線を構成するとした場合を考える。この場合、視線情報として、カメラ１１Ａとカメラ１１Ｂとを対応付けた情報、カメラ１１Ｂとカメラ１１Ｃとを対応付けた情報、カメラ１１Ｃとカメラ１１Ｄとを対応付けた情報、カメラ１１Ｄとカメラ１１Ｅとを対応付けた情報、及び、カメラ１１Ｅとカメラ１１Ｆとを対応付けた情報が視線情報となる。
【００３６】
図４（Ｂ）に戻り、三次元モデルＤＢ２２２には、端末装置１２からの依頼を受けて作成した三次元モデル（ポリゴン情報）が、当該三次元モデルを識別するポリゴンＩＤ、当該三次元モデル作成の元となったペア画像を撮影した各カメラ１１のカメラＩＤ等と対応付けられて格納される。
【００３７】
図４（Ａ）に戻り、制御部２３は、ＣＰＵ（Central Processing Unit）等を備え、記憶部２２に記憶されているプログラムを実行することにより、サーバ２０の各部を制御する。また、制御部２３は、クライアント１０からの依頼を受けて、当該クライアント１０のカメラ情報等を登録する処理（クライアント登録処理）、三次元モデルを作成する処理（三次元モデル作成処理）、及び、既に作成されている複数の三次元モデルを合成する処理（三次元モデル合成処理）などを実行する。制御部２３の行うこれら処理の詳細については後述する。
【００３８】
続いて、三次元モデル作成システム１の動作について説明する。
【００３９】
（クライアント登録処理）
始めに、クライアント登録処理について説明する。
サーバ２０は、クライアント１０内の各カメラ１１が撮像した画像から三次元モデルを作成するために、当該クライアント１０および、当該クライアント１０内の各カメラ１１のカメラ情報等を事前に登録する処理（クライアント登録処理）を行う必要がある。このクライアント登録処理について、図６のフローチャートを参照して、詳細に説明する。
【００４０】
クライアント１０のユーザは、入力装置１４を操作して、クライアント登録用の画面を表示装置１３に表示させる。そして、ユーザは、入力装置１４を操作して、当該クライアント登録用の画面から、端末装置１２に接続されている各カメラ１１の基本属性を入力する。なお、カメラ１１の基本属性は、カメラ１１のマニュアル等を参照することで取得すればよい。また、ユーザは、入力装置１４を操作して、どのカメラ１１同士が視線を構成しているのかを示す視線情報も入力する。そして、ユーザは、入力が完了した後、クライアント１０登録用の画面に表示されている登録用のボタンをクリックする。このクリック操作に応答して、制御部１２４は、入力されたこれらの情報を含む登録要求データを作成する（ステップＳ１０１）。
【００４１】
図７（Ａ）に登録要求データの構成を示す。登録要求データは、当該データが登録要求データであることを示すコマンド識別子、各カメラ１１のカメラＩＤと基本属性、及び、視線情報等を含むデータである。
【００４２】
図６に戻り、続いて、制御部１２４は、作成した登録要求データを、インターネットを介して、サーバ２０に送信する（ステップＳ１０２）。
【００４３】
登録要求データを受信すると（ステップＳ１０３）、サーバ２０の制御部２３は、当該要求データに含まれる各カメラ１１のカメラＩＤと基本属性、及び、視線情報をクライアントＤＢ２２１に新規エントリとして登録する（ステップＳ１０４）。なお、この登録される新規エントリには、新たに作成したクライアントＩＤと認証用のパスワードとを付与する。また、この時点では、新規登録されたエントリ内の各カメラ１１の内部パラメータ、および、外部パラメータの値は空欄である。
【００４４】
続いて、制御部２３は、ステップＳ１０３で登録した視線情報が示す視線のなかから１つを選択する（ステップＳ１０５）。そして、制御部２３は、選択した視線を構成する各カメラ１１の撮像パラメータ（内部パラメータ、外部パラメータ）を取得する処理（パラメータ取得処理）を行う（ステップＳ１０６）。
【００４５】
パラメータ取得処理の詳細について、図８と図９のフローチャートを参照して説明する。
【００４６】
まず、制御部２３は、ステップＳ１０５で選択した視線を構成する各カメラ１１が表示装置１３の表示面全体を撮像可能となるような位置に当該表示装置１３を移動させることを指示するメッセージ情報をクライアント１０に送信する（ステップＳ２０１）。
【００４７】
そして、クライアント１０の端末装置１２の制御部１２４は、サーバ２０から受信したメッセージ情報が示すメッセージを表示装置１３に表示させる（ステップＳ２０２）。クライアント１０のユーザは、このメッセージに従い、被写体が設置されている位置に表示装置１３を移動させ、且つ、表示面の向きを、ステップＳ１０５で選択した視線を構成する各カメラ１１が撮像可能な位置に移動させる。
【００４８】
例えば、図３に示す視線１を構成するカメラ１１Ａ、１１Ｂの撮像パラメータを算出したい場合、クライアント１０のユーザは、図１０に示すような位置に表示装置１３を移動させる。
【００４９】
図８に戻り、表示装置１３の移動が完了すると、ユーザは入力装置１４を介してその旨を通知するための操作入力を行う。端末装置１２の制御部１２４は、この操作入力に応答して、インターネットを介して、移動完了通知をサーバ２０に送信する（ステップＳ２０３）。
【００５０】
移動完了通知を受信すると、サーバ２０の制御部２３は、カメラ１１の内部パラメータ算出用のパターン画像をインターネットを介してクライアント１０の端末装置１２に送信するとともに、該パターン画像を表示装置１３に表示させることを指示する（ステップＳ２０４）。この指示に応じて、端末装置１２の制御部１２４は、受信した内部パラメータ算出用のパターン画像を、表示装置１３に表示させる（ステップＳ２０５）。内部パラメータ算出用のパターン画像は、例えば、図１１に示すような、個々の点が格子状に等間隔に配置されている画像である。
【００５１】
図８に戻り、端末装置１２の制御部１２４は、内部パラメータ算出用のパターン画像の表示が完了すると、その旨を伝える表示完了通知をインターネットを介して、サーバ２０に送信する（ステップＳ２０６）。
【００５２】
表示完了通知を受信すると、サーバ２０の制御部２３は、ステップＳ１０５で選択した視線を構成する各カメラ１１の撮像を端末装置１２に指示する（ステップＳ２０７）。
【００５３】
端末装置１２の制御部１２４は、サーバ２０のからの指示を受けて、内部パラメータ算出対象の各カメラ１１に撮像を実行させ、撮像した画像のペア（ペア画像）を取得する（ステップＳ２０８）。そして、制御部１２４は、取得したペア画像をインターネットを介してサーバ２０に送信する（ステップＳ２０９）。
【００５４】
サーバ２０の制御部２３は、内部パラメータ算出用のパターン画像を撮像したペア画像を受信すると、当該パターン画像が適切な位置で撮像されたか否かを判別する（ステップＳ２１０）。例えば、予めパターン画像の四隅に印を付しておき、受信したペア画像内の所定位置に当該印が正しく位置しているか否かを判別することで、パターン画像が適切な位置で撮影されたか否かを判別すればよい。
【００５５】
パターン画像が適切な位置で撮像されていないと判別した場合（ステップＳ２１０；Ｎｏ）、ステップＳ２０１に処理は移り、制御部２３は、表示装置１３の移動を再度指示し、以降の処理を繰り返す。
【００５６】
パターン画像が適切な位置で撮像されていると判別した場合（ステップＳ２１０；Ｙｅｓ）、制御部２３は、ペア画像内に表示されているパターン画像に基づいて、公知の手法により、当該ペア画像を撮像した各カメラ１１の内部パラメータを求める（ステップＳ２１１）。例えば、ペア画像の各画像内で同じ点を示す特徴点の視差を算出し、その視差から内部パラメータを求めればよい。
【００５７】
ここで、カメラ１１に対するパターン画像の位置合わせが不十分であったり、パターン画像の一部に汚れ等があり、特徴点の抽出精度が悪くなるなど、何らかの不備により、内部パラメータの精度が確保されていない可能性がある。従って、制御部２３は、公知の手法により、ステップＳ２１１で求めた内部パラメータの精度を求める（ステップＳ２１２）。そして、制御部２３は、求めた精度が所定の閾値以上であるか否かを判別する（ステップＳ２１３）。
なお、内部パラメータの精度は、例えば、文献"A Flexible New Technique for Camera Calibration, Zhengyou Zhang, December 2, 1998"に記載されている手法を用いて算出すればよい。より具体的には、同文献に記載の下記式の値（０に近い程精度が高い）を算出することで、パラメータの精度を算出すればよい。
【数１】
2012142792.tif 000003
【００５８】
閾値以上の精度でない場合（ステップＳ２１３；Ｎｏ）、ステップＳ２０１に処理は移り、制御部２３は、表示装置１３の移動を再度指示し、以降の処理を繰り返す。
【００５９】
閾値以上の精度である場合（ステップＳ２１３；Ｙｅｓ）、制御部２３は、カメラ１１の外部パラメータ算出用のパターン画像をインターネットを介して、クライアント１０の端末装置１２に送信するとともに、該パターン画像を表示装置１３に表示させることを指示する（図９：ステップＳ２１４）。この指示に応じて、端末装置１２の制御部１２４は、受信した外部パラメータ算出用のパターン画像を、表示装置１３に表示させる（ステップＳ２１５）。
【００６０】
端末装置１２の制御部１２４は、外部パラメータ算出用のパターン画像の表示が完了すると、その旨を伝える表示完了通知をインターネットを介して、サーバ２０に送信する（ステップＳ２１６）。
【００６１】
表示完了通知を受信すると、サーバ２０の制御部２３は、ステップＳ１０５で選択した視線を構成する各カメラ１１の撮像を端末装置１２に指示する（ステップＳ２１７）。
【００６２】
端末装置１２の制御部１２４は、サーバ２０のからの指示を受けて、外部パラメータ算出対象の各カメラ１１に撮像を実行させ、撮像したペア画像を取得する（ステップＳ２１８）。そして、制御部１２４は、取得したペア画像をインターネットを介してサーバ２０に送信する（ステップＳ２１９）。
【００６３】
サーバ２０の制御部２３は、外部パラメータ算出用パターン画像を撮像したペア画像を受信すると、当該ペア画像内に表示されているパターン画像に基づいて、内部パラメータと同様に、公知の手法により、当該ペア画像を撮像した各カメラ１１の外部パラメータを求める（ステップＳ２２０）。
【００６４】
続いて、制御部２３は、公知の手法により、ステップＳ２２０で求めた外部パラメータの精度を求める（ステップＳ２２１）。そして、制御部２３は、求めた精度が所定の閾値以上であるか否かを判別する（ステップＳ２２２）。
【００６５】
閾値以上の精度でない場合（ステップＳ２２２；Ｎｏ）、ステップＳ２１４に処理は移り、制御部２３は、外部パラメータ算出用のパターン画像の表示を再度指示し、以降の処理を繰り返す。なお、この際、前回の処理とは異なる外部パラメータ算出用のパターン画像を表示させるのが望ましい。
【００６６】
閾値以上の精度である場合（ステップＳ２２２；Ｙｅｓ）、制御部は２３、ステップＳ２１１で求めた内部パラメータとステップＳ２２０で求めた外部パラメータとをクライアントＤＢ２２１に保存する（ステップＳ２２３）。以上でパラメータ取得処理は終了する。
【００６７】
図６に戻り、パラメータ取得処理が終了すると、制御部２３は、ステップＳ１０３で登録した視線情報が示す全ての視線を選択したか否かを判別する（ステップＳ１０７）。未選択の視線がある場合（ステップＳ１０７；Ｎｏ）、ステップＳ１０５に処理は移り、未選択の視線を選択して、その視線を構成する２つのカメラ１１について撮像パラメータを取得する処理を繰り返す。
【００６８】
全ての視線を選択した場合（ステップＳ１０７；Ｙｅｓ）、制御部２３は、ステップＳ１０４で新規登録したエントリに含まれるクライアントＩＤ、及び、パスワードを含む、図７（Ｂ）に示すような登録応答データを、クライアント１０登録要求の送信元である端末装置１２に送信する（ステップＳ１０８）。
【００６９】
図６に戻り、端末装置１２の制御部２３は、登録応答データを受信すると（ステップＳ１０９）、当該登録応答データに含まれるクライアントＩＤとパスワードとを記憶部２２に記憶する（ステップＳ１１０）。以上でクライアント登録処理は終了する。
【００７０】
このように、登録処理により、クライアント１０毎に、クライアント１０内の各カメラ１１のカメラ情報や視線情報がサーバ２０に登録（記憶）される。そして、登録が完了すると、クライアント１０の端末装置１２は、サーバ２０からクライアントＩＤとパスワードを受信する。そして、以降の各処理（三次元モデル作成処理、三次元モデル合成処理）を行う際に、端末装置１２は、クライアントＩＤとパスワードとをサーバ２０に送信して、認証を受けることが可能となる。
【００７１】
（三次元モデル作成処理）
始めに、クライアント登録処理について説明する。
サーバ２０は、クライアント１０から送信された画像ペアから三次元モデルを作成する三次元モデル作成処理を実行する。この三次元モデル作成処理の詳細について、カメラ１１Ａが撮像した画像Ａとカメラ１１Ｂが撮像した画像Ｂとからなるペア画像から三次元モデルを作成する場合を例に、図１２のフローチャートを参照して説明する。
【００７２】
まず、クライアント１０のユーザは、入力装置１４を操作して、三次元モデル作成用の画面を表示装置１３に表示させる。そして、ユーザは、入力装置１４を操作して、当該三次元モデル作成用の画面から、クライアントＩＤとパスワードの入力、及び、三次元モデルを作成したいカメラ１１Ａおよびカメラ１１Ｂが撮像した画像の選択行い、当該三次元モデル作成用の画面に表示されている作成ボタン等をクリックする。このクリック操作に応答して、制御部１２４は、三次元モデル作成要求データを作成する（ステップＳ３０１）。なお、クライアントＩＤとパスワードとは、前述した登録処理でサーバ２０から受信したものを入力すればよい。
【００７３】
三次元モデル作成要求データの構成例を図１３（Ａ）に示す。三次元モデル作成要求データには、当該データが三次元モデル作成要求データであることを示すコマンド識別子と、クライアントＩＤと、パスワードと、要求ＩＤと、３Ｄモデルを作成したいペア画像（画像Ａと画像Ｂ）の各画像データと、該各画像を撮影した各カメラ１１Ａ、１１ＢのカメラＩＤ等を含むデータである。なお、要求ＩＤは、同一のクライアント１０から連続して三次元モデル作成要求データを受信した場合に、各要求データを識別するためにクライアント１０が生成したユニークなＩＤである。
【００７４】
図１２に戻り、続いて、制御部１２４は、作成した三次元モデル作成要求データを、インターネットを介して、サーバ２０に送信する（ステップＳ３０２）。
【００７５】
三次元モデル作成要求データを受信すると（ステップＳ３０３）、サーバ２０の制御部２３は、三次元モデル作成要求データの送信元であるクライアント１０が前述の登録処理により事前に登録されているクライアント１０であるか否かを判別する（ステップＳ３０４）。具体的には、制御部２３は、三次元モデル作成要求データに含まれるクライアントＩＤとパスワードとの組が、クライアントＤＢ２２１に記憶されているか否かを判別し、記憶されている場合に、登録されているクライアント１０であると判別すればよい。
【００７６】
登録されていないクライアント１０であると判別した場合（ステップＳ３０４；Ｎｏ）、未認証のクライアント１０からの要求であり、三次元モデル作成処理はエラー終了する。
【００７７】
登録されているクライアント１０であると判別した場合（ステップＳ３０４；Ｎｏ）、制御部２３は、三次元モデル作成要求データに含まれている画像データから三次元モデルを生成するモデリング処理を実行する（ステップＳ３０５）。
【００７８】
ここで、図１４に示すフローチャートを参照して、モデリング処理について詳細に説明する。なお、モデリング処理は、一組のペア画像から三次元モデルを生成する処理である。つまり、モデリング処理は、一つの視線から見た三次元モデルを生成する処理と考えることができる。
【００７９】
まず、制御部２３は、特徴点の候補を抽出する（ステップＳ４０１）。例えば、制御部２３は、画像Ａに対してコーナー検出を行う。コーナー検出においては、ハリスなどのコーナー特徴量が、所定閾値以上かつ所定半径内で最大になる点がコーナー点として選択される。従って、被写体の先端など、他の点に対して特徴のある点が特徴点として抽出される。
【００８０】
続いて、制御部２３は、ステレオマッチングを実行し、画像Ａの特徴点に対応する点（対応点）を画像Ｂから探す（ステップＳ４０２）。具体的には、制御部２３は、テンプレートマッチングにより類似度が所定閾値以上かつ最大のもの（相違度が所定閾値以下かつ最小のもの）を対応点とする。テンプレートマッチングには、例えば、残差絶対値和（ＳＡＤ）、残差平方和（ＳＳＤ）、正規化相関（ＮＣＣやＺＮＣＣ）、方向符号相関など、様々な既知の技法が利用可能である。
【００８１】
続いて、制御部２３は、三次元モデル作成要求データに含まれているカメラ１１Ａと１１ＢのカメラＩＤをキーにクライアントＤＢ２２１を検索して、ペア画像（画像Ａと画像Ｂ）のそれぞれを撮像したカメラ１１Ａ、１１Ｂのカメラ情報を取得する（ステップＳ４０３）。
【００８２】
続いて、制御部２３は、ステップＳ４０２で検出された対応点の視差情報と、ステップＳ４０３で取得したカメラ情報とに基づいて、特徴点の位置情報（三次元位置座標）を算出する（ステップＳ４０４）。生成された特徴点の位置情報は、例えば、記憶部２２に記憶される。
【００８３】
続いて、制御部２３は、ステップＳ４０４において算出された特徴点の位置情報をもとにドロネー三角形分割を実行し、ポリゴン化を実行し、三次元モデル（ポリゴン情報）を生成する（ステップＳ４０５）。
【００８４】
そして、制御部２３は、ステップＳ４０５で生成した三次元モデル（ポリゴン情報）に対して新規のポリゴンＩＤを付し、該三次元モデルの作成の元となった画像Ａ、画像Ｂを作成したカメラ１１Ａ，１１ＢのカメラＩＤと対応付けて三次元モデルＤＢ２２２に保存する（ステップＳ４０６）。以上でモデリング処理は終了する。
【００８５】
図１２に戻り、モデルリング処理が終了すると、制御部２３は、三次元モデル作成要求データに対するレスポンスとして、三次元モデル作成応答データを作成する（ステップＳ３０６）。
【００８６】
図１３（Ｂ）に三次元モデル作成応答データの構成を示す。三次元モデル作成応答データは、当該データが三次元モデル作成応答データであることを示すコマンド識別子、応答ＩＤ、モデリング処理（ステップＳ３０５）で生成された三次元モデル、及び、そのポリゴンＩＤを含むデータである。なお、応答ＩＤは、同一のクライアント１０から連続して三次元モデル作成要求データを受信した場合に、クライアント１０がどの要求データに対する応答データなのかを識別するために付与されたＩＤである。応答ＩＤは、要求ＩＤと同一のものでよい。
【００８７】
図１２に戻り、続いて、制御部２３は、三次元モデル作成要求データの送信元であるクライアント１０の端末装置１２に、作成した三次元モデル作成応答データを送信する（ステップＳ３０７）。
【００８８】
三次元モデル作成応答データを受信すると（ステップＳ３０８）、端末装置１２の制御部１２４は、応答データに含まれる三次元モデルとポリゴンＩＤとを対応付けて記憶部１２３に保存する（ステップＳ３０９）。そして、制御部１２４は、保存した三次元モデルを表示装置１３に表示させる（ステップＳ３１０）。以上で、三次元モデリング処理は終了する。
【００８９】
（三次元モデル合成処理）
続いて、前述した三次元モデル作成処理によって作成された複数の三次元モデルを合成して、より精度の高い三次元モデルを作成する三次元モデル合成処理について、図１５のフローチャートを参照して説明する。
【００９０】
まず、クライアント１０のユーザは、入力装置１４を操作して、三次元モデル合成用の画面を表示装置１３に表示させる。そして、ユーザは、入力装置１４を操作して、当該三次元モデル作成用の画面から、クライアントＩＤとパスワードの入力、及び、合成したい複数の三次元モデル（ポリゴン情報）のポリゴンＩＤの入力を行い、当該三次元モデル合成用の画面に表示されている合成ボタン等をクリックする。このクリック操作に応答して、制御部１２４は、三次元モデル合成要求データを作成する（ステップＳ５０１）。なお、クライアントＩＤとパスワードとは、前述した登録処理でサーバ２０から受信したものを入力すればよい。また、ポリゴンＩＤは、前述の三次元モデル作成処理、または、過去の三次元モデル合成処理でサーバ２０から受信したものを入力すればよい。また、過去の三次元モデル作成処理や三次元モデル合成処理で取得した三次元モデルをそのポリゴンＩＤとともに作成の元となった視線毎に記憶部１２３に記憶しておき、各視線の三次元モデルを表示装置１３に一覧表示させ、そのなかから合成したい三次元モデルを選択させることで、合成したい三次元モデルのＩＤを取得するようにしてもよい。
【００９１】
三次元モデル合成要求データの構成例を図１６（Ａ）に示す。三次元モデル合成要求データには、当該データが三次元モデル作成要求データであることを示すコマンド識別子と、クライアントＩＤと、パスワードと、要求ＩＤと、合成したい三次元モデルを特定する複数のポリゴンＩＤ等を含むデータである。なお、要求ＩＤは、同一のクライアント１０から連続して三次元モデル合成要求データを受信した場合に、各要求データを識別するためにクライアント１０が生成したユニークなＩＤである。
【００９２】
図１５に戻り、続いて、制御部１２４は、作成した三次元モデル合成要求データを、インターネットを介して、サーバ２０に送信する（ステップＳ５０２）。
【００９３】
三次元モデル作成合成データを受信すると（ステップＳ５０３）、サーバ２０の制御部２３は、三次元モデル合成要求データの送信元であるクライアント１０が前述の登録処理により事前に登録されているクライアント１０であるか否かを判別する（ステップＳ５０４）。
【００９４】
登録されていないクライアント１０であると判別した場合（ステップＳ５０４；Ｎｏ）、未認証のクライアント１０からの要求であり、三次元モデル作成処理はエラー終了する。
【００９５】
登録されているクライアント１０であると判別した場合（ステップＳ５０４；Ｎｏ）、制御部２３は、合成処理を実行する（ステップＳ５０５）。合成処理の詳細について、図１７のフローチャートを参照して説明する。
【００９６】
まず、制御部２３は、三次元モデル作成要求データに含まれる複数のポリゴンＩＤのうちから、２つを選択する（ステップＳ６０１）。ここでは、２つのポリゴンＩＤｐ１、ｐ２を選択したものとして以下説明する。
【００９７】
そして、制御部２３は、選択した２つのポリゴンＩＤのそれぞれに対して、当該ポリゴンＩＤが示すポリゴン情報（三次元モデル）の作成の元となったペア画像を撮影した各カメラ１１の外部パラメータを取得する（ステップＳ６０２）。具体的には、選択した各ポリゴンＩＤをキーに三次元モデルＤＢ２２２を検索してカメラＩＤを取得する。そして、取得したカメラＩＤに対応するカメラ１１の外部パラメータをクライアントＤＢ２２１から取得すればよい。
【００９８】
続いて、制御部２３は、取得した外部パラメータに基づいて、ステップステップＳ６０１で選択した一方のポリゴンＩＤｐ１が示す三次元モデルの座標を、選択した他方のポリゴンＩＤｐ２が示す三次元モデルの座標に変換するための、座標変換パラメータを取得する（ステップＳ６０３）。
具体的には、この処理は、式（１）を満たす回転行列Ｒと移動ベクトルｔとを求める処理である。なお、ＸはポリゴンＩＤｐ１が示す三次元モデルの座標を示し、Ｘ’は、ポリゴンＩＤｐ２が示す三次元モデルの座標を示す。
【数２】
2012142792.tif 000004
【００９９】
前述したように、外部パラメータは、被写体からみたカメラ１１の位置を示す情報（座標、チルト、パン、ロール）である。従って、制御部２３は、これらの外部パラメータに基づいて、当該外部パラメータを有するカメラペアの撮像画像から作成された被写体の三次元モデルの座標変換パラメータを公知の座標変換式等を用いて算出すればよい。
【０１００】
続いて、制御部２３は、取得した座標変換パラメータを用いて、ポリゴンＩＤｐ１で特定される三次元モデルと、ポリゴンＩＤｐ２で特定される三次元モデルとを重ねる（ステップＳ６０４）。
【０１０１】
続いて、制御部２３は、ポリゴンＩＤｐ１で特定される三次元モデルの特徴点とポリゴンＩＤｐ２で特定される三次元モデルの特徴点との重なり具合から信頼性の低い特徴点を除去する（ステップＳ６０５）。例えば、ある三次元モデルの注目特徴点に対する他の三次元モデルの最近傍の特徴点の分布から、当該注目特徴点のマハラノビス距離が計算され、このマハラノビス距離が所定値以上の場合は当該注目特徴点の信頼性が低いと判別される。なお、注目特徴点からの距離が所定値以上の特徴点は、最近傍の特徴点に含めないようにしても良い。また、最近傍の特徴点の数が少ない場合、信頼性が低いものと見なされてもよい。なお、特徴点を実際に除去する処理は、全ての特徴点に対して、除去するか否かが判別された後に、実行されるものとする。
【０１０２】
続いて、制御部２３は、同一と見なせる特徴点を統合する（ステップＳ６０６）。例えば、所定距離以内の特徴点は、全て同一の特徴点を表すグループに属するものとして扱われ、これらの特徴点の重心が新たな特徴点とされる。
【０１０３】
続いて、制御部２３は、ポリゴンメッシュを再構成する（ステップＳ６０７）。つまり、ステップＳ６０６において求められた新たな特徴点に基づいて、三次元モデル（ポリゴン情報）が生成される。
【０１０４】
続いて、制御部２３は、三次元モデル作成要求データに含まれる複数のポリゴンＩＤのうち、未選択のもの（即ち、合成していないもの）が有るか否かを判別する（ステップＳ６０８）。
【０１０５】
未選択のポリゴンＩＤが有る場合（ステップＳ６０８；Ｙｅｓ）、制御部２３は、当該ポリゴンＩＤを１つ選択する（ステップＳ６０９）。そして、ステップＳ６０２に処理は移り、制御部２３は、ステップＳ６０９で選択したポリゴンＩＤが示す三次元モデルとステップＳ６０７で再構成した三次元モデルとの間で、同様に、座標変換パラメータを取得して、両三次元モデルを重ね、ポリゴンを再構成する処理を繰り返す。
【０１０６】
未選択のポリゴンＩＤが無い場合（ステップＳ６０８；Ｎｏ）、三次元モデル作成要求データに含まれるポリゴンＩＤが示す三次元モデルは全て合成されたことになる。従って、制御部２３は、ステップＳ６０７で再構成した三次元モデル（ポリゴン情報）に対して新規のポリゴンＩＤを付し、三次元モデルＤＢ２２２に登録する（ステップＳ６１０）。以上で合成処理は終了する。
【０１０７】
図１５に戻り、合成処理が終了すると、制御部２３は、三次元モデル合成要求データに対するレスポンスとして、三次元モデル合成応答データを作成する（ステップＳ５０６）。
【０１０８】
図１６（Ｂ）に三次元モデル合成応答データの構成を示す。三次元モデル合成応答データは、当該データが三次元モデル合成応答データであることを示すコマンド識別子、応答ＩＤ、合成処理（ステップＳ５０５）で生成（再構成）された三次元モデルと、当該三次元モデルのポリゴンＩＤと、を含むデータである。なお、応答ＩＤは、同一のクライアント１０から連続して三次元モデル合成要求データを受信した場合に、クライアント１０がどの要求データに対する応答データなのかを識別するために付与されたＩＤである。応答ＩＤは、要求ＩＤと同一のものでよい。
【０１０９】
図１５に戻り、続いて、制御部２３は、三次元モデル合成要求データの送信元であるクライアント１０の端末装置１２に、作成した三次元モデル合成応答データを送信する（ステップＳ５０７）。
【０１１０】
三次元モデル合成応答データを受信すると（ステップＳ５０８）、端末装置１２の制御部１２４は、三次元モデル合成応答データに含まれるポリゴン情報とポリゴンＩＤとを対応付けて記憶部１２３に保存する（ステップＳ５０９）。そして、制御部１２４は、保存した三次元モデルを表示装置１３に表示させる（ステップＳ５１０）。以上で、三次元モデル合成処理は終了する。
【０１１１】
このように、三次元モデル合成処理により、複数の三次元モデルが合成されるので、形状情報の欠損を抑えつつ、高精度な三次元モデリングが可能になる。
【０１１２】
本発明の実施形態に係る三次元モデル作成システム１によれば、各クライアント１０の備えるカメラ１１のカメラ情報や視線情報が、クライアント１０毎に、事前にサーバ２０に保存される。そして、各クライアント１０は、撮像したペア画像から三次元モデルを作成したい場合、当該ペア画像をサーバ２０に送信し、サーバ２０が受信したペア画像と事前に記憶されているカメラ情報とに基づいて三次元モデルを作成する。従って、膨大な演算処理が必要な三次元モデル作成の処理は、１台のサーバ２０が全クライアント１０の処理を代行して実施するため、クライアント１０内の端末装置１２は、比較的安価なＣＰＵ等で実現可能である。従って、システム全体として、比較的低コストで、撮像画像から三次元モデルを作成することが可能となる。
【０１１３】
なお、本発明は、上記各実施形態に限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。
【０１１４】
例えば、クライアント１０内の端末装置１２の制御部１２４は、所定のフレーム周期（例えば、１／３０秒）で各カメラ１１に被写体を撮像させ、撮像させた画像をサーバ２０にストリーミング送信するようにした構成にも、本発明を適用することが可能である。この場合、サーバ２０の制御部２３は、連続的に受信した画像を、当該画像を撮像したカメラ１１のカメラＩＤ及び連続受信した各画像を一意に識別するフレーム番号と対応付けて記憶部２２に逐次保存する。そして、三次元モデル作成処理を実施する場合、クライアント１０の端末装置１２のユーザは、三次元モデルを作成したい画像をカメラＩＤとフレーム番号で指定する図１３（Ｃ）に示すような三次元モデル作成要求データを作成して、サーバ２０に三次元モデルの作成を実行させればよい。
このようにすることで、三次元モデル作成要求データにサイズの大きな画像データを含めなくて済むため、三次元モデル作成要求データのサーバ２０への転送時間を少なくすることが可能となる。
【０１１５】
また、三次元モデル作成処理において、端末装置１２が三次元モデル作成要求データに含めて送信する画像データを、カメラ１１が撮像した画像を劣化させた（例えば、画素数を減じた）画像データとしてもよい。この場合、サーバ２０は、劣化された画像データから三次元モデルを作成して、端末装置１２に送信する。端末装置１２は、受信した三次元モデルに、劣化させる前の画像データをテクスチャーとして貼り付け、貼り付けた三次元モデルを表示装置１３に表示させる。
このようにすることで、端末装置１２は、劣化させた画像をサーバ２０に送信するため、転送時間を少なくすることができる。さらに、劣化画像から作成された三次元モデルに、劣化されていない画像をテクスチャーとして貼り付けて三次元モデルを表示するため、三次元モデル自体の劣化はある程度抑えることが可能となる。
【０１１６】
また、例えば、本発明に係るサーバ２０の動作を規定する動作プログラムを既存のパーソナルコンピュータや情報端末機器等に適用することで、当該パーソナルコンピュータ等を本発明に係るサーバ２０として機能させることも可能である。
【０１１７】
また、このようなプログラムの配布方法は任意であり、例えば、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical Disk）、メモリカードなどのコンピュータ読み取り可能な記録媒体に格納して配布してもよいし、インターネットなどの通信ネットワークを介して配布してもよい。
【符号の説明】
【０１１８】
１…三次元モデル作成システム、１０…クライアントシステム、２０…サーバ、１１…カメラ、１２…端末装置、１３…表示装置、１４…入力装置
【図１】
2012142792.tif 000005
【図２】
2012142792.tif 000006
【図３】
2012142792.tif 000007
【図４】
2012142792.tif 000008
【図５】
2012142792.tif 000009
【図６】
2012142792.tif 000010
【図７】
2012142792.tif 000011
【図８】
2012142792.tif 000012
【図９】
2012142792.tif 000013
【図１０】
2012142792.tif 000014
【図１１】
2012142792.tif 000015
【図１２】
2012142792.tif 000016
【図１３】
2012142792.tif 000017
【図１４】
2012142792.tif 000018
【図１５】
2012142792.tif 000019
【図１６】
2012142792.tif 000020
【図１７】
2012142792.tif 000021
【手続補正書】
【提出日】平成24年3月1日(2012.3.1)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
前記撮像パラメータ取得手段が取得した撮像パラメータの精度を算出するパラメータ精度算出取得手段をさらに備え、
前記パターン画像表示指示手段は、前記パラメータ精度算出取得手段が算出した撮像パラメータの精度が所定の閾値未満の場合、前回表示を指示したパターン画像とは異なるパターン画像を表示させることを指示する表示指示情報を送信してもよい。
前記撮像パラメータ取得手段は、焦点距離係数、画像の角度係数、レンズの歪み係数を、前記視線を構成する各前記撮像装置の撮像パラメータとして取得してもよい。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
クライアント１０のユーザは、入力装置１４を操作して、クライアント登録用の画面を表示装置１３に表示させる。そして、ユーザは、入力装置１４を操作して、当該クライアント登録用の画面から、端末装置１２に接続されている各カメラ１１の基本属性を入力する。なお、カメラ１１の基本属性は、カメラ１１のマニュアル等を参照することで取得すればよい。また、ユーザは、入力装置１４を操作して、どのカメラ１１同士が視線を構成しているのかを示す視線情報も入力する。そして、ユーザは、入力が完了した後、クライアント登録用の画面に表示されている登録用のボタンをクリックする。このクリック操作に応答して、制御部１２４は、入力されたこれらの情報を含む登録要求データを作成する（ステップＳ１０１）。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
続いて、制御部２３は、ステップＳ１０４で登録した視線情報が示す視線のなかから１つを選択する（ステップＳ１０５）。そして、制御部２３は、選択した視線を構成する各カメラ１１の撮像パラメータ（内部パラメータ、外部パラメータ）を取得する処理（パラメータ取得処理）を行う（ステップＳ１０６）。
【手続補正４】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の撮像装置と表示装置とを備えたクライアントシステムとネットワークを介して接続された撮像パラメータ取得装置であって、
前記クライアントシステムに、三次元モデルを作成するための視線を構成する各前記撮像装置が前記表示装置の表示面を撮像可能となるように該表示装置の移動を指示するメッセージ情報を送信する移動指示手段と、
前記表示装置の移動を指示するメッセージ情報を送信した前記クライアントシステムに、撮像パラメータ算出用のパターン画像を前記表示装置に表示させることを指示する表示指示情報を送信するパターン画像表示指示手段と、
前記表示指示情報を送信した前記クライアントシステムに、前記視線を構成する各前記撮像装置に前記表示装置の表示面の撮像を指示する撮像指示情報を送信する撮像指示手段と、
前記撮像指示情報が示す指示に従って前記視線を構成する各前記撮像装置が撮像した画像を取得する画像取得手段と、
前記画像取得手段が取得した画像に基づいて、前記視線を構成する各前記撮像装置の撮像パラメータを取得する撮像パラメータ取得手段と、
を備えることを特徴とする撮像パラメータ取得装置。
【請求項２】
前記パターン画像の前記画像取得手段が取得した画像内での位置及びサイズに基づいて、前記視線を構成する各前記撮像装置の撮像位置が適切であるか否かを判別する撮像位置判別手段をさらに備え、
前記移動指示手段は、前記撮像位置判別手段が撮像位置が適切で無いと判別した場合、前記表示装置の移動を指示するメッセージ情報を再度送信する、
ことを特徴とする請求項１に記載の撮像パラメータ取得装置。
【請求項３】
前記撮像パラメータ取得手段が取得した撮像パラメータの精度を算出するパラメータ精度算出取得手段をさらに備え、
前記移動指示手段は、前記パラメータ精度算出取得手段が算出した撮像パラメータの精度が所定の閾値未満の場合、前記表示装置の移動を指示するメッセージ情報を再度送信する、
ことを特徴とする請求項１又は２に記載の撮像パラメータ取得装置。
【請求項４】
前記撮像パラメータ取得手段が取得した撮像パラメータの精度を算出するパラメータ精度算出取得手段をさらに備え、
前記パターン画像表示指示手段は、前記パラメータ精度算出取得手段が算出した撮像パラメータの精度が所定の閾値未満の場合、前回表示を指示したパターン画像とは異なるパターン画像を表示させることを指示する表示指示情報を送信する、
ことを特徴とする請求項１乃至３の何れか１項に記載の撮像パラメータ取得装置。
【請求項５】
前記撮像パラメータ取得手段は、焦点距離係数、画像の角度係数、レンズの歪み係数を、前記視線を構成する各前記撮像装置の撮像パラメータとして取得する、
ことを特徴とする請求項１乃至４の何れか１項に記載の撮像パラメータ取得装置。
【請求項６】
複数の撮像装置と表示装置とを備えたクライアントシステムとネットワークを介して接続されたコンピュータを用いた撮像パラメータ取得方法であって、
前記コンピュータが、前記クライアントシステムに、三次元モデルを作成するための視線を構成する各前記撮像装置が前記表示装置の表示面を撮像可能となるように該表示装置の移動を指示するメッセージ情報を送信する移動指示ステップと、
前記コンピュータが、前記表示装置の移動を指示するメッセージ情報を送信した前記クライアントシステムに、撮像パラメータ算出用のパターン画像を前記表示装置に表示させることを指示する表示指示情報を送信するパターン画像表示指示ステップと、
前記コンピュータが、前記表示指示情報を送信した前記クライアントシステムに、前記視線を構成する各前記撮像装置に前記表示装置の表示面の撮像を指示する撮像指示情報を送信する撮像指示ステップと、
前記コンピュータが、前記撮像指示情報が示す指示に従って前記視線を構成する各前記撮像装置が撮像した画像を取得する画像取得ステップと、
前記コンピュータが、前記画像取得ステップで取得した画像に基づいて、前記視線を構成する各前記撮像装置の撮像パラメータを取得する撮像パラメータ取得ステップと、
を備えることを特徴とする撮像パラメータ取得方法。
【請求項７】
複数の撮像装置と表示装置とを備えたクライアントシステムとネットワークを介して接続されたコンピュータを、
前記クライアントシステムに、三次元モデルを作成するための視線を構成する各前記撮像装置が前記表示装置の表示面を撮像可能となるように該表示装置の移動を指示するメッセージ情報を送信する移動指示手段、
前記表示装置の移動を指示するメッセージ情報を送信した前記クライアントシステムに、撮像パラメータ算出用のパターン画像を前記表示装置に表示させることを指示する表示指示情報を送信するパターン画像表示指示手段、
前記表示指示情報を送信した前記クライアントシステムに、前記視線を構成する各前記撮像装置に前記表示装置の表示面の撮像を指示する撮像指示情報を送信する撮像指示手段、
前記撮像指示情報が示す指示に従って前記視線を構成する各前記撮像装置が撮像した画像を取得する画像取得手段、
前記画像取得手段が取得した画像に基づいて、前記視線を構成する各前記撮像装置の撮像パラメータを取得する撮像パラメータ取得手段、
として機能させることを特徴とするプログラム。