(57)【要約】      （修正有）【課題】３次元情報の復元に伴う処理負荷又はメモリの使用量を低減する。【解決手段】撮影位置が異なる複数のカメラにより撮像された複数の画像の中から選択された第１のカメラにより撮像された第１の画像について、光学中心及び第１の画像のそれぞれの画素を結ぶ３次元空間の直線上にオブジェクトが存在するか特定し、特定した第１の画像の画素を含む領域を、オブジェクトの探索が実行される第１の範囲と、第１の範囲以外を第２の範囲とし、第１の範囲に含まれる画素に対しては、探索を実行する間隔として第１の間隔を設定、第２の範囲に含まれる画素に対しては、第１の間隔よりも長い第２の間隔を設定、設定された範囲および間隔にしたがって、複数の画像のうち第１の画像として選択されない第２の画像及び第１の画像の間でブロックをマッチングし、マッチングされたブロック間の相関に基づいて、第１の画像の画素ごとに３次元空間上の位置を推定する。【選択図】図２
2018194979.tif 000002
【特許請求の範囲】
【請求項１】
撮影位置が異なる複数のカメラにより撮像された複数の画像を取得し、
前記複数の画像の中から選択された第１のカメラにより撮像された第１の画像について、前記第１のカメラの光学中心および前記第１の画像のそれぞれの画素を結ぶ３次元空間の直線上にオブジェクトが存在するか特定し、
特定した第１の画像の画素を含む領域を、前記３次元空間の直線上で前記オブジェクトの探索が実行される第１の範囲として設定し、前記第１の画像中の前記第１の範囲以外の領域を第２の範囲に設定し、
前記第１の範囲に含まれる画素に対しては、前記３次元空間の直線上で前記オブジェクトの探索を実行する間隔として第１の間隔を設定し、前記第２の範囲に含まれる画素に対しては、前記第１の間隔よりも長い第２の間隔を設定し、
設定された範囲および設定された間隔にしたがって、前記複数の画像のうち前記第１の画像として選択されない第２の画像及び前記第１の画像の間でブロックをマッチングし、
マッチングされたブロック間の相関に基づいて、前記第１の画像の画素ごとに前記３次元空間上の位置を推定する、
処理をコンピュータが実行することを特徴とする３次元情報の復元方法。
【請求項２】
前記第１の間隔を設定する処理は、範囲の特定に成功した第１の画像の画素の重要度が高いほど細かい前記第１の間隔を設定することを特徴とする請求項１に記載の３次元情報の復元方法。
【請求項３】
前記特定する処理は、前記オブジェクトが存在する範囲の特定にＶｉｓｕａｌ  Ｈｕｌｌを用いることを特徴とする請求項１に記載の３次元情報の復元方法。
【請求項４】
撮影位置が異なる複数のカメラにより撮像された複数の画像を取得し、
前記複数の画像の中から選択された第１のカメラにより撮像された第１の画像について、前記第１のカメラの光学中心および前記第１の画像のそれぞれの画素を結ぶ３次元空間の直線上にオブジェクトが存在するか特定し、
特定した第１の画像の画素を含む領域を、前記３次元空間の直線上で前記オブジェクトの探索が実行される第１の範囲として設定し、前記第１の画像中の前記第１の範囲以外の領域を第２の範囲に設定し、
前記第１の範囲に含まれる画素に対しては、前記３次元空間の直線上で前記オブジェクトの探索を実行する間隔として第１の間隔を設定し、前記第２の範囲に含まれる画素に対しては、前記第１の間隔よりも長い第２の間隔を設定し、
設定された範囲および設定された間隔にしたがって、前記複数の画像のうち前記第１の画像として選択されない第２の画像及び前記第１の画像の間でブロックをマッチングし、
マッチングされたブロック間の相関に基づいて、前記第１の画像の画素ごとに前記３次元空間上の位置を推定する、
処理をコンピュータに実行させることを特徴とする３次元情報の復元プログラム。
【請求項５】
撮影位置が異なる複数のカメラにより撮像された複数の画像を取得する取得部と、
前記複数の画像の中から選択された第１のカメラにより撮像された第１の画像について、前記第１のカメラの光学中心および前記第１の画像のそれぞれの画素を結ぶ３次元空間の直線上にオブジェクトが存在するか特定する特定部と、
特定した第１の画像の画素を含む領域を、前記３次元空間の直線上で前記オブジェクトの探索が実行される第１の範囲として設定し、前記第１の画像中の前記第１の範囲以外の領域を第２の範囲に設定する第１の設定部と、
前記第１の範囲に含まれる画素に対しては、前記３次元空間の直線上で前記オブジェクトの探索を実行する間隔として第１の間隔を設定し、前記第２の範囲に含まれる画素に対しては、前記第１の間隔よりも長い第２の間隔を設定する第２の設定部と、
設定された範囲および設定された間隔にしたがって、前記複数の画像のうち前記第１の画像として選択されない第２の画像及び前記第１の画像の間でブロックをマッチングするマッチング部と、
マッチングされたブロック間の相関に基づいて、前記第１の画像の画素ごとに前記３次元空間上の位置を推定する推定部と、
を有することを特徴とする３次元情報の復元装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元情報の復元方法、復元プログラム及び復元装置に関する。
【背景技術】
【０００２】
自由視点映像という技術が知られている。例えば、視点が異なる複数のカメラが撮像する多視点画像から３次元情報を復元する。このような３次元情報を用いることにより、実際にはカメラが存在しない仮想的な視点から３次元のオブジェクトが観測される仮想視点画像を生成できる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−６９０９０号公報
【特許文献２】特開２００６−２１５９３９号公報
【特許文献３】特開２０００−２１５３１１号公報
【特許文献４】特開２００２−１９７４４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の３次元情報を復元するには、処理負荷やメモリの使用量が増大する場合がある。例えば、３次元情報の復元時には、多視点画像のうち１つを基準画像とする一方でその他を参照画像とし、基準画像の画素ごとに基準画像の撮影に割り当てられたカメラの光学中心および基準画像の画素を結ぶ３次元空間の直線上に設定される基準画像上のブロックが参照画像に投影されることにより、基準画像および参照画像の間でブロックがマッチングされる。ところが、基準画像および参照画像の間でブロックをマッチングする間隔を細かく設定するほど処理負荷やメモリの使用量が増大するので、３次元情報を高精度に復元する妨げとなる。
【０００５】
１つの側面では、本発明は、３次元情報の復元に伴う処理負荷又はメモリの使用量を低減できる３次元情報の復元方法、復元プログラム及び復元装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
一態様の３次元情報の復元方法では、撮影位置が異なる複数のカメラにより撮像された複数の画像を取得し、前記複数の画像の中から選択された第１のカメラにより撮像された第１の画像について、前記第１のカメラの光学中心および前記第１の画像のそれぞれの画素を結ぶ３次元空間の直線上にオブジェクトが存在するか特定し、特定した第１の画像の画素を含む領域を、前記３次元空間の直線上で前記オブジェクトの探索が実行される第１の範囲として設定し、前記第１の画像中の前記第１の範囲以外を第２の範囲に設定し、前記第１の範囲に含まれる画素に対しては、前記３次元空間の直線上で前記オブジェクトの探索を実行する間隔として第１の間隔を設定し、前記第２の範囲に含まれる画素に対しては、前記第１の間隔よりも長い第２の間隔を設定し、設定された範囲および設定された間隔にしたがって、前記複数の画像のうち前記第１の画像として選択されない第２の画像及び前記第１の画像の間でブロックをマッチングし、マッチングされたブロック間の相関に基づいて、前記第１の画像の画素ごとに前記３次元空間上の位置を推定する、処理をコンピュータが実行する。
【発明の効果】
【０００７】
３次元情報の復元に伴う処理負荷又はメモリの使用量を低減できる。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施例１に係る３次元情報の復元システムの構成例を示す図である。
【図２】図２は、実施例１に係るサーバ装置の機能的構成を示すブロック図である。
【図３】図３は、前景および背景の分離の一例を示す図である。
【図４】図４は、Ｖｉｓｕａｌ  Ｈｕｌｌの一例を示す図である。
【図５】図５は、Ｖｉｓｕａｌ  Ｈｕｌｌの算出プロセスの一例を示す図である。
【図６】図６は、Ｖｉｓｕａｌ  Ｈｕｌｌの算出プロセスの一例を示す図である。
【図７】図７は、オブジェクトの探索範囲の設定例を示す図である。
【図８】図８は、探索間隔の一例を示す図である。
【図９】図９は、探索間隔とデプスの関係の一例を示す図である。
【図１０】図１０は、カメラ間の配置条件の一例を示す図である。
【図１１】図１１は、ブロックマッチングの一例を示す図である。
【図１２】図１２は、デプス画像の一例を示す図である。
【図１３】図１３は、実施例１に係る３次元情報の復元処理の手順を示すフローチャートである。
【図１４】図１４は、基準画像の各画素が属する領域の割合の一例を示す図である。
【図１５】図１５は、基準画像の各画素の探索範囲の平均値の比率の一例を示す図である。
【図１６】図１６は、実施例１及び実施例２に係る復元プログラムを実行するコンピュータのハードウェア構成例を示す図である。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照して本願に係る３次元情報の復元方法、復元プログラム及び復元装置について説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【実施例１】
【００１０】
［システム構成］
図１は、実施例１に係る３次元情報の復元システムの構成例を示す図である。図１に示す３次元情報の復元システム１は、一側面として、視点が異なる複数のカメラ３０Ａ〜３０Ｍが撮像する多視点画像から３次元情報を復元する復元サービスを提供するものである。
【００１１】
図１に示すように、３次元情報の復元システム１には、サーバ装置１０と、複数のカメラ３０Ａ〜３０Ｍとが含まれる。以下では、カメラ３０Ａ〜３０Ｍのことを「カメラ３０」と記載する場合がある。
【００１２】
これらサーバ装置１０及びカメラ３０の間は、所定のネットワークＮＷを介して接続される。このネットワークＮＷは、有線または無線を問わず、インターネット、ＬＡＮ（Local  Area  Network）やＶＰＮ（Virtual  Private  Network）などの任意の種類の通信網により構築することができる。
【００１３】
このように、図１に示す３次元情報の復元システム１では、多視点画像がネットワークＮＷを介してカメラ３０からサーバ装置１０へ伝送される場合を例示するが、これはあくまで伝送形態の一例であり、サーバ装置１０及びカメラ３０の間で必ずしも双方向に通信が行われずともかまわない。例えば、ネットワークＮＷを経由せず、多視点画像が放送波を介してカメラ３０からサーバ装置１０へ伝送されることとしてもかまわない。
【００１４】
サーバ装置１０は、上記の復元サービスを提供するコンピュータである。サーバ装置１０は、復元装置の一例である。
【００１５】
一実施形態として、サーバ装置１０は、パッケージソフトウェア又はオンラインソフトウェアとして、上記の復元サービスの機能を実現する復元プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、サーバ装置１０は、上記の復元サービスを提供するＷｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の復元サービスを提供するクラウドとして実装することとしてもかまわない。
【００１６】
カメラ３０は、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を搭載する撮像装置である。
【００１７】
図１には、あくまで一例として、サッカー観戦におけるカメラ３０の配置が示されている。例えば、サッカーのフィールドＦ上の３次元空間に含まれる３次元のオブジェクト、例えばボールや選手、審判などの試合関係者等が復元される。この場合、複数のカメラ３０は、フィールドＦの周囲からフィールドＦの内部へ向けて配置される。このとき、複数のカメラ３０の撮影範囲が組み合わさることによりフィールドＦの全域が複数のカメラ３０の撮影範囲に収まる配置で各カメラ３０が設置されると共に、各カメラ３０は、他のカメラ３０との間で撮影範囲の一部が重複する状態で配置される。このような配置の下、複数のカメラ３０がフレームごとに同期して撮影することにより、異なる視点ごとに同一のタイミングで撮影された複数の画像がフレーム単位で得られる。以下では、撮影位置が異なるカメラ３０Ａ〜３０Ｍにより同一のフレームで撮像された複数の画像のことを「多視点画像」と記載し、また、１つのカメラ３０により時系列に撮像される一連の画像のことを「動画像」と記載する場合がある。
【００１８】
［サーバ装置１０の構成］
次に、本実施例に係るサーバ装置１０の機能的構成について説明する。図２は、実施例１に係るサーバ装置１０の機能的構成を示すブロック図である。図２に示すように、サーバ装置１０は、通信Ｉ／Ｆ（InterFace）部１１と、記憶部１３と、制御部１５とを有する。なお、図２には、上記の復元サービスに関連するサーバ装置１０の機能部が抜粋して示されているに過ぎず、図示以外の機能部、例えば既存のコンピュータがデフォルトまたはオプションで装備する機能部がサーバ装置１０に備わることを妨げない。例えば、上記の多視点画像がカメラ３０からサーバ装置１０へ放送波や衛星波を介して伝搬される場合、放送波や衛星波の受信部をさらに有することとしてもかまわない。
【００１９】
通信Ｉ／Ｆ部１１は、他の装置との間で通信制御を行うインタフェースである。
【００２０】
一実施形態として、通信Ｉ／Ｆ部１１には、ＬＡＮカードなどのネットワークインタフェースカードが対応する。例えば、通信Ｉ／Ｆ部１１は、カメラ３０から多視点画像を受信したり、また、撮像制御に関する指示、例えば電源ＯＮ／電源ＯＦＦの他、パンやチルトなどの指示をカメラ３０へ送信したりする。
【００２１】
記憶部１３は、制御部１５で実行されるＯＳ（Operating  System）を始め、上記の復元プログラムなどの各種プログラムに用いられるデータを記憶する記憶デバイスである。
【００２２】
一実施形態として、記憶部１３は、サーバ装置１０における補助記憶装置として実装される。例えば、補助記憶装置には、ＨＤＤ（Hard  Disk  Drive）、光ディスクやＳＳＤ（Solid  State  Drive）などが対応する。この他、ＥＰＲＯＭ（Erasable  Programmable  Read  Only  Memory)などのフラッシュメモリも補助記憶装置に対応する。
【００２３】
記憶部１３は、制御部１５で実行されるプログラムに用いられるデータの一例として、カメラ３０の位置や向きなどの外部パラメータ及びカメラ３０の画角やレンズの歪みなどの内部パラメータを含むパラメータ１３ａを記憶する。このパラメータ１３ａ以外にも、他の電子データを記憶することもできる。例えば、記憶部１３には、カメラ３０から伝送された多視点画像の時系列データなどを記憶することができる。
【００２４】
制御部１５は、サーバ装置１０の全体制御を行う処理部である。
【００２５】
一実施形態として、制御部１５は、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）などのハードウェアプロセッサにより実装することができる。ここでは、プロセッサの一例として、ＣＰＵやＭＰＵを例示したが、汎用型および特化型を問わず、任意のプロセッサにより実装することができる。この他、制御部１５は、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）などのハードワイヤードロジックによって実現されることとしてもかまわない。
【００２６】
制御部１５は、図示しない主記憶装置として実装されるＤＲＡＭ（Dynamic  Random  Access  Memory）やＳＲＡＭ（Static  Random  Access  Memory）などのＲＡＭのワークエリア上に、上記の復元プログラムを展開することにより、下記の処理部を仮想的に実現する。
【００２７】
制御部１５は、図２に示すように、取得部１５ａと、分離部１５ｂと、第１の設定部１５ｃと、第２の設定部１５ｄと、マッチング部１５ｅと、推定部１５ｆとを有する。
【００２８】
取得部１５ａは、多視点画像を取得する処理部である。
【００２９】
一実施形態として、取得部１５ａは、カメラ３０から伝送される多視点画像をフレーム単位で取得することができる。ここで、取得部１５ａが多視点画像を取得するソースは任意であってよく、カメラ３０に限定されない。例えば、取得部１５ａは、多視点画像を蓄積するハードディスクや光ディスクなどの補助記憶装置またはメモリカードやＵＳＢ（Universal  Serial  Bus）メモリなどのリムーバブルメディアから読み出すことにより多視点画像を取得することもできる。この他、取得部１５ａは、外部装置からネットワークＮＷを介して受信することによって多視点画像を取得することもできる。
【００３０】
分離部１５ｂは、前景と背景を分離する処理部である。ここで言う「前景」とは、カメラ３０の撮影範囲内の３次元空間に存在するオブジェクトの中でも動体などのオブジェクトを指す一方で、「背景」とは、動体でないオブジェクトを指す。
【００３１】
一実施形態として、分離部１５ｂは、取得部１５ａにより動画像のフレームがカメラ３０ごとに取得される度に、当該フレームの画像から前景に対応する領域をカメラ３０ごとに抽出する。例えば、分離部１５ｂは、当該フレームの画像と、それよりも前に取得されたフレームの画像との間で画素値の差分を検出することにより、前景に対応する領域を抽出する。図３は、前景および背景の分離の一例を示す図である。図３には、カメラ３０Ａ〜３０Ｍのうちあるカメラ３０により撮像された動画像に含まれる一連の画像が時系列に並んだ状態で示されている。例えば、分離部１５ｂは、画像内に動体が観測されない可能性が高いフレームの画像Ｆ０と、最新のフレームの画像ＦＬとの間で画素値の差が所定の閾値以上である画素を検出する。ここで、上記の画像Ｆ０には、一例として、所定のフレーム数にわたってフレーム間の差分が検出されなかったフレームの画像などを利用することができる。このように抽出された画素は、ラベリングが実行されることによりブロブとして抽出することができる。その上で、分離部１５ｂは、ラベリングにより抽出されたブロブに対応する画素の画素値を「１」に設定すると共に、それ以外の画素の画素値を「０」に設定する。これにより、前景に対応する領域が「白」で表現されると共に、背景に対応する領域が「黒」で表現されたマスク画像ＭＬを生成することができる。なお、図３には、マスク画像の一例として、２値化画像を生成する場合を例示したが、階調の数は「２」に限定されないのは言うまでもない。
【００３２】
第１の設定部１５ｃは、複数の画像の中から選択された第１のカメラにより撮像された第１の画像について、第１のカメラの光学中心および第１の画像のそれぞれの画素を結ぶ３次元空間の直線上にオブジェクトが存在するか特定する処理部である。さらに、第１の設定部１５ｃは、特定した第１の画像の画素を含む領域を、３次元空間の直線上でオブジェクトの探索が実行される第１の範囲として設定し、第１の画像中の第１の範囲以外の領域を第２の範囲に設定する処理部である。
【００３３】
第１の設定部１５ｃは、多視点画像のうち基準画像が持つ画素ごとに当該基準画像の撮影に割り当てられたカメラの光学中心および当該基準画像の画素を結ぶ３次元空間の直線上でオブジェクトの探索が実行される範囲を設定する。以下、３次元空間の直線上でオブジェクトの探索が実行される範囲のことを「探索範囲」と記載する場合がある。なお、第１の設定部１５ｃは、特定部の一例でもある。
【００３４】
ここで、基準画像とは、多視点画像の中から選択される画像のことを指し、基準画像以外のその他の画像は参照画像と識別される。この基準画像の分担は、持ち回りであり、最終的には、多視点画像の全ての画像が基準画像として選択されてブロックマッチングやデプスマップの生成が実施されることになる。以下、基準画像を撮影するカメラ３０のことを「基準カメラ３０α」と記載すると共に、参照画像を撮影するカメラ３０のことを「参照カメラ３０β」と記載する場合がある。なお、基準カメラは、第１のカメラの一例であり、基準画像は、第１の画像の一例である。
【００３５】
一実施形態として、第１の設定部１５ｃは、記憶部１３に記憶されたカメラパラメータ１３ａを参照して、各カメラ３０のマスク画像に含まれる前景のシルエットと各カメラ３０の光学中心とにより形成される錐体の積集合空間、すなわち「Ｖｉｓｕａｌ  Ｈｕｌｌ」を求める。その上で、第１の設定部１５ｃは、上記のオブジェクトの探索範囲を３次元空間上に存在するオブジェクトの存在範囲にまでＶｉｓｕａｌ  Ｈｕｌｌに絞り込む。図４は、Ｖｉｓｕａｌ  Ｈｕｌｌの一例を示す図である。図４には、カメラ３０Ａ〜３０Ｃの３つのカメラ３０のマスク画像３１Ａ〜３１ＣがＶｉｓｕａｌ  Ｈｕｌｌの算出に用いられる場合が示されている。図４に示すように、カメラ３０Ａの光学中心およびマスク画像３１Ａ上の前景のシルエットＳＡを結ぶ直線群と、カメラ３０Ｂの光学中心およびマスク画像３１Ｂ上の前景のシルエットＳＢを結ぶ直線群と、カメラ３０Ｃの光学中心およびマスク画像３１Ｃ上の前景のシルエットＳＣを結ぶ直線群とにより包含される３次元空間上の領域ＥがＶｉｓｕａｌ  Ｈｕｌｌとして求まる。このようなＶｉｓｕａｌ  Ｈｕｌｌの算出により、各カメラ３０が被写体とする３次元空間におけるオブジェクトの存在範囲を領域Ｅに絞り込むことができる。
【００３６】
例えば、Ｖｉｓｕａｌ  Ｈｕｌｌを算出するアルゴリズムの一例について説明する。図５は、Ｖｉｓｕａｌ  Ｈｕｌｌの算出プロセスの一例を示す図である。図５に示すように、第１の設定部１５ｃは、カメラ３０Ａ〜カメラ３０Ｍのうち１つを基準カメラ３０αとして選択する。一方、基準カメラ３０αとして選択されなかったカメラ３０は以降で参照カメラ３０βと識別される。続いて、第１の設定部１５ｃは、基準カメラ３０αのマスク画像３１αが持つ画素のうち前景のシルエットを形成する画素（ｕ１，ｖ１）を選択する。その後、第１の設定部１５ｃは、参照カメラ３０βのうち１つを選択する。このように選択された参照カメラ３０βのことを、以下、「参照カメラ３０β１」と識別する。
【００３７】
その上で、第１の設定部１５ｃは、３次元空間上で基準カメラ３０αの光学中心Ｏおよび画素（ｕ１，ｖ１）を通る直線を参照カメラ３０β１のマスク画像３１β１に投影することによりエピポーラ線ＥＬを描画する。そして、第１の設定部１５ｃは、エピポーラ線ＥＬが参照カメラ３０β１のマスク画像３１β１上に存在する範囲を決定する。例えば、範囲の開始位置は、基準カメラ３０αの光学中心Ｏが参照カメラ３０β１のマスク画像３１β１に投影された点に対応する。また、範囲の終了位置は、３次元空間上で基準カメラ３０αの光学中心Ｏから画素（ｕ１，ｖ１）へ通る直線を無限遠まで延伸する場合に参照カメラ３０β１のマスク画像３１β１上で収束する点に対応する。
【００３８】
その後、第１の設定部１５ｃは、参照カメラ３０β１のマスク画像３１β１上でエピポーラ線ＥＬが前景のシルエットＳβと重なる範囲、すなわち交差開始位置および交差終了位置を算出する。そして、第１の設定部１５ｃは、記憶部１３に記憶されたカメラパラメータ１３ａを参照して、エピポーラ線ＥＬと前景のシルエットＳβとが重なる範囲を基準カメラ３０αの光学中心Ｏからの奥行き情報（ｚ）へ変換する。
【００３９】
このようにエピポーラ線ＥＬと前景のシルエットＳβとの重複範囲の導出が全ての参照カメラ３０βが選択されるまで繰り返して実行される。この結果、図６に示す通り、基準カメラ３０α以外の参照カメラ３０βごとにエピポーラ線ＥＬと前景のシルエットＳβとの重複範囲が得られる。図６は、Ｖｉｓｕａｌ  Ｈｕｌｌの算出プロセスの一例を示す図である。図６には、４つの参照カメラ３０βごとにエピポーラ線ＥＬと前景のシルエットＳβとの重複範囲が基準カメラ３０αの光学中心Ｏからの奥行き情報（ｚ）で示されている。すなわち、図６には、４つの参照カメラ３０βの重複範囲が点線、一点鎖線、破線および二点鎖線で示されている。例えば、第１の設定部１５ｃは、各参照カメラ３０βの間で重複範囲が共通する部分、すなわち図６に太線で示された箇所を基準カメラ３０αのマスク画像上の画素（ｕ１，ｖ１）におけるオブジェクトの存在範囲として絞り込む。ここで、必ずしも全ての参照カメラ３０βの間で重複範囲が共通することを条件とせずともかまわない。例えば、所定数の参照カメラ３０βの間で重複範囲が共通する部分をオブジェクトの存在範囲として絞り込むことができる。このようにオブジェクトの存在範囲の絞り込みに成功した画素（ｕ１，ｖ１）は、Ｖｉｓｕａｌ  Ｈｕｌｌ領域に分類される。
【００４０】
なお、図６には、各参照カメラ３０βの間で重複範囲が共通する部分が存在する場合を例示したが、各参照カメラ３０βの間で重複範囲が共通する部分がない場合、オブジェクトの存在範囲の絞り込みに失敗する。このように前景のシルエットに含まれる画素であってもオブジェクトの存在範囲の絞り込みに失敗した画素は、非Ｖｉｓｕａｌ  Ｈｕｌｌ領域に分類される。また、背景に対応する画素、すなわちシルエットに含まれない場合には、Ｖｉｓｕａｌ  Ｈｕｌｌの算出が実行されず、非Ｖｉｓｕａｌ  Ｈｕｌｌ領域に自動的に分類される。
【００４１】
Ｖｉｓｕａｌ  Ｈｕｌｌ領域または非Ｖｉｓｕａｌ  Ｈｕｌｌ領域への分類が終了した後、第１の設定部１５ｃは、当該画素にオブジェクトの探索範囲を設定する。図７は、オブジェクトの探索範囲の設定例を示す図である。図７には、画像４０の水平ラインＨ１上に存在する各画素の探索範囲が示されている。Ｖｉｓｕａｌ  Ｈｕｌｌ領域に設定される探索範囲が黒の塗り潰しにより示されると共に、非Ｖｉｓｕａｌ  Ｈｕｌｌ領域に設定される探索範囲が点の塗り潰しにより示されている。
【００４２】
図７に示すように、Ｖｉｓｕａｌ  Ｈｕｌｌ領域に分類された画素の探索範囲には、第１の設定部１５ｃは、前景となるオブジェクトの存在範囲を設定する。また、非Ｖｉｓｕａｌ  Ｈｕｌｌ領域に分類された画素の探索範囲には、第１の設定部１５ｃは、前景および背景の両方を探索するための広域の探索範囲を設定する。この広域の探索範囲の一例として、ｚＮｅａｒ及びｚＦａｒが設定される。例えば、カメラ３０によりサッカースタジアムの撮影が行われる場合、ｚＦａｒには、カメラ３０から一番遠い位置を基準に、一例として、「６０ｍ」が設定される。また、ｚＮｅａｒには、カメラ３０から一定の距離以上離れているとの想定の下、一例として、「１ｍ」が設定される。これらｚＮｅａｒ及びｚＦａｒには、両者の間に前景が存在しうる程度に十分の間隔が隔てられる。
【００４３】
第２の設定部１５ｄは、第１の範囲に含まれる画素に対しては、３次元空間の直線上でオブジェクトの探索を実行する間隔として第１の間隔を設定し、第２の範囲に含まれる画素に対しては、第１の間隔よりも長い第２の間隔を設定する処理部である。
【００４４】
すなわち、第２の設定部１５ｄは、基準カメラ３０αの光学中心および基準画像の画素を結ぶ３次元空間の直線上でオブジェクトの探索が実行される間隔を設定する。以下、３次元空間の直線上でオブジェクトの探索が実行される間隔のことを「探索間隔」と記載する場合がある。
【００４５】
一実施形態として、第２の設定部１５ｄは、基準画像の画素ごとに当該画素がＶｉｓｕａｌ  Ｈｕｌｌ領域または非Ｖｉｓｕａｌ  Ｈｕｌｌ領域のいずれであるかにより異なる探索間隔Ｎを設定する。例えば、図８は、探索間隔の一例を示す図である。図８には、基準カメラ３０αの光学中心から基準画像の画素を経由して無限遠へ向かう３次元空間の直線が示されている。図８に示すように、Ｖｉｓｕａｌ  Ｈｕｌｌ領域に分類された基準画像の画素には、非Ｖｉｓｕａｌ  Ｈｕｌｌ領域に分類された基準画像の画素よりも細かい探索間隔が設定される。一方、非Ｖｉｓｕａｌ  Ｈｕｌｌ領域に分類された基準画像の画素には、Ｖｉｓｕａｌ  Ｈｕｌｌ領域に分類された基準画像の画素よりも粗い（長い）探索間隔が設定される。言い換えれば、第２の設定部１５ｄは、Ｖｉｓｕａｌ  Ｈｕｌｌ領域に分類された基準画像の画素には、３次元空間の直線上でオブジェクトの探索が実行される密度を高める探索間隔の設定を行う一方で、非Ｖｉｓｕａｌ  Ｈｕｌｌ領域に分類された基準画像の画素には、３次元空間の直線上でオブジェクトの探索が実行される密度を下げる探索間隔の設定を行う。図８に示す例では、Ｖｉｓｕａｌ  Ｈｕｌｌ領域の探索間隔は非Ｖｉｓｕａｌ  Ｈｕｌｌ領域の探索間隔の４倍程度の密度に設定される。さらには、参照画像における基準画像のエピポーラ線の目盛りは、基準カメラ３０αの光学中心から遠くなるほど粗くなる。このため、探索間隔がエピポーラ線で略等間隔となるように、基準カメラ３０αの光学中心から近いほど探索間隔が密に設定される一方で、基準カメラ３０αの光学中心から遠いほど探索間隔が疎に設定される。
【００４６】
ここで、探索間隔は、３次元空間の直線の奥行きｚをデプスｄへ離散化する階調数Ｎ＋１と関連する。ここでは、あくまで一例として、探索間隔の目盛り数およびデプスの階調数が同数である場合を例示して以下の説明を行う。図９は、探索間隔とデプスの関係の一例を示す図である。図９に示すように、探索間隔は、基準カメラ３０αの光学中心から近いほど探索間隔が密に設定される一方で、基準カメラ３０αの光学中心から遠いほど探索間隔が疎に設定される。一方、デプスの各階調は、３次元空間の直線上で等間隔に設定される。例えば、３次元空間の直線の奥行きｚは、下記の式（１）にしたがってデプスｄへ変換することができる。
【００４７】
【数１】
2018194979.tif 000003
【００４８】
このような探索間隔およびデプスの関係下では、一例として、次のような基準にしたがってＮを決定できる。例えば、デプスｄが１ずれた時に、参照画像のエピポーラ線上の画素位置のずれを何ピクセル以内に収めるか否かにより、Ｎを決定できる。
【００４９】
そこで、以下では、一例として、画素位置のずれを、水平垂直方向のずれの大きい方で、非Ｖｉｓｕａｌ  Ｈｕｌｌ領域では「１」ピクセル以内、Ｖｉｓｕａｌ  Ｈｕｌｌ領域では「０．２５」ピクセル以内となるように、各Ｎを設定する設計の下で説明を行う。このように非Ｖｉｓｕａｌ  Ｈｕｌｌ領域で１ピクセル以内と定めるのは、参照画像上で１ピクセル程度の探索間隔であれば、デプスの精度を最低限保つためである。一方、前景となるＶｉｓｕａｌ  Ｈｕｌｌ領域では、よりデプスの精度を上げたいので、探索間隔を１／４にして、さらに細かくしている。
【００５０】
このとき、カメラの条件は、次の通りであることとする。すなわち、カメラ３０の解像度が１９２０×１０８０ピクセルであり、水平画角が６６度であるものとする。さらに、カメラ間の条件は、次の通りであることとする。図１０は、カメラ間の配置条件の一例を示す図である。図１０に示すように、基準カメラ３０αおよび参照カメラ３０βの距離が３．７１ｍであることとする。さらに、基準カメラ３０αの光軸および参照カメラ３０βの光軸の交点Ｃは、基準カメラ３０αの光学中心から１１．３３ｍであり、参照カメラ３０βの光学中心から１１．９３ｍであることとする。
【００５１】
さらに、ｚＮｅａｒが３．０ｍであると共にｚＦａｒが２４．０ｍであるとしたとき、Ｖｉｓｕａｌ  Ｈｕｌｌ領域および非Ｖｉｓｕａｌ  Ｈｕｌｌ領域の探索間隔Ｎは次の通りとなる。すなわち、Ｖｉｓｕａｌ  Ｈｕｌｌ領域の探索間隔Ｎは、４３２０である。非Ｖｉｓｕａｌ  Ｈｕｌｌ領域の探索間隔は、１０８０である。これらの探索間隔の設定により、画素位置のずれを、非Ｖｉｓｕａｌ  Ｈｕｌｌ領域では「１」ピクセル以内、Ｖｉｓｕａｌ  Ｈｕｌｌ領域では「０．２５」ピクセル以内に抑えることが可能になる。
【００５２】
マッチング部１５ｅは、基準画像および参照画像の間でブロックをマッチングする処理部である。
【００５３】
一実施形態として、マッチング部１５ｅは、基準画像の画素ごとに、第１の設定部１５ｃにより設定された探索範囲の開始位置から第２の設定部１５ｄにより設定された探索間隔ごとに基準カメラ３０αの光学中心および基準画像の画素を結ぶ３次元空間の直線上に基準画像のブロックを配置する。そして、マッチング部１５ｅは、基準画像のブロックが配置される度に、参照画像ごとに当該参照画像へ基準画像のブロックを投影する。これにより、基準画像のブロックが参照画像上で観測される位置にブロックを配置できる。例えば、図７に示す探索範囲および図８に示す探索間隔にしたがってブロックマッチングを実施する場合、図１１に示すブロックマッチングを実現できる。図１１は、ブロックマッチングの一例を示す図である。図１１に示すように、基準画像４０αの画素が非Ｖｉｓｕａｌ  Ｈｕｌｌ領域である場合、基準画像４０αのブロックは、参照画像４０βの一点鎖線で示すエピポーラ線上でマッチングされる。一方、基準画像４０αの画素がＶｉｓｕａｌ  Ｈｕｌｌ領域である場合、基準画像４０αのブロックは、参照画像４０βの二点鎖線で示すエピポーラ線上でマッチングされる。これらの対比から、Ｖｉｓｕａｌ  Ｈｕｌｌ領域では、ブロックマッチングをオブジェクトの存在範囲に絞り込むことにより、処理負荷やメモリ使用量の低減を実現できる。さらに、オブジェクトの存在範囲では、非Ｖｉｓｕａｌ  Ｈｕｌｌ領域よりもブロックマッチングが密に実行されるので、３次元情報も高精度に復元できることが期待できる。
【００５４】
このようにマッチングされた基準画像のブロックおよび参照画像のブロックの間では、相関、いわゆる類似度が算出される。例えば、基準画像のブロックおよび参照画像のブロックの間でＳＡＤ（Sum  of  Absolute  Difference）、いわゆる差分絶対値和を算出することができる。このＳＡＤの場合、ＳＡＤの値が低いほど基準画像のブロックおよび参照画像のブロックの相関が高いことを意味するので、以下ではＳＡＤの値のことを「コスト」と記載する場合がある。そして、基準画像の各画素では、参照画像ごとに算出されるコストのうち最小値を当該画素のコストの代表値とすることもできるし、参照画像ごとに算出されるコストの平均値の代表値とすることもできる。このように基準画像の画素ごとにデプスｄ別のコストｃｏｓｔ（ｘ，ｙ，ｄ）を算出することができる。なお、ここでは、相関の一例として、ＳＡＤを例示したが、他の相関を算出することもできる。例えば、基準画像のブロックおよび参照画像のブロックの間で相関係数を算出することもできる。この場合、相関係数が大きいほど基準画像のブロックおよび参照画像のブロックの相関が高いことを意味する。
【００５５】
推定部１５ｆは、基準画像の画素ごとに当該画素の３次元空間上の位置を推定する処理部である。
【００５６】
一実施形態として、推定部１５ｆは、マッチング部１５ｅにより基準画像の画素ごとに算出されたデプスｄ別のコストｃｏｓｔ（ｘ，ｙ，ｄ）に基づいてデプス画像ｄ＊（ｘ，ｙ）を生成する。図１２は、デプス画像の一例を示す図である。図１２に示すように、推定部１５ｆは、基準画像４０αの各画素のデプス別のコストｃｏｓｔ（ｘ，ｙ，ｄ）から各画素に最適なデプスを選択する問題をエネルギー最小化問題として設定する。そして、推定部１５ｆは、エネルギー最小化問題を解くアルゴリズム、例えば局所解および隣接画素同士の整合性の両面からエネルギーを最小化するアルゴリズムにしたがってデプス画像５０を生成する。
【００５７】
［処理の流れ］
図１３は、実施例１に係る３次元情報の復元処理の手順を示すフローチャートである。この処理は、多視点画像のフレームが取得される度にリアルタイムで実行することもできるし、多視点画像のフレームが動画像として取得済みである場合にはバッチ処理で実行することもできる。
【００５８】
図１４に示すように、取得部１５ａにより多視点画像のフレームが取得されると（ステップＳ１０１）、分離部１５ｂは、カメラ３０ごとに、当該フレームの画像と、それよりも前に取得されたフレームの画像との間で画素値の差分を検出することにより前景に対応する領域を抽出して前景と背景を分離する（ステップＳ１０２）。このように前景と背景が分離されることにより、カメラ３０ごとにマスク画像が生成される。
【００５９】
そして、第１の設定部１５ｃは、多視点画像のうち１つを基準画像として選択する（ステップＳ１０３）。これにより、その他の画像は、参照画像と識別される。続いて、第１の設定部１５ｃは、ステップＳ１０３で選択された基準画像が持つ画素のうち１つを選択する（ステップＳ１０４）。
【００６０】
その上で、第１の設定部１５ｃは、ステップＳ１０２でカメラ３０ごとに生成されたマスク画像を用いて、参照画像ごとにステップＳ１０４で選択された基準画像の画素のエピポーラ線ＥＬと前景のシルエットＳβとの重複範囲を求め、この重複範囲が共通する部分をオブジェクトの存在範囲として絞り込む（ステップＳ１０５）。
【００６１】
このとき、オブジェクトの存在範囲の絞り込みに成功した場合（ステップＳ１０６Ｙｅｓ）、ステップＳ１０４で選択された基準画像の画素は、Ｖｉｓｕａｌ  Ｈｕｌｌ領域に分類される。この場合、第１の設定部１５ｃは、ステップＳ１０４で選択された基準画像の画素の探索範囲に前景となるオブジェクトの存在範囲を設定する（ステップＳ１０７）。そして、第２の設定部１５ｄは、ステップＳ１０４で選択された基準画像の画素に後述の第２の間隔よりも短い第１の間隔を探索間隔として設定する（ステップＳ１０８）。
【００６２】
一方、オブジェクトの存在範囲の絞り込みに成功しない場合（ステップＳ１０６Ｎｏ）、ステップＳ１０４で選択された基準画像の画素は、非Ｖｉｓｕａｌ  Ｈｕｌｌ領域に分類される。この場合、第１の設定部１５ｃは、ステップＳ１０４で選択された基準画像の画素の探索範囲に広域の探索範囲、すなわち開始位置ｚＮｅａｒおよび終了位置ｚＦａｒを設定する（ステップＳ１０９）。そして、第２の設定部１５ｄは、ステップＳ１０４で選択された基準画像の画素に第１の間隔よりも長い第２の間隔を探索間隔として設定する（ステップＳ１１０）。
【００６３】
その後、マッチング部１５ｅは、探索範囲および探索間隔にしたがって参照画像ごとに当該参照画像および基準画像の間でブロックをマッチングし、マッチングされたブロック間で相関を算出する（ステップＳ１１１）。
【００６４】
そして、基準画像の全ての画素が選択されるまで（ステップＳ１１２Ｎｏ）、上記のステップＳ１０４〜ステップＳ１１１までの処理を繰り返し実行する。その後、基準画像の全ての画素が選択されると（ステップＳ１１２Ｙｅｓ）、推定部１５ｆは、マッチング部１５ｅにより基準画像の画素ごとに算出されたデプスｄ別のコストｃｏｓｔ（ｘ，ｙ，ｄ）に基づいてデプス画像ｄ＊（ｘ，ｙ）を生成する（ステップＳ１１３）。
【００６５】
そして、多視点画像の全ての画像が基準画像に選択されるまで（ステップＳ１１４Ｎｏ）、上記のステップＳ１０３〜ステップＳ１１３までの処理を繰り返し実行する。その後、多視点画像の全ての画像が基準画像に選択されると（ステップＳ１１４Ｙｅｓ）、処理を終了する。
【００６６】
［効果の一側面］
上述してきたように、本実施例に係るサーバ装置１０は、多視点画像における基準画像の画素ごとに基準カメラの光学中心及び基準画像の画素を結ぶ３次元空間の直線上でオブジェクトが探索される範囲をＶｉｓｕａｌ  Ｈｕｌｌで絞り込み、ブロックマッチングの間隔を細かく設定する。したがって、本実施例に係るサーバ装置１０によれば、３次元情報の復元に伴う処理負荷又はメモリの使用量を低減できる。
【００６７】
［メモリ使用量の増加度合いの比較］
図１４は、基準画像の各画素が属する領域の割合の一例を示す図である。図１５は、基準画像の各画素の探索範囲の平均値の比率の一例を示す図である。図１４に示すように、基準画像におけるＶｉｓｕａｌ  Ｈｕｌｌ領域の割合が７％である一方で、非Ｖｉｓｕａｌ  Ｈｕｌｌ領域の割合が９３％であるという条件を仮定する。さらに、図１５に示すように、「（Ｖｉｓｕａｌ  Ｈｕｌｌ領域のある画素の探索デプスの範囲の平均)／（非Ｖｉｓｕａｌ  Ｈｕｌｌ領域のある画素の探索デプス範囲）」、すなわち図７に示す点の塗り潰しに対する黒の塗り潰しの平均の割合が１．３％であると仮定する。これは、Ｖｉｓｕａｌ  Ｈｕｌｌ領域は非Ｖｉｓｕａｌ  Ｈｕｌｌ領域と比べて、１画素あたり１．３％のメモリを持てばよいことを意味する。
【００６８】
このとき、各領域でコスト計算するのに用いるメモリの比率は、次の通りとなる。すなわち、非Ｖｉｓｕａｌ  Ｈｕｌｌ領域は、０．９３×１００の計算により９３となる。Ｖｉｓｕａｌ  Ｈｕｌｌ領域は、０．０７×１．３の計算により０．０９１となる。全体では、９３＋０．０９１の計算により９３．０９１となる。
【００６９】
さらに、Ｖｉｓｕａｌ  Ｈｕｌｌ領域のみの探索間隔を１／４にした場合、Ｖｉｓｕａｌ  Ｈｕｌｌ領域のメモリだけが４倍になって、０．０９１×４の計算により０．３６４となる。全体では、９３＋０．３６４の計算により９３．３６４となる。したがって、メモリ増加度合いは、９３．３６４／９３．０９１の計算により、およそ０．２９％となる。
【実施例２】
【００７０】
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
【００７１】
［スタンドアローン］
上記の実施例１では、上記の復元サービスを提供するサーバ装置１０を例示することによりクライアントサーバシステムにより実装例を示したが、スタンドアローンで実装されることとしてもかまわない。この場合、スタンドアローンで動作するコンピュータに上記の復元プログラムをインストールすることとすればよい。
【００７２】
［探索間隔の変更］
上記の実施例１では、基準画像の画素がＶｉｓｕａｌ  Ｈｕｌｌ領域であるか否かにより探索間隔を設定する例を説明したが、更なる基準で異なる探索間隔を設定することもできる。例えば、基準画像の画素がＶｉｓｕａｌ  Ｈｕｌｌ領域である場合、当該画素の重要度に応じて異なる探索間隔を設定することができる。この重要度は、一例として、基準画像の画素が基準画像から検出される重要領域、例えば表示に重要である顔やトラッキングに重要である背番号などに対応するか否かにより設定できる。例えば、基準画像の画素が顔や背番号に対応する場合、顔や背番号に対応しない場合よりも高い重要度を付与する。その上で、第２の設定部１５ｄは、基準画像の画素がＶｉｓｕａｌ  Ｈｕｌｌ領域である場合、基準画像の画素の重要度が高いほど細かい探索間隔を設定することができる。
【００７３】
［分散および統合］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されておらずともよい。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、取得部１５ａ、分離部１５ｂ、第１の設定部１５ｃ、第２の設定部１５ｄ、マッチング部１５ｅまたは推定部１５ｆをサーバ装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。また、取得部１５ａ、分離部１５ｂ、第１の設定部１５ｃ、第２の設定部１５ｄ、マッチング部１５ｅまたは推定部１５ｆを別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記のサーバ装置１０の機能を実現するようにしてもよい。
【００７４】
［復元プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１６を用いて、上記の実施例と同様の機能を有する復元プログラムを実行するコンピュータの一例について説明する。
【００７５】
図１６は、実施例１及び実施例２に係る復元プログラムを実行するコンピュータのハードウェア構成例を示す図である。図１６に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０〜１８０の各部はバス１４０を介して接続される。
【００７６】
ＨＤＤ１７０には、図１６に示すように、上記の実施例１で示した取得部１５ａ、分離部１５ｂ、第１の設定部１５ｃ、第２の設定部１５ｄ、マッチング部１５ｅ及び推定部１５ｆと同様の機能を発揮する復元プログラム１７０ａが記憶される。この復元プログラム１７０ａは、図２に示した取得部１５ａ、分離部１５ｂ、第１の設定部１５ｃ、第２の設定部１５ｄ、マッチング部１５ｅ及び推定部１５ｆの各構成要素と同様、統合又は分離してもかまわない。すなわち、ＨＤＤ１７０には、必ずしも上記の実施例１で示した全てのデータが格納されずともよく、処理に用いるデータがＨＤＤ１７０に格納されればよい。
【００７７】
このような環境の下、ＣＰＵ１５０は、ＨＤＤ１７０から復元プログラム１７０ａを読み出した上でＲＡＭ１８０へ展開する。この結果、復元プログラム１７０ａは、図１６に示すように、復元プロセス１８０ａとして機能する。この復元プロセス１８０ａは、ＲＡＭ１８０が有する記憶領域のうち復元プロセス１８０ａに割り当てられた領域にＨＤＤ１７０から読み出した各種データを展開し、この展開した各種データを用いて各種の処理を実行する。例えば、復元プロセス１８０ａが実行する処理の一例として、図１３に示す処理などが含まれる。なお、ＣＰＵ１５０では、必ずしも上記の実施例１で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。
【００７８】
なお、上記の復元プログラム１７０ａは、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶されておらずともかまわない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に復元プログラム１７０ａを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から復元プログラム１７０ａを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに復元プログラム１７０ａを記憶させておき、コンピュータ１００がこれらから復元プログラム１７０ａを取得して実行するようにしてもよい。
【符号の説明】
【００７９】
１    復元システム
１０    サーバ装置
１１    通信Ｉ／Ｆ部
１３    記憶部
１３ａ  カメラパラメータ
１５    制御部
１５ａ  取得部
１５ｂ  分離部
１５ｃ  第１の設定部
１５ｄ  第２の設定部
１５ｅ  マッチング部
１５ｆ  推定部
【図１】
2018194979.tif 000004
【図２】
2018194979.tif 000005
【図３】
2018194979.tif 000006
【図４】
2018194979.tif 000007
【図５】
2018194979.tif 000008
【図６】
2018194979.tif 000009
【図７】
2018194979.tif 000010
【図８】
2018194979.tif 000011
【図９】
2018194979.tif 000012
【図１０】
2018194979.tif 000013
【図１１】
2018194979.tif 000014
【図１２】
2018194979.tif 000015
【図１３】
2018194979.tif 000016
【図１４】
2018194979.tif 000017
【図１５】
2018194979.tif 000018
【図１６】
2018194979.tif 000019