(57)【要約】【課題】  より現実の被写体の形状に近い３次元形状を生成する技術を提供する。【解決手段】  本発明に係る画像処理装置は、複数の視点から撮像された画像データを取得し、前記取得された画像データを用いて被写体の３次元形状を生成し、前記生成された３次元形状に対する信頼度に基づき該３次元形状を補正する。【選択図】  図７
2018063693.tif 000002
【特許請求の範囲】
【請求項１】
被写体の形状データを生成する画像処理装置であって、
複数の視点から撮像された画像データを取得する取得手段と、
前記取得手段により取得された画像データから形状データを生成する生成手段と、
前記生成手段により生成された形状データの少なくとも一部に対する信頼度に基づき該形状データを補正する補正手段とを有することを特徴とする画像処理装置。
【請求項２】
前記信頼度は、前記形状データの前記少なくとも一部に対応する領域を撮像するカメラ数に基づいて判定されることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記信頼度は、前記形状データの前記少なくとも一部に対応する領域を撮像するカメラの分布に基づいて判定されることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記補正手段は、前記信頼度が閾値未満である前記少なくとも一部の形状データを削除することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記補正手段は、前記信頼度が閾値未満である前記少なくとも一部の形状データを近似モデルで置き換えることを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記補正手段は、前記信頼度が閾値未満である形状データの少なくとも一部と、前記近似モデルに対応する領域との共通領域に属さない領域の形状データを削除することを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記近似モデルは、二次元もしくは三次元の関数で記述されるモデルであることを特徴とする請求項５又は６に記載の画像処理装置。
【請求項８】
前記近似モデルは、人の形状に基づくモデルであることを特徴とする請求項５乃至７のうち何れか１項に記載の画像処理装置。
【請求項９】
被写体の形状データを生成するための画像処理方法であって、
複数の視点から撮像された画像データを取得する取得工程と、
前記画像データから形状データを生成する生成工程と、
前記形状データの少なくとも一部に対する信頼度に基づき該形状データを補正する補正工程とを有することを特徴とする画像処理方法。
【請求項１０】
コンピュータを、請求項１乃至８のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の３次元形状を生成する画像処理に関する。
【背景技術】
【０００２】
従来より、異なる視点を有する複数台のカメラによって取得した多視点画像を用いて被写体の３次元形状を高速に生成（復元）する方法として、視体積交差法が知られている。
【０００３】
視体積交差法は、被写体の輪郭を表すシルエット画像を用いるため、安定して高速に形状が得られる。その一方で、被写体に遮蔽や欠損があるなど、完全に観測されていない場合には現実の被写体に近い三次元形状が生成できないという原理的な課題がある。上記の原理的課題に対し、特許文献１では、被写体の一部が欠落している場合でも、その欠落した部分を補完し、該被写体の３次元形状を生成する方法が示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４８３９２３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、補完の方法によっては、現実の被写体の形状とは異なる３次元形状が生成されうる。例えば、視体積交差法では、被写体が映っている視点（有効カメラ）数が少ない場合や、有効カメラの分布が偏っている場合に、視点が少ない側の被写体の形状が過剰に膨らむように補完されてしまう恐れがある。また、特許文献１の技術では、有効カメラ数が全カメラ数に一致する部分だけしか３次元形状の生成ができない。
【０００６】
本発明は、上記課題に鑑みてなされたものであり、より現実の被写体の形状に近い３次元形状を生成する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、被写体の形状データを生成する画像処理装置であって、複数の視点から撮像された画像データを取得する取得手段と、前記取得手段により取得された画像データから形状データを生成する生成手段と、前記生成手段により生成された形状データの少なくとも一部に対する信頼度に基づき該形状データを補正する補正手段とを有する。
【発明の効果】
【０００８】
本発明によれば、より現実の被写体の形状に近い３次元形状を生成することができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態１のカメラ配置を示す図。
【図２】実施形態１の多視点映像システムの構成を示す図。
【図３】実施形態１のＧＵＩを示す図。
【図４】視体積交差法の概念図。
【図５】視点とＶｉｓｕａｌ  Ｈｕｌｌの関係を示す概念図。
【図６】実施形態１の画像処理装置の構成を示すブロック図。
【図７】実施形態１の画像処理装置による処理の流れを示すフローチャート。
【図８】有効カメラの分布を表す図。
【図９】形状の補正方法を示す図。
【図１０】実施形態５のＧＵＩを示す図。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。
【００１１】
＜実施形態１＞
実施形態１では、ＧＵＩ（グラフィカル・ユーザ・インターフェイス）を介したユーザーの操作により、有効カメラ数に基づき形状データ（被写体の３次元形状を示すデータ）の不要な部分を削除する手法について説明する。
【００１２】
図１は、カメラ群を構成する各カメラの配置例を示した図である。以下では、ラグビーを行う競技場に１０台のカメラを設置した例を用いて説明する。競技を行うフィールド１３０上に被写体１２０としての選手が存在し、１０台のカメラ１０１〜１１０がフィールド１３０を取り囲むように配置されている。カメラ群を構成する個々のカメラは、フィールド１３０全体、或いはフィールド１３０内の注目領域が画角内に収まるように、適切なカメラの向き、焦点距離、露出制御パラメータ等が設定されている。図１では競技場を例にとって説明したが、ある物体を取り囲んでカメラを配置し、物体の形状データを生成（以降、復元とも呼ぶ）するような任意のシーンに対して、本実施形態の技術は適用可能である。
【００１３】
図２は、本実施形態における多視点映像システムの構成の一例を示す図である。図２に示す多視点映像システムは、画像処理装置２００とカメラ群２０９とで構成される。カメラ群２０９は、図１のカメラ１０１〜１１０に対応する。そして、画像処理装置２００は、ＣＰＵ２０１、メインメモリ２０２、記憶部２０３、入力部２０４、表示部２０５、外部Ｉ／Ｆ２０６を備え、各部がバス２０７を介して接続されている。ＣＰＵ２０１は、画像処理装置２００を統括的に制御する演算処理装置であり、記憶部２０３等に格納された各種プログラムを実行して様々な処理を行う。メインメモリ２０２は、各種処理で用いるデータやパラメータなどを一時的に格納するほか、ＣＰＵ２０１に作業領域を提供する。記憶部２０３は、各種プログラムやＧＵＩ表示に必要な各種データを記憶する大容量記憶装置で、例えばハードディスクやシリコンディスク等の不揮発性メモリが用いられる。入力部２０４は、キーボードやマウス、電子ペン、タッチパネル等の装置であり、ユーザからの操作入力を受け付ける。表示部２０５は、液晶パネルなどで構成され、形状データの復元に関わるＧＵＩの表示などを行う。外部Ｉ／Ｆ部２０６は、カメラ群２０９とＬＡＮ２０８を介して接続され、映像データや制御信号データの送受信を行う。バス２０７は上述の各部を接続し、データ転送を行う。
【００１４】
カメラ群２０９は、ＬＡＮ２０８経由で画像処理装置２００と接続されており、画像処理装置２００からの制御信号をもとに、撮像の開始や停止、カメラ設定（シャッタースピード、絞りなど）の変更、撮像した映像データの転送を行う。
【００１５】
なお、システム構成については、上記以外にも、様々な構成要素が存在するが、本実施形態の主眼ではないので、その説明は省略する。
【００１６】
図３は、本実施形態に係る、形状データの復元のために用いられるＧＵＩ画面の一例を示した図である。図３は当該ＧＵＩ画面の基本画面であり、復元形状表示領域３１０、有効カメラ表示・設定領域３２０、操作ボタン領域３４０から構成される。
【００１７】
復元形状表示領域３１０は、ポインタ３１１およびスライダーバー３１２を備え、被写体の形状データ（被写体の３次元形状を示すデータ）を任意の視点および倍率で表示することが可能である。形状データの表示倍率を変えるには、スライダーバー３１２をドラッグし動かす。形状データの視点を変えるには、形状データをマウス等でドラッグする、矢印キーを押下するなど、入力部２０４からの操作を受け付けることで行う。ポインタ３１１は、形状データ上の１点を指示するために、形状データ上に重畳して表示される。
【００１８】
有効カメラ表示・設定領域３２０は、カメラ群を模式的に表したカメラアイコン３２１〜３３０と、フィールド１３０を模式的に表したフィールド概形３３１からなる。カメラアイコンの数と配置は、実際に設置されたカメラの数と配置に対応したものである。ここでは図１に対応して１０台のカメラを配置した場合を例として図示しているが、カメラの数と配置が異なればカメラアイコンの数と配置は図３と異なったものになる。図３では、カメラ１０１がカメラアイコン３２１に、カメラ１０２がカメラアイコン３２２に、というようにそれぞれ対応している。各カメラアイコンはＯＮ／ＯＦＦの２つの状態で表示されるが、この意味は後述する。また、この２つの状態はユーザが入力部２０４の操作を介して指定することも可能である。
【００１９】
操作ボタン領域３４０は、多視点映像データ読み込みボタン３４１、カメラパラメータ設定ボタン３４２、形状復元ボタン３４３、有効カメラ表示ボタン３４４、有効カメラ設定ボタン３４５を備える。多視点映像データ読み込みボタン３４１を押下すると、形状データの生成に用いる多視点映像データを指定するためのウィンドウが表示される。カメラパラメータ設定ボタン３４２を押下すると、カメラの内部パラメータ・外部パラメータなどのカメラパラメータを取得するためのウィンドウが表示される。カメラパラメータの設定は、数値が格納されたファイルを読み込むことにより行われてもよいし、表示されたウィンドウにユーザが値を入力することにより行われてもよい。ここで、内部パラメータとは、画像中心の座標値やカメラのレンズの焦点距離であり、外部パラメータとは、カメラの位置と向きを表すパラメータである。形状復元ボタン３４３を押下すると、形状復元に関わるパラメータを設定するためのウィンドウが開き、その後前述の多視点映像データを用いて形状データの生成が実行される。
【００２０】
ＧＵＩ画面の使用方法は大きく２種類に分類される。第１の方法は、生成済みの形状データを復元形状表示領域３１０に表示した上で、この形状データの特定の位置に対する有効カメラを有効カメラ表示・設定領域３２０に表示する。ユーザは有効カメラ表示ボタン３４４を押下することで、第１の方法を選択することができる。ここで、有効カメラとは、形状データ上の１点（例えばユーザにより指定された１点）を撮像したカメラを指す。また、形状データの表現は、ボクセルの集合、点群、メッシュ（ポリゴン）等の様々な形態が可能である。そのため、形状データ上の１点はボクセルや３次元座標値として表現される。以降ではボクセルを形状データの最小単位として説明する。ユーザが復元形状表示領域３１０においてポインタ３１１によって形状データ上の任意の１点を指定すると、有効カメラ表示・設定領域３２０において有効カメラを表す部分がＯＮ状態として表示される。このようにして、ユーザは形状データの任意の位置に対する有効カメラをインタラクティブに確認することができる。
【００２１】
第２の方法は、有効カメラ表示・設定領域３２０において任意の有効カメラをＯＮ状態に指定することで、その有効カメラから見えている形状データの部分領域を復元形状表示領域３１０に表示する。ユーザは有効カメラ設定ボタン３４５を押下することで、第２の方法を選択することができる。形状データの部分領域は単独で表示してもよいし、形状データの他の部分と比較できるように重畳表示してもよい。このようにして、ユーザは注目する部分の形状の復元にはどのカメラが有効なのかをインタラクティブに確認できる。また、ユーザは、特定のカメラ（視野）から形状データを推定可能な部分を、インタラクティブに確認することができる。また、ユーザは、特定のカメラ（視野）から特定の注目領域がどのように推定されるかをインタラクティブに確認することができる。
【００２２】
このようにしてユーザはＧＵＩを介して有効カメラと当該カメラによって生成される形状データの関係を確認した上で、形状データの生成のためのパラメータを調整することができる。形状データの生成のためのパラメータとして、有効カメラの最低限の必要数（閾値）が挙げられる。ここで、形状データの生成の手法である視体積交差法と閾値の関係について説明する。
【００２３】
視体積交差法の基本原理は特許文献１に開示されているため、詳細な説明は省略する。視体積交差法の実装形態の１つとして、Ｖｏｌｕｍｅ  Ｉｎｔｅｒｓｅｃｔｉｏｎ  Ｍｅｔｈｏｄ（ＶＩＭ）が知られている。ＶＩＭの原理を図４（ａ）に示す。Ｃ１、Ｃ２はカメラ中心、Ｐ１、Ｐ２は各カメラの画像平面、Ｖはボクセル、Ｒ１、Ｒ２はＶからＣ１、Ｃ２に向かう光線、Ａ１、Ａ２はＲ１、Ｒ２と各画像平面の交点（投影されたＶ）をそれぞれ表す。図４（ｂ）は２つのカメラから得られたシルエット画像の模式図である。ＶＩＭにおいては、まず基準カメラＣ１から取得したシルエット画像におけるシルエット内部の１点Ａ１が選択され、カメラパラメータと任意のデプス値に基づきＡ１を３次元空間中に投影する。投影された３次元空間中の１点は１つのボクセルＶに対応する。次に、ボクセルＶが他のカメラ（参照カメラ）の画像平面Ｐ２に投影された点Ａ２が、参照カメラから取得したシルエット画像におけるシルエット内部に位置するかが判定される。図４（ｂ）に示したようにＡ２がシルエット内部に位置する場合はボクセルＶを残し、逆に外部に位置する場合にはボクセルＶを削除する。これらの一連の処理を、Ａ１の座標、デプス値、基準カメラ、参照カメラを変えて繰り返すことにより、連結した凸形状のボクセルの集合（Ｖｉｓｕａｌ  Ｈｕｌｌ）が形成される。以上がＶＩＭによる形状復元の原理である。
【００２４】
視体積交差法は、シルエットという情報量が削減されたデータに基づいているため、ロバストかつ高速に形状データを生成することができる反面、有効カメラ数が少ない場合に精度が大きく低下するという課題がある。図５（ａ）は、有効カメラ数が２の被写体の視体積交差法による形状復元結果の模式図である。Ｃ１、Ｃ２はカメラ中心、Ｐ１、Ｐ２は各カメラの画像平面、Ｒ１、Ｒ２は被写体のシルエット輪郭を通る光線、ＯＢは真の被写体の断面、ＶＨはＰ１、Ｐ２のシルエットを投影して得られるＶｉｓｕａｌ  Ｈｕｌｌをそれぞれ表す。ＶＨは図の上下方向に伸びた形状となっており、真の被写体から乖離している。これに対し、図５（ｂ）は同じ被写体の有効カメラ数が４の場合の視体積交差法による形状復元結果の模式図である。Ｃ１〜Ｃ４はカメラ中心、Ｐ１〜Ｐ４は各カメラの画像平面、Ｒ１〜Ｒ４は被写体のシルエット輪郭を通る光線、ＯＢは真の被写体の断面、ＶＨはＰ１〜Ｐ４のシルエットを投影して得られるＶｉｓｕａｌ  Ｈｕｌｌをそれぞれ表す。有効カメラ数が多い方がＶＨの形状がＯＢにより近い、すなわち精度が高いことが分かる。このように、有効カメラ数が多いほど復元されたＶｉｓｕａｌ  Ｈｕｌｌは信頼度が高い。本実施形態はこの性質に基づき、復元された複数のＶｉｓｕａｌ  Ｈｕｌｌの中から有効カメラ数が一定の閾値を超えるＶｉｓｕａｌ  Ｈｕｌｌだけを選択的に残すことで、信頼度の高い形状データを得る。一方で有効カメラ数が一定の閾値を超えないＶｉｓｕａｌ  Ｈｕｌｌについては、削除するか、近似モデルを当てはめるといった処理を行う。近似モデルは、被写体またはそれに類似した対象の形状データから事前に学習するか、関数で表現される比較的単純な形状を用いることができる。近似モデルは、二次元もしくは三次元の関数で記述される。高い閾値を採用すると形状データの精度が向上する反面、多くのＶｉｓｕａｌ  Ｈｕｌｌが削除などの処理対象になる。一方で、低い閾値を採用すると多くのＶｉｓｕａｌ  Ｈｕｌｌが残る反面、精度が低い部分が発生する。このようなトレードオフ関係が存在するため、本実施形態では、シーンに応じて閾値を変更可能とする。なお、有効カメラ数と閾値との比較処理は、Ｖｉｓｕａｌ  Ｈｕｌｌの単位ではなく単一または複数のボクセルの単位で行ってもよい。例えば、ボクセルごとに有効カメラ数を判定し、有効カメラ数が閾値未満となるボクセルのみ削除しても良い。
【００２５】
ＧＵＩ画面の操作の説明に戻る。前述したような有効カメラ数と精度の関係をふまえ、ユーザは閾値の調整と形状データの生成結果の確認を行う。前述の第１の方法の場合には、まず閾値を既定の値としてＧＵＩ画面の復元形状表示領域３１０に表示された形状データを確認する。精度に満足できない部分がある場合には、高精度に生成された部分の有効カメラ数を有効カメラ表示・設定領域３２０において確認し、これを参考に閾値を設定し直し、再度形状データを生成する。この結果、所望の部分の形状データの精度を向上できる。なお、上記閾値の初期値が、カメラの数、カメラの配置関係、競技場の広さ、及び競技場の形状などに応じて設定されるようにしても良い。例えば、競技場に設置されているカメラの数が少ない場合は、低めの閾値を設定することで、できるだけＶｉｓｕａｌ  Ｈｕｌｌが削除されにくくなる。一方で、競技場に設置されているカメラの数が多い場合には、高めの閾値を設定することで、高精度な形状データを生成することができる。
【００２６】
以下、実施形態１の画像処理装置２００で行われる処理について、図６に示す機能ブロック図および図７に示すフローチャートを用いて説明する。画像処理装置２００は、画像データ取得部６０１、歪曲補正部６０２、シルエット生成部  ６０３、Ｖｉｓｕａｌ  Ｈｕｌｌ生成部６０４を有する。また、画像処理装置２００は、信頼度判定部  ６０５、Ｖｉｓｕａｌ  Ｈｕｌｌ処理部６０６、カメラパラメータ取得部６０７、形状復元パラメータ取得部６０８を有する。なお、本実施形態では、図６の各ブロックに対応する機能が、画像処理装置２００のＣＰＵ２０１により実現される場合の例を中心に説明する。ただし、図６の機能のうちの一部又は全部が専用のハードウェアにより実行されるようにしても良い。例えば、図６の歪曲補正部６０２、シルエット生成部６０３、及びＶｉｓｕａｌ  Ｈｕｌｌ生成部６０４の機能が専用のハードウェアにより実現され、それ以外の機能がＣＰＵ２０１により実現されるようにしてもよい。以下、各構成部により行われる処理の流れを説明する。
【００２７】
ステップＳ７０１では、画像データ取得部６０１が、外部Ｉ／Ｆ部２０６を介して多視点画像データを取得する。
【００２８】
ステップＳ７０２では、カメラパラメータ取得部６０７がカメラの内部パラメータ、外部パラメータ、歪曲パラメータなどのカメラパラメータを取得する。ここで、内部パラメータとは、画像中心の座標値やカメラのレンズの焦点距離であり、外部パラメータとは、カメラの位置と向きを表すパラメータである。ここでは、外部パラメータを世界座標におけるカメラの位置ベクトルと、回転行列で記述する方式を採用するが、別の方式で記述されていてもよい。歪曲パラメータは、カメラのレンズの歪曲度合いを表す。カメラパラメータは、多視点画像データを元にｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  ｍｏｔｉｏｎによって推定されてもよいし、予めチャートなどを用いたキャリブレーションを行って算出されていてもよい。
【００２９】
ステップＳ７０３では、歪曲補正部６０２が、カメラの歪曲パラメータに基づき、多視点画像データに対し、歪曲補正を行う。
【００３０】
ステップＳ７０４では、シルエット生成部６０３が、歪曲が補正された多視点画像データからシルエット画像を生成する。シルエット画像とは、被写体が存在する領域を白（画素値＝２５５）、存在しない領域を黒（画素値＝０）で表した２値画像である。シルエット画像データは、多視点画像データに対して既存の背景分離や被写体切り出しなどの手法を用いて生成する。
【００３１】
ステップＳ７０５では、形状復元パラメータ取得部６０８が形状復元パラメータを取得する。形状復元パラメータは、入力部２０４を介してユーザが毎回設定してもよいし、記憶部２０３に格納されている値を読み出してもよい。
【００３２】
ステップＳ７０６では、Ｖｉｓｕａｌ  Ｈｕｌｌ生成部６０４がカメラパラメータおよびシルエット画像を用いてＶｉｓｕａｌ  Ｈｕｌｌを生成する。この方法として、前述の視体積交差法が用いられる。すなわち、Ｖｉｓｕａｌ  Ｈｕｌｌ生成部６０４は、ステップＳ７０６において、形状データ（被写体の３次元形状を示すデータ）を生成する。
【００３３】
ステップＳ７０７では、信頼度判定部６０５が、単一または複数のボクセル単位、またはＶｉｓｕａｌ  Ｈｕｌｌごとに信頼度を判定する。すなわち、信頼度判定部６０５は、ステップＳ７０６においてＶｉｓｕａｌ  Ｈｕｌｌ生成部６０４により生成された形状データ（被写体の３次元形状を示すデータ）の信頼度を判定する。信頼度としては有効カメラ数を用いることができる。信頼度として有効カメラ数を用いる場合、信頼度判定部６０５は、有効カメラ数が既定の閾値未満となるボクセルまたはＶｉｓｕａｌ  Ｈｕｌｌを、信頼度が低いボクセルまたはＶｉｓｕａｌ  Ｈｕｌｌとして特定する。
【００３４】
ステップＳ７０８では、Ｖｉｓｕａｌ  Ｈｕｌｌ処理部６０６が、ステップＳ７０７で特定されたボクセルまたはＶｉｓｕａｌ  Ｈｕｌｌに対し補正処理を行う。補正処理の内容は、削除、モデルの当てはめなどである。すなわち、Ｖｉｓｕａｌ  Ｈｕｌｌ処理部６０６は、ステップＳ７０６においてＶｉｓｕａｌ  Ｈｕｌｌ生成部６０４により生成された形状データ（被写体の３次元形状を示すデータ）をその信頼度に基づいて補正する。
【００３５】
以上説明したように、本実施形態の画像処理装置２００は、視体積交差法などによって生成した形状データ（被写体の３次元形状を示すデータ）を、その信頼度に基づいて補正する。このような構成によれば、例えば、有効カメラ数が少ない被写体の一部が過剰に膨らむことを抑制できる。これにより、現実の被写体の形状に近い３次元形状を生成することができるようになる。また、本実施形態では、以上の一連の処理によって生成された形状データが、前述のＧＵＩ画面に表示される。本実施形態によれば、ユーザはＧＵＩを介してインタラクティブに最適な閾値を探索することができる。ただし、閾値は固定値としてもよい。
【００３６】
＜実施形態２＞
実施形態２では、視体積交差法の別の実装例について述べる。視体積交差法の実装形態の１つとして、Ｓｐａｃｅ  Ｃａｒｖｉｎｇ  Ｍｅｔｈｏｄ（ＳＣＭ）が知られている。ＳＣＭは、任意の１つのボクセルＶを全てのカメラの画像平面に投影し、投影された全ての点が各カメラに対応したシルエット内部にあればボクセルＶを残し、１つでもシルエット外部に投影されていればボクセルＶを削除する。この処理を一定範囲の全てのボクセルに対して行うことで、残されたボクセルの集合がＶｉｓｕａｌ  Ｈｕｌｌを形成する。ＶＩＭは並列処理に適しており、ＳＣＭはメモリ消費量が少ないという特徴を持つため、装置構成に適した実装形態を用いることが望ましい。
【００３７】
＜実施形態３＞
本実施形態では、信頼度の決定方法について詳細に述べる。以下では、「着目ボクセルに対する有効カメラ」を、「着目ボクセルを撮像しているカメラ」と定義する。図８（ａ）は、有効カメラ数が２の被写体の視体積交差法による形状データの生成結果の模式図、図８（ｂ）は有効カメラ数が４で、有効カメラの分布が一部に偏っている場合の模式図である。Ｃ１〜Ｃ４はカメラ中心、Ｒ１〜Ｒ４は被写体のシルエット輪郭を通る光線、ＯＢは真の被写体の断面、ＶＨはＶｉｓｕａｌ  Ｈｕｌｌをそれぞれ表す。図５と異なり、画像平面Ｐ１、Ｐ２は図示の都合上省略している。
【００３８】
図８（ａ）は、実施形態１と同様、有効カメラ数が少ないことにより、図８（ｂ）は、図５（ｂ）と有効カメラ数が等しいが、有効カメラの分布が偏っているために、Ｖｉｓｕａｌ  Ｈｕｌｌが真の形状から乖離している。
【００３９】
このことから、ボクセルに対する信頼度を判定するための指標として、有効カメラの台数か、有効カメラの分布か、その両方を用いることができる。有効カメラの分布を表す値としては、例えば２台の有効カメラの光軸がなす角度の最大値が挙げられる。また、有効カメラの分布を表す値の別の例として、例えば、有効カメラの物理的な距離を用いても良い。このほかにも、分布を表すことができる値であれば構わない。ある被写体を表すＶｉｓｕａｌ  Ｈｕｌｌ全体の信頼度を判定する場合は、該当するＶｉｓｕａｌ  Ｈｕｌｌに属するボクセルの信頼度の平均値を用いることができる。ただし、平均値の代わりに、信頼度の最大値または最小値を用いてもよいし、中央値を用いてもよい。被写体のＶｉｓｕａｌ  Ｈｕｌｌを識別する方法としては、画像中で特定の被写体のシルエットを識別しても良いし、空間中でＶｉｓｕａｌ  Ｈｕｌｌをクラスタリングしても良い。また、天頂カメラの情報などを用いて、被写体の位置を特定し、その周辺で一定距離以内に存在するボクセルの集合を当該被写体のＶｉｓｕａｌ  Ｈｕｌｌとして特定されるようにしてもよい。ただし、Ｖｉｓｕａｌ  Ｈｕｌｌ全体の信頼度は、これ以外の方法で決定しても構わない。また、有効カメラ数と有効カメラ分布の重みづけ平均など、双方を考慮した信頼度を採用してもよい。
【００４０】
＜実施形態４＞
本実施形態では、形状の補正方法について詳細に述べる。まず、特定の被写体を表すＶｉｓｕａｌ  Ｈｕｌｌ全体の信頼度を用いて処理を行う例を説明する。Ｖｉｓｕａｌ  Ｈｕｌｌの信頼度が閾値未満であると判定された場合、Ｖｉｓｕａｌ  Ｈｕｌｌすべてを削除、Ｖｉｓｕａｌ  Ｈｕｌｌの一部を削除、Ｖｉｓｕａｌ  Ｈｕｌｌを別の近似モデルに置き換える、の３パターンが主に考えられる。Ｖｉｓｕａｌ  Ｈｕｌｌすべてを削除する場合は、明白であるため、ここでは、残りの２パターンについて図９を用いて説明を行う。以下、被写体は人として説明するが、人以外の場合も同様にして処理することが可能である。
【００４１】
図９（ａ）はＶｉｓｕａｌ  Ｈｕｌｌの一部を削除する場合の概念図である。図９（ａ）において９０１は円筒を上から見た図を表しており、円筒の直径・高さを人一人含むくらいの大きさにとる。例えば円筒の直径・高さを２ｍとする。実線９０２は、Ｖｉｓｕａｌ  Ｈｕｌｌと円筒９０１の共通部分（共通領域）を表しており、この部分を形状として採用することで、不必要に伸びた部分を削除することが可能になる。９０３は、円筒の底面の中心位置であり、ここではＶｉｓｕａｌ  Ｈｕｌｌをフィールドに射影した図形の重心位置と一致させる。被写体が存在する可能性が高い場所であれば、円筒を重心位置以外の場所に配置しても構わない。また、球や直方体など円筒以外の立体を用いてもよい。立体を用いない別の削除方法として、各ボクセルを画像に射影して、フォトコンシステンシーを算出し、閾値以下の場合は、ボクセルを削除してもよい。この場合は、ボクセルごとの信頼度を用いて削除を行うことも可能である。
【００４２】
図９（ｂ）はＶｉｓｕａｌ  Ｈｕｌｌを別の近似モデルに置き換える場合の概念図である。９０４は一般的な人物形状モデル、９０５はビルボードと呼ばれる板、９０６はその他の簡易的な立体である。ビルボードを採用する場合は、ビルボードの高さは、人と同じ程度にとる。簡易的な立体の場合は、図９（ａ）と同様にしてサイズを決める。立体の配置位置の決め方は、図９（ａ）と同様である。
【００４３】
＜実施形態５＞
実施形態１〜４では、ユーザがＧＵＩを用いて信頼度が閾値未満のＶｉｓｕａｌ  Ｈｕｌｌを補正する場合について説明した。しかし、多視点の動画データが入力された場合、各フレームに対してユーザが形状の補正を行うことは現実的ではない。本実施形態では、自動で処理を行う場合について説明する。
【００４４】
図１０は、本実施形態に係るＧＵＩ画面の一例を示した図である。図１０は当該ＧＵＩ画面の基本画面であり、表示領域１０００、補正方法表示領域１００１、スライドバー１００４、ＯＫボタン１００５、Ｃａｎｃｅｌボタン１００６から構成される。補正方法表示領域１００１は、ラジオボタン１００２、補正方法１００３から構成され、ユーザは、どの手法を用いて形状を補正するかをラジオボタン１００２を用いて選択する。また、スライダーバー１００４をドラッグして動かすことで、信頼度の閾値を調節する。ＯＫボタン１００４を押下すると、設定した信頼度の閾値、及び補正方法を用いて全画像フレームに対して形状データの補正処理が実行される。なお、対象フレームを選択するＧＵＩも表示して、ユーザが選択した画像フレームのみ形状データの補正処理が実施されるようにしてもよい。Ｃａｎｃｅｌボタン１００５が押下されると、表示領域１０００が閉じられる。
【００４５】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４６】
２００  画像処理装置
２０１  ＣＰＵ
２０２  メインメモリ
２０３  記憶部
２０４  入力部
２０５  表示部
２０９  カメラ群
【図１】
2018063693.tif 000003
【図２】
2018063693.tif 000004
【図３】
2018063693.tif 000005
【図４】
2018063693.tif 000006
【図５】
2018063693.tif 000007
【図６】
2018063693.tif 000008
【図７】
2018063693.tif 000009
【図８】
2018063693.tif 000010
【図９】
2018063693.tif 000011
【図１０】
2018063693.tif 000012