(57)【要約】  被写体を撮影し、当該被写体の３次元映像を生成する装置において、撮影開始直後であっても、欠損領域のない３次元映像を生成することができる技術を提供する。映像生成装置（１）は、表示対象の３次元形状を示すデプス情報を取得するデプス情報取得部（５）と、上記デプス情報と、上記３次元映像を生成する処理の開始前に予め用意された、上記表示対象の３次元形状を全体的に示す初期参照モデルと、を参照して、上記３次元映像を生成する３次元映像生成部（７）と、を備えている。
2019065458.tif 000002
【特許請求の範囲】
【請求項１】
表示対象の３次元映像を生成する映像生成装置であって、
上記表示対象の３次元形状を示すデプス情報を取得するデプス情報取得部と、
上記デプス情報と、上記３次元映像を生成する処理の開始前に予め用意された、上記表示対象の３次元形状を全体的に示す初期参照モデルとを参照して、上記３次元映像を生成する３次元映像生成部と、を備えていることを特徴とする、映像生成装置。
【請求項２】
上記デプス情報を参照して上記初期参照モデルを生成する初期参照モデル生成部をさらに備え、
上記３次元映像生成部は、上記初期参照モデルを参照して、上記３次元映像を生成することを特徴とする、請求項１に記載の映像生成装置。
【請求項３】
上記初期参照モデルを記憶する初期参照モデル記憶部をさらに備え、
上記３次元映像生成部は、上記初期参照モデルを参照して、上記３次元映像を生成することを特徴とする、請求項１又は２に記載の映像生成装置。
【請求項４】
請求項１〜３の何れか１項に記載の映像生成装置と、
上記表示対象を撮影して、上記デプス情報を生成する撮影装置と、を備えていることを特徴とする、映像撮影装置。
【請求項５】
上記表示対象の撮影の開始又は終了に関する初期条件、上記デプス情報の取得に関する初期条件、及び上記３次元映像の生成に関する初期条件のうち少なくとも１つ以上を設定する初期条件設定部をさらに備えていることを特徴とする、請求項４に記載の映像撮影装置。
【請求項６】
上記３次元映像を参照して、上記３次元映像の状態を確認する３次元映像確認部をさらに備えていることを特徴とする、請求項４又は５に記載の映像撮影装置。
【請求項７】
上記デプス情報を記憶するデプス情報記憶部をさらに備え、
上記３次元映像生成部は、上記デプス情報を参照して、上記３次元映像を生成することを特徴とする、請求項４〜６の何れか１項に記載の映像撮影装置。
【請求項８】
上記表示対象の撮影に関する撮影指示情報を生成する撮影指示情報生成部をさらに備えていることを特徴とする、請求項４〜７の何れか１項に記載の映像撮影装置。
【請求項９】
上記撮影指示情報生成部は、上記デプス情報、上記初期参照モデル及び上記３次元映像のうちの少なくとも１つ以上を参照して、上記撮影指示情報を生成することを特徴とする、請求項８に記載の映像撮影装置。
【請求項１０】
請求項８又は９に記載の映像撮影装置と、
上記撮影指示情報を参照して、上記表示対象の撮影に関する指示を出力する撮影指示出力装置と、を含むことを特徴とする、映像撮影システム。
【請求項１１】
表示対象の３次元映像を生成する映像生成方法であって、
上記表示対象の３次元形状を示すデプス情報を取得するデプス情報取得工程と、
上記デプス情報と、上記３次元映像を生成する処理の開始前に予め用意された、上記表示対象の３次元形状を全体的に示す初期参照モデルとを参照して、上記３次元映像を生成する３次元映像生成工程と、を含むことを特徴とする、映像生成方法。
【請求項１２】
請求項１に記載の映像生成装置としてコンピュータを機能させるための制御プログラムであって、上記デプス情報取得部及び上記３次元映像生成部としてコンピュータを機能させるための制御プログラム。
【請求項１３】
請求項１２に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示対象の３次元形状を示す３次元映像を生成する映像生成装置に関する。
【背景技術】
【０００２】
従来技術として、DynamicFusionという技術が知られている。DynamicFusionの目的は、主に、撮影デプスからリアルタイムでノイズ除去した３Ｄモデルを構築することである。DynamicFusionでは、センサから取得されるデプスを３Ｄ形状の変形を補償した上で共通の参照モデルに統合する。これにより、低解像度及び高ノイズのデプスから精密な３Ｄモデルの生成が可能となる。【０００３】
より詳細には、DynamicFusionでは、以下の（１）〜（３）の工程を行う。
（１）入力デプス（current depth）と基準３Ｄモデル（canonical model）とに基づいてカメラ位置及び動きフローを推定し、３Ｄモデル（current model）を構築する。
（２）３Ｄモデルを視点に合わせてレンダリングして、更新されたデプスを再生デプスとして出力する。
（３）（１）で構築した３Ｄモデルを、３Ｄモデルのカメラ位置及び３Ｄモデルの変形を補償した上で基準３Ｄモデルに統合する。【０００４】
３次元映像を生成する技術の他の例として、特許文献１には、仮想視点映像装置が開示されている。当該仮想視点映像装置は、仮想視点からみた対象物の深度マップを生成し、当該深度マップに基づいて、仮想視点から対象物を撮影したときの映像を構成する画素ごとに、複数の視点から対象物を観測できるか否かを示す判定画像を生成し、当該判定画像に基づいて深度マップを修正する。【０００５】
また、３次元映像を生成する技術の別の例として、特許文献２には、オブジェクト３次元モデル復元装置が開示されている。当該オブジェクト３次元モデル復元装置は、１台のＲＧＢカメラが撮影した画像と、１台のデプスカメラが撮影した画像とに基づいて、自由視点映像を合成する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】日本国公開特許公報「特開２０１５−４５９２０号公報（２０１５年３月１２日公開）」
【特許文献２】日本国公開特許公報「特開２０１６−７１６４５号公報（２０１６年５月９日公開）」
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述のDynamic Fusionを用いて、各時刻のデプス情報を元に参照モデルとライブモデルとを合成することで、動的な３次元映像を作成できる。しかし、基となったデプス情報に含まれない被写体の領域がある場合、対応する参照モデルの領域が埋まらないため、３次元映像は、その領域に穴の開いた映像になってしまう(例えば、デプスを取得した撮影装置に対して反対の面、又は谷になっている箇所など。なお、以下では、このように３次元映像において一部映像が欠損した領域を「欠損領域」と呼称する)。また、Dynamic Fusionでは、各時刻のデプス情報を用いて徐々に参照モデルを形成していくため、撮影開始直後の３次元映像は、欠損領域の多い映像となってしまう。【０００８】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、被写体を撮影し、当該被写体の３次元映像を生成する装置において、撮影開始直後であっても、欠損領域のない３次元映像を生成することができる技術を提供することである。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本発明の一態様に係る映像生成装置は、表示対象の３次元映像を生成する映像生成装置であって、上記表示対象の３次元形状を示すデプス情報を取得するデプス情報取得部と、上記デプス情報と、上記３次元映像を生成する処理の開始前に予め用意された、上記表示対象の３次元形状を全体的に示す初期参照モデルと、を参照して、上記３次元映像を生成する３次元映像生成部と、を備えている。【００１０】
上記の課題を解決するために、本発明の一態様に係る映像生成方法は、表示対象の３次元映像を生成する映像生成方法であって、上記表示対象の３次元形状を示すデプス情報を取得するデプス情報取得工程と、上記デプス情報と、上記３次元映像を生成する処理の開始前に予め用意された、上記表示対象の３次元形状を全体的に示す初期参照モデルと、を参照して、上記３次元映像を生成する３次元映像生成工程と、を含む。
【発明の効果】
【００１１】
本発明の一態様によれば、被写体を撮影し、当該被写体の３次元映像を生成する装置において、撮影開始直後であっても、欠損領域のない３次元映像を生成することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態１に係る映像撮影装置の構成を示すブロック図である。
【図２】本発明の実施形態１に係る映像撮影装置による映像生成方法の概略を説明するフローチャート図である。
【図３】図２が示す初期参照モデル生成方法をより詳細に説明するフローチャート図である。
【図４】図２が示す３次元映像生成方法をより詳細に説明するフローチャート図である。
【図５】本発明の実施形態２に係る映像撮影装置の構成を示すブロック図である。
【図６】本発明の実施形態３に係る映像撮影システムを示す概略図である。
【図７】本発明の実施形態３に係る映像撮影システムの構成を示すブロック図である。
【図８】本発明の実施形態３に係る映像撮影システムによる映像生成方法の一例を説明するフローチャート図である。
【図９】本発明の実施形態４に係る映像撮影システムの構成を示すブロック図である。
【図１０】本発明の実施形態４に係る映像撮影システムによる映像生成方法の一例を説明するフローチャート図である。
【図１１】本発明の実施形態５に係る映像撮影システムの構成を示すブロック図である。
【図１２】本発明の実施形態５に係る映像撮影システムによる映像生成方法の一例を説明するフローチャート図である。
【図１３】本発明の実施形態６に係る映像撮影システムの構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について、詳細に説明する。ただし、本実施形態に記載されている構成は、特に特定的な記載がない限り、この発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例に過ぎない。
【００１４】
〔実施形態１〕
（映像撮影装置１）
本実施形態に係る映像撮影装置１について、図１を参照して詳細に説明する。図１は、本実施形態に係る映像撮影装置１の構成を示すブロック図である。図１が示すように、映像撮影装置１は、映像生成装置２及び撮影装置３を備えている。また、映像生成装置２は、撮影開始判定部４、デプス情報取得部５、初期参照モデル合成部６（初期参照モデル生成部）、３次元映像合成部７及び撮影終了判定部８を備えている。
【００１５】
撮影装置３は、表示対象を撮影して、当該表示対象のデプス情報を生成する。なお、本願明細書における用語「表示対象」とは、撮影装置３が撮影する対象を示し、また、撮影装置３が当該撮影により生成したデプス情報を基に、映像生成装置２が３次元映像を生成する対象を示す。また、本願明細書における用語「デプス情報」とは、撮影装置３が表示対象を撮影することにより得られた撮影データから導出される、撮影装置３から表示対象までのデプスに関する情報を示す。
【００１６】
映像生成装置２の撮影開始判定部４は、撮影開始のトリガを検知することにより表示対象の撮影を開始すると判定し、撮影装置３に対して撮影を開始するようにデプス情報取得部５を介して指示する。
【００１７】
デプス情報取得部５は、撮影開始判定部４の撮影開始の指示に基づいて、撮影装置３からデプス情報を取得する。
【００１８】
初期参照モデル合成部６は、デプス情報取得部５が取得したデプス情報を参照して、初期参照モデルを合成（生成）する。なお、本願明細書における用語「初期参照モデル」とは、表示対象の３次元映像を生成する処理の開始前に予め用意された、表示対象の３次元形状を全体的に示す３次元モデル情報を意味する。
【００１９】
３次元映像合成部７は、初期参照モデル合成部６が合成した初期参照モデルと、デプス情報取得部５が取得したデプス情報とを参照して、表示対象の３次元映像を合成する。なお、本願明細書における用語「３次元映像」とは、表示対象の３次元形状を示す映像を示し、当該映像は、静止画像又は動画像であり得る。３次元映像の例として、参照モデル、当該参照モデルと取得直後のデプス情報とに基づいて生成されたライブモデル、及び任意の視点の位置から見たようにレンダリングした画像（以下、「任意視点画像」と称する）等を挙げることができる。
【００２０】
撮影終了判定部８は、撮影終了のトリガを検知することにより表示対象の撮影を終了すると判定し、撮影装置３に対して、撮影を終了するようにデプス情報取得部５を介して指示する。
【００２１】
（映像生成方法）
本実施形態に係る映像撮影装置１による映像生成方法について、図２〜４を参照して説明する。図２は、本実施形態に係る映像撮影装置１による映像生成方法の概略を説明するフローチャート図である。本実施形態に係る映像撮影装置１による映像生成方法の概略としては、図２が示すように、本実施形態に係る映像撮影装置１は、まず、初期参照モデルを生成し（ステップＳ０）、次に、生成した初期参照モデルを参照して３次元映像を生成する（ステップＳ１）。図３は、図２が示す初期参照モデル生成方法をより詳細に説明するフローチャート図である。また、図４は、図２が示す３次元映像生成方法をより詳細に説明するフローチャート図である。
【００２２】
図３が示すように、まず、ステップＳ１０において、撮影開始判定部４は、撮影開始のトリガを検知することにより表示対象の撮影を開始すると判定し、撮影装置３に対して撮影を開始するようにデプス情報取得部５を介して指示する。また、ステップＳ１０において、撮影装置３は、撮影開始判定部４の指示に基づいて、表示対象を撮影して、当該表示対象のデプス情報を生成する。なお、撮影開始判定部４による、撮影開始を判定する方法の具体例については後述する。
【００２３】
次に、デプス情報取得部５は、撮影開始判定部４の撮影開始の指示に基づいて、撮影装置３からデプス情報を取得する（ステップＳ１１）。
【００２４】
次に、初期参照モデル合成部６は、デプス情報取得部５が取得したデプス情報を参照して、初期参照モデルを合成する（ステップＳ１２）。なお、本実施形態では、初期参照モデル合成部６が初期参照モデルを生成する構成について説明する。ただし映像撮影装置１においては、初期参照モデルを、別の方法で生成してもよく、又は、映像撮影装置１の外部から取得してもよく、初期参照モデルの生成方法又は取得方法については、特に限定されない。
【００２５】
次に、撮影終了判定部８は、表示対象の撮影を終了するか否かを判定する（ステップＳ１３）。撮影終了判定部８は、表示対象の撮影を終了すると判定した場合（ステップＳ１３のＹＥＳ）、撮影装置３に対して、撮影を終了するようにデプス情報取得部５を介して指示し、初期参照モデル合成部６に対して、初期参照モデルの合成を終了するように指示する。また、撮影終了判定部８が表示対象の撮影を終了しないと判定した場合（ステップＳ１３のＮＯ）、ステップＳ１１に戻り、撮影終了判定部８が表示対象の撮影を終了すると判定するまで、ステップＳ１１、ステップＳ１２及びステップＳ１３の工程を繰り返す。なお、撮影終了判定部８による、撮影終了を判定する方法の具体例については後述する。
【００２６】
以下で、上記のステップＳ０の初期参照モデル生成の次の工程であるステップＳ１の３次元映像生成の詳細について図４を参照して説明する。なお、ステップＳ１の３次元映像生成では、ステップＳ０の初期参照モデル生成で予め生成された初期参照モデルが用いられる。
【００２７】
まず、３次元映像合成部７は、初期参照モデル合成部６がステップＳ１２で合成した初期参照モデルを読み込む（ステップＳ２０）。
【００２８】
次に、ステップＳ２１において、撮影開始判定部４は、撮影開始のトリガを検知することにより表示対象の撮影を開始すると判定し、撮影装置３に対して撮影を開始するようにデプス情報取得部５を介して指示する。また、ステップＳ２１において、撮影装置３は、撮影開始判定部４の指示に基づいて、表示対象を撮影して、当該表示対象のデプス情報を生成する。
【００２９】
次に、デプス情報取得部５は、撮影開始判定部４の撮影開始の指示に基づいて、撮影装置３からデプス情報を取得する（ステップＳ２２）。
【００３０】
次に、３次元映像合成部７は、ステップＳ２０で読み込んだ初期参照モデルと、デプス情報取得部５が取得したデプス情報とを参照して、表示対象の３次元映像を合成する（ステップＳ２３）。３次元映像合成部７が３次元映像を合成する方法の具体例については後述する。
【００３１】
次に、撮影終了判定部８は、表示対象の撮影を終了するか否かを判定する（ステップＳ２４）。撮影終了判定部８は、表示対象の撮影を終了すると判定した場合（ステップＳ２４のＹＥＳ）、撮影装置３に対して、撮影を終了するようにデプス情報取得部５を介して指示し、３次元映像合成部７に対して３次元映像の合成を終了するように指示する。また、撮影終了判定部８が表示対象の撮影を終了しないと判定した場合（ステップＳ２４のＮＯ）、ステップＳ２２に戻り、撮影終了判定部８が表示対象の撮影を終了すると判定するまで、ステップＳ２２、ステップＳ２３及びステップＳ２４の工程を繰り返す。
【００３２】
（撮影開始判定部４による撮影開始判定方法の具体例）
以下で、上述の撮影開始判定部４による撮影開始判定方法の具体例について説明する。上述の通り、ステップＳ１０又はステップＳ２１において、撮影開始判定部４は、撮影開始のトリガを検知することにより表示対象の撮影を開始すると判定し、撮影装置３に対して撮影を開始するようにデプス情報取得部５を介して指示する。
【００３３】
当該工程において、撮影開始判定部４が撮影装置３に対して撮影開始を指示するタイミングは、撮影開始のトリガを検知した直後でなくてもよい。例えば、撮影開始判定部４は、撮影開始のトリガを検知してから数秒後に撮影開始を撮影装置３に対して指示してもよい。また、撮影開始判定部４が検知する撮影開始のトリガの例として、物理的又は電子的なスイッチの押下等が挙げられる。
【００３４】
また、表示対象の撮影開始に関連して、被写体（表示対象）と撮影者とが同一である場合（例えば、自分を撮影する場合、以下、被写体兼撮影者と呼称する）、以下の問題がある。例えば、被写体兼撮影者と撮影装置３とが離れていること、又は被写体兼撮影者と撮影装置３との間に障害物があること等に起因して、被写体兼撮影者が撮影装置３の撮影スイッチを押すことが困難な場合がある。また、撮影装置３が、撮影スイッチが押下されてから所定の時間経過後に撮影を開始する構成（タイマー式）を有している場合、撮影装置３は、撮影スイッチを押してから撮影範囲に入るまでの被写体兼撮影者の姿を撮影してしまう場合がある。
【００３５】
上記のような問題を解決するために、ステップＳ１０又はステップＳ２１において、撮影開始判定部４は、以下の方法で、表示対象の撮影を開始するか否かを判定してもよい。例えば、撮影装置３が、ステップＳ１０又はステップＳ２１におけるデプス情報の生成を目的とした撮影とは別に、被写体を撮影し、撮影開始判定部４は、撮影装置３が撮影した被写体が特定のジェスチャ又はポーズを取ったか否かを判定する。そして、撮影開始判定部４は、被写体が特定のジェスチャ又はポーズを取ったと判定した場合、撮影装置３に対してデプス情報の生成を目的とした撮影を開始するようにデプス情報取得部５を介して指示する。
【００３６】
また、別の例では、撮影装置３が、ステップＳ１０又はステップＳ２１におけるデプス情報の生成を目的とした撮影とは別に、被写体を撮影し、撮影開始判定部４は、撮影装置３が撮影した被写体が特定の向きを向いたか否かを判定する。そして、撮影開始判定部４は、被写体が特定の向きを向いたと判定した場合、撮影装置３に対して被写体のデプス情報の生成を目的とした撮影を開始するようにデプス情報取得部５を介して指示する。
【００３７】
また、別の例では、ステップＳ１０又はステップＳ２１において、撮影装置３は、撮影装置３の周囲の音声を取得する。撮影開始判定部４は、撮影装置３が取得した音声データを参照して、撮影開始を意味する音声（例えば、「スタート」等）を検知したか否かを判定する。そして、撮影開始判定部４は、撮影開始を意味する音声を検知した場合、撮影装置３に対して被写体の撮影を開始するようにデプス情報取得部５を介して指示する。
【００３８】
また、上記の各例を組み合わせた構成も本実施形態の範囲に含まれる。例えば、ステップＳ１０又はステップＳ２１において、撮影開始判定部４は、物理的又は電子的なスイッチの押下を検知し、且つ、撮影装置３が撮影した被写体が特定のジェスチャ又はポーズを取ったと判定した場合、撮影装置３に対して被写体の撮影を開始するようにデプス情報取得部５を介して指示する。
【００３９】
（デプス情報取得部５によるデプス情報取得方法の具体例）
以下で、上述のデプス情報取得部５によるデプス情報取得方法の具体例について説明する。上述の通り、デプス情報取得部５は、ステップＳ１１又はステップＳ２２において、撮影開始判定部４の撮影開始の指示に基づいて、撮影装置３からデプス情報を取得する。また、デプス情報取得部５は、ステップＳ１１又はステップＳ２２において、撮影装置３以外の撮影装置によって事前に表示対象を撮影して生成されたデプス情報を取得してもよい。
【００４０】
上述のステップＳ１１又はステップＳ２２の工程において、デプス情報取得部５が取得するデプス情報の例として、デプスマップが挙げられる。また、表示対象を撮影して、表示対象のデプス情報を生成する撮影装置３の例として、デプスカメラが挙げられる。なお、表示対象を撮影して、デプス情報を生成するデプスカメラは、少なくとも１台あればよく、１台のデプスカメラによって生成されたデプスマップを用いれば、本実施形態に係る映像生成方法は実行可能である。
【００４１】
また、撮影装置３の別の例として、ステレオマッチング（Stereo matching）の方法を用いて表示対象のデプス情報を生成する撮影装置、及び、Shape from silhouetteの方法を用いて表示対象のデプス情報を生成する撮影装置等が挙げられる。
【００４２】
（初期参照モデル合成部６による初期参照モデル合成方法の具体例）
以下で、上述の初期参照モデル合成部６による初期参照モデル合成方法の具体例について説明する。上述の通り、ステップＳ１２において、初期参照モデル合成部６は、デプス情報取得部５が取得したデプス情報を参照して、初期参照モデルを合成する。
【００４３】
当該工程において、初期参照モデル合成部６が合成する初期参照モデルは、実際の被写体（表示対象）の３次元形状を忠実に反映している３次元モデルであることが好ましい。例えば、初期参照モデルは、表面において欠損領域がなく、表示対象の３次元形状を全体的に示す。また、初期参照モデルは、表示対象の細かいディテールが潰れていない３次元モデルであることが好ましい。また、初期参照モデルは、３次元形状が異常に変形していない３次元モデルであることが好ましい（例えば、被写体が人間である場合、腕が３本ある等）。
【００４４】
なお、本実施形態では、撮影装置３が表示対象を撮影し、当該表示対象のデプス情報を生成し、初期参照モデル合成部６が当該デプス情報を参照して初期参照モデルを合成する構成について説明した。しかし、初期参照モデルを、別の方法で生成してもよく、又は、映像撮影装置１の外部から取得してもよく、初期参照モデルの生成方法又は取得方法については、特に限定されない。
【００４５】
例えば、撮影装置３以外の別の撮影装置が表示対象を撮影し、当該表示対象のデプス情報を生成し、初期参照モデル合成部６が当該デプス情報を参照して初期参照モデルを合成してもよい。または、映像撮影装置１以外の映像撮影装置が表示対象を撮影し、当該表示対象のデプス情報を生成し、当該デプス情報を参照して初期参照モデルを合成してもよい。その場合、映像撮影装置１は、映像撮影装置１以外の映像撮影装置が合成した初期参照モデルを参照して、表示対象の３次元映像を合成する。
【００４６】
また、撮影装置３は、被写体を撮影して、被写体（表示対象）のカラー情報（ＲＧＢ画像等）を生成してもよい。その場合、初期参照モデル合成部６は、デプス情報を参照して合成した初期参照モデルに対して、当該カラー情報を付加してもよい。
【００４７】
（３次元映像合成部７による３次元映像合成方法の具体例）
以下で、上述の３次元映像合成部７による３次元映像合成方法の具体例について説明する。上述の通り、ステップＳ２３において、３次元映像合成部７は、初期参照モデルと、デプス情報とを参照して、表示対象の３次元映像を合成する。ここにおける３次元映像の例として、参照モデル、ライブモデル及び任意視点画像等が挙げられる。また、当該工程において、３次元映像合成部７が３次元映像を合成する方法の例として、上述のDynamic Fusionの技術を用いた方法が挙げられる。
【００４８】
より詳細には、ステップＳ２３において、３次元映像合成部７は、読み込んだ初期参照モデルを、現在の参照モデルとして設定する。また、３次元映像合成部７は、デプス情報取得部５からデプス情報を取得する度に、当該デプス情報を参照して、表示対象の３次元映像（参照モデル、ライブモデル及び任意視点画像等）を更新する（３次元映像に最新のデプス情報を統合する）。
【００４９】
当該工程において、例えば、３次元映像合成部７は、合成した参照モデルを任意に回転させてから出力してもよい。また、３次元映像合成部７が、デプス情報を参照して参照モデル、ライブモデル及び任意視点画像を更新する場合、参照モデル、ライブモデル及び任意視点画像の更新は、必ずしもデプス情報を取得する度に行われなくてもよい。また、３次元映像合成部７は、参照モデル、ライブモデル及び任意視点画像の更新後、更新した参照モデル、ライブモデル及び任意視点画像に基づいた３次元映像（のフレーム画像）を出力してもよい。
【００５０】
また、３次元映像合成部７は、直近でデプス情報取得部５から取得したデプス情報が３次元映像（参照モデル等）の合成に悪影響を与えると判断した場合、３次元映像の更新を行わなくてもよい。ステップＳ２３で３次元映像合成部７が３次元映像の更新を行わない場合の例を以下に示す。
【００５１】
例えば、３次元映像合成部７は、直近でデプス情報取得部５から取得したデプス情報（現在デプス情報）と、当該デプス情報を取得する前にデプス情報取得部５から取得したデプス情報（前回デプス情報）とが、極端に異なっている場合、現在デプス情報に基づいた３次元映像の更新を行わない。
【００５２】
別の例では、３次元映像合成部７は、現在デプス情報に強いノイズが係っていると判断した場合、当該現在デプス情報に基づいた３次元映像の更新を行わない。
【００５３】
別の例では、３次元映像合成部７は、現在デプス情報と前回デプス情報とを比較し、現在デプス情報に前回デプス情報になかった物体が現れている場合、当該現在デプス情報に基づいた３次元映像の更新を行わない。
【００５４】
また、３次元映像合成部７は、デプス情報と共に、表示対象（被写体）の色情報(カラー、グレースケール等)を取得して、当該デプス情報と当該色情報とを参照して３次元映像の更新を行ってもよい。これにより生成された三次元映像は、表示対象の色情報が反映された映像となる。
【００５５】
（撮影終了判定部８による撮影終了判定方法の具体例）
以下で、上述の撮影終了判定部８による撮影終了判定方法の具体例について説明する。上述の通り、ステップＳ１３又はステップＳ２４において、撮影終了判定部８は、表示対象の撮影を終了するか否かを判定する。
【００５６】
当該工程において、例えば、撮影終了判定部８は、撮影終了のトリガを検知することにより、表示対象の撮影を終了すると判定する。そのような構成において、撮影終了判定部８が撮影装置３に対して撮影終了を指示するタイミングは、撮影終了のトリガを検知した直後でなくてもよい。例えば、撮影終了判定部８は、撮影終了のトリガを検知してから数秒後に撮影終了を撮影装置３に対して指示してもよい。また、撮影終了判定部８が検知する撮影終了のトリガの例として、物理的又は電子的なスイッチの押下等が挙げられる。そのような例では、撮影終了判定部８は、物理的又は電子的なスイッチの押下を検知することにより、表示対象の撮影を終了すると判定する。
【００５７】
また、上述の撮影開始判定部４による撮影開始判定方法と同様に、撮影終了判定部８は、スイッチによらない撮影終了のトリガを検知することにより、表示対象の撮影を終了すると判定してもよい。そのような例を以下に示す。例えば、撮影終了判定部８は、撮影装置３が撮影した被写体が特定のジェスチャ又はポーズを取ったか否かを判定する。そして、撮影終了判定部８は、被写体が特定のジェスチャ又はポーズを取ったと判定した場合、撮影装置３に対して、撮影を終了するようにデプス情報取得部５を介して指示し、３次元映像合成部７に対して３次元映像の合成を終了するように指示する。
【００５８】
また、別の例では、ステップＳ１３又はステップＳ２４において、撮影終了判定部８は、撮影装置３が撮影した被写体が特定の向きを向いたか否かを判定する。そして、撮影終了判定部８は、被写体が特定の向きを向いたと判定した場合、撮影装置３に対して、撮影を終了するようにデプス情報取得部５を介して指示し、３次元映像合成部７に対して３次元映像の合成を終了するように指示する。
【００５９】
また、別の例では、ステップＳ１３又はステップＳ２４において、撮影終了判定部８は、撮影装置３が撮影した被写体がｎ回転したと判定した場合、撮影装置３に対して、撮影を終了するようにデプス情報取得部５を介して指示し、３次元映像合成部７に対して３次元映像の合成を終了するように指示する。
【００６０】
また、別の例では、ステップＳ２４において、撮影終了判定部８は、３次元映像合成部７が合成した参照モデル等の表面に対して、一定の割合以上、デプス情報が示す参照モデルの部分が統合されたと判定した場合、撮影装置３に対して、撮影を終了するようにデプス情報取得部５を介して指示し、３次元映像合成部７に対して３次元映像の合成を終了するように指示する。
【００６１】
また、別の例では、ステップＳ２４において、撮影終了判定部８は、３次元映像合成部７が参照モデルを更新しなくなったと判定した場合、撮影装置３に対して、撮影を終了するようにデプス情報取得部５を介して指示し、３次元映像合成部７に対して３次元映像の合成を終了するように指示する。
【００６２】
また、別の例では、ステップＳ１３又はステップＳ２４において、撮影装置３は、撮影装置３の周囲の音声を取得する。撮影終了判定部８は、撮影装置３が取得した音声データを参照して、撮影終了を意味する音声（例えば、「ストップ」等）を検知したか否かを判定する。そして、撮影終了判定部８は、撮影終了を意味する音声を検知した場合、撮影装置３に対して、撮影を終了するようにデプス情報取得部５を介して指示し、３次元映像合成部７に対して３次元映像の合成を終了するように指示する。
【００６３】
また、上記の各例を組み合わせた構成も本実施形態の範囲に含まれる。例えば、ステップＳ１３又はステップＳ２４において、撮影終了判定部８は、物理的又は電子的なスイッチの押下を検知し、且つ、撮影装置３が撮影した被写体が特定のジェスチャ又はポーズを取ったと判定した場合、撮影装置３に対して、撮影を終了するようにデプス情報取得部５を介して指示し、３次元映像合成部７に対して３次元映像の合成を終了するように指示する。
【００６４】
（まとめ）
以上のように、本実施形態に係る映像撮影装置１が備えている映像生成装置２は、表示対象の３次元形状を示すデプス情報を取得し、当該デプス情報と、３次元映像を生成する処理の開始前に予め用意された、表示対象の３次元形状を全体的に示す初期参照モデルと、を参照して、表示対象の３次元映像を生成する。
【００６５】
上記の構成によれば、撮影開始直後であっても、３次元映像を生成する処理の開始前に用意されている、表示対象の３次元形状を全体的に示す初期参照モデルを参照して、３次元映像を生成するため、欠損領域のない３次元映像を生成することができる。
【００６６】
また、本実施形態に係る映像撮影装置１が備えている映像生成装置２は、取得したデプス情報を参照して初期参照モデルを生成し、当該初期参照モデルを参照して、表示対象の３次元映像を生成する。
【００６７】
上記の構成によれば、３次元映像を生成する装置において、予め、初期参照モデルを生成することができ、当該初期参照モデルを参照して、欠損領域のない３次元映像を生成することができる。
【００６８】
〔実施形態２〕
上述の実施形態１に係る映像撮影装置１において、初期参照モデルの基となるデプス情報を取得するための撮影（事前撮影）と、３次元映像の基となるデプス情報を取得するための撮影（３次元映像撮影）とは、時間差を設けて行われたほうがよい場合がある。また、同一の被写体（表示対象）について、３次元映像撮影を行う毎に、事前撮影を行うと手間がかかる。
【００６９】
また、３次元映像撮影を行う場所と、事前撮影を行う場所とが異なる場合がある。そのような場合の例として、例えば、スタジオで事前撮影をした後、ロケ地に移動してから３次元映像撮影を行う場合が挙げられる。また、別の例として、一旦、事前撮影を行い、動的な被写体のデプス情報を取得した後で、当該デプス情報と、当該デプス情報に基づいて生成した初期参照モデルとを送信した先で、３次元映像撮影(及び３次元映像の合成)を行う場合が挙げられる。
【００７０】
以上のような各ケースにおいても、デプス情報及び初期参照モデルを参照して、３次元映像を生成することができる映像撮影装置が求められる。そこで、本実施形態に係る映像撮影装置１０が備えている映像生成装置１１は、初期参照モデルを記憶し、記憶した初期参照モデルを参照して、表示対象の３次元映像を生成する。
【００７１】
上記のような本発明の実施形態２について、図面に基づいて説明すれば、以下のとおりである。なお、実施形態１にて説明した映像撮影装置１が備えている部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【００７２】
（映像撮影装置１０）
本実施形態に係る映像撮影装置１０について、図５を参照して説明する。図５は、本実施形態に係る映像撮影装置１０の構成を示すブロック図である。図５が示すように、映像撮影装置１０は、映像生成装置１１及び撮影装置３を備える。映像生成装置１１は、初期参照モデル記憶部１２をさらに備えていること以外は、実施形態１に係る映像生成装置２と同様の構成を有している。そして、初期参照モデル記憶部１２は、初期参照モデル合成部６が合成した初期参照モデルを記憶する。
【００７３】
（映像生成方法）
本実施形態に係る映像撮影装置１０による映像生成方法について説明する。なお、本実施形態に係る映像撮影装置１０による映像生成方法は、上述のステップＳ１３の次に新たな工程が追加されること、及びステップＳ２０が異なること以外は、実施形態１に係る映像生成方法と同様である。従って、実施形態１に係る映像生成方法と同様の工程については、詳細な説明は省略する。
【００７４】
本実施形態に係る映像生成方法では、上述のステップＳ１３の次の工程として、初期参照モデル記憶部１２は、初期参照モデル合成部６が合成した初期参照モデルを記憶する。なお、本実施形態の変形例として、初期参照モデル記憶部１２は、映像撮影装置１０の外部から初期参照モデルを取得して記憶してもよい。
【００７５】
また、上述のステップＳ２０において、３次元映像合成部７は、初期参照モデル記憶部１２が記憶した初期参照モデルを読み込む。当該工程において、３次元映像合成部７は、初期参照モデル記憶部１２が記憶している初期参照モデルのうちから、１つの初期参照モデルを選択してもよい。その場合、３次元映像合成部７は、初期参照モデル記憶部１２が記憶している初期参照モデルのうちからユーザが選択した初期参照モデルを読み込んでもよい。また、３次元映像合成部７は、初期参照モデル記憶部１２が記憶している初期参照モデルのうちで、被写体として設定された物体に類似した初期参照モデルを選択してもよい。
【００７６】
また、上述のステップＳ２４において、撮影終了判定部８が表示対象の撮影を終了すると判定した場合、初期参照モデル記憶部１２は、ステップＳ２３で３次元映像合成部７が合成した３次元映像（参照モデル等）を、初期参照モデルとして記憶してもよい。また、当該工程は、ユーザから３次元映像を初期参照モデルとして記憶するように指示する入力があった場合に行われてもよい。
【００７７】
（まとめ）
以上のように、本実施形態に係る映像撮影装置１０が備えている映像生成装置１１は、初期参照モデルを記憶し、当該初期参照モデルを参照して、表示対象の３次元映像を生成する。
【００７８】
上記の構成によれば、記憶した初期参照モデルを参照して、欠損領域のない３次元映像を生成することができる。また、記憶した初期参照モデルを参照して３次元映像を生成することができるため、初期参照モデルの基となるデプス情報を取得するための撮影と、３次元映像の基となるデプス情報を取得するための撮影とを連続して行わずに済む。また、１回、初期参照モデルの基となるデプス情報を取得するための撮影が行われた被写体については、再度、当該撮影を行う必要がなくなる。また、初期参照モデルの基となるデプス情報を取得するための撮影と、３次元映像の基となるデプス情報を取得するための撮影とを連続して行わずに済むため、これらの撮影をそれぞれ異なる場所で実行できる。
【００７９】
〔実施形態３〕
上述の実施形態１に係る映像撮影装置１又は実施形態２に係る映像撮影装置１０は、動いている被写体（表示対象）を撮影し、被写体のデプス情報を取得し、当該デプス情報を参照して３次元映像を生成する。そのような構成の具体例として、例えば、上述のDynamic Fusionをベースに、各時刻のデプス情報を参照して３次元映像を合成する方法が挙げられる。しかし、このような技術において、映像撮影装置１又は映像撮影装置１０のユーザは、どのように撮影をすれば、実際の被写体の３次元形状が反映された３次元映像を得られるのか、一般のユーザには分からない。
【００８０】
上記のような問題を解決するために、本実施形態では、図６が示す映像撮影システム１００を用いる。図６は、本実施形態に係る映像撮影システム１００を示す概略図である。図６が示す映像撮影システム１００において、撮影者Ａが操作する映像撮影装置２０は、被写体Ｂ（表示対象）を撮影し、被写体Ｂの撮影に関する撮影指示情報を生成する。また、撮影指示出力装置３０は、映像撮影装置２０が生成した撮影指示情報を参照して、表示対象の撮影に関する指示を出力する。以上のような本発明の実施形態３について、図面に基づいて説明すれば、以下のとおりである。
【００８１】
（映像撮影システム１００）
本実施形態に係る映像撮影システム１００について、図７を参照して説明する。図７は、本実施形態に係る映像撮影システム１００の構成を示すブロック図である。図７が示すように、映像撮影システム１００は、映像撮影装置２０及び撮影指示出力装置３０を含む。映像撮影装置２０は、映像生成装置２１及び撮影装置３を備える。映像生成装置２１は、撮影指示情報生成部２２をさらに備えていること以外、実施形態１に係る映像生成装置２と同様の構成を有している。そのため、実施形態１にて説明した映像撮影装置１が備えている部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。また、撮影指示出力装置３０は、取得部３１及び出力部３２を備えている。
【００８２】
映像生成装置２１が備えている撮影指示情報生成部２２は、撮影装置３による表示対象の撮影に関する撮影指示情報を生成する。撮影指示情報生成部２２が生成する撮影指示情報については後述する。
【００８３】
撮影指示出力装置３０が備えている取得部３１は、撮影指示情報生成部２２が生成した撮影指示情報を取得する。また、出力部３２は、取得部３１が取得した撮影指示情報を参照して、表示対象の撮影に関する指示を出力する。撮影指示出力装置３０の例として、表示対象の撮影に関する指示を映像として出力するモニタ、及び表示対象の撮影に関する指示を音声として出力するスピーカ等が挙げられる。
【００８４】
（映像生成方法）
本実施形態に係る映像撮影システム１００による映像生成方法について、図８を参照して、詳細に説明する。図８は、本実施形態に係る映像撮影システム１００による映像生成方法の一例を説明するフローチャート図である。なお、本実施形態に係る映像生成方法における撮影指示情報の生成及び出力方法は、実施形態１で説明したステップＳ０の初期参照モデル生成の工程（ステップＳ１０〜ステップＳ１３の工程）と、ステップＳ１の３次元映像生成の工程（ステップＳ２０〜ステップＳ２４）とに同様に適用できる。そのため、本実施形態に係る映像生成方法における、ステップＳ０の初期参照モデル生成の工程に相当する工程については説明を省略し、ステップＳ１の３次元映像生成の工程に対して、撮影指示情報の生成及び出力方法を適用した形態について以下で説明する。また、実施形態１に係る映像生成方法と同様の工程については、詳細な説明は省略する。
【００８５】
まず、図８が示すように、３次元映像合成部７は、初期参照モデル合成部６が合成した初期参照モデルを読み込む（ステップＳ３０）。
【００８６】
次に、ステップＳ３１において、撮影開始判定部４は、撮影開始のトリガを検知することにより表示対象の撮影を開始すると判定し、撮影装置３に対して撮影を開始するようにデプス情報取得部５を介して指示する。また、ステップＳ３１において、撮影装置３は、撮影開始判定部４の指示に基づいて、表示対象の撮影を開始する（これに伴い、表示対象のデプス情報の生成を開始する）。
【００８７】
次に、ステップＳ３２において、撮影指示情報生成部２２は、撮影開始判定部４の撮影開始の指示に基づいて、撮影装置３による表示対象の撮影に関する撮影指示情報を生成する。また、ステップＳ３２において、撮影指示出力装置３０の取得部３１は、撮影指示情報生成部２２が生成した撮影指示情報を取得し、撮影指示出力装置３０の出力部３２は、取得部３１が取得した撮影指示情報を参照して、表示対象の撮影に関する指示を出力する。
【００８８】
上記の「表示対象の撮影に関する指示」の例として、映像撮影装置２０のユーザに対して映像撮影装置２０の最適な向き又は配置に調整するように誘導する指示、及び、映像撮影装置２０のユーザに対して映像撮影装置２０の撮影条件の設定を最適な設定に変更するように誘導する指示等が挙げられる。映像撮影装置２０のユーザ（上述の撮影者Ａ）は、このように出力部３２が出力した指示を参照して、被写体（表示対象、上述の被写体Ｂ）に対する映像撮影装置２０の向き若しくは配置、又は映像撮影装置２０の撮影条件（明るさ、又はフォーカス等）の設定等を調整することができる。
【００８９】
ステップＳ３２の次の工程として、デプス情報取得部５は、上記のようにユーザが調整した映像撮影装置２０の撮影装置３が被写体を撮影して生成したデプス情報を取得する（ステップＳ３３）。
【００９０】
次に、３次元映像合成部７は、ステップＳ３０で読み込んだ初期参照モデルと、デプス情報取得部５が取得したデプス情報とを参照して、表示対象の３次元映像を合成する（ステップＳ３４）。
【００９１】
次に、撮影終了判定部８は、表示対象の撮影を終了するか否かを判定する（ステップＳ３５）。撮影終了判定部８は、表示対象の撮影を終了すると判定した場合（ステップＳ３５のＹＥＳ）、撮影装置３に対して、撮影を終了するようにデプス情報取得部５を介して指示し、３次元映像合成部７に対して３次元映像の合成を終了するように指示する。また、撮影終了判定部８が表示対象の撮影を終了しないと判定した場合（ステップＳ３５のＮＯ）、ステップＳ３２に戻り、撮影終了判定部８が表示対象の撮影を終了すると判定するまで、ステップＳ３２、ステップＳ３３、ステップＳ３４及びステップＳ３５の工程を繰り返す。
【００９２】
（撮影指示情報生成部２２が生成する撮影指示情報の具体例）
以下で、上述の撮影指示情報生成部２２が生成する撮影指示情報の具体例について説明する。上述の通り、ステップＳ３２において、撮影指示情報生成部２２は、撮影開始判定部４の撮影開始の指示に基づいて、撮影装置３による表示対象の撮影に関する撮影指示情報を生成する。また、ステップＳ３２において、撮影指示出力装置３０の取得部３１は、撮影指示情報生成部２２が生成した撮影指示情報を取得し、撮影指示出力装置３０の出力部３２は、取得部３１が取得した撮影指示情報を参照して、表示対象の撮影に関する指示を出力する。
【００９３】
上記の工程において、例えば、撮影指示情報生成部２２は、好適な参照モデルを合成するのに必要なデプス情報を取得するために、ユーザがどのような操作又は行動をする必要があるかを示す撮影指示情報を生成する。撮影指示出力装置３０の出力部３２は、当該撮影指示情報を参照して指示を出力する。なお、撮影指示出力装置３０の出力部３２が出力する指示の対象は、撮影者、被写体、又はその両方であり得る。なお、以下の各例では、撮影者及び被写体が人間である場合の例を示す。
【００９４】
また、上述のように、好適な参照モデルを合成するのに必要なデプス情報を取得するためには、以下のような条件を満たす必要がある。例えば、映像撮影装置２０が備えている撮影装置３は、被写体の全ての表面を撮影する必要がある。別の例では、被写体の動作は、撮影装置３が撮影することにより取得した撮影データにおける被写体がブレない程度に遅い必要がある。
【００９５】
また、撮影指示情報生成部２２が生成した撮影指示情報を参照して撮影指示出力装置３０の出力部３２が出力する指示の例として、被写体（表示対象）への指示が挙げられる。より詳細には、当該指示は、例えば、被写体が回転動作するように誘導する指示、被写体が特定のポーズを取るように誘導する指示、被写体が特定の方向を向くように誘導する指示、映像撮影装置２０を基準とした被写体の位置が特定の位置に移動するように被写体を誘導する指示、又は被写体が動作速度を落とす(ゆっくりと動く)ように誘導する指示等であり得る。
【００９６】
また、撮影指示情報生成部２２が生成した撮影指示情報を参照して撮影指示出力装置３０の出力部３２が出力する指示の別の例として、撮影者（映像撮影装置２０のユーザ）への指示が挙げられる。より詳細には、当該指示は、例えば、撮影者が被写体の周囲を回って移動するように誘導する指示、撮影者が映像撮影装置２０を傾かせる又は向きを変更させるように誘導する指示、撮影者が被写体に向けた指示を出すように誘導する指示（例えば、被写体への指示（文字等）を、撮影者が読みあげるように誘導する指示）、又は撮影者が映像撮影装置２０の設定を変更するように誘導する指示等であり得る。
【００９７】
また、撮影指示情報生成部２２は、ステップＳ３１で撮影開始判定部４が撮影開始を指示する前に、撮影指示情報を生成し、撮影指示出力装置３０の出力部３２は、当該撮影指示情報を参照して、表示対象の撮影に関する指示を出力してもよい。
【００９８】
撮影指示情報生成部２２が撮影開始判定部４による撮影開始の指示前に撮影指示情報を生成し、出力部３２が当該撮影指示情報を参照して出力する、被写体への指示の例を以下に示す。例えば、当該指示は、被写体が特定の方向を向くように誘導する指示、被写体の３次元形状を取得する手順を提示する指示、被写体がいない背景のみのデプス情報を取得するために被写体が撮影範囲から移動するように誘導する指示、又は映像撮影装置２０を基準とした被写体の位置が特定の位置に移動するように被写体を誘導する指示等であり得る。
【００９９】
また、撮影指示情報生成部２２が撮影開始判定部４による撮影開始の指示前に撮影指示情報を生成し、出力部３２が当該撮影指示情報を参照して出力する、撮影者への指示の例を以下に示す。例えば、当該指示は、撮影者が撮影装置３の光軸を水平に保つように誘導する指示、撮影者が撮影装置３の受光面を被写体に向けるように誘導する指示、撮影者が撮影装置３の向きを変更するように誘導する指示、撮影者が被写体に向けた指示を出すように誘導する指示（例えば、被写体への指示（文字等）を、撮影者が読みあげるように誘導する指示）、又は、撮影者が映像撮影装置２０の設定を変更するように誘導する指示等であり得る。
【０１００】
また、撮影指示出力装置３０の出力部３２がモニタである場合、出力部３２は、撮影指示情報が示す指示の他にも、ステップＳ３４で３次元映像合成部７が合成した現在の３次元映像（参照モデル等）を表示してもよい。これにより、撮影者は、合成された３次元映像を確認しながら、被写体のデプス情報を取得するための撮影を行うことができる。
【０１０１】
上述の各例では、撮影者及び被写体が人間である場合の例について説明した。以下では、撮影する主体（前述の撮影者に相当、以下、撮影機器と称する）及び被写体が電子機器である場合の例について説明する。そのような例の場合、上述のステップＳ３２において、撮影指示情報生成部２２は、電子機器の動作を制御する制御信号を示す撮影指示情報を生成し、撮影機器又は被写体は、当該撮影指示情報を参照して、特定の動作を行う。
【０１０２】
例えば、撮影機器が、映像撮影装置２０が取り付けられた移動する機器(例えば、ドローン等)であってよい。この例では、ステップＳ３２において、撮影指示情報生成部２２は、当該機器の動作を制御する制御信号を示す撮影指示情報を生成し、当該機器が当該撮影指示情報を参照して被写体の周囲を移動しながら撮影するように制御する。これにより、例えば、指示を聞けない被写体(例えば、赤ん坊又は動物等)を撮影できる。または、例えば、固定され動くことのできない被写体を撮影できる。
【０１０３】
また、別の例では、被写体が、回転可能なステージ（回転ステージ）に設置された物体であってよい。この例では、ステップＳ３２において、撮影指示情報生成部２２は、当該回転ステージの回転を制御する制御信号を示す撮影指示情報を生成し、当該回転ステージが当該撮影指示情報を参照してステージを回転させるように制御する。
【０１０４】
（変形例）
本実施形態に係る映像撮影システム１００では、映像撮影装置２０が、表示対象を撮影し、表示対象の撮影に関する撮影指示情報を生成する。また、撮影指示出力装置３０が、映像撮影装置２０が生成した撮影指示情報を参照して、表示対象の撮影に関する指示を出力する。しかし、当該構成においても、以下に示すような問題がある。
【０１０５】
例えば、撮影指示出力装置３０によって、ゆっくりとした動作をするように指示された被写体が、本人はゆっくりと動いているつもりでも、動きが早すぎる場合がある。この場合、映像撮影装置２０は、好適な参照モデルの合成ができない可能性がある。また、別の例では、被写体が動いているうちに映像撮影装置２０の撮影範囲外に出てしまうと、映像撮影装置２０は、被写体のデプス情報を取得できないため、それ以降の３次元映像（例えば、参照モデル等）の合成ができなくなる。そして、３次元映像における被写体の表面の領域のうちで、対応するデプス情報を映像撮影装置２０が取得していない領域がある場合、その領域に欠損領域が生じた３次元映像になってしまう。
【０１０６】
上記のような問題を解決するために、ステップＳ３２において、撮影指示情報生成部２２は、デプス情報取得部５がそれまでに取得したデプス情報を解析し、その解析結果を参照して、撮影指示情報を生成してもよい。または、撮影指示情報生成部２２は、３次元映像合成部７がそれまでに合成した３次元映像（例えば、参照モデル等）を解析し、その解析結果を参照して、撮影指示情報を生成してもよい。
【０１０７】
以上のような構成において、例えば、撮影指示情報生成部２２は、デプス情報取得部５がそれまでに取得したデプス情報を解析する。映像撮影装置２０又は被写体が高速に動作していることを検知した場合、撮影指示情報生成部２２は、撮影者又は被写体が動きを遅くするように誘導する指示を示す撮影指示情報を生成する。
【０１０８】
別の例では、例えば、撮影指示情報生成部２２は、デプス情報取得部５がそれまでに取得したデプス情報を解析し、被写体の位置がずれたことを検知した場合、被写体が元の位置に戻るように誘導する指示を示す撮影指示情報を生成する。
【０１０９】
別の例では、例えば、撮影指示情報生成部２２は、デプス情報取得部５がそれまでに取得したデプス情報を解析し、撮影装置３の撮影範囲に被写体ではないものが入った場合に警告を出す撮影指示情報を生成する。
【０１１０】
別の例では、例えば、撮影指示情報生成部２２は、３次元映像合成部７がそれまでに合成した３次元映像（例えば、参照モデル等）を解析し、３次元映像における被写体の表面において欠損領域を探索し、被写体が当該欠損領域に対応する領域を映像撮影装置２０に向けるように誘導する指示を示す撮影指示情報を生成する。
【０１１１】
また、上述の実施形態１で説明したステップＳ０に相当する工程である、映像撮影装置２０が初期参照モデルを生成する工程に、本実施形態に係る映像生成方法における撮影指示情報の生成及び出力方法を適用した構成も本実施形態に含まれる。当該構成において、上述のステップＳ１０（撮影開始）に相当する工程の後に、撮影開始判定部４の撮影開始の指示に基づいて、撮影装置３による表示対象の撮影に関する撮影指示情報を生成する。また、撮影指示情報生成部２２は、初期参照モデル合成部６がそれまでに合成した初期参照モデルを解析し、その解析結果を参照して、撮影指示情報を生成してもよい。
【０１１２】
（まとめ）
以上のように、本実施形態に係る映像撮影装置２０が備えている映像生成装置２１は、撮影装置３による表示対象の撮影に関する撮影指示情報を生成する。
【０１１３】
上記の構成によれば、撮影指示情報を適宜用いて撮影者又は被写体（表示対象）に指示を出すことにより、被写体を好適に撮影することができ、必要なデプス情報を取得しやすくなる。従って、欠損領域のない３次元映像を生成しやすくなる。
【０１１４】
また、本実施形態に係る映像撮影装置２０は、デプス情報、初期参照モデル及び３次元映像の少なくとも１つ以上を参照して、上記撮影指示情報を生成してもよい。
【０１１５】
上記の構成によれば、デプス情報、初期参照モデル及び３次元映像の少なくとも１つ以上に基づいて、被写体（表示対象）の状況に応じた撮影指示情報を生成することができる。これにより生成された撮影指示情報を適宜用いて撮影者又は被写体（表示対象）に指示を出すことにより、被写体の状況に応じた撮影を行うことができ、必要なデプス情報を取得しやすくなる。従って、欠損領域のない３次元映像を生成しやすくなる。
【０１１６】
〔実施形態４〕
上述の実施形態１、実施形態２及び実施形態３において、以下のような問題がある。例えば、撮影開始判定部４による撮影開始判定の設定、撮影終了判定部８による撮影終了判定の設定が、撮影の状況にそぐわない場合がある。より詳細には、例えば、撮影者がスイッチを押せない環境下であるのに、スイッチの押下が撮影開始又は撮影終了のトリガになっている場合である。
【０１１７】
また、デプス情報取得部５がデプスを取得する、表示対象の範囲（表示対象の表面の面積、又は表示対象までの距離）が適切に設定されていない場合、３次元映像（参照モデル等）に被写体以外のオブジェクトが混じる、又は被写体の一部が３次元映像に含まれない可能性がある。また、撮影装置３が生成したデプス情報だけでは、被写体の３次元形状を反映した３次元映像の合成が難しい場合がある。
【０１１８】
以上のような問題を解決するために、本実施形態に係る映像撮影装置４０は、撮影装置３による表示対象の撮影の開始又は終了に関する初期条件、デプス情報取得部５によるデプス情報の取得に関する初期条件、及び３次元映像合成部７による３次元映像の生成に関する初期条件のうちの少なくとも１つ以上を設定する。以上のような本発明の実施形態４について、図面に基づいて説明すれば、以下のとおりである。
【０１１９】
（映像撮影システム１０１）
本実施形態に係る映像撮影システム１０１について、図９を参照して説明する。図９は、本実施形態に係る映像撮影システム１０１の構成を示すブロック図である。図９が示すように、映像撮影システム１０１は、映像撮影装置４０及び撮影指示出力装置３０を含む。映像撮影装置４０は、映像生成装置４１及び撮影装置３を備える。映像生成装置４１は、初期条件設定部４２をさらに備えていること以外は、実施形態３に係る映像生成装置２１と同様の構成を有している。従って、実施形態３で説明した映像撮影システム１００が備えている部材（実施形態１で説明した映像撮影装置１が備えている部材を含む）と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【０１２０】
初期条件設定部４２は、撮影装置３による表示対象の撮影の開始又は終了に関する初期条件（撮影開始判定部４による撮影開始の判定に関する初期条件、又は撮影終了判定部８による撮影終了の判定に関する初期条件）、デプス情報取得部５によるデプス情報の取得に関する初期条件、及び３次元映像合成部７による３次元映像の合成（生成）に関する初期条件のうちの少なくとも１つ以上を設定する。
【０１２１】
（映像生成方法）
本実施形態に係る映像撮影システム１０１による映像生成方法について、図１０を参照して、詳細に説明する。図１０は、本実施形態に係る映像撮影システム１０１による映像生成方法の一例を説明するフローチャート図である。なお、本実施形態に係る映像生成方法における初期条件設定方法は、実施形態１で説明したステップＳ０の初期参照モデル生成の工程（ステップＳ１０〜ステップＳ１３の工程）と、ステップＳ１の３次元映像生成の工程（ステップＳ２０〜ステップＳ２４）とに同様に適用できる。そのため、本実施形態に係る映像生成方法における、ステップＳ０の初期参照モデル生成の工程に相当する工程については説明を省略し、ステップＳ１の３次元映像生成の工程に対して、初期条件設定方法を適用した形態について以下で説明する。また、実施形態１に係る映像生成方法と同様の工程、又は実施形態３に係る映像生成方法と同様の工程については、詳細な説明は省略する。
【０１２２】
まず、図１０が示すように、３次元映像合成部７は、初期参照モデル合成部６が合成した初期参照モデルを読み込む（ステップＳ４０）。
【０１２３】
次に、初期条件設定部４２は、撮影装置３による表示対象の撮影の開始又は終了に関する初期条件（撮影開始判定部４による撮影開始の判定に関する初期条件、又は撮影終了判定部８による撮影終了の判定に関する初期条件）、デプス情報取得部５によるデプス情報の取得に関する初期条件、及び３次元映像合成部７による３次元映像の合成（生成）に関する初期条件のうちの少なくとも１つ以上を設定する（ステップＳ４１）。ここにおける初期条件設定部４２が設定する初期条件は、初期条件設定部４２が選択した初期条件であってもよし、映像撮影装置４０のユーザが選択した初期条件であってもよい。
【０１２４】
次に、ステップＳ４２において、撮影開始判定部４は、初期条件設定部４２が設定した初期条件に従って表示対象の撮影を開始すると判定し、撮影装置３に対して撮影を開始するようにデプス情報取得部５を介して指示する。また、ステップＳ４２において、撮影装置３は、撮影開始判定部４の指示に基づいて、表示対象の撮影を開始する（これに伴い、表示対象のデプス情報の生成を開始する）。
【０１２５】
次に、ステップＳ４３において、撮影指示情報生成部２２は、撮影開始判定部４の撮影開始の指示に基づいて、撮影装置３による表示対象の撮影に関する撮影指示情報を生成する。また、ステップＳ４３において、撮影指示出力装置３０の取得部３１は、撮影指示情報生成部２２が生成した撮影指示情報を取得し、撮影指示出力装置３０の出力部３２は、取得部３１が取得した撮影指示情報を参照して、表示対象の撮影に関する指示を出力する。
【０１２６】
次に、デプス情報取得部５は、映像撮影装置２０の撮影装置３が被写体を撮影して生成したデプス情報を、初期条件設定部４２が設定した初期条件に従って取得する（ステップＳ４４）。
【０１２７】
次に、３次元映像合成部７は、ステップＳ４０で読み込んだ初期参照モデルと、デプス情報取得部５が取得したデプス情報とを参照し、初期条件設定部４２が設定した初期条件に従って、表示対象の３次元映像を合成する（ステップＳ４５）。
【０１２８】
次に、撮影終了判定部８は、初期条件設定部４２が設定した初期条件に従って、表示対象の撮影を終了するか否かを判定する（ステップＳ４６）。撮影終了判定部８は、表示対象の撮影を終了すると判定した場合（ステップＳ４６のＹＥＳ）、撮影装置３に対して、撮影を終了するようにデプス情報取得部５を介して指示し、３次元映像合成部７に対して３次元映像の合成を終了するように指示する。また、撮影終了判定部８が表示対象の撮影を終了しないと判定した場合（ステップＳ４６のＮＯ）、ステップＳ４３に戻り、撮影終了判定部８が表示対象の撮影を終了すると判定するまで、ステップＳ４３、ステップＳ４４、ステップＳ４５及びステップＳ４６の工程を繰り返す。
【０１２９】
（初期条件設定部４２が設定する初期条件の具体例）
以下で、上述の初期条件設定部４２が設定する初期条件の具体例について説明する。上述の通り、ステップＳ４１において、初期条件設定部４２は、撮影装置３による表示対象の撮影の開始又は終了に関する初期条件（撮影開始判定部４による撮影開始の判定に関する初期条件、又は撮影終了判定部８による撮影終了の判定に関する初期条件）、デプス情報取得部５によるデプス情報の取得に関する初期条件、及び３次元映像合成部７による３次元映像の合成（生成）に関する初期条件のうちの少なくとも１つ以上を設定する。
【０１３０】
上記の工程において、例えば、初期条件設定部４２は、撮影開始判定部４が実行する撮影開始方法として、実施形態１の（撮影開始判定部４による撮影開始判定方法の具体例）で説明した各撮影開始方法を指定する初期条件を設定する。そして、上述のステップＳ４２において、撮影開始判定部４は、当該初期条件に従って、当該各撮影開始方法で、表示対象の撮影を開始すると判定し、撮影装置３に対して撮影を開始するようにデプス情報取得部５を介して指示する。
【０１３１】
また、別の例では、初期条件設定部４２は、撮影終了判定部８が実行する撮影終了方法として、実施形態１の（撮影終了判定部８による撮影終了判定方法の具体例）で説明した各撮影終了方法を指定する初期条件を設定する。そして、上述のステップＳ４６において、撮影終了判定部８は、当該初期条件に従って、当該各撮影終了方法で、表示対象の撮影を終了するか否かを判定し、撮影装置３に対して、撮影を終了するようにデプス情報取得部５を介して指示し、３次元映像合成部７に対して３次元映像の合成を終了するように指示する。
【０１３２】
また、別の例では、初期条件設定部４２は、デプス情報取得部５が取得するデプスの範囲（例えば、撮影装置３の位置を基準とした所定の範囲のデプス）を指定する初期条件を設定する。そして、上述のステップＳ４４において、デプス情報取得部５は、当該初期条件が指定する範囲に含まれるデプスのみを取得する。
【０１３３】
また、別の例では、初期条件設定部４２は、デプス情報取得部５がデプス情報を取得する対象として、撮影範囲内にあるが、被写体ではない物体を指定する初期条件を設定する。そして、上述のステップＳ４４において、デプス情報取得部５は、当該初期条件が指定する物体のデプス情報のみを取得する。
【０１３４】
また、別の例では、初期条件設定部４２は、３次元映像合成部７が３次元映像を合成する際に参照するパラメータを指定する初期条件を設定する。そして、上述のステップＳ４５において、３次元映像合成部７は、初期参照モデル及びデプス情報を参照し、当該初期条件が指定するパラメータで、３次元映像を合成する。
【０１３５】
また、別の例では、初期条件設定部４２は、３次元映像合成部７が３次元映像を合成する際に参照する、被写体の３次元形状を忠実に反映した３次元映像のベースモデルを指定する初期条件を設定する。そして、上述のステップＳ４５において、３次元映像合成部７は、初期参照モデル及びデプス情報を参照し、初期条件が指定するベースモデルと照合しながら３次元映像を合成する。
【０１３６】
また、別の例では、被写体が人間であり、初期条件設定部４２は、３次元映像合成部７が３次元映像を合成する際に参照する被写体の性質（例えば、身長、性別、又は服装の種類（スカートの有無、服のダボつきなど）等）を指定する初期条件を設定する。そして、上述のステップＳ４５において、３次元映像合成部７は、初期参照モデル、デプス情報、及び当該初期条件が指定する被写体の性質を参照して、３次元映像を合成する。
【０１３７】
また、別の例では、初期条件設定部４２は、撮影装置３が撮影する範囲（例えば、人間の全身又は上半身のみ等）を指定する初期条件を設定する。そして、撮影装置３は、当該初期条件が指定する範囲を撮影する。
【０１３８】
また、別の例では、初期条件設定部４２は、後述する実施形態５における３次元映像の状態を確認する方法を指定する初期条件を設定する。
【０１３９】
（まとめ）
以上のように、本実施形態に係る映像撮影装置４０は、撮影装置３による表示対象の撮影の開始又は終了に関する初期条件、デプス情報取得部５によるデプス情報の取得に関する初期条件、及び３次元映像合成部７（請求項における３次元映像生成部）による３次元映像の生成に関する初期条件のうちの少なくとも１つ以上を設定する。
【０１４０】
上記の構成によれば、適宜、初期条件を設定することにより、表示対象の撮影、デプス情報の取得、又は３次元映像の生成を好適に実行することができる。より詳細には、例えば、表示対象の撮影開始又は撮影終了に関する初期条件を適宜設定することで、撮影状況に適した撮影開始トリガ、又は撮影終了トリガを選択できる。また、同様に、３次元映像の生成に関するパラメータを初期条件として適宜設定することで、より好適な３次元映像を合成できる。また、同様に、３次元映像の合成において、合成する３次元映像を被写体の３次元形状に近づけるようなパラメータを初期条件として適宜設定することで、より被写体の３次元形状が反映された３次元映像を合成できる。
【０１４１】
〔実施形態５〕
上述の実施形態１〜４において、以下のような問題がある。例えば、３次元映像合成部７が合成した３次元映像に問題があり、撮影装置３が再度撮影をし直す場合、それまでに取得したデプス情報が使用されずに無駄になってしまう。以上のような問題を解決するために、本実施形態に係る映像撮影装置５０は、生成した３次元映像を参照して、当該３次元映像の状態を確認する。以上のような本発明の実施形態５について、図面に基づいて説明すれば、以下のとおりである。
【０１４２】
（映像撮影システム１０２）
本実施形態に係る映像撮影システム１０２について、図１１を参照して説明する。図１１は、本実施形態に係る映像撮影システム１０２の構成を示すブロック図である。図１１が示すように、映像撮影システム１０２は、映像撮影装置５０及び撮影指示出力装置３０を含む。映像撮影装置５０は、撮影装置３及び映像生成装置５１を備える。映像生成装置５１は、３次元映像確認部５２をさらに備えていること以外は、実施形態３に係る映像生成装置２１と同様の構成を有している。従って、実施形態３で説明した映像撮影システム１００が備えている部材（実施形態１で説明した映像撮影装置１が備えている部材を含む）と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【０１４３】
３次元映像確認部５２は、３次元映像合成部７が合成した３次元映像を参照して、当該３次元映像の状態を確認する。
【０１４４】
（映像生成方法）
本実施形態に係る映像撮影システム１０２による映像生成方法について、図１２を参照して、詳細に説明する。図１２は、本実施形態に係る映像撮影システム１０２による映像生成方法の一例を説明するフローチャート図である。なお、本実施形態に係る映像生成方法における３次元映像確認方法は、実施形態１で説明したステップＳ０の初期参照モデル生成の工程（ステップＳ１０〜ステップＳ１３の工程）と、ステップＳ１の３次元映像生成の工程（ステップＳ２０〜ステップＳ２４）とに同様に適用できる。そのため、本実施形態に係る映像生成方法における、ステップＳ０の初期参照モデル生成の工程に相当する工程については説明を省略し、ステップＳ１の３次元映像生成の工程に対して、３次元映像確認方法を適用した形態について以下で説明する。また、実施形態１に係る映像生成方法と同様の工程、又は実施形態３に係る映像生成方法と同様の工程については、詳細な説明は省略する。
【０１４５】
まず、図１２が示すように、３次元映像合成部７は、初期参照モデル合成部６が合成した初期参照モデルを読み込む（ステップＳ５０）。
【０１４６】
次に、ステップＳ５１において、撮影開始判定部４は、撮影開始のトリガを検知することにより表示対象の撮影を開始すると判定し、撮影装置３に対して撮影を開始するようにデプス情報取得部５を介して指示する。また、ステップＳ５１において、撮影装置３は、撮影開始判定部４の指示に基づいて、表示対象の撮影を開始する（これに伴い、表示対象のデプス情報の生成を開始する）。
【０１４７】
次に、デプス情報取得部５は、映像撮影装置２０の撮影装置３が被写体を撮影して生成したデプス情報を取得する（ステップＳ５２）。
【０１４８】
次に、３次元映像合成部７は、ステップＳ５０で読み込んだ初期参照モデルと、デプス情報取得部５が取得したデプス情報とを参照して、表示対象の３次元映像を合成する（ステップＳ５３）。
【０１４９】
次に、撮影終了判定部８は、表示対象の撮影を終了するか否かを判定する（ステップＳ５４）。撮影終了判定部８は、表示対象の撮影を終了すると判定した場合（ステップＳ５４のＹＥＳ）、撮影装置３に対して、撮影を終了するようにデプス情報取得部５を介して指示し、３次元映像合成部７に対して３次元映像の合成を終了するように指示し、ステップＳ５５に進む。また、撮影終了判定部８が表示対象の撮影を終了しないと判定した場合（ステップＳ５４のＮＯ）、ステップＳ５２に戻り、撮影終了判定部８が表示対象の撮影を終了すると判定するまで、ステップＳ５２、ステップＳ５３及びステップＳ５４の工程を繰り返す。
【０１５０】
ステップＳ５５において、３次元映像確認部５２は、３次元映像合成部７が合成を終了した３次元映像を確認し、当該３次元映像に問題があるか否かを判定する。３次元映像確認部５２が３次元映像に問題があると判定した場合（ステップＳ５５のＹＥＳ）、ステップＳ５１に戻り、３次元映像確認部５２が３次元映像に問題がないと判定するまで、ステップＳ５１、ステップＳ５２、ステップＳ５３及びステップＳ５４の工程を繰り返す。また、３次元映像確認部５２が３次元映像に問題がないと判定した場合（ステップＳ５５のＮＯ）、当該３次元映像を映像撮影装置５０の外部に出力する。
【０１５１】
（３次元映像確認部５２による３次元映像確認方法の具体例）
以下で、上述の３次元映像確認部５２による３次元映像確認方法の具体例について説明する。上述の通り、ステップＳ５５において、３次元映像確認部５２は、３次元映像合成部７が合成を終了した３次元映像を確認し、当該３次元映像に問題があるか否かを判定する。
【０１５２】
上記の工程において、例えば、３次元映像確認部５２は、撮影指示出力装置３０（別の機器でもよい）に３次元映像を出力し、撮影指示出力装置３０の出力部３２に３次元映像を出力させる。そして、映像撮影装置５０のユーザが、出力部３２が出力した３次元映像に問題があるか否かを判定し、３次元映像確認部５２は、その判定結果を取得し、３次元映像に問題があるか否かを判定する構成としてもよい。当該構成において、ユーザが、現在の３次元映像をさらに更新していくのか、又は現在の３次元映像をリセットするのかを選択可能としてもよい。
【０１５３】
また、上記の構成において、例えば、ユーザが、出力部３２が出力した３次元映像を回転又は移動させることができる構成をさらに追加してもよい。または、ユーザが、出力部３２が出力した３次元映像における被写体に、指定したポーズを取らせることができる構成をさらに追加してもよい。または、当該構成において、ユーザが、出力部３２が出力した３次元映像における被写体が、当該３次元モデルを確認している際の被写体と同じポーズを取らせることができる構成をさらに追加してもよい。または、当該構成において、撮影指示出力装置３０は、自動的に３次元モデルの問題箇所（例えば、欠損領域がある箇所、又は形状が異常な箇所等）を推定し、出力部３２が当該箇所を目立つように表示させる構成をさらに追加してもよい。
【０１５４】
また、別の例では、例えば、３次元映像確認部５２は、３次元映像合成部７が合成を終了した３次元映像を確認し、自動的に３次元映像の完成度を推定することにより、当該３次元映像に問題があるか否かを判定する。当該構成において、例えば、３次元映像確認部５２は、３次元映像における被写体（人間）が、人体モデルと比較して異常な形状をしているか否かを判定することにより、当該３次元映像に問題があるか否かを判定する。または、当該構成において、例えば、３次元映像確認部５２は、参照モデル（３次元映像）の表面が一定の割合以上に埋まっているか否かを判定することにより（欠損領域が一定の割合であるかないかを判定することにより）、当該３次元映像に問題があるか否かを判定する。
【０１５５】
上述の通り、３次元映像確認部５２は、３次元映像に問題があると判定した場合（ステップＳ５５のＹＥＳ）、ステップＳ５１に戻り、３次元映像確認部５２が３次元映像に問題がないと判定するまで、ステップＳ５１、ステップＳ５２、ステップＳ５３及びステップＳ５４の工程を繰り返す。より詳細には、例えば、３次元映像確認部５２が３次元映像に問題があると判定した場合（例えば、参照モデル（３次元映像）が被写体とかけ離れた形状をしている場合）、３次元映像合成部７は、合成した３次元映像をリセットして、再度、撮影装置３が表示対象を撮影して生成したデプス情報を参照して、３次元映像を合成し直す。別の例では、３次元映像確認部５２が３次元映像の一部分に問題があると判定した場合、撮影装置３は、当該一部分に対応する被写体の一部分のみを撮影し、デプス情報を生成する。そして、３次元映像合成部７は、当該デプス情報を参照して、３次元映像を修正する。別の例では、３次元映像確認部５２が３次元映像の一部分に問題があると判定した場合、撮影指示出力装置３０の出力部３２は、当該一部分を補完する参照モデル（の一部）の候補をユーザに提示する。３次元映像合成部７は、ユーザが選択したモデルを参照して、３次元映像を修正する（つまり、再撮影を行わずに、既存のモデルで３次元映像を修正する）。
【０１５６】
（まとめ）
以上のように、本実施形態に係る映像撮影装置は、生成した３次元映像を参照して、当該３次元映像の状態を確認する。
【０１５７】
上記の構成によれば、合成した３次元映像の状態を確認することで、欠損領域を有する３次元映像を適宜除くことができる。また、３次元映像に問題があり、再度、表示対象を撮影する場合に、それまでに合成した３次元映像を継続して更新していくことで、一から撮影し直す場合に比べて、作業にかかる時間を減らすこともできる。
【０１５８】
〔実施形態６〕
上述の実施形態１〜５において、以下のような問題がある。例えば、表示対象の撮影中に、デプス情報の取得と３次元映像（参照モデル等）の合成とを連続して行う場合、３次元映像の合成に使用するのに適さないデプス情報が、３次元映像の合成に使用されてしまう可能性がある。３次元映像の合成に使用するのに適さないデプス情報の例として、前回取得したデプス情報（前回デプス情報）と極端に異なっている直近で取得したデプス情報（現在デプス情報）、強いノイズが係っていると判断されたデプス情報、現在デプス情報と前回デプス情報とを比較し、前回デプス情報になかった物体が現れている現在デプス情報、及び映ってはいけない物体が映ってしまった撮影データから生成されたデプス情報等が挙げられる。
【０１５９】
上記の問題を解決するために、本実施形態に係る映像撮影装置６０は、デプス情報を記憶し、記憶したデプス情報を参照して、表示対象の３次元映像を生成する。以上のような本発明の実施形態６について、図面に基づいて説明すれば、以下のとおりである。
【０１６０】
（映像撮影システム１０３）
本実施形態に係る映像撮影システム１０３について、図１３を参照して説明する。図１３は、本実施形態に係る映像撮影システム１０３の構成を示すブロック図である。図１３が示すように、映像撮影システム１０３は、映像撮影装置６０及び撮影指示出力装置３０を含む。映像撮影装置６０は、映像生成装置６１及び撮影装置３を備える。映像生成装置６１は、デプス情報記憶部６２をさらに備えていること以外は、実施形態３に係る映像生成装置２１と同様の構成を有している。従って、実施形態３で説明した映像撮影システム１００が備えている部材（実施形態１で説明した映像撮影装置１が備えている部材を含む）と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【０１６１】
デプス情報記憶部６２は、デプス情報取得部５が取得したデプス情報を記憶する。
【０１６２】
（映像生成方法）
本実施形態に係る映像撮影システム１０３による映像生成方法について説明する。なお、本実施形態に係る映像撮影システム１０３による映像生成方法は、実施形態３で説明したステップＳ３３の次に新たな工程が追加されること、及びステップＳ３４が一部異なること以外は、実施形態３に係る映像生成方法と同様である。従って、実施形態３に係る映像生成方法と同様の工程については、詳細な説明は省略する。なお、以下では、本実施形態に係る映像生成方法として、実施形態１で説明したステップＳ１の３次元映像生成の工程に新たな工程を適用した形態について説明する。ただし、新たな工程は、実施形態３又は実施形態４と同様に、実施形態１で説明したステップＳ０の初期参照モデル生成の工程に適用できる。
【０１６３】
本実施形態に係る映像生成方法では、上述のステップＳ３３の次の工程として、デプス情報記憶部６２は、デプス情報取得部５が取得したデプス情報を記憶する。
【０１６４】
また、上述のステップＳ３４において、３次元映像合成部７は、ステップＳ３０で読み込んだ初期参照モデルと、デプス情報記憶部６２が記憶したデプス情報とを参照して、表示対象の３次元映像を合成する。
【０１６５】
以上のような各工程を行うことにより、３次元映像合成部７は、撮影装置３による表示対象の撮影中に３次元映像の合成を行わず、デプス情報記憶部６２は、時刻毎のデプス情報を取得して保持しておくことができる。そして、撮影装置３による表示対象の撮影が完了した後で、３次元映像合成部７は、デプス情報記憶部６２が記憶したデプス情報を参照して３次元映像を合成できる。また、撮影指示出力装置３０の出力部３２は、３次元映像合成部７が３次元映像を合成する前に、取得したデプス情報の一覧を撮影者又は被写体（表示対象）に提示し、参照モデルの合成に使用するデプス情報を選択させてもよい。その場合、３次元映像合成部７は、撮影者又は被写体によるデプス情報の選択を参照して、選択されたデプス情報を参照して３次元映像を合成する。
【０１６６】
（まとめ）
以上のように、本実施形態に係る映像撮影装置６０は、デプス情報を記憶し、記憶したデプス情報を参照して、表示対象の３次元映像を生成する。
【０１６７】
上記の構成によれば、記憶したデプス情報のうちから必要なデプス情報を適宜選択して、当該デプス情報を参照して３次元映像を合成することにより、欠損領域のない好適な３次元映像の合成が可能となる。また、映ってはいけないものが含まれない３次元映像の合成が可能となる。
【０１６８】
〔ソフトウェアによる実現例〕
映像生成装置２、映像生成装置１１、映像生成装置２１、映像生成装置４１、映像生成装置５１及び映像生成装置６１の制御ブロック（特に、デプス情報取得部５、初期参照モデル合成部６及び３次元映像合成部７）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
【０１６９】
後者の場合、映像生成装置２、映像生成装置１１、映像生成装置２１、映像生成装置４１、映像生成装置５１及び映像生成装置６１は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【０１７０】
〔まとめ〕
本発明の態様１に係る映像生成装置（２、１１、２１、４１、５１、６１）は、表示対象の３次元映像を生成する映像生成装置であって、上記表示対象の３次元形状を示すデプス情報を取得するデプス情報取得部（５）と、上記デプス情報と、上記３次元映像を生成する処理の開始前に予め用意された、上記表示対象の３次元形状を全体的に示す初期参照モデルとを参照して、上記３次元映像を生成する３次元映像生成部（３次元映像合成部７）と、を備えている。
【０１７１】
上記の構成によれば、撮影開始直後であっても、３次元映像を生成する処理の開始前に用意されている、表示対象の３次元形状を全体的に示す初期参照モデルを参照して、３次元映像を生成するため、欠損領域のない３次元映像を生成することができる。
【０１７２】
本発明の態様２に係る映像生成装置（２、１１、２１、４１、５１、６１）は、上記態様１において、上記デプス情報を参照して上記初期参照モデルを生成する初期参照モデル生成部（初期参照モデル合成部６）をさらに備え、上記３次元映像生成部は、上記初期参照モデルを参照して、上記３次元映像を生成してもよい。
【０１７３】
上記の構成によれば、３次元映像を生成する装置において、予め、初期参照モデルを生成することができ、当該初期参照モデルを参照して、欠損領域のない３次元映像を生成することができる。
【０１７４】
本発明の態様３に係る映像生成装置（１１）は、上記態様１又は２において、上記初期参照モデルを記憶する初期参照モデル記憶部（１２）をさらに備え、上記３次元映像生成部は、上記初期参照モデルを参照して、上記３次元映像を生成してもよい。
【０１７５】
上記の構成によれば、記憶した初期参照モデルを参照して、欠損領域のない３次元映像を生成することができる。
【０１７６】
本発明の態様４に係る映像撮影装置（１、１０、２０、４０、５０、６０）は、上記態様１〜３の何れか１つに記載の映像生成装置（２、１１、２１、４１、５１、６１）と、上記表示対象を撮影して、上記デプス情報を生成する撮影装置（３）と、を備えている。
【０１７７】
上記の構成によれば、生成したデプス情報を参照して、欠損領域のない３次元映像を生成することができる。
【０１７８】
本発明の態様５に係る映像撮影装置（４０）は、上記態様４において、上記表示対象の撮影の開始又は終了に関する初期条件、上記デプス情報の取得に関する初期条件、及び上記３次元映像の生成に関する初期条件のうち少なくとも１つ以上を設定する初期条件設定部（４２）をさらに備えていてもよい。
【０１７９】
上記の構成によれば、適宜、初期条件を設定することにより、表示対象の撮影、デプス情報の取得、又は３次元映像の生成を好適に実行することができる。
【０１８０】
本発明の態様６に係る映像撮影装置（５０）は、上記態様４又は５において、上記３次元映像を参照して、上記３次元映像の状態を確認する３次元映像確認部（５２）をさらに備えていてもよい。
【０１８１】
上記の構成によれば、合成した３次元映像の状態を確認することで、欠損領域を有する３次元映像を適宜除くことができる。
【０１８２】
本発明の態様７に係る映像撮影装置（６０）は、上記態様４〜６において、上記デプス情報を記憶するデプス情報記憶部（６２）をさらに備え、上記３次元映像生成部は、上記デプス情報を参照して、上記３次元映像を生成してもよい。
【０１８３】
上記の構成によれば、記憶したデプス情報のうちから必要なデプス情報を適宜選択して、当該デプス情報を参照して３次元映像を合成することにより、欠損領域のない好適な３次元映像の合成が可能となる。
【０１８４】
本発明の態様８に係る映像撮影装置（２０、４０、５０、６０）は、上記態様４〜７において、上記表示対象の撮影に関する撮影指示情報を生成する撮影指示情報生成部（２２）をさらに備えていてもよい。
【０１８５】
上記の構成によれば、撮影指示情報を適宜用いて撮影者又は被写体（表示対象）に指示を出すことにより、被写体を好適に撮影することができ、必要なデプス情報を取得しやすくなる。従って、欠損領域のない３次元映像を生成しやすくなる。
【０１８６】
本発明の態様９に係る映像撮影装置（２０、４０、５０、６０）は、上記態様８において、上記撮影指示情報生成部は、上記デプス情報、上記初期参照モデル及び上記３次元映像のうちの少なくとも１つ以上を参照して、上記撮影指示情報を生成してもよい。
【０１８７】
上記の構成によれば、デプス情報、初期参照モデル及び３次元映像の少なくとも１つ以上に基づいて、表示対象の状況に応じた撮影指示情報を生成することができる。
【０１８８】
本発明の態様１０に係る映像撮影システム（１００、１０１、１０２、１０３）は、上記態様８又は９に記載の映像撮影装置と、上記撮影指示情報を参照して、上記表示対象の撮影に関する指示を出力する撮影指示出力装置と、を含む。
【０１８９】
上記の構成によれば、撮影者又は被写体（表示対象）が、撮影指示出力装置が出力した指示を参照することで、被写体の撮影を好適に実行することができる。
【０１９０】
本発明の態様１１に係る映像生成方法は、表示対象の３次元映像を生成する映像生成方法であって、上記表示対象の３次元形状を示すデプス情報を取得するデプス情報取得工程と、上記デプス情報と、上記３次元映像を生成する処理の開始前に予め用意された、上記表示対象の３次元形状を全体的に示す初期参照モデルと、を参照して、上記３次元映像を生成する３次元映像生成工程と、を含む。
【０１９１】
上記の構成によれば、上記態様１と同様の効果を奏する。
【０１９２】
本発明の各態様に係る映像生成装置又は映像撮影装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記映像生成装置が備える各部（ソフトウェア要素）として動作させることにより上記映像生成装置をコンピュータにて実現させる映像生成装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【０１９３】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
（関連出願の相互参照）
本出願は、2017年9月27日に出願された日本国特許出願：特願2017-186852に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
【符号の説明】
【０１９４】
１、１０、２０、４０、５０、６０  映像撮影装置
２、１１、２１、４１、５１、６１  映像生成装置
３  撮影装置
４  撮影開始判定部
５  デプス情報取得部
６  初期参照モデル合成部（初期参照モデル生成部）
７  ３次元映像合成部（３次元映像生成部）
８  撮影終了判定部
１２  初期参照モデル記憶部
２２  撮影指示情報生成部
３０  撮影指示出力装置
３１  取得部
３２  出力部
４２  初期条件設定部
５２  ３次元映像確認部
６２  デプス情報記憶部
１００、１０１、１０２、１０３  映像撮影システム
【図１】
2019065458.tif 000003
【図２】
2019065458.tif 000004
【図３】
2019065458.tif 000005
【図４】
2019065458.tif 000006
【図５】
2019065458.tif 000007
【図６】
2019065458.tif 000008
【図７】
2019065458.tif 000009
【図８】
2019065458.tif 000010
【図９】
2019065458.tif 000011
【図１０】
2019065458.tif 000012
【図１１】
2019065458.tif 000013
【図１２】
2019065458.tif 000014
【図１３】
2019065458.tif 000015
【国際調査報告】
2019065458.tif 000016
2019065458.tif 000017
2019065458.tif 000018
2019065458.tif 000019