(57)【要約】  本技術は、被写体の３次元モデルと被写体の影の情報とを別々に送ることができるようにする画像処理装置および方法に関する。符号化システムの生成部は、複数の視点で撮像され、影除去処理が施された被写体の各視点画像から生成された３次元モデルに基づいて２次元画像データおよびデプスデータを生成する。符号化システムの伝送部は、２次元画像データ、デプスデータ、および前記被写体の影の情報を復号システムに伝送する。本技術は、自由視点映像伝送システムに適用することができる。
2019031259.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点で撮像され、影除去処理が施された被写体の各視点画像から生成された３次元モデルに基づいて、２次元画像データおよびデプスデータを生成する生成部と、
前記２次元画像データ、前記デプスデータ、および前記被写体の影の情報である影情報を伝送する伝送部と
を備える画像処理装置。
【請求項２】
前記各視点画像に対して前記影除去処理を施す影除去処理部をさらに備え、
前記伝送部は、前記影除去処理により除去された影の情報を、各視点における前記影情報として伝送する
請求項１に記載の画像処理装置。
【請求項３】
撮像時のカメラ位置以外の位置を仮想視点として、前記仮想視点における前記影情報を生成する影情報生成部をさらに備える
請求項１に記載の画像処理装置。
【請求項４】
前記影情報生成部は、撮像時の前記カメラ位置に基づいて視点補間を行うことによって前記仮想視点を推定し、前記仮想視点における前記影情報を生成する
請求項３に記載の画像処理装置。
【請求項５】
前記生成部は、前記３次元モデルの各画素を、２次元画像上の対応する位置の画素とすることによって、各画素の２次元座標と画像データを対応付ける前記２次元画像データを生成し、前記３次元モデルの各画素を、２次元画像上の対応する位置の画素とすることによって、各画素の２次元座標とデプスを対応付ける前記デプスデータを生成する
請求項１に記載の画像処理装置。
【請求項６】
前記被写体が写る表示画像の生成側においては、前記２次元画像データと前記デプスデータに基づいて前記３次元モデルを復元し、仮想的な空間である投影空間に前記３次元モデルを投影することによって前記表示画像の生成が行われ、
前記伝送部は、前記投影空間の３次元モデルのデータである投影空間データと、前記投影空間のテクスチャデータを伝送する
請求項１に記載の画像処理装置。
【請求項７】
画像処理装置が、
複数の視点で撮像され、影除去処理が施された被写体の各視点画像から生成された３次元モデルに基づいて、２次元画像データおよびデプスデータを生成し、
前記２次元画像データ、前記デプスデータ、および前記被写体の影の情報である影情報を伝送する
画像処理方法。
【請求項８】
複数の視点で撮像され、影除去処理が施された被写体の各視点画像から生成された３次元モデルに基づいて生成された２次元画像データおよびデプスデータ、並びに前記被写体の影の情報である影情報を受信する受信部と、
前記２次元画像データおよび前記デプスデータに基づいて復元した前記３次元モデルを用いて、前記被写体が写る所定の視点の表示画像を生成する表示画像生成部と
を備える画像処理装置。
【請求項９】
前記表示画像生成部は、仮想的な空間である投影空間に前記被写体の前記３次元モデルを投影することによって、前記所定の視点の前記表示画像を生成する
請求項８に記載の画像処理装置。
【請求項１０】
前記表示画像生成部は、前記所定の視点における前記被写体の影を前記影情報に基づいて付加し、前記表示画像を生成する
請求項９に記載の画像処理装置。
【請求項１１】
前記影情報は、前記影除去処理により除去された、各視点における前記被写体の影の情報、または、撮像時のカメラ位置以外の位置を仮想視点として生成された、前記仮想視点における前記被写体の影の情報である
請求項９に記載の画像処理装置。
【請求項１２】
前記受信部は、前記投影空間の３次元モデルのデータである投影空間データと、前記投影空間のテクスチャデータを受信し、
前記表示画像生成部は、前記投影空間データにより表される前記投影空間に前記被写体の前記３次元モデルを投影することによって、前記表示画像を生成する
請求項９に記載の画像処理装置。
【請求項１３】
前記投影空間における光源の情報に基づいて、前記被写体の影の情報を生成する影情報生成部をさらに備え、
前記表示画像生成部は、生成された前記被写体の影を前記投影空間の３次元モデルに付加して、前記表示画像を生成する
請求項９に記載の画像処理装置。
【請求項１４】
前記表示画像生成部は、３次元画像の表示、または、２次元画像の表示に用いられる前記表示画像を生成する
請求項８に記載の画像処理装置。
【請求項１５】
画像処理装置が、
複数の視点で撮像され、影除去処理が施された被写体の各視点画像から生成された３次元モデルに基づいて生成された２次元画像データおよびデプスデータ、並びに前記被写体の影の情報である影情報を受信し、
前記２次元画像データおよび前記デプスデータに基づいて復元した前記３次元モデルを用いて、前記被写体が写る所定の視点の表示画像を生成する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および方法に関し、特に、被写体の３次元モデルと被写体の影の情報とを別々に送ることができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
特許文献１においては、複数のカメラの視点画像から生成された３次元モデルを２次元画像データとデプスデータに変換し、符号化して送信することが提案されている。この提案では、表示側において、２次元画像データとデプスデータが３次元モデルに復元（変換）され、復元された３次元モデルが投影されて、表示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１７／０８２０７６号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の提案では、撮像時の被写体と影とが３次元モデルに含まれている。したがって、表示側で、撮像が行われた３次元空間とは異なる３次元空間に、２次元画像データおよびデプスデータに基づいて、被写体の３次元モデルを復元したときに、撮像時の影も一緒に投影されることになる。すなわち、撮像が行われた３次元空間とは異なる３次元空間に、３次元モデルと撮像時の影とが投影されてしまうので、投影により生成された表示画像において、表示が不自然になってしまっていた。【０００５】
本技術はこのような状況に鑑みてなされたものであり、被写体の３次元モデルと被写体の影の情報とを別々に送ることができるようにするものである。
【課題を解決するための手段】
【０００６】
本技術の一側面の画像処理装置は、複数の視点で撮像され、影除去処理が施された被写体の各視点画像から生成された３次元モデルに基づいて、２次元画像データおよびデプスデータを生成する生成部と、前記２次元画像データ、前記デプスデータ、および前記被写体の影の情報である影情報を伝送する伝送部とを備える。【０００７】
本技術の一側面の画像処理方法は、画像処理装置が、複数の視点で撮像され、影除去処理が施された被写体の各視点画像から生成された３次元モデルに基づいて、２次元画像データおよびデプスデータを生成し、前記２次元画像データ、前記デプスデータ、および前記被写体の影の情報である影情報を伝送する。【０００８】
本技術の一側面においては、複数の視点で撮像され、影除去処理が施された被写体の各視点画像から生成された３次元モデルに基づいて、２次元画像データおよびデプスデータが生成され、前記２次元画像データ、前記デプスデータ、および前記被写体の影の情報である影情報が伝送される。【０００９】
本技術の他の側面の画像処理装置は、複数の視点で撮像され、影除去処理が施された被写体の各視点画像から生成された３次元モデルに基づいて生成された２次元画像データおよびデプスデータ、並びに前記被写体の影の情報である影情報を受信する受信部と、前記２次元画像データおよび前記デプスデータに基づいて復元した前記３次元モデルを用いて、前記被写体が写る所定の視点の表示画像を生成する表示画像生成部とを備える。【００１０】
本技術の他の側面の画像処理方法は、画像処理装置が、複数の視点で撮像され、影除去処理が施された被写体の各視点画像から生成された３次元モデルに基づいて生成された２次元画像データおよびデプスデータ、並びに前記被写体の影の情報である影情報を受信し、前記２次元画像データおよび前記デプスデータに基づいて復元した前記３次元モデルを用いて、前記被写体が写る所定の視点の表示画像を生成する。【００１１】
本技術の他の側面においては、複数の視点で撮像され、影除去処理が施された被写体の各視点画像から生成された３次元モデルに基づいて生成された２次元画像データおよびデプスデータ、並びに前記被写体の影の情報である影情報が受信される。そして、前記２次元画像データおよび前記デプスデータに基づいて復元した前記３次元モデルを用いて、前記被写体が写る所定の視点の表示画像が生成される。
【発明の効果】
【００１２】
本技術によれば、被写体の３次元モデルと被写体の影の情報とを別々に送ることができる。【００１３】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１４】
【図１】本技術の一実施形態に係る自由視点映像伝送システムの構成例を示すブロック図である。
【図２】影の処理について説明する図である。
【図３】テクスチャマッピング後の３次元モデルを撮像時とは異なる背景の投影空間に投影した例を示す図である。
【図４】符号化システムと復号システムの構成例を示すブロック図である。
【図５】符号化システムを構成する３次元データ撮像装置、変換装置、および符号化装置の構成例を示すブロック図である。
【図６】３次元データ撮像装置を構成する画像処理部の構成例を示すブロック図である。
【図７】背景差分処理に用いられる画像の例を示す図である。
【図８】影除去処理に用いられる画像の例を示す図である。
【図９】変換装置を構成する変換部の構成例を示すブロック図である。
【図１０】仮想視点のカメラ位置の例を示す図である。
【図１１】復号システムを構成する復号装置、変換装置、３次元データ表示装置の構成例を示すブロック図である。
【図１２】変換装置を構成する変換部の構成例を示すブロック図である。
【図１３】投影空間の３次元モデル生成処理について説明する図である。
【図１４】符号化システムの処理について説明するフローチャートである。
【図１５】図１４のステップＳ１１の撮像処理について説明するフローチャートである。
【図１６】図１５のステップＳ５６の影除去処理について説明するフローチャートである。
【図１７】図１５のステップＳ５６の影除去処理の他の例について説明するフローチャートである。
【図１８】図１４のステップＳ１２の変換処理について説明するフローチャートである。
【図１９】図１４のステップＳ１３の符号化処理について説明するフローチャートである。
【図２０】復号システムの処理について説明するフローチャートである。
【図２１】図２０のステップＳ２０１の復号処理について説明するフローチャートである。
【図２２】図２０のステップＳ２０２の変換処理について説明するフローチャートである。
【図２３】復号システムを構成する変換装置の変換部の他の構成例を示すブロック図である。
【図２４】図２３の変換部により行われる変換処理について説明するフローチャートである。
【図２５】２種類の影の例を示す図である。
【図２６】影または陰の有無による効果例を示す図である。
【図２７】符号化システムおよび復号システムの他の構成例を示すブロック図である。
【図２８】符号化システムおよび復号システムのさらに他の構成例を示すブロック図である。
【図２９】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．第１の実施の形態（自由視点映像伝送システムの構成例）
２．符号化システムの各装置の構成例
３．復号システムの各装置の構成例
４．符号化システムの動作例
５．復号システムの動作例
６．復号システムの変形例
７．第２の実施の形態（符号化システムおよび復号システムの他の構成例）
８．第３の実施の形態（符号化システムおよび復号システムの他の構成例）
９．コンピュータの例
【００１６】
＜＜１．自由視点映像伝送システムの構成例＞＞
図１は、本技術の一実施形態に係る自由視点映像伝送システムの構成例を示すブロック図である。
【００１７】
図１の自由視点映像伝送システム１は、カメラ１０−１乃至１０−Ｎを含む符号化システム１１と、復号システム１２から構成される。
【００１８】
カメラ１０−１乃至１０−Ｎは、それぞれ、撮像部および距離測定器により構成され、所定の物体が被写体２として置かれた撮影空間に設けられる。以下、適宜、カメラ１０−１乃至１０−Ｎをそれぞれ区別する必要がない場合、まとめてカメラ１０という。
【００１９】
カメラ１０を構成する撮像部は、被写体の動画像の２次元画像データを撮像する。撮像部では、被写体の静止画像が撮像されてもよい。距離測定器は、ToFカメラやアクティブセンサなどで構成される。距離測定器は、撮像部の視点と同一の視点における、被写体２までの距離を表すデプス画像データ（以下、デプスデータと称する）を生成する。カメラ１０により、各視点における被写体２の状態を表す複数の２次元画像データと、各視点における複数のデプスデータが得られる。
【００２０】
なお、デプスデータは、カメラパラメータから演算することが可能なため、同一視点である必要はない。また、現行のカメラで、同一視点のカラー画像データとデプスデータが同時に撮影できるものはない。
【００２１】
符号化システム１１は、撮像された各視点の２次元画像データに対して、被写体２の影を除去する処理である影除去処理を施し、影を除去した各視点の２次元画像データと、デプスデータに基づいて被写体の３次元モデル生成する。ここで生成される３次元モデルは、撮影空間にある被写体２の３次元モデルである。
【００２２】
また、符号化システム１１は、３次元モデルを２次元画像データおよびデプスデータに変換し、影除去処理により得られた被写体２の影の情報とともに符号化することによって符号化ストリームを生成する。符号化ストリームには、例えば、複数の視点分の２次元画像データとデプスデータが含まれる。
【００２３】
なお、符号化ストリームには、仮想視点位置情報のカメラパラメータも含まれ、その仮想視点位置情報のカメラパラメータには、カメラ１０の設置位置に相当する、２次元画像データの撮像等が実際に行われている視点の他に、適宜、３次元モデルの空間上に仮想的に設定された視点も含まれる。
【００２４】
符号化システム１１により生成された符号化ストリームは、ネットワーク、または記録媒体などの所定の伝送路を介して、復号システム１２に送信される。
【００２５】
復号システム１２は、符号化システム１１から供給された符号化ストリームを復号し、２次元画像データ、デプスデータ、および被写体２の影の情報を得る。復号システム１２は、２次元画像データおよびデプスデータに基づいて被写体２の３次元モデルを生成し（復元し）、３次元モデルに基づいて表示画像を生成する。
【００２６】
復号システム１２においては、符号化ストリームに基づいて生成した３次元モデルが、仮想空間である投影空間の３次元モデルと投影されて、表示画像が生成される。
【００２７】
投影空間の情報は、符号化システム１１から送られてもよい。また、投影空間の３次元モデルは、必要に応じて、被写体の影の情報が付加されて生成され、被写体の３次元モデルと投影される。
【００２８】
なお、図１の自由視点映像伝送システム１においては、距離測定器がカメラに設けられている例を説明した。しかしながら、RGB画像を用いた三角測量によりデプス情報を取得できるため、距離測定器が無くても被写体の３次元モデリングは可能である。複数台のカメラのみで構成される撮影機器、もしくは複数台のカメラと距離測定器の両方で構成される撮影機器、もしくは複数台の距離測定器のみでも３次元モデリングが可能である。距離測定器がToFカメラの場合だとIR画像の取得が可能であるためであり、距離測定器がPoint cloud のみで３次元モデリングも可能である。
【００２９】
図２は、影の処理について説明する図である。
【００３０】
図２のＡは、ある視点のカメラで撮像された画像を示す図である。図２のＡのカメラ画像２１には、被写体（図２のＡの例では、バスケットボール）２１ａとその影２１ｂが写っている。なお、ここで説明する画像処理は、図１の自由視点映像伝送システム１において行われる処理とは異なる処理である。
【００３１】
図２のＢは、カメラ画像２１から生成された３次元モデル２２を示す図である。図２のＢの３次元モデル２２は、被写体２１ａの形状を表す３次元モデル２２ａとその影２２ｂとで構成されている。
【００３２】
図２のＣは、テクスチャマッピング後の３次元モデル２３を示す図である。３次元モデル２３は、３次元モデル２２ａにテクスチャをマッピングして得られた３次元モデル２３ａとその影２３ｂとで構成されている。
【００３３】
ここで、本技術で適用される影とは、カメラ画像２１から生成された３次元モデル２２にできる影２２ｂまたはテクスチャマッピング後の３次元モデルにできる影２３ｂのことを意味する。
【００３４】
これまでの３次元モデリングは、イメージベースで行っていることから、影も一緒にモデリングおよびテクスチャマッピングが行われてしまい、３次元モデルと影とを分離することが困難であった。
【００３５】
テクスチャマッピング後の３次元モデル２３の場合、影２３ｂがあるほうが自然にみえることが多い。しかしながら、カメラ画像２１から生成された３次元モデル２２の場合、影２２ｂがあると不自然に見えることがあり、影２２ｂを除きたいという要求があった。
【００３６】
図３は、テクスチャマッピング後の３次元モデル２３を撮像時とは異なる背景の投影空間２６に投影した例を示す図である。
【００３７】
図３に示されるように、投影空間２６において、照明２５が撮像時とは異なる位置に配置されている場合、テクスチャマッピング後の３次元モデル２３の影２３ｂの位置が、照明２５からの光の方向と矛盾してしまうことがあり、不自然になる。
【００３８】
そこで、本技術の自由視点映像伝送システム１においては、カメラ画像に対して影除去処理を行い、３次元モデルと影とが別々に伝送するようになされている。これにより、表示側である復号システム１２において、３次元モデルの影の付加、除去が選択可能になり、ユーザにとって利便性のよいシステムとなる。
【００３９】
図４は、符号化システムと復号システムの構成例を示すブロック図である。
【００４０】
符号化システム１１は、３次元データ撮像装置３１、変換装置３２、および符号化装置３３から構成される。
【００４１】
３次元データ撮像装置３１は、カメラ１０を制御して被写体の撮像を行う。３次元データ撮像装置３１は、各視点の２次元画像データに影除去処理を施し、影除去処理を施した２次元画像データとデプスデータに基づいて、３次元モデルを生成する。３次元モデルの生成には、各カメラ１０のカメラパラメータも用いられる。
【００４２】
３次元データ撮像装置３１は、生成した３次元モデルを、撮像時のカメラ位置における影の情報であるシャドウマップ、およびカメラパラメータとともに変換装置３２に供給する。
【００４３】
変換装置３２は、３次元データ撮像装置３１から供給された３次元モデルから、カメラ位置を決定し、決定されたカメラ位置に応じて、カメラパラメータ、２次元画像データ、およびデプスデータを生成する。変換装置３２においては、撮像時のカメラ位置以外のカメラ位置である仮想視点のカメラ位置に応じたシャドウマップが生成される。変換装置３２は、カメラパラメータ、２次元画像データ、デプスデータ、およびシャドウマップを符号化装置３３に供給する。
【００４４】
符号化装置３３は、変換装置３２から供給されたカメラパラメータ、２次元画像データ、デプスデータ、シャドウマップを符号化し、符号化ストリームを生成する。符号化装置３３は、生成した符号化ストリームを伝送する。
【００４５】
一方、復号システム１２は、復号装置４１、変換装置４２、および３次元データ表示装置４３から構成される。
【００４６】
復号装置４１は、符号化装置３３から伝送された符号化ストリームを受信し、符号化装置３３における符号化方式に対応する方式で復号する。復号装置４１は、復号して得られる複数の視点の２次元画像データおよびデプスデータ、並びに、メタデータであるシャドウマップおよびカメラパラメータを変換装置４２に供給する。
【００４７】
変換装置４２は、変換処理として、以下の処理を行う。すなわち、変換装置４２は、復号装置４１から供給されるメタデータと復号システム１２の表示画像生成方式に基づいて、所定の視点の２次元画像データとデプスデータを選択する。変換装置４２は、選択した所定の視点の２次元画像データとデプスデータに基づいて３次元モデルを生成（復元）し、それを投影することにより、表示画像データを生成する。生成された表示画像データは、３次元データ表示装置４３に供給される。
【００４８】
３次元データ表示装置４３は、２次元または３次元のヘッドマウントディスプレイやモニタ、プロジェクタなどにより構成される。３次元データ表示装置４３は、変換装置４２から供給される表示画像データに基づいて、表示画像を２次元表示または３次元表示する。
【００４９】
＜＜２．符号化システムの各装置の構成例＞＞
ここで、符号化システム１１の各装置の構成について説明する。
【００５０】
図５は、符号化システム１１を構成する、３次元データ撮像装置３１、変換装置３２、および符号化装置３３の構成例を示すブロック図である。
【００５１】
３次元データ撮像装置３１は、カメラ１０と画像処理部５１により構成される。
【００５２】
画像処理部５１は、各カメラ１０により得られた各視点の２次元画像データに影除去処理を施す。画像処理部５１は、影除去処理を施した各視点の２次元画像データ、デプスデータ、および、各カメラ１０のカメラパラメータを用いてモデリングを行い、メッシュまたはPoint Cloudを作成する。
【００５３】
画像処理部５１は、作成したメッシュに関する情報とメッシュの２次元画像（テクスチャ）データとを、被写体の３次元モデルとして生成し、変換装置３２に供給する。除去された影の情報であるシャドウマップも、変換装置３２に供給される。
【００５４】
変換装置３２は、変換部６１により構成される。
【００５５】
変換部６１は、変換装置３２として上述したように、各カメラ１０のカメラパラメータ、被写体の３次元モデルに基づいて、カメラ位置を決定し、決定したカメラ位置に応じて、カメラパラメータ、２次元画像データ、およびデプスデータを生成する。このとき、決定されたカメラ位置に応じて、影の情報であるシャドウマップも生成される。生成された情報は、符号化装置３３に供給される。
【００５６】
符号化装置３３は、符号化部７１および伝送部７２により構成される。
【００５７】
符号化部７１は、変換部６１から供給されるカメラパラメータ、２次元画像データ、デプスデータ、シャドウマップを符号化し、符号化ストリームを生成する。カメラパラメータおよびシャドウマップは、メタデータとして符号化される。
【００５８】
投影空間データがある場合も、メタデータとして、コンピュータなど、外部の装置から、符号化部７１に供給され、符号化部７１で符号化される。投影空間データは、部屋などの投影空間の３次元モデルと、そのテクスチャデータである。テクスチャデータは、部屋の画像データ、撮像時に用いられた背景画像データ、または３次元モデルとセットのテクスチャデータからなる。
【００５９】
符号化方式としては、MVCD（Multiview and depth video coding）方式、AVC方式、HEVC方式等を採用することができる。符号化方式がMVCD方式である場合も、符号化方式がAVC方式やHEVC方式である場合も、シャドウマップは、２次元画像データとデプスデータと符号化されてもよいし、メタデータとして、符号化されてもよい。
【００６０】
符号化方式がMVCD方式である場合、全ての視点の２次元画像データとデプスデータは、まとめて符号化される。その結果、２次元画像データとデプスデータの符号化データとメタデータを含む１つの符号化ストリームが生成される。この場合、メタデータのうちのカメラパラメータは、符号化ストリームのreference displays information SEIに配置される。また、メタデータのうちのデプスデータは、depth representation information SEIに配置される。
【００６１】
一方、符号化方式がAVC方式やHEVC方式である場合、各視点のデプスデータと２次元画像データは別々に符号化される。その結果、各視点の２次元画像データとメタデータを含む各視点の符号化ストリームと、各視点のデプスデータの符号化データとメタデータとを含む各視点の符号化ストリームが生成される。この場合、メタデータは、例えば、各符号化ストリームのUser unregistered SEIに配置される。また、メタデータには、符号化ストリームとカメラパラメータなどとを対応付ける情報が含まれる。
【００６２】
なお、符号化ストリームとカメラパラメータ等とを対応付ける情報をメタデータに含めず、符号化ストリームに、その符号化ストリームに対応するメタデータのみを含めるようにしてもよい。符号化部７１は、このような各方式で符号化して得られた符号化ストリームを伝送部７２に供給する。
【００６３】
伝送部７２は、符号化部７１から供給される符号化ストリームを復号システム１２に伝送する。なお、本明細書では、メタデータが符号化ストリーム内に配置されて伝送されるものとするが、符号化ストリームとは別に伝送されるようにしてもよい。
【００６４】
図６は、３次元データ撮像装置３１の画像処理部５１の構成例を示すブロック図である。
【００６５】
画像処理部５１は、カメラキャリブレーション部１０１、フレーム同期部１０２、背景差分処理部１０３、影除去処理部１０４、モデリング処理部１０５、メッシュ作成部１０６、およびテクスチャマッピング部１０７により構成される。
【００６６】
カメラキャリブレーション部１０１は、各カメラ１０から供給される２次元画像データ（カメラ画像）に対して、カメラパラメータを用いてキャリブレーションを行う。キャリブレーションの手法としては、チェスボードを用いるZhangの手法、３次元物体を撮像して、パラメータを求める手法、プロジェクタで投影画像を使ってパラメータを求める手法などがある。
【００６７】
カメラパラメータは、例えば、内部パラメータと外部パラメータで構成される。内部パラメータは、カメラ固有のパラメータであり、カメラレンズの歪みやイメージセンサとレンズの傾き（歪収差係数）、画像中心、画像（画素）サイズである。外部パラメータは、複数台のカメラがあったときに、複数台のカメラの位置関係を示したり、また、世界座標系におけるレンズの中心座標(Translation)とレンズ光軸の方向(Rotation)を示すものである。
【００６８】
カメラキャリブレーション部１０１は、キャリブレーション後の２次元画像データをフレーム同期部１０２に供給する。カメラパラメータは、図示せぬ経路を介して変換部６１に供給される。
【００６９】
フレーム同期部１０２は、カメラ１０−１乃至１０−Ｎのうちの１つを基準カメラとし、残りを参照カメラとする。フレーム同期部１０２は、参照カメラの２次元画像データのフレームを、基準カメラの２次元画像データのフレームに同期させる。フレーム同期部１０２は、フレーム同期後の２次元画像データを背景差分処理部１０３に供給する。
【００７０】
背景差分処理部１０３は、２次元画像データに対して背景差分処理を行い、被写体（前景）を抽出するためのマスクであるシルエット画像を生成する。
【００７１】
図７は、背景差分処理に用いられる画像の例を示す図である。
【００７２】
背景差分処理部１０３は、図７に示されるように、事前に取得された背景のみからなる背景画像１５１と、処理対象であり、前景領域と背景領域の両方を含むカメラ画像１５２との差分を取ることで、差分がある領域（前景領域）を１とした２値のシルエット画像１５３を取得する。通常、画素値は、撮像したカメラに応じたノイズによる影響を受けるため、背景画像１５１とカメラ画像１５２の画素値が完全に一致することは殆どない。そのため、閾値θを用いて、画素値の相違度が閾値θ以下なら、背景、それ以外は前景と判定することで、２値化のシルエット画像１５３が生成される。シルエット画像１５３は、影除去処理部１０４に供給される。
【００７３】
背景差分処理として、最近はConvolutional Neural Network(CNN)を使ったDeep learning（https://arxiv.org/pdf/1702.01731.pdf）による背景抽出方法等も提案されている。また、Deep learning、機械学習を用いた背景差分処理も一般的に知られている。
【００７４】
影除去処理部１０４は、シャドウマップ生成部１２１および背景差分リファイメント処理部１２２により構成される。
【００７５】
カメラ画像１５２をシルエット画像１５３でマスキングしても、被写体の画像には影の画像も付加されている。
【００７６】
そこで、シャドウマップ生成部１２１は、被写体の画像に対して影除去処理を行うために、シャドウマップを生成する。シャドウマップ生成部１２１は、生成したシャドウマップを背景差分リファイメント処理部１２２に供給する。
【００７７】
背景差分リファイメント処理部１２２は、背景差分処理部１０３で得られたシルエット画像にシャドウマップを適用し、影除去処理を施したシルエット画像を生成する。
【００７８】
影除去処理の手法としては、Shadow Optimization from Structured Deep Edge Detectionを代表としてCVPR2015で発表されており、その中の所定の手法が用いられる。また、影除去処理にSLIC(Simple Linear Iterative Clustering)を用いるようにしてもよいし、アクティブセンサのデプス画像を用いることで、影がない２次元画像を生成してもよい。
【００７９】
図８は、影除去処理に用いられる画像の例を示す図である。図８を参照して、画像をSuper Pixelに分割して領域を定めるSLIC処理を用いた場合の影除去処理について説明する。適宜、図７も参照する。
【００８０】
シャドウマップ生成部１２１は、カメラ画像１５２（図７）をSuper Pixelに分割する。シャドウマップ生成部１２１は、Super Pixelのうち、背景差分時に弾かれたSuper Pixel（シルエット画像１５３の黒の部分に対応するSuper Pixel）と、影として残ったSuper Pixel（シルエット画像１５３の白の部分に対応するSuper Pixel）の類似性を確認する。
【００８１】
例えば、Super PixelＡは、背景差分時に0(黒)と判定され、それが正しいとする。Super PixelＢは、背景差分時に1(白)と判定され、それが間違いとする。Super PixelＣは、背景差分時に1(白)と判定され、それが正しいとする。Super PixelＢの判定ミスを訂正すべく、類似性の確認が再度行われる。その結果、Super PixelＢとSuper PixelＣの類似性よりも、Super PixelＡとSuper PixelＢの類似性の方が高いため、誤判定であることがわかる。この判定を元に、シルエット画像１５３の訂正が行われる。
【００８２】
シャドウマップ生成部１２１は、シルエット画像１５３で残った領域（被写体または影）、かつ、SLIC処理により床と判定された（Super Pixelの）領域を影の領域として、図８に示すようなシャドウマップ１６１を生成する。
【００８３】
シャドウマップ１６１の種類としては、0,1（２値）のシャドウマップと、カラーシャドウマップとがあり得る。
【００８４】
0,1シャドウマップは、影の領域を１で表現し、影でない背景領域を０で表現するものである。
【００８５】
カラーシャドウマップは、上記の0,1シャドウマップに加えて、シャドウマップをRGBAの４チャンネルで表現するものである。RGBは影の色を表す。Alphaチャンネルで透過度を表してもよい。Alphaチャンネルに0,1シャドウマップを追加してもよい。RGBの３チャンネルのみでもよい。
【００８６】
また、シャドウマップ１６１の解像度は、影の領域をぼんやりと表現できればよいことから、低いものでもよい。
【００８７】
背景差分リファイメント処理部１２２は、背景差分リファイメントを行う。すなわち、背景差分リファイメント処理部１２２は、シルエット画像１５３に、シャドウマップ１６１を適用することで、シルエット画像１５３を整形し、影除去処理後のシルエット画像１６２を生成する。
【００８８】
また、ToFカメラや、LIDAR、レーザなどのアクティブセンサを導入し、アクティブセンサによって得られるデプス画像を用いることによっても、影除去処理を行うことが可能である。なお、この手法では、影は撮像されないため、シャドウマップは生成されない。
【００８９】
影除去処理部１０４は、カメラ位置から、背景への距離を表す背景デプス画像と、前景への距離と、背景への距離を表す前景背景デプス画像を用いて、デプス差分によるデプス差分のシルエット画像を生成する。また、影除去処理部１０４は、背景デプス画像と前景背景デプス画像を用いて、デプス画像から得られる前景までへの奥行き距離の画素を１とし、それ以外の距離の画素を０とし、有効距離を示す有効距離マスクを生成する。
【００９０】
影除去処理部１０４は、デプス差分のシルエット画像を、有効距離マスクでマスキングすることで、影がないシルエット画像を生成する。すなわち、影除去処理後のシルエット画像１６２と同等のシルエット画像が生成される。
【００９１】
図６の説明に戻り、モデリング処理部１０５は、各視点の２次元画像データおよびデプスデータ、影除去処理後のシルエット画像、並びに、カメラパラメータを用いて、Visual Hull等によるモデリングを行う。モデリング処理部１０５は、各シルエット画像を、もとの３次元空間に逆投影して、それぞれの視体積の交差部分（Visual Hull）を求める。
【００９２】
メッシュ作成部１０６は、モデリング処理部１０５により求められたVisual Hullに対して、メッシュを作成する。
【００９３】
テクスチャマッピング部１０７は、作成されたメッシュを構成する各点（Vertex）の３次元位置と各点のつながり（Polygon）を示す幾何情報（Geometry）と、そのメッシュの２次元画像データとを被写体のテクスチャマッピング後の３次元モデルとして生成し、変換部６１に供給する。
【００９４】
図９は、変換装置３２の変換部６１の構成例を示すブロック図である。
【００９５】
変換部６１は、カメラ位置決定部１８１、２次元データ生成部１８２、およびシャドウマップ決定部１８３により構成される。画像処理部５１から供給された３次元モデルは、カメラ位置決定部１８１に入力される。
【００９６】
カメラ位置決定部１８１は、所定の表示画像生成方式に対応する複数の視点のカメラ位置と、そのカメラ位置のカメラパラメータを決定し、カメラ位置とカメラパラメータを表す情報を２次元データ生成部１８２とシャドウマップ決定部１８３に供給する。
【００９７】
２次元データ生成部１８２は、カメラ位置決定部１８１から供給される複数の視点のカメラパラメータに基づいて、視点ごとに、３次元モデルに対応する３次元物体の透視投影を行う。
【００９８】
具体的には、各画素の２次元位置に対応する行列m’とワールド座標系の３次元座標に対応する行列Mの関係は、カメラの内部パラメータAと外部パラメータR|tを用いて、以下の式（１）により表現される。
【００９９】
【数１】
2019031259.tif 000003
【０１００】
式（１）は、より詳細には式（２）で表現される。
【０１０１】
【数２】
2019031259.tif 000004
【０１０２】
式（２）において、（u,v）は画像上の２次元座標であり、fx,fyは、焦点距離である。また、Cx,Cyは、主点であり、r１１乃至r１３,r２１乃至r２３,r３１乃至r３３、およびｔ１乃至ｔ３は、パラメータであり、（X,Y,Z）は、ワールド座標系の３次元座標である。
【０１０３】
したがって、２次元データ生成部１８２は、上述した式（１）や（２）により、カメラパラメータを用いて、各画素の２次元座標に対応する３次元座標を求める。
【０１０４】
そして、２次元データ生成部１８２は、視点ごとに、３次元モデルの各画素の２次元座標に対応する３次元座標の２次元画像データを、各画素の２次元画像データにする。すなわち、２次元データ生成部１８２は、３次元モデルの各画素を、２次元画像上の対応する位置の画素とすることによって、各画素の２次元座標と画像データを対応付ける２次元画像データを生成する。
【０１０５】
また、２次元データ生成部１８２は、視点ごとに、３次元モデルの各画素の２次元座標に対応する３次元座標に基づいて各画素のデプスを求め、各画素の２次元座標とデプスを対応付けるデプスデータを生成する。すなわち、２次元データ生成部１８２は、３次元モデルの各画素を、２次元画像上の対応する位置の画素とすることによって、各画素の２次元座標とデプスを対応付けるデプスデータを生成する。デプスは、例えば、被写体の奥行き方向の位置ｚの逆数1/zとして表される。２次元データ生成部１８２は、各視点の２次元画像データとデプスデータを符号化部７１に供給する。
【０１０６】
２次元データ生成部１８２は、カメラ位置決定部１８１から供給されるカメラパラメータに基づいて、画像処理部５１から供給される３次元モデルからオクルージョン３次元データを抽出し、オプションの３次元モデルとして符号化部７１に供給する。
【０１０７】
シャドウマップ決定部１８３は、カメラ位置決定部１８１により決定されたカメラ位置のシャドウマップを決定する。
【０１０８】
シャドウマップ決定部１８３は、カメラ位置決定部１８１により決定されたカメラ位置が撮像時のカメラ位置と同じ位置である場合、撮像時のカメラ位置のシャドウマップを、撮像時のシャドウマップとして符号化部７１に供給する。
【０１０９】
シャドウマップ決定部１８３は、カメラ位置決定部１８１により決定されたカメラ位置が撮像時のカメラ位置と同じ位置ではない場合、補間シャドウマップ生成部として機能し、仮想視点のカメラ位置のシャドウマップを生成する。すなわち、シャドウマップ決定部１８３は、仮想視点のカメラ位置を視点補間により推定し、仮想視点のカメラ位置に応じた影を設定することによってシャドウマップを生成する。
【０１１０】
図１０は、仮想視点のカメラ位置の例を示す図である。
【０１１１】
図１０には、３次元モデル１７０の位置を中心として、撮像時のカメラを表すカメラ１０−１乃至１０−４の位置が示されている。また、カメラ１０−１の位置とカメラ１０−２の位置との間に、仮想視点のカメラ位置１７１−１乃至１７１−４が示されている。カメラ位置決定部１８１においては、このような仮想視点のカメラ位置１７１−１乃至１７１−４が適宜決定される。
【０１１２】
３次元モデル１７０の位置が既知であれば、カメラ位置１７１−１乃至１７１−４を定義し、視点補間により、仮想視点のカメラ位置の画像である仮想視点画像を生成することができる。このとき、仮想視点のカメラ位置１７１−１乃至１７１−４は、実在するカメラ１０の位置の間を理想とし（それ以外の位置でも可能であるが、オクルージョンが発生する可能性がある）、実在するカメラ１０で撮像された情報を元に、視点補間により、仮想視点画像が生成される。
【０１１３】
図１０においては、カメラ１０−１とカメラ１０−２の位置の間にしか仮想視点のカメラ位置１７１−１乃至１７１−４が示されていないが、カメラ位置１７１の個数、位置ともに自由である。例えば、カメラ１０−２とカメラ１０−３との間、カメラ１０−３とカメラ１０−４との間、カメラ１０−４とカメラ１０−１との間に仮想視点のカメラ位置１７１−Ｎを設定することができる。
【０１１４】
シャドウマップ決定部１８３は、このようにして設定した仮想視点における仮想視点画像に基づいて上述したようにしてシャドウマップを生成し、符号化部７１に供給する。
【０１１５】
＜＜３．復号システムの各装置の構成例＞＞
ここで、復号システム１２の各装置の構成について説明する。
【０１１６】
図１１は、復号システム１２を構成する、復号装置４１、変換装置４２、および３次元データ表示装置４３の構成例を示すブロック図である。
【０１１７】
復号装置４１は、受信部２０１および復号部２０２により構成される。
【０１１８】
受信部２０１は、符号化システム１１から伝送されてくる符号化ストリームを受信し、復号部２０２に供給する。
【０１１９】
復号部２０２は、受信部２０１により受信された符号化ストリームを、符号化装置３３における符号化方式に対応する方式で復号する。復号部２０２は、復号することによって得られる複数の視点の２次元画像データおよびデプスデータ、並びに、メタデータであるシャドウマップおよびカメラパラメータを変換装置４２に供給する。上述したように、投影空間データも符号化されている場合、復号される。
【０１２０】
変換装置４２は、変換部２０３により構成される。変換部２０３は、変換装置４２として上述したように、選択した所定の視点の２次元画像データ、または、所定の視点の２次元画像データとデプスデータに基づいて、３次元モデルを生成（復元）し、それを投影することにより、表示画像データを生成する。生成された表示画像データは、３次元データ表示装置４３に供給される。
【０１２１】
３次元データ表示装置４３は、表示部２０４により構成される。表示部２０４は、３次元データ表示装置４３として上述したように、２次元ヘッドマウントディスプレイや２次元モニタ、３次元ヘッドマウントディスプレイや３次元モニタ、プロジェクタなどにより構成される。表示部２０４は、変換部２０３から供給される表示画像データに基づいて、表示画像を２次元表示または３次元表示する。
【０１２２】
図１２は、変換装置４２の変換部２０３の構成例を示すブロック図である。図１２では、３次元モデルを投影する投影空間が撮像時と同じ場合、すなわち、符号化システム１１側から送られてきた投影空間データを用いる場合の構成例が示されている。
【０１２３】
変換部２０３は、モデリング処理部２２１、投影空間モデル生成部２２２、および投影部２２３により構成される。モデリング処理部２２１に対しては、復号部２０２から供給された、複数視点のカメラパラメータ、２次元画像データ、デプスデータが入力される。また、投影空間モデル生成部２２２に対しては、復号部２０２から供給された、投影空間データとシャドウマップが入力される。
【０１２４】
モデリング処理部２２１は、復号部２０２からの複数視点のカメラパラメータ、２次元画像データ、デプスデータから、所定の視点のカメラパラメータ、２次元画像データ、デプスデータを選択する。モデリング処理部２２１は、所定の視点のカメラパラメータ、２次元画像データ、デプスデータを用いてVisual Hull等によるモデリングを行い、被写体の３次元モデルを生成（復元）する。生成された被写体の３次元モデルは、投影部２２３に供給される。
【０１２５】
投影空間モデル生成部２２２は、符号化側でも説明したように、復号部２０２から供給された投影空間データとシャドウマップを用いて、投影空間の３次元モデルを生成し、投影部２２３に供給する。
【０１２６】
投影空間データは、部屋などの投影空間の３次元モデルと、そのテクスチャデータである。テクスチャデータは、部屋の画像データ、撮像時に用いられた背景画像データ、または３次元モデルとセットのテクスチャデータからなる。
【０１２７】
投影空間データは、符号化システム１１からの投影空間データでなくても、宇宙、街、ゲーム空間など、復号システム１２側で設定された、任意の空間の３次元モデルとテクスチャデータからなるデータであってもよい。
【０１２８】
図１３は、投影空間の３次元モデル生成処理について説明する図である。
【０１２９】
投影空間モデル生成部２２２は、投影空間データを用いて、所望の投影空間の３次元モデルにテクスチャマッピングを行うことによって、図１３の中央に示すような３次元モデル２４２を生成する。また、投影空間モデル生成部２２２は、３次元モデル２４２に対して、図１３の左端に示すようなシャドウマップ２４１に基づいて生成した影の画像を付加することにより、図１３の右端に示すような、影２４３ａが付加された投影空間の３次元モデル２４３を生成する。
【０１３０】
投影空間の３次元モデルが、ユーザにより手動で生成されるようにしてもよいし、ダウンロードされるようにしてもよい。また、設計図などから自動生成されるようにしてもよい。
【０１３１】
また、テクスチャマッピングについても、手動で行われるようにしてもよいし、３次元モデルを元にテクスチャが自動的に貼りつけられるようにしてもよい。３次元モデルとテクスチャが一体化しているものについては、そのまま使用されるようにしてもよい。
【０１３２】
撮像時の背景画像データは、少ない台数のカメラで撮像した場合、３次元モデル空間に対応するデータがなく、テクスチャマッピングは一部しかできない。撮像時のカメラの台数が多い場合、３次元モデル空間をカバーしていることが多く、三角測量を用いた奥行き推定に基づくテクスチャマッピングが可能である。したがって、撮像時の背景画像データが十分にある場合には、その背景画像データを用いてテクスチャマッピングが行われるようにしてもよい。このとき、シャドウマップからテクスチャデータに影情報を付加してからテクスチャマッピングが行われるようにしてもよい。
【０１３３】
投影部２２３は、投影空間の３次元モデルと被写体の３次元モデルに対応する３次元物体の透視投影を行う。投影部２２３は、３次元モデルの各画素を、２次元画像上の対応する位置の画素とすることによって、各画素の２次元座標と画像データを対応付ける２次元画像データを生成する。
【０１３４】
生成された２次元画像データは、表示画像データとして、表示部２０４に供給される。表示部２０４においては、表示画像データに対応する表示画像の表示が行われる。
【０１３５】
＜＜４．符号化システムの動作例＞＞
ここで、以上のような構成を有する各装置の動作について説明する。
【０１３６】
まず、図１４のフローチャートを参照して、符号化システム１１の処理について説明する。
【０１３７】
ステップＳ１１において、３次元データ撮像装置３１は、内蔵するカメラ１０で被写体の撮像処理を行う。この撮像処理については、図１５のフローチャートを参照して後述される。
【０１３８】
ステップＳ１１では、撮像されたカメラ１０の視点の２次元画像データに影除去処理が施され、影除去処理が施されたカメラ１０の視点の２次元画像データと、デプスデータから被写体の３次元モデルが生成される。生成された３次元モデルは、変換装置３２に供給される。
【０１３９】
ステップＳ１２において、変換装置３２は、変換処理を行う。この変換処理については、図１８のフローチャートを参照して後述される。
【０１４０】
ステップＳ１２では、被写体の３次元モデルに基づいて、カメラ位置が決定され、決定されたカメラ位置に応じて、カメラパラメータ、２次元画像データ、およびデプスデータが生成される。すなわち、変換処理においては、被写体の３次元モデルが、２次元画像データおよびデプスデータに変換される。
【０１４１】
ステップＳ１３において、符号化装置３３は、符号化処理を行う。この符号化処理については、図１９のフローチャートを参照して後述される。
【０１４２】
ステップＳ１３では、変換装置３２からのカメラパラメータ、２次元画像データ、デプスデータ、シャドウマップが符号化されて、復号システム１２に伝送される。
【０１４３】
次に、図１５のフローチャートを参照して、図１４のステップＳ１１の撮像処理について説明する。
【０１４４】
ステップＳ５１において、カメラ１０は、被写体の撮像を行う。カメラ１０の撮像部は、被写体の動画像の２次元画像データを撮像する。カメラ１０の距離測定器は、カメラ１０と同一の視点のデプスデータを生成する。これらの２次元画像データおよびデプスデータは、カメラキャリブレーション部１０１に供給される。
【０１４５】
ステップＳ５２において、カメラキャリブレーション部１０１は、各カメラ１０から供給される２次元画像データに対して、カメラパラメータを用いてキャリブレーションを行う。キャリブレーション後の２次元画像データは、フレーム同期部１０２に供給される。
【０１４６】
ステップＳ５３において、カメラキャリブレーション部１０１は、カメラパラメータを、変換装置３２の変換部６１に供給する。
【０１４７】
ステップＳ５４において、フレーム同期部１０２は、カメラ１０−１乃至１０−Ｎのうちの１つを基準カメラとし、残りを参照カメラとして、参照カメラの２次元画像データのフレームを、基準カメラの２次元画像データのフレームに同期させる。同期後の２次元画像のフレームは、背景差分処理部１０３に供給される。
【０１４８】
ステップＳ５５において、背景差分処理部１０３は、２次元画像データに対して、背景差分処理を行い、前景＋背景画像であるカメラ画像から、背景画像を引くことで、被写体（前景）を抽出するためのシルエット画像を生成する。
【０１４９】
ステップＳ５６において、影除去処理部１０４は、影除去処理を行う。この影除去処理については、図１６のフローチャートを参照して後述される。
【０１５０】
ステップＳ５６では、シャドウマップが生成され、シルエット画像に、生成されたシャドウマップを適用することで、影除去処理が施されたシルエット画像が生成される。
【０１５１】
ステップＳ５７において、モデリング処理部１０５およびメッシュ作成部１０６は、メッシュ作成を行う。モデリング処理部１０５は、各カメラ１０の視点の２次元画像データおよびデプスデータ、影除去処理後のシルエット画像、並びに、カメラパラメータを用いて、Visual Hull等によるモデリングを行い、Visual Hullを求める。メッシュ作成部１０６は、モデリング処理部１０５からのVisual Hullに対して、メッシュを作成する。
【０１５２】
ステップＳ５８において、テクスチャマッピング部１０７は、作成されたメッシュを構成する各点の３次元位置と各点のつながりを示す幾何情報と、そのメッシュの２次元画像データとを被写体のテクスチャマッピング後の３次元モデルとして生成し、変換部６１に供給する。
【０１５３】
次に、図１６のフローチャートを参照して、図１５のステップＳ５６の影除去処理を説明する。
【０１５４】
ステップＳ７１において、影除去処理部１０４のシャドウマップ生成部１２１は、カメラ画像１５２（図７）をSuper Pixelに分割する。
【０１５５】
ステップＳ７２において、シャドウマップ生成部１２１は、分割されたSuper Pixelのうち、背景差分時に弾かれたSuper Pixelと、影として残ったSuper Pixelの類似性を確認する。
【０１５６】
ステップＳ７３において、シャドウマップ生成部１２１は、シルエット画像１５３に残った領域、かつ、SLIC処理により床と判定された領域を、影として、シャドウマップ１６１（図８）を生成する。
【０１５７】
ステップＳ７４において、背景差分リファイメント処理部１２２は、背景差分リファイメントを行い、シルエット画像１５３に、シャドウマップ１６１を適応する。これにより、シルエット画像１５３が整形され、影除去処理後のシルエット画像１６２が生成される。
【０１５８】
背景差分リファイメント処理部１２２は、カメラ画像１５２を、影除去処理後のシルエット画像１６２でマスキングする。これにより、影除去処理後の被写体の画像が生成される。
【０１５９】
図１６を参照して上述した影除去処理の手法は、一例であり、他の手法が用いられてもよい。例えば、次に説明する影除去処理を用いるようにしてもよい。
【０１６０】
次に、図１７のフローチャートを参照して、図１５のステップＳ５６の影除去処理の他の例を説明する。なお、この処理は、ToFカメラや、LIDAR、レーザなどのアクティブセンサを導入し、影除去処理に、アクティブセンサのデプス画像を用いる場合の例である。
【０１６１】
ステップＳ８１において、影除去処理部１０４は、背景デプス画像と前景背景デプス画像を用いて、デプス差分のシルエット画像を生成する。
【０１６２】
ステップＳ８２において、影除去処理部１０４は、背景デプス画像と前景背景デプス画像を用いて、有効距離マスクを生成する。
【０１６３】
ステップＳ８３において、影除去処理部１０４は、デプス差分のシルエット画像を、有効距離マスクでマスキングすることで、影がないシルエット画像を生成する。すなわち、影除去処理後のシルエット画像１６２が生成される。
【０１６４】
次に、図１８のフローチャートを参照して、図１４のステップＳ１２の変換処理について説明する。カメラ位置決定部１８１には、画像処理部５１から３次元モデルが供給される。
【０１６５】
ステップＳ１０１において、カメラ位置決定部１８１は、所定の表示画像生成方式に対応する複数の視点のカメラ位置と、そのカメラ位置のカメラパラメータを決定する。カメラパラメータは、２次元データ生成部１８２およびシャドウマップ決定部１８３に供給される。
【０１６６】
ステップＳ１０２において、シャドウマップ決定部１８３は、カメラ位置が、撮像時と同じカメラ位置であるか否かを判定する。ステップＳ１０２において、撮像時と同じカメラ位置であると判定された場合、処理は、ステップＳ１０３に進む。
【０１６７】
ステップＳ１０３において、シャドウマップ決定部１８３は、撮像時のカメラ位置のシャドウマップとして、撮像時のシャドウマップを、符号化装置３３に供給する。
【０１６８】
ステップＳ１０２において、撮像時と同じカメラ位置ではないと判定された場合、処理は、ステップＳ１０４に進む。
【０１６９】
ステップＳ１０４において、シャドウマップ決定部１８３は、仮想視点のカメラ位置を、視点補間により推定し、仮想視点のカメラ位置の影を生成する。
【０１７０】
ステップＳ１０５において、シャドウマップ決定部１８３は、仮想視点のカメラ位置の影により得られる仮想視点のカメラ位置のシャドウマップを、符号化装置３３に供給する。
【０１７１】
ステップＳ１０６において、２次元データ生成部１８２は、カメラ位置決定部１８１から供給される複数の視点のカメラパラメータに基づいて、視点ごとに、３次元モデルに対応する３次元物体の透視投影を行い、上述したように、２次元データ（２次元画像データおよびデプスデータ）を生成する。
【０１７２】
以上のようにして、生成された２次元画像データおよびデプスデータは、符号化部７１に供給され、カメラパラメータも、シャドウマップも、符号化部７１に供給される。
【０１７３】
次に、図１９のフローチャートを参照して、図１４のステップＳ１３の符号化処理を説明する。
【０１７４】
ステップＳ１２１において、符号化部７１は、変換部６１から供給されるカメラパラメータ、２次元画像データ、デプスデータ、シャドウマップを符号化し、符号化ストリームを生成する。カメラパラメータおよびシャドウマップは、メタデータとして符号化される。
【０１７５】
オクルージョンなどの３次元データがある場合、２次元画像データ、デプスデータと符号化される。投影空間データがある場合も、メタデータとして、コンピュータなど、外部の装置などから、符号化部７１に供給され、符号化部７１で符号化される。
【０１７６】
符号化部７１は、符号化ストリームを伝送部７２に供給する。
【０１７７】
ステップＳ１２２において、伝送部７２は、符号化部７１から供給される符号化ストリームを復号システム１２に伝送する。
【０１７８】
＜＜５．復号システムの動作例＞＞
次に、図２０のフローチャートを参照して、復号システム１２の処理について説明する。
【０１７９】
ステップＳ２０１において、復号装置４１は、符号化ストリームを受信し、符号化装置３３における符号化方式に対応する方式で復号する。復号処理の詳細については、図２１のフローチャートを参照して後述される。
【０１８０】
復号装置４１は、その結果得られる複数の視点の２次元画像データおよびデプスデータ、並びに、メタデータであるシャドウマップおよびカメラパラメータを変換装置４２に供給する。
【０１８１】
ステップＳ２０２において、変換装置４２は、変換処理を行う。すなわち、変換装置４２は、復号装置４１から供給されるメタデータと復号システム１２の表示画像生成方式に基づいて、所定の視点の２次元画像データとデプスデータに基づいて、３次元モデルを生成（復元）し、それを投影することにより、表示画像データを生成する。変換処理の詳細については、図２２のフローチャートを参照して後述される。
【０１８２】
変換装置４２により生成された表示画像データは、３次元データ表示装置４３に供給される。
【０１８３】
ステップＳ２０３において、３次元データ表示装置４３は、変換装置４２から供給される表示画像データに基づいて、表示画像を２次元表示または３次元表示する。
【０１８４】
次に、図２１のフローチャートを参照して、図２０のステップＳ２０１の復号処理について説明する。
【０１８５】
ステップＳ２２１において、受信部２０１は、伝送部７２から伝送されてくる符号化ストリームを受信し、復号部２０２に供給する。
【０１８６】
ステップＳ２２２において、復号部２０２は、受信部２０１により受信された符号化ストリームを、符号化部７１における符号化方式に対応する方式で復号する。復号部２０２は、その結果得られる複数の視点の２次元画像データおよびデプスデータ、並びに、メタデータであるシャドウマップおよびカメラパラメータを変換部２０３に供給する。
【０１８７】
次に、図２２のフローチャートを参照して、図２１のステップＳ２０２の変換処理について説明する。
【０１８８】
ステップＳ２４１において、変換部２０３のモデリング処理部２２１は、選択された所定の視点の２次元画像データ、デプスデータ、カメラパラメータを用いて、被写体の３次元モデルを生成（復元）する。被写体の３次元モデルは、投影部２２３に供給される。
【０１８９】
ステップＳ２４２において、投影空間モデル生成部２２２は、復号部２０２からの投影空間データとシャドウマップを用いて、投影空間の３次元モデルを生成し、投影部２２３に供給する。
【０１９０】
ステップＳ２４３において、投影部２２３は、投影空間の３次元モデルと被写体の３次元モデル対応する３次元物体の透視投影を行う。投影部２２３は、３次元モデルの各画素を、２次元画像上の対応する位置の画素とすることによって、各画素の２次元座標と画像データを対応付ける２次元画像データを生成する。
【０１９１】
上記説明においては、投影空間が撮像時と同じ場合、すなわち、符号化システム１１側から送られてきた投影空間データを用いる場合について説明してきたが、次に、復号システム１２側で生成する例について説明する。
【０１９２】
＜＜６．復号システムの変形例＞＞
図２３は、復号システム１２の変換装置４２の変換部２０３の他の構成例を示すブロック図である。
【０１９３】
図２３の変換部２０３は、モデリング処理部２６１、投影空間モデル生成部２６２、影生成部２６３、および投影部２６４により構成される。
【０１９４】
モデリング処理部２６１は、図１２のモデリング処理部２２１と基本的に同様に構成される。モデリング処理部２６１は、所定の視点のカメラパラメータ、２次元画像データ、デプスデータを用いて、Visual Hull等によるモデリングを行い、被写体の３次元モデルを生成する。生成された被写体の３次元モデルは、影生成部２６３に供給される。
【０１９５】
投影空間モデル生成部２６２には、例えば、ユーザにより選択された投影空間のデータが入力される。投影空間モデル生成部２６２は、入力された投影空間データを用いて、投影空間の３次元モデルを生成し、投影空間の３次元モデルとして、影生成部２６３に供給する。
【０１９６】
影生成部２６３は、モデリング処理部２６１からの被写体の３次元モデルと、投影空間モデル生成部２６２からの投影空間の３次元モデルとを用いて、投影空間における光源の位置から影を生成する。一般的なCG(Computer Graphics)における影の生成方法は、UnityやUnreal Engineなどのゲームエンジンにおけるライティング手法などでよく知られている。
【０１９７】
影が生成された投影空間の３次元モデルおよび被写体の３次元モデルは、投影部２６４に供給される。
【０１９８】
投影部２６４は、影が生成された投影空間の３次元モデルと被写体の３次元モデルに対応する３次元物体の透視投影を行う。
【０１９９】
次に、図２４のフローチャートを参照して、図２３の変換部２０３の場合の図２０のステップＳ２０２における変換処理について説明する。
【０２００】
ステップＳ２６１において、モデリング処理部２６１は、選択された所定の視点の２次元画像データ、デプスデータ、カメラパラメータを用いて、被写体の３次元モデルを生成する。被写体の３次元モデルは、影生成部２６３に供給される。
【０２０１】
ステップＳ２６２において、投影空間モデル生成部２６２は、復号部２０２からの投影空間データとシャドウマップを用いて、投影空間の３次元モデルを生成し、影生成部２６３に供給する。
【０２０２】
ステップＳ２６３において、影生成部２６３は、モデリング処理部２６１からの被写体の３次元モデルと、投影空間モデル生成部２６２からの投影空間の３次元モデルとを用いて、投影空間における光源の位置から影を生成する。
【０２０３】
ステップＳ２６４において、投影部２６４は、投影空間の３次元モデルと被写体の３次元モデルに対応する３次元物体の透視投影を行う。
【０２０４】
以上のように、本技術においては、３次元モデルと影とを分離し、別々に伝送するようにしたので、表示側において、影の除去、付加を選択することができる。
【０２０５】
３次元モデルを撮像時とは別の３次元空間に投影したときに、撮像時の影が用いられないことで、影を自然に表示することができる。
【０２０６】
３次元モデルを撮像時と同じ３次元空間に投影したときに、自然な影を表示することができる。このとき、伝送されているので、光源から影を生成する手間を省くことができる。
【０２０７】
影は、ぼけていてもよく、低解像度でもよいので、２次元画像データと比較して非常に小さい容量で伝送することが可能である。
【０２０８】
図２５は、２種類の影の例を示す図である。
【０２０９】
「かげ」には、影(shadow)と陰(shade)の２種類ある。
【０２１０】
環境光３０１がオブジェクト３０２を照射することで、影３０３と陰３０４ができる。
【０２１１】
影３０３は、オブジェクト３０２に付属するものであり、オブジェクト３０２が環境光３０１により照射されるとき、オブジェクト３０２が環境光３０１を遮ることで発生するものである。陰３０４は、オブジェクト３０２が環境光３０１により照射されるとき、オブジェクト３０２において、環境光３０１により光源と反対側にできるものである。
【０２１２】
本技術は、影にも陰にも適用することができる。したがって、本明細書で、影と陰とを区別しない場合、影と称し、陰を含むようにする。
【０２１３】
図２６は、影または陰を付けた場合、影または陰を付けない場合の効果例を示す図である。Onは、影および影の少なくともどちらか一方を付けた場合の効果を示し、陰のoffは、陰を付けない場合の効果を示し、影のoffは、影を付けない場合の効果を示している。
【０２１４】
影および影の少なくともどちらか一方を付けた場合、実写再現やリアリスティックな表現などに効果がある。
【０２１５】
陰を付けない場合、顔やオブジェクトに落書きするとき、陰影を変えるとき、実写撮像したものをCGで表現するときに効果がある。
【０２１６】
すなわち、顔の陰、腕や洋服、人物が物を持ったときの陰など、陰と３次元モデルが共存している状態において、３次元モデル表示時に影の情報をオフにする。これにより、落書きや陰影を変えることがやりやすくなるので、３次元モデルのテクスチャを容易に編集することができる。
【０２１７】
例えば、顔の茶色の陰を消したいが、撮像時にハイライト撮像など避けたい場合、陰を強調させてから除去することで、顔から、陰を消すことができる。
【０２１８】
一方、影を付けない場合、スポーツ解析、AR表現、物体重畳時に効果がある。
【０２１９】
すなわち、影と３次元モデルを別々に送ることで、スポーツ解析時などの選手のテクスチャが付加された３次元モデル表示時、または選手のAR表示時に、影の情報をオフにすることができる。なお、すでに市販されているスポーツ解析ソフトウエアでも２次元の選手と選手に関する情報を出力可能であるが、この場合、選手の足元には、影が存在する。
【０２２０】
本技術のように、影の情報をオフにした状態で、選手に関する情報や軌跡などを描画したほうが、スポーツ解析時には、見やすくて有効である。サッカーやバスケットボールの試合の場合、複数選手（オブジェクト）が前提であり、影除去により他のオブジェクトの邪魔にならない。
【０２２１】
一方、実写で映像を視聴する際には、影があったほうが自然でリアルである。
【０２２２】
以上より、本技術によれば、影の有無を選択できるので、ユーザにとって利便性がよい。
【０２２３】
＜＜７．符号化システムおよび復号システムの他の構成例＞＞
図２７は、符号化システムおよび復号システムの他の構成例を示すブロック図である。図２７に示す構成のうち、図５または図１１を参照して説明した構成と同じ構成については同じ符号を付してある。重複する説明については適宜省略する。
【０２２４】
図２７の符号化システム１１は、３次元データ撮像装置３１および符号化装置４０１から構成される。符号化装置４０１は、変換部６１、符号化部７１、および伝送部７２から構成される。すなわち、図２７の符号化装置４０１の構成は、図５の符号化装置３３の構成に、図５の変換装置３２の構成を加えた構成となっている。
【０２２５】
図２７の復号システム１２は、復号装置４０２、および３次元データ表示装置４３から構成される。復号装置４０２は、受信部２０１、復号部２０２、および変換部２０３から構成される。すなわち、図２７の復号装置４０２は、図１１の復号装置４１の構成に、図１１の変換装置４２の構成を加えた構成となっている。
【０２２６】
＜＜８．符号化システムおよび復号システムの他の構成例＞＞
図２８は、符号化システムおよび復号システムのさらに他の構成例を示すブロック図である。図２８に示す構成のうち、図５または図１１を参照して説明した構成と同じ構成については同じ符号を付してある。重複する説明については適宜省略する。
【０２２７】
図２８の符号化システム１１は、３次元データ撮像装置４５１および符号化装置４５２から構成される。３次元データ撮像装置４５１は、カメラ１０で構成される。符号化装置４０１は、画像処理部５１、変換部６１、符号化部７１、および伝送部７２から構成される。すなわち、図２８の符号化装置４５２の構成は、図２７の符号化装置４０１の構成に、図５の３次元データ撮像装置３１の画像処理部５１を加えた構成となっている。
【０２２８】
図２８の復号システム１２は、図２７の構成と同様に、復号装置４０２、および３次元データ表示装置４３から構成される。
【０２２９】
以上のように、符号化システム１１および復号システム１２において、各部は、どの装置に含まれていてもよい。
【０２３０】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０２３１】
＜＜９．コンピュータの例＞＞
図２９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０２３２】
コンピュータ６００において、CPU（Central Processing Unit）６０１，ROM（Read Only Memory）６０２，RAM（Random Access Memory）６０３は、バス６０４により相互に接続されている。
【０２３３】
バス６０４には、さらに、入出力インタフェース６０５が接続されている。入出力インタフェース６０５には、入力部６０６、出力部６０７、記憶部６０８、通信部６０９、およびドライブ６１０が接続されている。
【０２３４】
入力部６０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部６０７は、ディスプレイ、スピーカなどよりなる。記憶部６０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部６０９は、ネットワークインタフェースなどよりなる。ドライブ６１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア６１１を駆動する。
【０２３５】
以上のように構成されるコンピュータ６００では、CPU６０１が、例えば、記憶部６０８に記憶されているプログラムを、入出力インタフェース６０５およびバス６０４を介して、RAM６０３にロードして実行することにより、上述した一連の処理が行われる。
【０２３６】
コンピュータ６００（CPU６０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア６１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２３７】
コンピュータ６００では、プログラムは、リムーバブルメディア６１１をドライブ６１０に装着することにより、入出力インタフェース６０５を介して、記憶部６０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部６０９で受信し、記憶部６０８にインストールすることができる。その他、プログラムは、ROM６０２や記憶部６０８に、あらかじめインストールしておくことができる。
【０２３８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２３９】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２４０】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【０２４１】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２４２】
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２４３】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２４４】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２４５】
本技術は、以下のような構成をとることもできる。
（１）  複数の視点で撮像され、影除去処理が施された被写体の各視点画像から生成された３次元モデルに基づいて、２次元画像データおよびデプスデータを生成する生成部と、
前記２次元画像データ、前記デプスデータ、および前記被写体の影の情報である影情報を伝送する伝送部と
を備える画像処理装置。
（２）  前記各視点画像に対して前記影除去処理を施す影除去処理部をさらに備え、
前記伝送部は、前記影除去処理により除去された影の情報を、各視点における前記影情報として伝送する
前記（１）に記載の画像処理装置。
（３）  撮像時のカメラ位置以外の位置を仮想視点として、前記仮想視点における前記影情報を生成する影情報生成部をさらに備える
前記（１）または（２）に記載の画像処理装置。
（４）  撮像時の前記カメラ位置に基づいて視点補間を行うことによって前記仮想視点を推定し、前記仮想視点における前記影情報を生成する
前記（３）に記載の画像処理装置。
（５）  前記生成部は、前記３次元モデルの各画素を、２次元画像上の対応する位置の画素とすることによって、各画素の２次元座標と画像データを対応付ける前記２次元画像データを生成し、前記３次元モデルの各画素を、２次元画像上の対応する位置の画素とすることによって、各画素の２次元座標とデプスを対応付ける前記デプスデータを生成する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）  前記被写体が写る表示画像の生成側においては、前記２次元画像データと前記デプスデータに基づいて前記３次元モデルを復元し、仮想的な空間である投影空間に前記３次元モデルを投影することによって前記表示画像の生成が行われ、
前記伝送部は、前記投影空間の３次元モデルのデータである投影空間データと、前記投影空間のテクスチャデータを伝送する
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）  画像処理装置が、
複数の視点で撮像され、影除去処理が施された被写体の各視点画像から生成された３次元モデルに基づいて、２次元画像データおよびデプスデータを生成し、
前記２次元画像データ、前記デプスデータ、および前記被写体の影の情報である影情報を伝送する
画像処理方法。
（８）  複数の視点で撮像され、影除去処理が施された被写体の各視点画像から生成された３次元モデルに基づいて生成された２次元画像データおよびデプスデータ、並びに前記被写体の影の情報である影情報を受信する受信部と、
前記２次元画像データおよび前記デプスデータに基づいて復元した前記３次元モデルを用いて、前記被写体が写る所定の視点の表示画像を生成する表示画像生成部と
を備える画像処理装置。
（９）  前記表示画像生成部は、仮想的な空間である投影空間に前記被写体の前記３次元モデルを投影することによって、前記所定の視点の前記表示画像を生成する
前記（８）に記載の画像処理装置。
（１０）  前記表示画像生成部は、前記所定の視点における前記被写体の影を前記影情報に基づいて付加し、前記表示画像を生成する
前記（９）に記載の画像処理装置。
（１１）  前記影情報は、前記影除去処理により除去された、各視点における前記被写体の影の情報、または、撮像時のカメラ位置以外の位置を仮想視点として生成された、前記仮想視点における前記被写体の影の情報である
前記（９）または（１０）に記載の画像処理装置。
（１２）  前記受信部は、前記投影空間の３次元モデルのデータである投影空間データと、前記投影空間のテクスチャデータを受信し、
前記表示画像生成部は、前記投影空間データにより表される前記投影空間に前記被写体の前記３次元モデルを投影することによって、前記表示画像を生成する
前記（９）乃至（１１）のいずれかに記載の画像処理装置。
（１３）  前記投影空間における光源の情報に基づいて、前記被写体の影の情報を生成する影情報生成部をさらに備え、
前記表示画像生成部は、生成された前記被写体の影を前記投影空間の３次元モデルに付加して、前記表示画像を生成する
前記（９）乃至（１２）のいずれかに記載の画像処理装置。
（１４）  前記表示画像生成部は、３次元画像の表示、または、２次元画像の表示に用いられる前記表示画像を生成する
前記（８）乃至（１３）のいずれかに記載の画像処理装置。
（１５）  画像処理装置が、
複数の視点で撮像され、影除去処理が施された被写体の各視点画像から生成された３次元モデルに基づいて生成された２次元画像データおよびデプスデータ、並びに前記被写体の影の情報である影情報を受信し、
前記２次元画像データおよび前記デプスデータに基づいて復元した前記３次元モデルを用いて、前記被写体が写る所定の視点の表示画像を生成する
画像処理方法。
【符号の説明】
【０２４６】
１  自由視点映像伝送システム，  １０−１乃至１０−Ｎ  カメラ，  １１  符号化システム，  １２  復号システム，  ３１  ２次元データ撮像装置，  ３２  変換装置，  ３３  符号化装置，  ４１  復号装置，  ４２  変換装置，  ４３  ３次元データ表示装置，  ５１  画像処理部，  １６  変換部，  ７１  符号化部，  ７２  伝送部，  １０１  カメラキャリブレーション部，  １０２  フレーム同期部，  １０３  背景差分処理部，  １０４  影除去処理部，  １０５  モデリング処理部，  １０６  メッシュ作成部，  １０７  テクスチャマッピング部，  １２１  シャドウマップ生成部，  １２２  背景差分リファイメント処理部，  １８１  カメラ位置決定部，  １８２  ２次元データ生成部，  １８３  シャドウマップ決定部，  １７０  ３次元モデル，  １７１−１乃至１７１−Ｎ  仮想カメラ位置，  ２０１  受信部，  ２０２  復号部，  ２０３  変換部，  ２０４  表示部，  ２２１  モデリング処理部，  ２２２  投影空間モデル生成部，  ２２３  投影部，  ２６１  モデリング処理部，  ２６２  投影空間モデル生成部，  ２６３  影生成部，  ２６４  投影部，  ４０１  符号化装置，  ４０２  復号装置，  ４５１  ３次元データ撮像装置，  ４５２  符号化装置
【図１】
2019031259.tif 000005
【図２】
2019031259.tif 000006
【図３】
2019031259.tif 000007
【図４】
2019031259.tif 000008
【図５】
2019031259.tif 000009
【図６】
2019031259.tif 000010
【図７】
2019031259.tif 000011
【図８】
2019031259.tif 000012
【図９】
2019031259.tif 000013
【図１０】
2019031259.tif 000014
【図１１】
2019031259.tif 000015
【図１２】
2019031259.tif 000016
【図１３】
2019031259.tif 000017
【図１４】
2019031259.tif 000018
【図１５】
2019031259.tif 000019
【図１６】
2019031259.tif 000020
【図１７】
2019031259.tif 000021
【図１８】
2019031259.tif 000022
【図１９】
2019031259.tif 000023
【図２０】
2019031259.tif 000024
【図２１】
2019031259.tif 000025
【図２２】
2019031259.tif 000026
【図２３】
2019031259.tif 000027
【図２４】
2019031259.tif 000028
【図２５】
2019031259.tif 000029
【図２６】
2019031259.tif 000030
【図２７】
2019031259.tif 000031
【図２８】
2019031259.tif 000032
【図２９】
2019031259.tif 000033
【国際調査報告】
2019031259.tif 000034
2019031259.tif 000035
2019031259.tif 000036
2019031259.tif 000037