火の国情報シンポジウム 2023

遮蔽解析による奥行推定に基づく
2 次元画像からの 3 次元仮想空間生成に関する研究
益本 大樹†1,a)

福元 伸也†1,b)

鹿嶋 雅之†1,c)

渡邊 睦†1,d)

概要：物体検出を用いて得られた領域に基づく，2 次元画像の遮蔽解析と 3 次元シーンのモデリング手法を提案する．1 枚の画像に写っているシーンに対して，より汎用的なモデリング手法の構築を目的とした．
物体検出により，画像を要素ごとに分け，各要素に対して異なる処理を行うことが可能であることを利用した．その際に，物体検出の結果で遮蔽関係が存在することが確認された場合は，物体間の前後関係について輪郭画像を用いることで遮蔽解析を行い整合性をとることを目指す．異なる遮蔽関係を持つシーンに対する効果と，結果として得られる 3D モデルについて考察した．
キーワード：画像認識・理解，3 次元形状 推定，仮想現実

A study on 3D virtual space generation from 2D images
based on depth estimation by shielding analysis
Daiki Masumoto†1,a)Shinya Fukumoto†1,b)

Masayuki Kashima†1,c)Mutsumi Watanabe†1,d)

Abstract: We propose a shielding analysis and 3D scene modeling method for 2D images based on regions
obtained using object detection. The objective is to construct a more general modeling method for scenes in asingle image. We took advantage of the fact that the image can be divided into elements, In object detection.
In the case of conﬁrming the existence of a shielding relationship, a shielding analysis was performed using
the image’s outline to determine the front-back relationship between the objects, aiming for consistency. We
discussed the eﬀects on scenes with diﬀerent shielding relationships and the resulting 3D models.
Keywords: Image recognition and understanding, 3D shape estimation, virtual reality

1. はじめにこれを扱う作業者の負担が増える．これら背景から，より汎用的で簡略的な 3D 空間生成の手法が必要になると考え

近年, 3DCG は映画やゲーム・アニメーションといったられる．また，複数視点から生成される高精度なモデリン分野をはじめ，建築分野や自動車などに挙げられる設計業

グ手法は多くある．しかし，安定してそれらのデータを集といった幅広い分野に活用されており，従来手法と比較しめることができない状況や実際に人が訪れることができなて製作コストの削減や作業者の負担軽減に役立っている．

い場所でのデータとしての単眼視点画像を用いることや，

また，仮想空間については VR 機器の発展はもとより，人また，以前訪れた場所をはじめとする，昔の写真から 3 次と人がコミュニケーションをとる新しい活動の場として注元状況を復元するような，アプローチを行うことができる目されている．しかし，3DCG の扱う範囲が広がるほど，研究は，現状不十分であると言える．

†1a)b)c)d)

現在，鹿児島大学大学院 理工学研究科
Presently with The Graduate School of Science and Engineering, Kagoshima University
k1160252@kadai.jp
fukumoto@ibe.kagoshima-u.ac.jp
kashima@ibe.kagoshima-u.ac.jp
mutuyas256@gmail.com

本研究では，1 枚の画像に写っているシーンに対してより汎用的なモデリング手法を構築すること．その際に，物体間の前後関係について, できるだけ現実の 3 次元空間に近いものを再現するため整合性を取ることを目的とする．

1

火の国情報シンポジウム 2023

2. 関連研究
3D モデルの生成に関して，斎藤らは１枚の画像から人の３次元形状を復元する手法を考案した [1]．前身である

PIFu は２次元画像から，人のピクセルに対応する 3D オブジェクトの３次元位置を推定することにより人の 3D モデルが生成される [2]．PIFuHD ではこれに加え，GAN 手法の一つである Pix2PixHD を使用し人の背面を高解像度で生成することで 3D モデルの精度やメモリ問題を解決している．これを活用することにより 1 枚の画像から高精度な人の 3D モデルの生成を可能としている．また，人以外に関しても 1 枚の画像から三角形メッシュの 3 次元形状を推論する手法がある．単一 RGB 画像について，GCN（Graph Convolutional Networks）をベースとし，楕円形からの変形を学習する [3]．これらの研究は，1 枚の画像から3 次元化を行うことができるものの，対象が限定されていることや物体の背景にモデルの精度が影響される．また，山本らの研究では移動ロボットについて環境モデリングを行った [4]．その中で，実空間の知識を付与することでモデリングの精度を向上する空間的制約の考えを提唱した．本
研究では，物体検出を用いることで 1 枚の画像から複数の要素を対象にシーン全体を 3 次元復元することを目的とする．画像中に表れる遮蔽関係において，前後関係について整合性をもった位置関係を再現することを目指す．

3. 遮蔽解析
1 枚の画像から情報を取得する際に発生する遮蔽問題について，物体検出を行ったときに得られる情報から遮蔽解析を行う手法について述べる．物体検出を行うと，検出結果は対象の物体を囲う矩形情報（バウンディングボックス）として出力される．本研究では，矩形領域が重なっていた際に，2 つの物体は遮蔽関係にあるとし，どちらが前か後ろかを判定する．重なっている領域に対してエッジ検出手法である Canny edge detector を用いて遮蔽部分を求める．
同時に，それぞれの対象についてどの位置が他の検出物体と重なっているのかを求める．遮蔽部分について，チェーンコード化を行い 0 から 8 の数列で表現する．このエッジの連結成分について，全てのピクセルの連結する向きの合計を特徴量とする．また，本研究では物体検出の検出対象と対象の遮蔽のない輪郭画像を事前に与え手法となっている．物体検出対象の輪郭画像における，重なっている位置の特徴量を同様に求め，遮蔽部分のものと比較を行うことでどちらが前にあるのかを判定する．遮蔽解析手法を図 1に示す．

3.1 物体検出と遮蔽領域取得
物体検出と遮蔽領域取得について述べる．本研究では物

図 1

遮蔽解析手法

体検出手法に YOLOv8 を使用する．物体検出の検出結果から得られた領域について，検出物体の名称と左上の座標と右下の座標を保存する．その後，バウンディングボックスが重なっている部分が存在する場合はその領域の座標も取得する．また，遮蔽領域が各検出物体のバウンディングボックスに対してどの位置にあるのかを求める．

3.2 遮蔽部分の特徴取得
遮蔽解析には画像のエッジ情報を用いる．エッジ検出には Canny 法を用いた．また，本研究では遮蔽領域として得られたバウンディングボックスから繋がるエッジのみを抽出する．物体間の遮蔽に関係のあるエッジのみを検出する
ことで，物体のテクスチャによるエッジをはじめとする物
体の輪郭に関係のないエッジを除外することができる．本
研究では，ここまでの処理で得られたエッジのうち，最長のエッジを２つの物体間の遮蔽部分として扱うこととする．
その後，得られたエッジについて 8 近傍チェーンコードを作成する．得られた符号をもとに，各方向の角度を合成していくことで −90 < x < 90 の範囲の特徴量 x を求める．

3.3 輪郭画像を用いた特徴量比較
本研究では，対象の物体が遮蔽されていない状態の輪郭画像を用いて，入力画像中の物体が遮蔽されているかどうかを判別する．物体検出で得られた領域の内，遮蔽関係のある位置をもとに輪郭画像から同様の位置を求める．求めた位置について向きの特徴量を同様に計算する．２つの検出された物体の遮蔽されていない状態の特徴量と遮蔽領域における特徴量の，求められた３つの特徴量を比較する．
遮蔽領域の特徴量により近い物体が遮蔽されていないものとし，より前方にあるものと判断する．

4. 3D モデルの生成
入力画像から実空間での前後関係を反映した 3 次元仮想空間モデルの生成手法を述べる．入力画像に対して物体検出を行い，検出結果ごとにバウンディングボックスで別画

2

火の国情報シンポジウム 2023

像として切り出す．このとき，バウンディングボックスの3D 空間に配置した後，既に取得した物体間の前後関係及遮蔽関係から，3 次元空間での前後関係を求めた．物体検出

び，空間的制約をもとに移動を行う．本研究で適応した制の結果について，人と人以外に分け，人の場合は PIFuHD

約の例としては，モニターが宙に浮くことは無いためモニで 3D モデルの生成を行う．人以外は，検出結果に対応すターの下に机を補完するといったものである．

る 3D モデルを呼び出す．また，切り出された画像から得られた色をもとにモデルの配色を行う．3D モデルを用意した後，画像から得られた前後関係と空間的制約をもとに配置を行う．3D モデルの生成手法を図 2 に示す．

5. 評価実験
実験には，本研究グループの研究室及び実験室で撮影された画像を使用した．また，モデリングの対象として人・椅子・モニター・机を対象とした．

5.1 使用画像
本実験で使用した画像の例を図 3 と図 4 に示す．

図 3
図 2

画像１

図 4

画像２3D モデル生成手法

5.2 実験結果
4.1 物体検出と対象の画像切り出し
入力画像に対して，はじめに物体検出を行う．検出の結果に応じてモデリングするかどうかの判定，また，モデリングの前の画像処理及び遮蔽関係の有無を確認する．その後，検出結果に従って座標を取得する．この際，遮蔽解析

4 枚の画像について，遮蔽解析で前方にあるとされた物体の各関係を表 1 に示す．また，実際に存在する遮蔽と物体検出で検出できた遮蔽，遮蔽解析で正答できた遮蔽の数を表 2 に示す．また，画像 1 と画像 2 についてモデリング後の結果を図 5〜図 10 に示す．

で使用する検出対象の座標と重複している領域の取得も行う．また，対象の得られた座標について，3D モデル色を決定する際に使用するため画像の切り出しを行う．

4.2 モデリングとモデル色選択

対象画像

表 1 前方にあると判断された対象
人と椅子人とモニター
モニターとモニター

画像１

椅子

人

モニター（左側）

画像２
画像３

人

人

モニター（左側）

人

モニター

画像４ー

人

人

モニター（右側）

物体検出の結果の内，人に対しては PIFuHD を使用し，3D モデリングを行う．また，人以外の対象については検出結果に対応する 3D モデルを呼び出す．このとき，代表色の選択で得られた色をもとに 3D モデルの色を変更する．

対象画像

表 2 遮蔽解析による検出結果
遮蔽関係の総数
遮蔽関係の検出数

正答数

画像１333

代表色の選択は k-means 法で行った．k-means 法により各

画像２331ピクセルの色をクラスタリングする．最大クラスタの中心

画像３221部分を代表色として扱う．本研究では，入力する画像は物

画像４333体領域で切り抜かれているため，対象物がある前景と背景に二分することができる．そのため，クラスタの数は 2 とした．2 つのクラスタのうち，より要素数が多い最大クラスタの中心の色を 3D モデルの色とする．

6. 考察
複数の遮蔽関係を持つ画像について遮蔽解析及び，1 枚の画像からシーンのモデリングを行った．遮蔽解析におい4.3 再配置ては，11 の遮蔽関係のうち，8 つの前後関係を判別するこ作成した 3D モデルの配置・表示は 3D モデリングソフとができた．また，人や椅子などのモデルが互いに干渉せトウェアである Blender を使用する．出力結果について，ず行えていることが確認できる．画像 2 の前後判定の誤3

火の国情報シンポジウム 2023

図 11

遮蔽部分のエッジ１

図 12

遮蔽部分のエッジ２

7. おわりに
図 5

画像１の出力結果

本研究では，単一画像からのモデリングとその配置による３次元シーンの再現を最終的な目標とした．物体検出を活用した遮蔽解析を行うことで物体間の前後関係を判定して 3D モデルに反映することを試みた．人と椅子，モニターを対象とした実験では，あらかじめ物体の輪郭情報を与えることで，これらの対象の重なりについて前後の判別
図 6画像１の出力結果（左側面）図 7

画像１の出力結果（上面）をさせることができた．物体間の重なり方の違いから，判別しやすい遮蔽関係としにくいものについて考察を進めることができた．また，出力された前後関係の結果を反映することで整合性の取れたシーンのモデリングを行うことが可能であると確認することができた．
参考文献
[1]

図 8

図 9

画像２の出力結果

画像２の出力結果（左側面）図 10

画像２の出力結果（上面）りについて，図 11 のようにモニターとモニターにおいては，左側のモニターのベゼル部分のエッジが強く検出されており，エッジが曲がっている．そのため，左側にあるモニターが前方にあると判別された．また，人と椅子の遮蔽関係については図 12 に示すように，人と椅子で囲まれたエッジが遮蔽部分のエッジとされたため，正しく判定されなかったと考えられる．本手法は，遮蔽部分が適切にエッジとして検出でき，検出物体の輪郭の特徴を十分に反映している場合に有効であると考えられる．また，物体の回転や同じ対象の形の違いによって結果が左右されるため，一つの対象に対して複数の見方をすることや，輪郭の情報を増やすなど手法の改善が必要であると考えられる．今回の実験では，屋内環境を対象とした．汎用的なシステムを目指した際に，屋外環境では，光源の不確定さ，スケール感

Shunsuke Saito, Tomas Simon, Jason Saragih, Hanbyul Joo, ”PIFuHD: Multi-Level Pixel-Aligned Implicit
Function for High-Resolution 3D Human Digitization”,
CVPR2020(Oral Presentation), 2020.
[2] Shunsuke Saito, Zeng Huang, Ryota Natsume, Shigeo
Morishima, Angjoo Kanazawa, Hao Li, ”PIFu: PixelAligned Implicit Function for High-Resolution Clothed
Human Digitization”, ICCV2019, pp.2304-2314, 2019.
[3] Nanyang Wang, Yinda Zhang, Zhuwen Li, Yanwei Fu, WeiLiu, Yu-Gang Jiang, ”Pixel2Mesh: Generating 3D MeshModels from Single RGB Images”, ECCV2018, 2018.
[4] 山本泰平, 福元伸也, 鹿嶋雅之, 渡邊睦, ”物体認識に基づく経時的環境モデリングに関する研究”, ロボティクス・メカ
トロニクス講演会講演概要集 2020, pp.2P1-K13, 2020.
[5] 加藤 大晴, 牛久 祥孝, 原田 達也, ”Neural 3D Mesh Renderer”, 2019 年度人工知能学会全国大会（第 33 回）, 2019.
[6] Tinghui Zhou, Matthew Brown, Noah Snavely, DavidLowe, Unsupervised Learning of Depth and Ego-Motion
from Video , CVPR2017 (Oral Presentation), 2017.
[7] Vincent Casser, Soeren Pirk, Reza Mahjourian, Anelia
Angelova, ”Depth Prediction Without the Sensors: Leveraging Structure for Unsupervised Learning from Monocular Videos”, AAAI2019, 2019.
[8] René Ranftl, Katrin Lasinger, David Hafner, Konrad
Schindler, Vladlen Koltun, ”Towards Robust Monocular
Depth Estimation: Mixing Datasets for Zero-shot Crossdataset Transfer”, IEEE 2020, 2020.
[9] Derek Hoiem Andrew N. Stein Alexei A. Efros Martial
Hebert, ”Recovering Occlusion Boundaries from a Single Image”, 2007 IEEE 11th International Conference on
Computer Vision, 2007.
[10] YOLOv8，”https://ultralytics.com/yolov8”.の違いなどが新たな問題となると考えられる．

4