言語処理学会 第30回年次大会 発表論文集（2024年3月）

ClipQA: 言語特徴埋め込み空間における 3D 画像質問応答
東慶多 1

Edison Marrese-Taylor1,2 宮尾祐介 1
1 東京大学 2 産業技術総合研究所{keitaiazuma33, yusuke}@is.s.u-tokyo.ac.jp emarrese@weblab.t.u-tokyo.ac.jp

関連研究

概要

2

近年, 自然言語処理とコンピュータビジョンの融合分野では, ３次元質問応答（3D-VQA）などの空間理解に関する研究が関心を集めている. 本研究では既存の 3D-VQA モデル ScanQA [1] に対し, Contrastive
Language-Image Pretraining (CLIP) 特徴量を活用した２つの改善手法―1. 質問埋め込み及び物体特徴量に CLIP 特徴量を付加する手法, 2. 質問応答に用いるマルチモーダルモデル（Transformer）の注意機構にCLIP 特徴量から計算したバイアスを加える手法―を提案し, その効果を検証する. 実験の結果, 提案手法 1., 2. ともに質問応答の精度改善に有効であり, 両手法を用いることで質問応答の精度がベースモデルと比べて 5 ∼ 10% 向上することを示した.

本論文では既存の 3D-VQA 手法：ScanQA [1] と,点群に CLIP 特徴量を埋め込む手法：OpenScene [3]と を 掛 け 合 わ せ, ScanQA の 精 度 を 改 善 す る 新 たな 3D-VQA 手法を提案する. 本節では, ScanQA とOpenScene について, モデルの詳細を解説する.

1

背景2015 年以降, 画像質問応答（VQA）[2] は自然言語処理とコンピュータビジョンの融合として盛んに研究されてきた. ここ数年では関心が 2 次元から 3 次元へと移りつつあり [1, 3, 4], RGB-D スキャンなどの 3D データ（点群）を対象とする３次元質問応答（3D-VQA）が注目を集めている [1, 5].
3D-VQA では, 空間中の物体の特性や位置関係について質問応答を行い, そのモデルの多くは主に言語エンコーダ, 空間エンコーダ, マルチモーダルモ
デルの３要素から構成される [1, 5]. 言語エンコー
ダは質問文の埋め込みを計算し, 空間エンコーダは点群データから物体の位置情報と特徴量を抽出す
る. これらの物体の特徴量と質問文の埋め込みをTransformer などのマルチモーダルモデルで相互参照することにより質問応答を実現する。本研究では,既存の 3D-VQA モデル ScanQA [1] において、言語埋め込み, 及び物体特徴量に Contrastive Language-ImagePretraining(CLIP) を活用することで質問応答の精度がどのように変化するかを検証する.

2.1

ScanQA

ScanQA [1] は点群データ 𝑝 ∈ P と質問 𝑞 ∈ Q を入力として受け取り, データセットに含まれる全回答集合の中から最適と考えられる回答 𝑎 ∈ A を出力する 3D-VQA モデルであり, i) 言語エンコーダ, ii) 空間エンコーダ（物体検出モデル）, iii) マルチモーダル
モデルの大きく３部分から構成される.
i) 言語エンコーダ 言語エンコーダでは, 質問単𝑛
語列 {𝑤 𝑖 }1 q の GloVe 埋め込み 𝑄 ∈ ℝ𝑛q ×300 を計算し, これを LSTM に入力することで文脈に応じた単語埋め込み 𝑄 ′ ∈ ℝ𝑛q ×𝑑 を計算する. これを非線形層に通すことで最終的な質問文の埋め込み表現
𝑄 emb ∈ ℝ𝑛q ×𝑑 を得る. （𝑛q ：質問文に含まれる最大単語数, d：単語埋め込みの次元. また, 点群/物体の特徴量も同じ次元で表現する.（デフォルトでは 256））
𝑄 emb = 𝑀 𝐿𝑃Q (𝑄 ′ )(1)ii) 空間エンコーダ 空間エンコーダでは PointNet++ [6] をバックボーンとする VoteNet [7] を用いて物体検出を行う. まず PointNet++を用いてダウンサンプリングされた点群データ 𝑝 ds ∈ ℝ𝑛ds ×𝑑 を得る. その後 VoteNet を適用することで物体の位置情
報 𝑉box ∈ ℝ𝑛𝑣 ×8 及び物体特徴量 𝑉 ∈ ℝ𝑛𝑣 ×𝑑 を得る.
更に, 物体特徴量 𝑉 を非線形層に通すことで最終的な物体特徴量 𝑉emb ∈ ℝ𝑛v ×𝑑 を得る. （𝑑p ：各頂点の特徴量の次元, 𝑛ds ：ダウンサンプル後の頂点数（デフォルトでは 1024）, 𝑛v ：検出する物体の上限（デフォルトでは 256））
𝑉emb = 𝑀 𝐿𝑃V (𝑉)― 668 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

(2)iii) マ ル チ モ ー ダ ル モ デ ルマルチモーダルモ

デルでは, Transformer のエンコーダ・デコーダを用提案手法

3

いて, 質問文の埋め込み表現 𝑄 emb 及び物体特徴量

ScanQA [1] では, 言語の埋め込みと点群に与えら𝑉emb の関連性を計算する. エンコーダでは, 𝑄 emb をれる特徴量には関連性がなく, 言語エンコーダと空L(= 2) 層のエンコーダ層に通し, 質問文のエンコー間エンコーダの精度が質問応答の精度に直結する.

ド結果 𝑄 enc ∈ ℝ𝑛q ×𝑑 を得る. デコーダでは L 層のデ一方で, OpenScene [3] に示されたように, 初めから点コーダ層に query として物体特徴量 𝑉𝑒𝑚𝑏 を, key 及群に CLIP 特徴量を埋め込むことができれば, 質問文

び value として言語のエンコード結果 𝑄 enc を与え,との関連性がより明確になり, 質問応答の精度が改物体特徴量のデコード結果 𝑉 dec ∈ ℝ𝑛v ×𝑑 を得る. ま善するものと考えられる.

た, 𝑄 enc と 𝑉 dec を１つの MLP に通すことで, 質問と空間情報の統合表現 𝑓 ∈ ℝ𝑑 を得る.
質問応答

そこで本研究では, ScanQA モデルに OpenScene から計算された点群の CLIP 特徴量を入力として与え

ScanQA では, 点群と質問の入力に対しることで, 質問応答の精度がどう変化するかについて, 回答集合から回答を選び, 回答が参照する物体のて検証する（ベースモデル）. 更に, 精度改善の為の位置とクラスを併せて出力する. 具体的には, 物体特徴量 𝑉 dec 及び統合表現 𝑓 を複数の MLP に入力し工夫として 1）物体の特徴量, 及び単語埋め込みにCLIP 特徴量を付加する手法, 2）マルチモーダルモ

softmax を計算することで, 回答の確率分布 𝑝 ans , 回デルの注意機構に CLIP 特徴量から計算したバイア答が参照する物体の確率分布 𝑝 obj , 回答のクラスのスを与える手法, の２点で ScanQA を改良したモデ

確率分布 𝑝 cls を出力する. 学習時は, これらの出力にル ClipQA を提案し, その結果について議論する.

対する交差エントロピー損失, 及び VoteNet の物体検出に対する損失の和:𝐿 = 𝐿 ans + 𝐿 obj + 𝐿 cls + 𝐿 det をモデル全体の損失として学習する.

2.2

OpenScene

CLIP [8] は画像-テキストペア (𝐼, 𝑇) の対照学習により, テキストと画像を同一の特徴空間に射影するよう事前学習された画像と言語のマルチモーダルモデルである. CLIP による埋め込みは, 関連度の高いテキスト-画像ペアのコサイン類似度が高くなるよう学習されており様々な下流タスクの zero-shot 性能を高めることができる [4, 9].
OpenScene [3] は, 画像のピクセル毎の CLIP 特徴量を計算するモデル：OpenSeg [10] を用いて CLIP特徴量を点群に射影することで, 点群に CLIP 特徴量を埋め込むことを可能にした. 実際に, 図１では質問の対象である「冷蔵庫」を正しく特定できており,点群に CLIP 特徴量を埋め込むことで, 空間中の質問文との関連性が高い領域を限定できることが視覚的に確認できる.

図 1 点群データ（左）, OpenScene により計算された CLIP特徴量を可視化したもの（中）, 質問文:“What is placed next
to the fridge?” に対するヒートマップ（右）図 2 ClipQA モデル概要：ベースモデルでは ScanQA の入力を OpenScene から得られる点群データ 𝑝 ∈ ℝ𝑛 𝑝 ×778 に差し替える. 提案手法 1 では非線形層の直前で言語/物体特徴量に CLIP 特徴量を付加する. 提案手法２ではデコー
ダの self-attention 層の注意機構にバイアスを加算する.

― 669 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

3.1

意行列 𝑀Bias Attn を考える.

ベースモデル

ScanQA では, 位置 𝑥 ∈ ℝ𝑛p ×3 , 色 𝑐 ∈ ℝ𝑛p ×3 , 各点での法線ベクトル 𝑛 ∈ ℝ𝑛p ×3 , 高さ ℎ ∈ ℝ𝑛p ×1 , 及び ENet[11] から得られる特徴量 𝑓multiview ∈ ℝ𝑛p ×128 を連結し𝑀dist = softmax(−dist(𝑉box ))(5)𝑀relativity = softmax(𝑄 clip · 𝑉clip )(6)

𝑀Bias Attn = softmax(𝑀dist ∗ 𝑀relativity )(7)

得られる点群データ 𝑝 ∈ ℝ𝑛p ×138 をモデルの入力として与えている. ベースモデルでは, 𝑓multiview の代わりに, OpenScene [3] から得られる頂点ごとの CLIP
特徴量 𝑓openscene ∈ ℝ𝑛p ×768 を用い, 点群 𝑝 ∈ ℝ𝑛p ×778 をモデルの入力として与えるものとする. （𝑛p ：点群

図 3 距離及び CLIP 関連度を用いた注意行列計算例の頂点数）

ここで dist 関数は検出された物体の中心間のユー3.2

クリッド距離を計算する関数, 𝑀Bias Attn ∈ ℝ𝑛v ×𝑛v は𝑀dist ∈ ℝ𝑛v ×𝑛v と 𝑀relativity ∈ ℝ𝑛v ×𝑛v の要素ごとの積に提案手法１：CLIP 特徴量の付加ベースモデルでは, VoteNet による物体検出の過程で CLIP 特徴量が変換されるため, 物体特徴量 𝑉embより計算するものとする. 直感的には 𝑀dist は物理的が元々与えられていた CLIP 特徴量から乖離してしし, 𝑀relativity は質問と高い関連度を持つ物体に, よりまうほか, 言語エンコーダ側で CLIP を用いていない注目すべきことを表している.に近い物体はより相互に注目されるべきことを表為, 画像-言語間の類似度を表現する CLIP の効果を学習時は, 𝑀Bias Attn とデコーダが計算したアテン得られていない. そこで, ベースモデルの精度を改善ションを 0 ∼ 1 の割合で内分して用いるものとし, 内する工夫として, 物体特徴量 𝑉emb 及び言語埋め込み分の割合はヘッド毎に変えられるよう学習可能なパ

𝑄 emb に物体と質問の CLIP 特徴量を連結して与えるラメータを設定した.

手法を提案する. 具体的には, (1), (4) 式にある２つ𝐹𝑖𝑛𝑎𝑙 𝐴𝑡𝑡𝑛 = 𝑖𝑛𝑡𝑒𝑟 𝑝(𝐷𝑒𝑐𝑜𝑑𝑒𝑟 𝐴𝑡𝑡𝑛, 𝑀Bias Attn )の MLP が物体/質問それぞれの CLIP 特徴量を受けこれにより質問応答の際にモデルが注目すべき物体取るよう次のように拡張する.

が明確化され, 精度が改善するものと期待される.

′𝑄 emb = 𝑀 𝐿𝑃Q(𝑄 ′ , 𝑄 clip )(3)′𝑉emb = 𝑀 𝐿𝑃V(𝑉, 𝑉clip )(4)

ここで, 𝑄 clip ∈ ℝ768 は質問文の CLIP 特徴量, 𝑉clip ∈ℝ𝑛v ×768 は検出された物体 bounding box(= 𝑉box ) 内の(8)データセット4

本研究では, ScanNet [12] が公開する屋内スキャン
データセット及び, これに対する質問応答のデータセットである ScanQA（データセット1））[1] を用いCLIP 特徴量の平均である. このように言語/物体のる. また, 点群に与える CLIP 特徴量は ScanNet に含両方に CLIP 特徴量を付加することで, 後続のマルチまれる RGB-D データに OpenScene2）を適用し, 事前モーダルモデルにおいても CLIP 特徴量が表現する計算したものを用いた.

質問-物体間の関係が有効活用され, 質問応答の精度が改善するものと期待される.

提案手法 2：マルチモーダルモデル（デコーダ）へのバイアス付加

3.3

実験5

ここでは ScanQA データセットを用いて, ScanQAと ClipQA（ベースモデル）, 及びベースモデルにベースモデルでは, マルチモーダルモデルのデ上記変更を施した ClipQA(提案手法１のみ), ClipQA

コーダ部分において, 注意機構における attention は（提案手法２のみ）, ClipQA(提案手法) をそれぞれ学習中に End-to-End で学習される. 一方で, 物体及20 epoch ず つ 学 習 さ せ, 提 案 手 法 の 有 効 性 を 検 証

び質問の CLIP 特徴量が既知である場合, そのコサイン類似度を計算することで質問と各物体の関連度がする. 学習時の最適化アルゴリズムには Adam を適 用 し, パ ラ メ ー タ は 次 の よ う に 設 定 し た. 学 習分かると考えられる. ここでは, 質問応答において i)

率:𝑙𝑟 = 0.0005, (𝛽1 , 𝛽2 ) = (0.9, 0.999), 𝜖 = 1.0 × 10−5 .

物理的に近接した物体同士は同時に参照されやすい
こと, ii) 質問と関連度の高い物体により注目すべきであること, の２つの観点に基づいて, 次のような注

1） ScanQA（モデル）を提案した Azuma ら [1] がモデルと同時に公開した 3D-VQA 用のデータセット. なお, 本研究ではtest w/o objects 以外のデータを用いて実験を行った.
2） CLIP モデルには OpenSeg（ViT-L/14@336px）を用いた.

― 670 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表1

Model

EM@1 EM@10 BLEU 1 BLEU 4 METEOR ROUGE CIDEr

ScanQA21.945 54.843

ClipQA（提案手法） 21.764
表254.562

28.9918.444

12.64932.291 61.815

31.22911.41713.07333.022 64.203

開発データセットでの実験結果

Model

EM@1 EM@10 BLEU 1 BLEU 4 METEOR ROUGE CIDEr

ScanQA

19.29449.15528.34010.55911.93931.136 58.283

ClipQA（ベースモデル）

19.03748.81327.0568.768

11.73530.367 56.651

ClipQA（提案手法 1 のみ） 19.444

49.66829.7438.102

12.40131.839 60.167

ClipQA（提案手法 2 のみ） 19.487

49.71128.3047.319

12.22231.599 57.775

19.765 50.866

28.883

9.953

12.25431.861 60.800

ClipQA（提案手法）

5.1

テストデータセットでの実験結果

おり, これは提案した２手法がいずれも質問応答に実験結果有効であることを示していると考えられる. 特に, 提ClipQA(提案手法) と既存モデル ScanQA3）のテス

案手法 1 は単体でも一部の評価指標で最高精度を達トデータでの評価結果を表１, 開発データでの学習成しているほか, 提案手法 2 のみを用いたモデルよ結果を表２に示す. 各表において, 全体を通した最高りも, 両提案手法を用いたモデルの方が全評価指標精度を太字で, 表 2 においては提案手法のみで比較において精度が改善していることから, ２つの提案した場合の最高精度に下線を引いて記載した.

手法の中では提案手法 1 がより精度改善に貢献して5.2いると考えられる.

ScanQA との比較

テストデータによる評価からは, ClipQA では回答の完全一致を示す EM スコアは ScanQA に僅かにまた, 提案手法 1,2 の一方のみでは BLEU 4 においてベースモデルよりも精度が悪化する一方で, ２つの手法を組み合わせたモデルはベースモデルと比較劣るものの, その他の評価指標においては ClipQAして, 全評価指標を通して精度が 3.8 ∼ 15.0% 向上しが ScanQA の精度を平均 1.75 ポイント上回った. まており, 提案手法 1,2 を同時に用いることの有効性をた, 開発データによる結果においても, BLEU 4 を示唆していると考えられる.

除くすべての指標で ClipQA が ScanQA の精度を上回っている. 特に, テストデータでの BLEU1, BLEU
4, CIDEr, 及び開発データでの CIDEr では ClipQA が結論

6

本論文では 3D-VQA モデルへの入力として点群にScanQA の精度を 3 ポイント近く上回っており, これCLIP 特徴量を与えることにより, 質問応答の精度がは提案手法が ScanQA に対して優位であることを示どのように変化するかを検証した. その結果, CLIPしていると考えられる.

特徴量をモデルに単純に入力するだけでは既存手5.3法：ScanQA の精度を下回ったが, i) 質問/物体特徴量

提案手法同士の比較に CLIP 特徴量を付加する, ii) マルチモーダルモデ

開発データによる評価では, ベースモデルでは全ての指標で ScanQA を下回ったが, 両者ではモデルが同一である為, これは CLIP と ENet の特徴量の埋ルの注意機構にバイアスを付加をするよう改善した提案手法では ScanQA よりも高い精度を達成することが示された. これは CLIP 特徴量が質問応答に有用な情報を含むことを示唆しており, 今後 3D-VQAめ込み空間の質の違いによるものと考えられる.
一方で, 提案手法同士の性能をベースモデルを基以外の VL タスクへの CLIP の応用が期待される.

準として見た場合には, 片方の手法のみを用いた場

今後の展望としては, 本研究で手動で設計した注合の BLEU4 を除くすべての指標で精度が向上して意機構のバイアスの改良, またはデコーダの attentionとバイアスの差分に対して罰則値を設けるなどの別

3） ベースモデルに合わせて GloVe と LSTM を用いた ScanQAのモデルを比較対象とした. これにより ScanQA の元論文の精度と差異があることに注意されたい.

手法について検討したい.

― 671 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

参考文献[1] Daichi Azuma, Taiki Miyanishi, Shuhei Kurita, and Motoaki Kawanabe. Scanqa: 3d question answering for spatial
scene understanding. In Proceedings of the IEEE/CVF
Conference on Computer Vision and Pattern Recognition (CVPR), 2022.

[2] Stanislaw Antol, Aishwarya Agrawal, Jiasen Lu, Margaret
Mitchell, Dhruv Batra, C. Lawrence Zitnick, and DeviParikh. Vqa: Visual question answering. In 2015 IEEE International Conference on Computer Vision (ICCV),
pp. 2425–2433, 2015.
[3] Songyou Peng, Kyle Genova, Chiyu ”Max” Jiang, Andrea
Tagliasacchi, Marc Pollefeys, and Thomas Funkhouser.
Openscene: 3d scene understanding with open vocabularies. In Proceedings of the IEEE/CVF Conference on
Computer Vision and Pattern Recognition (CVPR),
2023.
[4] Justin Kerr, Chung Min Kim, Ken Goldberg, AngjooKanazawa, and Matthew Tancik. Lerf: Language embedded radiance ﬁelds. In International Conference on
Computer Vision (ICCV), 2023.
[5] Shuquan Ye, Dongdong Chen, Songfang Han, and Jing
Liao. 3d question answering. IEEE Transactions on
Visualization and Computer Graphics, pp. 1–16, 2022.
[6] Charles R Qi, Li Yi, Hao Su, and Leonidas J Guibas.
Pointnet++: Deep hierarchical feature learning on pointsets in a metric space. arXiv preprint arXiv:1706.02413,
2017.
[7] Charles R Qi, Or Litany, Kaiming He, and Leonidas JGuibas. Deep hough voting for 3d object detection inpoint clouds. In Proceedings of the IEEE International
Conference on Computer Vision, 2019.
[8] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya
Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry,
Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen
Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In Marina
Meila and Tong Zhang, editors, Proceedings of the 38th
International Conference on Machine Learning, Vol.
139 of Proceedings of Machine Learning Research,
pp. 8748–8763. PMLR, 18–24 Jul 2021.
[9] Nur Muhammad (Mahi) Shaﬁullah, Chris Paxton, Lerrel
Pinto, Soumith Chintala, and Arthur Szlam. Clip-ﬁelds:
Weakly supervised semantic ﬁelds for robotic memory.
ArXiv, Vol. abs/2210.05663, , 2022.
[10] Golnaz Ghiasi, Xiuye Gu, Yin Cui, and Tsung-Yi Lin.
Scaling open-vocabulary image segmentation with imagelevel labels. In ECCV, 2022.
[11] Adam Paszke, Abhishek Chaurasia, Sangpil Kim, and Eugenio Culurciello. Enet: A deep neural network architecture for real-time semantic segmentation, 2016.
[12] Angela Dai, Angel X. Chang, Manolis Savva, Maciej Halber, Thomas Funkhouser, and Matthias Nießner. Scannet: Richly-annotated 3d reconstructions of indoor scenes.
In Proc. Computer Vision and Pattern Recognition(CVPR), IEEE, 2017.

― 672 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).