The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.4 （2023）-- ビジュアルコンピューティング特集 --自己注意機構を用いた 3 次元点群の回転不変な解析
刈込 喜大† 古屋 貴彦† 大渕 竜太郎†（正会員）†山梨大学

Rotation-Invariant Analysis of 3D Point Set Using Self-Attention
Yoshihiro KARIKOMI†, Takahiko FURUYA†, Ryutarou OHBUCHI† (Member)†University of Yamanashi〈あらまし〉3 次元 (3D) 点群は，3D センサや CAD モデルから得られる 3D 形状の表現である．3D 点群の高精度な解析は，3D モデルの効果的な再利用，自動運転，ロボットのナビゲーションなどのアプリケーションシナリオで要求される．これらの 3D 点群の向きは不揃いであるため，多くの現実のアプリケーションでは 3D 形状の回転 (向き)への頑強性が要求される．近年の 3D 点群解析の主流は深層ニューラルネットワーク (DNN) を用いた手法である．しかし，これら既存の DNN の多くは 3 軸周りの回転への頑強性を持たない．本研究では回転不変な 3D 形状解析 DNNを提案し評価する．この DNN は，Local Reference Frame を用いた局所形状の回転正規化により回転不変性を獲得し，自己注意機構によって入力データ適応的に特徴を抽出する．3D 点群形状の識別とセグメンテーションで評価した結果，提案手法は 3 軸周り回転の影響を受けず，かつ既存手法を上回る精度を得た．
キーワード：回転不変性, 3 次元形状識別, 3 次元形状セグメンテーション, 深層ニューラルネットワーク<Summary> Three-dimensional (3D) point set, or point cloud, is a 3D shape representation that can be captured by a 3D sensor orderived from a CAD model. Accurate analysis of 3D point sets is required for effective reuse of 3D models, or navigation andcontrol of autonomous vehicles and robots. These 3D point sets are in general not aligned rotationally. But many applications ofthese 3D point sets require robustness against rotation of 3D shapes. Recent 3D point set analysis relies on Deep Neural Networks(DNN), yet most of these DNN are not robust against rotation. In this paper, we propose and evaluate a rotation invariant 3D shapeanalysis DNN. The DNN combines rotation normalization of local geometry using local reference frame with content adaptive
feature extraction via self-attention mechanism. We evaluate the DNN on both shape classification and segmentation of 3D pointsets. The proposed method is invariant to rotation about 3 axes while outperforming existing methods in accuracy.
Keywords: rotation invariance, 3D shape recognition, 3D shape segmentation, deep neural network

1.

用シナリオでは回転頑強性が要求される．

はじめに

DNN を用いた手法で回転への頑強性獲得を目指すとき，最3 次元 (3D) 形状の表現の 1 つである 3D 点群は，形状表面

初に思いつくのは学習データの回転拡張である．しかし，3Dをサンプルして得た点の集合であり，3D センサや CAD モデ

形状の 3 軸周り回転はその自由度が高く，既存の 3D 点群解

ルから得られる．3D 点群を高精度に解析する技術は自動運転

析 DNN を回転拡張した形状データで学習しても回転頑強性

や CAD モデルの再利用などの観点から注目されている．

を獲得するのは難しい．そのため，近年，回転不変 (RI) 性を近年の 3D 点群解析では深層ニューラルネットワーク

持つ 3D 点群解析 DNN が複数提案されている．それらは RI(DNN) を用いた手法が主流で，高い精度を得ている 1)–10)．し性の獲得方法に基づき，(1) 本質的に RI な特徴を利用する手かし，これら既存の 3D 点群解析 DNN のほとんどは 3D 形状

法 11), 12), (2) 点群全体を固有ベクトルで回転正規化する手法 13)の回転への頑強性を考慮せずに設計され，評価されている．

–15)

例えば，これら手法の評価には，学習データと向きが揃ったする手法 16)–19)，に大別できる．(1) は点対の距離や角度などの

3D 点群データを用いる．しかし，現実の CAD モデルやセン

本質的に RI な特徴を抽出し，DNN への入力とする．しかし，

サから得られる点群は向きが不揃いの場合が多く，多くの実本質的な RI 特徴は入力点群の形状情報の損失があり，精度に516，(3) 局所点群を Local Reference Frame (LRF) で回転正規化

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.4 （2023）

課題がある．(2) は入力点群全体の座標値の共分散行列を固有

LRF による回転正規化，学習による LRF の幾何調整，

値分解して得た固有ベクトルを大域的な参照座標軸として入SA 機構，局所 RI 特徴群全体の 3D 空間における配置情

力点群全体を回転正規化し，これを点群解析 DNN への入力

報，の有効性を確認．

とする．回転正規化した点群から DNN で直接特徴を抽出す

2.

るため，(1) のような形状情報の損失は起きにくい．しかし，全体形状は多様でバラつきが大きく，回転正規化は困難である．また，入力点群が解析対象物 (例：椅子) と背景 (例：床や壁) で構成されると，固有ベクトルが背景の影響を受け，回転正規化に失敗しやすい．(3) の LRF とは，注目点ごとにその近傍 (局所) 点群の幾何形状情報を基に決定する座標系のことである．LRF には，局所点群の座標値の共分散行列を固有値分解して得た固有ベクトルを用いることが多い．全体形状と比べ，局所形状は単純かつその多様性が低く，また背景の影響も限定的であるため，向きを揃えやすい．よって，(3) の LRFによる局所点群の回転正規化は (2) の点群全体の回転正規化
よりも失敗しにくく，高精度な 3D 点群解析に有効な局所 RI
特徴を抽出できる見込みがある．しかし，LRF を用いる既存
手法は，抽出した局所 RI 特徴群全体の 3D 空間における配置を考慮しない．そのため，既存手法は形状を構成する部品 (局所形状) だけに注目しており，点群全体の形状情報が得られていない．また，既存手法の LRF は，局所点群の座標値から求めた固有ベクトルなどの，局所幾何形状情報のみに依存して構築される．そのため，類似する局所形状でもその点の分布によって構築される LRF の軸の向きにばらつきが生じ，精度に悪影響を及ぼす恐れがある．さらに，既存手法の特徴集約・精製にはグラフ畳み込みが用いられており，個々の入力形状
ごとに異なる特徴間の相対的な重要度を考慮していない．
本研究では RI 性を持つ高精度な 3D 点群解析 DNN の構築を目的とし，LRF による局所点群の回転正規化に，学習による LRF の幾何調整，自己注意 (Self-Attention: SA) 機構 20)を用いた局所 RI 特徴の抽出，それら特徴群全体の 3D 空間における配置情報の抽出，を組み合わせる．提案手法では，SA 機構
により，入力形状データに適応して求まる，個々の特徴間の相対的重要度に応じた重み，により特徴の集約・精製を行う．
提案手法を 3 軸ランダム回転した 3D 点群形状の識別タス
クとセグメンテーションタスクで評価した．その結果，提案
手法は回転の影響を受けず，また，その精度は比較対象の既存手法を上回ることが分かった．さらに ablation study により，学習による LRF の幾何調整，
局所 RI 特徴群全体の配置情報，
SA 機構によるデータ適応的な特徴抽出，いずれもが 3D 点群形状の識別精度向上に有効であることを確認した．

2.1

関連研究

回転頑強性を持たない 3D 点群解析 DNN

PointNet1)は 3D 点群を直接処理する最初の 3D 点群解析
DNN である．点群を DNN で扱う上では点の入力順序への不変性を獲得する必要がある．PointNet は，まず，入力点群の各点を複数の全結合層 (FC) で高次元の特徴に変換する．そして，得られた点ごとの特徴の集合を (点の入力順を無視して)，max
pooling により統合し，点の入力順に不変な点群全体の形状特徴を得る．点ごとの特徴は 1 点のみから抽出するため，局所を成す複数点の参照が必要となる局所形状情報は抽出されな
い．PointNet はまた，T-Net と呼ばれる DNN をその一部に含む．T-Net は入力点群全体の回転やスケール等の幾何変換を学習に基づいて予測する DNN で，その出力を用いて入力点群に加えられたであろう幾何変換の正規化を試みる．
PointNet 以降，PointNet で対象とされなかった局所形状情報を抽出することで精度向上を狙う手法が複数提案された．
PointNet++2)は Farthest Point Sampling (FPS) による代表点選択と，代表点近傍に対する局所的な PointNet の適用を反復する
ことで，入力 3D 点群の階層的な局所特徴を抽出する．
PointMLP9)は PointNet++をより深い構造として精度向上を狙う．PointMLP は，多数の特徴抽出層を効果的に学習するために残差スキップ接続 21)を導入する．PointNeXt10)も，PointMLPと同様に，PointNet++をより深い構造として，残差スキップ接続を導入する．PointNeXt はさらに，局所点群のスケールが小さいと学習を難しくすることを指摘し，局所点群のスケールを人手で拡大してから特徴を抽出した．DGCNN5)は近傍特徴と注目点特徴の差分ベクトルから特徴を抽出する EdgeConvを提案，近傍特徴の情報を注目点特徴に集約する．PointCNN3)
は注目点からの相対位置に応じて近傍点群に順序付けを行い，通常の畳み込みを行う．これらの手法は PointNet で対象とされなかった局所形状情報を抽出することで PointNet を上回る精度を記録する．しかし，これらの手法の特徴抽出処理は FCと max pooling で構成されるグラフ畳み込みか，順序付けを行ってから適用する畳み込みである．これらの特徴抽出機構の重みは事前の学習データで決まり，個々の入力点群の特徴は反映されない．
PointCloudTransformer6) (PCT), PointTransformer7) (PT) は特徴

本論文の貢献は以下のとおりである．
LRF による回転正規化，学習による LRF の幾何調整，SA 機構を用いた局所 RI 特徴の抽出とそれら特徴群全体の 3D 空間における配置情報の抽出，を組み合わせたDNN を提案．
提案 DNN は 3D 点群の識別タスクとセグメンテーショ
ンタスクで既存手法を上回る精度を記録．

517の抽出に SA 機構 20)を用いる 3D 点群解析 DNN である．SA
機構は注目特徴と集約対象の特徴の間の関連度を求め，その関連度に基づいて特徴を集約する．畳み込みニューラルネッ
トワーク (CNN) の畳み込みやグラフ畳み込みで用いる重みは，学習の後，推論対象となる入力データに関わらず固定である．これに対し，SA 機構の場合，推論対象となる入力デー

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.4 （2023）

タに適応的に重みが変わる利点がある．PCT はグラフ畳み込て回転正規化した局所点群に直接 FC と max pooling を適用

みによって入力点群の局所特徴群を抽出後，得られた局所特

し，RI 特徴を抽出する．抽出した局所 RI 特徴群は FC によっ徴群に対し大域的に SA 機構を適用，入力点群全体の特徴をて精製後，max pooling で順序不変に統合する．AECNN19)も精製する．PT は SA 機構の適用範囲を注目点近傍に限定し，

LRF によって回転正規化した局所点群から直に RI 特徴を抽

局所特徴を精製する．PCT，PT は 3D 点群解析に SA 機構を出する．AECNN では，得られた個々の局所 RI 特徴について，用いることの一定の有効性を示した．

その近傍の RI 特徴をグラフ畳み込みによって集約・精製する．

前述した手法はいずれも入力点群の座標値から直に特徴抽

その後は，精製した局所 RI 特徴群を max pooling で点の順序出を行うため，個々の特徴は入力 3D 空間における位置情報

不変に統合する．AECNN と RI-GCN は回転正規化した局所を保有する．したがって，抽出した特徴群をグローバルに max

点群から直に特徴抽出を行うため，入力点群形状の情報損失

pooling することで特徴群全体の空間的配置を考慮できる．しは抑えられている．しかし，その特徴抽出機構は局所に限定

かし，これら手法はいずれも回転頑強性を持たない．学習デしたグラフ畳み込みであり，解析しようとする入力データにータの回転拡張は DNN に一定の回転頑強性を与えるが，自適応せず，事前に学習して得た固定の重みで特徴抽出する．

由度の高い 3 軸周り回転に回転拡張のみで対応するのは難し

さらに，個々の局所 RI 特徴はそれぞれ個別の LRF 空間から

い．PointNet 内蔵の T-Net も 3 軸周り回転を完全には補正でき抽出されるため，
入力 3D 空間における位置情報を持たない．

ず，精度低下が起こる．提案手法は，前述した手法群と異なしたがって，それら RI 特徴群を max pooling で集約しても特り，回転正規化が容易な局所点群を回転正規化し，RI 性を獲

徴群全体の 3D 空間における配置は考慮されない．(これに対得する．そのため，入力点群形状の回転の影響を受けない．

し，RI 性を持たない点群解析 DNN で特徴を max pooling で集2.2

約する場合には特徴群全体の 3D 空間における配置が考慮さ

回転不変 (RI) 性を持つ 3D 点群解析 DNNれる．) また，既存手法の LRF 構築法はいずれも局所点群の回転への頑強性を獲得するため，近年，RI 性をもつ 3D 点

幾何形状情報だけに依存する．よって，類似する局所形状で群解析 DNN が提案されている．RIConv11)は，注目点とその近も，その点の分布や形状のわずかな違いで，構築される LRF

傍との L2 距離，局所点群重心を基準としたなす角，などの本の軸の向きがばらつき，精度に悪影響を及ぼす恐れがある．

質的に RI な特徴を DNN への入力として RI 性を獲得する．

提案手法は AECNN や RI-GCN と同様に LRF を用いて回転

RIConv++12)は RIConv の入力 RI 特徴を拡張し，新たに 2 点の正規化した局所点群から特徴を抽出する．そのうえで，LRF法線がなす角などを含む，よりリッチは RI 特徴を用いる．しを用いる既存手法に残る課題である，特徴間の相対的重要度

かし，これら本質的に RI な特徴は，その RI 性と引き換えにに基づく特徴抽出，局所 RI 特徴群全体の 3D 空間における配入力点群の形状情報の損失があり，精度に限界がある．

置情報の抽出，局所点群の幾何形状情報だけに依存しない

Xiao らの手法 13)や Li らの手法 15)は，入力点群全体を回転

LRF の構築，を導入し精度向上を目指す．

正規化してから従来の点群解析 DNN に入力する．回転正規

3.

化には全入力点の座標値の共分散行列を固有値分解して得た固有ベクトルを用いる．これらの手法は回転正規化した点群から直に特徴を抽出するため，本質的に RI な特徴を用いる手法に見られる形状情報の損失は発生しない．しかし，全体形状の複雑さや解析対象物の背景が固有ベクトルに影響し，回転正規化に失敗しやすい．
LRF は注目点ごとにその近傍の局所幾何形状情報を用いて構築する局所座標系である．LRF には，注目点近傍の座標値の共分散行列を固有値分解して得た固有ベクトルを用いる場
合が多い．LRF による局所形状の回転正規化は，全体形状の回転正規化より容易である．全体形状と比べ，局所形状の多様性が低く，また局所に限ることで背景の影響が限定的になるためである．そのため，LRF による局所形状の回転正規化
は高精度な解析に有効な局所 RI 特徴の抽出が期待できる．
DLAN16)と RMGNet17)は LRF によって回転正規化した局所点群から PoD22)という手作り RI 特徴群を抽出して DNN への入力とする．しかし，PoD などの手作り RI 特徴の利用は，本質的に RI な特徴を用いる手法と同様，入力点群形状の幾何形状
情報損失を引き起こす恐れがある．RI-GCN18)は，LRF によっ

518

3.1

提案手法

提案 DNN の概要

提案 DNN は，局所点群に対し LRF を用いて回転正規化を施した局所点群から直に局所 RI 特徴群を抽出し，得られた局
所 RI 特徴群の集約と精製を繰り返す．提案 DNN は LRF の構
築処理，及び局所 RI 特徴群の集約・精製処理の双方に工夫点を備える．LRF 構築では，局所点群の幾何形状情報を用いて回転について正規化した第 1 段階の LRF を基とし，これに TNet と呼ばれる DNN が推論した幾何変換行列を乗じる第 2 段
階の幾何変換補正を組み合わせる．この 2 段階処理により，
LRF を成す 3 軸の向きとスケールを幾何調整する．T-Net に
よる LRF の向き調整により，類似する局所形状間でもその点の分布によって LRF の軸の向きがばらつく問題を緩和する．
また，LRF のスケール調整により，局所点群のスケールが小さいことに起因する学習の難しさ (Qian ら 10)が指摘) を低減
し，DNN の効果的な学習を促す．
2 段階正規化によって回転正規化とスケール調整を施した局所点群から抽出した局所 RI 特徴群の集約と精製には SA 機

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.4 （2023）

識別予測
ラベル

CB

T B (global)

T B (local)

DB

T B (local)

特徴，点群の流れ
LRF の流れ

_

CB

)

(b)

セグメンテーション
予測ラベル( , 64) ( ,UB( /4, 128)T B (local)

T B (local)

UB

DB

T B (global)( /16, 256)

UB

( /64, 512)T B (local)( /16, 256)DB

T B (local)

DB

LPB

( /4, 128)T B (local)

識別用 DNNRNB

T B (local)( , 64)

入力点群)

Max pooling(a)( , 3)_( /16, 256) (1,

RNB

LPB

入力点群

( /4, 256)DB

( , 64)( , 3)

セグメンテーション用 DNN

図 1 提案する回転不変な DNN の全体像
Fig.1 Network architectures for proposed rotation invariant classification DNN (top) and segmentation DNN (bottom)

構 20)を用いる．SA 機構の個々の入力特徴群に適応して求ま適用し，局所 RI 特徴群全体の 3D 空間における配置情報を持る重みによって高精度な特徴の集約・精製ができると期待さ

つ RI 特徴を得る．識別用 DNN では，これら RI 特徴群を max

れる．提案手法では SA 機構による特徴群の集約・精製を，入

pooling により点の入力順に不変に統合した後，複数の FC で

力 3D 形状の局所に加え，全体に対しても行う．局所に対する構成される Classification Block (CB) で識別予測ラベルに変換

SA 機構では，互いに近い局所 RI 特徴群をその関係を考慮しする．セグメンテーション用 DNN では，識別用 DNN と類似て特徴集約・精製する．3D 形状全体に対する SA 機構では，の DNN で潜在特徴を得た後，点数を復元する Upsample Block

すべての局所 RI 特徴相互の関係，すなわち局所 RI 特徴群全(UB) とローカルな TB の適用を繰り返し，入力点群の各点に体の 3D 空間における配置情報の獲得が期待される．

対応する RI 特徴を得る．得られた各点の RI 特徴は CB でセ

LRF で RI 性を獲得する既存の DNN 群と比べ，提案 DNN

グメンテーション予測ラベルに変換する．なお，セグメンテ

は (1) LRF の向きとスケールを学習によって幾何調整する，ーション用 DNN では，点数削減前の高解像度の特徴を DB か

(2) SA 機構を用いて個々の入力データに適応的に RI 特徴精らスキップ接続で流し，UB の入力に連接することで，セグメ製を行う，(3) 局所 RI 特徴群全体の 3D 空間における配置情

ンテーション予測ラベルの空間解像度を維持する．

報を考慮する，の 3 点に新規性がある．

3.2

3.2.1

DNN アーキテクチャ

Rotation Normalization Block (RNB)

RNB (図 2) は LRF の構築と幾何調整を行う．LRF の幾何調

図 1 に識別用とセグメンテーション用の提案 DNN の全体

整には幾何変換行列を予測するネットワーク T-Net を用いる.

像を示す．図中のカッコ内の数値は特徴及び LRF のデータ形

図 2 のカッコ内は処理後の特徴と LRF のデータ形状である．

はセグメン

LRF の構築: 提案手法の LRF は注目点 近傍から計算した固テーションクラス数を表す．まず，Rotation Normalization Block

有ベクトルと，注目点 近傍の重心を用いて構築する．まず，(RNB) で入力点群の各点の LRF の構築と学習による幾何調整

注目点 の 近傍の座標値の共分散行列を固有値分解して固を行う．点ごとの近傍点群をこの LRF で回転正規化した結果

有ベクトル群を得る．そして，得られた固有ベクトル群の最状で， は入力点数， _は識別クラス数， _に Local PointNet Block (LPB) を適用し局所 RI 特徴を得る．こ小の固有値と対応する固有ベクトル を注目点の LRF の z 軸

れら局所 RI 特徴群に対し，SA 機構を用いた特徴抽出層であ(る Transformer Block (TB) の局所での適用，点数を削減する

面に投影される注目点 近傍の重心 への注目点 からの単

Downsample Block (DB) の適用，を対にして反復する．ローカ

位ベクトルを割り当てる．LRF の y 軸 (ルな TB (local) と DB により階層的な局所 RI 特徴を抽出しつ外積で求める．式 (1)–(3) に提案 LRF の 3 軸及びその計算方

つ，点数を十分に削減した段階でグローバルな TB (global) を法を示す．なお，固有値分解で得た固有ベクトルには符号の519) に割り当てる．LRF の x 軸 (

) には，
) は

に直交する
と

の

T-Net

FC

FC

FC

回転
正規化

FC

( , , 8) ( , , 16) ( , , 32) ( , 16) ( , 9)

FC

近傍
取得
( , , 3)R

加算

FeedForwad 層

図 3 Transformer Block (TB) の構造
Fig.3 Structure of Rotation Transformer Block (TB)

図 2 Rotation Normalization Block (RNB)の構造
Fig.2 Structure of Rotation Normalization Block (RNB)

曖昧さがある．そのため，

加算( ’, 2 ) ( ’, )LRF

Reshape( , 3, 3)

Max pooling( ’, )FC

入力 RI 特徴L( ’, ’)

FC( ’, )

行列積

FC

LRF 構築( , 3, 3)

SA 機構

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.4 （2023）にとどまる．これにより，第 1 段階の LRF による回転正規化に割り当てる の符号曖昧さを除去する必要がある．符号の曖昧さは，注目点から近傍点群へのベクトルと の内積を用いて除去する．内積が 0 以上である近傍点数が， の符号を入れ替えた場合よりも多ければそのままの符号を維持し，そうでなければ符号の正負を入れ替える．

注目点 の近傍点 の回転正規化 ′は， の位置を で正と第 2 段階の T-Net による幾何変換補正の組合せが効果的に機能すると期待される．

3.2.2

Local PointNet Block (LPB)

LPB では注目点近傍の局所 RI 特徴を抽出する．まず，注目点の一定半径内に含まれる近傍点群を取得する．その後，それらを注目点の LRF で回転正規化し，回転正規化した局所点

規化した後に前述の手順によって得られた注目点の LRF を行群から FC と max pooling を用いて特徴を抽出する．提案 DNN

列積することで得られる (式 (4)) ．

ではこの処理を入力点群のすべての点について行う．式 (5)に

=

#
,
‖# ‖

# =(

=(

,

! =

−

)−
′=(

!,

")

"×

,

((
−

)

−

は注目点 の LRF，R( ) は注目点の一定半径内に含まれる近傍点のインデックス集合，max=)∙

LPB の処理を示す．

(1)*

はチャネルごとの max pooling，,は 2 層の FC であり，-は 1(2)層の FC である．
(3)./ = - 0 max 7,((∈5( 6 )

(4)

T-Net: 提案手法では，局所点群を対象とした LRF による回転正規化の結果に対し，T-Net を追加で適用し，回転やスケールなどの幾何変換の補正を行う．

3.2.3

−

)

*89

(5)

Transformer Block (TB)

TB は SA 機構と Feed Forward (FF) 層で構成される特徴の集約・精製ブロックである．提案手法では SA 機構の適用範

T-Net は FC と max pooling で構成される，回転やスケール

囲を 近傍に限定するローカルな TB と，適用範囲を制限しななどの幾何変換行列を予測するネットワークである．T-Net はいグローバルな TB の 2 種類を用いる．ローカルな TB では

PointNet1)で提案された．提案手法では LRF によって回転正規

局所的な RI 特徴を抽出し，グローバルな TB では局所 RI 特化した局所点群に T-Net を適用，幾何変換行列を予測する．

徴群全体の 3D 空間における配置関係を捉える．ダウンサン

予測した幾何変換行列は LRF と行列積し，LRF を補正する．

プルしていない点ごとの特徴に対するグローバルな TB の適

PointNet の T-Net は入力点群全体を対象として回転などの用は計算量とメモリ消費が大きい．そのため，グローバルな幾何変換を推定し，補正しようとする．しかし，全体を表す

TB は後述する DB によって点数を削減してから適用する．図

点群は形状が複雑かつ多様であり，また 3 軸周りの回転の自3 に TB の構造を示す．図中のカッコ内の数値は特徴のデータ

その結果，T-Net による，全体形状を対象とした，回転を含め形状であり， ’は入力 RI 特徴の点数， 及び ’は特徴次元数でた幾何変換の補正はうまく機能しない．これに対し提案手法

ある ( > ’)．TB の SA 機構は計算量とメモリ消費量削減のため，ボトルネック構造とし，入力特徴次元数よりも小さなでは，局所点群の形状を対象として 2 段階の回転正規化を行

次元数で計算する．また，TB の SA 機構と FF 層には残差スう．まず，局所点群を対象とし，LRF を用いた回転正規化を

キップ接続 21)を適用する．

由度は高く「正規な向き」の学習と予測が非常に困難である．

施す．次に，その結果に対し，T-Net を用いた回転やスケーリ
ングなどの補正を追加で適用する．全体形状の点群と比較し，局所点群は形状が単純であり，かつその多様性も低い．また，
T-Net の役割は，LRF でほぼ回転正規化された後の小さな補正

520

SA 機構: SA 機構は注目点特徴との関連度に基づいて特徴を集約する処理である．
従来の RI 性を持つ点群解析 DNN では，
FC と max pooling で構成されるグラフ畳み込みにより，個々の入力データに関わらず不変の重みで RI 特徴の集約処理を

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.4 （2023）

行う．提案手法では，SA 機構を用いることにより，個別の入力特徴に適応的に変化する重みで RI 特徴の集約を行う．提案
手法の SA 機構を式 (6) に示す．この SA 機構は Zhao ら 23)が提案したベクトルの SA 機構に基づく．式中のA( ) は集約対

象の点のインデックス集合 (注目点自身を含む)，⊙は要素積である．注目点の SA 機構の出力特徴 . は，注目点特徴 C と式 (10) に DB の処理を示す．ここでX( ), Y( ) は FC であり，A( ) は代表点の 近傍のインデックス集合 (代表点自身を含む)，C は集約対象の近傍特徴，QR は代表点を基準とした式 (9) と同じ相対位置特徴，max はチャネルごとの max
pooling である．
. = Y Z max 7X(C + QR )8[

集約対象の特徴C の関連度 softmax(D(C , C ))で，C を精製した

特 徴 で あ る E(C ) を 重 み 付 け し た 総 和 で あ る ． 関 連 度

softmax(D(C , C )) は注目点特徴と集約対象の特徴を参照して初めて決定するため，個々の入力特徴に適応的に変化する．
なお，softmax はD(C , C ) のチャネルごとに適用する．
. =F softmax 7D(C , C *8 ⊙ E(C )∈K( 6 )∈K( 6 )

3.2.5

(10)

Upsample Block (UB)UB はセグメンテーション用 DNN で用いる，DB で削減した点数を元に戻すブロックである．UB ではまず，点数削減前の各点の 3D 空間における 近傍を，現在残っている点群から(6)取得する．その後，それら近傍点群の RI 特徴を集約し，出力関連度を決めるD( )，及び近傍点特徴を精製するE( ) はする．このとき，DB による削減前の特徴をスキップ接続経由のL( ), M( ), N( ) は 1 層の FC，O( )とP( )は 2 層のPE として相対位置特徴を集約対象の特徴に加算する．式

学習によって決まり，それぞれ式 (7)と(8)で定義される．式中
FC である．QR は後に述べる相対位置特徴である．
D(CS , CT ) = O (L(C ) − M(C ) + QR *E(CV ) = P(N(C ) + QR *(7)で連接する．
また，
UB では前述した SA 機構や DB と同様に，(11) に UB の処理を示す．ここで\( ), ]( ) は FC であり，A( ) は注目点(削減前の点群の各点) の 近傍のインデックス集合，C は集約対象の近傍特徴，QR は式 (9) と同様の相対位置特徴，C ′はスキップさせた点数削減前の特徴，max は(8)

個々の特徴はそれぞれ異なる LRF 空間から抽出されている．

チャネルごとの max pooling，⊕はベクトルの連接である．

そのため，SA 機構で集約する特徴は注目点との相対的な位置. = \ Z max 7](C + QR )8 ⊕ C′ [∈K( 6 )

情報を持たない．そこで注目点と集約対象の点の位置関係を考慮する目的で位置エンコーディング (PE) を行う．提案手法
では PE として，注目点の LRF で回転正規化した集約対象の

3.2.6

(11)

Classification Block (CB)

点の 3D 座標 (相対位置) から抽出した特徴を式 (7) と (8) で加CB は精製した特徴から入力点群の形状識別予測ラベル，ま算する．以下の式 (9) に加算する相対位置特徴QR を示す．

たは入力点群の各点のセグメンテーション予測ラベルを出力W( ) は FC， と はそれぞれ注目点と近傍点の 3D 座標，
は注目点の LRF である．
QR = W((−)*

識別用 DNN の入力側から，256，形状識別クラス数，である．
セグメンテーション用 DNN の CB は 4 層の FC で，その出力(9)Feed Forward 層: FF 層は 2 層の FC で，SA 機構後の個々の特徴を精製する．FF 層では 1 層目の FC で特徴次元数を入力
特徴次元の 2 倍にした後，2 層目の FC で元に戻す．その後，次元数はセグメンテーション用 DNN の入力側からそれぞれ
256, 128, 64, セグメンテーションクラス数，である．

3.2.7

実装詳細と実行環境

提案 DNN の FC は，
T-Net の最終層，SA 機構のO( )とP( )SA 機構と同様に残差スキップ接続する．

3.2.4

する．
識別用 DNN の CB は 2 層の FC で，その出力次元数は，の 2 層目，CB の最終層を除き，その出力特徴には Batch

Downsample Block (DB)DB では点のダウンサンプルを行い，後続する TB での計算量とメモリ消費を抑制しつつ，より広範囲な形状特徴の抽出を行いやすくする．DB では代表点を選択し，代表点の 3D 空間における 近傍の特徴を代表点特徴に集約し，出力する．推論時の代表点は FPS で選択する．学習時の代表点選択は，識別タスクではランダム，セグメンテーションタスクでは FPSである．識別タスク学習時にランダムに選択するのは汎化性能向上が狙いである．セグメンテーションタスク学習時にFPS で選択するのは，後述する UB において，点の分布の偏りが悪影響を及ぼす恐れがある為である．

Normalization (BN) 24)と ReLU を適用する．SA 機構及び FF 層の残差スキップ接続では，出力層の FC からの特徴に BN を適用後，スキップさせた特徴と加算し，ReLU を適用する．SA

機構の関連度 softmax(D(C , C ))と，FF 層の 2 層目の入力特徴には drop 率 0.1 の dropout を適用し，CB 最終層の入力特徴に
は drop 率 0.5 の dropout を適用する．

提案 DNN は Python 3.8.5，深層学習フレームワークとして
TensorFlow (ver. 1.15.4) を用いて実装した．また，共分散行列の固有値分解に numpy (ver. 1.17.3) を使用した．実験に用いた
ハードウェア構成は，GPU が NVIDA GeForce RTX 3090，CPU
が Intel® Core™ i7-6700 CPU @ 3.40GHz である．

521

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.4 （2023）

4.
4.1

実験

点群の形状識別実験

回転した無背景点群と有背景点群の識別タスクで提案手法を評価，既存手法と比較する．本実験では各入力 3D 点群形状をランダム回転して学習と評価を行う．回転条件は z/z，z/SO3，
SO3/SO3 の 3 種で，“/”の左辺が学習データ，右辺が評価デー
タの回転の種類である．z は形状の上向き軸周りの一様ラン(a) ModelNet40 の点群(b) ScanObjectNN の点群例

図 4 形状識別実験で使用する点群形状の例

ダム回転を表し，SO3 は 3 軸周りの一様ランダム回転を表す．

Fig. 4 Examples of point cloud shapes used in classification experiments

4.1.1

評価指標

評価指標には後述するデータセットに含まれるテスト用点
群データにおける形状識別正解率を用いる．識別正解率は，持たない手法は x, y, z 軸のそれぞれの方向に [0.67, 1.5] の範

囲の一様ランダムな非等方スケーリングと [−0.2, 0.2] の範囲

手法ごとに 5 回試行して得た値の平均値とする．各試行の識の一様ランダムな平行移動を行う．提案手法を含む RI 性を持

別正解率は，1 エポック学習するごとにテスト用点群データ

つ手法では上記と同じ範囲の非等方スケーリングのみを行い，で評価した値のうち，全学習エポックの最大値とする．

平行移動は行わない．これは RI 性をもつ比較対象手法が平行移動への不変性を持つためである．すべての手法で共通して，

4.1.2

データセット

正解ラベルにはラベル平滑化 (係数 0.2) を行い，学習率スケジ

無背景点群データセット: 無背景点群の形状識別実験では，

ューラに cosine スケジューラを用いる．学習率とオプティマ

データセットとして ModelNet40 (MN40) 25)を用いる．
MN40 はイザ，エポック数は手法ごとに相性があるので統一しない．

40 カテゴリからなる無背景メッシュ 3D モデルデータセット
であり，9,843 個の学習用モデルと 2,468 個のテスト用モデル

4.1.4

提案手法の学習設定とハイパーパラメータで構成される．MN40 の各モデルには解析対象物の背景など

提案 DNN は，ミニバッチサイズ 16 を用い，MN40 では 200

は含まれない．本実験では PointNet1)に倣い，MN40 の各メッエポック，SONN では 250 エポック学習する．オプティマイ

シュ 3D モデルを 1,024 点の 3D 点群に変換した点群データを

ザには momentum SGD を用いる．
学習率は MN40 では 0.05 か用いる．各点群データは全ての点が原点を中心とする単位球

ら 0.0005 まで，SONN では 0.03 から 0.0003 まで cosine スケに収まるように位置と大きさを正規化する．図 4 (a) は同デー

ジューラで減衰させる．また，DNN の重み (BN を除く) には

タセットに含まれるポリゴンモデルの一例を 1,024 点の 3D 点

L2 正則化を行う．L2 正則化の係数は MN40 では 0.0001，

群データ化した結果の例である．

SONN では 0.0002 とする．いずれのデータセットも，LRF 構

有背景点群データセット: 有背景点群の形状識別実験では，築のための 近傍は 64 点を，T-Net 処理のための 近傍は 32

データセットとして ScanObjectNN PB T50 RS (SONN) 26)を用

点を，それぞれ使用する．LPB の近傍点探索で使用する半径いる．SONN は 15 カテゴリからなる 3D スキャン点群データ

は 0.15 とし，ローカルな TB 及び DB で使用する 近傍は 16セットで，11,416 個の学習用点群と 2,882 個のテスト用点群点とする．DNN の各ブロックの出力特徴次元数は図 1 (a) に則より成る．SONN の各 3D 点群形状は解析対象物の背景を含る．SA 機構内 (式 (7)–(9)) の FC の出力特徴次元数は，識別用

む 2,048 点の点群である．本実験では，RIConv++12)に倣い，

DNN の入力側から 3 層ある TB のそれぞれついて，その入力

SONN の各点群形状から FPS によって選択した 1,024 点を使

特徴次元数の 1/2, 1/4, 1/8 とする．

用する．図 4 (b) は同データセットに含まれるモデルの一例で

4.1.5

実験結果

ある (参考文献 26)より抜粋)．物体(ベッド) のみならず床や壁
無背景点群形状の識別実験: 実験結果を表 1 に示す．提案手などの背景の点も含むことがわかる．

法を含む RI 性を持つ手法はどのような回転条件下にあって

4.1.3

比較対象

も 精 度 の 変 化 は 無 い (RIConv, RI-GCN) ま た は 小 さ い

本実験では，RI 性を持たない既存の 5 手法，RI 性を持つ既(RIConv++) ．その中でも提案手法は，z/z, z/SO3, SO3/SO3 の存の 3 手法，提案手法，の間で比較する．RI 性を持たない既3 つ全ての学習/評価の回転条件下において識別精度が不変で，存手法として PointNet1) ，PointNet++2) ，DGCNN5) ，PCT6) ，かつ，比較した全手法と同等以上の識別精度を示した．これ

PointMLP9)を，RI 性を持つ手法として RIConv11), RIConv++12),

に対し，RI 性を持たない手法，例えば PointNet や PointMLP

RI-GCN18)を，それぞれ比較対象とする．

は，学習時に現れない回転が評価時に与えられる z/SO3 で識各手法を公平に評価するために，データ拡張手法と学習率

別精度を大きく落とす．
例えば，
PointMLP では，z/z では 91.3%

スケジューラは統一する．データ拡張手法について，RI 性をなのに対し，z/SO3 では 39.3%である．また，様々な回転の例

522

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.4 （2023）

表 1 無背景点群 (MN40) の形状識別精度 [%]Table 1 Shape recognition accuracy [%], without background (MN40).

PointNet1)
PointNet++2)
DGCNN5)
PCT6)PointMLP9)
RIConv11)
RIConv++12)
RI-GCN18)
提案手法

RI
No
No
No
No
No
Yes
Yes
Yes
Yes

z/z
87.8
90.2
90.8
90.9
91.1
88.4
91.3
89.8
91.3

z/SO3
24.0
32.7
38.6
36.8
39.3
88.6
76.4
89.7
91.3

SO3/SO3
82.4
87.0
89.2
89.6
90.4
88.4
89.8
89.8
91.3

図 5 ShapeNetPart の入力形状とセグメンテーションラベルの例
Fig. 5 Examples of shapes and its segmentation labels in ShapeNetPart

IoU) を用いる．精度評価の試行は 5 回行い，その平均値を提案手法の C-IoU とする．
試行ごとの C-IoU は学習を行いつつ，

表 2 有背景点群 (SONN) の形状識別精度 [%]1 エポックごとにテスト用点群データで評価して得た中の最Table 2 Shape recognition accuracy [%], with background (SONN)

PointNet1)
PointNet++2)
DGCNN5)
PCT6)PointMLP9)
RIConv11)
RIConv++12)
RI-GCN18)
提案手法

RI
No
No
No
No
No
Yes
Yes
Yes
Yes

z/z
77.6
82.3
85.0
86.1
87.8
73.8
84.4
81.0
87.4

z/SO3
27.6
24.2
32.5
29.4
28.0
73.9
80.5
81.4
87.5

大値とする

SO3/SO3
46.3
55.1
74.9
76.8
79.2
73.6
82.9
81.0
87.4

4.2.2

データセット

本実験では，データセットとして ShapeNetPart27)を用いる．
ShapeNetPart は 16 カテゴリの無背景メッシュ 3D モデル群を
3D 点群に変換したデータセットであり，14,007 個の学習用点
群と 2,874 個のテスト用点群で構成される．ShapNetPart の各点群モデルの各点には，オブジェクトのカテゴリによるが，2–5 種のセグメンテーションラベルが割り当てられている．

を学習したはずの SO3/SO3 の条件下であっても，z/z と比較して一定の精度低下がある．

セグメンテーションラベルの総数は 50 で，その中から各点のセグメンテーションラベルを予測する．本実験では，PointNet1)に倣い，1 形状あたり 2,048 点の点群モデルとする．

有背景点群形状の識別実験: 実験結果を表 2 に示す．z/z における精度は， RI 性を持たない PointMLP が 1 位，提案手法は

図 5 は同データセットに含まれる形状モデルとそのセグメ
ンテーションラベルの例である (参考文献 27)より抜粋) ．

次点である．しかし PointMLP の識別正解率が z/SO3 で大幅に，また SO3/SO3 でも一定程度，低下 する．これに対し提案
手法の識別正解率は z/z, z/SO3, SO3/SO3 で変化が無い．

4.2.3

比較対象

本実験では，RI 性を持たない既存の 5 手法，RI 性を持つ既RI 性を持たない手法の SO3/SO3 での精度低下は MN40 よ

存の 6 手法，提案手法，の間で比較する．RI 性を持たない手り SONN の場合で大きい．NM40 の場合に SO3/SO3 の精度低法 と し て PointNet1), PointNet++2), PointCNN3), SpiderCNN4),下が小さい DGCNN，PCT，PointMLP も，SONN では有意に

DGCNN5)，RI 性を持つ手法として RIConv11)，RIConv++12), Yu

精度が下がる．これは SONN の背景点が原因すると考える．

らの手法 14), RMGNet17), RI-GCN18), AECNN19)を比較対象とす

SONN の背景点は床が多い．z/z 回転では床の上向き軸は変化る．なお，RI 性を持つ比較対象手法の精度値はその論文が報しないため「上向き軸の座標値が小さい点はおそらく床上の告する精度値を用いた．RI 性を持たない手法の精度値には点であり，形状解析に寄与しない．
」と容易に学習ができる．

RIConv11)で報告された精度値を用いた．

しかし SO3/SO3 ではその学習が非常に困難になる．

4.2.4

4.2

提案手法の学習設定とハイパーパラメータ

点群のセグメンテーション実験
提案 DNN はミニバッチサイズ 16 で 200 エポック学習す回転した無背景点群のセグメンテーションタスクで提案手る．オプティマイザには Adam28)を用い，学習率は 0.001 から法を評価，既存手法との精度比較を行う．本実験では各入力

0.00001 まで cosine スケジューラで減衰させる．学習時は平滑

3D 点群をランダムに回転させて学習・評価を行う．回転条件

4.2.1

化係数 0.2 でカテゴリごとに取り得るラベルの範囲をラベル平滑化する．学習時は x, y, z 軸のそれぞれの方向に [0.67, 1.5]

は z/SO3，SO3/SO3 である．

の範囲の一様ランダムな非等方スケーリングを行う．LRF 構

評価指標

築のための 近傍は 64 点とし，T-Net 処理のための 近傍は 32
本実験では評価指標として，入力点群のカテゴリごとに求点を使用する．
LPB の近傍点探索で使用する半径は 0.10 とし，

めた Intersection over Union (IoU) の平均 Category-level IoU (C-

ローカルな TB 及び DB，UB で使用する 近傍は 16 点とする．

523

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.4 （2023）

表 3 セグメンテーション精度 (C-IoU [%]) (ShapeNetPart)
Table 3 Segmentation accuracy in C-IoU [%] (ShapeNetPart)

PointNet1)
PointNet++2)
PointCNN3)
SpiderCNN4)DGCNN5)RIConv11)
RIConv++12)
Yu et al.14)
RMGNet17)
RI-GCN18)
AECNN19)
提案手法

RI
No
No
No
No
No
Yes
Yes
Yes
Yes
Yes
Yes
Yes

z/SO3
37.8
48.2
34.7
42.9
37.4
75.3
80.3
79.2
81.5
77.0
80.2
81.9

SO3/SO3
74.4
76.7
71.4
72.3
73.3
75.5
80.3
79.4
81.4
77.0
80.2
81.9

表 4 回転正規化の有無，T-Net の有無，と形状識別正解率 [%]図 6 2 つの点群 (左) について，注目点 (赤) 近傍の 64 点を回転正規化した結果 (紫) と T-Net で幾何補正を加えた結果 (黄)Table 4 Shape recognition accuracy [%] with and without Rotation
Normalization and T-Net

回転正規化 T-Net の
の有無
有無
なし
なし
なし
あり
あり
なし
あり
あり

MN40

SONN

34.5±1.0
32.8±1.4
91.0±0.2
91.3±0.3

30.3±1.1
28.6±1.5
86.1±0.287.5±0.2

Fig. 6 For the two pointsets (left), 64 points around the focal points (red)are rotation normalized (purple) and then geometrically corrected(yellow) using T-Net

群の座標値の共分散行列を固有値分解して得た LRF をさらにT-Net で幾何調整する 2 段階の幾何変換補正が最高の識別正解率となり，その有効性を確認した．LRF による回転正規化

DNN の各ブロックの出力特徴次元数は図 1 (b) に則る．SA 機
構内 (式 (7)–(9)) の FC はすべて，その SA 機構への入力特徴
次元数の 1/4 を出力特徴次元数とする．また，本実験では，既存手法と同様に，入力形状カテゴリ (chair, airplane など) の
one-hot ベクトルを 1 層の FC (出力特徴次元数: 64) と BN,
ReLU によって精製後，CB の直前の各点の特徴に連接する．

4.2.5

実験結果

により z/SO3 条件下で高い識別正解率が得られる．さらに，
LRF による回転正規化に T-Net による 2 段階目の幾何補正を行うことで，LRF のみの幾何補正と比べ，差は小さいものの，有意な精度改善が見られた．表に見られるように T-Net のみ
では z/SO3 条件には対応できない．T-Net のみでは自由度の高
い SO3 回転を加えられた形状の様々な例を十分には学習でき
ず，回転の予測と正規化に失敗すると考えられる．
T-Net 適用前の LRF による回転正規化結果と，T-Net を適用

ShapeNetPart でセグメンテーション精度 (C-IoU) を評価した結果を表 3 に示す．提案手法はセグメンテーションタスク
においても既存手法を上回る精度を記録し，提案手法の有効性を示した．なお，提案 DNN は特徴次元数や集約する近傍の数を低く設定した．それらを大きくとれば精度が向上する可後の LRF による回転正規化を可視化して図 6 に示す．図 6 の左側の点群は DNN への入力点群であり，右側が注目点 (赤色の点) 近傍 64 点の回転正規化結果である．右側の紫色の点群
が T-Net 適用前の LRF による幾何補正 (回転正規化) 後，黄色の点群が T-Net による追加の幾何補正後の点群である．T-Net
は局所点群の微小な回転とスケール拡大を合わせた幾何調整能性がある．

を行っていることがわかる．スケールの拡大は Qian らの4.3

Ablation study

PointNeXt10)も利用している．Qian らは局所点群のスケールが提案手法を構成する各処理の有効性を ablation study で調査する．
本実験では無背景点群 (MN40) と有背景点群 (SONN) の識別正解率で評価する．各実験は回転条件 z/SO3 のみで行う．

4.3.1

小さいと学習が難しくなることを指摘し，局所点群のスケールを人手で拡大してから特徴を抽出した．提案 DNN ではこれと類似のスケール拡大を，学習に基づいて T-Net が行う．

4.3.2

LRF による回転正規化と T-Net の有効性調査

本実験では LRF による回転正規化の有無，と T-Net の有無，の合計 4 通りの組合せを比較し，LRF による回転正規化と T-

局所 RI 特徴群全体の配置情報の有効性調査

提案 DNN のグローバルな TB を = 16, 32のローカルな TBに置換した DNN の識別正解率を計測し，局所 RI 特徴群全体の 3D 空間でのグローバルな配置情報の有効性を調査する．

Net による LRF の幾何調整の有効性を調査する．
実験結果を表 4 に示す．MN40 と SONN の両方で，近傍点実験結果を表 5 に示す．最終層の集約対象の点数を増やしていくことで形状識別正解率の向上が確認され，グローバル

524

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.4 （2023）に TB を用いた場合が最も高い識別正解率となった．この結果から既存の LRF 方式の DNN が考慮しなかった局所 RI 特
徴群全体の 3D 空間における配置情報の利用が形状識別精度向上に有効であることを確認した．

4.3.3

SA 機構の有効性調査

表 5 TB 最終層の 近傍数
Table 5

TB 最終層の 近傍数
= 16
= 32
= 64 (global)

提案 DNN において，TB 内の SA 機構をグラフ畳み込みに構 (式 (6)) から関連度 softmax(D(C , C )) を除去し，特徴群の集約処理を総和からチャネルごとの max pooling に置き換える

MN40
90.8±0.1
91.1±0.1
91.3±0.3SONN
86.6±0.387.1±0.287.5±0.2

表 6 SA 機構とグラフ畳み込みの比較置き換えた DNN の識別正解率を計測，SA 機構による特徴抽出と比較する．本実験のグラフ畳み込みは提案手法の SA 機

Number of k nearest neighbors in the final TB layer

Table 6

Self-attention vs GraphConv

特徴抽出機構グラフ畳み込みSA 機構

MN40
91.2±0.2
91.3±0.2SONN87.3±0.187.5±0.2

ことで実装した．
SA 機構とグラフ畳み込みの識別正解率を表 6 に示す．いずれのデータセットでも SA 機構を用いる場合の方が高い精度が得られた．このことから SA 機構による入力データ適応的に変化する重みを用いた特徴集約が識別精度向上につながっていると考えられる．なお，transformer 系の DNN は，大規模

表7決定法が精度に与える影響

Table 7

Impact of

決定法
固有ベクトル
メッシュ法線

decision method

MN40
91.3±0.3
91.5±0.2

ShapeNetPart
81.9±0.282.3±0.1

データでの事前学習が有効であるとの報告がある 8)．したがって，大規模データセットで提案 DNN を事前学習すること
で，精度が向上する可能性がある．

上回る精度を記録した．さらに ablation study により，学習による LRF の幾何調整，局所 RI 特徴群全体の 3D 空間における配置情報の利用，SA 機構による入力データ適応的な局所特徴

4.3.4

メッシュ法線ベクトルを用いた LRF 構築の精製と統合の双方が精度向上に有効であることを確認した．

メッシュ 3D モデル (例えば ModelNet40 や ShapeNetPart) から作成した点群の場合，メッシュの面が持つ法線ベクトルを利用できることがある．そこで，本実験では提案 LRF の z
軸() を固有ベクトルではなくメッシュを構成する面の法線ベクトルで決定し，精度への影響を調査する．本実験では今後の課題として，3D センサから獲得される 3D 点群に見られる各種のノイズ，例えば背景点群，見通し外部の欠損，サンプル密度のばらつきなどに頑強な手法の構築や，回転正規化した局所点群に適したデータ拡張手法の開発などがあげられる．

ModelNet40 および ShapeNetPart から法線を持つ有向点群モデ

参考文献

ルを作成して実験を行う．SONN はスキャンデータであり法線データはないためここでは用いない．ShapeNetPart の評価

1) C. R. Qi, H. Su, M. Kaichun, L. J. Guibas: “PointNet: Deep Learning on

指標は 4.2 節と同様の 5 回の試行の結果を平均した C-IoU で

Point Sets for 3D Classification and Segmentation", Proc. of IEEE

ある．

Conference on Computer Vision and Pattern Recognition, pp. 77–85

表 7 に固有ベクトルをとする場合とメッシュ法線を(2017).

とする場合の MN40 における識別正解率と ShapeNetPart

2) C. R. Qi, L. Yi, H. Su, L. J. Guibas: “PointNet++: Deep Hierarchicalにおける C-IoU を示す．いずれのデータセットでも，局所点

Feature Learning on Point Sets in a Metric Space”, Proc. of Neural群から得た固有ベクトルではなく，メッシュ法線ベクトルを用いた方，差は小さいものの高い精度が得られた．安定した

On X-Transformed Points”, Proc. of Neural Information Processing

LRF の構築が精度向上につながることが考えられる．

5.

Information Processing Systems, pp. 5105–5114 (2017).
3) Y. Li, R. Bu, M. Sun, W. Wu, X. Di, B. Chen: “PointCNN: Convolution

Systems, pp. 828–838 (2018).

まとめ4) Y. Xu, T. Fan, M. Xu, L. Zeng, Y. Qiao: “SpiderCNN: Deep Learning on

本研究では回転不変 (RI) 性をもった高精度な 3D 点群解析
DNN の構築を目的とし，局所点群を LRF によって回転正規化することで RI 性を獲得する DNN の提案を行った．提案手法では，学習による LRF の回転と学習に基づくスケールの幾何調整，自己注意 (SA) 機構を用いた局所 RI 特徴とそれら特徴群全体の 3D 空間における配置情報の抽出と統合，を組み合わせる．ランダム回転した 3D 点群の識別タスクとセグメ
ンテーションタスクで評価した結果，提案手法は既存手法を

525

Point Sets with Parameterized Convolutional Filters”, Proc. of European
Conference on Computer Vision, pp. 90–105 (2018).
5) Y. Wang, Y. Sun, Z. Liu, S. E. Sarma, M. M. Bronstein, J. M. Solomon:“Dynamic Graph CNN for Learning on Point Clouds”, ACM Trans. on
Graphics, Vol. 38, No.5, pp. 1–12 (2019).
6) M.-H. Guo, J.-X. Cai, Z.-N. Liu, T.-J. Mu, R. R. Martin, S.-M. Hu: “PCT:
Point Cloud Transformer”, Computational Visual Media volume, Vol. 7,
No.2, pp.187–1999 (2021).

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.4 （2023）

7) H. Zhao, L. Jiang, J. Jia, P. Torr, V. Koltun: “Point Transformer”, Proc. of22) T. Furuya, R. Ohbuchi: “Diffusion-on-Manifold Aggregation of Local

IEEE/CVF International Conference on Computer Vision, pp. 16259–

Features for Shapebased 3D Model Retrieval”, Proc. of ACM

16268 (2021).

International Conference on Multimedia Retrieval 2015, pp. 171–178

8) X. Yu, L. Tang, Y. Rao, T. Huang, J. Zhou, J. Lu: “Point-BERT: Pre-(2015).

training 3D Point Cloud Transformers with Masked Point Modeling”, Proc.

23) H. Zhao, J. Jia, V. Koltun: “Exploring Self-Attention for Imageof IEEE/CVF Conference on Computer Vision and Pattern Recognition,

Recognition”, Proc. of IEEE/CVF Conference on Computer Vision and

pp. 19313–19322 (2022).

Pattern Recognition Conference, pp. 10073–10082 (2020).

9) X. Ma, C. Qin, H. You, H. Ran, Y. Fu: “Rethinking Network Design and24) S. Ioffe, C. Szegedy: “Batch Normalization: Accelerating Deep Network

Local Geometry in Point Cloud: A Simple Residual MLP Framework”,

Training by Reducing Internal Covariate Shift”, Proc. of International
Conference on Machine Learning, pp. 448–456 (2015).

Proc. of International Conference on Learning Representations (2022).
10) G. Qian, Y. Li, H. Peng, J. Mai, H. A. A. K. Hammoud, M. Elhoseiny, B.

25) Z. Wu, S. Song, A. Khosla, F. Yu, L. Zhang, X. Tang, J. Xiao: “3D

Ghanem: “PointNeXt: Revisiting PointNet++ with Improved Training andShapeNets: A Deep Representation for Volumetric Shapes”, Proc. of IEEE

Scaling Strategies”, Proc. of Neural Information Processing Systems

Conference on Computer Vision and Pattern Recognition, pp. 1912–1920(2015).

(2022).
11) Z. Zhang, B.-S. Hua, D. W. Rosen, S.-K. Yeung: “Rotation Invariant26) M. A. Uy, Q.-H. Pham, B.-S. Hua, D. T. Nguyen, S.-K. Yeung: “Revisiting

Convolutions for 3D Point Clouds Deep Learning”, Proc. of International

Point Cloud Classification: A New Benchmark Dataset and Classification

Conference on 3D Vision, pp. 204–213 (2019).

Model on Real-World Data”, Proc. of IEEE/CVF International Conference12) Z. Zhang, B.-S. Hua, S.-K. Yeung: “RIConv++: Effective Rotation
Invariant Convolutions for 3D Point Clouds Deep Learning”, Internationalon Computer Vision, pp. 1588–1597 (2019).
27) L. Yi, V. G. Kim, D. Ceylan, I-C. Shen, M. Yan, H. Su, C. Lu, Q. Huang,

Journal of Computer Vision, Vol. 130, No. 5, pp.1228–1243 (2022).

A. Sheffer, L. Guibas: “A Scalable Active Framework for Region13) Z. Xiao, H. Lin, R. Li, H. Chao, S. Ding: “Endowing Deep 3d M Vol. 130,

Annotation in 3D Shape Collections’’, ACM Trans. on Graphics, Vol. 35,

No. 5, pp.1228–1243 (2022).odels With Rotation Invariance Based On
Principal Component Analysis”, Proc. of IEEE International Conference

No. 6, pp. 1–12 (2016).
28) D. P. Kingma, J. Ba: “Adam: A Method for Stochastic Optimization”, Proc.
of International Conference on Learning Representations, pp. 1–15 (2015).

on Multimedia and Expo, pp. 1–6 (2020).
14) R. Yu, X. Wei, F. Tombari, J. Sun: “Deep Positional and Relational Feature（2023 年 03 月 10 日 受付）

Learning for Rotation-Invariant Point Cloud Analysis”, Proc. of European

刈 込 喜 大Conference on Computer Vision, pp. 217–233 (2020).
15) F. Li, K. Fujiwara, F. Okura, Y. Matsushita: “A Closer Look at Rotationinvariant Deep Point Cloud Analysis”, Proc. of International Conference
on Computer Vision, pp. 16218–16227 (2021).
16) T. Furuya, R. Ohbuchi: “Deep Aggregation of Local 3D Geometric2021 年 山梨大学工学部コンピュータ理工学科卒業．同年 山梨大学大学院 医工農学
総合教育部修士課程コンピュータ理工学コース入学．2023 年 同 修了．在学中は深層学習を用いた 3 次元形状解析に関する研究に従事．

Features for 3D Model Retrieval”, Proc. of British Machine Vision

古 屋 貴 彦Conference, p. 121, (2016).
17) T. Furuya, X. Hang, R. Ohbuchi, J. Yao: "Convolution on RotationInvariant and Multi-Scale Feature Graph for 3D Point Set Segmentation",
IEEE Access, Vol. 8, pp. 14025–140260 (2020).
18) S. Kim, J. Park, B. Han: “Rotation-Invariant Local-to-Global
Representation Learning for 3D Point Cloud”, Proc. of Neural Information
Processing Systems (2020).
19) J. Zhang, M.-Y. Yu, R. Vasudevan, M. Johnson-Roberson: “Learning
Rotation-Invariant Representations of Point Clouds Using Aligned Edge
Convolutional Neural Networks”, Proc. of International Conference on 3D
Vision, pp. 200–209 (2020).
20) A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez,
L. Kaiser. I. Polosukhin: “Attention Is All You Need”, Proc. of Neural
Information Processing Systems, pp. 6000–6010 (2017).
21) K. He, X. Zhang, S. Ren, J. Sun: “Deep Residual Learning for Image
Recognition”, Proc. of IEEE Conference on Computer Vision and Pattern
Recognition, pp. 770–778 (2016).

526

2008 年 山梨大学 工学部コンピュータ・メ
ディア工学科卒業．2010 年 山梨大学大学院
医学工学総合教育部修士課程コンピュータ・メディア工学専攻修了．同年 ニスカ株
式会社 (現：キヤノンファインテックニスカ株式会社) 入社．2015 年 山梨大学大学院医学工学総合教育部博士課程修了．工学博士．
同年より山梨大学工学部コンピュータ理工学科助教．興味は 3 次元形状や 2 次元画像
等のマルチメディア情報検索，機械学習．

大 渕 竜 太 郎

（正会員）
1981 年 上智大学理工学部電気電子工学科卒業．1983 年 電気通信大学大学院計算機科学科修士課程修了．同年日本アイ・ビー・エ
ム (株) 入社．1994 年 University of North
Carolina at Chapel Hill より Ph.D. 取得．同年
より IBM 東京基礎研究所勤務，主任研究員．1999 年 山梨大学コンピュータ・メディ
ア工学科助教授，2007 年より同教授．興味はマルチメディア情報，特に 3 次元形状の比較・検索・認識・編集など．