情報処理学会論文誌

Vol.0 No.0 1–7 (??? 1959)

生成的特徴量の角度依存性に着目した
視点角度推定の精度向上
チェン マーク1,a)

川上 玲2,3,b)

佐藤 育郎2,3,c)

苗村 健1,d)

受付日 xxxx年0月xx日, 採録日 xxxx年0月xx日

概要：画像の視点角度推定は，ロボットの行動決定や物体認識精度の向上に役立つ．視点角度推定の際，教師データを用いて角度の回帰を学習すると同時に，生成タスクを補助的に使用し，推定精度を向上させる従来法が存在する．これは，ある画像を入力した際，そのインスタンスを別の視点から見た画像として再構成するタスクを補助的に使うことで，視点角度によって見え方が変化する幾何構造の学習が進み，より正確な視点角度推定が可能になることに基づく．本稿では，視点角度推定の回帰に必要な情報のみを効率よく逆伝播させるため，上記の生成的なデコーダに入力する潜在特徴を，視点角度によって変化するものと不変のものに分割する．また，用いる画像を左右反転させたものも学習に用いるデータ拡張と自己教師あり学習を導入する．これらの工夫により，特に教師ラベルが少ない場合に，既存手法の角度推定の精度を大幅に改善できることを実験的に示す．
キーワード：視点角度推定，オートエンコーダ

Improving the Accuracy of Viewpoint Angle Estimation by Focusing
on the Angle Dependence of Generative Features
Mark Chen1,a)Rei Kawakami2,3,b)

Ikuro Sato2,3,c)Takeshi Naemura1,d)Received: xx xx, xxxx, Accepted: xx xx, xxxx

Abstract: Estimating the viewpoint angle of an image is useful for determining robot actions and improving
the accuracy of object recognition. An existing method improves the accuracy of viewpoint-angle estimationby learning angle regression with supervised data and using a generation task as an auxiliary. The generation task, which reconstructs an instance of a given image as an image viewed from a diﬀerent viewpoint,
enhances the learning of the geometric structure caused by the viewpoint changes. In this paper, we improvethe method by dividing the latent features into those that are variant and invariant to the viewpoint changes.
This can eﬃciently back-propagate only the information necessary for the regression of viewpoint angle estimation. The latent features input to the generative decoder for the generation task are divided into thosethat vary with viewpoint angle and those that are invariant. In addition, we introduce a data augmentationthat exploits the symmetric characteristics of the objects in the images. We experimentally show that theseideas can signiﬁcantly improve the accuracy of angle estimation of the existing method, particularly when
there is little supervision in training.
Keywords: View Point Estimation, AutoEncoder

1
2
3
a)
b)
c)
d)

東京大学大学院情報理工学系研究科
東京工業大学
デンソー IT ラボラトリ
mchen@nae-lab.org
reikawa@c.titech.ac.jp
isato@c.titech.ac.jp
naemura@nae-lab.org

c 1959 Information Processing Society of Japan⃝

1. はじめに
画像におけるカメラの視点角度推定はコンピュータビ
ジョンの分野の中でも重要なタスクの一つである．例えば，産業用ロボットを用いるとき，物体を正しく把持する1

情報処理学会論文誌

Vol.0 No.0 1–7 (??? 1959)

ためには対象となる物体の向き，つまりカメラが物体をど𝑧の角度から撮っているかを正しく推定する必要がある．まviewpoint

た，自動運転の分野では，事故を防ぐために他車両の運動予測が必須であるが，他車両の進行を予測するには車の向きを正しく推定する必要がある．

𝜙

このように視点角度推定には様々な応用があり，古くか𝑦ら研究されている．初期では物体にマーカーをつけること𝜃で，カメラに映るマーカーの位置関係から画像内での物体の位置と角度，つまりカメラの視点角度を求めていた．そ𝑥の後，Structure from Motion (SfM) のように，マーカーなどがなくとも複数の視点から取られた画像を用いて 3 次
元構造とそれぞれの画像の視点角度を推定する方法が現Encoder(𝜃, 𝜙)=(-90, 20)

Encoder(𝜃, 𝜙)=(120, -15)

れた．CNN (Convolutional Neural Networks) の発展以降
は，視点角度推定をパターン認識問題と捉え学習ベースで
視点角度推定を行う方法が台頭し，単一の画像からでも視点角度を推定できるようになりつつある．視点角度の教師
データを極力減らした半教師あり学習の設定に関しても研究が行われている [1]．
本稿では，単一の画像に対して視点角度を推定できる，学習ベースの手法を提案する．つまり，テスト時には複数

図 1: 視点角度推定の概要．クラスに対して標準となる座の画像を入力するのではなく，一枚の画像のみを入力し，標の位置を定め，その座標におけるカメラ位置を推定する．

その画像に対しての視点角度を推定する．視点角度は図 1

図では方位角 θ と仰角 ϕ を推定している．

に示すようにクラスごとに定義された座標系により記述すFig. 1 Overview of viewpoint angle estimation. Deﬁne the po-

ることとする．具体的には視点角度は，カメラの光学中心

sition of the standard coordinates for the class and es-の方位角 θ ならびに仰角 ϕ の 2 つのスカラーによって表す．提案手法の入力は RGB 画像とする．ここでは簡単のtimate the camera position at those coordinates. In theﬁgure, the azimuth angle θ and elevation angle ϕ are
estimated.

ため一枚の画像には一個の物体が存在することとする．学
習データには多種類の物体がそれぞれ複数の視点角度からが含まれる．ところが，Mariotti らの手法では生成的タス撮像された画像が含まれることとする．出力の真値としてクにおいて前者の 3 次元の依存性をもつ特徴量のみが使用

真の視点角度 (θ, ϕ) を与える．学習時，真値が全部のデーされている．

タに対して与えられているケースと，一部のデータに対して与えられているケースを評価する．

そこで，本研究では視点角度に非依存の特徴も潜在表現に明示的に加えることで，生成ネットワークの記述能力が単一画像からの視点推定問題に対して，生成的タスクを改善されるとともに，回帰タスクの精度向上が期待できる

補助的に用いることで視点角度推定の精度を改善できること考えた．また，車や椅子などおおよその左右対称性を持とを示した Mariotti らの研究 [1] がある．この研究では，

つデータにおいては，左右反転画像も同じインスタンスとある画像の視点角度を CNN と全結合層によって回帰する

して見ることができる．そこで，学習に用いる画像の左右

タスクに加えて，生成的タスクを補助的に導入する．この反転画像も用いるデータ拡張と自己教師あり学習を導入し生成タスクは，回帰ネットワークへの入力画像 A にある物た．このように潜在表現の分割，データ拡張の導入をした′

体を別の視点角度から撮像した画像 A を入力として，画像 A を生成するものである．ただし，生成ネットワークには回帰ネットワークが出力する角度情報を入力することとする．このような視点角度依存の生成タスクの利用により，特に半教師あり学習の設定において回帰精度を改善させられることが示されている．

ところ，視点角度推定の精度を向上させることができた．

2. 関連研究2.1 視点角度推定
視点角度推定には，SfM [2], [3], [4] を用いるなどテスト時に同じインスタンスについて複数の画像を入力し計測的

一般的に，画像生成タスクにおいて有効な潜在表現は 3に行う方法と，テスト時に一つずつ画像を入力しそれぞれ次元的な位置や角度に依存した成分と，それらに非依存なについて推定し認識的にシングルショットで行う方法が存

成分の 2 種類に分けられる．前者には物体の三次元構造に在する．さらに，連続的な視点角度を推定する回帰問題と関する情報が，後者には大域的な色情報やクラス情報など

して視点角度推定を扱う方法 [1], [5] と，視点をいくつかの

c 1959 Information Processing Society of Japan⃝2

情報処理学会論文誌

Vol.0 No.0 1–7 (??? 1959)

ビンに分けて分類問題として扱う方法 [6], [7] がある．近年

この研究では，3D モデルからレンダリングされた画像

では特に教師あり学習での視点角度推定において十分に高を学習に用い，視点角度の真値を教師あり，ないしは半教

い精度が得られるようになってきている．教師あり学習で師あり学習の要領で利用する．学習の際，視点角度推定のは，例えば視点角度・バウンディングボックス・特徴点のネットワークに入力する画像 I と条件付きオートエンコー

ラベルを用いた特徴点検出タスクと併せて行う方法 [8] やダに入力する画像 I ′ の 2 枚の画像を用いる．ここで，I とRGB 値に加えて深度情報も用いる方法 [9]，一回転で元にI ′ は同じインスタンスの異なる視点角度からの画像であ戻る視点角度のビンに対応してシリンダー状の畳み込み層

る．図 2b のようなネットワークにおいて上の Encoder でを用いる方法 [10] などがある．

は fv (I) = v によって画像 I における視点角度 v を回帰す

確かにこれらの教師ありの手法では高い精度が実現されているものの，視点角度などのラベル付けには莫大なコストがかかり，ラベルがついているデータも限られているため，より少ない情報を学習に用いる方法に対する需要が大る．つまり，ラベル付きデータとして真値を用いる画像にのみ生じる視点角度推定の損失 Lr は

Lr = ∥fv (I) − v∥2(1)

きい．そこで，視点角度のラベルをなるべく使わない方法となる．再構成側では，下の Encoder によって得られたや，視点角度以外の情報の使用を抑えるような方法が研究

3 × n の潜在表現 fe (I ′ ) に回帰された視点角度 v から得らされている．より少ない視点角度のラベルを用いる研究でれる 3 × 3 の回転行列 R(fv (I)) をかけ，デコーダ fd に入は，例えば [6] は視点角度のラベルは完全に用いずに，予め力することで視点角度推定のエンコーダに入力した画像 I

定めた複数の視点からの画像を予め定めた順番で入力し，を再構成する．つまり，再構成側の損失 Lg はクラス尤度を表すベクトルがワンホットに近くなるように学習する．また，[1] は条件付きオートエンコーダによる

Lg = ∥fd (R(fv (I))fe (I ′ )) − I ′ ∥2(2)

生成的タスクを補助的に用いることで視点角度に対する半となる．よって全体の損失は式 1 と式 2 をあわせたものと強師あり学習の精度を向上させている．一方，視点角度以なるので，真値 v がラベルとして与えられるときに 1，与外の学習情報の削減では，本物の画像に近い合成画像を生えられないときに 0 となる変数 [v ̸= ∅] を用いて成し，生成した画像のみによる学習によって本物の画像を用いたテストで比較的高い精度を実現することでラベル付

L = [v ̸= ∅]Lr + Lg

(3)

き画像のコストの問題を解決する [7], [11] ことや，画像のと表される．これによって視点角度推定の精度は式 1 のよ

深度情報を使わず RGB 値のみを用いる [12] ことが考えらうな視点角度の回帰のみを行うときよりも大幅に改善されれる．

た．また，用いるラベル付き画像の数が少ない場合である

また，視点角度推定問題と他の認識問題に相互作用がほど画像再構成の生成タスクによる精度上昇の幅が大きく期待されるとして，他の問題とのマルチタスクで解く研なり，かつ全ての画像の視点角度のラベルを用いる場合で究もなされている．視点角度推定でのマルチタスクの導も精度が上昇することも確認された．

入の例としては，物体のクラス分類 [10], [13]，特徴点抽
出 [8], [14]，物体検出 [10], [15]，画像再構成 [1], [16]，3D
モデル再構成 [17], [18] が挙げられる．本研究はこの中でも画像再構成と併せて視点角度推定問題をマルチタスクで解く方法にあたる．

2.2 生成的タスクを用いた視点角度推定
近年，CNN は 3 次元構造をうまく理解しておらず，無理
やり 2 次元で解釈しているのではないかという議論がなされている．具体的には，認識において CNN は形状よりもテクスチャ情報によって物体のクラス問題を解いているのではないかと考えられている [19]．そこで，人間の脳のよ
うに 2 次元から 3 次元を知覚する生成的なタスクと認識的なタスクという本来同時に解くと性能が下がるものをうまく相互に補助させて性能を上げる研究がなされている [20]．
視点角度推定でもそのような動機の研究 [1], [21] がなされており，その中でも条件付きオートエンコーダを用いて視点角度の回帰を補助する研究 [1] を紹介する．

c 1959 Information Processing Society of Japan⃝3

情報処理学会論文誌

Vol.0 No.0 1–7 (??? 1959)

Viewpoint vector

3. 提案手法

Encoder

第 2.2 節の手法では生成タスクを補助的に使用することで推定精度を向上させているが，生成的なデコーダに入力する潜在表現は回転によって全て変化を受けてしまう．そ(a) 視点角度推定における回帰モデル

こで，本研究では潜在表現において視点角度に依存する特Regression

徴と視点角度に非依存の特徴に分割する．具体的には，図Viewpoint vector

Encoder

3×3

3×𝑛

Rotation matrix

Latent2c のように潜在特徴の一部にのみ回転をかける手法を提案する．つまり，回転をかける Shape を表現するような潜在
Generation

表すような潜在特徴の一部を La ∈ R3l とするとこれらは( )Ls= fe (I ′ )(4)
La

Decoder

Encoder

特徴の一部を Ls ∈ R3m ，回転をかけない Appearance を

3×𝑛

Same Image(b) 生成的タスクを導入した視点角度推定モデルで得られるので，画像再構成の損失は

Lg = ∥fd (R(fv (I))Ls(3×m) , La(3×l) ) − I ′ ∥2(5)

Regressionと表される．なお，ここで L(a×b) は L を a × b の行列に変Viewpoint vector形 (reshape) したものを表す．

Encoder

また，今回用いるデータに含まれるインスタンスはそのGeneration
Viewpoint
Dependent
Latent3×𝑚

左右反転した画像も同一のインスタンスとして扱うことができる．ここで左右対称性とは，図 1 に示す y 軸の符号のDecoder

Encodercopy

3×𝑙

ほとんどがおおよその左右対称性を持つ物体であるため，入れ換えに対して形状がほぼ変化しないことを表す．そこ

Viewpoint
Independent
LatentSame Image

で，左右反転画像も学習に用いるデータ拡張と自己教師あり学習も潜在表現の分割に加えて導入する．左右反転画像(c) 提案手法のモデルも学習に用いることで，それぞれのインスタンスにおいて

図 2: 視点角度推定に用いるネットワークの概要．図 2a は異なる視点角度からの画像の数を 2 倍に増やすことができ

視点角度推定を回帰のみで行うネットワーク，図 2b は回る．一部の画像には，搭載している装備が左右どちらかに帰に生成的タスクを補助的に加えたネットワーク，図 2c

偏っている車両など左右対称でない物体も存在するが，そはオートエンコーダの潜在表現を視点角度依存性の有無にれが左右反転していても視点角度を推定できるべきであ

よって分割したネットワークを示す．図 2b，2c では回帰るので影響は少ないと考えられる．視点角度推定のネットで得られた視点角度を 3 × 3 の回転行列に変形し，回転行

ワークでは，元の画像がラベル付きデータとして用いられ列を生成タスクでのエンコーダから得られた潜在変数にかる場合は元の画像真値を左右反転したものを真値として用けることで 3 次元空間での潜在表現を回転させている．回

い，ラベルなしデータとして用いられる場合は視点角度の転させた潜在表現を用いて画像再構成を行うことで，画像推定結果が互いに左右反転するようになるように自己教師

再構成の損失を回帰のネットワークに伝播させている．

ありの損失をかける．画像 I の左右反転画像を Iinv ，視点

Fig. 2 Overview of the networks used for viewpoint an-

角度 v を左右反転させる操作を T (v) と表すと，操作 T (v)gle estimation. Figure 2a shows a network where theは v の方位角が θ，仰角が ϕ のとき仰角は変えずに方位角

viewpoint angle estimation is performed by regression
alone. Figure 2b shows a network where regression isの符号を反転させる操作，つまり (θ, ϕ) → (−θ, ϕ) を表す．

supplemented by a generative task. Figure 2c shows

すると，画像 I, Iinv の視点角度推定の損失の合計は，視点

a network where the latent representation of the au-

角度推定における教師あり学習と自己教師あり学習の重み

toencoder is separated according to the presence or ab-を調整するパラメータ λ を用いてsence of 3D rotation dependency.In Figures 2b and 2c,
the viewpoint angles obtained from the regression aretransformed into a 3 × 3 rotation matrix, and the latent
representation in 3D space is rotated by multiplying therotation matrix by the latent variable obtained from the

Lr = [v ̸= ∅](∥fv (I) − v∥2 + ∥fv (Iinv ) − T (v)∥2 )+λ[v = ∅]∥fv (I) − T (fv (Iinv ))∥2 (6)と表される．また，画像 Iinv についても画像 I と同じ様

encoder in the generation task. By performing imageに，式 5 と同様に表されるような画像 I ′ を生成的なエン

generation using the rotated latent representation, the

コーダの入力に用いた再構成損失を用いる．

loss of the image generation is propagated to the network of regression.

c 1959 Information Processing Society of Japan⃝4

情報処理学会論文誌

Vol.0 No.0 1–7 (??? 1959)

表 1: 視点角度推定精度．従来法に比べて，潜在表現の分

4. 実験
視点角度推定の実験の詳細と結果を以下に記す．評価指標は，視点角度の推定値と真値の差の絶対値が 30◦ 以下であることを正答と見なしたときの正答率と置く．これは視点角度推定の分野においてよく用いられている指標である [1], [10], [17]．

割 (Separete) とデータ拡張 (Data Augmentation) をそれ
ぞれ導入した場合の両方で精度が上がっており，潜在表
現の分割とデータ拡張を同時に導入した場合 (Separate &Data Augmentation) が最も精度が高いことが分かる．*著者らによる再現．
Table 1 Accuracies of viewpoint angle estimation.
Compared to the conventional method, the accuracy
is improved in both cases where latent representation

4.1 データセット
実験には ShapeNet [22] を用いる．ShapeNet は，55 のクラスを含み合計 51, 300 の 3D CAD モデルからなるが，本実験では 3, 676 のインスタンスを含むクラス car のデータを用いる．各画像のレンダリングに用いるカメラ視点の◦◦◦separation and data augmentation are introduced respectively, and the highest accuracy is obtained whenlatent representation separation and data augmentation are introduced simultaneously. *Reproduction
by the authors.

◦

方位角は −180 〜180 ，仰角は −20 〜40 からランダム

100%

10%

1%

にそれぞれ数値を選び，各インスタンスに付き 10 枚の画

Mariotti+[1]*

93.6

89.3

77.9

像をレンダリングする．また，学習・検証・テスト用にそSeparate

93.7

89.8

79.2

れぞれインスタンスの 70, 10, 20% を用いる．さらに，半教Data Augmentation

95.3

91.1

82.8

師あり学習での結果を得るため，レンダリング画像をラベ

Separate & Data Augmentation

95.3

91.4

83.3

ルつきデータとして扱うインスタンスの割合を 1, 10, 100%と変化させて実験する．つまり，ラベルの割合が 10% のとき，学習に用いる 2, 573 のインスタンスのうち 257 のイン
スタンスからレンダリングされた 2, 570 枚の画像について
はラベルを用いて学習し，残りの 2, 316 のインスタンスからレンダリングされた 2, 3160 枚の画像についてはラベルを用いずに学習する．

4.2 実装まず視点角度推定のネットワークのみを学習し，次に視表 2: 潜在表現の構成比率と視点角度推定精度との関係．
比率は，（3D 回転を適用するベクトルの要素数：3D 回転を適用しないベクトルの要素数）を表す．1:1 の比率のときに一番精度が良くなっていることが分かる．なお，ここでの比較では，左右反転画像を用いたデータ拡張と自己教師あり学習は適用せず，潜在表現の分割のみを適用させている．*著者らによる再現．
Table 2 The relationship between the compositions of

点角度推定のネットワークは固定した状態で再構成のネッthe latent representations and accuracies of

トワークを学習する．最後に全体を ﬁne-tuning する．視viewpoint angle estimation. It can be seen that

点角度推定用のエンコーダは conv 層と maxpooling 層か

the accuracy is best when the ratio is 1:1. Note that inらなるブロックが 6 つと，その後ろの 2 層の conv 層から構成されている．また，視点角度の損失には 3 次元空間内
でのカメラ位置の座標に対する MSE を用いている．再構

this comparison, data expansion and self-supervised
learning using left-right reversed images are not applied, only latent representation segmentation is applied. *Reproduction by the authors.

成用のエンコーダは 5 つのブロックからなり，それぞれの

100%

10%

1%

93.3

89.3

77.9

93.7

89.8

78.5

Ours (1:1)

93.7

89.8

79.2

Ours (1:3)

93.7

89.3

78.5

ブロックには 2 層の conv 層が含まれ，2 層目のストライド

Mariotti+[1]*を 2 にすることで空間解像度を下げている．再構成用のデOurs (3:1)

コーダは，再構成用のエンコーダを逆にした構成である．
また，画像再構成の損失には Parceptual loss [23] を用いている．

4.3 実験結果に分けるときの分割の比率による精度の変化を表 2 に示

潜在表現の分割と，左右反転画像を利用したデータ拡張

す．潜在変数全体に 3D 回転をかける従来手法と比べて，を導入した実験結果を表 1 に示す．左右反転画像を利用し半分のみに 3D 回転をかける場合のほうが全てのラベル率，たデータ拡張を用いた場合も従来手法より精度が高くな

全ての分割比率のもとで精度が高くなっていることが分かり，分割する手法を併用した場合が最も精度が高いことがる．特に 1:1 で分割させる場合が全てのラベル率においてわかる．

最も精度が高くなることが分かる．この結果から，表 1 のまた，潜在表現を 3D 回転をさせる部分，させない部分

c 1959 Information Processing Society of Japan⃝

実験では潜在表現の分割は 1:1 の比率で行っている．

5情報処理学会論文誌

Vol.0 No.0 1–7 (??? 1959)

4.4 考察3D 回転を一部のみにかけることによって精度が改善したことは，視点角度に非依存の特徴も画像再構成に用いることができ，さらに視点角度に依存する，つまり視点角度推定に用いる特徴での損失のみを効率的に視点角度推定のネットワークに伝播させることができるからと説明できる．図 3 にテストでのいくつかの再構成の例を示す．それ
ぞれの行の 5 つの画像は，左からそれぞれ fv の入力，feの入力，fd の出力，視点角度に非依存の潜在変数を 0 で置
き換え視点角度に依存する潜在変数のみを用いたときの fdの出力，視点角度に依存する潜在変数を 0 で置き換え視点
角度に非依存の潜在変数のみを用いたときの fd の出力を表す．例えば上から 1,3 行目の例がわかりやすいが，視点角度に依存する潜在変数のみを用いた場合は不適切な色かつ車のデティールが異なる画像が出力され，視点角度に非依存の潜在変数のみを用いたときは色は適切であるが形が全く本来とは異なる画像が出力されることがわかる．ここで，たしかに視点角度に依存する潜在変数は視点角度推定に必要な特徴を，視点角度に非依存の潜在変数は色や細部の特徴など視点角度推定に不要な特徴を保持していることが分かる．よって，[1] の手法では視点角度に依存する特徴と非依存の特徴が分離できず，誤差伝播時に回帰ネット
ワークが生成的ネットワークから視点角度に依存する情報のみを効率的に獲得することが困難であったが，提案手法
ではその問題を解決したため精度が改善したといえる．

5. おわりに
本稿では，生成的タスクを補助的に用いた視点角度推定に工夫を施すことで精度を向上させる手法を述べた．具体的には，生成的なデコーダに入力する潜在特徴を視点角度によって変化するものと不変のものに分割し，さらにデー

図 3: 再構成画像の分析．それぞれの行の 5 つの画像は，タセットのおおよその左右対称性を持つという特性を考慮

左からそれぞれ fv の入力，fe の入力，fd の出力，視点角し左右反転画像を用いたデータ拡張と自己教師あり学習を度に非依存の潜在変数を 0 で置き換え視点角度に依存する導入した．適切な損失の導入などによって，視点角度推定

潜在変数のみを用いたときの fd の出力，視点角度に依存

における特徴の必要性の有無による潜在特徴の分割を実現

する潜在変数を 0 で置き換え視点角度に非依存の潜在変数

すればさらなる精度の向上が期待される．また，並進ベク

のみを用いたときの fd の出力を表す．

トルを現在の回帰・生成タスクの中に適切に導入すること

Fig. 3 Analysis of reconstructed images. The ﬁve images

で，カメラの視点が物体中心を向いているという制約を取

in each row represent, from left to right, the input of
fv , the input of fe , the output of fd , the output of fd

り払い，カメラ位置の並進も含んだ視点推定も実現したい．

when the 3D rotation-invariant latent variable is zeroﬁlled and only the 3D rotation-variant latent variable is

参考文献
[1]

[2]

[3]

Mariotti, O. and Bilen, H.: Semi-supervised Viewpoint Estimation with Geometry-aware Conditional
Generation, European Conference on Computer Vision,
Springer, pp. 631–647 (2020).
Schaﬀalitzky, F. and Zisserman, A.: Multi-view matching for unordered image sets, or How do I organize
my holiday snaps? ，European conference on computer
vision, Springer, pp. 414–431 (2002).
Rolin, P., Berger, M.-O. and Sur, F.: Viewpoint simu-

c 1959 Information Processing Society of Japan⃝

used, and the output of fd when the 3D rotation-variant
latent variable is zero-ﬁlled and only the 3D rotationinvariant latent variable is used.

[4]

lation for camera pose estimation from an unstructured
scene model, 2015 IEEE International Conference on
Robotics and Automation (ICRA), IEEE, pp. 6320–6327(2015).
Agarwal, S., Furukawa, Y., Snavely, N., Simon, I., Cur-6

情報処理学会論文誌

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

Vol.0 No.0 1–7 (??? 1959)

less, B., Seitz, S. M. and Szeliski, R.: Building rome in aday, Communications of the ACM, Vol. 54, No. 10, pp.
105–112 (2011).
Massa, F., Marlet, R. and Aubry, M.: Crafting a
multi-task CNN for viewpoint estimation, arXiv preprint
arXiv:1609.03894 (2016).
Kanezaki, A., Matsushita, Y. and Nishida, Y.: Rotationnet for joint object categorization and unsupervised pose
estimation from multi-view images, IEEE transactions
on pattern analysis and machine intelligence, Vol. 43,
No. 1, pp. 269–283 (2019).
Su, H., Qi, C. R., Li, Y. and Guibas, L. J.: Render for cnn: Viewpoint estimation in images using cnns
trained with rendered 3d model views, Proceedings ofthe IEEE International Conference on Computer Vision, pp. 2686–2694 (2015).
Tulsiani, S. and Malik, J.: Viewpoints and keypoints,
Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 1510–1519 (2015).
Krull, A., Brachmann, E., Michel, F., Yang, M. Y.,
Gumhold, S. and Rother, C.: Learning analysis-bysynthesis for 6D pose estimation in RGB-D images, Proceedings of the IEEE international conference on computer vision, pp. 954–962 (2015).
Joung, S., Kim, S., Kim, H., Kim, M., Kim, I.-J., Cho,J. and Sohn, K.: Cylindrical convolutional networks forjoint object detection and viewpoint estimation, Proceedings of the IEEE/CVF Conference on Computer Vision
and Pattern Recognition, pp. 14163–14172 (2020).
Wang, Y., Li, S., Jia, M. and Liang, W.: Viewpoint estimation for objects with convolutional neural network
trained on synthetic images, Paciﬁc Rim Conference on
Multimedia, Springer, pp. 169–179 (2016).
Rad, M. and Lepetit, V.: Bb8: A scalable, accurate, robust to partial occlusion method for predicting the 3dposes of challenging objects without using depth, Proceedings of the IEEE International Conference on Computer Vision, pp. 3828–3836 (2017).
Penedones, H., Collobert, R., Fleuret, F. and Grangier,D.: Improving object classiﬁcation using pose information, Technical report, Idiap (2012).
Pavlakos, G., Zhou, X., Chan, A., Derpanis, K. G. andDaniilidis, K.: 6-dof object pose from semantic keypoints, 2017 IEEE international conference on robotics
and automation (ICRA), IEEE, pp. 2011–2018 (2017).
Divon, G. and Tal, A.: Viewpoint Estimation—Insights& Model, Proceedings of the European Conference on
Computer Vision (ECCV), pp. 252–268 (2018).
Mustikovela, S. K., Jampani, V., Mello, S. D., Liu, S.,
Iqbal, U., Rother, C. and Kautz, J.: Self-supervised
viewpoint learning from image collections, Proceedingsof the IEEE/CVF Conference on Computer Vision and
Pattern Recognition, pp. 3971–3981 (2020).
Banani, M. E., Corso, J. J. and Fouhey, D. F.: Novel object viewpoint estimation through reconstruction alignment, Proceedings of the IEEE/CVF Conference on
Computer Vision and Pattern Recognition, pp. 3113–
3122 (2020).
Tulsiani, S., Efros, A. A. and Malik, J.: Multi-view
consistency as supervisory signal for learning shape andpose prediction, Proceedings of the IEEE conference on
computer vision and pattern recognition, pp. 2897–2905(2018).
Geirhos, R., Rubisch, P., Michaelis, C., Bethge, M.,
Wichmann, F. A. and Brendel, W.: ImageNet-trained

c 1959 Information Processing Society of Japan
⃝

[20]

[21]

[22]

[23]

CNNs are biased towards texture; increasing shape bias
improves accuracy and robustness., International Conference on Learning Representations, (online), available
from ⟨https://openreview.net/forum?id=Bygh9j09KX⟩(2019).
Yoshihashi, R., Shao, W., Kawakami, R., You, S.,
Iida, M. and Naemura, T.: Classiﬁcation-reconstruction
learning for open-set recognition, Proceedings of theIEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 4016–4025 (2019).
Rhodin, H., Salzmann, M. and Fua, P.: Unsupervised
geometry-aware representation for 3d human pose estimation, Proceedings of the European Conference on
Computer Vision (ECCV), pp. 750–767 (2018).
Chang, A. X., Funkhouser, T., Guibas, L., Hanrahan,
P., Huang, Q., Li, Z., Savarese, S., Savva, M., Song, S.,
Su, H. et al.: Shapenet: An information-rich 3d model
repository, arXiv preprint arXiv:1512.03012 (2015).
Johnson, J., Alahi, A. and Fei-Fei, L.: Perceptual losses
for real-time style transfer and super-resolution, European conference on computer vision, Springer, pp. 694–711 (2016).

7