CVPR 2023 速報
片岡裕雄，八木拓真，Qiu Yue，中村凌，山田亮佑，
篠田理沙，Yanjun Sun，高島空良，速水亮，
松澤郁哉，田所龍，福原吉博，和田唯我，千葉直也，
舘野将寿, 柴田優斗，西山翔大，上田樹，大谷豪DNNの動向・CVのトレンド- 現在までの流れをおさらい- CV分野の最近のトレンドも記載- 下記資料をベースに新規の内容も追加- トレンドご存知の方はp.54からご覧ください

DNNの動向・CVのトレンド（1/51）•

DNN時代以前の動向– Perceptron, MLP, Neocognitron, BackProp, CNN– DNNが流行る直前の画像認識では局所特徴が使用– 深層学習（Deep Learning）の隆盛期にある現在は第３次AIブーム

1st - 3rd AIまでの流れ
1st AI
n
tro

ron

p

P

e
erc

196

0

2nd AI
it
ogn

oc

Ne

0
197

198

0

.
rop

p

ck
Ba

0

199

3rd AI
C

NN

T
F
I
/S M
G
HO F/SVBo
0200

ep ing
e
D rn
Lea
0

201

0

202

2

DNNの動向・CVのトレンド（2/51）
Perceptron, MLP, Neocognitron/ConvNet– Perceptron- 入力とコネクション（重み）の線形和，活性化関数により構成– MLP: Multi-layer Perceptron- Perceptronの多層化– Neocognitron/ConvNet- 畳込みの概念を導入，特に隣接ピクセルに類似関係のある画像処理に有効
Neocognitron
K. Fukushima, “Neocognitron: A Self-organizing Neural Network Model for a Mechanism of Pattern
Recognition Unaffected by Shift in Position,” Biol. Cybenetics 36, pp.193-202, 1980.
https://www.rctn.org/bruno/public/papers/Fukushima1980.pdf

Convolutional Neural Net
Y. LeCun et al. “Gradient-Based Learning Applied to Document
Recognition,” IEEE, 1998.
http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf

Perceptron（パーセプトロン）

3

DNNの動向・CVのトレンド（3/51）
ILSVRCを発端とする画像識別タスクへの応用– AlexNet @画像認識コンペILSVRC2012- もはや専門家には説明不要だが，2位に10%以上の大差で圧勝- 10年弱で100,000+回も引用される論文となる– 背景には構造をDeepにする技術が揃っていた– 最適化，活性化関数，正則化など

AlexNetA. Krizhevsky et al., “ImageNet Classification with
Deep Convolutional Neural Networks,” in NIPS 2014.
https://papers.nips.cc/paper/2012/hash/c399862d3b9d6b76c
8436e924a68c45b-Abstract.html

4DNNの動向・CVのトレンド（4/51）
ネットワークの学習について– 基本は推論（順伝播）と誤差逆伝播の繰り返し– まずは推論（左図）により確率分布を計算– 次いで誤差計算と逆伝播（右図）を行いネットワークを調整
画像入力

確率分布
出力

誤差を順にネットワークに反映して調整することで学習

1
0
0
0
0
推論により得た確率分布（左）と正解値（右; 基本は正解ラベルのみ1のベクトル）を比較して誤差を計算5

DNNの動向・CVのトレンド（5/51）
DNNが勝てた背景– DNN Architecture!（モデル自体や学習戦略）– Large-scale Image Datasets!（データは最重要）– Machine Power!（圧倒的な計算力; NVIDIA!）
Why 3rd AI?
Architecture（Model）
ConvNet，Transformer，GAN…

Image Data

Machine Power

ImageNet, Places, COCO…

GPU, TPU, Super Computer…

http://www.image-net.org/

https://nvidianews.nvidia.com/multimedia/corporate/corporate-nvidia-logos-legal-filings

6

DNNの動向・CVのトレンド（6/51）
大規模画像データセット（ImageNet）の収集について– 14,197,122 画像 / 21,841 カテゴリ https://www.image-net.org/– 2007年からデータを収集，2009年CVPR発表– その後，画像認識コンペを開催し2012年大会でAlexNetが提案される

http://fungai.org/images/blog/imagenet-logo.png

ImageNetのロゴ，右側はStanfordの赤，左は前所属のPrinceton，そして上の緑はWorldPeaceー世界平和ーを示す（らしい）
https://scholar.google.com/citations?view_op=view_citation&hl=ja&user=rDfyQnIAAAAJ&citation_for_view=rDfyQnIAAAAJ:qjMakFHDy7sC

Fei-Fei氏のTED動画では資金繰りの苦労について言及，ワークショップ等では2000年代当時はアルゴリズム至上主義でデータを収集することが理解されなかったとも
https://www.ted.com/talks/fei_fei_li_how_we_re_teaching_computers_to_understand_pictures

ImageNet論文（CVPR 2009）の被引用数：コンピュータビジョン分
野における深層学習の隆盛を象徴する存在

7

DNNの動向・CVのトレンド（7/51）
計算機環境（主にGPU）の発展– 特に第３次AIブームからはNVIDIAの隆盛ぶりがすごい– 当初ゲーム用ボードを売っていたが深層学習始めAIに会社の命運を託すと明言– 結果，下記の性能向上と世界的な提携を進めるに至る

年々1.5倍のペースでコンピューティングが進化，2025年までには1,000倍にまで到達すると予想（NVIDIA公式ページより）https://www.nvidia.com/ja-jp/about-nvidia/ai-computing/8DNNの動向・CVのトレンド（8/51）
構造の深化（2014〜2016）– 2014年頃から「構造をより深くする」ための知見が整う– AlexNet, VGGNet, GoogleNetは，ほぼ単純に層を追加– ResNetは残差（Residual）の考え方を導入，Skip Connectionにより大幅に深化
AlexNet [Krizhevsky+, ILSVRC2012]ILSVRC2012 winner，DLの火付け役

VGGNet [Simonyan+, ILSVRC2014]16/19層ネット，deeperモデルの知識
GoogLeNet [Szegedy+, ILSVRC2014/CVPR2015]
ILSVRC2014 winner，22層モデル

ResNet [He+, ILSVRC2015/CVPR2016]
ILSVRC2015 winner， 152層！(実験では10 3+層も)http://kaiminghe.com/ilsvrc15/ilsvrc2015_deep_residual_learning_kaiminghe.pdf

9DNNの動向・CVのトレンド（9/51）
構造の複雑化・自動化（2016〜2019）– ResNet以降のアーキテクチャ- ResNeXt, DenseNet, SENet, ...

– 自動化・効率化（Neural Architecture Search, EfficientNet）- (P)NAS, EfficientNetV1/V2...

NASNetPNASNet

NASはデータセットに合わせてその場で構造を探索するという方針（但し計算リソースを大量SENet（SE-block）に要する）
J. Hu et al. “Squeeze-and-Excitation Networks, “ in TPAMI 2019.
https://arxiv.org/abs/1709.01507

ResNeXt

DenseNet

ネットワークの接続に関する知見が強化

B. Zoph et al. “Learning Transferable
Architectures for Scalable Image
Recognition,“ in CVPR 2018.
https://arxiv.org/abs/1707.07012

C. Liu et al. “Progressive NeuralArchitecture Search,“ in CVPR 2018.
https://arxiv.org/abs/1712.00559

EfficientNetは深さ・幅・入力に関するサイズのバランスが重要と解析

EfficientNetV1/V2
M. Tan et al. “EfficientNet: Rethinking Model
Scaling for Convolutional Neural Networks,“
in ICML 2019.
https://arxiv.org/pdf/1905.11946.pdf
S. Xie et al. “Aggregated Residual
Transformations for Deep Neural Networks, “in CVPR 2017.
https://arxiv.org/abs/1709.01507

G. Huang et al. “Densely Connected Convolutional
Networks, “ in CVPR 2017.
https://arxiv.org/abs/1608.06993

M. Tan et al. “EfficientNetV2: Smaller Models
and Faster Training,“ in ICML 2021.
https://arxiv.org/pdf/2104.00298.pdf

10DNNの動向・CVのトレンド（10/51）
畳み込み（Convolution）と自己注視（Self-attention）[He al. CVPR16]周辺の特徴を集約して良いものを取り出す（より局所的な特徴に着目）[Vaswani al. NIPS17]
Figure from [Dosovitskiy al. ICLR21]

全体の特徴を把握して良いものを取り出す（より大局的な特徴に着目）

11

DNNの動向・CVのトレンド（11/51）
Vision Transformer（ViT）導入（2020〜Present）– 2017にTransformer提案，2020にViT提案

Computer Visionのパラダイムシフト
CNNからViTへ（2020年10月）– 2021年，CV分野はTransformerの一年だった– ViT派生モデル/MLP等で同様のモデル提案に至る[He al. CVPR16][Vaswani al. NIPS17]
Figure from [Dosovitskiy al. ICLR21]

ViT [Dosovitskiy+, ICLR21]
MLP-Mixer [Tolstinhin+, NeurIPS21]

ViTはエンコーダのみのモデル，同様の機能をMLPで実現（MLP-Mixer），近年のベースラインは
SwinTransformerか（V2も2021年末に提案）

Swin Transformer [Liu+, ICCV21]

12DNNの動向・CVのトレンド（12/51）
他タスクへの応用（画像認識・動画認識・マルチモーダル）– 物体検出: R-CNN, Fast/Faster R-CNN, YOLO, SSD,,,– 領域分割: FCN, SegNet, U-Net,,,– Vision & Language: 画像説明文, VQA, Visual Dialog,,,– 動画認識: Two-stream ConvNets, 3D Conv., (2+1)D Conv. ,,,PersonUma

R-CNN
R. Girshick et al., “Rich Feature
Hierarchies for Accurate Object
Detection and Semantic Segmentation,”in CVPR 2014.
https://openaccess.thecvf.com/content_cvpr_2
014/html/Girshick_Rich_Feature_Hierarchies_20
14_CVPR_paper.html

FCN
J. Long et al., “Fully Convolutional
Networks for Semantic Segmentation,”in CVPR 2015.
https://openaccess.thecvf.com/conten
t_cvpr_2015/html/Long_Fully_Convoluti
onal_Networks_2015_CVPR_paper.html

Show and Tell

Two-stream ConvNets

O. Vinyals et al., “Show and Tell: A Neural
Image Caption Generator,” in CVPR 2015.
https://openaccess.thecvf.com/content_c
vpr_2015/html/Vinyals_Show_and_Tell_2015_CVPR_paper.html

K. Simonyan et al., “Two-Stream Convolutional
Networks for Action Recognition in Videos,” in NIPS
2014.
https://www.robots.ox.ac.uk/~vgg/publications/2014/
Simonyan14b/simonyan14b.pdf

13

DNNの動向・CVのトレンド（13/51）
物体検出の流れ（2001〜2017）
Hand-crafted feature時代 基礎/枠組みの構築
Hito
Haar-like [Viola+, CVPR01]
HOG [Dalal+, CVPR05]
ICF [Dollár+, BMVC09]+ AdaBoost+ SVM+ Soft-cascade
R-CNN時代（それ以前は”Hand-crafted” ObjectNess）高速化 ＆ 高精度化

DPM [Felzenszwalb+, TPAMI12]+ Latent SVM

Fast R-CNN [Girshick, ICCV15]
R-CNN [Girshick, CVPR14]
Faster R-CNN [Ren+, NIPS15]
ROI Pooling, Multi-task Loss
Selective Search + CNN
RPN
One-shot Detector時代 兎にも角にも（精度を保ちつつ）高速化

SSD [Liu+, ECCV16]
One-shot detector

・・・

YOLO(v1)/v2/v3[Redmon+, CVPR16/CVPR17/arXiv18]
One-shot detector

Latest Algorithm 精度重視，高速Feature Pyramid
Networks (FPN)[Lin+, CVPR17]

Mask R-CNN [He+, ICCV17]
RoI Align, Det+Seg

Uma

【物体１】
カテゴリ：Hito
位置：(x1, y1, w1, h1)【物体２】
カテゴリ：Uma
位置：(x2, y2, w2, h2)

物体検出は物体カテゴリ識
別と画像上の位置座標を回帰する問題14

DNNの動向・CVのトレンド（14/51）
物体検出の流れ（2018〜2020）
SNIP

SNIPER

B. Singh et al. “An Analysis of Scale Invariance in Object Detection,“in CVPR 2018.
https://arxiv.org/abs/1711.08189

CNNによる工夫：
解像度による調整（上段），座標回帰による調整（下段）

B. Singh et al. “SNIPER: Efficient Multi-Scale Training,“ in NeurIPS
2018.
https://papers.nips.cc/paper/8143-sniper-efficient-multi-scale-training.pdf物体候補が多く位置する領域を拡大
CornerNet
H. Law et al. “CornerNet: Detecting Objects as Paired Keypoints,“ inECCV 2018.
https://arxiv.org/abs/1808.01244

2点（左上, 右下）を回帰

CenterNet
Z. Xingyi et al. “Objects as Points,“ in arXiv 2019.
https://arxiv.org/abs/1904.07850

中央からxyサイズを回帰

M2Det
Q. Zhao et al. “M2Det: A Single-Shot Object Detector based on
Multi-Level Feature Pyramid Network,“ in AAAI 2019.
https://arxiv.org/abs/1811.04533

多重解像度の特徴マップ使用
CenterNet
K. Duan et al. “CenterNet: Keypoint Triplets for Object Detection,“ inICCV 2019.
https://arxiv.org/abs/1904.08189

中央+2点, xyサイズを回帰

MSCOCO 基準で Mask R-CNN 41.7 -> CenterNet 47.0まで検出精度向上！

15DNNの動向・CVのトレンド（15/51）
物体検出の流れ（2020〜Present）
DETR
N. Carion et al. “End-to-End Object Detection withTransformers,“ in ECCV 2020.
https://arxiv.org/abs/2005.12872

Transformerによる物体検出のパイオニア：Backboneには比較的うまくいくことが明らかなCNNも組み合わせている

SwinTransformer V1/V2
Z. Liu et al. “Swin Transformer: Hierarchical Vision Transformer
using Shifted Windows,“ in ICCV 2021.
https://openaccess.thecvf.com/content/ICCV2021/html/Liu_S
win_Transformer_Hierarchical_Vision_Transformer_Using_Shifted_
Windows_ICCV_2021_paper.html
Z. Liu et al. “Swin Transformer V2: Scaling Up Capacity and
Resolution,“ in ICCV 2021.
https://arxiv.org/abs/2111.09883

ViT特有のパッチ入力の問題点を，階層化&シフトにより改善，画像識別のみならず物体検出にも有効

16

DNNの動向・CVのトレンド（16/51）
セマンティック/インスタンスセグメンテーション（2006〜2017）– BackBone（ベースとなるネットワーク）– Head（ピクセルごとの回帰を出力）【セマンティック/インスタンスセ
グメンテーション】- 両者の組み合わせ- 文脈把握とスケール変動を考慮する傾向

ピクセルごとに画像カテゴリを割り当てる問題設定※下はセマンティック/インスタンスセグメンテーションを両方含む
ベースアルゴリズム

TextonBoost[Shotton, ECCV06]

FCN [Long, CVPR15]
全層畳み込み，チャネル和SegNet [Kendall, arXiv15]
精度重視

U-Net [Ronneberger, MICCAI15]
位置情報保持，チャネル連結

Mask R-CNN [He, ICCV17]
RoI Align, Det+Seg
PSPNet [Zhao, CVPR17]
特徴マップの階層化，コンテクスト情報

DeepLab(v1,v2,v3) [Chen, TPAMI17]
Dilated Conv, 特徴マップの並列化

17

DNNの動向・CVのトレンド（17/51）
セマンティック/インスタンスセグメンテーションの流れ（2021〜Present）
SegFormer
E. Xie et al. “SegFormer: Simple and Efficient Design for
Semantic Segmentation with Transformers,“ in arXiv
2105.15203, 2021.
https://arxiv.org/abs/2105.15203

SeMaskJ. Jain et al. “SeMask: Semantically Masked Transformers
for Semantic Segmentation,“ in arXiv 2112.12782 2021.
https://arxiv.org/abs/2112.12782

SwinTransformer V1/V2
Z. Liu et al. “Swin Transformer: Hierarchical Vision Transformer
using Shifted Windows,“ in ICCV 2021.
https://openaccess.thecvf.com/content/ICCV2021/html/Liu_S
win_Transformer_Hierarchical_Vision_Transformer_Using_Shifted_
Windows_ICCV_2021_paper.html
Z. Liu et al. “Swin Transformer V2: Scaling Up Capacity and
Resolution,“ in ICCV 2021.
https://arxiv.org/abs/2111.09883

18

DNNの動向・CVのトレンド（18/51）
CVとNLP（自然言語処理）の融合分野- 画像説明文（Image Captioning）- 視覚的質問回答（Visual Question Answering; VQA）
- Visual Dialog【Image Captioning】【VQA】
画像 (Visual)と質問文 (Q)を入力，回答 (A)を返却【Visual Dialog】
画像とそれに対する対話を繰り返しながら回答を行う
https://visualdialog.org/

https://visualqa.org/

画像を入力として文章を出力

Show and Tell
O. Vinyals et al., “Show and Tell: A Neural Image
Caption Generator,” in CVPR 2015.
https://openaccess.thecvf.com/content_cvpr_2015/
html/Vinyals_Show_and_Tell_2015_CVPR_paper.html

VQA
A. Agrawal et al., “VQA: Visual Queation Answering,”
in ICCV 2015.
https://arxiv.org/pdf/1505.00468.pdf【その他のキーワード】
Text-to-Image（テキストから画像生成），Visual Navigation（画像からの道案内），
Cross-modal Summarization（要約タスク）など多数

Visual Dialog
A. Das et al., “Visual Dialog,” in CVPR
2017.
https://arxiv.org/abs/1611.08669

19

DNNの動向・CVのトレンド（19/51）
動画像認識のモデル（CNN; N-Dimension Convolution）– 2D: Two-Stream ConvNets（フロー画像を同時に準備）– 2D+再帰モデル: CNN+LSTM（最近ベンチマークとしてしか使われなくなった）– 3D: 3D CNN（データが用意できればこれが本命）– (2+1)D（少量データの場合のオプション）

Two-stream ConvNets
K. Simonyan et al., “Two-Stream
Convolutional Networks for Action
Recognition in Videos,” in NIPS 2014.
https://www.robots.ox.ac.uk/~vgg/publicati
ons/2014/Simonyan14b/simonyan14b.pdf(2+1)D ResNet

3D畳み込み（C3D, 3D ResNet, I3D）

D. Tran et al. “A Closer Look at Spatiotemporal Convolutions
for Action Recognition,” in CVPR 2018.
https://arxiv.org/abs/1711.11248

3D ResNet
3Dフィルタ

畳み込みマップ（3D）

K. Hara et al. “Can Spatiotemporal 3D CNNs
Retrace the History of 2D CNNs andImageNet?,” in CVPR 2018.
識別 https://arxiv.org/abs/1711.09577

20

DNNの動向・CVのトレンド（20/51）
動画像認識のモデル（Video Transformer）– TimeSformer

TimeSformer

ViViT

G. Bertasius et al., “Is Space-Time
Attention All You Need for Video
Understanding?,” in ICML 2021.
https://arxiv.org/abs/2102.05095

A. Arnab et al., “ViViT: A Video Vision
Transformer,” in ICCV 2021.
https://arxiv.org/abs/2103.15691v2• 時間と空間の処理を実行するモジュールを複数種類比較
実験• 結果から，時間tと空間xyを分割して処理する方式（Divided
Space-Time Attention）が有効• 図中，中央のモジュールとアテンション
21

DNNの動向・CVのトレンド（21/51）
動画認識タスク
Dense Captioning Events
R. Krishna et al. “Dense Captioning Events in Videos,“ inICCV 2017.
https://arxiv.org/abs/1705.00754

動画像から説明文出力，動画像の検索にも用いることができる

Home Action Genome
N. Rai et al. “Home Actioin Genome: Contrastive Compositional
Action Understanding,“ in CVPR 2021.
https://homeactiongenome.org/

マルチモーダル・複数視点・シーン
グラフラベル付与により，包括的な動画の理解をサポート
22

DNNの動向・CVのトレンド（22/51）
GAN: 画像生成を行うための構造として提案– 現在，生成画像/実画像の分布を近づけることで生成モデルを学習– 敵対的学習は超解像，異常検知，データ拡張 など多様な場面に応用

GANの構造徐々に鮮明になるデータ
https://medium.com/@sunnerli/the-missing-piece-of-gan-d091604a615a（注）下はGANにより生成された画像です

BigGAN https://arxiv.org/pdf/1809.11096.pdf

23

DNNの動向・CVのトレンド（23/51）
GANの主要な流れ
1.

GAN（オリジナルのGAN）- [Goodfellow, NIPS2014] https://papers.nips.cc/paper/5553-generative-adversarial-nets.pdf

2.

DCGAN（畳み込み層の使用）- [Radford, ICLR2016] https://arxiv.org/abs/1511.06434

3.

Pix2Pix（pixel同士が対応付くという意味でConditionalなGAN）- [Isola, CVPR2017] https://arxiv.org/abs/1611.07004

4.

CycleGAN（pix2pixの教師なし版）- [Zhu, ICCV2017] https://arxiv.org/pdf/1703.10593.pdf

5.

ACGAN（カテゴリ識別も同時に実施してコンディションとした）- [Odera, ICML2017] https://arxiv.org/abs/1610.09585

6.

WGAN/SNGAN（学習安定化）- [Arjovsky, ICML2017] http://proceedings.mlr.press/v70/arjovsky17a.html- [Miyato, ICLR2018] https://arxiv.org/abs/1802.05957

7.

PGGAN（高精度化）- [Karras, ICLR2018] https://arxiv.org/abs/1710.10196

8.

Self-Attention GAN（アテンション機構を採用）-

9.

BigGAN（超高精細GAN）-

10.

[Zhang, arXiv 1805.08318] https://arxiv.org/abs/1805.08318[Brock, ICLR2019] https://arxiv.org/abs/1809.11096

StyleGAN（超高精細GAN）-[Karras, CVPR2019] https://arxiv.org/abs/1812.04948# 2018年12月時点での調査

24

DNNの動向・CVのトレンド（24/51）
鮮明な画像生成: VAE, Diffusion Model！？
– キレイな画像生成はGANが優勢だった（〜2019/05）- BigGAN, StyleGAN etc.
– VQVAEでVAEが，2021年はDiffusion Modelが話題になった- VAE: GANのようにMode Collapseを起こさないと主張- Diffusion Model: 学習時のサンプルノイズを徐々に取り除くことで生成の多様性と信頼性を向上（BigGAN よりも高精度であることから注目）

P. Dhariwal et al. “Diffusion Models
Beat GANs on Image Synthesis,” arXiv,
2105.05233, 2021.
https://arxiv.org/abs/2105.05233

左：VQ-VAE-2，右：BigGAN

A. Razavi et al. “Generating Diverse
High-Fidelity Imageswith VQ-VAE-2,” NeurIPS,
2019.
https://arxiv.org/pdf/1906.00446.pdf+Diffusion Model

25

DNNの動向・CVのトレンド（25/51）
DALL·Eの衝撃– テキストから画像を生成するText-to-Imageの問題設定で革新的な成果• 「アボカド形の腰掛け椅子」のような見たことがない物体も概念を組み合わせて画像を生成• 1200億パラメータのモデルをインターネットから集めた2.5億の画像・テキストのペアから学習

DALL·E: Creating Images from Text
https://openai.com/blog/dall-e/

26

DNNの動向・CVのトレンド（26/51）
B. Mildenhall, et al. “NeRF: Representing Scenes as Neural Radiance Fields for View
Synthesis“ European Conference on Computer Vision (ECCV), 2020.
https://arxiv.org/pdf/2003.08934.pdf

Neural Radiance Fields（NeRF）■ Radiance Field（x,y,z,θ,φ; ある3次元空間xyzの光と透明度θ,φ）をNeural Netにより全て推定する問題設定■ 3次元空間自体を再構成するので，未観測の新規視点も推定可能

入力は多数視点の2次元画像，各画像にはRFを推定するヒントを含む

既知視点(またはその場で推定)の画像をNeuralNetに入力，5次元空間推定

推定した3次元空間の光・透明度により新しい視点を再構成; もちろんこの２例以外の視点も再構成可能27

DNNの動向・CVのトレンド（27/51）
NeRFの派生技術■ 2020年3月公開，トップ国際会議ECCV 2020 Awardを受け爆発的に拡がる

I. Ueda, et al. “Neural Density-Distance Fields“ ECCV,
2022. https://arxiv.org/abs/2207.14455

https://mobile.twitter.com/Hassanhaija/status/1385987555628363787

B. Mildenhall, et al. “NeRF in the Dark: High Dynamic Range View Synthesis from Noisy Raw Images“ CVPR,
2022.
https://arxiv.org/abs/2111.13679

M. Tancik, et al. “Block-NeRF: Scalable Large Scene
Neural View Synthesis”, CVPR, 2022.
https://arxiv.org/abs/2202.05263

28

DNNの動向・CVのトレンド（28/51）
教師なし/少量教師あり学習への拡がり– キーワード- {Un-, Weak-, Semi-, Self-} supervision- {Zero-, One-, Few-} shot learning- Transfer Learning- Domain Adaptation- Reinforcement Learning– 教師がない/間接的に教師を与える，ような仕組みに対する競争も激化– 巨大IT企業のように大量のラベルを持たなくても学習を成功させる- アルゴリズム至上主義への回帰？

29

DNNの動向・CVのトレンド（29/51）
学習法の簡単な整理– {Un-, Semi-, Weak-, Self-} supervision- Un-supervision（教師なし学習）
アノテーションが一切ないデータで学習- Semi-supervision（半教師あり学習）アノテーションを持つデータと持たないデータで学習- Weak-supervision（弱教師付き学習）
出力として必要な情報よりも拘束力の弱いデータを用いて学習– ex) 物体検出を行う際に画像ラベルのみを用いて学習- Self-supervision（自己教師あり学習）
自ら教師を作り出して特徴表現を学習する「自己教師学習」– 特定タスクの前に自ら教師を作り出し特徴表現を学習するため，その後に特定タスクのためのファイン
チューニングを伴う– ex) 領域分割した画像でジグソーパズルを解く，回転を当てる

30

DNNの動向・CVのトレンド（30/51）
転移学習（Transfer Learning）– 学習した知識を別の領域の学習に適用する技術
CVPR2018]– 転移学習の網羅的探索：Taskonomy [Zamir,http://taskonomy.stanford.edu/- CVPR 2018 Best Paper Award- 26種のタスク間の関連性を調べる– CVの歴史の中で別々に議論されていたサブタスクを繋げる– 効果を最大化する転移学習の関係性を明らかにした

Task Similarity Tree: 類似するタスク間の関係性を可視化

データセットは26タスクに対しラベル付け

31

DNNの動向・CVのトレンド（31/51）
教師あり学習Supervised Learning: SL

教師ありデータセットの例●

人間が実画像に対して手動で教師ラベル付け●

ImageNet●

入力画像から教師ラベルに基づき教師あり学習，●

PASCAL VOC

ゴリラ

それを通して視覚的特徴表現を獲得

自己教師あり学習
Self-Supervised Learning: SSL●

人間によるラベル付けは不要●

擬似タスク(Pretext Task)を自動的に生成●

入力画像から擬似タスクに基づき教師あり学習，

自己教師手法の例●

Rotation，Jigsaw，MAE●

SimCLR，MoCo (対照学習)

それを通して視覚的特徴表現を獲得

数式ドリブン教師あり学習258

Formula-driven Supervised Learning: FDSLFDSLデータセットの例●

規則性に基づいた数式から人工画像を自動生成●

パラメータを元に自動で教師ラベル付け●

FractalDB●

入力画像から教師ラベルに基づき教師あり学習，●Perlin Noise

それを通して視覚的特徴表現を獲得

←自動
（数式）

←自動
（数式）

32

DNNの動向・CVのトレンド（32/51）
最近の主流は自己教師あり学習– 一部で人間の教師を置き換える性能まで到達

MIRU2021チュートリアル「限られたデータからの深層学習」より引用
https://raw.githubusercontent.com/hirokatsukataoka16/Formula-Driven-DataBase-Group/main/docs/material/MIRU21_Tutorial1.pdf

33

DNNの動向・CVのトレンド（33/51）
2022年 CV分野の激戦領域：ViTの自己教師あり学習■ 実画像に対して自動で一貫した教師を付与
https://arxiv.org/abs/2104.14294➤ DINO：ラベルなしでの自己蒸留
https://arxiv.org/abs/2104.02057➤ MoCoV3：対照学習MoCoと同様だが，ViT向けに改善
https://arxiv.org/abs/2111.06377➤ MAE：パッチの復元（BERTの画像版タスク）

PT: DINO + ViT-B/16
FT: 78.2 @ ImageNet-1k val.
(ViT-B/8では80.1まで向上)

PT: MoCoV3 + ViT-B/16
FT: 83.2 @ ImageNet-1k val.

マルチモダリティにて有効なData2Vecも登場（上記のスコアで84.2）
https://arxiv.org/abs/2202.03555

PT: MAE + ViT-B/16
FT: 83.6 @ ImageNet-1k val.
(ViT-H448では87.8まで向上)

34

DNNの動向・CVのトレンド（34/51）
数式ドリブン教師あり学習（FDSL; Formula-Driven Supervised Learning）■ 生成規則から画像パターンと教師ラベルを生成，大規模画像データセット構築➤ 下記はフラクタル幾何を生成規則としたFDSL➤ ベースとなるカテゴリ数/インスタンス数は1k/1kの100万画像

FDSL / FractalDB

FractalDB Pre-trained ViT

H. Kataoka et al., “Pre-training without Natural
Images,” in IJCV 2022.
https://hirokatsukataoka16.github.io/Pretraining-without-Natural-Images/

K. Nakashima et al., “Can Vision Transformers Learn without
Natural Images,” in AAAI 2022.
https://hirokatsukataoka16.github.io/Vision-Transformers-witho
ut-Natural-Images/

35

DNNの動向・CVのトレンド（35/51）
数式ドリブン教師あり学習（FDSL; Formula-Driven Supervised Learning）■ 実画像+人間教師を用いない事前学習でImageNet事前学習に近接する精度に到達■ 理論上は無限に画像カテゴリ・インスタンスを生成可能■ 今後，大規模分散学習によりデータセット・モデルサイズを巨大化予定

ImageNet vs. FractalDB：実画像も人間による教師ラベルも用いな
いFractalDBによる学習でScratch学習よりも圧倒的に高い精度，
かつImageNetに近い精度まで到達．例えば，CIFAR-10ではImageNet 98.0 vs. FractalDB 97.8．

36

DNNの動向・CVのトレンド（36/51）
生成データ学習への期待➤ CGを敵対的学習によりリアルに近づける（SimGAN）➤ CGから大量の画像を生成（Domain Randomization）➤ 切抜き画像をいかに自然に別画像に挿入するか（Cut-and-Paste学習）➤ ノイズ画像と自己教師あり学習で視覚特徴を学習（Visual Representation）[Shrivastava, CVPR2017] BP
CGをより写実的に表現するRefinerを適用[Sundermeyer, ECCV2018]Oral,BP
ラベル無しCGデータで実時間6D検出，さらに教師有りを倒した[Remez, ECCV2018]Oral
Cut/Pasteで既存セグメントラベルを増加，教師有りに接近する精度

Keyword: Synthetic Data, Adversarial Learning, Data Augmentation, Domain Randomization, Formula-driven
Supervised Learning[Baradad, NeurIPS21]Spotlight
ノイズ画像と自己教師で視覚特徴を
獲得可能

37

DNNの動向・CVのトレンド（37/51）
モデル / データの再考

ConvNeXt
Z. Liu et al. “A ConvNet for the 2020s,” inarXiv:2201.03545, 2022.
https://arxiv.org/abs/2201.03545v1

CNNでも改善すればViTと同等以上にまで改善•グループ化 / チャンネル数増
加•ボトルネック改善•カーネルサイズ•など
Rethinking ImageNet Pre-training
MLP-Mixer

MetaFormer

I. Tolstikhin et al. “MLP-Mixer: An
all-MLP Architecture for Vision,” in
NeurIPS 2021.
https://arxiv.org/abs/2105.01601

W. Yu et al. “MetaFormer is Actually What You
Need for Vision,” in arXiv:2111.11418, 2021.
https://arxiv.org/abs/2111.11418

ViTの精度/機能は他のモジュールでも再現できるのではないか？多層パーセプトロン / Poolingで自己注意と同等のことができる．
→本質はどこにあるのか？

K. He et al. “Rethinking ImageNet Pre-training,” in ICCV,2019.
https://arxiv.org/abs/1811.08883
学習回数が多くなるとscratch/pre-trainの精度が同等に

通常の学習回数ではImageNet Pre-trainが強く見えている，，，

ImageNetは他のタスクの精度向上に貢献する？
•検出ではしない（左図参照）•スクラッチで長く学習すれば同等の精度まで到達» ただし，10K以上のラベルは必要•収束の高速化は分野に貢献

38

DNNの動向・CVのトレンド（38/51）
画像/動画DBの大規模化➤ 画像識別において，35億画像を含むデータセットが存在➤ その他，物体検出や動画認識においても大規模化【物体検出】【画像識別 / 動画認識】
Top-1: 85% w/ ResNeXt-101
ラベルはSNSの再利用

無/弱/半教師付きの文脈で大量画像とその教師を与えられればモデルを強化できる

OpenImages
I. Krasin et al. “OpenImages: A public dataset for large-scale multi-label andmulti-class image classification,” 2017.
https://storage.googleapis.com/openimages/web/index.html[Mahajan, ECCV2018]
FBはSNSのHashtagでラベル付けなし，弱教師付きの3.5B枚画像DB構築
https://venturebeat.com/2018/05/02/facebook-is-using-instag
ram-photos-and-hashtags-to-improve-its-computer-vision/

Instagram-3.5B / 65M【画像生成】
物体検出向けのOpenImageV6は15M画像・座標，DALL·E（前述）は250M画像・テキストを含む
データセットを構築

D. Mahajan et al. “Exploring the Limits of Weakly-Supervised Pretraining,” in ECCV, 2018.
https://arxiv.org/abs/1805.00932
D. Ghadiyaram et al. “Large-scale Weakly-Supervised Pre-Training for Video Action Recognition,”in ICCV, 2019.
https://openaccess.thecvf.com/content_CVPR_2019/html/Ghadiyaram_Large-Scale_Weakly-Supervised_Pre-Training_for_Vi
deo_Action_Recognition_CVPR_2019_paper.html

DALL·E: Creating Images from Text
https://openai.com/blog/dall-e/

39

DNNの動向・CVのトレンド（39/51）
Foundation Model基盤モデル: 汎用適に適用可能なモデル(汎用人工知能への挑戦)■ NLP分野ではBERT, GPT-{1, 2, 3}, DALL-Eなど■ CV分野では最近Florenceなる基盤モデルが提案される

Florence: A New Foundation Model for Computer Vision,
https://arxiv.org/pdf/2111.11432.pdf

On the Opporttunities and Risks of Foundation Models,
https://arxiv.org/abs/2108.07258• 基盤モデルのホワイトペーパー的立ち位置• FMの可能性と危険性を議論• 44タスクを処理可能• 9億の画像・言語ペアデータを構築→より最近ではPolyViT(2111.12993) / NuWA(2111.12417) / Omnivore (2201.08377)なるモデルが同時多発的に提案

40

DNNの動向・CVのトレンド（40/51）
Gopher

GPT-3
Megatron

Megatron-Turing NLG

T5

PaLM

Chinchilla
Gato

Bert

CLIP
GLIDE

Parti

DALL•EDALL•E2
Transformer

ViT
Perceiver
Perceiver IO

ImagenFlorence
NUWA

Flamingo

PolyViT
wav2vec

HuBERT
XLS-R

wav2vec 2.0
2017

2018

2019

: FMs
(Adaptable
to Multi Tasks)

2020

2021

Now

2022

: Language Solver: Vision Solver: Reinforcement Solver: Text to Image Generator: Audio Solver: Multi Modal Solver

Time: Strong Influence41

DNNの動向・CVのトレンド（41/51）
自然言語処理(NLP)分野でTransformerが誕生●

Transformer● Self-Attention(自己注意)機構により系列データを一括同時処理可能に（従来のRNNでは逐次的に処理→並列計算できず処理に時間がかかる，
離れた単語関係が見えず長文理解は困難）○

GPUフレンドリーで容易に並列計算による学習高速化可能○

入力シーケンス全体を考慮可能

学習時間短縮/性能向上を同時に実現● ブレイクスルーを引き起こした（当時の翻訳タスクでSoTAを達成）●

急発達するHPCによるGPU/TPU並列計算技術と相性抜群．
近代のほぼ全ての大規模基盤モデルは，Transformerがベースに[Vaswani(Google)+, NeurIPS17]

Transformerについてはこちらも参照
https://www.slideshare.net/cvpaperchallenge/transformer-247407256

42

DNNの動向・CVのトレンド（42/51）
NLP分野にてTransformerが拡がる[Devlin(Google)+, NAACL19]● BERT(Bi-directional Encoder Representations from Transformers)● 大量の汎用テキストデータで事前学習→タスクに合わせて追加学習● 翻訳・予測などNLPのタスクを幅広く解くことができるモデル● 文章の「意味を理解」することができるようになったと話題● なぜBERTは躍進した？
● 自己教師学習によりラベルなし文章を学習に適用可能● 双方向モデルにつき，単語の前後から文脈を把握
BERTでは多くのタスクを単一モデルで解くことができるが，その学習は「文章のマスクと復元」の自己教師あり学習により実施される
Attention is All You Need.（元データ）↓ 意図的に欠損作成
Attention is All ___ Need.（復元前）↓ BERTにより推定
Attention is All You Need.（復元後）

43

DNNの動向・CVのトレンド（43/51）
人間レベルの文章生成を可能に● GPT(Generative Pre-trained Transformer)[Brown(OpenAI)+, NeurIPS20]● 与えられた文章の先を予測して文章生成● 拡張される度にパラメータ数 / 学習テキストサイズが一気に増加○

GPT : 1.2億パラメータ○○

GPT-2 : 15億パラメータ, 40GBテキスト
GPT-3 : 1750億パラメータ, 570GBテキスト(3000億トークン)
爆発的なパラメータ数の増加により大幅な性能改善が見られた○● 「シンギュラリティが来た」と言われるほどに文章生成能力を獲得

GPT-3論文はNeurIPS 2020にてBest Paper Awardを獲得
https://neuripsconf.medium.com/announcing-the-neurips-2020-award-recipients-73e4d3101537

44

DNNの動向・CVのトレンド（44/51）
CLIPは言語を介して画像の意味を捉えるレンズ●

従来の画像エンコーダーのように「そのものに意味がない記号（ラベル）」によって画像を捉えるのではなく，「そのものに意味がある言語表現」によって画像を捉えるため，より解像度の高い自然な画像理解を達成し得る

Class: 3

従来の
画像分類で
事前学習

CLIPで
事前学習

“白と黒のぶち猫が座ってこちらを見ている”

多種多様な画像認識タスク，
Vision and Languageタスクへの応用が可能

画像分類
CLIP [Radford(OpenAI)+, CVPR21]

物体検出
画像キャプション
妥当性評価
テキストからの
画像生成

他モダリティ
拡張
画像自動キャプショニング

視覚言語
ナビゲーション
NeRFによる
シーン生成

VQA

45

DNNの動向・CVのトレンド（45/51）
次々に更新される文章から画像生成する基盤モデル●●●

DALL•E [Ramesh(OpenAI)+, ICML21]
CLIDE [Nichol(OpenAI)+, ACL22]
VQGAN-CLIP [Crowson(EleutherAI)+, arXiv22]●●●

DALL•E 2 [Ramesh(OpenAI)+, arXiv22]
Imagen [Saharia(Google)+, arXiv22]
Parti [Yu(Google)+, arXiv22]
etc…

大体どのモデルも生成時のお気持ちはこんな感じ．
圧縮“こっち見てる白黒ぶち猫”

復元

Text
Encoder

テキストから潜在表現を獲得するブロック（Text Encoder）

テキストの潜在表現から画像を生成するブロック（Image Generator）

基盤モデル間で異なる主な要素は，● Text Encoder に何を使うか● Image Generator に何を使うか

46

DNNの動向・CVのトレンド（46/51）
Transformer → Vision FMs ３つのポイント● 複数モダリティ・単一モデル●

画像・言語・音声を一つのTransformerモデルで扱える●

同時に扱えるモダリティは増加傾向● モデル・データのサイズ増加●

データ：数億〜数十億規模（e.g., WebImageText(400M), JFT-4B）●

モデル：百億パラメータ規模(言語だと数兆とかもっと多い) (e.g.,Flamingo, Parti)● ラベルなしデータで事前学習●

自己教師あり学習の台頭●

マルチモーダルの教師なし学習47

DNNの動向・CVのトレンド（47/51）
超大規模データセット JFT-300M/3B■ JFT-300M/3Bはそれぞれ３億/３０億画像含む画像データセット

Vision Transformers, https://arxiv.org/pdf/2010.11929.pdf
ImageNet-1k Top-1 Accuracy: 88.55 (ViT-H/14)

Scaling Vision Transformers,
https://arxiv.org/pdf/2106.04560.pdf
ImageNet-1k Top-1 Accuracy: 90.45 (ViT-G/14)

自己教師/数式教師は人間教師+超大規模画像データセットに匹敵するのか？
48

DNNの動向・CVのトレンド（48/51）
巨大Tech企業による大規模データセット寡占化○ 独自に保有するプラットフォームで非公開な超大規模データを収集し利用

JFT-300M/3B/4B (Google, 2017/2021/2022)→約3億/30億/40億枚の画像データセット
Parti [Yu(Google)+, arXiv22]

IG-3.5B (Facebook, 2018)→約35億枚の画像データセット

プライバシーの問題や誤用の懸念がある以上，容易に公開はできず難しい問題

49

DNNの動向・CVのトレンド（49/51）
非営利組織によって構築された画像・言語データが登場●

LAION(Large-scale Artificial Intelligence Open Network)■

LAION-400M / 5Bはそれぞれ4億 / 50億（！）の画像・テキストのペアデータ■

真のOPEN AIを自称ー100% 非営利，100%無料■ 寄付や公的研究費を使用，志を持つ研究者などが集合してデータセットを構築■ データはCreative Common CC-BY 4.0 License

LAION2B-enの統計量（他の統計情報もあり）•••

Common Crawl dataset (Peta-byte scale)からURL/テキストのペア構築
単一URLから多重に画像取得を避けつつ画像ダウンロード
データをCLIPにて後処理（複数GPUノードを数日間実行），
画像とテキストの類似度判定

https://laion.ai/#top50

DNNの動向・CVのトレンド（50/51）
High Performance Computing: 研究の加速– AWS/Azure/Google Cloud, 日本でもTsubame3.0/ABCI/富岳- Tsubame3.0: 2,160 GPUs / 540 Nodes- NVIDIA Tesla P100 x 2,160- ABCI: 5,312 GPUs / 1,208 Nodes- NVIDIA V100 x 4,352 + NVIDIA A100 x 960– ImageNet 世界最速記録の変遷- 29h > 1h > 30m > 15m > 6.6m > 1.8m > 2.0m > 1.2m

https://commons.wikimedia.org/wiki/F
ile:TSUBAME_3.0_PA075096.jpg

東工大TSUBAME 3.0

産総研ABCIM. Yamazaki, et al. “Yet Another Accelerated SGD: ResNet-50
Trainingon ImageNet in 74.7 seconds,” arXiv pre-print, 1903.12650,
2019.
https://arxiv.org/pdf/1903.12650.pdf

51

DNNの動向・CVのトレンド（51/51）
コンピュータビジョンおよび周辺分野で起こっていること一部まとめ■ 深層学習において，人間の教師ラベルを用いずとも特定タスクにおいては人間よりも優れた視覚機能を獲得➤ 自己教師あり学習による画像認識■ 大規模画像・言語データセットにて学習した画像生成モデルは想像力を持ったと言われる➤ 画像生成AI■ 画像・言語問わず汎用的にタスクを実行するモデルが登場➤ 基盤モデル■ 3次元空間を超高精細に再現➤ Neural Radiance Fields（NeRF）

52

CVPR 2023 の動向・気付き- 今回どんな研究が流行っていた？
- 海外の研究者は何をしている？
- 「動向」や「気付き」をまとめましたCVPR 2023 の動向・気付き（1/259）● (Senior) Area Chairs / Outstanding Reviewers○ Senior Area Chairsは流石に経験豊富な研究者が多いが，Area Chairs / Outstanding Reviewersは若手研究者から何人も選出されている○ Area Chair は（おそらく）紹介制度だがイケてる研究者が選出される○ Outstanding Reviewer は時の運であり，印象で決まる部分もあるが研究を見る「良い目」がある傾向にあると言える○ 日本の研究者も，全項目で選ばれている！
■ 日本にも「経験豊富な」「イケてる」「良い目」を持った研究者がいることを示す*CVPR 2023 Program Guide (Main Conference)https://media.icml.cc/Conferences/CVPR2023/CVPR_2023_MainConference_ProgramGuide.pdf

54

CVPR 2023 の動向・気付き（2/259）● Program Guide*より「投稿側」の詳細○ ”CVPR 2023 received 9155 submissions”■ 9,155論文が投稿され，前年よりも12%（CVPR 2022時は8,161論文）投稿数が伸びた○ ”2359 papers were accepted (25.8% acceptance rate)”○ “235 (10%) were selected as highlights … 12 (0.5%) papers have been shortlisted as best paper award

candidates”■ １国際会議に2,300本を超える論文が採択■ うち10%に当たる235件がハイライト発表，12件のみが受賞候補論文としてリスト*CVPR 2023 Program Guide (Main Conference)https://media.icml.cc/Conferences/CVPR2023/CVPR_2023_MainConference_ProgramGuide.pdf

55

CVPR 2023 の動向・気付き（3/259）● Program Guide*より「査読側」の詳細○ ”The review process was managed by 400+ area chairs and, new to the process this year, 30 senior area

chairs”■ 査読者をまとめるエリアチェア（AC）だけで400名超，さらに上位のシニアエリアチェア（Senior AC）を30名
割り当て■ このさらに上位にプログラム委員長（PC）がいる○ ”During the review phase, each paper received at least 3 reviews from the pool of 6625 reviewers”■ 実に6,625名もの査読者が査読に取り組んだ■ 1論文3査読以上とすると，有効論文数9,155に対して27,465以上の査読が集まった（実際にはより多くの査読が集まったと考えられる）→ 査読者の多大なる尽力により学会が成り立ち，研究や論文が進展している！

*CVPR 2023 Program Guide (Main Conference)https://media.icml.cc/Conferences/CVPR2023/CVPR_2023_MainConference_ProgramGuide.pdf

56

CVPR 2023 の動向・気付き（4/259）● CVPR投稿数・採択率の変遷「投稿数」は深層学習時代に激増！2024に10,000投稿に届こうか，という勢い「採択率」は25%前後に調整「採択数」は2018-2019で1,000本超，2022,
2023は2,000本超まで到達（2014でも500本程度であった）

ResearchPort - 「CVPR2023-速報-」ResearchPortトップカンファレンス定点観測 vol.9よりhttps://research-p.com/column/1237

57

CVPR 2023 の動向・気付き（5/259）● Program Overview*より○ まずOralがない...？
■ Award candidates のみ口頭発表，oralはよく見るとhighlightという名前■ CVPRのYouTubeチャンネルから highlight として紹介:

https://www.youtube.com/playlist?list=PL_bDvITUYucBlYzTTt3DEsLBBr-wAH6MS…

…

見やすさのため分割してます*CVPR 2023 Program Overview (Main Conference)https://cvpr2023.thecvf.com/Conferences/2023/ProgramOverview

58

CVPR 2023 の動向・気付き（6/259）● Program Overview*より○ Keynote（招待講演）が復活！
■ 投票を反映して一時期 keynote はプログラムから除外され(確か)よりoralに着目■ 今回逆にoralを外し，その結果本会議を４日間から3日間に短縮？
…

…

見やすさのため分割してます*CVPR 2023 Program Overview (Main Conference)https://cvpr2023.thecvf.com/Conferences/2023/ProgramOverview

59

CVPR 2023 の動向・気付き（7/259）● Program Overview*より○ Posterは２時間■ よく考えると，本会議で2,359論文が採択されている■ 2時間あっても，セッションあたり400本弱の論文が発表される計算（oh…）…

「まず読み/見切れない（諦め）」「論文読もうね（お任せ）」のメッセージか…

見やすさのため分割してます*CVPR 2023 Program Overview (Main Conference)https://cvpr2023.thecvf.com/Conferences/2023/ProgramOverview

60

CVPR 2023 の動向・気付き（8/259）● Program Overview*より○ Plenary panelの登場！
■ そのトピックにおけるプロ中のプロを招待して，トレンドを把握するセッション■ “History and Future of AI and CV”, “Vision, Language, and Creativity”, and “Scientific Discovery andthe Environment”の３トピック…

パネリスト一覧…

見やすさのため分割してます*CVPR 2023 Program Overview (Main Conference)https://cvpr2023.thecvf.com/Conferences/2023/ProgramOverview

61

CVPR 2023 の動向・気付き（9/259）● Program Overview*より○ Award Candidates■ 採択された論文が持ち時間10分で（実質）Oral発表■ 登壇できるのは採択者の内わずか0.4%…

CVPR公式Twitterより引用
https://twitter.com/CVPR/status/1671181305596485632?s=20

62

CVPR 2023 の動向・気付き（10/259）● CVPR参加者の推移
参加者は昨年に比べて減少

一部Virtualで参加される方もバンクーバー開催は中国の方がvisaの取得が困難で参加者が減った？？

CVPR公式Twitterより引用
https://twitter.com/CVPR/status/1671181305596485632?s=20

63

CVPR 2023 の動向・気付き（11/259）● CVPR参加者の内訳
CVPR参加登録者は8337人

内訳は，１位US 2279，2位中国 1413，3位 韓国 815，4位 カナダ 672

中国の参加者は多いが実際に会場に来ている人は少なかった印象

日本は304名参加，順位としては全体の6位

CVPR公式Twitterより引用
https://twitter.com/CVPR/status/1671181305596485632?s=20

64

CVPR 2023 の動向・気付き（12/259）● Best Papers○ まずはAwards Committee（賞候補委員会）・選定プロセスから

65

CVPR 2023 の動向・気付き（13/259）● Best Paper Awards○ Best Student Paper / Honorable Mention

66

CVPR 2023 の動向・気付き（14/259）● Best Paper Awards○ Best Paper Honorable Mention

67

CVPR 2023 の動向・気付き（15/259）● Best Paper Awards○ Best Papers

68

CVPR 2023 の動向・気付き（16/259）● Best Paper Finalist 1: Ego-Body Pose Estimation via Ego-Head Pose Estimation,
Jiaman Li · Karen Liu · Jiajun Wu○ 一人称視点から（の他人ではなくカメラ装着者自身！）の姿勢推定○ Stage 1: 頭部カメラから頭部の角度・姿勢推定○ Stage 2: 頭部モーションから人物姿勢を回帰○ Cross-domainのデータセット構築（AMASS-Replica-Ego-Syn）

装着者のプライバシを保護しつつ，装着者の3D姿勢を推定する研究
69

CVPR 2023 の動向・気付き（17/259）● Best Paper Finalist 2（Best Student Paper Award）: 3D Registration with Maximal
Cliques, Xiyu Zhang · Jiaqi Yang · Shikun Zhang · Yanning Zhang○ 特徴/画像空間ではなく，グラフ空間で（RANSAC的な）仮説検証を実施■ 従来，6DoF姿勢推定はノイズに脆弱・計算量膨大という問題■ グラフのclique（環状形状）を緩和することで6DoF姿勢推定表現■ グラフ空間の方が高精度であることを確認，まだまだ局所特徴も用いることができる，と実証した意味では価値のある論文

70

CVPR 2023 の動向・気付き（18/259）● Best Paper Finalist 3: OmniObject3D: Large Vocabulary 3D Object Dataset for Realistic
Perception, Reconstruction and Generation, Tong Wu · Jiarui Zhang · Xiao Fu · Yuxin WANG · Jiawei Ren · Liang
Pan · Wenyan Wu · Lei Yang · Jiaqi Wang · Chen Qian · Dahua Lin · Ziwei Liu○ 汎用3DデータセットOmniObject3Dを提案■ 3D認識・新規視点画像生成・表面形状推定・3Dモデル生成に対応■ 6,000モデル，200クラス前後の物体を収録【従来データセットとの比較】● 合成データ: 低品質，写実的では無い● CO3D: 3Dの正解が無い● 3Dスキャン: ほぼ日常物体● 提案手法: 画像・動画・3Dモデルとそのラベ
ルがある

71

CVPR 2023 の動向・気付き（19/259）● Best Paper Finalist 4: MobileNeRF: Exploiting the Polygon Rasterization Pipeline for
Efficient Neural Field Rendering on Mobile Architectures, Zhiqin Chen · Thomas Funkhouser ·Peter Hedman · Andrea Tagliasacchi○ NeRF をスマートフォンで動かす■ NeRF表現としてのメッシュ（あとはテクスチャを割り振るのみ）■ MLP fragment shader optimizations■ NeRFシーンも編集可能である

72

CVPR 2023 の動向・気付き（20/259）● Best Paper Finalist 5（Best Paper Honorable Mention Award）: DynIBaR: Neural Dynamic
Image-Based Rendering, Zhengqi Li · Qianqian Wang · Forrester Cole · Richard Tucker ·Noah Snavely○ NeRFの中でも難しいとされているDynamic View Synthesis■ 物体・背景が常時動いている動画像においてNeRFを実施■ 従来手法は顔のみが動くなど比較的動作が少ない状況のRadiance Fieldsを復元■ 提案手法はImage-based Rendering（IBR）をNeRFに導入（IBRNetの提案）■ IBRのみだと動的シーン再構成に失敗するが，IBRNet導入のDynlBaRは成功

73

CVPR 2023 の動向・気付き（21/259）● Best Paper Finalist 6（Best Paper Award）: Planning-oriented Autonomous Driving, Yihan
Hu · Jiazhi Yang · Li Chen · Keyu Li · Chonghao Sima · Xizhou Zhu · Siqi Chai · Senyao Du · Tianwei
Lin · Wenhai Wang · Lewei Lu · Xiaosong Jia · Qiang Liu · Jifeng Dai · Yu Qiao · Hongyang Li○ 環境認識と走行計画を統合的に実施■ Track, Map, Motion, Occupancy, Plannerをひとつのネットワークに収めたUnified Autonomous Driving（UniAD）

74

CVPR 2023 の動向・気付き（22/259）● Best Paper Finalist 7（Best Student Paper Honorable Mention Award）: DreamBooth:
Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation , Nataniel
Ruiz · Yuanzhen Li · Varun Jampani · Yael Pritch · Michael Rubinstein · Kfir Aberman○ 数枚の画像追加で生成モデルを個別化■ Few-shotのfine-tuningで生成モデルを調整■ 手持ち数枚の写真でモデルをカスタマイズ■ Reconstruction Loss, Class-specific Prior Preservation Loss

75

CVPR 2023 の動向・気付き（23/259）● Best Paper Finalist 8: On Distillation of Guided Diffusion Models● Chenlin Meng · Robin Rombach · Ruiqi Gao · Diederik Kingma · Stefano Ermon · Jonathan
Ho · Tim Salimans○ Diffusion Modelの高速なサンプリング手法を提案■ Diffusionでは何回もサンプリングを行う必要がある■ 蒸留（distillation）により高速にサンプリングできるモデルに76

CVPR 2023 の動向・気付き（24/259）● Best Paper Finalist 9（Best Paper Award）: Visual Programming: Compositional visualreasoning without training, Tanmay Gupta · Aniruddha Kembhavi○ CVの新規タスクを言語モデルからのプログラミングで説明・実行・解決■ 人間はPromptingによりCVタスクを指示■ GPT-3がプログラミング，その場で実行して結果を出力

77

CVPR 2023 の動向・気付き（25/259）● Best Paper Finalist 10: What Can Human Sketches Do for Object Detection?, Pinaki
Nath Chowdhury · Ayan Kumar Bhunia · Aneeshan Sain · Subhadeep Koley · Tao
Xiang · Yi-Zhe Song
○ 手書きスケッチをプロンプトとして物体検出を実現■ 2D Bboxやカテゴリラベルは必要とせず，教師ラベルはスケッチベースの画像検索をのみ● fine-grained object detection: スケッチによる詳細な表現から注目領域を指定● category-level object detection: インスタンスレベルの物体検出可能● part-level object detection: スケッチにて指定されたパーツ検出可能

78

CVPR 2023 の動向・気付き（26/259）● Best Paper Finalist 11: Data-driven Feature Tracking for Event Cameras, Nico
Messikommer · Carter Fang · Mathias Gehrig · Davide Scaramuzza○ イベントカメラを用いた物体追跡の研究■ イベントカメラもデータから学習して追跡する時代が来た■ ブラーや手ブレなど激しく難しい複合的な動きも追跡する

79

CVPR 2023 の動向・気付き（27/259）● Best Paper Finalist 12: Integral Neural Networks, Kirill Solodskikh · Azim Kurbanov ·Ruslan Aydarkhanov · Irina Zhelavskaya · Yury Parfenov · Dehua Song · Stamatios
Lefkimmiatis○ Integral Neural Networks (INN)の提案論文■ 層重みをテンソルではなく，フィルターとチャンネルの次元に沿った連続的な層表現を使用■ INNはN次元の超立方体上に定義された連続関数として表現することで，様々な離散化間隔を持つ任意のサイズのネットワークの離散化を可能に■ エッジデバイスでもモデルを直接削減でき，精度劣化が少ない

80

CVPR 2023 の動向・気付き（28/259）● PAMI-TC Awards

81

CVPR 2023 の動向・気付き（29/259）● PAMI-TC Awards○ Longuet-Higgins Prize○ 発表から10年で学術・産業に最もインパクトを与えた論文

82

CVPR 2023 の動向・気付き（30/259）● PAMI-TC Awards○ Young Researcher Award○ Ph.D.取得後7年以内のイケてるCV研究者に贈られる83

CVPR 2023 の動向・気付き（31/259）● PAMI-TC Awards○ Thomas S. Huang Memorial Award○ 学生・研究者のメンタリングへの功労賞

84

CVPR 2023 の動向・気付き（32/259）● Exhibits○ 企業によるdemoが多く集まっていた■ Apple, Meta, Tesla, Lambda, Amazon, TikTok, Weghits&Biaesなど■ 企業によっては景品がもらえる

85

CVPR 2023 の動向・気付き（33/259）● Plenary keynote (本会議初日)○ Rodney Brooks氏(MIT)による講演
タイトル：“Revisiting Old Ideas With Modern Hardware”
概要：ハードウェアの進化によって, 昔は軽視されていたアイデアを現代で実現することができるか？
■ ニューラルネットの誕生から始まる画像認識の歴史を1から説明していた● ネオコグニトロンの福島先生やIJCVやCVPRの創始者である金出先生など日本人の名前も出てきてすごいと思った● CVの進化とハードウェアの進化の両側面について

86

CVPR 2023 の動向・気付き（34/259）● Plenary keynote (本会議２日目)○ Yejin Choi氏(University of Washington)による講演
タイトル：“2050: An AI Odyssey: Dark Matter of Intelligence”
概要：■ Chapter1: The Possible Impossibilities?
● ChatGPTやGPT4などのLLMでも5×5ケタなどの簡単な掛け算ができない● 掛け算以外の“構成性”タスクについても評価できていないだけでできないのでは？なぜもっと難しそうな“構成性”タスクができていて, 簡単な掛け算もできない？
■ Chapter2: The Impossible possibilities?
● 超大規模事前学習+RLHF(人間フィードバックによる強化学習)が最強で勝てないのでは？
→例えばTask-specific knowledge distillationならLLM(Large Language Model)よりも強くなる■ Chapter３: The Paradox● 言語における“ダークマター”とは？
○ 言語に影響があるような，この世界の暗黙のルール● Commonsense Paradox● Moravec’s Paradox● Generative AI Paradox

87

CVPR 2023 の動向・気付き（35/259）❏ Plenary talk day 2: Yejin Choi
❏ タイトル：An AI Odyssey: the Dark Matter of Intelligence❏ 内容概要：❏ Possible impossibilities❏ LLM，Transformerはfull mastery 可能？
→ compositional problemsでもstruggling→ graph collapse❏ Impossible possibilities→ 部分的なデータセット（commonsense / visual reasoningなど）ではデータと手法で工夫したら，small
LMs はLLMsに勝つ場合もある❏ Paradox❏ Commonsense paradox：dark matter in language: non-spoke rules of how world works.
❏ Moravec’s Paradox：could AGI be possible without robotics and embodiment?
❏ Generative AI Paradox: easy is hard and hard is easy (recognition vs. generation, human vs.

AI)
88

CVPR 2023 の動向・気付き（36/259）❏ Plenary talk day 2: Yejin Choi
❏ MentionされたLLMsのIssuesをaddress系の関連論文：❏ Faith and Fate: Limits of Transformers on Compositionality❏ Impossible Distillation: from Low-Quality Model to High-Quality Dataset & Model for
Summarization and Paraphrasing❏ The False Promise of Imitating Proprietary LLMs
❏ Symbolic Knowledge Distillation: from General Language Models to Commonsense Models❏ PlaSma: Making Small Language Models Better Procedural Knowledge Models for(Counterfactual) Planning❏ Minding Language Models' (Lack of) Theory of Mind: A Plug-and-Play Multi-Character Belief
Tracker❏ Vera: A General-Purpose Plausibility Estimation Model for Commonsense Statements（現状のLLMsの問題点と分析，今後の可能な方向性について知りたい方はぜひリストの中の論文を読みましょう）

89

CVPR 2023 の動向・気付き（37/259）❏ Stable Diffusion系の研究が様々な分野で活用されている❏ 画像識別：❏ Fake it Till you make it：ImageNetをStable Diffusionモデルで学習データ生成・評価❏ Open-Vocabulary Segmentation：❏ Open-Vocabulary Panoptic Segmentation:❏ Side Adapter Network（上と類似した非diffusion model）（他には多数あり，同時期に類似するモデルが頻出）❏ 画像編集：❏ Imagic：テキストベースでハイレベル画像編集（例：立っている犬から座っている犬）❏ 多種類の画像生成:❏ Unite and conquer: マルチモーダルを条件とした画像生成❏ 学習データ生成：❏ HandsOff：少ないサンプルから学習データ生成

90

CVPR 2023 の動向・気付き（38/259）● CVPR2023 workshop○ 6/18~19までCVPR workshopが開催■ workshopの数は100！！
■ workshopは各ワークショップ主催者が運営をしているので，開催時間もバラバラ

https://media.icml.cc/Conferences/CVPR2023/CVPR_2023_
WorkshopsTutorials_ProgramGuide.pdf

Workshopに関するまとめを一部紹介

91

CVPR 2023 の動向・気付き（39/259）● Metaverse時代を見据えたデバイス融合型のCV技術も発展
スマートグラスからの画像をスマートフォンに送り視差画像や新規視点画像を生成．
スマートグラスからはステレオ視の画像を送信，スマートフォンのCPUにて処理．シ
ステム構築も同時進行．

この手の研究だとエンジニアリング力が強く，実験データよりもシス
テムの完成度で押し切って通しているようにも見える

J. Wang et al. “A Practical Stereo Depth System for Smart Glasses”, in CVPR 2023.

92

CVPR 2023 の動向・気付き（40/259）● 動画の手ブレ補正○ 正確にはGoProにおいて頭部の動きによる激しいブラーから如何に正しく画像を復元する○ 原型を止めていないようにも見えるが，結構綺麗に復元
時空間シフト（spatio-temporal
shift）に基づき復元，シンプル・処理が軽いな
がらも強力なベースラ
インとなった５種類のベースラインの違い：grouped spatial shiftが提案であり，時系列的に連続する２フレームを入力．
D. Li et al. “A Simple Baseline for Video Restoration with Grouped Spatial-temporal Shift”, in
CVPR 2023.
93

CVPR 2023 の動向・気付き（41/259）● 一人称ビジョンの静かな普及○ 3,600時間の一人称視点映像データセットEgo4Dを用いた研究が一人称ビジョン外の分野を含むタスクで急増（公開1年半で200引用超）■ 使用先：Video QA, ロボット操作の事前学習，手物体インタラクション解析，Video Object Segmentationなど○ 普及の理由： (1) 長時間の未編集映像 (2) 真に自然な行動（実験室環境でない） (3) 映像に付随する密な行動

ナレーション (4) 権利関係がクリア といったチャレンジングかつ真に生活に入り込んだデータであるため○ 一人称ビジョンにスポットライトがあたる日は来るか？

Tokmakov, P., Li, J., & Gaidon, A. (2023). Breaking the" Object" in Video Object Segmentation. In Proceedings of the IEEE/CVF Conference on
Computer Vision and Pattern Recognition (pp. 22836-22845).
Yue Zhao, Ishan Misra, Philipp Krähenbühl, Rohit Girdhar, Learning Video Representations from Large Language Models, CVPR2023

94

CVPR 2023 の動向・気付き（42/259）● Workshop: Generative Models for Computer Vision○ Phillip Isola (MIT): Pix2Pix/CycleGANなどの著者○ Title: “Generative Models as Data++”■ Generative Models + Model Learningのススメ■ 生成モデルを用いることで「より多くのデータ利用」と「学習画像の操作性向上」という利点をどちらも取れる■ StableRep ( https://arxiv.org/abs/2306.00984 ): Stable Diffusion（text-to-image）とContrastive Learning（SimCLR, CLIP）を組み合わせて特徴表現学習．

基本方針: 同一のテキスト（prompt）から生成された画像によりContrastive Learning（対照学習）．
SimCLR: 画像のみを用いて対照学習．同一テキストから生成された異なる画像がいわばデータ拡張的に作用．
CLIP: テキスト・画像共に用いてVisual-Language
Pre-trainingを実施．

Y. Tian et al. “StableRep: Synthetic Images from Text-to-Image
Models Make Strong Visual Representation Learners”, inarXiv:2306.00984, 2023.

95

CVPR 2023 の動向・気付き（43/259）● Workshop: Generative Models for Computer Vision○ Phillip Isola (MIT): Pix2Pix/CycleGANなどの著者○ Title: “Generative Models as Data++”○ 講演の最後のTake Home Message■ Generative AI（含：Diffusion Model, NeRF, LLM）を用いて学習モデルをよくするという方向性が良いのではないか，と主張■ 面白い研究をしている人は特定トピックにおいても，幅広い実験からの洞察により研究テーマを立てている．短絡的に前の論文の改善（受け売り）ではなくて自らの実験結果と分析からテーマを始める．
■ ↑を上手いこと人間とLLMのコラボレーションでスムーズに進めるフレームワークを考えたい（！？）■ Foundation Models via Synthetic Pre-trainingができると良さそう．StalbeRepの発展がそうなっていくのか．ただし，まだ生成モデルの学習において権利面の問題は残される．

Y. Tian et al. “StableRep: Synthetic Images from Text-to-Image
Models Make Strong Visual Representation Learners”, inarXiv:2306.00984, 2023.

96

CVPR 2023 の動向・気付き（44/259）● Workshop: Neural Architecture Search & Lightweight NAS Challenge○ Exploring the Potential of Neural Dataset Search■ Neural Dataset Search（NDS）の提案■ NASが学習中にアーキテクチャを探索する概念なのに対して，NDSは学習中にデータセット（を生成する

パラメータ）を探索して柔軟にデータが変化
数式ドリブン教師あり学習は数式からラ
ベル付き画像を生成．パラメータによりカテゴリやインスタンスを生成するので，学習中にデータセット構築のパラメータを探索すると良いということらしい．

計算リソースさえ整えば「モデル」と「データ」両方が変化する学習ができそう
Source: https://hirokatsukataoka.net/temp/presen/230201MIT.pdf
R. Yamada, R. Shinoda, H. Kataoka, “Exploring the Potential of Neural Dataset Search”, in CVPR 2023
Workshop on Neural Architecture Search, 2023.

97

CVPR 2023 の動向・気付き（45/259）● Workshop: 3D Vision and Robotics○ Pete Florence（Google Deepmind）■ Googleのアルゴリズム（NeRF / LLM; PaLM-E）をロボットに実装している■ NeRFでは3D空間（x,y,zとその色，透明度）の把握がリッチになる■ LLMでは人間による自然言語の高度な把握と認識結果の拡張などを実現する■ CVの3D空間把握・認識モデルがNLPの言語モデルにより翻訳，Roboticsのコントロール技術と繋げて実世界で動作する（前者: CV/NLP が賢くなると後者: Roboticsに活きる）

講演ではPaLM-Eの話も登場
Source: https://palm-e.github.io/

98

CVPR 2023 の動向・気付き（46/259）● Workshop: 3D Vision and Robotics○ Georgia Gkioxari（Caltech）■ Mask R-CNN (ICCV 2017 Best Paper) / PyTorch3Dの著者として知られる■ 今回は3D Prior（3次元空間の事前情報）をいかに2DのRGB画像入力と物体認識に使用するか，という

講演■ 主にCVPR 2023採択のOmni3D（データセット構築と各種アルゴリズムのベンチマーク評価）について説明
Omni3D Benchmark: 従来，3D向けのベン
チマークは比較的小規模であった．今回は23.4万画像・300万3Dモデルを含むベンチ
マークを準備した．
Cube R-CNN(左図): 2DのRGB画像の入力
から2D bbox, 3D cube, class labelを回帰・推定する．
G. Brazil et al. “Omni3D: A Large Benchmark and Model for 3D Object Detection in the Wild”, in CVPR 2023.
https://arxiv.org/abs/2207.10660

99

CVPR 2023 の動向・気付き（47/259）● Workshop: Long-form Video Understanding and Generation○ Gedas Bertasius（University of North Carolina, Chapel Hill）■ 長時間にわたる動画の認識を提案■ 従来，通常の動画認識モデルは数秒〜10秒くらいだったが，提案法は数分レベルの認識でも効果を発

揮 → 映画・ニュースなどの認識を想定し，各シーン3フレーム程度を入力して依存関係を捉えるモデル

State-Space Transformers: 各
シーン数フレームの入力から依存関係を捉え，長時間動画を認識す
るモデル．
M. M. Islam et al. “Efficient Movie Scene Detection using State-Space Transformers”, in CVPR 2023.

100

CVPR 2023 の動向・気付き（48/259）● Workshop: Visual Pre-training for Robotics○ Kristen Grauman（Univ. of Texas Austin / Meta AI）■ Ego4Dのプロジェクトの説明

Ego4Dにて用いられるタスク（意図推定，物体認識など）はロボッ
トが人間を理解してサービスを提供するためのあれこれに役立
つと主張．
CVPR 2022でEgo4Dが提案（Best Paper Finalist）され，一年経った今回のCVPRでは一人称ビジョンの用途以外にも「ロボティク
ス向けの事前学習」向けであることが答え合わせされた．

source: https://ego4d-data.org/

101

CVPR 2023 の動向・気付き（49/259）● Workshop: Visual Pre-training for Robotics○ Jitendra Malik（UC Berkeley / Meta AI）■ 現在UC Berkeleyにて進行中の複数のプロジェクトを紹介■ Ego4D：前ページに同じ，やはり大規模一人称ビデオはロボット事前学習に有効と強調■ Locomotion：Visionのモダリティを追加すると４足歩行ロボットの事前学習促進■ Masked AutoEncoder（MAE）をロボット操作に使用欠けた視点からポリシー・行動学習

Ego4D（ロボットのための一人称ビジョンのデータセット）を始め，ロボティクス実機実装が同時進行で進んでいる

source1: https://ego4d-data.org/
source2: https://arxiv.org/abs/2211.03785
source3: https://arxiv.org/abs/2203.06173

102

CVPR 2023 の動向・気付き（50/259）● Workshop: Visual Pre-training for Robotics○ Jitendra Malik（UC Berkeley / Meta AI）■ BAIR（UCBの人工知能研究所; https://bair.berkeley.edu/）にAI分野の多くの研究者がいる■ UC Berkeleyの層の厚さにおいて，JitendraはCVの中心的な存在■ 周囲にスタンフォード大学，シリコンバレーなどがあり研究連携やサポートのバリエーションも豊富である■ もちろん，ロボット研究者も豊富であり，ベイエリアの連携で研究をさらに加速させている
Jitendraは共著には入ってないが，UCBにてファカルティレベルの研究連携により強力な研究が生み出されている

Sergey Levine, Chelsea Finn, Trevor Darrell, Pieter Abbeel, “End-to-End Training of Deep Visuomotor Policies”, in JMLR, 2016.

103

CVPR 2023 の動向・気付き（51/259）● Workshop: Visual Pre-training for Robotics○ Dieter Fox (University of Washington/NVIDIA)■ Q：ロボット制御における高次の推論は大規模基盤モデルが解いてくれるが，推論以前の低次のマニピュレーションをどう解決すればよいか？
■ A：大規模データ，シミュレーションの効果的な利用● 解きたいタスクに対するシミュレーション環境とその計算基盤を適切に備えれば最低限の量の実ロボット試行だけから十分汎化するモデルが作れる（GoogleのRT-1などとは逆の主張）■ DexTreme（Issac Simベースの手操作シム），Curobo（分散動作生成基盤）などの高度なシミュレーション

環境とその高速化などの事例を紹介■ マニピュレーションのための事前学習に余地あり？

Chebotar, Y., Handa, A., Makoviychuk, V., Macklin, M., Issac, J., Ratliff, N., & Fox, D. (2019, May). Closing the sim-to-real loop: Adapting simulation
randomization with real world experience. In 2019 International Conference on Robotics and Automation (ICRA) (pp. 8973-8979). IEEE.

104

CVPR 2023 の動向・気付き（52/259）● Workshop: Visual Pre-training for Robotics○ Josef Sivic (Czech Technical University)■ 人がある手順にしたがって行う行動のデモンストレーション映像（Instructional Videos）からスキルをロボットに転写するための技術を (1) 少数の高品質の試行映像からの学習 (2) 大量の（必ずしも高品質でない）インターネット映像からの学習 の両面から紹介■ (1) のポイント：検出した人の動作をどうロボットアームの動きとアライメントするか■ (2) のポイント：映像中の状態変化認識のために同一の意味の別インスタンスをどう教師なしで結びつけるか■ シミュレーションとインターネット映像資源の活用→効率的なロボット学習？

Zorina, K., Carpentier, J., Sivic, J., & Petrík, V. (2021). Learning to Manipulate Tools by Aligning Simulation to Video Demonstration. IEEE Robotics and Automation Letters, 7(1), 438-445.
Souček, T., Alayrac, J. B., Miech, A., Laptev, I., & Sivic, J. (2022). Multi-Task Learning of Object State Changes from Uncurated Videos. arXiv preprint arXiv:2211.13500.

105

CVPR 2023 の動向・気付き（53/259）● Workshop: Visual Pre-training for Robotics○ Abhinav Gupta（CMU）■ Roboticsにおける事前学習データとは?
● ドメイン・多様性・スケールの三本柱をどうするか■ これまでのスライドにある通りEgo4Dでの学習がトレンド■ R3M等含めてEgo4Dでの検証は進んでおり，効果も実証されつつある■ 一方で，Ego4Dが必ずしもRobotics事前学習に最適であるかどうかは疑問を抱くべき● 彼いわく “100DOH or Charades might be better source of data for training robotics.”

source1: https://ego4d-data.org/
source2: https://arxiv.org/abs/2203.12601

106

CVPR 2023 の動向・気付き（54/259）● Workshop: Visual Pre-training for Robotics○ Alexander Kirillov（Meta AI Research）■ Segment Anythingの第一著者■ 基盤モデルには，モデル・データ・タスクの3つが重要● Segment Anythingを実現するには3要素全てが不足すぎる．「じゃあ全部やりましょう」■ Promptable segmentation (task): Prompt engnearingを活用したSegmentationへ■ SAM (model): Prompt encodingを導入して，point/text等をpromptとして入力可能に■ SA-1B: (Data): Human-in-the-Loopでアノテーション，データセット権利関係もクリアに

https://arxiv.org/pdf/2304.02643.pdf

107

CVPR 2023 の動向・気付き（55/259）● Workshop: Visual Pre-training for Robotics○ Sergey Levine（UC Berkeley/Google Deep Mind）■ ArmFarmの第一著者．Deep Learning×Roboticsにおけるスター研究者■ CV基盤モデルの流れをロボティクスでも!! RT-1以降の基盤モデル動向は彼にも注目!!
■ データ・学習戦略・モデルの3つが重要● データ: Bridge Data V2● 学習戦略: Pre-training for Robotics (PTR)● モデル: Visual Navigation Transformer (ViNT)■ 最後は上記の3要素をどう統合するか．

https://arxiv.org/pdf/1603.02199.pdf

108

CVPR 2023 の動向・気付き（56/259）● Workshop: Visual Copy Detection Workshop○ 2023 Video Similarity Challlengeを開催■ 動画像中に画像のコピーが含まれるか認識・検出する問題■ 動画像中にコピーが含まれるか認識 / 動画像中のコピーがどこにあるかも検出の２課題■ 著作権が含まれる画像が動画にコピー&ペーストされて使用され続けていることを解決するためにコンペ

ティションが行われている

日本からはLINE Corp.のComputer Vision Laboratory（CVL）が世界第３位入賞を果たした
109

CVPR 2023 の動向・気付き（57/259）● Workshop: Scholars & Big Model○ Georgia Gkioxari■ Meta AI -> Caltechに移って教員メンバーになる■ メタではプロダクトに有用な研究を行う，カルテクでは有用な研究を行いノーベル賞を取るように言われている（>_<）■ アカデミア：次の新しい問題を考えて，提起している■ インダストリ：問題としては新しいことがない，BigTechは大規模化・SmallTechはモデル使用で汎化させて問題を解いている

source: 講演時にスライドを撮影
110

CVPR 2023 の動向・気付き（58/259）● Workshop: Scholars & Big Model○ Derek Hoiem■ 論文出るの早すぎ！しかもみんな同じ手法を使っている■ 新しいフレームワークや問題提起できる人を増やすべき■ 教育や（研究者としての）トレーニングを賞賛すべき■ アウトプットの心配する前に学生は学べ！

111

CVPR 2023 の動向・気付き（59/259）● Workshop: Scholars & Big Model○ Jitendra Malik■ アカデミアは多くのチャンスとつながりがある■ アカデミアは新しいアイディアを試せるので，どんどん挑戦していこう■ Locomotion に関する前例の無い研究の例■ → リスクをとって新しい研究をしよう■ → 成功例が次の学生の励みになる

現在まで制御側でなんとか対応しようとしてきた４足歩行の問題も，視覚の事前学習を入れたらうまく行った，という例
source: https://arxiv.org/abs/2211.03785
112

CVPR 2023 の動向・気付き（60/259）● Workshop: Scholars & Big Model○ 所感■ 確かに何万人も同じ問題をやらなくても良い■ 深層学習の黎明期にImageNetの画像認識に多くの人が取り組み，2012/2015のチャレンジ以外は年間数%を向上させるため頑張っていた■ 「幅広い知識と狭い範囲でも良いので特化した専門性」は学生に限らず重要■ あとは体力，何と言っても知的・肉体的な体力で押し切る！

“To invent, you need a good imagination and a pile of junk.”- Thomas A. Edison の精神

113

CVPR 2023 の動向・気付き（61/259）● 論文の完成度が向上○ 数年前（2020年以前）：「精度向上」して，手法として成立すれば採択○ 2023年：「精度向上+α」がかなりの頻度ある（αは計算コスト・パラメータ数削減など），精度を同等以上にするのは当たり前でいかに付加価値を高いレベルで付けるかの勝負○ 「とりあえず精度向上」して，手法っぽく確立させるだけなら結構時間と頭を使えばできるようになってきた（？）ということか→ 分野の査読経験値が向上してきて，熟練の査読者も増えてきた

114

CVPR 2023 の動向・気付き（62/259）● トップ研究者の体力・筋肉はヤバい！
○ 研究には体力が必要■ 「知的体力が必要」みたいなことを金出武雄先生の本*に書いてあったが，最近競争が激化するAI分野

においてはホントに体力がないとついて行けなくなった■ CVPRなどAI分野の情報収集を短時間で行って，研究まで実施ためには，体力・筋肉の差がそのまま影響する構図になっている？？？
■ 実際，北米・欧州の有名な先生はいつも話しているし，忙しなく動いている（夜遅くまで懇親会していたのに翌朝4時からミーティングがあるという場面も）*独創はひらめかない: 「素人発想，玄人実行」の法則 ー 金出武雄

115

CVPR 2023 の動向・気付き（63/259）● Workshop: Structural and Compositional Learning on 3D Data
○ Speaker: Angela Dai■ ScanNetの提案者．TUMにて3D認識系の研究○ Title: Structured Parametric Models for 3D Perception■ 3Dデータの取得は大変．そこで，Learning 3D Prior without 3D data
■ 画像のみを使って3Dシーンをどのように理解するか，また3D Priorをどのように獲得するか● Mask2CAD, Patch2CAD, Learning 3D Scene Priors with 2D Supervisionsource1: https://yinyunie.github.io/sceneprior-page/source2: https://www.3dunderstanding.org/papers/2020/kuo2020mask2cad/
source3: https://www.3dunderstanding.org/papers/2021/kuo2021patch2cad/

116

CVPR 2023 の動向・気付き（64/259）● Workshop: Structural and Compositional Learning on 3D Data
○ Speaker: Angela Dai■ ScanNetの提案者．TUMにて3D認識系の研究○ Title: Structured Parametric Models for 3D Perception■ What’s next??
● Point Cloud & Language!
○ カテゴリが限定的な3DデータセットをLLMでどう解決していくか！
● Rethinking ScanNet○ 今のScanNetではデータ質・量の面で改善が必要．ScanNet++の構築が急務○ 提案者だからこそ，誰よりもScanNetについて理解し，3D認識を次のステージへ

https://rozdavid.github.io/scannet200

117

CVPR 2023 の動向・気付き（65/259）● Workshop: Structural and Compositional Learning on 3D Data
○ Speaker: Mikaela Uy■ ScanObjectNNの提案者．Stanford Univ.にて3D認識・生成系の研究○ Title: Towards Controllable 3D Content Creation by leveraging Geometric Priors■ PartNeRF● 3D教師を必要とせずにオブジェクトパーツの編集・テクスチャ生成を可能に!!
■ SCADE● 3D Priorを活用して少数視点の画像から3Dシーンを生成

https://arxiv.org/pdf/2303.13582.pdf
https://arxiv.org/pdf/2303.09554.pdf

118

CVPR 2023 の動向・気付き（66/259）● Workshop: Learning 3D with Multi-View Supervision (3DMV)○ Speaker: Charles Qi■ PointNet/VoteNetを始めとして，三次元点群深層学習の第一人者○ Title: 3D Perception from Multi-X■ MoDAR● 数秒後の三次元点群を予測し，その三次元点群を三次元物体検出に利用■ GINA-3D● 3Dデータ枯渇問題を解決するのために，屋外シーン用の3Dオブジェクトを生成可能に

https://arxiv.org/pdf/2306.03206.pdf
https://arxiv.org/pdf/2304.02163.pdf

119

CVPR 2023 の動向・気付き（67/259）● Workshop: Learning 3D with Multi-View Supervision (3DMV)○ Speaker: Georgia Gkioxari■ Mesh R-CNN/Mask R-CNN等の著者．CVPR 2021ではPAMI Young Researcher Awardを獲得したスター

研究者．最近，Meta AI (産業界)からCaltech (学術界)へ移籍■ ちなみに，6/19 (月)Workshopでは少なくとも3つの招待講演を掛け持ち!!

○ Title: 3D Recognition in the Wild With and Without 3D Supervision■ 3D教師ラベルを使用せずに実世界を認識・理解するには?
● やはり，3Dデータの収集・アノテーションに対する膨大なコストが必要である部分が根本的問題■ 画像から3D再構成/物体検出 → 仮想カメラで投影&学習 → 入力画像に3D■ といえど3Dデータセットも構築・公開予定．素晴らしい!!

https://arxiv.org/pdf/2206.07028.pdf

120

CVPR 2023 の動向・気付き（68/259）● Workshop: Learning 3D with Multi-View Supervision (3DMV)○ Speaker: Matthias Niessner■ TUMの先生．3次元再構成をはじめとして3D系における大先生■ ちなみに，すごい筋肉ムキムキで半袖短パンで講演○ Title: Photorealistic Reconstruction with Neural Parametric Models■ 大量データ&弱教師 or 少量データ&強教師のどちらが良い？
● I believe we need *both* to achieve generalizability and high fidelity.
■ 3D再構成のためのデータセットを多数提案

https://twitter.com/MattNiessner/status/1667335181152423937?s=20

121

CVPR 2023 の動向・気付き（69/259）● Workshop: Holistic Video Understanding workshop○ 1つの動画に多様なラベル(行動，背景，物体など)を付与したデータセットを 公開しているチームのワーク
ショップ○ 動画の多様な情報を学習するためにはどうしたら良いかについて議論○ 全体的な動画の認識の応用について議論

研究の動向としては，，

過去
マルチタスクやマルチラベルを使ったHolistic
Video Understanding

現在
文章を使ったHolistic Video Understanding
このワークショップを見た感じでは．．
On a beautiful blue day, ajoyful person was having fun
jet-skiing on the sea near thejungle, their laughter echoing
from the boat nearby,
creating a pure sense of joy.

122

CVPR 2023 の動向・気付き（70/259）● Workshop: Oral発表１Class Protptype based contrastive learning for classifying
multi-label○ オンラインビデオから子供向けの教育的なコンテンツを識別する新しいアプローチを提案○ 複数のラベルに関連する微細なサンプルを処理できる新たなクラスプロトタイプに基づくSupervised
contrastive learningを用いて，ビデオが複数の教育的内容を含むことができ，内容のクラスが視覚的に似ている場合でも分類する細かい多ラベル分類問題として定義した

123

CVPR 2023 の動向・気付き（71/259）● Workshop: Oral発表2 AutoAD：movie description incontext■ 映画から自動的に音声説明（Audio Description: AD）を生成するモデルを開発し，評価■ GPTやCLIPのような事前学習済みのモデルを活用し，視覚的に制約されたテキスト生成のために2つのモデルを橋渡しするマッピングネットワークを学習● 事前学習モデルGPTとCLIPの組み合わせは，視覚的に条件付けられたテキスト生成（映画からの音声説明（AD）の生成）に対して有効● 映画クリップ，前のクリップからのAD，および字幕からの情報を含む，より広範な文脈の使用が，質の高いAD生成に貢献

124

CVPR 2023 の動向・気付き（72/259）● Workshop: Oral発表3 HierVL: Learning Hierarchical Video-Language Embeddings○ 長期的・短期的なビデオとテキストの関連性を同時に学習する新しい階層的動画-言語埋め込みモデ

ル"HierVL"を提案■ 結果，モデルは特定のクリップが何を表しているのか（短期的な理解），そして全体のビデ

オが何を意図しているのか（長期的な理解）を理解する能力を獲得■ これにより，モデルはさまざまなビデオ理解タスク，特に長期的なビデオモデリングを必要とするタスクで，より良いパフォーマンスを達成することが可能に

125

CVPR 2023 の動向・気付き（73/259）● Workshop: 招待公演：Learning holistic visual representation with minimal supervision○ Webからは大量のデータを取得するのは簡単だが，これらのデータにholisticなラベルを付与するのは大変■ そこで，この招待公演では以下の論文を紹介● LaViLa：Language model augmented Video-Language pre-training● CutLER: Cut and Learn for Unsupervised Object Detection and Instance Segmentation● ImageBind: One Embedding Space To Bind Them All
LaViLaCutLER
ImageBind

人間の監視なしに学習させたCutLERモデルを用いたゼロショット教師なし物体検出とインスタンス分割を行う．標準的な検出APboxを使用してモデルを評価する．CutLERは，ビデオフレームなどの多様な画像領域にまたがる
異なるモダリティの埋め込みを統合してクロスモーダル検索を可
様々なベンチマークで，強力な性能を発揮する．
能にし，新たなセマンティクスを形成し，音声から画像への変換をナレーターとなる大規模言語モデルの行うというマルチモーダル機能を提供
スーパービジョンを用いてビデオ言語表現を学習することで，多くの一人称および
126
三人称のビデオ理解タスクにおいてSoTACVPR 2023 の動向・気付き（74/259）● Workshop: EarthVision workshop■ 地球観測とリモートセンシングは，コンピュータビジョン，機械学習，信号/画像処理の融合により，空中や宇宙から収集したデータを利用して地球表面のプロセスについての情報を提供する研究分野■ これは，位置情報サービス，オンライン地図，大規模監視，3D都市モデリング，自然災害の予測と対応，
気候変動監視などの多岐にわたるアプリケーションに使用され，大量のデータ解析には高度な自動化が必要■ この分野は，国連の「持続可能な開発目標」の多くに直接関連し，地球観測技術と機械学習の進歩は，自然災害監視，都市成長，森林破壊，気候変動などの社会的課題の解決にも貢献している

127

CVPR 2023 の動向・気付き（75/259）● Workshop: Inferring the past: a combined CNN-LSTM deep learning framework tofuse satellites for historical inundation mapping■ Sentinel-1から派生した洪水エリアとMODISデータを統合するための深層学習フレームワーク，具体的にはCNN-LSTMを開発● 衛星データは，洪水影響地域をリアルタイムで監視し評価する能力を持つため，緊急対応や災害管理の努力において重要な情報源となる● 衛星データは，洪水のトレンドやパターンを時間を通じて分析するための歴史的情報を提供することができ，長期的なレジリエンシー計画やリスク管理戦略の策定を支援● Sentinel-1衛星とMODIS時間系列を統合することで，指数ベースの洪水保険指数における各センサーの欠点を克服し，高解像度の現代洪水検出と歴史的なデータ利用可能性の両方の利点を活用する可能性がある

深層学習アーキテクチャの模式図
モデリングのフレームワーク
128

CVPR 2023 の動向・気付き（76/259）● Workshop: Seasonal Domain Shift in the Global South: Dataset and Deep Features
Analysis■ 季節変動によるドメインシフトを考慮に入れた航空画像からの土地利用分類のためのデータセットを提案し，色，形，テクスチャの画像特徴がシーン分類の精度にどのように影響するかについて詳細に調査■ 特徴の抽出において，Gabor特徴の事前知識を利用し，大きな受容野を実装したアーキテクチャを提案し，それが浅いもしくは深いネットワークでの分類パフォーマンスを向上させることを示した

129

CVPR 2023 の動向・気付き（77/259）● Workshop: GeoMultiTaskNet: remote sensing unsupervised domain adaptation using
geographical coordinates■ 地理座標を利用して高解像度リモートセンシング画像のセマンティックセグメンテーションにおける教師な
しドメイン適応を実現する新しい軽量モデル，GeoMultiTaskNetを提案● 教師なしなためアノテーションコストが削減されている● ドメイン適応を用いるので，別地域のデータの利用（ドメインシフトが可能）● 地域座標を利用することでリモートセンシング特性を考慮

ドメイン間の航空画像のラジオメトリックな不一致表示されるバンドは，近赤外線，赤色，緑色のスペクトル情報を合成したもの

GeoMultiTaskモジュールとDynamic Class Samplingモジュール

GeoMultiTaskモジュールの構造で，入力と出力のサイズが示されている
130

CVPR 2023 の動向・気付き（78/259）● Workshop: UnCRtainTS: Uncertainty Quantification for Cloud Removal in Optical
Satellite Time Series■ 新たなAttention baseベースのアーキテクチャと多変量不確実性予測を組み合わせた，多時点の雲除去
手法「UnCRtainTS」を導入し，画像再構築のSoTAを達成● UnCRtainTSは雲やヘイズなどによる遮蔽を取り除くための手法● 特に光学衛星画像の多時点雲除去に適用される● 雲除去は画像の品質と解釈可能性を向上させるとともに，限られたアノテーションしか利用できない
モデルの訓練が可能

131

CVPR 2023 の動向・気付き（79/259）● Workshop: Masked Vision Transformers for Hyperspectral Image Classification■ Hyperspectral Imageを用いたVision Transformerの学習方法を検討● ブロックワイズパッチ埋め込み● 空間-スペクトル自己アテンション● スペクトル位置埋め込み● マスク自己教師付き事前トレーニング● 土地被覆分類の精度に著しい改善を発見

132

CVPR 2023 の動向・気付き（80/259）● Workshop: 2nd Workshop on Learning with Limited Labelled Data for Image andVideo Understanding○ 招待公演：Reducing supervision to Enable Detailed Video Understanding■ Speaker：Hazel Douthy
本講演では，ビデオコンテンツをよりきめ細かく理解するために，限られたラベル付きデータを利用する必要性について紹介する．特に，利用可能なデータを有効に活用することで，必要な監視をさらに減らすドメイン適応 [CVPR 2022, ArXiv] と自己監視 [ECCV 2022, ArXiv]
における我々の最近の研究に焦点を当てる．
Bio
Hazel Doughtyは，Cees Snoek教授のもとで働くアムステルダム大学のポスドク研究者．英国ブリストル大学にてDima Damen教授の指導のもと，博士課程を修了．博士課程では，Inria Parisの客員研究員として数ヶ月を過ごす．9月にライデン大学の助教授として着任予
定．研究テーマは映像理解，特にきめ細かい理解と不完全な監視下での学習である．

133

CVPR 2023 の動向・気付き（81/259）● Workshop: 2nd Workshop on Learning with Limited Labelled Data for Image andVideo Understanding○ 招待公演：Reducing supervision to Enable Detailed Video Understanding■ 論文紹介１：Tubelet-Contrastive Self-Supervision for Video-Efficient Generalization (CoPR’23)● 人工的に生成された動き（"Tubelets"と呼ばれる）を使用して，ローカルなモーションダイナミクスに焦点を当てたビデオ表現を自己教師ありで学習する新たな方法を提案● Domain shiftや行動認識のダウンストリームタスクに対して汎用性が向上した．
Tubelet-Contrastive Positive
Pairs下は，模擬チューブレット
内部の時空間運動ダイナミクスを共有するだけで，時間コント
ラストペア．上は高い空間バイアスに悩まされる．チューブレッ
トを対比させることで，データ効率がよく，一般化可能な映像表現が得られる．

Tubelet-Contrastive Learning

134

CVPR 2023 の動向・気付き（82/259）● Workshop: DARE-GRAM : Unsupervised Domain Adaptation Regression by Aligning
Inverse Gram Matrices○ 教師なしドメイン適応回帰問題に対する新しい視点を提供し，特徴の逆グラム行列を整列させることでソースとターゲットドメイン間のギャップを埋める新しい手法DARE-GRAMを提案■ 新規性は，従来の特徴空間の整列に代わり，特徴の逆グラム行列を整列するという新しい視点を提供している点■ 一般化最小二乗（ordinary least squares, OLS）解の中に存在する逆グラム行列と，グラム行列が特徴相関を捉える能力にヒントを得ている

135

CVPR 2023 の動向・気付き（83/259）● Workshop: 2nd Workshop on Learning with Limited Labelled Data for Image andVideo Understanding○ 招待公演：Reducing supervision to Enable Detailed Video Understanding■ 論文紹介２：Audio-Adaptive Activity Recognition Across Video Domains (CVPR’22)● 風景やカメラ視点の変更，または俳優の変更によるドメインシフトの下での活動認識を行うために，

ドメイン間での変動が少なく，信頼性の高い指標となる活動音を利用した音声適応型エンコーダと学習方法を提案● さらにドメイン固有の特徴を排除し，ドメイン不変の活動音を活用した認識器を提案し，新たなタスクとデータセットを導入してその効果を示した

風景やカメラの視点及び役者が変わることで発生する
Domain shiftの活動を音の力を借りて認識
Audio-adaptive encoder for activity recognition under domain shift.
136

CVPR 2023 の動向・気付き（84/259）● Workshop: 2nd Workshop on Learning with Limited Labelled Data for Image andVideo Understanding○ 招待公演：Reducing supervision to Enable Detailed Video Understanding■ 論文紹介３：Day2Dark: Pseudo-Supervised Activity Recognition beyond Silent Dayligh (CoPR’22)● ラベル付けされていない暗闇のビデオを活用する擬似教師あり学習戦略と，照明に応じてオーディ

オビジュアルの統合方法を変更する「闇の認識」を導入した新しい活動認識モデルを提案● 提案したモデルが低照明環境でも効果的にActivityを認識できること，また日中の遮蔽に対してもロバストであることを確認

Activity認識装置は明るい映像に重点を置いているため，暗いところでは分布のずれや低コントラストのために失敗する．
本手法は，ラベルのないタスクに無関係な暗い映像を使用し，照明に影響されない音と外観を適応的に融合させることで，暗闇に適応する．
Pseudo-Supervised Day2Dark Learning
137

CVPR 2023 の動向・気付き（85/259）● Workshop: Workshop of Adversarial Machine Learning on Computer Vision: Art ofRobustness○ 生成モデルの発展と共にDeepfakeの被害が実社会で急速に広がっている■ Deepfakeを使用した脅しのメール（blackmail）の被害は（少なくともアメリカ国内では）既に実社会のあらゆる場所で発生しているとのこと■ 特定の生成モデルに対して上手く動作するDeepfake検出・破壊の手法は存在するが社会実装としては
まだまだPoCの段階のため，より汎化性の高い手法の研究が望まれる

https://twitter.com/aleks_madry/status/1669044821779156992

https://gradientscience.org/photoguard/

138

CVPR 2023 の動向・気付き（86/259）● Workshop: Workshop of Adversarial Machine Learning on Computer Vision: Art ofRobustness○ 限られた予算でCLIPを学習するのは可能か？-> “頑張れば可能”●: An Inverse Scaling Law for CLIP Training: https://arxiv.org/abs/2305.07017■ CLIPはOut of distributionに強くロバスト性の研究においても重要■ OpenCLIPのようにオープンソースのCLIP再現実装もあるが，学習に必要なコストが高く限られた予算では学習が現実的ではない？
■ しかし，CLIPはencoderのサイズが大きいほど，少ない画像・テキストで効果的に学習出来る経験則（Inverse scaling law）を発見した■ L/16の場合，8個のA100を使った3日間の学習でImageNetのzero-shot top1 accuracyでオリジナルのCLIPとほぼ同等の水準に到達

139

CVPR 2023 の動向・気付き（87/259）● Workshop: Workshop of Adversarial Machine Learning on Computer Vision: Art ofRobustness○ LLMの頑健性・信頼性の向上は社会的にも急務なタスク■ ChatGPTを初めとするLLMを利用したサービスの急速な社会実装が進む一方で，Jailbreak等のLLMに対する攻撃対策は追いついていないのが現状

140

CVPR 2023 の動向・気付き（88/259）● Workshop: Women in Computer Vision○ 招待公演: Dr. Devi Parikh■ 生成モデルの様々なモダリティへの拡張（テキスト，画像，動画，音声，3Dなど）■ 紹介論文: MUGEN: A Playground for Video-Audio-Text Multimodal Understanding and GENeration(ECCV22)
ゲーム動画から言語・ビデオ・音声のデータセットを自動構築する■ Open Problems: より長くリッチな動画生成，バイアスの問題など

MUGANより引用
141

CVPR 2023 の動向・気付き（89/259）● Workshop: Women in Computer Vision○ 招待公演: Dr. Judy Hoffman■ 冗長性を取り除くモデル開発■ 紹介論文1: Token Merging: Your ViT But Faster● ViTに入力するトークンを組み合わせる. (プルーニングよりも高速）● ViTのattention kye(K)の類似度を使用して, トークンが類似するものをマージする.
● 性能の低下を押さえ高速化することに成功

142

CVPR 2023 の動向・気付き（90/259）● Workshop: Women in Computer Vision○ 招待公演: Dr. Judy Hoffman■ 紹介論文2: LANCE: Stress-testing Visual Models by Generating Language-guided Counterfactual

Images● もとのテスト画像からそれの説明文を生成し，一つのAttributeを変更し(例: ハスキー→ポメラニアン)，それをまた生成モデルにいれることで，新しいテストデータを生成する．
● 提案手法で生成されたテストデータを使うことで，ImageNetのテスト結果が低下（つまりタスクを難しくすることに成功）● テストデータを困難にすることや，モデルにバイアスがないか調査することに貢献できる．

143

CVPR 2023 の動向・気付き（91/259）● Workshop: Women in Computer Vision○ 招待公演: Dr. Kristen Grauman○ 1人称視点研究の紹介（ロボットへの応用や，拡張現実に向けて）○ 紹介論文: HierVL: Learning Hierarchical Video-Language Embeddings (CVPR23)■ 行動の説明(what)と要旨(why)の間に階層構造を見出す■ 長い時間の動画説明に，短い動画からのリッチなreasoningを使用することで，より高度な動画のreasoningを可能にする．

144

CVPR 2023 の動向・気付き（92/259）● Workshop: Women in Computer Vision○ A dataset and system for automated rose growth monitoring(Risa Shinoda , Ko Motoki, Kensho Hara, Hirokatsu Kataoka, Ryohei Nakano, Tetsuya Nakazaki, Ryozo Noguchi)■ バラの自動モニタリングシステムの開発■ 葉によるオクルージョンが激しいバラの成長ステージ別検出を可能にする．物体検出＋物体追跡＋オリジナルの回帰モデルを使用することで，さまざまな角度からバラを検出する．
■ 実応用に向け，アクションカメラ1台での検出を可能にした．

145

CVPR 2023 の動向・気付き（93/259）● Workshop: Women in Computer Vision○ WiCV初参加であったが，コミュニティの連携が強いと感じた○ 著者はディナーに招待され，招待講演の著者や，他の採択者と話せる（WiCV Twitterより写真を拝借）
146

CVPR 2023 の動向・気付き（94/259）● Workshop: Efficient Deep Learning for Computer Vision (inv. talk)○ Efficient 3D Perception for Autonomous Vehicles(Speaker: Zhijian Liu)

■ 背景：自動運転車における3次元物体認識のレイテンシ■ 手法：● BEVFusion：様々なセンサーから得られる情報を鳥瞰図(BEV)の空間に統合し，
主要なview transformationを40倍高速化● FlatFormer：点群変換における空間的な規則性に着目してAttention計算を工夫することで，
sparse CNNより高精度かつ高速で，エッジGPU上でリアルタイム性能を達成● SparseViT：スパース性を考慮したアダプテーションを導入し，進化的探索を適用することで，精度を損なうことなく，密な箇所と比較して実測で1.5倍の高速化を実現

147

CVPR 2023 の動向・気付き（95/259）● Workshop: Efficient Deep Learning for Computer Vision (inv. talk)○ CLIP for Less: Efficient Training and Adaptation of Foundational Models(Speaker: Kate Saenko)■ 背景：CLIP登場以降のfine-tuning→zero-shotへのトレンド変遷■ 手法：● DIME-FM：CLIPを蒸留し，比較的小規模なモデルかつUnpairdなデータセットで高水準なゼロショット性能を達成● DualCoOp：モデルではなくプロンプトの学習（pos+neg）を行うことによって，マルチラベルな画像認識タスクを限られたアノテーションで解く

148

CVPR 2023 の動向・気付き（96/259）● Workshop: Efficient Deep Learning for Computer Vision (inv. talk)○ Mobile Super Resolution: MLPerf App - Benchmarking and Challenges(Speaker: David Tafur & Sanghyun Son)

■ 背景：MobileAIのパフォーマンス評価の難化（デバイス，ソフトウェア，設定の差異）■ 手法：● MLPerf Mobile App：統一的にMobileAIのパフォーマンス比較を行えるBenchmarkを公開し，公正な研究を促進● EDSR：超解像度タスクのBenchmarkとして用いられたモデル
アーキテクチャがシンプルかつ効率的で，多くの超解像度モデルのベース● OpenSR：ライセンスフリーな超解像度タスク評価用の公開データセット

149

CVPR 2023 の動向・気付き（97/259）● Workshop: Efficient Deep Learning for Computer Vision (inv. talk)○ Efficient Deep Learning Computing with Sparsity(Speaker: Song Han)

■ 背景：深層モデルの大規模化による学習/推論コストの増大■ 手法：● 生成モデルの高速化○ FastComposer，GAN Compression，DiffAugment，Anycost GANs
● LLMのメモリ効率化○ SmoothQuant，AWQ● TinyML project：MITのHan Labがリードする，省データ，省メモリ，省エンジニアリングな深層学習を目指すプロジェクト

150

CVPR 2023 の動向・気付き（98/259）● Workshop: Efficient Deep Learning for Computer Vision (inv. talk)○ Increasing Efficiency by Reducing Redundancy(Speaker: Judy Hoffman)■ 背景：深層モデルの大規模化による学習/推論コストの増大■ 手法：● ZipIt!：複数の事前学習済みモデルを統合し，再学習することなく統合された汎化性を発揮する単一モデルを生成● ToME：処理前に類似したトークンを見つけてマージすることで，冗長な計算を明示的に削減し，推論速度を大幅に向上させる手法

151

CVPR 2023 の動向・気付き（99/259）● Workshop: All Things ViTs: Understanding and Interpreting Attention in Vision (1/4)○ Probing Vision Transformers■ Mean attention distance (MAD)● 画像のピクセル間の関係性の強さを，ピクセルの物理的な距離とAttention値を掛け合わせ導出● 大規模データセットで事前学習すると，局所的特徴と大域的特徴の双方をカバー可能○ 高層では大域的特徴のみをカバー，低層では双方をカバー■ モデル中の層同士の表現空間の類似性を比較● ViTは全層通して均一，CNNは低層と高層で分離● Skip ConnectionがViTの表現空間の均一性を担保

152

CVPR 2023 の動向・気付き（100/259）● Workshop: All Things ViTs: Understanding and Interpreting Attention in Vision (2/4)○ Explaining Transformers■ Transformerの大規模化/複雑化によって，モデルの説明性の担保が困難に■ Transformerに合わせた説明手法が台頭● Attention Rollout：コンテキスト集約のためにlayer wiseにAttention mapの行列を乗算● Attention Flow：コンテキスト集約のためにlayer wiseにAttention graphの最大流問題を解く● TiBA，GAE：Grad-CAMのようにgradientを用いてAttention以外のネットワークも考慮

result of TiBA

result of GAE
153

CVPR 2023 の動向・気付き（101/259）● Workshop: All Things ViTs: Understanding and Interpreting Attention in Vision (3/4)○ Attention as explanation (CaiT)■ CLSを挿入する際にパッチ埋め込みを凍結することで計算量を節約■ CaiTはクラス-アテンション段階でクラストークンとパッチとの間に相互に作用■ 分類の判断が行われる画像の主要部分に対応し，興味のあるオブジェクトに明確に注目

判断根拠を示す一つの指標として利用可能

154

CVPR 2023 の動向・気付き（102/259）● Workshop: All Things ViTs: Understanding and Interpreting Attention in Vision (4/4)○ Attention for Downstream Tasks (Latent Diffusion Models)■ エンコーダは，入力を埋め込み空間にマッピング■ 潜在空間には拡散モデルが適用■ →学習コストが低く，推論を高速化

155

CVPR 2023 の動向・気付き（103/259）● Workshop: Efficient Deep Learning for Computer Vision (poster)○ Pre-training Auto-generated Volumetric Shapes for 3D Medical Image Segmentation■ 目的：3D医療セグメンテーションのための事前学習データ&方法を提案■ 手法：● AVS-DB：xy平面とz軸の異なる規則に基づいて3次元構造を生成，
複数オブジェクトを組み合わせることで事前学習用3Dデータを生成
第一著者は東北大学 医学部生!!
● 学習方法: 規則に応じて与えられたカテゴリラベルに基づきセグメンテーションタスクにて事前学習■ 結果: 従来のSOTA自己教師あり学習手法より高い性能を発揮

https://openaccess.thecvf.com/content/CVPR2023W/ECV/papers/Tadokoro_Pre-Training_Auto-Generated_
Volumetric_Shapes_for_3D_Medical_Image_Segmentation_CVPRW_2023_paper.pdf

156

CVPR 2023 の動向・気付き（104/259）
Workshop: O-DRUM Workshop @ CVPR 2023
Open-Domain Reasoning Under Multi-Modal Settings○ Jiajun Wu氏による招待公演：Concept Learning Across Domains and Modalities■ 視覚的推論にはCLEVRなどシミュレータによるデータが用いられることが多い● 実画像とのドメインの違いをどう考慮するか？

■ 視覚的推論にもさまざまなタスク：従来はドメイン特化の手法● 2D question answering, 3D refferring expression, temporal sequence reasoning, robot

manipulatiionなどのタスク

2D question answering

3D refferring expression

157

CVPR 2023 の動向・気付き（105/259）
O-DRUM Workshop @ CVPR 2023
Open-Domain Reasoning Under Multi-Modal Settings○ Jiajun Wu氏による招待公演：Concept Learning Across Domains and Modalities■ 今後の動向としては, 全てのタスクを同時に解くLogic-Enhanced Foundation Model(LEFT)● 基盤モデルにより各タスクにおいても性能向上
LLMの利用：ドメイン不変に

ドメイン特化に
下流タスクに利用

158

CVPR 2023 の動向・気付き（106/259）
Workshop on Computer Vision for Microscopy Image Analysis (1/3)○ 顕微鏡画像解析に焦点を当てたワークショップ

顕微鏡画像においても基盤モデルの流れ■ 病理画像解析における基盤モデルの構築● 招待公演：James Zou (Stanford University)○ PLIP: Leveraging medical Twitter to build a visual–language foundation model for pathology AI■ 医学分野におけるSegment Anything Modelの利用● 招待公演：Dong Xu (University of Missouri Columbia)○ Enhancing SAM's Biomedical Image Analysis through Prompt-based Learning

159

CVPR 2023 の動向・気付き（107/259）
Workshop on Computer Vision for Microscopy Image Analysis (2/3)○ 招待公演：James Zou (Stanford University)
PLIP: Leveraging medical Twitter to build a visual–language foundation model for pathology AI■ Twitterから病理画像-テキストのペアを収集して, 対象学習することにより基盤モデルを作成→データ
クレンジングが重要■ zero-shot, linear probing, text-to-image retrieval, image-to-image retrievalなどの下流タスクを想定■ 将来的な展望はspatial omics：ゲノム情報を空間的に予測

twitterからデータ収集 →クレンジング
160

CVPR 2023 の動向・気付き（108/259）
Workshop on Computer Vision for Microscopy Image Analysis (3/3)○ 招待公演：Dong Xu (University of Missouri Columbia)
タイトル：Enhancing SAM's Biomedical Image Analysis through Prompt-based Learning■ 医学教科書の図のOCRによる解析への利用● SAMでfigureに対してsegmentation❏ 顕微鏡細胞画像に対するSAMの応用❏ SAMをいかに上手く利用するか？(full finetune / prompt
tuning / adapter tuningなど)について色々検証している❏ full finetune→decoderの特定の層のみ学習→入力でprompt tuning→encoderにおけるadapter tuningの順番で性能が向上❏ 今後の展望としては, 別のprompt tuning試したり,
chain-of-thoughtでprompt最適化したりSAMの利用方法で性能比較

161

CVPR 2023 の動向・気付き（109/259）● Workshop: New Frontiers in Visual Language Reasoning: compositionality, prompts, andcausality○ LLM，Multi-Modal LLM(例CLIP)などの分析に関する研究が多い■ 例１：CLIPの学習済み特徴はdisentangledで，equivariantではない（左下）．
■ 例２：LLMにGender，Age，Ability別でPromptをRequestすると，解答能力が異なってくる．使い側の情報となり，LLMの学習バイアスも解析できる．
■ 新しい指標などで，現在のMultimodal LLMがCompositionality的にもないがあることを示した．(次のページ)

Equivariant Similarity for Vision-Language Foundation Models （arXiv, 23）

CLIPが各年齢・専門性・人種・性別を真似して生成したテキストの精度差
162

CVPR 2023 の動向・気付き（110/259）● CREPE: Can Vision-Language Foundation Models Reason Compositionally?（CVPR 2023
highlight）○ 既存のVision and LanguageモデルのSystematicity（SeenとUnseenの概念，組み合わせの理解）とProductivity（異なる難易度を持ったHard examplesに対しての理解）を評価するベンチマークデータセットと評価指標を提案．（左下）○ CREPEではText-to-Image retrievalを評価タスクとして網羅的な既存手法分析を行った．評価の結果により既存手法がこれらの指標で予想以上に改善の余地があることを示した．（右図）

163

CVPR 2023 の動向・気付き（111/259）● Workshop: New Frontiers in Visual Language Reasoning: compositionality, prompts, andcausality○ Multi-modal LLMとSymbolization(例：Neural Module Network系)■ CLIPなどを含めて，既存のMulti-modal LLMのCompositionalityが想像よりも高くない問題がある．（下図，次の2スライド）■ 重要性1：解釈性，問題が出た際の分析可能性が高くなる．
■ 重要性2：Unseen概念へのtransfer能力が高くなる．
■ 重要性3：Compositional 問題において性能が良い（次ページのSuper-CLEVRを参照）■ 研究例：仕組み上から解釈可能なcausal foundation AI

164

CVPR 2023 の動向・気付き（112/259）● Super-CLEVR: A Virtual Benchmark to Diagnose Domain Robustness in Visual
Reasoning（CVPR 2023, highlight）○ VQAモデルがOut-of distributionへの適応性やドメインの汎化性能が低い傾向になる．しかし，これらを他の要素から独立して評価することが困難．

○ 上記を詳細的に分析・評価するためのデータセットSuper-CLEVRを提案．特に， モデルが視覚複雑性,質問回答の一致性，コンセプトの分布，コンセプトのcompositionalityで評価をした．

○ 既存手法を分析した上，Modularity（Neural Module的な手法）と probabilistic uncertaintを結合した手法が最も高い性能を得られることを示した．

165

CVPR 2023 の動向・気付き（113/259）● Question Generation to Disambiguate Referring Expressions in 3D Environment○ 既存のObject Groundingタスクでは入力文章の情報が不十分である場合が考慮されていない．
■ 参照表現の曖昧性を緩和するための質問生成タスクを提案．
○ 3次元シーングラフをベースとしてテンプレートベースの参照表現と質問テキストのペアを自動生成○ Transformerベースの手法により三次元点群と参照表現テキストを入力すると曖昧性の原因となる候補物体のBBOXと曖昧性を緩和する質問文を出力

166

CVPR 2023 の動向・気付き（114/259）● Workshop: New Frontiers in Visual Language Reasoning: compositionality, prompts, andcausality○ Multi-modal LLMと構造化Representation／Knowledgeの結合■ 構造化されたKnowledgeがcross dataset/ domainのtransferへ応用可能● 特にfine-grainedで，Few-shotにおいて性能が優れている（左下図）■ Image scene graph→Video scene graph→4D scene graph（右下，次Slide）

構造化知識を利用した転移学習(K-LITE, NeurIPS 2022)

167

CVPR 2023 の動向・気付き（115/259）● Panoptic Video Scene Graph Generation（CVPR 2023）○ 新しい問題設定panoptic scene graph generation（Videoのscene graph生成＋Panoptic segmentation）とそのためのデータセットを提案．

○ 提案データセットは，Human labelingでデータを一部収集した上（例：ラベルなど），LLMなどを使ってVideo内容の重
要内容のまとめも行った．（下図，現在Human＋LLMでデータ作成がかなり増えてきた）○ Videoからラベルの検出・追跡，そしてラベルの識別の２段階から構成するモデルも提案．
○ タスクの新規性が薄いかもしれませんが，論文の完成度・手法の結果がとても高い．

168

CVPR 2023 の動向・気付き（116/259）● MIMIC-IT: Multi-Modal In-Context Instruction Tuning（arXiv2023）○ VandL モデルのタスクのための大規模instruction-response pairsデータセットMIMIC-ITを提案し，In-contex的な
VandLモデルの構築を可能に．

○ MIMIC-ITが2.8M instruction response pairsから構成される．また，視覚側では画像，連続画像，ビデオなどがある．

○ MIMIC-ITで学習したOtterモデルが強いIn-context visual learning能力がある．
○ タスクの新規性が薄いかもしれませんが，論文の完成度・手法の結果がとても高い．

MIMIC-ITで扱っているタスク

169

CVPR 2023 の動向・気付き（117/259）● Workshop: New Frontiers in Visual Language Reasoning: compositionality, prompts, andcausality○ 将来課題１：Incontext multimodal learning■ Multi-modal massive dataset+Foundation model．
■ Incontextで言語のみならず，あらゆるモダリティの情報をIncontextで学習■ MIMIC-ITは視覚データ（画像・3次元データ・ビデオ）をIncontext学習し，テスト時に様々なタスクに活用できる．（前のページ）■ 現実世界から自主的な学習と今後結合されていきそう．

170

CVPR 2023 の動向・気付き（118/259）● Workshop: New Frontiers in Visual Language Reasoning: compositionality, prompts, andcausality○ 将来課題２：Analysis by synthesis perspectiveの実現■ Analysis by synthesis perspective:実世界ではなく，シミュレーション世界でリアル世界のモデル化・分析をする．
■ 上記においてDiffusion モデル は有用だが，representations, compositionality,
abstractionなどの面で改善する余地がある．
■ Module Network（例：Neural Module Networkなど）と結合し，高精度のSim2Realを達成する希望がある．

171

CVPR 2023 の動向・気付き（119/259）● Workshop: Embodied AI○

Embodied AIタスクの目標：■ How intelligence emerges from agents interaction with the environment○

ワークショップ2023の３つのTopics■ Foundation Models● 大量なマルチモーダルデータで学習し，複数のDownstreamタスクへ■ Generalist Agents● モデル的に，複数のタスクを同時に解く■ Sim2Real Transfer● simulation (matterport3D, habitat, HM3D)で学習し，Real環境・ロボットでタスクを解いていく○

上記のTopics以外に，Invited talksでよく出てくるキーワード■ Learning from videos■ LLM■ Diffusion model■ Neural Module Networks (/Neural Symbolic Network) (Best PaperのVisual Programmingも)172

CVPR 2023 の動向・気付き（120/259）● Workshop: Embodied AI○ Topics 1：Foundation Models■ 概念：Internetデータで事前学習し，Embodied AIに適応■ Foundation Modelsの分類● High level planningに適応するモデル（次のページ，PaLM-E）● Low-level controlに適応するモデル（次のページ，Robot skill synthesis）■ Palm-eなどのモデルでロボティクスやEmbodied AIでも大量なマルチモーダルデータで学習し，様々なEmergent能力が得られることが示された．
■ データ準備について：● これまでのhigh qualityシミュレーションデータセットなどが活用可能だが，データ作成のコストが高く，多様なデータの作成が困難．
● 今後は，diffusionモデル等の進化により低コストで高質なデータが作成可能．

173

CVPR 2023 の動向・気付き（121/259）● Workshop: Embodied AI○ Topics 1：Foundation Models■ Embodied AI系のFoundation Modelsの例：（後ろの３つのスライドで例を挙げる）

174

CVPR 2023 の動向・気付き（122/259）● Workshop: New Trends in Image Restoration and Enhancement workshop(NTIRE)LSDIR: A Large Scale Dataset for Image Restoration
画像復元のための大規模データセット（LSDIR）を提案○ 背景■ 画像復元における最近の研究は，ネットワークの設計が中心■ 共通して使用されている学習データセットは2017年に提案されているため，数千枚の画像 しか含んでおらず，ネットワークの性能を最大限発揮できていない● 例) DIV2K：800枚，Flickr2K：2,650枚

LSDIR datasetの画像例

学習画像:84,991枚，検証画像:1,000枚，テスト画像:1,000枚で構成
175

CVPR 2023 の動向・気付き（123/259）○ データセット構築手順■ 画像復元タスクにおけるデータの性質● 認識や検出を始めとするhigh-level visonとは異なり，画像復元などのlow-level visonではピクセル単位の品質が重要● 画像に含まれるブラーやノイズといったアーチファクトが学習時に悪影響を及ぼす■ データ収集● オンライン写真共有サービスであるFlickrから4K画像を収集● ライセンス，解像度，アスペクト比，撮影日及びタグを考慮■ データクレンジングのため，以下の施策を実施● ブラー検出のため，Laplacianフィルタでエッジ抽出した結果の分散を使用してフィルタリング● 低周波領域を多く含む画像を削除● JPEG圧縮ノイズやその他含まれるノイズを軽減するためのダウンサンプリング● アノテーターが高品質もしくは低品質か判断

176

CVPR 2023 の動向・気付き（124/259）○ 実験■ 様々な画像復元タスク，モデルで学習結果を比較■ 超解像，ノイズ除去，JPEG圧縮によるアーチファクトの軽減，ブラー除去及びデモザイキン
グで効果を確認

パッチサイズと学習時間を増大させて学習を行うことで様々な画像復元タスクにおいて性能向上を達成
177

CVPR 2023 の動向・気付き（125/259）● Scaling Robot Learning with Semantically Imagined Experience （Google 2023）○ ロボットの学習には大規模学習データが必要だが，ロボットのデータを得るのが難しいためデータ準備のコストが高い．

○ text-guidedなdiffusion modelsでロボット学習のデータ拡張を行う手法を提案し，自動的にロボットデータを準備せずに大規模データの構築に成功．

○ 様々なDownstreamタスクで上記の学習の有効性を示した．

178

CVPR 2023 の動向・気付き（126/259）● Palm-e: an embodied multimodal language model（Google 2023）○ RoboticsのFoundation model Palm-eの提案． Palm-eはマルチモーダルの入力から，Transformer構造で言語に変換し，さらにControlモデルでロボットの実際の行動計画・動作の執行まで行う．

○ Palm-eではscaling効果を示し，様々なemergent abilitiesがある：zero-shot multimodal chain-of-thought,
complex multi-image reasoning, …

○ Internetデータから実環境のロボットまでのpositive transferを示した．

179

CVPR 2023 の動向・気付き（127/259）● Language to rewards for robot skill synthesis（Google 2023）○ LLMsなどをロボットに活用し，比較的にhigh levelタスクにおいての性能が示されてきた．
○ しかし，robot controlなどのLow level問題には適応しにくい問題点が残っている．（ハードウェア依存，LLMs
で表現しやすい特徴量表現の選択など）○ ここでReward functionをLLMsとモデルControlの中間表現として，LLMsを用いてReward functionのパラメー
タを定義・最適化可能にした．

180

CVPR 2023 の動向・気付き（128/259）● Workshop: Embodied AI○ Topics 2: Generalist Agents■ 概念：１つのAgentで様々なタスクを解ける．
■ アプローチ (他のトピックでも通用？)：● Self-supervised embodied action learning (SEAL) (次のスライド)● Modular Models（FILM） (次のスライド)○ Step-by-stepで大きな問題を分解して解く● Grounding Language for multimodal generation：FROMAGe (次のスライド)○ 言語から知識を得る■ Generalist AgentsのためのEmbodied AIタスクも提案された● ALFRED＋TEACh（13タスク？）● ManiSkill（比較的に低レベルなロボットコントロール）

181

CVPR 2023 の動向・気付き（129/259）● SEAL: Self-supervised Embodied Active Learning using Exploration and 3D Consistency(NeurIPS, 2021)○ インターネットデータから追加データなしでRoboticsタスクへ適応する研究．
○ 提案手法SEALはインターネットデータからActive explorationポリシーを学習する．Explorationで得られる観測からセマンティックマップを作成し(3D consisencyによりself-attentionで行う)．

○ 上記のSEAL手法が，ActionとPerceptionのclose-loopを実現し，追加データなしでexplorationと3次元マップ
推定を行える．

182

CVPR 2023 の動向・気付き（130/259）● FILM: Following Instructions in Language with Modular
Methods (ICLR, 2022)○ Modularベースのstructured特徴表示を利用したInstruction Followingモデル．

○ 提案手法は具体的に，まず自然言語のInstructionとEgocentric画像フ
レームの入力から，Semantic top-downマップを更新しつつ，言語からSemantic Search Policyで環境のexplorationを行う．そして，Searchgoalに届くまで上記のプロセスを更新していく．

○ ModularベースのEmbodied AIモデルは最近増えてきて，VQAなどだけではなく，Roboticsタスクでも性能を示した．

183

CVPR 2023 の動向・気付き（131/259）● Grounding Language Models to Images for Multimodal Inputs and Outputs (ICML, 2023)○ 言語と画像両方を理解・生成可能なMultimodal LLM手法の提案．
○ 提案手法が言語のみで学習したLLMを画像ドメインに拡張．
○ 提案手法では言語モデルの部分をFreezeし，入出力層のみで再学習して，Multimodal的なデータを扱う．
○ 提案手法がZero-shotでImage retrievalやMultimodal dialogueなどを行える．

184

CVPR 2023 の動向・気付き（132/259）● RT-1: robotics transformer for real-world (Google, 2022)○ Generalist agentsの研究一例：○ Roboticsの学習のための大規模，Task-Agnosticデータセットの提案．
○ Scaling効果を検証するため，Transformerベース手法Robotics TransformerーRT1を提案．
○ RoboticsにおいてもScaling効果や，大規模データセットでScaling効果や下流タスクへの適応性が検証された．

ワークショップ全体で何回も出たモデル

RT1の概念図185

CVPR 2023 の動向・気付き（133/259）● Workshop: Embodied AI○ Topics 3: Sim2Real Transfer■ あらゆる領域で高い質のデータが備ってきた■ Stable Diffusion modelなどで今後さらに高質なデータ生成■ Sim2realの環境整備系研究も続出：次のSlideのBenchBotが例■ Foundational 的なリアル環境で動くEmbodied AI（ロボットなど）のため：● Learning at scales● Suitable training data (特徴：大きい，リアル)● Test and fine-tuning in real world■ 残っている問題点：● Low level physics はよくIgnored● Geared toward benchmarking, not Sim2Real● Sim training limited to rather specific skills

186

CVPR 2023 の動向・気付き（134/259）● BenchBot environments for active robotics (BEAR): Simulated data for active scene
understanding research (arXiv, 2023)○ Active sceneでのEmbodied AIのためのシミュレーターの提案．
○ 既存のシミュレーターと比べて，BenchBotはシームレスで実環境Robot応用と繋げられる．（direct
sim-to-real transfer of robot agent code）

BenchBot画像例

既存研究との比較
187

CVPR 2023 の動向・気付き（135/259）● Workshop: Embodied AI○ Topics 3: Sim2Real Transfer■ あらゆる領域でのSim2Real：ISAAC Sim■ NVIDIA の大規模ロボットシ
ミュレーションアプリで，多種類の合成データ生成に使える■ Manipulating,Navigation■ Human Simulation■ 室内の工場環境・倉庫などで活用できる材料操作

Human Simulation

工場環境

Manipulation

Navigation
188

CVPR 2023 の動向・気付き（136/259）● Text2Tex: Text-driven Texture Synthesis via Diffusion Models (arXiv, 2023)○ 高質な3次元テクスチャーを生成する手法Text2Tex.
○ テキストから3次元メッシュの高質テクスチャを生成するモデル提案．
○ 提案手法が既存のDiffusionモデルをInpaintingに使って，段階的徐々にテクスチャーの生成を行う

結果例

提案手法
189

CVPR 2023 の動向・気付き（137/259）● Workshop: Embodied AI○ Learning from videos (1/2)：Saurabh Gupta先生■ 特にEgo-centric videosから学習■ 何を学習する：● どうやって物体とInteractする○ 接触位置，どうやって，接触したらどうなる，など（次のスライド）■ 難しい点：● Embodiment Gap;
● negative examples が少ない；● Interactionのための学習信号が少ない／直接ではない■ 手段:● Learning at different abstract levels

190

CVPR 2023 の動向・気付き（138/259）● BeHuman Hands as Probes for Interactive Object Understanding(CVPR, 2022)○ Egocentricビデオから撮影された手と物体のInteractionから，物体の把持，インタラクションなどの知識を学習する手法を提案．

○ 手と物体の一致性を学習するTemporal SimCLR手法と，コンテキストを予測する（Self-supervised）仕組みで物体affordanceを学習する．（右）○ Epic-kitchensデータセットで提案手法でstate-sensitive 情報・物体の把持位置と把持方法などの学習に有効性を示した．

手法：Temporal SimCLR（上），Affordance（下）アイデア概念図191

CVPR 2023 の動向・気付き（139/259）● Look Ma, No Hands! Agent-Environment Factorization of Egocentric Videos (arXiv, 2023)○ Egocentric動画から，手の表現を学習することは様々なrobotic manipulationタスクにおいて重要．しかし，手が他の物
体を遮蔽してしまい，把持などに重要な情報が失ってしまう場合がある．

○ 上記を改善するため，Egocentric動画から，手と環境の特徴表現を分解した特徴表現学習の手法を提案．
○ 上記の手法のコアな部分は：diffusion モデルを使ったvideo inpainting．
○ 手法がシンプルだが，既存手法より良い手の表現学習ができることを示した．

提案手法

192

CVPR 2023 の動向・気付き（140/259）● Workshop: Embodied AI○ Learning from videos (2/2)：Kristen Grauman先生■ 概念：Human-centric environmentから学習するため，動画像データが有用．
■ 特にEgo-centric videosから学習■ Ego-ExoのAlignmentも検討■ Ego-exoからのactivity contextの学習も検討■ 何を学習する：● Hierarchical video-language learning (Ego-4D，Kumar2023次のスライド)● Ego–exo alignment from unpaired data（次のスライド）● Activity context（complex sequential behaviorなど）● Human-like grasping

193

CVPR 2023 の動向・気付き（141/259）● HierVL: Learning Hierarchical Video-Language Embeddings (CVPR, 2023)○ 既存のビデオ認識の手法は数秒間の動画間とテキストの関係性を学習している．そこで，LongTerm動画認識性能が限られる．
○ ここで，階層的なVideo-Language embeding手法を提案し，Long termとShort term両方を統一したモデルで扱えるようにした．また，ビデオクリップレベルとトータルビデオレベルのContrastive Lossを適応した．
○ 短いビデオクリップで細かく何が発生したかを学習し，ビデオ全体でWhyに関して
Reasoningできるようにした．

提案
手法

T-SNE
分析

194

CVPR 2023 の動向・気付き（142/259）● Learning Fine-grained View-Invariant Representations from Unpaired Ego-Exo Videos
via Temporal Alignment (arXiv, 2023)○ Self-superviseでExoとEgo動画のアラインメントを行う手法の提案．
○ 学習では，Unpaired動画から学習可能（時間的に一致性が特にない，環境も同一ではない）．
○ 提案手法は，objectとhandをフォーカスし，エンコーディングをする．また，Reversedビデオをネガティブサンプ
ルとしてContrastive学習する．

提案タスクと学習済み
Embedding

195

CVPR 2023 の動向・気付き（143/259）● Workshop: Embodied AI○ ワークショップ2023の10個のChallengesのその(5/10)：■ Navigation and Understandingタスク● RxR-Habitat（continous space，room cross room navigation）● Multi-On (multi-object navigation, 物体の順序が異なる)● SoundSpaces（音源や音信号からnavigation）● Robot Vision Scene Understanding (室内環境のnavigationとscene,object
recognition)○ scene change も対応● Habitat (image goal navigation, object goal navigation)○ Open-vocabularyも一部対応

196

CVPR 2023 の動向・気付き（144/259）● Workshop: Embodied AI○ ワークショップ2023の10個のChallengesのその(10/10)：■ Interaction and Rearrangementタスク● AI2-Rearrangement○ ２つのシーンの変化を認識し，物体を復元する● ALFRED+TEACh○ Generalist Embodied AIのための13タスクを同時に学習する設定● DialFRED○ Dialog-enabled embodied instruction following● ManiSkill○ Generalist Embodied AIのためのGeneralizable Skillタスク．
○ ロボットの可視化（例：Manipulation）が容易にできる．
● TDW-Transport○ Rearrangementタスク．WSまでに未公開

197

CVPR 2023 の動向・気付き（145/259）● Workshop: Embodied AI○ あらゆるEmbodied AIの手法からみた手法のトレンド：■ LLMsを使用し，Low-level認識から高レベルPlanningを行う● 比較的にLow-level: manipulation skillsなど● 比較的にHigh level: Task and motion planningなど● LLMsを使ってlong horizon planningを行う■ Structuredな構造を使用● 例：GridMM（RxR-Habitatタスク優勝）では３種類のGraph構造を使用■ 高性能のObject detection \Segmentationの事前学習モデルの使用■ Module network (symbolic network)系の導入（次のページ）

198

CVPR 2023 の動向・気付き（146/259）● Reduce, Reuse, Recycle: Modular Multi-Object Navigation (arXiv, 2023)○ Multi-object navigationタスクのためのNeural Module系手法の提案．
○ 提案手法は５つのパーツ：物体検出，マップ生成，Exploration，Planning，navigationから構成され，入力されたGoal（複数の対象物体）から，複数のモジュールが連動して，Step-by-stepでタスクを解く．

手法図
実行する際の概念図
199

CVPR 2023 の動向・気付き（147/259）● Workshop: Embodied AI○

今後重要と思われる他のトピック：■ Dynamic scene recognition● 変化する室内環境の理解が重要● 今回の10つのChallengeの中に2つはChange scene recognition■ In contextでembodied Interaction● すでに一部やられているか，純粋な言語ベース／Vision +languageベースよりまだまだ検討する空間がある．
■ Diffusion モデルを導入されたFoundational EAI● 学習データ生成● Future prediction / planning● In context 学習可能にするなど■ Personalized的な情報の学習（次のスライド）

200

CVPR 2023 の動向・気付き（148/259）● TidyBot: Personalized Robot Assistance with Large Language Models (arXiv,2023)○ 言語指示や対話の形式で，Personalized化されたRobot assistance（物をピックアップし，Rearrangementする）できる手法の提案．

○ また，Personalized情報は少ない学習examplesで人間とインタラクションし，人間の物置に関してのPreference Priors情報を学習する．

○ 手法がシンプルだが，問題設定は重要でこれまでの検討が少なかった．

201

CVPR 2023 の動向・気付き（149/259）● Workshop: Omnilabel (1/2)● https://sites.google.com/view/omnilabel-workshop-cvpr23/overview○ カテゴリー名を超えたより複雑なラベル空間を推論するWS○ より汎用的にラベルの推論ができているかを評価するため，Omnilabelデータセットを用意○ 以下の３種類のラベルによってオブジェクトをさまざまな概念から分類できる■ 広い範囲から狭い範囲まで全ての階層に対する名詞ラベル（動物＞犬＞コーギー）■ 属性・機能・関係など，複数のカテゴリのオブジェクトをまとめて抽象化するラベル■ 上記の２種類のラベルから記述される文章

202

CVPR 2023 の動向・気付き（150/259）● Workshop: Omnilabel (2/2)● https://sites.google.com/view/omnilabel-workshop-cvpr23/overview○ NVIDIAはピクセルアノテーション無しで，テキスト画像間の対象学習によるセグメンテーション手法GroupViT（CVPR 2022）やDiffusionモデルとCLIPを組み合わせたパノプティックセグメンテーション手法ODISE（CVPR
2023）を紹介．
■ Diffusionモデルは今後識別タスクへの応用が増えていきそう○ その他には異なるデータセット間でのラベルの関係性理解タスクや，既存データセットよりもFine-Grainedな
VQAデータセットなどが紹介されていた．
■ 既存モデルがどれほど汎用性があり，詳細を理解できるかはそれぞれのタスクで検討する必要がありそう

203

CVPR 2023 の動向・気付き（151/259）● 音響情報&シーン理解○ Workshop “Sight and Sound” (1/2)■ “Novel-View Acoustic Synthesis” (CVPR2023)■ マイクの位置と向きを変化させた際に収音される音がどのように変化するのか予測■ 反響特性を部分的に表現できる画像を特徴量として追加

Chen, Changan, et al. "Novel-view acoustic synthesis." CVPR 2023.

204

CVPR 2023 の動向・気付き（152/259）● 音響情報&シーン理解○ Workshop “Sight and Sound” (2/2)■ “Epic-Sounds: A Large-Scale Dataset of Actions that Sound” (ECCV2023)■ アクションセグメンテーションのアノテーションは視覚情報に影響を受けると結果に一貫性がなくなることがある■ EPIC-KITCHENS-100データセットに対して映像を隠して音だけを頼りにアノテーション

Huh, Jaesung, et al. "Epic-Sounds: A Large-Scale Dataset of Actions that Sound."ICASSP 2023

205

CVPR 2023 の動向・気付き（153/259）● 音響情報&シーン理解○ マルチモーダルに注目が集まる中で音声&画像の研究が散見■ Sound to Dancee.g., “EDGE: Editable Dance Generation From Music”■ Sound to Speeche.g., “Generating Holistic 3D Human Motion from Speech”■ Sound to 3D positione.g., “Seeing With Sound : Acoustic Beamforming for Multimodal Scene Understanding”■ Sound to Imagee.g., “Sound to Visual Scene Generation by Audio-to-Visual Latent Alignment”

206

CVPR 2023 の動向・気付き（154/259）● ポススターセッション○ 3日間で2359本ものポスター発表を開催■ ポスター発表は午前と午後に分けて開催■ ポスターセッションの時間は２時間程度■ その時間の間に約400本ものポスター発表が行われる■ 会場が広すぎて眺めるだけでも一苦労研究に関するまとめを一部紹介

207

CVPR 2023 の動向・気付き（155/259）● 3Dビジョンのデファクトスタンダードな事前学習データセットへ！
○ MVImgNet: A Large-scale Dataset of Multi-view Images■ 事前学習用の大規模3Dデータセットが存在しない■ NeRFを利用して大規模3Dデータセット MVImgNetを構築● 動画: 219,188, フレーム: 650M，クラス: 238■ 3D点群物体認識において事前学習効果を発揮!!!
■ 著者曰く, データセット構築まで約1年かかったらしい．
■ 以下のURLからダウンロード可能● https://github.com/GAP-LAB-CUHK-SZ/MVImgNet

https://gaplab.cuhk.edu.cn/projects/MVImgNet/

208

CVPR 2023 の動向・気付き（156/259）● EPIC-KITCHENSがNeural Fields表現として拡張!!
○ EPIC Fields Marrying 3D Geometry and Video Understanding■ 3D幾何学と動画理解の融合への挑戦！
■ EPIC-KITCHENSを拡張し，人間と物体のインタラクションを3D情報込みで理解■ EPIC-Fieldsデータセット● フレーム: 19M, 時間: 99h, Location: 45 kitchens■ 以下URLからダウンロード可能!! Non-commercial license● http://epic-kitchens.github.io/epic-fields

https://arxiv.org/pdf/2306.08731.pdf

209

CVPR 2023 の動向・気付き（157/259）● NAVER LABのポスターがすごい！
■ 人の目を引くために著者らが作成したをポスター１面に記載■ 必要な実験結果などの情報は後から付け足す形式■ 聞きに来る人が多く隣のポスターに入り混む事に

CVPR公式Twitterより引用
https://twitter.com/CSProfKGD/status/1671311393189167106?s=20

210

CVPR 2023 の動向・気付き（158/259）● 1% VS 100%: Parameter-Efficient Low Rank Adapt○ 低ランク合成を用いることでパラメータ効率の良いAdaptation方法
Low Rank Adapter(LoRand)を提案■ 元のバックボーンパラメータを固定したまま，少数のパラメータだけを訓練することで効率的なモデル微調整が可能に■ Fine-tuning中のバックボーンパラメータは大部分が冗長であり，それらはLoRandの追加パラメータ（1.8%〜2.8%）で置き換えることができることを示した．これはモデルの効率性とストレージの節約につながる．

211

CVPR 2023 の動向・気付き（159/259）● Backdoor Cleansing with Unlabeled Data
○ ラベル付データを必要としないバックドア攻撃から防御するための新しい方法を提案■ 知識蒸留とレイヤーごとの重み再初期化を組み合わせ，疑わしいネットワークのバックドア行動を効果的に排除■ 一方で，ネットワークの通常の動作にはほとんど影響を与えないことが確認■ ラベル付きで訓練された最先端の防御方法と同等のパフォーマンスを示した

これまでの研究では，
バックドアを浄化する ためにラベル付き流通内
データ(a)を使用していたが，本研究ではラベル付
けされていない分布内
データ(b)または分布外
データ(c)を使用する．

212

CVPR 2023 の動向・気付き（160/259）● GENIE: Show Me the Data for Quantization○ 高品質な量子化ネットワークを効率的に生成するためのFramework「GEINE」を提案■ データ生成（GENIE-D）とモデルの量子化（GENIE-M）の二つのサブモジュールから構成■ GENIE-Dは，学習済みのモデルから知識を抽出し，それを用いて実データセットがない状況でも強力な量子化モデルを生成するための合成データセットを作り出す新たなフレームワーク■ GENIE-Mは，合成データセットに対して量子化モデルを最適化し，量子化パラメータを同時に最適化する
新たな手法を提供するフレームワーク

213

CVPR 2023 の動向・気付き（161/259）● Stitchable Neural Networks○ 既存の学習済みモデル群（モデル族）を効率的に組み合わせて実行時に動的な精度と効率性のトレードオフを達成する新たなフレームワーク，"Stitchable Neural Networks (SN-Net)を提案■ 既存の学習済みモデルの各ブロックや層を分割し，それらを新たな層（ステッチング層と呼ばれる）で結合■ このステッチング層は，一つのアンカーモデルから別のアンカーモデルへの活性化マッピングを行う役割を持つ■ これにより，あるアンカーモデルとその隣のアンカーモデルとの間にパフォーマンスの「パス」を生成し，そのパス上を動的に移動することで，異なる精度と効率性のトレードオフを実現

214

CVPR 2023 の動向・気付き（162/259）● Integral Neural Networks○ フィルタとチャネルの次元に沿った連続的な表現を使用し，任意のサイズへのディスクレティゼーションと構造的な剪定が可能な新しいNNクラス，Integral Neural Networks (INNs) を導入■ その性能を従来の離散的なDNNと比較すると同等で，しかも高い剪定率でもほとんどパフォーマンスが低下せず，追加のファインチューニングが不要であることを実証

Cifar10上のResNet-18，Cifar10上のNINアーキテクチャ，ImageNet上のResNet-18，Div2k検証セット上の4x EDSR,
compressionは削除されたパラメータの割合
215

CVPR 2023 の動向・気付き（163/259）● A New Benchmark: On the Utility of Synthetic Data with Blender for Bare Supervised
Learning and Downstream Domain Adaptation○ 新たな大規模な合成から現実データのベンチマークS2RDAを提案○ 3Dレンダリングによる合成データを用いた新たな学習方法の提案○ 一般化への影響を調査するための画像形成要因の広範な評価，合成データと実データのpre-training間のtransferabilityを比較する新たなアプローチ

VisDA-2017のトレーニング領域（左）と検証領域（中央）のサンプル画像と，本論文で合成したデータ（右）216

CVPR 2023 の動向・気付き（164/259）● Model-Agnostic Gender Debiased Image Captioning○ 画像キャプショニングモデルにおけるジェンダーバイアスを軽減するための新しいフレームワーク，LIBRAを提案■ LIBRAは，ジェンダーバイアスが含まれるキャプションを合成し（Biased Caption Synthesis），その後，これらのバイアスを軽減するキャプション生成器（Debiasing Caption Generator）を訓練■ LIBRAの効果は，様々な画像キャプショニングモデルと評価指標に対して確認された

217

CVPR 2023 の動向・気付き（165/259）● Highlight: Open-Vocabulary Panoptic Segmentation with Text-to-Image Diffusion
Models○ Stable Diffusionを特徴量抽出器として使用する動き？
■ 背景: 拡散モデルはtextとimageとのCross-Attentionを取る→ 言語で表現されるような概念を潜在空間上で捉えている可能性がある■ CLIPとStable Diffusionを使ったopen-vocab.なsegmentationモデルODISEを提案

中間層をk近傍法でクラスタリング→ SDがmaskを捉えている可能性

218

CVPR 2023 の動向・気付き（166/259）● Tree Instance Segmentation with Temporal Contour Graph(Adnan Firoze, Cameron Wingren, Raymond A. Yeh, Bedrich Benes, Daniel Aliaga)○ 密集している木を上空撮影した画像からインスタンスセグメンテーションを行う○ データセットの構築，新しいセグメント手法に貢献■ 4つのデータセットを提案: Synthetic, Forest A（著者らが収集）, Forest B,C（Google Earthから収集）■ Limitation: ある程度の解像度が必要. 画像1枚だけでなく連続した画像を必要とする.

219

CVPR 2023 の動向・気付き（167/259）● MammalNet: A Large-scale Video Benchmark for Mammal Recognition and Behavior
Understanding(Jun Chen, Ming Hu, Darren J. Coker, Michael L. Berumen, Blair Costelloe, Sara Beery, Anna Rohrbach, Mohamed Elhoseiny)○ 173の哺乳類のカテゴリに対し，12種類の一般的な行動説明を加えたデータセットを提案．収録
時間は539時間にのぼる．
○ 動画からの動物の種類推定，行動推定に貢献するデータセット．

220

CVPR 2023 の動向・気付き（168/259）● PartSLIP: Low-Shot Part Segmentation for 3D Point Clouds via Pretrained
Image-Language Models●(Minghua Liu, Yinhao Zhu, Hong Cai, Shizhong Han, Zhan Ling, Fatih Porikli, Hao Su)○ Low-shotでのPart Segmentaitonを事前学習済みの画像-テキストモデル（GLIP）を使って実現する
PartSLIPを提案○ セグメンテーションはSemanticでもInastanceでも可能○ 3Dのpointcloudを様々な角度から取得した2D画像へと変換することで，GLIPとの接続を可能にした

221

CVPR 2023 の動向・気付き（169/259）● PartDistillation: Learning Parts from Instance Segmentation●(Jang Hyun Cho, Philipp Krähenbühl, Vignesh Ramanathan)○ Low-shotでのPart Segmentaitonを事前学習○ データセット内の全ての画像に対してpixcel-levelの特徴量からPart Segmentationを行うことで，本当に正しいPartの定義を学習させていく○ その後，Part-rankingと呼ばれるPart labelのクラスタリングを行う○ Part SegmentationのラベルなしでSelf-trainingが可能

222

CVPR 2023 の動向・気付き（170/259）● Visual Atoms: Pre-training Vision Transformers with Sinusoidal Waves(Sora Takashima , Ryo Hayamizu, Nakamasa Inoue, Hirokatsu Kataoka, Rio Yokota)○ 新規FDSLが，約1/14のデータサイズでJFT-300Mに迫る事前学習効果を達成■ FDSL：数式ドリブンの自動生成人工画像のみで事前学習を行う手法■ 様々な振動数の定常正弦波を合成することによって，従来手法よりも多様かつ滑らかな曲線を表現可能となり，FDSL手法中でSOTAを達成■ データセット，学習済みモデルを商用利用可能なライセンスにて提供

223

CVPR 2023 の動向・気付き（171/259）● 医療画像ではどのような研究が？
○ 目立つのは病理画像解析・CT/MRI画像セグメンテーション・X線画像に対する読影レポート生成■ 病理画像解析● AMIGO: Sparse Multi-Modal Graph Transformer with Shared-Context Processing for Representation Learning of Giga-pixel
Images● Histopathology Whole Slide Image Analysis With Heterogeneous Graph Representation Learning● Weakly supervised segmentation with point annotations for histopathology images via contrast-based variational model● Benchmarking Self-Supervised Learning on Diverse Pathology Datasets● Task-Specific Fine-Tuning via Variational Information Bottleneck for Weakly-Supervised Pathology Whole Slide ImageClassification● Topology-Guided Multi-Class Cell Context Generation for Digital Pathology● OCELOT: Overlapped Cell on Tissue Dataset for Histopathology● Visual Language Pretrained Multiple Instance Zero-Shot Transfer for Histopathology Images● Hierarchical Discriminative Learning Improves Visual Representations of Biomedical Microscopy● RankMix: Data Augmentation for Weakly Supervised Learning of Classifying Whole Slide Images With Diverse Sizes andImbalanced Categories● Bi-Directional Feature Fusion Generative Adversarial Network for Ultra-High Resolution Pathological Image Virtual
Re-Staining● Interventional Bag Multi-Instance Learning on Whole-Slide Pathological Images

224

CVPR 2023 の動向・気付き（172/259）● 医療画像ではどのような研究が？
○ 目立つのは病理画像解析・CT/MRI画像セグメンテーション・X線画像に対する読影レポート生成■ CT/MRI画像セグメンテーション● Geometric Visual Similarity Learning in 3D Medical Image Self-supervised Pre-training● SDC-UDA: Volumetric Unsupervised Domain Adaptation Framework for Slice-Direction Continuous
Cross-Modality Medical Image Segmentation● Devil Is in the Queries: Advancing Mask Transformers for Real-World Medical Image Segmentation andOut-of-Distribution Localization● Rethinking Bayesian Deep Learning Methods for Semi-Supervised Volumetric Medical Image Segmentation● Bidirectional Copy-Paste for Semi-Supervised Medical Image Segmentation● Orthogonal Annotation Benefits Barely-Supervised Medical Image Segmentation● Rethinking Few-Shot Medical Segmentation: A Vector Quantization View
● Ambiguous Medical Image Segmentation Using Diffusion Models● Fair Federated Medical Image Segmentation via Client Contribution Estimation● Pseudo-Label Guided Contrastive Learning for Semi-Supervised Medical Image Segmentation● Neuralizer: General Neuroimage Analysis without Re-Training
225

CVPR 2023 の動向・気付き（173/259）● 医療画像ではどのような研究が？
○ 目立つのは病理画像解析・CT/MRI画像セグメンテーション・X線画像に対する読影レポート生成■ X線画像に対する読影レポート生成● METransformer: Radiology Report Generation by Transformer with Multiple Learnable Expert Tokens● Interactive and Explainable Region-Guided Radiology Report Generation● KiUT: Knowledge-Injected U-Transformer for Radiology Report Generation● Learning to Exploit Temporal Structure for Biomedical Vision-Language Processing■ その他● Image Quality-Aware Diagnosis via Meta-Knowledge Co-Embedding● Causally-Aware Intraoperative Imputation for Overall Survival Time Prediction● Directional Connectivity-Based Segmentation of Medical Images

226

CVPR 2023 の動向・気付き（174/259）● 近年急速な発展を見せるデータセット蒸留も多くみられる○ データセット蒸留は, テスト精度を維持しつつデータサイズを小さくする手法■ Accelerating Dataset Distillation via Model Augmentation● 従来のデータ蒸留では, 蒸留時に用いたアーキテクチャに過剰適合してしまう問題があった.
● メタ学習のouter-loopごとに, 用いるアーキテクチャをランダムに変えることで過剰適合の問題を軽減し, 性能向上

■ Generalizing Dataset Distillation via Deep Generative Prior● 従来の手法は蒸留画像の各ピクセル値を直接最適化するため計算コストが大きく, 高い解像度・データ枚数への蒸留が困難であった.
● 生成ベースで蒸留画像を最適化することで, 上記の問題を解決■ Minimizing the Accumulated Trajectory Error To Improve Dataset Distillation● CVPR2022で提案されたSOTA手法Trajectory Matchingにおける問題を軽減し, 性能向上

■ Slimmable Dataset Condensation● 従来のデータセット蒸留では, 最初に固定したデータ容量から変更するには再度データ蒸留を行う必要があった● 用途に応じてデータ容量を変更できる手法を提案■ Improved Distribution Matching for Dataset Condensation● Distribution Matchingベースの手法は他の勾配ベースの手法などと比較しても計算量が小さいものの, 性能が低いという問題点があった.
● Distibution Matchingにおける問題点を解析し, 性能改善

227

CVPR 2023 の動向・気付き（175/259）● Fake it till you make it: Learning transferable representations from synthetic ImageNetclones○ Stable DiffusionでImageNetデータセットを生成し様々な評価を行なった■ Stable diffusionでデータ生成して学習する際の性能を網羅的に実験．
■ 良い結果：データセット規模が同じく1Kの場合で，小さいデータセットでImageNetを超える場合もある．また，Finetuneの場合ではImageNet精度を大幅に超える場合がある．
■ 他の結果：同じ規模でFrozen特徴量の場合ではオリジナルImageNetの性能が上．Scaling効果があまり観測されない．

実験のprotocol

結果比較
228

CVPR 2023 の動向・気付き（176/259）● Side Adapter Network for Open-Vocabulary Semantic Segmentation○ CLIP(frozen)を使ったopen-vocabulary semantic segmentation手法■ CLIPをopen-vocabularyのセグメンテーションに使ったほぼほぼ最初の文章？
■ CLIPモデルに２つのブランチを追加：mask proposalはマスク領域を生成し，attention biasを生成しCLIPモデル

からmaskのクラスを推定する．
■ FrozenCLIPをベースにして既存の研究よりはモデルが軽量的で学習スピードも速い．

結果例

手法図
229

CVPR 2023 の動向・気付き（177/259）● Open-Vocabulary Panoptic Segmentation with Text-to-Image Diffusion Models○ DiffusionモデルとCLIPを使ったopen vocabulary panoptic segmentation手法■ まず画像をキャプションモデルとMLPでImplictなテキスト特徴量に変化し，そこから学習済みのdiffusion unet からdiffusion 特徴を抽出し，マスク生成器でマスクとマスクエンコーディングを生成．
■ マスクエンコーディングと学習済みモデルで抽出したテキストエンコーディングの類似性をベースに評価．
■ CVPR2023では類似したモデルで同じタスクを解くものが多数あった．

結果例
提案手法
230

CVPR 2023 の動向・気付き（178/259）● Imagic: Text-Based Real Image Editing with Diffusion Models○ Diffusion modelを使ったテキストベース画像編集の研究■ 既存研究でうまく扱えなかった”non-rigid”編集や,複数の物体編集などを可能にした．

■ 提案手法は学習済みのtext-to-image diffusionモデルを利用する．具体的に，まず入力画像とターゲットテキ
スト両方にアラインしたテキストエンベディングを生成する．その後に，オリジナル画像のアピアランスをキャプ
チャーしながら，diffusion modelを再学習しターゲット画像を生成する．
■ text-to-image editingの新しいベンチマークデータセットも提案．

結果例

提案手法
231

CVPR 2023 の動向・気付き（179/259）● Unite and Conquer: Plug and Play Multi-Modal Synthesis Using Diffusion Models○ Diffusionモデルをマルチモーダルconditioned画像生成に適応した■ 複数のモーダル（言語，マスク，エッジ，セグメンテーション）の入力からそれぞれの一致性が保たれた画像生成ができる．また，同じモダリティの複数のリソースも合成可能（背景と全景から画像合成など）．
■ 提案手法は複数のソースで学習されたdiffusionモデルからsampling timeを調整し，最終の生成を足し合わすことで学習せずに生成できる．（モデル理解できていない詳細は論文を参照）

生成の概念図232

CVPR 2023 の動向・気付き（180/259）● HandsOff: Labeled Dataset Generation With No Additional Human Annotations○ 少ないデータセットexampleから学習データセットを自動生成する手法を提案■ 追加human label使わずに50程度のexampleから学習データを無限？に自動生成できる．
■ 提案手法はgan inversionを使ってdataset generation用のパラメータを学習．
■ 学習データ（dense prediction task）が少ない時にすぐにデータ生成可能で様々なところで活用可能．

提案手法

233

CVPR 2023 の動向・気付き（181/259）● 新しいデータセット○ 屋外環境データセット■ Omnicity：屋外シーンの大規模データセット，複数視点でlayoutのアノテーション付き○ 室内環境3次元データセット：HM3D（Highlight）■ データセットの分野においての有用性や，作成コストなどが評価された？

○ 物体3次元データセット：■ OmniObject3D（Award nominate）：大規模物体3次元データセット（6000+, growing）で，様々なタスクでの有用性が示された■ Objaverse：800K＋（and growing） 3次元物体○ human poseデータセット■ SLOPER4D：Sceneを考慮した4D Human Poseデータセット■ BEDLAM: 4D Human Poseデータセット(詳細動作，服装の動きの細部まで)

234

CVPR 2023 の動向・気付き（182/259）
OmniCity: Omnipotent City Understanding with Multi-level and Multi-view Images○ 屋外のシーンの詳細理解のための大規模データセットOmniCityの提案■ OmniCityでは屋外シーン（New York City）をベースに，多視点衛星画像，街レベルのパノラマ画像，mono-view画像から構成する．
■ これまでの屋外データセットではセマンティックセグメンテーションのアノテーションまでされるものが少なかったため，今後屋外シーンの意味理解にデータセットが活用できる．
■ OmniCityデータセットと同時に，いくつかの室外シーン理解のベンチマークも提案した．

OmniCityデータセットの
イメージ図

235

CVPR 2023 の動向・気付き（183/259）
Objaverse: A Universe of Annotated 3D Objects○ 大規模3次元物体モデルのデータセットObjaverseの提案■ Objaverseは818K以上の物体モデルから構成され（規模がまだ成長中），物体モデルごとに，ラベル，3次元モデル，キャプションから構成される．既存の3次元物体データセットで最も規模が大きい．また，１つの物体クラスの中のdiversityが大きい．
■ Objaverseで実験し，3次元物体認識・2次元物体認識・Embodied AIタスクに有用であることを示し，更にデータセット規模と多様性が重要であることを示した．

ObjaverseとShapeNetデータセットの例の比較，既存データセットとの比較
236

CVPR 2023 の動向・気付き（184/259）● Habitat-Matterport 3D Semantics Dataset（Highlight）○ 大規模リアル環境（build）スキャンデータセットの提案■ 950室内三次元シーンのスキャン，216セグメンテーションアノテーション付き．
■ 14,200 hours Human Effort！
■ 分野内ですでに使われていて，今後3次元室内環境の認識・生成分野のにおいて重要である．

237

CVPR 2023 の動向・気付き（185/259）● OmniObject3D: Large-Vocabulary 3D Object Dataset for Realistic Perception（Award
Nominate）○ 大規模リアル物体のスキャンデータセットの提案■ 6,000 のスキャン物体データ（190カテゴリ）から構成される．
■ 物体の3次元メッショ，点群，仮想・実カメラの撮影画像から構成．
■ ４つのタスクで（認識，NeRF，再構成，生成）既存研究の性能を向上した．
■ 3次元物体認識のscaling効果を示し，データの更に拡張で結果の向上の可能性を示した．

OmniObject3Dのデータ分布
238

CVPR 2023 の動向・気付き（186/259）● SLOPER4D: A Scene-Aware Dataset for Global 4D Human Pose Estimation in Urban
Environments○ 大規模リアルスキャンのhuman pose (human scene interaction)データセットの提案■ 12 humans, 10 scenes, 15 sequence human motionから構成される．
■ 初めての屋外Urbanシーンのhuman poseデータセット．
■ 姿勢推定，シーンとのインタラクションの認識などのタスクでデータの有用性を示した．
■ 室内バージョンのデータが作成されたら，human activity認識などで活用できる．

SLOPER4Dの概念図

239

CVPR 2023 の動向・気付き（187/259）● BEDLAM: A Synthetic Dataset of Bodies Exhibiting Detailed Lifelike Animated Motion○ 3次元human pose生成や推定用の大規模合成ビデオデータセットの提案■ 既存のデータセットと比較して，BEDLAMは大規模で，リアリティ性が高い（より詳細なポーズと服装が dynamic 3
次元モデリングされている）．
■ BEDLAMデータセット生成が高いコストがかかって，複数の既存ソフトウェアで処理することが必要．例：Meshcapade skin textures; CLO3D 服装；Pre-simulated clothing meshes; AMASS motion．
■ BEDLAMデータセットを使って複数のリアルデータセット姿勢推定タスクで最も高い精度を達成．

提案手法で生成した例

多種類の服装とテクスチャー
240

CVPR 2023 の動向・気付き（188/259）● 新しいタスク・アイデア○ Parts mate：物体形状構造の理解■ Fantastic Breaks：実物体（コップなど）の割れたモデルパーツデータセット作成○

Visual Reasoning ：■ Deep Learning Smarter than Grader ：大規模複数の形式のVisual Reasoningベンチマークデータと実験■ Visual Programming：compositional reasoningに対応する手法（Best paper）○

画像間の区別を考慮した画像Representation■ Change-aware Satelite representation: 変化を考慮した上空画像Representation■ GeneCIS: シンプルなモデルで既存のRepresentationのdownstream性能を大幅に向上■ PhoneProc: 変化する室内環境Representation■ Viusal DNA: 画像やデータセットの類似度を評価する新しいアプローチ○

ハイレベル意味情報の理解■ Movie2Scenes: 映画のmeta情報を使ったcontrastive movie shot feature■ How You Fellin：映画から感情分析■ Make-a-story: story 画像生成
■ 概念の詳細理解:● CRAFT：概念のGradCAMみたいな感じ● Improving commonsense：Graph構造を導入● Learning Structured: データセットで文法拡張で学習● Procedure-aware pretraining: 動画にWikiHowの知識を導入

241

CVPR 2023 の動向・気付き（189/259）● Fantastic Breaks: A Dataset of Paired 3D Scans of Real-World Broken Objects andTheir Complete Counterparts○ Shape Repairのリアルデータセットの提案，3次元モデルアノテーション付き■ 既存のShape Repair研究ではベンチマークデータセットが少ないかつ小規模．
■ ここで実際の実物体を収集し，２分割に割って，3次元アノテーションしデータ作成した．
■ Fantastic Breaksデータセットを使って，既存手法の評価分析をした．

評価例

実物体
242

CVPR 2023 の動向・気付き（190/259）● Are Deep Neural Networks SMARTer than Second Graders?
○ DNNがMultimodal Algorithmic Reasoningを網羅的なベンチマーク■ 最新のMultimodal手法（例：CLIP）や認識モデル（例：SwinTransformer）がMultimodal Algorithmic Reasoningにおいての性能評価のためのベンチマークデータセットと手法評価を行なった．結果的に，最も良い最新モデル
でも小学校2年性と比べて性能が大幅に劣ることがわかった．
■ 提案ベンチマークはabstraction, deduction, generalizationを評価する101種類の問題が含まれる．
■ どうやって，人間レベル（もしくはそれ以上）で様々なReasoningできるモデルの構築がopen question．

提案ベンチマークの例

2nd Graderとの比較（部分的）243

CVPR 2023 の動向・気付き（191/259）● Visual Programming: Compositional visual reasoning
without training（Best Paper）○ in-contextでvision (/vision+language) taskを step-by-stepで解析しながら既存のモジュール(VQA, classify)を利用して解いていく仕組みの提案■ 提案手法が４つのvision task: compositonal VQA; NLVR; 言語指示からのfactual
knowledge object tagging；text-based image editingの４つのタスクの解くプロセ
スをin contextで学習可能なことを示した．in contextでprogram生成にはGPT3を使用した．
■ 各タスクでの結果は，既存のstate-of-the-art task specific手法と比べて劣っている．
■ クラシックなneural symbolicをタスクレベル（VQAなどをモジュール）にして，さらに最新のLLMsを利用しながら，完成度を高めた．
■ 根本的に，OOD的なsymbolic reasoning, そして，symbolic moduleの自動的に生成（現在が人工でデザインしている），あらゆるvisionが関わったタスクを解くにはまだopen question．
テキストベース画像編集とNeural Language
Vision Reasoningタスクの結果例

244

CVPR 2023 の動向・気付き（192/259）● Change-Aware Sampling and Contrastive Learning for Satelite Images○ 変化を考慮した上空画像のRepresentationの研究■ 手法：上空画像に変化が発生した（例：レイアウト変化）場合に，Negativeとして考えるContrastive

Learningを用いた手法を提案．
■ 上空画像の認識タスク，変化認識のタスクに高い性能を実現．

high,low change estimate

手法のイメージ図245

CVPR 2023 の動向・気付き（193/259）● GeneCLS: A Benchmark for General Conditional Image Similarity○ 条件付き（例：指定の物体や属性）画像と画像間の類似性をzero-shotで分析可能なタスクと手法の提案■ 画像間の様々な粒度の類似性認識が人間のシーン理解に重要だがあまり検討されていない．
■ ここで，データセットからGraphをベースで情報をマイニングする手法を提案．
■ CLIPを用いても既存のResNetと大差がない結果を示し，画像の類似性認識には他のモデル設計が必要であることを示した．

提案のマイニングを使った／
使わない結果の比較
タスクのイメージ図

246

CVPR 2023 の動向・気付き（194/259）● Phone2Proc: Bringing Robust Robots Into Our Chaotic World○ 実環境で動作するロボットのためのindoor scene representationのためのデータ収集■ 実環境でロボットが新しい家庭環境に，その環境の認識をする必要がある■ この研究では，上記を可能にするためのフレームワークPhone2Procを提案した（左図）．提案手法はまずスマートフォ
ンカメラ安易でシーンをスキャンし，物体のアフォーダンスを考慮したシーンの再生成を行う．また，シーンの中の物
体を再配置することでその環境の新しいデータを拡張する．得られたデータで学習することで，様々なdownstream
taskで大幅に既存研究の精度を向上した．（右図）

Phone2Proc概念図

既存研究との比較
247

CVPR 2023 の動向・気付き（195/259）● Visual DNA: Representing and Comparing Images using Distributions of Neuron
Activations○ 画像やデータセットの類似性を評価する手法Visual DNAの提案■ データの重要性が知られているが，これまでのデータセットのVisual側の類似性を評価する研究が少ない．

■ ここで，DNNモデルの学習済みのneuronのactivationsの分布値が異なるattributesにたいてどのような変化をするかをベースに，指定されたattributes軸でデータセットや画像の類似度を評価できる（評価する際に同一画像を使う）．
■ 類似画像のretrieval, simulation datasetとreal datasetの違い評価などに活用できる．

データセット内の画像類似性評価例

Visual DNA構築方法
248

CVPR 2023 の動向・気付き（196/259）● Movie2Scenes: Using Movie Metadata to Learn Scene○ Movieデータの短いshotのrepresentation学習手法の提案■ 映画のメタデータ（ジャンル，ユーザの鑑賞履歴など）から，映画のshot（数秒程度）の類似性を評価する

モデルを提案．
■ 上記の類似モデルから，movieのshotのcontrastive representationモデルを提案．
■ 複数のdownstream tasksで性能を出している．
■ movie shot理解のためのデータセットも提案．movie理解を少し加速できる？
■ movieの全てを理解するまでにはどれくらい時間がかかる？

提案手法のイメージ図

249

CVPR 2023 の動向・気付き（197/259）● How You Feelin’? Learning Emotions and Mental States in Movie Scenes○ 映画のシーンから人間の感情をマルチラベルで推定する手法を提案■ ビデオから人間の感情をシングルラベルではなくマルチラベルで表示することを提案．
■ 提案手法は，ビデオから複数の情報（Action，Face，Dialogなど）をTransformerで扱う．これらを利用することで既存手法より高い精度を得た．
■ 将来的にはEmotionsの変化の対応が望ましい．downstreamタスクでの有用性が要検討．

250

CVPR 2023 の動向・気付き（198/259）● Make-A-Story: Visual Memory Conditioned Consistent Story Generation○ Diffusionモデルを使ったストーリー（複数センテンス）画像生成手法■ Diffusionモデルが性能高いが，複数枚の関連画像の生成に全景背景の一致性を保つ手法があまり検討されていない■ Visual Memory構造をDiffusionモデルに導入し，全体的に背景と全景の一致性を高めた■ また，既存データセットMUGENにキャラクタの情報やストーリーの中のテキスト情報の一致性などを評価するためのアノテーションを追加した

251

CVPR 2023 の動向・気付き（199/259）● CRAFT: Concept Recursive Activation FacTorization for Explainability○ 認識モデルが認識する際に，”どこ”と”何”両方を可視化・説明する手法■ 既存の可視化モデルは，attention mapを使ってモデル認識する際の注目領域のみ確認．
■ ここで，注目領域の意味情報（visual concept）も出力可能にして，モデルの認識結果の分析に活用できる．

既存の可視化とCRAFT252

CVPR 2023 の動向・気付き（200/259）● Improving Commonsense in Vision-Language Models via Knowledge Graph Riddles○ 知識グラフを使ったcommonsense reasoningの性能を高める手法の提案■ 下記の図で示している提案手法はConceptNetで画像から知識グラフを抽出■ 抽出された知識グラフにより学習テキストデータを拡張する■ 拡張されたデータセットで学習することで，commonsense reasoningの能力を高めた

253

CVPR 2023 の動向・気付き（201/259）● Teaching Structured Vision and Language Concepts to Vision and Language Models○ Structured language conceptを学習するvision and languageモデルの提案■ 既存vision and language modelが構造化された概念の理解が足りない■ ここでstructured language concept(verb,noun,attributes,relationshipsなど)に従って学習のデータ拡張を行う手法を提案■ 上記のデータ拡張を行うことで既存複数のvision and language model手法の性能を向上■ 全ページの手法と高度類似．手法よりはデータを重要視する手法が多いと感じた

254

CVPR 2023 の動向・気付き（202/259）● Procedure-Aware Pretraining for Instructional Video Understanding○ instructionビデオ認識のための，知識グラフを利用した手法の提案．
■ instructionビデオから，タスクを解く順番を理解するための必要な知識をunlabeledで学習することが困難であるため，ビデオからinstructionの生成学習には大量なデータが必要となる．
■ WikiHowから知識情報を抽出し，さらにそれをprocedure knowlege graph（PKG：ノードがステップで，エッジが順番を表す）の形式で表示する．
■ 学習の段階で上記のPKG情報を教師データとして，video-node, video-task matching, task context, node
relationの学習をauxiliaryタスクとして学習し，これによりステップを反映したビデオ特徴表示の学習を行う．
■ 提案手法を用いて，学習された特徴量がinstruction動画認識においての有用性が検証された．

提案手法

255

CVPR 2023 の動向・気付き（203/259）● Neural Fields関連の動向○ NeRF関連論文の採択数が104本※個別の論文については こちらに要約を置いています■ CVPR2022の38本，ECCV2022の25本から大幅に増加

タスク別論文数

256

CVPR 2023 の動向・気付き（204/259）● Neural Fields / Deformable○ CVPR2023では11本採択と大流行中○ 長時間・大変形化や反射光のモデル化，人物衣装・動物骨格などより高難易度のシーンへの活用が試みられている○ DynlBaR(Zhengqi et al.)：制約のないカメラ軌道を持つ長時間の動画から写実的な新規視点合成を実現○ ReRF(Liao et al.)：隣接するタイムスタンプ間の残差でモデル化することで長時間の変形を平滑に保持○ DyLiN(Heng et al.)：トポロジー変化を伴うシーンでのLightFieldのモデル化○ DNRF(Kangkan et al.)：単眼または少数視点映像から服を含む人物動作を復元○ MonoHuman(Zhengming et al.)：人物運動に対し双方向制約を持つ変形場をモデル化○ MagicPony(Shangzhe et al.)：自然環境下での動物骨格を含む復元

257

CVPR 2023 の動向・気付き（205/259）● Neural Fields / Few Shot
○ NeRFのデータ用意に必要なコストは問題視されており，視点数を減らしても高品質を実現可能な手法が多数提案されている○ 空間平滑性を明示的に記述するアプローチも未だあるものの，Denoisingモデルなどで外部知識を使うアプ
ローチが増加傾向■ DietNeRFのような事前知識付与フローとして拡散モデルを使用することで完全に未知の視点の情報を与えられるように■ データ数の課題から，事前知識には２D処理を用い，NeRFを3次元的な一貫性を持たせるための仲介に利用する方法が現状では主流○ DiffusioNeRF(Jamie et at.)：ノイズ除去拡散モデルを用いて事前知識を付与○ NeRDi(Congyue et al.)：２D DiffusionでNeRFの潜在空間中の特徴ベクトルの事前分布を設定．1枚の画像からNeRFを構成

258

CVPR 2023 の動向・気付き（206/259）● Neural Fields / 編集可能性○ NeRFの編集では編集指示の与え方に課題があった→ 指示の与え方やインターフェイスに着目した研究が増加傾向○ EditableNeRF(chengwei et. al)：ユーザーがキーポイント操作で編集可能な動的シーンNeRFを提案○ PaletteNeRF(Zhengfei et. al)：Diffuse成分をシーン中で共有するカラーパレットの線型結合に分解し，カラー
パレットの編集により外観を操作可能に○ SINE(Chong et. al)：1枚の画像で神経輝度フィールドを編集

259

CVPR 2023 の動向・気付き（207/259）● Neural Fields / カメラ姿勢推定○ NeRFでは高品質なカメラ姿勢が要求されるため，JointOptimization(iNeRF)を用いた調整や推定が探索されてきた○ BARF以降，PEを介して低周波成分を対象にした学習初期の誘導が可能になった→CVPR2023ではBARFの拡張が多数提案○ DBARF(Yu et al.)：汎化NeRFにBundle Adjustmentを導入○ L2G-NeRF(Yue et al.)：ピクセル単位の対応に対して微分可能なパラメータ推定ソルバを用いてGlobalなBA
を実施○ BAD-NeRF(Pen et al.)：激しいモーションブラー画像や不正確なカメラポーズに強いBAを行うNeRFを提案

260

CVPR 2023 の動向・気付き（208/259）● Neural Fields / カメラ姿勢推定○ Depth値を活用した理論的な制約・事前確率を用いる手法が増加○ SCADE(Mikaela et al.)：単眼デプス推定の値を事前確率として使用○ NoPE-NeRF(Wenjing et al.)：カメラ姿勢の事前知識なしでNeRFとカメラ姿勢を同時最適化

SCADE

NoPE-NeRF

261

CVPR 2023 の動向・気付き（209/259）● Neural Fields / Lighting○ 照明情報をRGB画像観測から復元するためには，被写体の材質推定が必要○ SDFなど距離場でサーフェイスをパラメータ化し，BRDFのような境界面の反射モデルを復元するアプローチ

を取るものが多い○ VDN-NeRF(Bingfan et al)：学習済NeRFにエンコードされている不変情報を抽出した正規化により，非ラン

バート面や動的な照明条件下のNeRFを安定化○ I2-SDF(Jingsen et al.)：SDF上の微分可能なMonte Carlo raytracingを導入○ NeFLL(Haoqian et al.)：Monte Carlo Samplingに基づくパストレーシングを導入

262

CVPR 2023 の動向・気付き（210/259）● Neural Fields / 高速化○ これまでで，グリッドやハイブリッド表現による高速化が普及■ 学習・レンダリングともに高速な一方で，モデルサイズが大きくなる点が課題○ 微分可能なパラメータの圧縮方法を用いてグリッド表現を圧縮した形で保持する方法が流行○ MaskedWavelet(Daniel et al.)：グリッドにウェーブレット変換を適用し，学習可能なマスクで保持することで密度場が疎な環境下では効率的に圧縮○ HexPlane(Ang et al.)：動的シーンを６つの特徴面へTensor分解して表現○ NeRFLight(Fernando et al.)：Decoderも分散処理とすることで低解像度グリッドで高い精度を達成

263

CVPR 2023 の動向・気付き（211/259）● Neural Fields / 高速化○ 負荷を小さくすることで，モバイル端末でのレンダリングが可能なNeRFが登場○ MobileNeRF(Zhiqin et al.)：通常のNeRFを訓練後，密度を2値化してメッシュを抽出し，不透明度と特徴量をテクスチャにbakeする○ Real-Time NeLF(Junil et al.)：Neural Light fieldのアプローチで高速化．MobileNeRFの15~24倍低容量264

CVPR 2023 の動向・気付き（212/259）● Neural Fields / 生成
○ DreamFusionを起点に，２Dの拡散モデルで生成した画像を，3次元的に整合性を持たせるための伝搬役としてNeRFを使用する研究が発展○ Text-to-3DタスクはCVPR2023以降もFantasia3Dなど急速に進展中○ Dream3D(Jiale et al.)：CLIPガイド付き3D最適化手法に，Diffusionモデルから明示的な3D形状事前分布を導入○ Latent-NeRF(Gal et al.)：RGB画像ではなくNeRFの特徴ベクトル空間を対象にしたDiffusionモデルを構築

265

CVPR 2023 の動向・気付き（213/259）● NeRF関連研究の動向○ NeRFで3D（or 時系列で4D）をモデル化することが一般化■ NeRFを使うのは誰でもできる時代に○ 研究の方向性1：NeRFの適用可能性を広げる■ より簡単に，より高速に，より制約なく■ 特に簡単な工夫で高速化・高性能化・適用可能シナリオの拡大ができないかの試行錯誤が進められている印象■ 既存のパラメトリックな3Dモデルも活用（人体のSMPLなどが顕著）○ 研究の方向性2: 大規模化
■ グリッドベースの特徴量記述を利用すれば都市レベルでできることがよく知られている○ 研究の方向性3: 複数シーン対応■ シーン単位学習から複数シーン同時最適化・未知シーンへの学習結果の活用■ 2Dやテキストの学習済みモデルをうまく利用■ 光線や2D画像など，3Dより軽量な単位の特徴量でシーンをまたぐ

266

CVPR 2023 の動向・気付き（214/259）● NeRF関連研究の動向○ 研究の方向性4：これまでのCV研究の応用■ 2D CNNでの推論，パラメトリックな変形モデル，ルールベースの点群処理・画像処理など既に解けたタスクを3Dに持ち上げる道具として利用■ NeRFを使うとうまく「3D→2D」「2D→3D」のラベル・情報伝播ができる● レンダリングを真面目に考えていることのメリット○ 研究の方向性5：ロボット・xRなどへの応用■ 3Dが活用できるアプリケーション方向へ

267

CVPR 2023 の動向・気付き（215/259）● FreeNeRF: Improving Few-shot Neural Rendering with Free Frequency Regularization○ Few-shotでNeRFを再構成○ アーチファクトを抑えるためにPositinal Encordingを徐々に与えるテクニックを導入■ アイデアも実装もシンプルで確かな効果

268

CVPR 2023 の動向・気付き（216/259）● Grid-guided Neural Radiance Fields for Large Urban Scenes○ 都市レベルの大規模なNeRF○ 地面が既知であることを利用しグリッド→NeRFの順に学習

269

CVPR 2023 の動向・気付き（217/259）● ABLE-NeRF: Attention-Based Rendering with Learnable Embeddings for Neural
Radiance Field○ NeRFのVolume Renderingの集約部分に二段階でTransformerを用いる■ ある意味ではVolume Renderingのレンダリングとしての妥当性を捨てるという方向性■ サンプル点間で相互にAttentionを貼るという発想○ 実際に試すとレンダリング品質は向上

270

CVPR 2023 の動向・気付き（218/259）● SINE: Semantic-driven Image-based NeRF Editing with Prior-guided Editing Field○ 編集可能なNeRFの派生○ 変更前のテンプレートNeRFと，編集分に対応したNeural Fieldで実装■ カラーと変形に分けてモデル化■ SDFも利用するなど最適化・教師の与え方にも工夫○ 2Dでの画像編集（TextでのEditも可）で最適化

271

CVPR 2023 の動向・気付き（219/259）● Transforming Radiance Field with Lipschitz Network for Photorealistic 3D Scene
Stylization○ スタイル変換可能なNeRFの派生○ スタイル変換は2Dで行う○ Lipschitz MLPを用いるというシンプルな工夫で視点間で整合するように■ ただしメモリ使用量の問題があるため，効率のよい計算方法と合わせて提案

272

CVPR 2023 の動向・気付き（220/259）● Semantic Ray: Learning a Generalizable Semantic Field with Cross-Reprojection
Attention○ Semantic NeRFの3Dは一貫性のあるラベルを提供するが，シーンごとに最適化が必要○ シーンを跨いで一般化したセマンティック推定を実現した○ 2D CNNで計算した特徴量をもとに光線単位でAttention■ Intra-viewとCross-viewでAttentionを適用する

273

CVPR 2023 の動向・気付き（221/259）● MixNeRF: Modeling a Ray with Mixture Density for Novel View Synthesis from Sparse
Inputs○ GMMを用いてNeRFに確率モデルを導入○ 不確かさを陽に扱うことのできるNeRFを実現した■ Negative Log-likelihoodでもロスを与える

274

CVPR 2023 の動向・気付き（222/259）● Balanced Spherical Grid for Egocentric View Synthesis○ 全方位カメラからのNeRFを学習する○ カメラからの距離に応じてバランスするようにグリッドを設計

275

CVPR 2023 の動向・気付き（223/259）● Learning Neural Volumetric Representations of Dynamic Humans in Minutes○ ビデオから人体のNeRFを最適化■ SMPLを利用して大まかな形状を記述・変形をNeural Fieldでモデル化（最近では一般的なアプローチ）■ パーツ単位・ボクセル表現で分解

276

CVPR 2023 の動向・気付き（224/259）● Multiscale Tensor Decomposition and Rendering Equation Encoding for View Synthesis○ テンソル分解＋マルチスケールでNeural Fieldの特徴量をモデル化■ NRFF (Neural Radiance Feature Field)○ 視線方向依存の成分をMLPに任せるのではなく特徴量空間での混合ガウスでモデル化■ 鏡面反射などもモデル化できる

277

CVPR 2023 の動向・気付き（225/259）● NEF: Neural Edge Fields for 3D Parametric Curve Reconstruction from Multi-view
Images○ パラメトリックな3Dエッジ検出■ 多視点画像からエッジ検出，3Dで整合性をとるためにNeRFを利用■ 3Dのエッジ点集合からパラメトリックなエッジ線に変換・フィッティング

278

CVPR 2023 の動向・気付き（226/259）● SUDS: Scalable Urban Dynamic Scenes○ 大規模（都市レベル）かつ動的な（移動物体のある）シーンでNeRF○ 動く物体と動かない（Static）なシーン，視点の影響の小さい
遠方のビューに分けてモデル化■ 影が問題になることを指摘し陽に記述することで対応

279

CVPR 2023 の動向・気付き（227/259）● Nerflets: Local Radiance Fields for Efficient Structure-Aware 3D Scene Representationfrom 2D Supervision○ シーン中の各インスタンスをNeRFでモデル化し最適化■ 2DのPanoptic Segmentationを利用

280

CVPR 2023 の動向・気付き（228/259）● A Data-Based Perspective on Transfer Learning○ ソースデータセットの構成に注目し，下流タスクの性能に与える影響を調べるためのフレームワークを提案■ 転移学習において事前学習データを多く含むほど性能が向上するとされているが，ソースデータセットからある程度データを削除することも有効であると示唆■ 本手法により転移学習の脆弱性を提示
ImageNetから事前学習において悪影響を及ぼす画像データの探索/削除に成功

281

CVPR 2023 の動向・気付き（229/259）● Deep Curvilinear Editing: Commutative and Nonlinear Image Manipulation for Pretrained
Deep Generative Model○ 潜在空間上の意味的な可換なベクトル場を決定する，「DeCurvEd」を提案■ GANのような生成モデルは，高品質な画像の生成が可能であるが，意味的に画像を編集するのは困難■ DeCurvEdの非線形かつ可換な性質が高品質な画像編集を提供
GANに限らない潜在変数を使うあらゆる生成モデルに利用可能な
DeCurvEdが画像の属性を分離した，より高品質な編集を実現

282

CVPR 2023 の動向・気付き（230/259）● Activating More Pixels in Image Super-Resolution Transformer
Transformerの特徴を生かした超解像手法○ 超解像における既存のTransformerベース手法は大域的な情報を効果的に利用できていない問題を解決するため，attention機構と事前学習手法を見直したHybrid Attention Transformer (HAT) を提案■ self-attentionとchannel attention，提案するoverlapping cross-attentionを組み合わせることでより大域的なピクセル情報を超解像時に利用■ 事前学習データに大規模データセット(ImageNet)を利用，更に事前学習とファインチューニングで拡大倍率を合わせるsame-task pre-trainingを導入

SOTAを上回る性能を達成

283

CVPR 2023 の動向・気付き（231/259）● DegAE: A New Pretraining Paradigm for Low-level Vision
low-level visionタスク向けの事前学習手法を提案○ low-level visionタスクでは事前学習手法が確立されていない■ high-level visionタスクとlow-level visionタスクでは性質に大きな乖離がある● high-level vision：画像を意味レベルで扱う ex) 物体検出，セグメンテーション● low-level vision：画像のピクセル単位の特徴を扱う ex) ノイズ除去, 超解像284

CVPR 2023 の動向・気付き（232/259）● Edges to Shapes to Concepts: Adversarial Augmentation for Robust Vision○ モデルが持つ形状への感度を上昇させるaugmentation手法ELeaSを提案■ edgeを取り出してパッチをシャッフルしたImageと合成するという軽量なaugmentation手法■ 一例としてVIT-Sの精度向上,ResNet152の形状への偏重度の上昇,ImageNet-Cに対する

広範なモデルにおいて性能上昇を確認

285

CVPR 2023 の動向・気付き（233/259）● StepFormer: Self-supervised Step Discovery and Localization in Instructional Videos○ 字幕を用いた自己教師あり学習でインストラクション動画のキーステップ特定■ 背景● 長いインストラクション動画から，手順を学ぶためには動画内から手順に必要なキーステップを特定する必要がある．
■ 過去の手法背景● キーステップを特定するための教師/弱教師あり学習を行っていた．
→ 教師を用意するのが大変．
■ 本研究の視点● 動画の字幕から抽出したステップを教師として，動画のステップを学習する．このとき，映像系
列を字幕におけるステップと対応づけるのに，
Drop-DTWアルゴリズムを用いる．

N. Dvornik et al. “StepFormer: Self-supervised Step Discovery and
Localization in Instructional Videos”, in CVPR 2023.
286

CVPR 2023 の動向・気付き（234/259）● Hierarchical Video-Moment Retrieval and Step-Captioning○ 大規模なインストラクション動画にステップ・キャプションをアノテーション■ 背景● 大量の映像資料が蓄積されていく近年，動画内からテキストに応じた適切な部分を抽出したり要約する技術はますます重要になっている．
■ 過去の手法背景● COINやCrossTaskなど，動画にステップごとのキャプションを付与したデータセット．

→ 動画の内容が限られたタスクのみ．
■ 本研究の視点● HowTo100M内のオープンドメインな動画に対して，ステップごとのアノテーションを付与し，retrieval
A. Zala et al. “Hierarchical Video-Moment Retrieval andStep-Captioning”, in CVPR 2023.

やsummarizationに関するヒエラルキー型のベンチマークを提案．

287

CVPR 2023 の動向・気付き（235/259）● Procedure-Aware Pretraining for Instructional Video Understanding○ 手順知識を利用したインストラクション動画理解のための事前学習■ 背景● 人間がインストラクション動画から手順を学ぶように，人工知能もインストラクション動画から，タスクや手順を構造化して理解したい．さらには手順予測をしたい．
■ 過去の手法背景● HowTo100MなどWeb上の動画から得られる字幕は手順の学習に使うにはノイジーなので，字幕を参考に既存の手順知識データベース（wikiHow）における手順説明に置換．
→ 各手順について，動画表現を獲得しただけで，手順の文脈は意識していない■ 本研究の視点● 手順はその順序や関係性などの情報が含まれるので，単純にwikiHowの手順に置換するのではな

く，wikiHowを知識グラフ化してそれを学習の教師として用いる．
H. Zhou et al. “Procedure-Aware Pretraining for Instructional
Video Understanding”, in CVPR 2023.

288

CVPR 2023 の動向・気付き（236/259）● Learning Procedure-aware Video Representation from Instructional Videos and Their
Narrations○ 手順を意識したインストラクション動画理解のための動画表現獲得■ 背景● 人工知能がインストラクション動画における手順を理解し学習できると，欠けている手順を補ったり，手順予測ができたりする．
■ 過去の手法背景● HowTo100MなどWeb上の動画から得られる字幕は手順の学習に使うにはノイジーなので，字幕を参考に既存の手順知識データベース（wikiHow）における手順説明に置換．
→ 各手順について，動画表現を獲得しただけで，手順の文脈は意識していない■ 本研究の視点● 各手順の順番や関係性を意識して学習を行う．また，拡散プロセスを利用した確率モデルにより，手順予測の際に可能な複数の手順を推論できる（手順の不確実性への対処）
Y. Zhong et al. “Learning Procedure-aware Video
Representation from Instructional Videos and Their
Narrations”, in CVPR 2023.

289

CVPR 2023 の動向・気付き（237/259）● PDPP: Projected Diffusion for Procedure Planning in Instructional Videos○ 手順計画を分布フィッティング問題として捉え拡散モデルを適用■ 背景● 人工知能がインストラクション動画から手順を理解して学習し，ゴールに向けた手順計画ができると料理をしたり修理をしたりなどの問題が解けるようになる．
■ 過去の手法背景● 手順シーケンスを正確に予測する問題として捉えて，中間状態をステップ毎に予測していた．
→ 中間状態予測の誤差が募る，学習時の中間状態教師が必要．
■ 本研究の視点● 手順の不確実性（入れ替え可能性など）に対処するため，分布フィッティング問題として捉え，学習プ
ロセスにランダム性を追加する．
中間状態の教師を必要とせず，拡散過程で一気に予測．

H. Wang et al. “PDPP: Projected Diffusion for Procedure Planning in
Instructional Videos”, in CVPR 2023.
290

CVPR 2023 の動向・気付き（238/259）● インストラクション動画解析の動向○ 字幕を効果的に用いた教師情報■ 字幕をそのまま使うのではなく，字幕をうまく利用して動画内の各ステップをうまく区分し，教師情報とする．

○ 知識データベースを利用した学習■ wikiHowなどの手順に関する知識データベースを教師として学習．

○ 拡散過程の利用■ 手順の不確実性に拡散モデルの特性を活かす．

291

CVPR 2023 の動向・気付き（239/259）● Tutorial: Prompts in Vision● https://prompting-in-vision.github.io○ Vision and Languageにおけるプロンプティングの背景を網羅的に解説○ 手動プロンプティングは最適化が難しい■ CoOp(Context Optimization):プロンプト内の文脈語を学習可能なベクトル表現にすることでプロンプトエンジニアリ
ングを自動化する■ CoOpは学習データに過適合してしまう→Conditional Context Optimization (CoCoOp)○ LLMはChain-of-Thought (CoT)で性能が上がることが知られているが，小さいLMに段階的な推論をさせるにはどうすれば？
■ 1,060タスクにわたる188万個のCoT推論を拡張したCoT Collection datasetで，Flan-T5 (3B&11B) を継続的にFTすることで性能が向上．

292

CVPR 2023 の動向・気付き（240/259）● FashionSAP: Symbols and Attributes Prompt for Fine-grained Fashion Vision-Language
Pre-training○ ファッションシンボルと属性プロンプトに基づく事前学習モデルを提案■ 一般的なVLデータにはファッションアイテム詳細が記述されないため学習には非効率■ ファッションシンボル（左下図）と属性プロンプトの提案● 様々な種類のきめ細かいファッションの特徴を一般化し細かい属性をモデル化● ファッションデータの形式に応じたプロンプトテンプレートを設計■ カテゴリとサブカテゴリ認識でSoTA■ image-to-textとText-to-imageでSoTA

Han, Yunpeng, et al. "FashionSAP: Symbols and Attributes Prompt for Fine-grained Fashion Vision-Language Pre-training.", in CVPR2023
https://openaccess.thecvf.com/content/CVPR2023/html/Han_FashionSAP_Symbols_and_Attributes_Prompt_for_Fine-Grained_Fashion_Vision-Language_Pre-Training_CVPR_2023_paper.html

293

CVPR 2023 の動向・気付き（241/259）● FAME-ViL: Multi-Tasking Vision-Language Model for Heterogeneous Fashion Tasks○ ファッションに焦点を当てたマルチタスクかつ効率的なモデルの提案■ マルチタスクラーニングのために設計された2種類のアダプタを提案（右下図）● タスク固有のアダプタ(TSA), 異なるモダリティ間の相互作用を可能にするアダプタ(XAA)■ 従来の単一タスクモデルと比較してパラメータを61.5%削減した■ Cross-Modal Retrieval, Text-Guided Image Retrieval, Subcategory Recognition, Fashion Image

CaptioningのタスクでSoTA（左下図）

Han, Xiao, et al. "FAME-ViL: Multi-Tasking Vision-Language Model for Heterogeneous Fashion Tasks.", in CVPR2023
https://openaccess.thecvf.com/content/CVPR2023/html/Han_FAME-ViL_Multi-Tasking_Vision-Language_Model_for_Heterogeneous_Fashion_Tasks_CVPR_
2023_paper.html

294

CVPR 2023 の動向・気付き（242/259）● Learning Attribute and Class-Specific Representation Duet for Fine-grained Fashion
Analysis○ 詳細なファッション分析を行うためのマルチ属性・粒度・ラベルなモデル提案■ ファッションの属性とクラスに特化した表現を共同で学習● クラスレベルで視覚要素の構成が異なる2つのドレスを識別可能（左下図参考）■ 共有のバックボーンと属性とクラスの条件付きAttentionをもつサブネットワークにより属性とクラス間の相互依存性と視覚特徴量を捉える（右下図参考）■ DeepFashion, FashionAIとDARNにおいてfine-grainedなファッション検索でSoTA

Jiao, Yang, et al. "Learning Attribute and Class-Specific Representation Duet for Fine-grained Fashion Analysis.", in CVPR2023
https://openaccess.thecvf.com/content/CVPR2023/html/Jiao_Learning_Attribute_and_Class-Specific_Representation_Duet_for_Fine-Grained_Fashion_Analy
sis_CVPR_2023_paper.html

295

CVPR 2023 の動向・気付き（243/259）● TryOnDiffusion: A Tale of Two UNets○ ポーズや体型変化に対して衣服の詳細を保持した仮装試着が可能なモデル提案○ 2つのUNetを統合したDiffusionベースのアーキテクチャ(右下図)

左下図の上隅がターゲットの人物
左下図の下隅が別の人物の着用画像

296

CVPR 2023の動向・気付き（244/259）● ファッション分野への応用○ CVPR2023におけるkeywordにfashionが入る論文は3本■ CVのトレンドにあるようにデータセットの整備がされている．
● 主要なデータセットはFashionGenやFashionIQ■ ファッション分野特有のタスク● ファッションV+Lデータ特有の記述の詳細さへの対応● fine-grained（詳細な）ファッションに関するタスクへの注目■ 効率性● V+L事前学習モデルのパラメタの多さから下流タスクへの対応の効率性に着目■ 仮装試着● これまでのSoTAモデルに比べてターゲットの人物と別の人物の着用画像の合成に違和感がない● ターゲット人物と大きく異なる別の人物の着用画像からの仮装試着に対応しており実用性が高い● 一方で衣服のセグメンテーションの誤りや仮装試着元の色が仮装試着後に残ってしまう課題あり

297

CVPR 2023 の動向・気付き（245/259）
医療応用：発表の動向○ “medical” を含む論文は12論文○ 半教師ありなどのラベル作業が減少される研究が多く，医療現場での応用が期待される○ few-shot をベクトル量子化したり，拡散モデルを用いたセグメンテーション生成など特徴的な手法

298

CVPR 2023 の動向・気付き（246/259）
医療応用：Rethinking Few-Shot Medical Segmentation: A Vector Quantization View
○ few-shot segmentation ：ベクトル量子化機能を追加して性能向上■ ベクトル量子化ビューによりプロトタイプベクトルを抽出■ 腹部，心臓，および前立腺MRIデータセットで良好な結果

299

CVPR 2023 の動向・気付き（247/259）
医療応用：SDC-UDA: Volumetric Unsupervised Domain Adaptation Framework for
Slice-Direction Continuous Cross-Modality Medical Image Segmentation○ スライス内およびスライス間の自己注意を介した2.5D変換■ 合成ボリュームを次の自己学習ステップで使用(2.5D)することで，解剖学的な情報の伝達と滑らかな領域選択を可能にする．
■ 三次元的な滑らかさがポイント

300

CVPR 2023 の動向・気付き（248/259）
医療応用：Orthogonal Annotation Benefits Barely-supervised

Medical Image Segmentation○ 半教師あり学習：直交した二つのスライスでラベル付けを行う直交アノテーションを提案■ 3D医療画像は，水平・矢状・冠状断などの直交断面が作成可能■ 直交アノテーションを用いてアノテーションコストを大幅に引き下げた
https://github.com/HengCa
i-NJU/DeSCO

301

CVPR 2023 の動向・気付き（249/259）
医療応用：MCF: Mutual Correction Framework for Semi-Supervised

Medical Image Segmentation○ 半教師あり学習：医療画像セグメンテーションモデルの認知バイアスを減らす手法を提案■ MCFは二つの異なるサブネットを持ち，認知バイアスを修正するためにサブネット
間の不一致を探索■ 矛盾した予測領域を発見して認知バイアスの補正を行う

302

CVPR 2023 の動向・気付き（250/259）
医療応用：Devil is in the Queries: Advancing Mask Transformers for Real-world Medical
Image Segmentation and Out-of-Distribution Localization○ セグメンテーション：膵臓のように長い尾のような構造の尾の先は，一種の分布外であり学習は困難．分布外領域を検出し極材化する手法を提案■ MaxQuery: ピクセルとクエリの類似性によって分布外領域を検出．
■ 膵臓腫瘍と肝臓腫瘍データセットで良好な結果

303

CVPR 2023 の動向・気付き（251/259）
医療応用：PEFAT: Boosting Semi-supervised Medical Image Classification via
Pseudo-loss Estimation and Feature Adversarial Training○ 半教師あり学習：誤った疑似ラベルデータに対する対応策■ 綺麗なデータは損失が小さく，ノイズデータはその逆であるという疑似損失の仮定に基づき，高品質な疑似ラベル集合を抽出■ 判定境界を平滑化するために特徴レベルで敵対ノイズを注入する新しい正則化手法を提案
https://github.com/ma
xwell0027/PEFAT304

CVPR 2023 の動向・気付き（252/259）
医療応用：Bidirectional Copy-Paste for Semi-Supervised Medical Image Segmentation○ 半教師あり学習：ラベル付けされたデータとされていないデータの分布にミスマッチがあった場合，ラベル情報が伝わらないという問題解決のために，ラベルありデータとラベル無しデータを双方向にコピー・ペースト■ 綺麗なデータは損失が小さく，ノイズデータはその逆であるという疑似損失の仮定に基づき，高品質な疑似ラベル集合を抽出■ 判定境界を平滑化するために敵対ノイズを注入する新しい正則化手法

https://github.com/DeepMe
d-Lab-ECNU/BCP305

CVPR 2023 の動向・気付き（253/259）
医療応用：Ambiguous Medical Image Segmentation using Diffusion

Models○ 拡散モデル：複数人の専門家のセグメンテーション知識を統合する手法■ CT，超音波，MRIなどの異なる3つのモダリティーで検証
https://github.com/aimansnigdha/Ambig
uous-Medical-Image-Segmentation-usin
g-Diffusion-Models

306

CVPR 2023 の動向・気付き（254/259）● 医療応用：Geometric Visual Similarity Learning in 3D Medical Image

Self-supervised Pre-training○ 自己教師事前学習：３D医療画像のセグメンテーション○ 同じ意味特徴をもつクラスタリングに対する画像間の一貫した表現を学習■ ４つの3Dモダリティーで良好な成績

307

CVPR 2023 の動向・気付き（255/259）● 医療応用：Directional Connectivity-based Segmentation of Medical

Images○ セグメンテーション：ピクセル連結性をチャンネルごとの方向性を分離することでセグメンテーション
https://github.com/Zyun-Y/DconnNet

308

CVPR 2023 の動向・気付き（256/259）
医療応用：Fair Federated Medical Image Segmentation via Client

Contribution Estimation○ 連合学習：クライアントの貢献度とパフォーマンスをそれぞれ計測する手法はあったが，同時に評価する手法はなかった■ 勾配空間とデータ空間でクライアントの貢献度を推定を提案■ 二つのデータセット（実際の検証）で有用性が示せた

https://github.com/NVIDIA/NVFlare/t
ree/dev/research/fed-ce

309

CVPR 2023 の動向・気付き（257/259）
医療応用：Pseudo-label Guided Contrastive Learning for Semi-supervised

Medical Image Segmentation○ 半教師あり学習：一貫性正則化と疑似ラベルを用いて対照学習を拡張○ 3つの医療データセットで良好な結果
https://github.com/hritam-98/PatchCL-MedSeg

310

CVPR 2023 の動向・気付き（258/259）● Spatiotemporal Self-supervised Learning for Point Clouds in the Wild
○ LIDARデータが持つ空間領域に加え，時間領域も活用したSSL戦略を提案■ 2つの大規模なLiDARデータセットで自己教師あり学習を実行● 空間情報を集約してオブジェクトを区別するポイント間学習● 時間的対応を利用する教師なしオブジェクト追跡に基づくクラスタ間学習■ 得られたモデルを他の点群セグメンテーションベンチマークに転移■ 最先端の点群SSL手法を凌駕

311

CVPR 2023 の動向・気付き（259/259）● Boosting Semi-Supervised Learning by Exploiting All Unlabeled Data
○ 大規模ラベル無しデータセットをより良く活用するためのフレームワークFullMutchを開発■ 従来のSSLフレームワークであるFixMatchでは大規模ラベル無しデータセットにおいて学習に使用されない画像が多く発生■ 新手法であるFullMatchではより多くのラベル無しデータセットを効果的に学習で使用できるようにすることでモデルの性能向上を達成

312今後の展望- 今後，CV分野はどうなる？
- 我々としてはどうすれば良いか？

今後の展望（1/4）● 大規模事前学習 + ゼロショット認識/小規模追加学習*○ Large-scale Pre-training / Vision-Language Pre-trainingの効果もあり，ゼロショット認識ができるようになってきた．今後，より少数のデータ・少量リソースの学習でチューニングできるか，についてもより多くの研究が行われる可能性が高い*あくまでも主要な流れということで，基盤モデル関連以外の研究が採択されないというわけではありません

314

今後の展望（2/4）● 大規模事前学習 + ゼロショット認識/小規模追加学習*○ 1% VS 100% → 事前学習モデルを用いる前提．FT時に数%のみのチューニングで高い水準と同等レベルの認識ができる● *あくまでも主要な流れということで，基盤モデル関連以外の研究が採択されないというわけではありません
大規模事前学習モデル
提案手法のLoRandにおける冗長性を見極（Low-Rank Adapter）は●め，少数パラメータのみの学習で高性能な画像認識（左図は物体検出の例）を実現．提案手法のLoRand（Swin-B）
は2.5Mのみの追加学
習でSwin-Bと同等の精度まで到達．

SwinTransformerのブロック（図中左）に２箇所
LoRand層（図中右）を追加．複数の低ランク行列の乗算で全結合層のパラメータ数を削減．

これらの他にもNLPにて提唱されているAdapter Tuningに着目．事前学習のbackboneのパラメータは固定，
ごく少量のパラメータ追加と学習を行うことでdecoder/headを同時に最適化できる．
D. Yin et al. “1% VS 100%: Parameter-Efficient Low Rank Adapter for Dense Predictions”, in CVPR 2023.

315

今後の展望（3/4）● （最初の年）新規問題設定→● （次の年）精度向上→● （さらに次の年）計算コスト問題解消→● の３点セットは黄金ルートで，以降繰り返す○ 例としてCLIPは2021年に提唱○ 2022年はCLIPを応用して各トピックで精度向上を確認○ 2023年はCLIPにより実施されるVision-Language Pre-trainingの計算コストを削減

2023後半〜2024に大きな流れを作る問題設定が登場するかも（常に登場している感はある）

316

今後の展望（4/4）● 今回CVPR 2023は何か大きなことが起こる前夜的な立ち位置か○ CVPR 2023 の投稿直後にChatGPT（GPT-3.5/4）などLLMの衝撃○ LLM（e.g., GPT, LLaMA, Bard）, VLM（e.g., ViT, CLIP, SAM）など部品は揃ってきて，事前学習・追加学習の整

備が進行○ ICCV 2023（3月前半投稿）ではある程度出てきそう，CVPR 2024（2023/11月投稿予定）で爆発するか

Brave Newな研究をしよう！

（基盤モデル関連に限らず）トレンドを創るために挑戦し続けよう！！
来年のCVPR2024は発表者側で参加しよう！！！
317