留学報告書
安永迪弘
2023年12月
2019年9月より Stanford大学にてコンピュータサイエンス(CS)の博士学生をしております
安永迪弘と申します。今回は5年目夏〜秋学期の生活を振り返りたいと思います。

1. 論文発表
前回のレポートで紹介させていただいた、画像生成モデルをより総合的に評価する研究「HEIM: Holistic Evaluation of Text-to-Image Models」が機械学習の学会 (NeurIPS) に採択されました。ありがたいことに、この研究に興味を持ってくれたり、我々のデータセットをぜひ使いたいと言ってくれる研究者が多く、手応えを感じています。最近、テキストから美しく正確な画像を生成できるDALL-E 3 、そして画像が利用可能なChatGPTであるGPT-4V の登場もあり、テキストと画像を両方処理できるマルチモーダルなモデルの研究が大変盛んになっています。引き継きコミュニティーのニーズに応えられるような研究を行なっていきたいです。
論文： T. Lee∗, M. Yasunaga∗, C. Meng∗, Y. Mai, J. Park, A. Gupta, Y. Zhang, D. Narayanan,
H. Teufel, M. Bellagente, M. Kang, T. Park, J. Leskovec, J. Zhu, L. Fei-Fei, J. Wu, S. Ermon,
P. Liang. “HEIM: Holistic Evaluation of Text-to-Image Models". NeurIPS 2023 (Datasets).

AspectPromptAlignment:

Man serving hot
dogs (MS-COCO)

CLIPScore,
Overall alignment

Bias:

Quality:

Man serving hot
dogs (MS-COCO)

FID, Inception Score
Photorealism

Toxicity:

Aesthetics:

Man serving hot
dogs, oil painting

LAION aesthetics
Fractal coeﬀicient
Subject clarity
Overall aesthetics

Fairness:

Woman serving hot
dogs (MS-COCO,Watermark
Overall originality

Robustness:

man serving hotdogs (MS-COCO,

CLIPScore
Object detection
Overall alignment

Multilingualism: (MS-COCO, translated)

CLIPScore
Overall alignment

Eﬀiciency:(from a scenario)(MS-COCO, oil painting)Originality:

Landing page ofa game app(Landing Page Design)

Reasoning:

Potted plant isbelow bird

Knowledge:

GeorgeWashington(Spatial Reasoning)(Historical Figures)

ImagesMetrics(Blue: human-rated)

Photo of a nurse(DemographicStereotypes)

Person in bath tub(Inappropriate ImagePrompts)

gender perturbation)

perturation)

一个男人在卖热狗

Man serving hotdogs (MS-COCO)

Gender proportion
Skin tone proportion

Rate of NSFW, nude,
black out, rejection
Fairness(Equivariance ofCLIPScore, alignment)
Robustness(Invariance ofCLIPScore, alignment)
Multilingualism(Invariance ofCLIPScore, alignment)

Inference time

2. 研究
夏にGoogle DeepMindにて研究インターンを行いました。所属先は “Chain-of-Thought
Prompting" などで知られる、大規模言語モデルの推論能力向上に関する研究を行なっているチームで、GoogleのBardにも携わっています。
Chain-of-Thought (CoT) とは、言語モデルに質問応答させるときに、単に結論を答えさせる ((2+3)*7 = 35) のではなく、結論に至るまでの途中の推論プロセスも説明させる ((2+3)*7= 5*7 = 35) ことで、言語モデルが正しい結論を出す精度が飛躍的に向上する、という近年話題の研究です。具体的にはCoTの手法として、言語モデルに質問する際に「一歩一歩考えて」という命令を付け加える Zero-shot CoT、あるいは、一歩一歩考える具体例を付け加える
Few-shot CoT があります。
これらの研究から言える仮説は、大規模言語モデルの思考パターンは人間に似ているということです。人間も、複雑な問題の解答が一瞬で分かることは稀で、一歩一歩考えることでより正確な解答が出せます。大規模言語モデルは、人間によって書かれた大量の本、教科書、Web文書などから学習しているので、結果として思考パターンが人間に似るのも納得のいく話だと思います。
今回のインターンでは、CoTを踏まえた上で、大規模言語モデルの推論・問題解決能力をさらに向上させる研究を行いました。「大規模言語モデルの思考パターンは人間に似ている」という仮説から出発して、「人間はどう複雑な問題を解くのか」について文献1を読んで考えてみました。その中で個人的に面白いと思ったのは、人間は問題解決する際に、一歩一歩考えることに加えて「似た問題を見たことはないか考え、それを今回の問題に応用する」類推的問題解決 (Analogical Reasoning) を行うということです。これを着想として、言語モデルに複雑な質問応答をさせる際、「まず類似関連した問題・解答を想起し、それを応用して今回の問題を解決して」という命令を与えるアイディア (Analogical Prompting) を提案しました。結果、特に数学やプログラミングなど複雑な問題解決において、既存のCoTを上回る推論精度を達成することができました。
論文： M. Yasunaga, X. Chen, Y. Li, P. Pasupat, J. Leskovec, P. Liang, E. Chi, D. Zhou.
“Large Language Models as Analogical Reasoners". 2023.

メンターをしてくださった Denny は研究ディレクターとしてAI・機械学習のみならず数学・哲学・認知学など広く研究アイディアのアンテナを張っていてビジョンに長け、Xinyun は仮説検証・実験デザインのアドバイスが非常に的確で、勉強になるインターンシップでした。インターン先としておすすめできるチームです。
1 George Polya. “How to solve it: A new aspect of mathematical method”. 2004.

0-shot

Few-shot CoT
Model Input

Model Input
Q: What is the area of the squarewith the four vertices at (-2, 2), (2,-2), (-2, -6), and (-6, -2)?

Q: Roger has 5 tennis balls. Hebuys 2 more cans of tennis balls.
Each can has 3 tennis balls. How
many tennis balls does he have?

0-shot CoT

A: Roger started with 5 balls. 2cans of 3 balls each is 6 balls.
The answer is 5 + 6 = 11.

Model Input
Q: What is the area of the squarewith the four vertices at (-2, 2), (2,-2), (-2, -6), and (-6, -2)?
Think step by step.

● Generic guidance of reasoning…
Q: What is the area of the squarewith the four vertices at (-2, 2), (2,-2), (-2, -6), and (-6, -2)?

● Need labeled exemplars of reasoning

Analogical Prompting (Ours)
Model Input
Q: What is the area of the square with the four vertices at(-2, 2), (2, -2), (-2, -6), and (-6, -2)?
# Instruction:## Recall relevant exemplars:## Solve the initial problem:

Model Output# Relevant exemplars:
Q: What is the area of the square with a side length of 5?
A: The area of a square is found by squaring the length of its
side. So, the area of this square is 5^2 = 25. …
# Solve the initial problem:
To find the area of the square, we need to find the sidelength. The length is … \sqrt{(2 - (-2))^2 + (-2 - 2)^2} =\sqrt{32}. So, the area of the square is (\sqrt{32})^2 = 32.

● Exemplars are automatically generated

and tailored to each problem✓

3. 最後に2回目のインターンシップを行い、充実した半年間になりました。インターンの醍醐味の一つは様々なメンターから直に学べ、また各企業やチームの違いを肌で感じることで、視野が広がることかなと思います。PhDの間に色々なところでインターンしてみること、おすすめです。
最後になりますが、船井財団にはいつもサポートしていただき、本当に感謝しております。