A I / Da t a T e c hno l o g y M a p V o l . 2

Introduction
サ イ バ ー エ ー ジ ェ ント の 事 業 成 長 と と も に 、事 業 で 利 用 さ れ て い る A I / D a t a 領 域 に お け る テ クノロ ジ ー は 日 々 進 歩 し て き ま し た 。
A I / D a ta Te c h n o l o g y M a p は 、
サ イ バ ー エ ー ジ ェ ント の こ れ ら の テ クノロ ジ ー 領 域 に お け る 取 り 組 み を様 々 な 角 度 か ら 知 って も ら う た め の 冊 子 で す 。

常務執行役員内藤 貴仁

Takahito Naito

サイバーエージェントは AI 技術の研究・開発に非常に期待し力を入れています。この技術の将来が、そしてそれらを社会実装していく力が、我々の大きな競争力になると確信しているからです。私自身も、経済学、画像処理、自然言語処理、対話システム、音声認識・合成、ロボットなどの研究室に定期的に伺い、先生方と直接議論させて頂いています。

これまでいくつかの研究室と一緒に社会実装した技術、プロダクトが、数億円の利益を生み出した事例も出てきています。我々はこれからも、AI 技術の研究・開発、そしてデータの量や社会実装する力をしっかりつけていきながら、アカデミアや社会の発展に長期的に貢献できるように取り組んでいきたいと思っています。

専務執行役員

技術担当

長瀬 慶重

Norishige Nagase

サイバーエージェントは創業来、インターネット産業の拡大とともに事業成長を続けてきました。インター
ネットが人々の生活環境を変えたように、AI 技術やデータ活用の発展は私達の生活にさらに大きな変革をもたらします。

当社が展開する、メディア事業・広告事業・ゲーム事業においても、AI / データでビジネスを加速させるために各専門のエンジニア・研究者が存在し、世界中の研究論文を日々キャッチアップし、高度なAI 研究技術を持ち実用化に積極的な研究室との産学連携を積極的に行い、研究開発を進めています。

この AI/ Data Technology Map では、サイバーエージェントが日々取り組む研究や、AI/ データ活用に導入

Introduction

ついて紹介しています。本冊子を通して当グループの知見を展開できることを願っています。

01IndexIntroduction

01

技術の俯瞰ページ04

データで見るサイバーエージェント

08

サイバーエージェントでのAI/DATA×Engineering

10

How We Work

14

AI事業本部Media Data Tech Studio
メディア / ABEMA
SGE

プロダクト情報AI事業本部 / AI / CG

極予測 AI

極予測 TD

素材開発 / 極予測 AI 人間
極予測 LP

極予測 LED

Future Live / Virtual Shooting / Virutual Shop
Digital Twin Label

AI事業本部 / AI ShiftAI Messenger Chatbot

目次

Index

Statistics

AI Messenger Voicebot

02

14
16
18

CAM

タップル

22
24
26

20

28

28
30
32
34
36
38
40

AI事業本部 / 小売 DX

小売アプリグロース / クーポン最適化
小売デジタル広告
CA スマート POP

位置データ B Iプロジェクト
ミライネージ
データ・ワン

AI事業本部 / 医療 DX

MG-DX

42
44

AI事業本部 / 行政 DX / Govtech

センサス AI

48
50
52
54
56
58

60

62

AI事業本部 / ロボットサービス事業部

AI事業本部 / Dynalyst

Dynalyst

CyberZ

46

ロボットサービス事業64

ベクターグラフィックス研究開発
音声研究開発AI事業本部 / AILab + Dynalyst

遅れ CV プロジェクト

文脈付きバンディット

66
68
70

72
74

メディア / ABEMA
推薦
検索

動画解析
広告

メディア / Ameba
Ameba

Ameba 広告メディア / AWA
AWA

76

78
80
82
84

86
88

CAM

124

ABEMA

ACTech 局

96

CyberZ

データ戦略室AI 室Patriot
Zero

Phoenix ( 推薦基盤 )Nagato（検索基盤 )OrionCorona（画像処理基盤 )Zumwalt（データアクセス基盤 )Annotator（アノテーション基盤 )Hibikiグループ IT 推進室

124

AI 事業本部

94

Kafon

90

128
132

92

Fensi Platform( ログ集計基盤＆レコメンド )メディア / 横軸基盤システム

社員インタビュー

AILab

CAM

SGE / SGE コア技術本部

AI事業本部 / AI Lab＋GovTech

利用調整 AI

タップル

98

100

102
104
106
108
110
112
114
116
118
120

CIU ML Platform

122

タップル

140

DTL

DSC

144
148

136

産学連携

152

アウトプット実績

158

White Paper Project

172

編集

188

Index

接客対話プロジェクト

タップル

目次

AI事業本部 / AI Lab

03

技術の俯瞰ページ
Technology

効果検証

小売デジタル広告

50

CyberZ - ACTech局

96

Dynalyst

46

位置データ BI プロジェクト

54

MG-DX

60

CyberZ - データ戦略室

98

CAスマートPOP

52

ミライネージ

56

データワン

58

Ameba

86

ABEMA - 推薦

78

AWA

90

小売アプリ改善 / クーポン改善

48

Fensi Platform(ログ集計基盤 & レコメンド)

画像処理
極予測 AI28

極予測 LP34

ベクタグラフィックス研究開発

68

Future Live / Virtual Shooting / Virutual Shop38

素材開発 / 極予測 AI人間

32

センサス AI62

ABEMA - 動画解析

82

自然言語処理極予測 TD

素材開発 / 極予測 AI人間

技術の俯瞰ページ

Statistics

AI Messenger Chatbot

04

極予測 AI

極予測 LPAI Messenger Voicebot

30
32
42
28
34
44

Corona( 画像処理基盤 )

112

Orion

110

タップル ( 推薦 / 健全化)

92

Annotator (アノテーション基盤 )116

Digital Twin Label40

接客対話プロジェクト

66

接客対話プロジェクト
音声研究開発ABEMA - 検索

SGE コア技術本部 - AI 室
Orion

94

Annotator (アノテーション基盤 )

66
70
80
100
110
116

データマイニング
Dynalyst

小売アプリ改善 /クーポン改善
データワン

文脈付きバンディット
Ameba
MG-DX

CyberZ - データ戦略室

AI Messenger Chatbot
ミライネージ
AWA

遅れCV プロジェクト
小売デジタル広告

46
48
58
74
86
60
98
42
56
90
72

センサス AI

ベクタグラフィックス研究開発
ABEMA - 動画解析
極予測 AI

素材開発 / 極予測 AI人間
極予測 LP

極予測 LED

36

AWA

90

ABEMA - 推薦

78

タップル ( 推薦 / 健全化)

92

Phoenix ( 推薦基盤 )106

Fensi Platform(ログ集計基盤 & レコメンド)
ABEMA - 検索
Ameba 広告

94

80
88

50

MLOps 基盤

ニューラルネット
極予測 TD

レコメンド

30
62
68
82
28
32

Ameba 広告88

極予測 TD30

CIU ML Platform

122

ABEMA - 推薦

78

タップル ( 推薦 / 健全化 )92

Fensi Platform( ログ集計基盤 & レコメンド )94

34

ロボットサービス事業部

64

AI Messenger Voicebot

44

接客対話プロジェクト

66

ABEMA - 検索80

Hibiki120

Nagato ( 検索基盤 )108

AI Messenger Chatbot

42

技術の俯瞰ページヒューマンコンピュータインタラクション

Statistics

検索05ストリーミング処理

小売デジタル広告

ロボットサービス事業部

Ameba 広告

88

118

52
50
64

スキーママッピング
Zumwalt ( データアクセス基盤 )CyberZ - ACTech局

データアクセス

Zumwalt (データアクセス基盤 )114

Hibiki120

CyberZ - ACTech局

104

Kafon

屋内情報活用CA SmartPOP

Zero

114
96

96

強化学習

SGE コア技術本部 - AI 室
文脈付きバンディット

100
74

大規模データ処理
ABEMA - 広告

84

ABEMA - 動画解析

82

Patriot

102

音声認識

AI Messenger Voicebot
音声研究開発技術の俯瞰ページ

Statistics

�DCG

06

Future Live / Virtual Shooting / Virutual Shop
Digital Twin Label

38
40

44
70

マッチングアルゴリズム

行動経済学
60
76

音声研究開発アノテーション

Annotator (アノテーション基盤 )Hibiki

音声合成

116
120

モデレーション
Orion

位置情報

位置データ BI プロジェクト

54

組合せ最適化56

Zumwalt (データアクセス基盤 )

114

48

マーケットデザイン
利用調整 AI

NoSQL

110

因果推論

小売アプリ改善 /クーポン改善

ミライネージ70

76

ゲーム AI

SGE コア技術本部 - AI 室

100

Statistics

利用調整 AI76

技術の俯瞰ページ

MG-DX

利用調整 AI07データでみるサイバーエージェント AI Data 編
CyberAgent AI / Data

入社形態

新卒と中途の割合はほぼ 5: 5 。入社問わず切磋琢磨し、多くの新卒エンジニアも活躍しています。

57%
中途入社

43%
新卒入社

卒業

データに関わる業務を行なっている人は、修士卒以上の割合が多いのが特徴です。

17%
学部

データで見るサイバーエージェント AI / Data編

CyberAgent AI / Data

58 %

08

25 %
博士

修士

職種 (複数選択可)

データに関わる業務を行なっている人の職種は主に「Data Scientist」「ML Engineer」、研究職の「Research Scientist」です。

「Data Analyst」「Data Engineer」等、様々な職種の方が活躍し、データを通して事業成長に貢献しています。

29% 27%

26%
10 %
6%
1%

Data Scientist

Research
Scientist

ML Engineer

Data Engineer

Data Analyst

SoftwareEngineer

0.5 %

0.5 %

Infra/System
Engineer

ResearchEngineer

データに関わる業務を行っている人の専門領域は「機械学習」をはじめ、
「CV」
「NLP」
「経済学」
「強化学習」

学生時代の専門領域 「物理学」など、多岐に渡っています。幅広い専門領域の人が学生時代からの知識を生かして活躍しています！

14 %

機械学習

CV

現在の専門領域

NLP

10 %

経済学

5%

5%

強化学習

情報推薦
システム

ABテスト
AR/ VR
Kubernetes
PM
Softwareアルゴリズムグロース
システムインフラ
ストリーム処理
ソフトウェアプロダクトライン
ソフトウェア全般

21%
11% 9

機械学習

12%

CV

%

NLP

8 % 7%
5%
MLOps 情報推薦システム 経済学

4%

4%

HCI

マルチ
メディア

データインフラデータエンジニアリング
データコンサルタント
データベース
データマネジメント
データ転送・データ基盤
データ分析基盤
データ倫理
ブラックボックス最適化
マーケティング
マーケティングサイエンス

3%

2%

2%

音声

CG

物理学

メタヒューリスティクス
リサーチ
位置情報
屋内測位
最適化
社会工学
数理最適化
対話システム分析リサーチ

12 %3% 3% 3% 3% 2%
1% 1%
マルチ
メディア

音声

HCI

強化学習

CG

計算社会
科学

データ
分析

その他

16 %

1%
計算社会
科学

その他

CyberAgent AI / Data

22%

純粋数学
商学部
情報
情報工学
信号処理・最適化
数理工学・パターン認識
制御理論
政治
統計数学
品質管理
複雑系科学
物性物理

データで見るサイバーエージェント AI / Data編

ソフトウェア工学
バイオインフォマティクス
ユビキタスコンピューティング
生物学
法学
HPC (GPGPUなど )アルゴリズムコンピュータネットワーク
データベースブラックボックス最適化
マーケティングサイエンス
音楽情報処理機械工学

09サイバーエージェントでのAI DataEngineering

AI / Data X Engineering

AI Lab AI事業本部

吉本 暁文 Akifumi yoshimoto
Research Scientist

2017 年度新卒入社。自然言語処理を応用した広告製品開発に従事。
2020 年より音声研究に着手し、現在は音声合成・声質変換・音声認識に関する研究開発に取り組んでいる。デジタルツインレーベル、
極予測 AI、AI Shi ftと密に連携し、最新技術の効率的なプロダクト導入を進めつつ、関連する論文執筆も行う。また、完全自動対話研

Research Scientist

究センターを兼務し、柔軟な対話システムの構築を目指す。

AI Lab AI事業本部

兵頭 亮哉 Katsuya Hyodo
Research Engineer

2021年度中途入社。
AI Lab Human Computer Interaction チームに所属

大阪大学大学院基礎工学研究科 招聘研究員。対象領域は、HCI / HRI /インタラクション / 対話システム / 機械学習 / 画像処理 / 自然言語処理

モデル最適化や EdgeAI に特に強み。
日常的に OSS へコミットし続けてDX 本部 AI事業本部

川瀬 英俊 Hidetoshi Kawase

Research Engineer

いる。サイバーエージェントの Developer Expert。

ML Engineer

2012 年度中途入社。大学院生の頃の専門は素粒子物理学、博士課程を修了。入社後は広告配信プロダクトの開発に従事し、広告オークションの入札アルゴリズム実装や広告効果の予測モデル構築などに取り組んできた。物理学の知見を活用し、社会におけるさまざまな現

ML Engineer

サイバーエージェントでの AI / Data×Engineering

AI / Data X Engineering

象を数理的に記述する統計モデルに興味を持っている。

10

AI 本部 AI事業本部

石上 亮介 Ryosuke Ishigami

Data Scientist

20 2 1 年度中途入社 。広告 L P を対象とした機械学習モデルをはじめとする、大規模マルチモーダルモデルの構築と事業応用に従事。これまでにないスケールの大規模データ & 大規模パラメータモデルを事業横断で活用していけるよう日々取り組んでいる。A I事業本部ベストエ

Data Scientist

ンジニア賞を受賞。

グループ IT推進本部

涌田 悠佑 Yusuke Wakuta
Software Engineer

20 21年度新卒入社。ログ収集基盤や、NoSQL のスキーママッピング

システムの開発に従事。現在は特にログ収集基盤の新規開発に取り組んでおり、信頼性とスケーラビリティの高い基盤システムの開発を目的としている。最も関心のある分野は分散データベース。

Software Engineer
MDTS 技術本部

山田 瑠奈 Runa Yamada
Data Scientist

2021年度新卒入社。メディア事業のデータ活用組織「 DSC（ Data

MISC

森下 壮一郎 Soichiro Morishita

Science Center ）」に所属し、データサイエンティストとして Ameba

ブログのユーザーおよびコンテンツの分析・推薦システムの改善などを担当。

Research Scientist

Data Scientist

2017年度中途入社。
メディアサービスのユーザデータ分析や社会的受容性の調査研究等に従事。博士 ( 工学 ）。データ倫理教育に関して社外においても精力的に活動している。著書『データマイニングエンジニア

の教科書』
（編著）
『よくわかるパーソナルデータの教科書』（編著）、

放送大学「数理・データサイエンス・AI リテラシー講座 心得」第 3 回、

Research Scientist

第5 回講師など。

ABEMA

中野 貴広 Takahiro Nakano
Data Scientist

2021年度中途入社。ABEMA のユーザーデータ、コンテンツデータを活用し、KPI 向上やサービス成長のための分析に従事。現在は、主に推薦システムにおけるにモデルの改善やA B テストの設計、事後評価のための分析を担当。

山口 達輝 Tatsuki Yamaguchi
ML Engineer

2020年度中途入社。ABEMA のレコメンドシステムの開発を担当。

ロジックの開発からレコメンド基盤の刷新、メタデータの拡充に至る

まで、レコメンドによるサービスグロースを目指した各プロジェクトを推進。

ML Engineer

サイバーエージェントでの AI / Data×Engineering

ABEMA

AI / Data X Engineering

Data Scientist

11

ABEMA

上岡 将也 Masaya Kamioka
ML Engineer

2019 年度新卒入社。ABEMA ならではの課題に対し、コンピュータ

ビジョン（主に動画解析）を活用したソリューションを自ら役員へ提案

し、チームを発足。リーダーとしてプロジェクトを推進しながら、モデル開発、システムの設計・実装までを担当。

ML Engineer
ABEMA

渡部 裕晃 Hiroaki Watabe

ML Engineer

2018 年度中途入社。ABEMA の検索チームに所属。検索に関わるシステムの開発・運用に従事。ABEMA の検索機能の改善だけでなく、ABEMA の他チームも使用できるような共通の検索基盤の開発も担当。

DMG 株式会社 CAM

原 和希 Kazuki Hara

ML Engineer

ML Engineer

2 0 2 1 年度新卒入社 。入社 1 年目から早くも所属組織のもつ課題感を理解しつつ Ve rtex A I を活用したMLOps 基盤構築を独力で実行。

また全社横断のイベント運営や外部向けカンファレンスで登壇するな
ど、若手ながら八面六臂の活躍を見せている期待のMLエンジニア。

ML Engineer

コア技術本部 SGE

伊原 滉也 Koya Ihara
ML Engineer2022 年度新卒入社。SGEの横断技術組織であるコア技術本部において A I を活用したゲーム開発の効率化・自動化を推進する役割を担う。 現在は主に、レベルデザイン効率化のため、自動ゲーム

プレイA Iやカードゲームにおける最強デッキ探索の研究開発に従事。

ML Engineer

サイバーエージェントでの AI / Data×Engineering

AI / Data X Engineering

博士（ 工学 ）。NITech AI 研究センター客員助教。

12

IU-Data Science Center IU 統括室

野口 大介 Daisuke Noguchi
Software Engineer

2013 年度中途入社。株式会社 CAM が運営する多種多様なサービスにも対応できるデータウェアハウス設計から、レコメンドシステム開発、統計を駆使したA B テストまでこなす、スーパーデータエンジニア。

Software Engineer

株式会社タップル

髙橋 優介 Yusuke Takahashi
Software Engineer

2013 年度新卒入社 。タップルの VPoE としてエンジニアリング全体のマネージメントに携わる一方、マッチング最大化のための指標設計・仕様策定からデータ集計・活用に関する施策責任者として従事。ネイ

ティブアプリからバックエンド実装まで幅広く解決できるエンジニア。
DSC 技術本部

遠藤 洸貴 Koki Endo

Software Engineer

Data Scientist

2017年度中途入社。タップルにてデータ分析を担当。主にマッチングに関連する施策の定量的な評価を行えるように、実験計画の策定から、実験の実施、効果検証を行う。誰でも実験を扱えるように、標準化を進めている。ユーザにどのような機能を提供すればよいかを、

Data Scientist

データを通して明らかにしたいと考えている。

データ戦略室 株式会社 CyberZ

永堀 礼 Masashi Nagahori

Data Analyst

2018 年度中途入社。CyberZ データ戦略室の立ち上げからデータ

アナリストとして参画し、事業側のデータ戦略から利活用までを一気
ACTech局 株式会社 CyberZ

玉川 奨 Susumu Tamagawa

通貫して支援。マーケティング、CRM、オペレーション最適化等幅広い領域を戦略から検証の PDCA を高速で回すことで、事業 KPI に直接

Data Analyst

コミットするリサーチデザインのスペシャリスト。

Product Manager

2014 年度新卒入社。CyberZ のアドテク組織である ACTech 局のマネージャーとして、代理店の広告運用強化のための開発指揮をする一方、データ戦略室を立ち上げ、価値のあるデータの収集・データ分析・デー

タの利活用や施策実施の提案まで、一気通貫したデータ戦略を担当

Product Manager

漆田 瑞樹 Mizuki Urushida
Software Engineer

2018 年度新卒入社。グループ IT 推進本部 CIU Dev Division 所属。

プライベートクラウドの Cycloud を生かしたサービスとして Kubeﬂow

を用いた機械学習・推論基盤や Kubernetes マネージドサービスの開発に従事。また、開発と並行して機械学習基盤のプロジェクトマネ
ジメントも務める。現在は最新 GPU 導入に向けてノード間分散学習

Software Engineer

環境の検証・構築に奔走。

サイバーエージェントでの AI / Data×Engineering

CIU Dev Division

AI / Data X Engineering

するデータサイエンスのスペシャリスト。

13

How We Work

AI事業本部

AI 事業本部

AI 事業本部は、組織全体の 7 割以上が技術職で構成されているサービス開発組織です。

主に、
AI を活用した広告クリエイティブの制作・マーケティング支援・対話サービスや小売・医療・行政領域の DX 支援サービスなど、

デジタルマーケティング分野をはじめとした約 30 の幅広い事業開発を行っています。また、部署内に研究開発組織「AI Lab」
やデー

タサイエンティストの横断組織「DataScienceCenter」があることで、ビジネス・開発・研究がシームレスに連携を取りながら成果を出すことが可能です。

AI Lab
デジタルマーケティング全般に関わる、幅広い AI 技術の研究開発を目的に 2016 年に設立。

ビジネス課題の解決と学術的貢献を目指して、機械学習や自然言語処理、計量経済学、コンピュータビジョン、強化学習、
3DCG などの各専門の研究者、エンジニアが日々研究・開発を行っています。所属研究員は 50 名を超え、国際学会への論文投稿をはじめとする学術貢献および、研究成果の社会実装を推進しています。また、約 25 以上の国内外の大学・学術機関との産学連携を強化し、研究・開発に努めております。

Data Science Center

プロダクト横断で構成された、「事業成果を生み出す」AI 事業本部のデータサイエンス組織。各プロダクトにおけるDS 施策の実行、ノウハウの共有に取り組んでいます。また「AI Lab」と連携し、提案手法を実プロダクトに導入、その結果が国際学会にて採択

How We Work

AI事業本部されるなどの事例も多数あります。

14

Culture
AI 事業本部では、最先端の技術をキャッチアップし、良いプロダクトを継続的に生み出せる組織を目指し、技術者向けの様々な施策・制度が行われています。自己成長を続けられるような、コミュニケーションの機会・技術共有の場・スキルアップに繋がる仕組みなどが多数あります。

産学連携

国際カンファレンス参加・登壇

AI 技術の学術的発展と産業的貢献を目指し、現在最新技術を取り入れることで組織全体の技術力向分野におけるトップ研究者の方々と共同研究を進めに、年間を通して重要な国際学会へ社員を派遣。

り付加価値の高いプロダクト開発が出来るよう努め

アウトプットを実施。国際トップカンファレンスでのAItech Developer Comference

DSOps研修AI 事業本部に所属するエンジニアによる社内向け

2019 年から取り組んでいる DS/ML 職の新卒を対知る機会の創出」と「エンジニア同士の横の繋がプロダクトのビジネスモデルを理解し、ビジネス価度開催しています。

にしています。

A*gang

AIスキルアップゼミ「隣のプロダクトが ( 技術的に ) 何やっているかを知大学における研究室やゼミのように少人数のチームています。

技術カンファレンス。「各開発チームの導入技術をりの強化」を目的として 2015 年に開始し、年に一りたい人が知れる状態を作る」をコンセプトにした
社内版エンジニア Meetup をオンラインで月に 1 回開催。社員同士のコミュニケーションや技術共有が活発化しています。

聴講だけではなく、積極的に論文投稿や登壇など
採択・登壇も続いています。

象にした独自の研修です。

値の高いタスクに取り組める DS になることを目的

でテーマに沿って研究活動を行う制度。専門性の高い技術をテーマとしたゼミが多く、データ分析・経済学・NLP・ロボット・エンジニアリングマネジ

メントなどをテーマとした 10 以上のゼミが常に活動しています。

AI事業本部ています。研究成果を事業へと応用することで、よ

上や、事業領域の最新情報のキャッチアップを目的

How We Workおよそ 25 以上の大学・機関と産学連携を行い、各15How We WorkMedia Data Tech StudioMedia Data Tech StudioMedia Data Tech Studio はメディア事業のデータ活用を支える横断組織です。

組織内には、データ活用を加速させる基盤の研究開発を行う「Data Tech Lab」
、各事業がビジネス分析やデータマネジメント

を自走できるように支援する「Data Management Center」、データサイエンティスト・機械学習エンジニアの横軸組織「DataScience Center」が存在し、サービスから得られるデータを活用することで、メディアサービスの発展に寄与することを目的としています。

Data Tech Lab ／ Data Management Center

Data Tech Lab には、大規模データ処理や MLOps に専門性を持つエンジニアが所属し、メディアのデータ活用を加速させるために必要な基盤の開発を行っています。Data Management Center には、ビジネスアナリストや、データマネジメントに専門性を持つエンジニアが所属し、KGI 向上に向けた分析、データマネジメントなどの取り組みを、各事業チームが自走できるよう支援します。また、メディアサービスを安心・安全にご利用いただくため、情報倫理や計算社会学の研究にも取り組んでいます。

Data Science Center

Data Science Center では、各サービスと共にデータ活用で貢献する活動と、各サービスで実施した施策やプラクティスの共有にも積極的に取り組んでいます。また、メディアサービスのデータ活用を効率化させる目的で、推薦、自然言語処理、CV、モデレーショ

ンなどの基盤提供も行っています。各サービスでの、アウトプットをいかに事業成果に結びつけるか？ そして、それをスケールでHow We WorkMedia Data Tech Studio

きる状態にしていくか？をテーマに活動しています。

16

Culture「メディア事業への技術による貢献を前提」に、エンジニアの技術向上に対する支援や、他部署とのコミュニケーションの場の提供など様々な機会が提供されています。

国際カンファレンス参加

共同研究

組織の技術力向上を目的とし、重要な国際カンファ社会にある様々な課題についてメディアサービスを

アサービスへの技術提供によって得た知見をアカデ

共同研究を実施しています。

ンスでの発表も積極的に実施しています。

得られた研究成果は、ユーザーの皆様により安心・
安全かつ豊かにご利用いただくためのプロダクト開発・改善に活かされています。

技術報告書

技術共有会 / 勉強会

これまでの技術的な歩み・知見を社内外に発信す

推薦、分析、CV などの各技術領域ごとの共有会を報告書という形でまとめることによって新たな示唆

各技術領域に興味があるメンバー同士が集まって、るため技術報告書を制作しています。

や発展を見出し、これをご覧になる多くの皆様と知見の共有および議論につながることを期待して制作しています。

実施しています。各サービス所属メンバーも含め、各サービスでの適用事例やプラクティスの共有が活発にされています。

Media Data Tech Studio

ミアへ還元することを目的とし、様々なカンファレ

通じて解決することを目的に、アカデミアと協力しHow We Work

レンスへ社員を派遣しています。また、自社メディ

17

How We Work

メディア /ABEMA

ABEMA
サイバーエージェントとテレビ朝日の共同出資により展開する株式会社 AbemaTV では、新しい未来のテレビ「ABEMA( アベマ )」を運営しています。
「ABEMA」では、緊急速報をはじめとした 24 時間放送のニュースのほか、オリジナルのドラマや恋愛番組、アニメ、スポーツなど、多彩な番組をお楽しみいただけます。開局 6 年 5 ヶ月で 8,300 万 DL 突破。WAU ( 1 週間あたりの利 用者数 ) は約 1,500 万前後を推移しています。

ABEMA におけるデータ活用

ABEMA Data Center(ADC) は ABEMA のデータ活用を推進する、ABEMA に特化したデータサイエンスの組織です。メンバーはデー

タ分析、事業部の意思決定をサポートしながらデータコンサルティングを行うデータアナリストと機械学習や統計など高度な分析、システム構築を行い、データサイエンティスト / 機械学習エンジニア、データレイク、データウェアハウス、データマートなどのデー

タ活用のためのデータガバナンスを整備するデータマネージメントのチームがあります。

「ABEMA Developer Conference ����」を開催

2021 年 12 月 17 日（金）「ABEMA」のエンジニア・クリエイターによる「ABEMA Developer Conference」が 3 年ぶりに開催されました。「WAVE」をテーマに 25 以上のセッションをオンライン配信し、ABEMA が取り組んできた挑戦の過程で得た知見を公開するとともに、この先「ABEMA」が目指す未来像を技術・サービスの両側面から紹介しました。

How We Work

メディア /ABEMA

https://www.cyberagent.co.jp/way/list/detail/id=26907

18

Culture「ABEMA」は現在 100 名を超えるエンジニアによって技術組織を構成していますが、「自由と責任」による開発者個人の裁量を最大化させるとともに、集団としての統制と同じ目標に向かうためのチームワークを重視し、それらを象徴する５つの行動指針を制定し、開発者が持つべき姿勢として推奨しています。一貫して伝えたいメッセージは真の「オーナーシップ」を持って専門性を発How We Work

メディア /ABEMA

揮して欲しいということです。

19

How We Work

SGE

SGE
SGE は、ゲーム・エンターテイメント事業に携わる 10 社以上の子会社が所属する事業部です。子会社ごとに独自の戦略を取る

ことにより、それぞれの強みを活かした開発を進めています。そのため各社様々な特色があり、技術的な背景も異なることがあります。子会社独自では解決できない問題や、事業部全体でカバーしたほうが良い技術の場合は子会社を横断した組織を結成することもあります。

ゲームにおける AI

ゲームにおいて AI を活用できる領域は様々あります。またゲームごとに必要とする AI テクノロジーも異なります。例えばカード

バトル系であれば対戦 AI、デッキ探索 AI、レベルデザイン支援などが考えられます。また直接的な AI だけではなく、データ分析などのタスクもあります。それぞれのゲームで必要とする AI の要件を元に、各社で工夫しながら AI 開発をしています。

AI の推進一般的なモバイルゲーム制作において AI は必ずしも必要ではなかったため、古典的な手法で解決してきました。近年のモバイル

ゲームの進化に伴い、ゲームの仕様が複雑になり、また画像などのアセットの量も膨大になるなど開発規模が大きくなりました。

そのため AI を活用して効率化する試みが行われるようになりました。ところが実際の課題に直面しているのは非エンジニアなことがほとんどで、埋もれてしまうことがあります。そのため現場を知り、現場の運用に合わせた AI を設計・導入できるかが重要になっ

How We Work

SGE

てきます。

20

Culture
子会社独自で裁量を持って開発を行いつつ、子会社横断で行ったほうがいい施策や技術的な課題解決、ノウハウ共有は積極的に行っています。ゲームにおける AI の活用についても、事業部全体で勉強会やコンテストを開催しながら、様々な切り口で開発をしています。また、子会社を超えた活性化イベントなども活発に行われています。

間違い探しゲームのレベルデザイン支援ツール

シナリオのセリフから感情を推定したモーション付けリリース前ゲームのテストプレイ

有志の AI 勉強会の様子

年間数回ほど管轄社員でメンバーを募り、バグのコロナ禍はオンライン開催が主流です。

洗い出しやレビューなどを目的にリリース前ゲームのテストプレイを行っています。ユーザーより一足早くゲームを遊べる貴重な機会となっています。

活性化イベントAI プランコンテスト

SGE では交流やノウハウ共有などを目的とした社内ゲーム開発における課題の発掘と AI 活用の意識上員が本気で取り組むので盛り上がっています。

ています。

SGE

げを目的に、AI プランコンテストを不定期で開催しHow We Work

活性化イベントを不定期で開催しています。毎回社

21How We Work

CyberZ

CyberZ
CyberZ は広告事業から始まりました。現在では、広告だけでなくメディア(OPENREC.tv)、
新規事業 (eスポーツ「RAGE」
や、
フィギュ

ア事業をおこなう「eStream」等 ) と幅広く展開しています。広告効果計測ツール「F.O.X」(2019 年に事業譲渡 ) での、
高トラフィッ
クかつ膨大なデータの活用実績を各プロダクトに活かし、データで事業に貢献しています。

AC Tech 局

CyberZ の主幹事業である広告代理事業では、膨大なデータを活用し、事業に直結した攻守の開発を行っています。守りとしては、運用効率化を進めるためのレポーティングの自動化を、攻めとしては、広告主の事業体ごとに特化したシステム開発を行い、代理店の武器を作っています。

市場の動きが激しいスマホ広告市場において、少数精鋭で役員直下の組織にすることで、スピード感を保ちつつ、常に挑戦し続けられる環境を整えています。

データ戦略室

データ戦略室では、CyberZ 横串のデータ組織としてデータドリブンな経営判断を事業部と連携しながら進めています。

事業部毎の KPI を最大化するために、データ分析だけでなく、仮説検証から施策の提案と実施、評価から次の仮説検証というデー

How We Work

CyberZタの PDCA を回すことを意識し、データドリブンに経営判断ができるよう、日々データに向き合っています。

22

Culture
CyberZ は創業以来、事業間でシナジーを生み出しながら、革新的な事業やサービスを創造できる会社を目指し、常に「挑戦」し続けています。

昨年は創業来掲げていたビジョンを「意志ある挑戦をし続け、価値ある未来を創る」という新しいビジョンに刷新しました。

CyberZ には変化を恐れず「挑戦」する文化があり、この文化は開発組織も同様で、エンジニアも事業直結により成果を出しつつ、

How We Work

CyberZ

常に挑戦し続けています。

23

How We Work

CAM

CAM
CAM ではエンタメ、ライフスタイル、ビジネスバラエティメディアを主軸とした多数の Web サービスを展開しており、様々な事業

ドメインの巨大データ・AI を活用し、さらに事業成長を加速させるプラットフォーム開発に取り組んでおります。

Creative Division
全エンジニア・デザイナーが一つの組織 (Creative Division) に所属しております。主軸事業の他にも複数の事業を展開しており、新規サービスをリリースする中、プロダクトを横断して担当することもあり、スケーラビリティの高い組織で新しい挑戦をし続けられる環境です。

Data Management Group「データからサービスを成長させる」「データからビジネス戦略をつくる」という世界観を実現するため組織されました。

CyberAgent グループ最後発ではありますが、だからこそこれまで CyberAgent が培ったノウハウをいいとこ取りした最適・最新の技術やメソッドをスピード感をもって実行できます。

How We Work

CAM

事業部との距離も近く、エンジニア、データサイエンティスト、アナリストが直接ビジネスを成長させる手応えを感じられる環境です。

24

Culture「まず行動しよう。」「柔軟に変化しよう。」「巻き込み、巻き込まれよう。」というバリューを掲げ、主力事業の成長と共に、全く新しいドメインの新規事業にも果敢にチャレンジしていくカルチャーがあります。

また CAM では CyberAgent の福利厚生・仕組み・制度を踏襲しつつ、独自のエンジニア向けの制度設計や仕組みづくり、組織活性化の取り組みも実施しております。

Fanatic Award
半期に一度、CAM オリジナルの表彰イベントを開催しています。全従業員の中から特に高い成果を出した人やプロジェクトを称えるほか、来期の経営戦

略プレゼンを通して一枚岩の組織づくりを目的とし

ています。

OSS
大小合わせて 10 以上を

https://github.com/cam-inc/ に て 公 開 中 で、中には 1000 近いスターを獲得しているライブラリもあり、積極的に OSS 化を推奨しております。

Tech Blog/ 登壇
CAM の 知 見 を 月 数 本 ペ ー ス で テックブ ロ グ(https://cam-inc.co.jp/p/techblog) にて発信しており、ベンダーから登壇を依頼されるケースもあり

How We Work

CAM

ます。

25

How We Work

タップル

タップル

マッチングアプリ「タップル」の開発・運営をしています。

タップルは、2014 年 5 月にサービスを開始し、グルメや映画、スポーツ観戦など、自分の趣味や行きたい場所をきっかけに恋の相手が見つけられるマッチングアプリとして若い世代を中心に支持されています。
2022 年 6 月には、累計会員数 1,500 万人を突破しました。

少子化対策には「恋愛総量」の増加を「恋愛総量を増やしたい」

平均出生数はそこまで変わってなく、婚姻数が減っているというのがクリティカルな問題と考えています。

少子化を解決するためには、婚姻数を増やすこと、そのためにはまずは若者の恋愛の総数を増やしていくことが大事になってくる

ので、タップルはまずは「恋愛総量」の最大化を掲げて日々運用しています。

AI Labとの合同 PJ

タップルでは、技術本部の DSCメンバーと AI Lab メンバーを加えてマッチングアルゴリズムの開発・改善に取り組んでいます。具

体的には、タップル・技術本部メンバーが既に導入していた協調フィルタリングをベースにした推薦アルゴリズムの性能と、AILab が新たに開発した TU マッチングの性能とを比較し、ユーザ体験がどのように変化し、KPI に影響を及ぼすかを調査しています。

How We Work

Tappleまた、開発したマッチングアルゴリズムは RecSys のインダストリアルペーパーに投稿しました。写真は、その打ち上げの様子です。

26

Culture
タップルは国内市場で No1 を目指しています。競合の母体は match グループというグローバル企業で、一筋縄ではいけません。
難易度は高いですが、大きなチャレンジをしたい方にとってはこれ以上ない環境です。

また、マッチングアプリは人の人生に大きな影響を与え、社会問題である少子化解決にも直結する、社会的意義が非常に大きな事業です。サイバーエージェントの「新しい力とインターネットで日本の閉塞感を打破する」というパーパスを体現している事業なので、社会への貢献をダイレクトに感じられるのも働く魅力です。

雰囲気
若手、ベテラン、男女、職種関係なく、様々なバッミッションステートメント①リーダーシップ or フォロワーシップ（その時々でクグラウンドをもったメンバーが、皆で「タップル 」

どちらかに立ち回ろう）

圧倒的 No1 になる状態を目指して本気で向き合っ③率直主義（率直なコミュニケーションをしよう）という１つのサービスを良いサービスにし、業界のている組織です。

②No1 思考（何事も常に１番を目指そう）という行動指針をもとにサービスや組織に対してより良いものしていく文化があります。

Tapple Tech Talk

推薦システム勉強会

毎 Q ごとに、技術的なプロジェクトの進捗や成果、

推薦システムの開発のための知識をつけるべく、AI体に対して伝える目的で行っています。

受けることで、実用上の精度や速度に焦点を当て、ロードマップをエンジニアだけでなく役員も含め全

Lab の方に研修を実施いただいております。研修をシステム改善のための基礎力を身に着けることができます。数式でも直感的にも理解しやすく、たのし
い研修です。

月一懇親会
タップルでは、月 1 回普段業務で関わらないメン
バーをシャッフルして、3 ～ 4 名の少人数での懇親

How We Work

います。

Tapple会を実施し、お互いのことを理解する機会を作って27

極予測 AI

AI事業本部 AI/CG

学習データ
セットサイズ

数百TB
技術タグ : 自然言語処理

実運用中の深層学習モデル数

14個

画像処理 ニューラルネット

極予測 AI はこれまでにない全く新しい広告クリエイティブの制作フローの実現を目指しています。

クリエイティブの広告効果を推論する AI を活用することで、制作過程の新規クリエイティブと配信中の既存クリエイティブの広告
効果を事前に比較することができ、既存クリエイティブよりも効果が良いとされる質の高い新規クリエイティブの制作を可能にしプロダクト紹介 AI 事業本部

Product introduction

ます。

28

Member

使用している主な技術

Data Scientist : 配信実績や静止画・動画・テキストなどのデー

Vue.js, TypeScript, Golang, Echo, Python, FastAPI,

グを担当

Cloud Tasks, Cloud PubSub, Cloud Function, Cloud

タを活用し、プロダクト課題を解決するための仮説検証やモデリン
ML Engineer : モデルの保守・運用やユーザーの利便性を向上するための開発を行う

Software Engineer : 管理画面や API などのサービス画面を開発や保守運用を担当

Product Manager : プロダクト全体のマネジメントやロードマップ
作成

Keras, TensorFlow, BigQuery, DataStore, Cloud SQL,
Run, GKE, DataFlow, Vertex AI, Argo, Embulk

ディスプレイ広告の効果予測

解決したい課題 / ユースケース

ディスプレイ広告の効果を決定づける要素として、年齢や性別といった配信設定の他、使用される画像や動画、テキストなどが挙げられます。特に画像や動画のマルチメディアデータにおいては、背景や主体物の写真・キャッチコピーの内容や用いられるフォント、全体的な色合いや配置など、多様な要素がどのように組み合わさってデザインされているかが重要になります。

広告効果を適切に予測するためには、これらの多様な要素を同時にかつ複雑な入力パターンで解釈ができるマルチモーダルなモデルが必要となります。極予測 AI では深層学習を取り入れており、独自ドメインで学習された事前学習モデルの構築など、予測品質を高めるための施策を実施しています。

クリエイティブ制作の生産性向上
解決したい課題 / ユースケース

広告の効果予測により質の高いクリエイティブを制作できるようになる一方で、クリエイティブ制作の生産性も大きな課題となります。

クリエイティブ制作者は効果予測 AI を利用することでクリエイティブの良し悪しを判断することができますが、そのクリエイティブの何が良くて何が悪いのかの理由付けができず、ただ手探りで多様なパターンのクリエイティブを試行することになってしまうからです。

こういった背景課題を解決するため、極予測 AI ではクリエイティブ制作の生産性を高める施策にも取り組んでいます。

クリエイティブに用いられる素材の傾向分析を行い広告効果の高い素材を推薦したり、クリエイティブの要素をどうように組み合
わせれば高い効果が得られるのかを分析するなど、効果的かつ効率的なクリエティブ制作フローの実現に力を入れています。
https://www.cyberagent.co.jp/news/detail/id=24647

Product introduction

https://developers.cyberagent.co.jp/blog/archives/36461/

プロダクト紹介 AI 事業本部

関連リンク

29

極予測 TD

AI事業本部 AI/CG

キーワード総数

約

6

億

2,300

万

自動生成導入対象
クライアント

100以上

自動生成対象のadgroup 数

約

40

万

技術タグ : 自然言語処理 ニューラルネット MLOps 基盤
極 TD は検索連動型広告の広告文クリエイティブである TD(Title-Description) の品質性能を AI を用いて向上させるプロダクトです。AI による効果予測により性能の高い広告文の生成・制作をサポートする極予測 TD と、AI による広告文生成をおこなう極
生成 TD の二つのプロジェクトに分かれます。数億に上る膨大々なキーワードに対し、適切な広告文の生成を目指します。

Member

使用している主な技術

Data Scientist : 自然言語処理・機械学習を用いた効果予

Natural Language Generation, BERT, GPT-2, T5,

ML Engineer : 学習基盤やデータパイプライン、負荷対策、バッ(SVD, FP16), Python, Mypy, PyTorch, LightGBM, FastAPI,

プロダクト紹介 AI 事業本部

Product introduction

測モデルや自動生成手法の検討、構築、プロダクト実装

30

クエンド設計・実装、MLOps

Web Engineer : 画面系サービスの DevOps

Product Manager : プロダクト要件、PL 責任

Project Manager : 利害関係の調整、まとめ、みんなの相談役

Learning-to-Rank, Doc2Vec, Embedding Compression
Digdag, Scala, Scio, ECS, BigQuery, Dataﬂow, Cloud
Composer検索連動型広告の効果予測を用いた制作フローの構築と運用解決したい課題 / ユースケース

極予測 TD は、膨大な配信ログから学習した効果予測モデルを用いて、多様な業種の広告主やキーワードに対しても効果の良い
広告文の制作フローを造り上げるプロダクトだといえます。

ここでの課題は、部分的なログ（テーブルデータ）と広告文（テキストデータ）から高精度な予測モデルをどうやって得るか、というだけでなく、そもそも予測モデルが指標とする広告効果をどうやって部分的なログから定義するか、というビジネス側にも関わる点が挙げられます。

現状では、効果予測をランキング問題として扱いつつ、imp 数や配信コスト等の実績データだけではなくプラットフォーマー側の品質スコア等をうまく組み合わせた広告効果指標を模索しています。また、ライターの制作フローも含めた A/B/N テストや効果測定の基盤をつくることで、実際に効果があったかのエビデンスを得られるようにしています。

直近では、プラットフォーマー側に仕様変更があり、アセットと呼ばれる広告文の断片をまとめて入稿し、配信時に 1 つの広告文に結合される仕様となりました。これに対応すべく、現在、入稿すべきアセットの組み合わせを予測するモデルも開発中です。

検索キーワードを含む広告文の自動生成

解決したい課題 / ユースケース

検索連動型広告では、対象の商品やサービスごとに事前に広告配信したいキーワードを設定し、そのキーワードが検索エンジン

で検索された際、ユーザーに広告文が表示されます。キーワードと広告文の関係が強いほどユーザーの関心を得られやすく、広告がクリックされる可能性も上がります。また検索エンジンにより広告が表示される可能性が高くなることがわかっています。一つの商品だけでも様々なキーワードが設定され、また広告対象となる商品はいくつもあることから、入稿する広告文数は広告主をベースとしたモデルを用いて、過去に入稿されてきた広告文を学習させることにより、広告文を自動的に生成する AI を構築し、生成を行います。自然な日本語の広告文の中に検索キーワードを含め、また商品に即した内容とすることが、本プロダクトの挑戦となっています。

関連リンク

https://www.cyberagent.co.jp/news/detail/id=24670
https://cyberace.co.jp/news/post-977/

https://www.cyberagent-adagency.com/works/685/

プロダクト紹介 AI 事業本部

本プロダクトでは、これらの広告文を AI により生成するというチャレンジを行っています。ニューラルネットワークの Transformer

Product introduction

あたり数万にのぼったりします。

31

素材開発 / 極予測 AI 人間
AI事業本部 AI/CG

サービス開始からの
経過年数

2

年

技術タグ : 自然言語処理

稼働中の深層学習
モデルの数

10

個

ML エンジニアの人数

6人

画像処理 ニューラルネット

デジタル広告において、バナー画像や動画，広告コピー，ナレーションや BGM といったユーザーが体験するコンテンツ全般のことを広告クリエイティブと呼びます．広告コピーや人間の顔画像といった，広告クリエイティブの構成要素の自動生成や推薦を行い，制作を支援するサービスを提供します．

Member

使用している主な技術

ML Engineer : NLP, CV などの研究開発 , フロントエンドを

NLP, CV, Python, Cloud Run, BigQuery, GCE, CloudTPU,

プロダクト紹介 AI 事業本部

Product introduction

含むサービス全体の設計・実装

32

Product Manager: 要件管理 , チームマネジメント , 関係者との調整

ステイクホルBusiness : 要件定義、KPT定義、UI/UX設計、

ダーとのやりとり

BERT, GPT-2, T5, React, TypeScript, Annotation

効果の高い素材の大量生成
解決したい課題 / ユースケース

デジタル広告において，SNS などの各広告媒体はターゲットとなるユーザーの反応の良さ（効果）に応じて独自のロジックでク

リエイティブの選択や配信量の調整を行います．絶えず繰り返されるこの配信プロセスの中で，広告クリエイターは高い効果が得られるようなクリエイティブを模索し，作り続ける必要があります．しかし，人手で大量に広告クリエイティブを制作しながら検証を繰り返すのは非常に困難です．例えば，広告が訴求する方向や印象を決める重要な要素である広告コピーの制作は非常に高度な技術であり，また人の顔画像についても，モデルのキャスティングや撮影など大きな手間が生じます．さらに，どのような素材が高い効果につながるのか，従来は現場のクリエイターの経験を元に判断していましたが，その精度は決して高いとは言えません．

本プロダクトでは，過去の制作事例および配信実績を元に，高い効果を発揮すると予想される素材を大量に自動生成・推薦するシステムを研究開発し，社内の広告制作チームに提供しています．

現在我々が重視しているポイントは生成素材の多様性と新規性です．似た表現を繰り返し使用することによるユーザーの飽きを防ぎ，より高い効果を発揮する表現を探索し続けるため，商材に対する妥当性を保ちながら幅広い表現を生成する仕組みを研究開発しています．

https://www.cyberagent.co.jp/techinfo/news/detail/id=25008
https://www.cyberagent.co.jp/news/detail/id=26366

Product introduction

https://developers.cyberagent.co.jp/blog/archives/30756/

プロダクト紹介 AI 事業本部

関連リンク

33

極予測 LP

AI事業本部 AI/CG

1デザイナー 1 名の予測モデル利用回数

200/週

技術タグ : 画像処理

実運用中の深層学習モデル数

6

個

発足から
リリースまでの期間

10ヶ月

自然言語処理 ニューラルネット

さまざまな媒体広告から遷移する先であるランディングページ（LP）の制作を一新させる目的のプロダクトです。画像・テキスト・

メタデータなどのマルチモーダル情報を用いた制作時の広告効果予測をはじめとする多くの部分でコア技術として深層学習を用

プロダクト紹介 AI 事業本部

Product introduction

いています。

34

Member

使用している主な技術

Data Scientist : Research Engineer 的ロールで、最新手法の検BigQuery, GKE, Vertex AI, PyTorch, Triton Inference

ML Engineer : データパイプライン、推論基盤、バックエンド API

nearest neighbor search, Subword tokenization,

証やモデリングなども担当。
などを担当。

Web Engineer : UI やバックエンドの開発。

Business : 広告本部プランナー。LP 制作フローの全体を統括し、必要な機能や課題について開発チームと連携。
Designer : 広告制作デザイナー。

Server, gRPC, DVC, wandb.ai, Faiss, Embedding based
Multi-modal neural networks, Transformer language

models, Generative models, OCR, Data annotation, A/B
testing

ランディングページの広告効果予測
解決したい課題 / ユースケース

インターネット広告から遷移する先のページ（ランディングページ ; LP）はユーザーが購入や問い合わせなどの行動をする場所として重要な一方、それら自体に対するデータドリブンな広告効果向上施策は広告自体と比べると進んでいない現状があります。
これに対し本プロダクト「極予測 LP」では、弊社広告代理店のもつ大規模かつ多様な効果ログと LP や広告素材等のデータを活用して構築した効果予測モデルを用いて、コストのかかるオンライン配信実験の前段階で効果の見込める LP を効率良く制作できるプロセスを提案します。

機械学習の問題として難しいのは、LP 自体がマルチモーダルなデータである点です。例えば、ページに含まれる複数の画像やテキストをはじめとして、ページ自体のレイアウトなどもユーザーの行動に影響するかもしれません。これに対し、近年活発に研究されているマルチモーダル深層学習手法を実プロダクトに取り入れています。

広告クリエイティブ制作に対する深層生成モデルの実用化解決したい課題 / ユースケース

ランディングページ（LP）はユーザーに対して商材の訴求を表現する機能があるため、ページ内で使われるテキストや画像素材の品質が重要となります。一方、大量の広告案件と多様な商材に対して適切な素材を用意するのは難しい課題があります。例えば、ストックフォトサイトから商材に合った素材を選定するには商材やデザインへの高度な理解が必要です。また、個別の素材写真撮
影は費用やスケジューリングなどの制約が多く、使える案件は限られます。

このような課題に対し、深層生成手法の研究開発を進めています。実質無限に多様な素材やデザイン案を生成できる生成技術とプロダクト紹介 AI 事業本部

Product introduction

デザイナーが協調する制作プロセスを実現することを目下の目標としています。

35

極予測 LED
AI事業本部LED
ウォールサイズ
縦

3.2
4.8

横

m×
m

効果予測の
応答時間

1

秒

技術タグ : レコメンド
AI を活用し広告クリエイティブを制作する「極予測 AI」の効果予測技術と、高精細な CG 背景空間で撮影が可能な「LEDSTUDIO」を用いて、効果が出るまで AI を用いてリアルタイムに効果予測しながら、広告効果の高いクリエイティブ素材を撮影

プロダクト紹介 AI 事業本部

Product introduction

し続ける革新的な動画の撮影プロセスです。

36

Member

使用している主な技術

ML Engineer : モデルの保守・運用やユーザーの利便性を向上す

Vue.js, TypeScript, Golang, Echo, Python, Flask, Keras,

Software Engineer : リアルタイムに効果予測を行うためのTasks, Cloud PubSub, Cloud Function, Cloud Run,るための開発を行う。

UI/UX の設計と開発を担当する

TensorFlow, BigQuery, DataStore, Cloud SQL, Cloud
GKE, DataFlow, Vertex AI, Argo, Embulk

従来の撮影手法の課題背景
解決したい課題 / ユースケース

近年、デジタル広告において活用が進む運用型広告で効果を維持するためには、配信先に合わせた多種多様かつ大量の広告クリエイティブを短期間で制作し、迅速なクリエイティブ運用を行うことが重要です。そのため、これまではあらゆる場所・時間・
モデル ( キャスト ) などを手配の上、広告クリエイティブに使用する映像や写真素材の撮影が行われてきました。

しかし、撮影場所や人物モデルのポーズ、構図などの撮影アイデアは、属人的な能力に依存してしまうことに加え、撮影場所の移動や、拘束時間の関係で 1 度に撮影できる枚数には限界があります。さらに、ロケーションの多様さを出すためには費用と時間的コスト等がかかる上、屋外撮影の場合は天候や通行人などの影響で撮影の自由度が失われてしまいます。そして、昨今の新型コロナウイルス感染拡大の影響により、撮影場所や時間の確保など多くの制約が続いている状況下では、広告効果を高める新

しい素材を用意するために、何度も撮影を実施することは現実的ではありません。

より効率的な素材撮影手法の確立

解決したい課題 / ユースケース「極予測 LED」は従来の撮影手法における課題を解決するための革新的な素材の撮影プロセスです。
撮影カメラは常に効果予測 AI と連動し、撮影した動画や静止画素材の AI スコア ( 効果の予測結果 ) がリアルタイムに撮影カメ

ラマンにフィードバックされます。撮影者は AI の予測結果を踏まえて構図や被写体に対する撮影ディレクションが可能となり、撮影とAI による効果予測を何度も繰り返しながら、撮影することが出来ます。様々なロケーションの背景 CG にすぐさま変更するなど、あらゆるアイデアを迅速に試しながら効果予測 AI と共に撮影し続け、広告効果の高い素材撮影を実現します。

さらに「LED STUDIO」は、現実では表現不可能な空間も CG で自由に作りだすことができるため、広告クリエイティブ表現の幅を飛躍的に拡張することが可能です。被写体とカメラの動きにあわせてCG 背景やLED 照明をコントロールすることが出来るため、

https://www.cyberagent.co.jp/news/detail/id=25695
https://www.youtube.com/watch?v=VBkyarEGmmA

https://www.cyberagent.co.jp/news/detail/id=25264

プロダクト紹介 AI 事業本部

関連リンク

Product introduction

臨場感あふれる動画素材の撮影が可能となります。

37

Future Live / Virtual Shooting / Virtual Shopt
AI事業本部 / AI/CG

バーチャルイベント
最大視聴者数35

技術タグ : 3DCG

万人

画像処理

AICG 事業では、CyberHuman Productions、CyberMetaverse Productions とともに、XR 技術や３ DCG のリアルタイムレン

ダリング技術を用いて、「未来の当たり前」を提供するサービスの研究開発を行っている。XR 技術を用いたイベントでのユーザー

体験、バーチャルプロダクションで広告動画制作方法、バーチャル空間での新しい店舗やユーザー体験を開発する事業を展開す

プロダクト紹介 AI 事業本部

Product introduction

る。

38

Member

使用している主な技術

�DCG Artist: バーチャル空間の背景やアセットデータを作

Unreal Engine, Unity, WebGL, Stype, Optitrack, Go,成

Software Engineer: Unreal Engine や Unity などのベースにプラグインやツール開発を行う

Web Engineer: オンラインイベントやバーチャル空間を体験するユーザーに提供する Web 実装

Studio Engineer: 撮影スタジオでの機材のオペレーションや

ツール開発

Python, C#, C++, Javascript Libraries

XR 技術を用いたイベントテックサービスとバーチャル撮影

解決したい課題 / ユースケース

FutureLive では、XR 技術を用いることでイベント参加体験を革新させるイベントテックサービスの開発を行っている。リアルタイ

ム XR 合成システムは Unreal Engine をベースに開発を進めている。カメラトラッキングシステムから取得したカメラの動きと3DCG が連動し、リアルタイムでグリーンバック合成や AR 合成の映像を作り出すことが可能である。また、イベント毎に特設の視聴ページを用意し、ユーザーのコメントやスタンプが配信される映像に 3DCG の演出として表現される機能を提供している。
視聴ユーザーのより深いイベント参加体験を創り出す仕組みをを日々試行錯誤している。

Virtual Shooting では、大型 LED ディスプレイを用いたバーチャルプロダクションを使った撮影手法の開発を行っている。LED ディ

スプレイに表示される 2D 動画や 3DCG 背景を無数に切り替えることで、時間的、空間的にな制約に縛られない非常に効率の高い制作が可能となる。AI クリエイティブ事業が提供する極 AI と連携することで、広告効果を予測しながらバーチャルな背景を切り替えることで広告効果の高い動画を高速で制作するフローも実現している。最近ではトラッキングシステムと連動したバーチャル
カメラを用いたりと、ゲームエンジンを用いたフル 3DCG の広告映像製作の事例も増加している。

バーチャル空間における店舗のあり方とユーザー体験の研究開発

解決したい課題 / ユースケース

CyberMetaverse Productions では、3DCG クリエイティブの研究開発・制作とサイバーエージェントのマーケティングのノウハウを活かして、実店舗、EC に次ぐ新たな手法として、メタバース空間における企業の販促活動を支援するバーチャル店舗の研究開発をっている。スマホ , PC、VR/AR グラスなど、多岐にわたるプラットフォームの特性を活かし、企業ブランディングに合わせたオ

プロダクト紹介 AI 事業本部

果やユーザー体験の双方にとって満足度の高いバーチャル商空間の構築を目指す。

Product introduction

リジナル店舗やコンテンツを、制作・開発を行う。今後は、バーチャル空間上でのユーザーの購買行動データを分析し、販促効

39

Digital Twin Label
AI事業本部 / AI/CG

総プロジェクト
データ容量

126

技術タグ : 3DCG

TB

1 プロジェクト
あたりのデータ容量1

TB

スキャン後のフェイシャルスキャン
生データポリゴン数

1000
ポリゴン

万

画像処理

タレントやアーティストをはじめとした著名人を CG 空間で活躍させるべく、ハードウェア・ソフトウェア開発から AI 技術まで取り入れ、写実的なデジタルヒューマンの制作を可能にするプロダクト開発に取り組んでいます。

特に広告クリエイティブへの利用を目的とし、広告運用可能なデジタルヒューマン制作を可能とするため、CG 制作の「品質」「量」

プロダクト紹介 AI 事業本部

Product introduction「スピード」向上を目指して取り組んでいます。

40

Member

使用している主な技術

ML Engineer: R&D, 課題発見

Python, PyTorch, Machine learning, Deep Fake, Maya,

化

Isilon, Plastic SCM, AWS, Shotgrid

Software Engineer: パイプライン開発や制作過程の効率
Technical Artist: 制作やレンダリングの環境の構築

Studio Engineer: 最適なスキャン技法と自動化の研究

Motion Builder, Opti track, Light cage, mari, Deadline,

Scan & ML

解決したい課題 / ユースケース- 超高精細なデジタルヒューマン制作に向けたプロダクト開発と研究 -Scan チームではタレントや役者のデジタルヒューマン制作に向け、最適なスキャン技法と自動化を主に研究してます。

各マップ（色味、質感等）抽出の最適化と LookDev（再現性）の構築に取り組んでおり、本人と変わりないデジタルデータを目指してます。

また ML チームでは「AI の技術進化を取り入れ、今まで見たことのない” 表現” を生み出す」をビジョンに掲げ、最先端のコンピュー

タグラフィックス、ビジョンの技術を用いタレントやアーティストなど著名人の 3DCG に息を吹き込むデジタルヒューマンの研究開発を行っています。

TAG

解決したい課題 / ユースケース- アーティストの制作環境を支えるパイプラインと効率化のためのツール開発 -フォトリアルかつ大量生産可能なデジタルヒューマンの広告クリエイティブへの利用を目的とした、デジタルヒューマン制作パイプ
ライン開発や制作過程の効率化を行っています。

3DCG アーティストの持つ制作技術を最大限に活かすべく、パイプラインやツールの整備に加え、制作やレンダリングの環境の構築に取り組んでいます。

https://www.cyberagent.co.jp/news/detail/id=27727

https://cgworld.jp/special-feature/cyberhuman-productionsomniverse-audio2face.html
早稲田大学森島研究室と産学連携 :https://www.cyberagent.co.jp/way/list/detail/id=26763

Product introduction

NVIDIA 協業 :プロダクト紹介 AI 事業本部

関連リンク

41

AI Messenger Chatbot
AI事業本部 / AI Shift

総メッセージ数

2.1

億件

技術タグ : 自然言語処理

総会話数

5,000

ローンチからの
経過期間

万会話

6

年

検索 データマイニング

AI Messenger Chatbot は AI Shift が提供するカスタマーサポート向け AI チャットボットです。クライアント企業

様のヘルプページなどのウェブページにチャットボットを埋め込むことでカスタマーの質問に自動で応答することが可能になります。
「最小工数で最高品質」のチャットボットを目指して日々研究開発を進めています。

Member

使用している主な技術

Data Scientist : モデル構築、データ分析、産学連携など

E l a st i c s e a r c h , B E R T, S u d a c h i , S p a c y, G i N Z A ,Software Engineer : チャットボットのアプリケーション開発

golang, Python, GKE, Hierachical Clustering Ward's

プロダクト紹介 AI 事業本部

Product introduction

を担当。

42

を行います。サーバーサイドエンジニアおよびフロントエンド

エンジニアが所属。

Sales: 新規顧客への営業を担当。

Business: カスタマーサクセスは既存顧客の成果最大化に責任を持つ。

Designer: チャットボットの FAQ 設計、運用、コミュニケーショ

ン設計を担当。

Tableau,JupyterLab, FastAPI, BigQuery, CloudSQL,
method, A/B testing, TF-IDF, GBRTAI Chatbot の設計と運用解決したい課題 / ユースケース

現在多くのチャットボットが予め用意された Q&A 集の中からユーザの質問に対して最も近いものを返す、用例ベースという仕組みを採用しています。これらのチャットボットが精度高くユーザの質問に回答するためには、回答の精度を高めること、そして
Q&A 集を AI が認識しやすい形で整備をする必要があります。我々は後者の作業をチャットボットの " 運用 " と呼んでいます。運用には多くの工数とノウハウが必要となるため、新たに導入したいと思っているクライアントに対しては非常に大きな問題になります。

また、お試しで導入したい場合も " 初期設計 " と呼ばれる最初の Q&A 集を作る作業が発生し、お試しで導入したいのにそのために多くの時間やノウハウが必要で、その段階で導入を諦めてしまうといったパターンも存在します。一般的な初期設計ではまだ存在しないチャットボットに対するユーザの質問を想定して Q&A の用例を作成する必要があります。

運用支援ツール "AI Compass" の研究開発

解決したい課題 / ユースケース

一般的な運用ではチャットボットが回答に失敗したログを１件ずつ確認し、既存の Q&A 集に回答が存在するかしないかを判断し、存在する場合は回答に失敗したユーザ発話と正しい Q&A とを紐付けをし、存在しない場合は新しくQ&A のペアを作成する必要があります。

そこで、AI Messenger では管理画面を用いて一連の運用作業のサポートを行う AI Compass という機能を 2020 年 4 月にリリースしました。AI Compass で用いられている技術は以下のとおりです。

回答に失敗したユーザ発話を収集 -> それらのユーザ発話を BERT による埋め込みによってクラスタリングを行う -> 各クラスタに関連リンク

AI Shift TechBlog: https://www.ai-shift.co.jp/techblog
https://www.ai-shift.co.jp/publications

プロダクト紹介 AI 事業本部

類似度を計算し高い順に画面に表示を行います。これらの内容はいくつかの国内学会で継続的に発表を行っております。

Product introduction

対してもっとも用例に追加すべき一文を NLP ロジックによりクラスタの代表文として抽出 -> 各クラスタ代表文と既存の用例との43

AI Messenger Voicebot
AI事業本部 / AI Shift

総発話数

360
技術タグ : 音声認識

万件

総通話数

52

万通話

ローンチからの

経過期間

3

年

自然言語処理 ヒューマンコンピュータインタラクションAI Messenger Voicebot は AI Shift が提供する、企業における電話業務の自動化を実現するプロダクトです。音声認識・対話戦略・
音声合成を組み合わせた音声対話サービスです。予約業務や夜間受付、あふれ呼応答など様々なシーンや多くの業種で利用されています。昨年は、GovTech 開発センターと連携して東京都多摩市様にコロナワクチン AI 電話エージェントの提供を行いまプロダクト紹介 AI 事業本部

Product introduction

した。

44

Member

使用している主な技術

Data Scientist : モデル構築、データ分析、産学連携など

Twilio, Python, Google Speech API, Dialogﬂow,FastAPI,

Software Engineer : ボイスボットのアプリケーション開発

GKE, VertexAI, 最適輸送 , TF-IDF, DPRを担当。

を行います。サーバーサイドエンジニアおよびフロントエンド

エンジニアが所属。

Sales: 新規顧客への営業を担当。

Business: カスタマーサクセスは既存顧客の成果最大化に責任を持つ。

Designer: ボイスボットのシナリオの設計、運用、コミュニケー

ション設計を担当。

Elasticsearch, BigQuery, gRPC, A/B testing, golang,Voicebot の要素技術

解決したい課題 / ユースケース

Voicebot は音声認識・対話戦略・音声合成の技術を組み合わせた音声対話システムです。" 音声認識 " では、ユーザの話した言葉をテキスト情報に変換し、対話戦略への入力として使用します。また、ユーザが話す範囲を判定する発話区間検出および終話判定や、ターンの制御を行うターンテイキングを行います。" 対話戦略 " ではユーザが話した言葉を元に意図理解を行い、ボイスボットが返す応答文の内容を決定します。ユーザの状況に応じてボイスボットがどのように伝えるかが対話全体の成功率 ( タス
ク完了率 ) に大きく影響を与えることが実験的にわかっています。" 音声合成 " ではボイスボットが返す応答文のテキストを音声に変換します。音声合成ではイントネーションの制御、話す速度 , 高低 , 大小の制御を行います。

音声認識と意図理解

解決したい課題 / ユースケース

ボイスボットが扱う「タスク指向対話」で最も重要になるのが、ユーザの話した内容を理解することです。ボイスボットが予約したい場所を尋ねた際に、ユーザが「豊洲です」という発話をした際に、ボイスボットは {"" 場所 "": "" 豊洲 ""} という内容でエンティ

ティの理解を行う必要があります。

通常このエンティティの理解を行うためには、音声認識 (Automatic Speech Recognition; ASR)→エンティティ認識 (Named
Entity Recognition; NER)→エンティティ紐付け (Entity Linking; EL) の順で行いますが、この手順では音声認識誤りが後続の処理に大きな影響を与えます。この問題に対処するためには、音声信号からエンティティ紐付けまでの一連の処理を End-to-Endで行う方法や、音声認識の結果のテキストに加えて、音響的な特徴も後続の処理に使う方法、音声認識にシーンに合わせたモデ

関連リンク

AI Shift TechBlog: https://www.ai-shift.co.jp/techblog
https://www.ai-shift.co.jp/publications

https://www.ai-messenger.jp/voicebot/news/367/

プロダクト紹介 AI 事業本部

ます。

Product introduction

ルを適用するなどの方法があります。精度高く意図理解を行うための研究を行っており、学会にも継続的にアウトプットをしてい45

Dynalyst

AI事業本部 / Dynalyst

1日のログ蓄積量

数TB/day

月間入札
リクエスト数

数千億req

秒間ML
モデル推論回数

数万pred/s

技術タグ : データマイニング 効果検証
Dynalyst はスマートフォン向けの主にリターゲティング広告を配信する、日本のトップセールスのアプリの中で高いシェアをもつ

プロダクトです。

リターゲティング広告では、一度アプリを起動して起動しなくなってしまったユーザを対象に、復帰を促す広告を配信しています。
データサイエンティストチームでは、常に複数の A/B テストを回し続けながらよりよい広告配信ロジックへと改善しています。

Member

使用している主な技術

Product Manager : プロダクト全体のマネジメント・ロー

Scala, Python, R, SQL, AWS, Snowﬂake, MySQL, redis,

Software Engineer : Scala を用いた配信システム開発

Multi-armed Bandit, A/B testing, causal inference

プロダクト紹介 AI 事業本部

Product introduction

ドマップ策定46

Data Scientist: デ ータ 分 析・立 案 や ML モ デ ル 作 成・

MLOps

Business: カビジネスプランの策定や顧客へのプロダクト説
明対応、配信管理など。

Designer: 配信広告画像・動画やテンプレートの作成

Docker, digdag, prefect, Datadog, Auction theory,広告クリエイティブの最適な出し分け
解決したい課題 / ユースケース

Dynalyst は多くの広告主と取引をしています。広告配信においては、広告クリエイティブとして動画や画像を配信していますが、ユーザーの興味を惹きつける効果の高いものを配信することが望ましいです、。しかし、これらのクリエイティブは、例えばアプリ
内で期間限定イベントがあればそのためのクリエイティブを新規に作って配信するなど、短い期間で効果のわからないものを上手く最適化しつつ配信する必要があります。A/B テストを行って効果を検証するといった方法が考えられますが、これにはサンプルサ

イズの問題や期間の問題、また効果の悪いものの配信量を多くしないといけないといった問題があります。これを解決するために、
Dynalyst では Bandit という手法を用いて広告クリエイティブ配信の最適化を行っています。これは探索と活用をバランス良く行う

ための手法で、AI Lab との連携を行いつつ最先端の手法を導入するなどしてより良く広告クリエイティブの出し分けを目指しています。

データサイエンティストの実験サイクル高速化
解決したい課題 / ユースケース

Dynalyst にはデータサイエンティストが多数在籍し、検証から本番実装までを自分たちで行っています。プロダクトの成長と共に人数が増えたデータサイエンティストの業務をスケールさせるために、実験基盤の整備が必要となりました。

データサイエンティストが少ない時は、検証は jupyter notebook で行い、本番リリースのために python と scala で学習ワーク

フローと推論処理の実装を行っていましたが、人数が増えるにつれ検証からリリースまでのボトルネックとなりました。この問題

に対し、共通の ML 基盤を作成することで、検証から本番実装までの工程が大幅に削減され、リリースまでの負担が減りました。

また、ML のワークフローツールに Digdag を用いていましたが、ML 基盤の開発が進むにつれ、柔軟な DAG の記述・ログ追跡・

複数モデルの学習並列化・CI/CD に限界を感じるようになりました。そこで、Prefect にワークフローツールを移行することで、Python で ML ワークフローを記述できるようなり、モデルの定期学習の管理負担が減りました。特に、ML に関わる処理をコンテナ化させることで、ローカル検証と本番との環境差がなくなり、データサイエンティストがインフラを気にせずモデル開発を行えるようになりました。

https://developers.cyberagent.co.jp/blog/archives/33310/
https://developers.cyberagent.co.jp/blog/archives/33921/

Product introduction

https://developers.cyberagent.co.jp/blog/archives/34628/

プロダクト紹介 AI 事業本部

関連リンク

47

小売アプリグロース / クーポン最適化
AI事業本部 / 小売 DX

アップリフト予測を活用した
クーポン配信

社内初
技術タグ : データマイニング 因果推論

効果検証

小売アプリ開発およびオンライン × オフラインデータを用いた 1to1 マーケティングを行うロジックを作っています。実店舗での購買データ、アプリログや店舗内サイネージデータなど様々なデータを活用して、アプリを起点としたシームレスな購買体験を目指しています。アップリフト予測に基づくクーポンターゲティング、購買情報を用いたレコメンドを始めとして、小売データを用

プロダクト紹介 AI 事業本部

Product introduction

いた予測技術や効果検証を強みとしています。

48

Member

使用している主な技術

Data Scientist: アプリ・購買・店内データを用いた、ア

Snowﬂake, Tableau, Python, R, Causal Inference（DID,

ML Engineer: 機械学習基盤の構築・運用による、ユーザ

Recommend & Search, Price Optimization, User

プリを起点としたグロースの実行。
への価値提供のスケール。

Data Engineer: データ基盤・パイプラインの構築 / 運用 / 改
善による、スケール可能で堅牢なデータガバナンス。

Product Manager: クライアントコミュニケーション、プロダ

クト開発戦略の立案と推進。

CausalImpact, RDD）, Uplift Modeling, A/B testing,Interview, UI/UX Design, Human-Centered Evaluation,
Mixed Methods

小売アプリを起点とした �to� マーケティング

解決したい課題 / ユースケース

テレビ CM や紙チラシを始めとして、旧来の小売マーケティングは不特定多数の人に同一の内容を訴求してきました。このようなマスマーケティングは多数のユーザにリーチできますが、ユーザの嗜好に合わせた訴求ができないという課題があります。

私達のチームではアプリ開発・データ基盤（CDP）構築・グロースを一気通貫行っています。先に述べた課題を解決するため、
デー

タ基盤に蓄積された購買データやアプリログデータを用いて、アプリを起点とした 1to1 マーケティングにより小売企業の売上・粗利の増加を実現します。

具体例として、アプリクーポンのパーソナライズ配信があります。ユーザの購買データとクーポン配信データを用いてクーポンによるアップリフトを予測し、ユーザ毎の予測スコアに基づいて配信クーポンをパーソナライズします。A/B テストを用いた実証実験
では、ターゲティング配信により数 10% の売上リフトを確認しました。

今後はデジタルチラシやクーポンの個別最適化を始めとして、店舗内外の複数メディア（LINE、アプリ、店内サイネージ、ビーコン等）を横断した 1to1 マーケティングを目指しています。

定量データ × 定性データを活用したグロース
解決したい課題 / ユースケース

小売アプリのユーザ層は老若男女と幅広く、利用する場面は店内・店外と多岐にわたります。そのため、ユーザの声を聞いてそのペインを整理した上で、アプリの UI/UX を考えることが重要だと考えています。

私達のチームでは、UI/UX デザイナーとデータサイエンティストが協力して、ユーザテストやワークショップといった定性調査とA/B テストやログ分析といった定量調査を組み合わせてプロダクト開発を行っています。このような定性・定量双方を用いた開発
手法は Mixed Methods とも呼ばれ、Spotify を始めとしたテック企業で導入され始めています。

具体例として、ユーザインタビューとログ分析を用いたアプリのモック開発があります。購買行動やアプリ内回遊が特徴的なユー

ザをログ分析から特定して、そのうち許可いただいたユーザにインタビューを行います。インタビューではアプリ利用・購買習慣に関する質問に回答してもらい、その他にもアプリの利用方法や言動・行動を観察します。このようなインタビューを通じて明らかとなったユーザのペインを議論して、プロダクトの開発に活かしています。

今後は、ユーザインタビューの構造化および知見を蓄積する仕組みを整備して、定量 × 定性に基づく開発プロセスのスケールを

https://ca-base-next.cyberagent.co.jp/2022/sessions/dx-data-science/https://ca-base-next.cyberagent.co.jp/2022/sessions/ds-for-app-coupon/

プロダクト紹介 AI 事業本部

関連リンク

Product introduction

目指しています。

49

小売デジタル広告
AI事業本部 / 小売 DX

小売企業の実世界データを活用した
デジタル広告プロダクト
技術タグ : 効果検証 データマイニング 屋内情報活用
小売企業の実世界データを活用したデジタル広告プロダクトを作っています。実店舗の POS データに加え、アプリ /EC のデータ

や店舗内ビーコンなどのデータなど、オンラインからオフラインまで横断したデータを活用し広告配信を実施します。買い替えサ

イクルや需要予測によるターゲティングや実データによる詳細な広告効果分析などが強みのプロダクトです。

Member

使用している主な技術

Product Manager: 事業計画と対応したプロダクト開発戦

Treasure Data, Python, R, Causal Inference（DID,

略 / データ活用戦略の立案とその推進

Data Scientist: 消費者や小売ドメインを深く理解するための探索的データ分析、因果推論による広告効果の推定や機械学習による配信ロジックの構築

Data Engineer: 購買データを用いた効果検証 / 分析をスケー

プロダクト紹介 AI 事業本部

Product introduction

ルさるため、A/B テスト基盤や ETL 作成を行います。

50

CausalImpact）, A/B testing , Ads Data Hub

広告効果を検出する難しさに向き合う
解決したい課題 / ユースケース

スーパーや家電量販店などの小売店で販売されている商品の売り上げを伸ばすことを目的としたインターネット広告プロダクトを作っています。

小売店の流通総額に比例し、広告市場も非常に大きくなります。例えば米 Walmart の広告部門は昨年比で 2 倍以上成長し 21
億ドルの売上です。日本でも小売店の流通総額の規模感を考えると大きな市場であることがわかります。

小売広告の鍵となるのが小売の購買履歴などのデータです。数年分の大量の購買データの活用が大きなインパクトを生むことは想像に難くないと思います。

データ活用方法は数多ありますが、ここでは、我々が広告事業を伸ばすために実は「広告効果検証」に力を入れている、ということを説明します。一見ごく当たり前に感じる効果検証ですが、POS データなどを使って広告の「因果効果」を計測し改善につなげることは非常に難しい課題です。

たとえば、因果効果をバイアスなく検証するためにランダム化比較試験（RCT）を正しく実施する必要があります。その上で非遵守問題により検出力が小さくなってしまうなど、効果を検出するにはいくつかの壁があることが学術面からも知られています。

こうした因果推論の知見を活用するべく、AI Lab 経済学チームとも連携した分析を行なっています。効果検出の壁を乗り越え、
どんな広告をどれくらいの頻度で誰に見せるべきか？と言った問いにデータで答えることから、消費財や小売の広告にとってのデー

タ価値の証明に向き合っていきます。

エンジニアリングで小売データ活用をスケールさせる
解決したい課題 / ユースケース

小売企業は企業活動を通じ利用価値の高いデータを大量に生成 / 収集しています。取得可能なデータとしては、実店舗での購買情報だけでなく、EC やアプリなどデジタルな世界での行動ログも含まれています。これらのデータは、より良い購買体験を作りや販促活動を効果的に行うことために活用されています。

現在我々が取り組んでいる広告プロダクトにおいても、様々なプロセスを通じて施策改善が行われています。（①可視化による消費行動の理解、発見。②仮説検証を通じた広告運用の改善。③KPI 改善のための機械学習による予測。）

プロダクトとしての成長をより加速させるために、
エンジニアリングを通じたデータ基盤の機能拡張をに取り組んでいます。例えば、
従来人手の運用になっていたパターン化されていた集計作業の自動化や A/B テスト基盤の実装による効果検証の常態化を行いました。これらの開発によって、改善サイクル自体を早めるだけでなく、より本質的な分析に集中できる環境作りを進めています

我々のチームでは、人が使いやすいデータ基盤にとどまらず、A/B テストのスケールや知見発見の自動化に必要な機能を設計 /開発しています。データ基盤が「稼いでいる」状態を目指して日々の開発を進めていきます。
https://www.cyberagent.co.jp/news/detail/id=26012

Product introduction

https://www.cyberagent.co.jp/news/detail/id=25102

プロダクト紹介 AI 事業本部

関連リンク

51

CA スマート POP
AI事業本部 / 小売 DX

小売 DX を支援する、店舗のビーコン・NFC タグ・QR コードと連動した自社アプリへのコンテンツ配信ツール
技術タグ : 屋内情報活用

効果検証「CA スマート POP」は，小売店舗向けのビーコン・NFC タグ・QR コードと連動した自社アプリへのコンテンツ配信が可能となる運用型ビーコン・NFC 活用ツールです．近年，利便性の向上や多様化した購買行動への対応，プラットフォームの一元化によるデータの利活用などの重要性が増しています．この背景に対し，本プロダクトでは，小売企業における店舗に来店したユー
ザーへの顧客接点のデジタル化を実現しています．

Member

使用している主な技術

Backend Engineer: 実店舗の計測をトリガーとした大量

Go,Swift,Kotlin,Python,React,Next.js,TypeScript,Terraf

Software Engineer: ビ ー コ ン・NFC・QR と 連 動 し た

beacon,NFC,QRの広告リクエストの捌ききるサーバの構築
Android/iOS の SDK の開発

Data Scientist: 実世界センシングデータから顧客行動情報の

データ分析

Web Engineer: 利用しやすい管理者画面の構築

プロダクト紹介 AI 事業本部

Product introduction

Product Manager: プロダクト戦略の立案・決定と法人営業

52

o r m , A WS , C o g n i to, S n ow ﬂ a ke , A n d ro i d , i O S , B L E

小売店舗の DX を推進するデジタル接点と SDK
解決したい課題 / ユースケース

現在，様々な業界での DX が推進され，小売業界においても自社アプリが多く導入され，データ活用の試みが始まっています．
小売業界の特徴として，実店舗を全国で持ち，お客様と実店舗でのインタラクションが存在することが挙げられます．現在，この

実店舗でのアナログなインタラクションをデジタルなデータにするという課題解決が発展途上にあり，さらにその先の実店舗での購買行動の分析・活用までほとんど進んでいません．

CA スマート POP では，これらの課題に対し，自社アプリに対して SDK を導入するだけで，実店舗でのデジタルなインタラクショ

ンを可能します．SDK の導入により，実店舗に BLE Beacon・NFC・QR を用いたデジタル接点を作成すれば，その接点と簡単に接合し店内行動のデータ化と，そのデータに基づいて広告など 1to1 でコンテンツ配信が可能となります．

現在，導入企業を増やし，広告商品としての価値の向上，および，データの収集による実店舗版計測が進んでいます．並行して，

デジタルサイネージ，NFC，QR のより効果的な活用で実現する，デジタル接点の拡充にも現在注力しています．現在の取り組みを基点として，実店舗でのお客様との 1 to 1 のコンテンツ配信にとどまらない，デジタルなインタラクションによる新しい体験の創出から，実店舗のデータ分析・可視化・運用までを一気通貫で実現するプロダクトへの成長を目指し，小売業界に新しいお買い物体験を創出します．

導入企業数に対してスケールするデータベースの負荷対策
解決したい課題 / ユースケース

CA スマート POP では，データベースの負荷対策が課題となっています．世の中には無数に BLE beacon が存在していて，常にBLE 信号を発しています．アプリに導入された SmartPOP SDK は店舗に置かれた本プロダクト専用ののビーコンの信号をキャッ

チすると，サーバーと通信を行います．

現在，導入企業を増やす取り組みを進めていますが，今後さらに導入店舗が増えていくと，店舗に置かれるビーコンの数と SDKを導入するアプリが増えていき，指数関数的にサーバーへのリクエスト数が増加していきます．運用を行なっているアプリケーショ

ンサーバーはスケールアウトできる構成にしているため，リクエスト数が増加しても対応が可能な構成にしています．

しかし，
データベースは primary とsecondary それぞれ 1 台ずつの構成で運用しており，primary DB については現在スケールアップしか選択できない状況になっているため，単一障害点となってしまっています．今後のサーバー負荷増加を予測して，データベー
ス自体の切り替えも視野に入れながら対応していく必要が出てきている状況です．

そのため，これから私たちのサービスに適した分散データベースを模索するところから始めていき，より頑健なサーバー構成を目指します．

Product introduction

https://www.cyberagent.co.jp/news/detail/id=25615

プロダクト紹介 AI 事業本部

関連リンク

53

位置データ BI プロジェクト
AI事業本部 / 小売 DX

位置情報、POS データを利用した小売の PDCA サイクルを加速させるツールの開発

累計位置情報
データ量

4,500
技術タグ : 位置情報

立ち上げから

3

万

ヶ月

効果検証

アプリ運用センター位置データ BI プロジェクトは、小売が持つ 1st party データである POS データと GPS から取得したスマートフォンの位置情報データ ( 個人情報には紐付かない形で ) を利用し、小売の PDCA サイクルを加速させるツールの提供を目指す

新規プロジェクトです。POS データと位置情報データを駆使することで、新しい視点での課題発見、施策の効果検証まで一気通

プロダクト紹介 AI 事業本部

Product introduction

貫して実現していきます。

54

Member

使用している主な技術

Sales/Business : 事業責任者、営業

Python, Tableau, Snowﬂake, JupyterLab, QGIS, GPS,

Data Scientist: 位置情報、POS データの分析、施策の効果検証、

ツールの開発。

AWS

新規店舗出店支援ツール
解決したい課題 / ユースケース

多くの小売企業では、事業成長の一環として、新規店舗の出店による売上増加を目指しています。一方で、新規店舗の出店は、小売企業にとって大きな意思決定になります。出店後の売上の見積もりと、出店にかかるコストとを比較して、利益が最大化される出店地を選びます。

出店地の決定までには、多くの情報を加味した出店戦略が立てられることが一般的です。例えば、出店候補地の周辺エリアに居住する顧客属性や、競合店舗の有無、類似店舗の売上など、様々な角度から情報を収集します。

私たちのプロジェクトでは、スマートフォンから取得した位置情報データを用い、出店戦略の一助となる情報の提供を目指しています。例えば、出店候補地での人流変化を捉えることで、日々の通行量が多いエリアを抽出することが可能になります。

また、私たちは位置情報データに加え、日本全国の POI データベースを保有しております。位置情報データと POI データから、
特定の地点への来店を判定する予測モデルを適用することで、任意の地点への来店数を計測することが可能です。これを用いて、出店候補エリア内での近隣店舗への来店状況や、競合店舗への来店状況など、小売企業がもつ 1st party 単体では見えない情報の提供を目指しています。

さらに、新規店舗出店後の販促補助も目指しています。例えば、新規出店により人流変化がどのように変わったのかや、来店が少ないエリアの特定などを通じて、小売企業と二人三脚で新規店舗の売上向上を目指しています。

POS データ分析ツール
解決したい課題 / ユースケース

小売が持つ ID-POS は、顧客がいつ、どの商品を購入したのかがわかるため、現場レベルの意思決定から経営レベルの意思決定まで幅広く利活用されています。例えば、販売促進のためのチラシ施策やクーポン施策、在庫管理のための需要予測など、今では必要不可欠なデータの１つと言っても過言ではありません。私たちが持っている位置データは、自店舗に訪れた顧客の店舗外の行動や、店舗に来店したことのない潜在顧客に対する示唆を与えることが可能です。位置データと ID-POS を組み合わせることで、今まで顧客の購買行動だけでは説明することの難しかった課題の解釈をできる可能性を秘めていると考えています。さらに、これらのデータから得られた課題に対して打つべき施策の立案、施策の効果検証まで一気通貫してできる世界を作ることができれば、小売業のさらなる発展に貢献できると信じています。私たちは ID-POS データ × 位置データを利用した、新しい意思

プロダクト紹介 AI 事業本部

Product introduction

決定サイクルを提供できるツールの開発を目指しています。

55

ミライネージ
AI事業本部

広告在庫数
月間

8.2

約
技術タグ : 組合せ最適化

imp

億

効果検証 データマイニング

ミライネージは小売店舗内のサイネージ広告プラットフォームで、提携している小売事業者のオフライン店舗にサイネージを設置

し、静止画・動画広告を配信することができます。販売促進および商品認知に繋がる「店舗メディア」の確立を目指しており、店舗内ユーザー行動の計測や広告効果分析に基づいた配信運用を強みとしています。

Member

使用している主な技術

Data Scientist : データ分析・配信ロジックの検証および実Snowﬂake, Tableau, AWS(ECS Fargate, RDS, Lambda,

Software Engineer: サーバーサイド開発・管理画面開発・

CausalImpact), 組み合わせ最適化 ( 線形整数計画法 ), 統

プロダクト紹介 AI 事業本部

Product introduction

装56

android アプリ開発

Product Manager: プロダクト全体のマネージメント・

ロードマップ作成

Business: ビジネスプランの策定・配信管理・ビジネス用件をまとめる

Sage Maker, IoT, etc), scala, python, 因 果 推 論 (DiD,計モデル

店舗内計測と効果測定解決したい課題 / ユースケース

インターネット広告とは異なりオフライン店舗におけるユーザー行動は計測が困難です。商品の購買は ID-PoS に記録されている一方で、来店・店舗巡回・広告視聴など購買に至るまでの行動データを取得するためには各種センサーを店舗内に設置して計測を行う必要があります。以前は店舗内計測には高価な機材が必要でしたが、近年の IoT の進展に伴い安価に様々な行動デー

タを取得できるようになってきました。

私たちは AI カメラをサイネージ付近に設置し、サイネージ前を通る人の広告視聴の有無やユーザー属性（年齢・性別）を測定しています。配信しているクリエイティブごとに視聴時間やユーザー属性を集計・比較することで、よく見られる傾向にあるクリエ
イティブや見られやすいユーザー属性を明らかにし、配信の改善に活用しています。

AI カメラ以外にも、店舗内の商品陳列だなに重量センサーを設置し商品取得を検出する試みや、ビーコンを使って店舗内巡回デー

タを取得する試みがあります。

広告配信最適化
解決したい課題 / ユースケース

広告は案件ごとにリーチしたいユーザー象があります。例えば、洗濯用洗剤であれば主婦層に、エナジードリンクであれば働き盛りの若年～中年が広告を打つべき対象となるでしょう。また、小売店舗では時間帯や店舗によって来店客層が大きく異なることがよく知られています。ID-PoS を分析することで様々な角度から来店客層の違いを把握することができ、広告を来店客層に合わせて配信することができます。簡単な例だと、朝・昼・夕・夜の四つの時間帯ごとに配信する広告を出し分けることができそうです。

このような配信の出し分けをより細かい粒度で適切に行うことができれば、リーチ効率はさらによくなることが想像できます。私たちは、①店舗②日付③時間 の三つの軸で分けられた広告枠を定義し、それぞれの広告枠に配信する広告の頻度を組み合わせ最適化問題として定式化することで広告配信効率を高める取り組みをしています。組み合わせ最適化はビジネス上の多数の制約条件を数学的に表現しながら、現実的な時間で計算が終わるように実装する必要があります。ビジネス上の制約とは、例えば広告主あたりの配信回数や特定の広告主だけに利得が偏らないようにする、などになります。組み合わせ最適化は最適化対象が多くなると急激に計算時間がかかることが知られており、計算時間が増えすぎないようにすることも大切です。多数の店舗の配信

プロダクト紹介 AI 事業本部

Product introduction

状況を同時に最適化する場合などは最適化の精度を落とさずに近似的に解くための工夫が必要になります。

57

データワン

AI事業本部 / AI Lab

ログにある売上総額

数兆円（年）

技術タグ : データマイニング 効果検証
小売業界の DX 化のアプローチの一手として４社合弁の会社でプロダクトの開発をしています。

年間 3 兆円の大規模な流通小売の購買データとキャリアデータを掛け合わせることで、膨大なユーザ数を捕捉できるデジタルマー

ケティングのプラットフォームを構築します。

こういったデータを扱う会社は日本でもほとんどないため、引き合いも多く、これからどう成果を出していくかが問われるチャレ

プロダクト紹介 AI 事業本部

Product introduction

ンジングなマーケットです。

58

Member

使用している主な技術

Product Manager : システム要件定義・開発進捗のマネ

AWS (ECS-fargate, RDS Aurora, Lambda SageMaker,

Data Scientist: データサイエンス観点からのシステム設

testing, python

ジメント

計・各種アルゴリズムの検証・実装

Backend Engineer : システム設計・実装

etc...), uplift modeling, CTR/CVR prediction, A/B

購買をリフトさせる広告配信

解決したい課題 / ユースケース

今まで旧アドテク本部の主要取引先であったスマホゲームや EC などのネットサービスからオフラインの小売業界に踏み込みにあたって、そのオンラインマーケティング上の最重要課題は「購買をどうリフトさせるか」です。広告における購買リフトとは、広告をあてなかった場合と比較して広告を当てた場合にどれだけ購買（確率）が増えたかを意味します。AI 事業本部や AI Lab では、
広告配信 x リフトの研究が行われてきました。そこで貯まった知見を用いたり、新たに生まれる課題を定義してうまく解きながら、購買をリフトさせる広告配信アルゴリズムを追求していきます。そのアルゴリズムは、日本では大きな成功事例のない小売のオンライン広告マーケティングの成功の鍵を握っています。

O�O(Online to Oﬄine) 広告配信のための DMP(Data Management Platform)
解決したい課題 / ユースケース

ターゲティング広告配信において「いかにユーザが求める広告を配信できるか」はユーザ、広告主双方にとって重要な課題の一つとなっています。特に O2O 広告配信においては会員情報のようなユーザに提示された属性だけでなく、購買履歴などの行動ログから適切な属性を見いだせるかが解決のための鍵です。例えばとある商品の「こだわり」のような一般的には曖昧で定性的な指標をデータから定量的に定義することでユーザの好みに沿った効果の高い広告配信に繋げられると考えています。このように膨大な量の POS データをただ保存するだけではなく、サービスにとって価値のある情報を提供できるような DMP の構築を目指して

プロダクト紹介 AI 事業本部

Product introduction

います。

59

MG-DX

AI事業本部

立ち上げからの期間

2

年

導入店舗

1000

2040年までに目指す時価総額

店舗以上

1

兆円

技術タグ : 効果検証 データマイニング 行動経済学
MG-DX は処方薬情報・服薬指導情報など医療・医薬特有のデータと機械学習や統計を活用して、医療機関・薬局 / ドラッグス

トアのオンライ化・次世代化の支援や新しい価値の提供を目指すプロダクトです。オンライン診療・オンライン服薬指導・処方

箋事前送信・お薬手帳等の機能を備えた「薬急便」というサービスをWeb・App(iOS/Android)・LINEミニアプリといった各種プラップロダクト紹介 AI 事業本部

Product introduction

トフォームで提供しています。

60

Member

使用している主な技術

Data Scientist : データ分析、機械学習モデル構築、サー

Python, R, BigQuery, MySQL, Vertex AI, Terraform, A/B

Backend Engineer: バックエンド開発、サービス設計

Access Analysis, Text Analysis, Speech to Text, Speech

ビス設計などFrontend Engineer : フロント開発、サービス設計

Designer : 自社サービスの UI デザイン設計、サービス設計

Business : 営業、広報、サービス設計など

testing, Treatment Eﬀect, OCR, Sudachi, Vision API,
Analysis, Sentiment Analysis

オンライン診療・服薬指導中の患者の表情・音声解析による理解度と感情の可視化

解決したい課題 / ユースケース

MG-DX では患者と薬剤師のコミュニケーションを円滑にする様々な機能の提供を目指しています。薬局業務の 1 つに「服薬指導」という、薬剤師から患者への情報（薬の飲むタイミング、飲む際の注意点 etc.）提供や患者から薬剤師への相談が行われるプロセスがあります。服薬指導の際、患者が満足する服薬指導をできているか（e.g. 薬剤師の説明した内容を患者がしっかり理解できているか）を薬剤師に対し定量的に可視化することでより満足度の高い服薬指導が実現できると考えられます。

上で述べた内容実現のために表情解析（画像解析）や音声解析の技術に注目しています。MG-DX が提供する「薬急便」ではオンライン上で服薬指導を行うため服薬指導時の音声データや画像データを取得することが可能です。（患者のプライバシーを考慮して）そのデータと表情・音声解析の技術を掛け合わせることで、薬剤師の説明内容に対する患者の理解度や不安などの感情の可視化の実現を目指します。また、可視化情報を用いて理解度向上や不安改善を目的とした薬剤師への会話内容のサジェ

ストにも取り組みたいと考えています。

ナッジ理論を活用した服薬期間中患者のフォローアップの検証

解決したい課題 / ユースケース

2022 年 9 月 1 日の改正医薬品医療機器等法（通称：薬機法）の施行により、薬剤師が調剤した薬剤の使用期間中に必要に応じて、患者のフォローアップ（薬剤の使用の状況を継続的かつ的確に把握する）を行うことが義務化されました。

この問題に対処するために、MG-DX ではサービスの 1 機能として、処方後に服薬情報をアンケート形式で確認するシステムを提供しています。その際アンケートに回答してくれる患者の数を増やすことが重要になります。アンケートへの回答患者数増加の論を活用したメッセージは複数パターン作成することが可能ですが、患者の特性（e.g. 年齢、症状）毎に最も効果のあるメッセー
ジは変化すると考えられます。それに対処するための、介入効果（ここでは、メッセージ毎の回答患者数の違い）を考慮した機械学習モデルの構築も注目しているトピックの 1 つです。

プロダクト紹介 AI 事業本部

活用し、多額の金銭的な報酬を用いずに、その人がより良い行動を取るように促す」ことを目的とする理論です。また、ナッジ理

Product introduction

ために、MG-DX ではナッジ理論の活用に注目しています。ナッジ理論は行動経済学の理論の 1 つであり、「人の意思決定の癖を

61

センサス AI

AI事業本部 / 行政 DX / GovTech

判別精度

90

%
以上

検出区分

8

区分
以上

映像時間

5000
時間以上
(2022/6/30 時点 )技術タグ : 画像処理 ニューラルネット
高精度な画像認識 AI を使用した交通量調査サービスです。

これまで、交通量調査や人流計測は調査員が手動でカウントしていましたが、調査員の人手不足により、AI を活用した交通量解析のニーズが高まっています。また、AI 解析の活用により、常設カメラを活用したリアルタイムな計測も可能になり、

プロダクト紹介 AI 事業本部

Product introduction

スマートシティ整備において重要なタイムリーな交通量データ取得へとつながることが期待されています。

62

Member

使用している主な技術

Product Manager: ビジネスプランの策定、プロダクト全P y t h o n , C + + , O p e n C V, M u l t i O b j e c t Tra c k i n g ,ML Engineer: アーキテクチャや技術の選定、モデル開発 /Greengrass/Kinesis/Cognito/DynamoDB),

Business: 全国の自治体への提案と課題収集

Image E n han ce me n t , ク ラ ウ ド コ ン ピ ュ ー テ ィ ン

体のマネジメント・ロードマップ策定

検証、クラウド / エッジシステムの構築

Researcher: 国内外の最新事例の技術調査

Data Management: 膨大なデータの管理、アノテーション

ルール制定、アノテーション実施、データ分析

O N N X , AWS(S3/ S a g e M a k e r / E C R / A m p l i f y / I oTReact, DeNoise, DeRain, DeHaze, Low-Lightグ , エッジコンピューティング柔軟性と安心性の高いシステム
解決したい課題 / ユースケース

自治体などでの運用・導入においては、各自治体が利用しているカメラごとの仕様の違いによる導入ハードルやネットワーク環境、セキュリティなどのハードルがありました。
そのため、以下に対応した開発を進めています。

・どのカメラでも対応可能
・豊富な処理方式

・国内サーバーを使用したサーバー処理型
・エッジ端末を使用したエッジ処理型

・外部記憶装置（SD カード等）受け渡しでの動画解析

・ISO27001 準拠

高精度な検出 AI

解決したい課題 / ユースケース

交通量解析は屋外での観測が中心となり、理想的な位置にカメラを設置できなかったり、外的要因（昼夜、天候など）による計測精度の低下が問題となります。

センサス AI は、あえて過酷な設置状況や昼夜、天候を想定し、データを収集しながら試行錯誤を繰り返し、AI の改善を続けています。

また、カメラを活用した道路保全・管理に向けた異常検出や環境状態検出にも取り組み、カメラの有効性の幅を広げています。

Product introduction

https://www.cyberagent.co.jp/news/detail/id=27542

プロダクト紹介 AI 事業本部

関連リンク

63

ロボットサービス事業部
AI事業本部 / ロボットサービス事業部

取り扱ったロボットの種類

9

実証実験の
実施回数

12

実社会でロボットと人間をインタラクションさせた累積時間

600 時間以上

技術タグ : ヒューマンコンピュータインタラクション 屋内情報活用
大阪大学石黒研との共同研究講座で研究を進めているチームと連携しながら、人型ロボットを始めとする対話エージェントを活用した接客等のソリューションをゼロから開発しています。

人とロボットがインタラクションする際の体験デザインを重視しており、試作と検証を何度も繰り返すため、採用する技術はエコ

プロダクト紹介 AI 事業本部

Product introduction

システムの恩恵を受けやすい・プロトタイプを開発するまでのスピード感を出しやすいもの、という軸で選定しています。

64

Member

使用している主な技術

Product Manager: 実証実験の協力パートナーの開拓や、Docker, Next.js, Ruby on Rails, TypeScript, Ruby,

ニアリング以外の領域を幅広くカバーしています。

Electron, Twilio, SkyWay, AWS(Am p lify/S3/Athena/

事業戦略・KPI 設計、要件定義や UI/UX 設計などエンジ
Multistack Engineer : ロボットプロダクト開発は総合格

闘技と言っても過言ではなく、ハードウェアからソフトウェ

アまで一通りのレイヤの開発を基本的に 2 人で回しています。

Python,C#, Kotlin, OpenVINO, OpenCV, Unity,Blender,
KinesisFirehose/Lambda/CloudWatch), GCP(GAE), RealSense, Arduino, M5Stack, Raspberr y
Pi, Pepper, RoBoHoN, Sota

人の特徴・行動をセンシングし、接客内容をリアルタイムにアップデートする
解決したい課題 / ユースケース

ロボットとの接客体験をより向上させる上で、周囲の状況や接客相手の反応を捉えながらインタラクションを設計する必要があります。これを実現する上で、様々なセンシング技術の活用が鍵となってきます。現状においても、カメラやソナーを用いた人物検出によって周囲にいる人にロボットが声をかけたり、近寄ってきた人に振り向くなどといった動作を実現していますが、まだまだ初歩的でありやりたいことがたくさんあります。

将来的には個人単位での識別、行動追跡などを低コスト・低レイテンシーで実現し、その人と会うのは何度目か？何を好む人なのか？など、知り得た情報から接客内容をアップデートする仕組みを作りこむことで、「人々から信頼を獲得し続けるエージェント」を目指していきます。

ロボットの接客がもたらした効果の計測
解決したい課題 / ユースケース

接客ロボットの価値を示す上で効果検証は欠かせません。例えば商品の販促を行うロボットであれば商品の購買データはもちろん必要ですが、接客した内容や接客後の人物がとった行動などとの因果関係の説明が必要になってきます。こちらにおいてもセンシング技術が重要な要素になり、どのようなデータを計測するか、計測したデータをどのように組み合わせて分析していくかを考えねばなりません。

計測データの取捨選択および様々なメトリクスでの分析はオンラインマーケティングでも行われていることですが、オフライン領域

プロダクト紹介 AI 事業本部

Product introduction

ならではの変数や計測方法が存在し、困難も孕みますが取り組みがいのある領域です。

65

接客対話プロジェクト
AI事業本部 / AI Lab

累計論文採択

32

件

累計フィールド
実験

42

累計接客効果事例件

技術タグ : ヒューマンコンピュータインタラクション 画像処理

8

件

自然言語処理対話エージェント（ロボット、チャットボット、バーチャルエージェント）による接客対話の研究プロジェクトで、「人が信頼したくなる対話エージェントの実現」を目標に、対話システム・遠隔操作システム・状況認識器・インタラクション研究等の研究テー

マに取り組んでいます。小売店舗や公共空間、WEB サイト等の実フィールドでの実験によって、商業的に活躍できる実用的な対プロダクト紹介 AI 事業本部

Product introduction

話エージェントの実現を目指しています。

66

Member

使用している主な技術

Research Scientist: 研究課題抽出、データ収集、データ

Python, Tensorﬂow, PyTorch, GCP, Javascript ,分析、アルゴリズム立案、システム実装、実験評価レポート、
PoC 実装、外部成果発表、共同研究折衝、事業技術相談

Research Engineer: 実装課題立案、アルゴリズム・システ

ム実装、実験評価レポート、PoC 実装、事業技術相談

Electron, Arduino, Rasberry Pi, Java, Robots

アバターロボットを用いた遠隔対話技術の研究開発

解決したい課題 / ユースケース

労働力人口の減少や都市への人口集中が問題になっている現代において、働きたい人が時間や場所に縛られずにどこからでも、

インターネットにつながる自分の PC やタブレットを使って、ロボットを通して接客業務に従事することのできる遠隔対話ロボットシ

ステムを開発しています。

2020 年 9 月からは内閣府が主導するムーンショット研究開発型事業において、誰もが自在に活躍できるアバター共生社会の実現を目指し、石黒浩教授がプロジェクトマネージャーを務めるプロジェクトに参画し、様々な企業・フィールド（小売店舗・アミュー

ズメント施設・保育教育施設・公共交通機関 等）と連携し実証実験を実施しています。

ホテルでのおもてなし対話ロボット

解決したい課題 / ユースケース

本研究は、東急不動産グループ様のご協力のもと、長時間にわたる対話可能なシーンにおいて、破綻なく自律的に会話・サービ

ス提供ができる対話システムの研究開発や、ロボットが利用客と調和的に関わり合うインタラクションの研究を進めています。タ
スク指向型対話と雑談対話を組み合わせ、顧客体験とサービス提供の両方を実現する対話システムの実現を目指しています。
https://cyberagent.ai/ailab/research/hci/

https://www.cyberagent.co.jp/news/detail/id=24939

Product introduction

https://www.cyberagent.co.jp/news/detail/id=27780

プロダクト紹介 AI 事業本部

関連リンク

67

ベクタグラフィックス研究開発

AI事業本部 / AI LabICCV 2021採択

2

件

産学連携

3

件

技術タグ : 画像処理 ニューラルネット

Member

使用している主な技術

Research Scientist: 研究課題抽出、データ収集、データ

Python, Tensorﬂow, PyTorch, BigQuery, Apache Beam,

分析、アルゴリズム立案、実験評価レポート、PoC 実装、

プロダクト紹介 AI 事業本部

Product introduction

外部成果発表、共同研究折衝、事業技術相談

68

GCP AI Platform, AWS SageMaker

テキストのベクタ再構成

解決したい課題 / ユースケース

この研究プロジェクトではラスタ画像に写るテキストの再ベクタ化に取り組みました。ラスタ画像では全てがピクセルのドット絵で表現されているため解像度が固定で再編集ができないため、既存のデザインを再利用することが困難でした。我々は深層学習を用いて、描かれたテキストの認識、色彩やエフェクトなどのスタイリング情報の抽出、そして隠れてしまった背景画像の推定を同時にこなすことで、ラスタ画像のテキストを再編集可能なベクタ画像として再構成する手法を開発しました。我々の手法では与えられた画像に対し、テキストの認識、スタイルの認識、背景の推定の初期値を推定するモジュールと、ベクタ画像として再描画した画像を入力画像に近づけるフィードバックモジュールの二つから構成されています。書籍表紙と広告バナー画像を対象とした評

価ではラスタ画像でテキスト編集をする既存手法に比べて遜色ない品質をベクタ画像で達成しました。本研究の成果は「フィード自動承認 AI サービス」にて活用されており、ラスタ画像に写るプロモーションテキストを自動的に削除することで広告審査基準に適合するバナー画像を自動で制作することが可能となりました。

デザインテンプレートの自動生成

解決したい課題 / ユースケース

画像をピクセルの集合として表現するラスタ形式に対し、SVG や PDF のように画像をシェイプ、テキストなどの要素の集合として表現するベクタ形式を対象とした画像生成手法はこれまで研究事例があまり見られませんでした。この研究プロジェクトではベク

タ形式の画像を直接出力する機械学習モデルの開発に取り組みました。ベクタ形式の画像は要素の集合からなるドキュメントと見なすことができるため、この研究では要素集合を多数のモダリティからなるシーケンスデータと見做し、これを低次元空間に埋テンプレートについて本手法はまだまだ品質面で改善の余地があるものの、グラフィックデザインの自動生成に向けた大きな一歩である他、将来的な品質改善によってクリエイティブ制作のワークフローを大きく変える可能性が期待されます。

関連リンク

https://www.cyberagent.co.jp/news/detail/id=26584
https://www.cyberagent.co.jp/news/detail/id=26583

https://cadc.cyberagent.co.jp/2022/program/research-on-creative-generation/

プロダクト紹介 AI 事業本部

トのデータで評価し、本手法によりベクタ形式の画像の再構成と生成が原理的にできることを実証しました。生成されるデザイン

Product introduction

め込んで再構成するような VAE と呼ばれるモデルを構築しました。Web から収集したグラフィックデザインとアプリ UI のレイアウ

69

音声研究開発
AI事業本部 / AI Lab

音声合成・声質変換・音声認識を始めとする音声のコア技術をスクラッチで研究・整備

社内収録データ

10

万発語
以上

技術タグ : 音声合成

音声認識

外部購入の
商用可能データ

600

時間
以上

産学連携

2

件

自然言語処理デジタルツインレーベルや極 AI 向けの音声合成モデルを作ったり、AI Shift と連携して電話向けの音声認識や音声合成のモデルを作ったりしています。デジタルツインでは著名人の再現に注力し、極 AI 向けでは多様な声を作ることに注力しています。音声
認識では、外部サービスにない「仮名認識」や、案件特化の言語モデルを作っているほか、汎用音声認識の精度向上や、軽量

プロダクト紹介 AI 事業本部

Product introduction

なストリーミング認識などにも取り組んでいます。

70

Member

使用している主な技術

Research Scientist: 研究課題抽出、データ収集、データ

Python, C++, Go, Rust, Tensorﬂow, PyTorch, JAX,

分析、アルゴリズム立案、システム実装、実験評価レポート、
PoC 実装、外部成果発表、共同研究折衝、事業技術相談

ONNX, GCP, AWS SageMaker, JavaScriptデジタルツインレーベルの音声合成
解決したい課題 / ユースケース

デジタルツインレーベルでは、著名人の 3DCG モデルを制作し、本人の稼働を割かずに新たな映像を作ったり、活動したりできるようになります。その 3DCG モデルが本人らしく喋ることで、より魂のこもった表現が可能になります。これまでの音声合成では、プロの声優に非常に細かい指示を出しつつ大規模な収録を行っていましたが、著名人の収録ではそのような収録が難しい場合があります。限られたデータで安定した発話を実現しつつ、著名人独特のスタイルの再現度を高めるため、様々な要素技術を開発しています。その一つには、アクセントの正確な制御を可能にする機械学習の条件付けの工夫があります。それに合わせ、収録

音声のアクセントを音声から推論する手法も提案し、効率化を実現しています。また、台本通りに読めなかったり、音声合成のために収録したわけではない発話を学習データに使うために、独自の音声認識手法も活用しています。さらに、発話安定性と品質、制御性能、データ効率を高める転移学習の工夫も行っています。社内外の 150 人以上から収録した音声データを始め、データ整備も進めています。

自動電話応対向けの音声認識と音声合成と対話システム
解決したい課題 / ユースケース

AI Shift では、コロナワクチンの自動予約受付や道路交通情報サービスなど、様々な案件の電話自動応対システムを提供しています。汎用音声認識では対処の難しい、人名や地名に特化した認識手法をAI Shift の ML/DSチームと協力して作りました。例えば、音に忠実な仮名認識モデルを作って汎用音声認識と併用することで、読みを手がかりに候補を絞り込んで認識精度を高めています。また、特定の地域の地名が発話されると予めわかる状況では、読みの音素列と予め用意した地名の音素列との類似度を利用して EntityLinking を行ったりしています。電話音声では様々なマイク、環境、コーデックなどに起因する音の歪みが激しく、通常の音声認識モデルでは子音などの認識が難しいことから、文脈に応じた賢い補正に挑戦する余地があります。
https://www.cyberagent.co.jp/news/detail/id=26503
https://www.cyberagent.co.jp/news/detail/id=25849

Product introduction

https://www.cyberagent.co.jp/news/detail/id=26776

プロダクト紹介 AI 事業本部

関連リンク

71

遅れCVプロジェクト
AI事業本部 / Dynalyst + AILab

技術タグ : データマイニング 効果検証
遅れ CV プロジェクトは Dynalyst と AILab で行われた共同研究プロジェクトの１つで、正解ラベルの観測遅延によって発生する

ミスラベルが予測性能に与える悪影響への対処方法を提案しています。

Member

使用している主な技術

Research Scientist : 研究内容のプラダクトへの応用可能

Python, R, FFM, LibFFM, A/B testing, causal inference

性や研究全体のマネジメントを行う

Data Scientist : 実プロダクトでの実装や A/B テストを担当

プロダクト紹介 AI 事業本部

Product introduction

Software Engineer: 実プロダクトでの実装支援

72

遅れ CV の問題
解決したい課題 / ユースケース

広告配信ではユーザーの購買やログインといった広告主にとって価値のあるアクションの予測を行うことが、広告オークションにおける入札戦力の観点から重要だと知られています。しかし、これらのユーザーの行動は予測モデルを学習している時点では発生していないケースがあります。この場合、本来購買 / ログインするユーザーをしないユーザーとしてしまうため、過小な予測をおこなってしまいます。

遅れ CV プロジェクトでは AILab と Dynalyst で共同研究を行い、この問題に対する改善策を研究してきました。2020 年には因果推論のアプローチを応用した研究成果が The Web Conference(WWW) に採択され、2022 年には PULearning で使われるアプローチを応用した論文が Knowledge, Discovery and Data Mining(KDD) に採択されました。
https://developers.cyberagent.co.jp/blog/archives/33310/
https://developers.cyberagent.co.jp/blog/archives/33921/

Product introduction

https://developers.cyberagent.co.jp/blog/archives/34628/

プロダクト紹介 AI 事業本部

関連リンク

73

文脈付きバンディット
AI事業本部 / Dynalyst + AILab

改善したCTR

数%

採択された
ICMLの採択率

22%

技術タグ : データマイニング 強化学習
Dynalyst において配信される広告クリエイティブの選択ロジックを最適化することを目指す Dynalyst と AI Lab の共同研究プロジェクトです。ユーザー情報や時間帯など、様々な文脈情報を加味してクリエイティブを選択するバンディットアルゴリズムを開発することで、そのときその人に最適な広告クリエイティブを選択することを可能とします。

Member

使用している主な技術

Research Scientist : アルゴリズム開発・性能検証・プロ

contextual bandit, Lasso, causal inference, Python,

プロダクト紹介 AI 事業本部

Product introduction

ダクト実装・A/B テスト実施・論文執筆

74

Data Scientist: プロダクト全体のマネジメント・アルゴリズムのレビュー

Software Engineer: 実プロダクトでの実装支援

Scala, scipy, A/B testing大量の文脈情報を加味した広告クリエイティブ選択
解決したい課題 / ユースケース

広告配信では、CTR や CVR などの指標が高い広告クリエイティブをユーザーに対して提示することが重要となります。

このとき，時間帯・ユーザーが利用している OS などをはじめとする文脈情報を適切に利用することで、よりユーザーにとって望ましい広告クリエイティブの選択を行うことが可能となります。

しかし，大量に存在する文脈情報の中には広告クリエイティブ選択に不必要な情報も多く含まれているため，本当に必要な情報のみを考慮して適切なクリエイティブの選択を行うことは困難であることが知られています。

文脈付きバンディットプロジェクトではこの問題に対処するために，AI Lab と Dynalyst で共同で研究を行っています。

その取り組みとして，回帰分析において変数選択を促すラッソ回帰を用いることでクリエイティブ選択の意思決定に必要となる文
脈情報を自動で抽出するバンディットアルゴリズムを開発し，研究成果が International Conference on Machine Learning(ICML) 2022 に採択されました。

また，Dynalyst にて A/B テストを実施することで、開発したアルゴリズムが既存のアルゴリズムを上回る性能を持つことを確認しました。

https://www.cyberagent.co.jp/news/detail/id=27702

Product introduction

https://arxiv.org/abs/2010.11994

プロダクト紹介 AI 事業本部

関連リンク

75

利用調整 AI

AI事業本部 / GovTech+AI Lab

実装した
アルゴリズム12

シミュレーションを提供した自治体

5

既存のマッチングと同等かそれ以上のマッチングをみつけられる確率

100%

技術タグ : マッチングアルゴリズム マーケットデザイン 行動経済学
少子化が急速に進む日本において保育所が利用できない待機児童問題の解消は喫緊の課題です。利用調整 AI は（1）適切な情報介入によって保護者・児童の選好申告を容易にする UI と、（2）保護者・児童の希望を最も叶えやすくするアルゴリズムからなります。GovTech 開発センターと AILab 経済学社会実装チームが東京大学マーケットデザインセンターと共同で渋谷区や多プロダクト紹介 AI 事業本部

Product introduction

摩市などの自治体と実証実験を進めています。

76

Member

使用している主な技術

Research Scientist: アルゴリズム開発・実装、A/B テスト、

Python, C, JavaScript, OR-Tools, SCIP, CP-SAT, React,

Research Engineer: アルゴリズム実装、データパイプライ

リズム、行動経済学、情報介入、ナッジ、フィールド実験

データ分析、シミュレーション、論文執筆
ン設計

Software Engineer: フロントエンド実装

Business: 自治体との交渉・調整、事業化

Django, 線形計画法、混合整数計画法、マッチングアルゴ

待機児童を最小化する保育所市場のマーケットデザイン

解決したい課題 / ユースケース

保育所の利用人数には上限があるため、自治体では児童の保育の必要性などをもとにどの児童を優先するかを決め、できるだ

け不満がないような保育所の配分を実施します。この過程ではもともと保育所に入っていた児童の転園や、兄や姉と同じ保育所に入りたいという要望など複雑な希望を処理する必要があり、自治体によっては１週間も利用調整にかかりきりというところもあります。GovTech 開発センターと AILab は東京大学マーケットデザインセンター（UTMD）との共同研究により、自治体の利用調整ルールの改善やマッチングアルゴリズムの開発を進めています。利用調整 AI は転園や兄弟の存在などさまざまな制約のもとで待機児童を最小化し、希望を最もよく叶えるアルゴリズムを提供します。これまで 12 にのぼるアルゴリズムを実装し、実際にさまざまなデータセットで試した結果、どのようなデータでも自治体でのマッチング結果と同等かそれ以上の結果を返すことを確認しています。また、UTMD との共同研究の結果、2022 年度から多摩市において、より保育所の希望の申告が容易になるような利用調整ルールの変更が実現しています。

行動科学による保護者の意思決定の支援

解決したい課題 / ユースケース

保育所の利用申請にあたっては、各保育所の情報を収集し、保育所の近さや保育内容、環境といったさまざまな要因を分析し、比較検討した結果、適切な順位づけをする必要があります。一部自治体では保育所の所在地のマップをウェブ上で提供していたり、各保育所も施設情報などを HP で公開しているものの、最終的には書類での申請となるため手続きが煩雑になっています。

2 人以上のきょうだいの保育所を希望する場合、その組み合わせは保育所数の 2 乗となり限られた時間では到底最適な保育所の請プロセスを完全デジタル化し保護者の作業負担を軽減します。さらに、各保育所の入所難易度の可視化など適切な情報介入によって認知負荷を減少させ、最適な希望順の発見を支援します。こうしたアイデアは実際のシステムとして開発し、ユーザーからのフィードバックを得て定量的な解析により最適な UI 設計を進めています。

関連リンク

https://developers.cyberagent.co.jp/blog/archives/35602/
https://www.cyberagent.co.jp/way/list/detail/id=26671
https://www.youtube.com/watch?v=wL8x1KuHySA

プロダクト紹介 AI 事業本部

こうした極めて困難な意思決定過程において AI による予測や情報介入は大いに役に立つと考えられます。利用調整 AI は利用申Product introduction

並べ替えは不可能です。また、保育所の入所確率は他の保護者の行動に左右されるため不確実性が高いものとなっています。

77

推薦

メディア / ABEMA

開局６年 5ヶ月で

8300
DL 突破

万

技術タグ : レコメンド 効果検証

WAU

1500
前後を推移

万

ログ

1000
規模

億

MLOps 基盤ABEMA の提供するサービスの重要な柱の一つである、推薦システムの開発、オフライン・オンライン検証、運用を行っています。

ユーザに提示するコンテンツの選出を、ビジネス要件とシステム要件を併せた全体設計からサービスへの実装・分析まで、一貫して行う組織です。

Member

使用している主な技術

Data Scientist: 統計・機械学習手法を用い、課題の発見、Python, FastAPI, BigQuery, Kubernetes, Bigtable,

ML Engineer: 施策に応じた機械学習ロジックの開発およびP i p e C D , M a t r i x Fa c t o r i za t i o n , L e a r n t o R a n k ,プロダクト紹介 AI 事業本部

Product introduction

施策設計、オンラインテスト設計および評価を行う。

78

レコメンド基盤への実装、新ロジックの研究を行う。

Cloud Composer, Tableau, Github Actions, CircleCI,
Reinforcement Learning, Clustering, Gradient Boosting
Decision Tree, Deep Neural Network

Yatagarasu( レコメンド基盤 )解決したい課題 / ユースケース

Yatagarasu は ABEMA のサービスグロースのスピードに対応するため、新たに構築されたレコメンド基盤です。データ処理基盤に蓄積されたデータを元にそれぞれのユーザにパーソナライズされたコンテンツを提供しています。ABEMA における推薦の課題

は、大きく２つあります。１つ目は、WAU 1500 万前後で推移するサービスであり、大規模なトラフィックに対応するスループットと推薦精度の両立が求められる点です。Yatagarasu ではこの課題に対し、オンクラウドでスケーラブルなシステムを構築することで対応しています。２つ目は、リニアと VOD、無料コンテンツと有料コンテンツ、オリジナルコンテンツと外部コンテンツといった、他社にはない多様なサービス構造に対応しなければならない点です。この課題に対しては、マイクロサービスアーキテクチャを採用し、各所で運用されるレコメンドロジックを独立したサービスとして開発、運用することで対応しています。

ホーム画面推薦

解決したい課題 / ユースケース

ABEMA に来訪したユーザが初めに訪れるホーム画面は、ユーザの嗜好に合わせたコンテンツを提示するほか、サービスのブランディングやユーザの興味の幅を広げるなどの意味を持つ、重要な画面です。ホーム画面における推薦の課題は、ただユーザの嗜好に合わせた推薦を行うだけでなく、ブランドコンテンツの訴求やユーザに新たな嗜好の発見を促すコンテンツの訴求などの相反する項目を踏まえた全体最適化を考える必要がある点にあります。また、ABEMA は基本無料で利用できるサービスとなりま

すが、高次のユーザ体験を提供するための有料プランも展開しています。そのため、無料サービスとしての質を担保しつつ、

ABEMA をより快適に利用してもらうための有料機能の訴求も同時に行う必要があります。ABEMA 推薦チームではこれらの課題

プロダクト紹介 AI 事業本部て要求される特徴量の開発などを行っています。

Product introduction

にあたり、候補生成と横・縦方向ランキングを有機的に結合した面生成ロジックや、複数の指標を最適化するロジックやそれに伴っ

79

検索

メディア / ABEMA

技術タグ : 検索 レコメンド 自然言語処理
ABEMA の検索では、ユーザーが視聴したいコンテンツにたどり着けるように、検索クエリの入力を支援する機能や検索画面のUI の設計だけでなく、検索を通して新たなコンテンツの発見に繋がるような検索体験の設計・開発を行なっています。

また、これまでのノウハウを活かして、ユーザーだけでなく ABEMA 内の他のチームからも検索を利用できる仕組み作りにも取り組んでいます。

Member

使用している主な技術

Project Manager : プロジェクトの実施目的・背景の策定、

Java, Go, Spring Boot, Apache Hive, Apache Solr,

リサーチ、施策のインパクト試算、優先度決め、必要なメ

Kubernetes, Cloud Storage, Cloud Pub/Sub, Bigquery,

ステークホルダーとの合意、要件定義 (PRD 策定 )、ユーザー

ンバーのアサイン、進捗確認を担当

Data Scientist: 課題発見、KPI・AB テストの設計、分析、

レポートの作成を担当。

ML Engineer: 検索に関するシステムの要件整理、設計、開発、

プロダクト紹介 AI 事業本部

Product introduction

運用を担当。

80

Apache Kafka, Airﬂow, Amazon S3, Redis, nginx,
Prometheus, Tableau, Terraformユーザーの検索体験の向上

解決したい課題 / ユースケース

ABEMA には検索窓 ( 検索クエリを入力するフォーム ) が用意されており、ユーザーが入力したクエリに対して検索結果を表示します。ユーザーの中には、視聴したいコンテンツが明確になっているユーザーもいれば、あるジャンルで無料で観られるコンテン

ツをざっくり探したいユーザもいるでしょう。検索チームでは、ABEMA のユーザーにとって「よい検索」とは何かを考えながら、
検索システムの開発を行なっています。

ABEMA の検索システムは、Elasticsearch や Solr を始めとする全文検索エンジンだけでなく、検索結果を表示する UI やユーザーの検索を支援するクエリ提案アプリケーションなど、様々なコンポーネントが連動して成り立っています。そのため、各コンポー

ネントについて、オンラインテストを実施してデータドリブンに改善を行なっています。たとえば全文検索エンジンでは、ユーザーの行動ログを用いて CTR や 0 件ヒット率など検索精度に関わる改善や、レイテンシなどのシステムパフォーマンスに関わる改善を行ってきました。

今後は、機械学習を用いた検索結果のリランクやインクリメンタルサーチによる UI の変更など、ユーザーの試聴に繋がる可能性

プロダクト紹介 AI 事業本部

Product introductionのある機能を検証していき、ユーザー体験のさらなる向上に貢献していきたいと考えています。

81

動画解析

メディア / ABEMA

ABEMA の年間入稿動画コンテンツ数数万本

ABEMA の年間入稿動画コンテンツ量数ペタ

１動画あたりの
フレーム数

バイト

数万枚

技術タグ : 画像処理 ニューラルネット 大規模データ処理
ABEMA では、推薦・検索などのデータ利活用を目的とし、コンピュータビジョンや機械学習を用いたアルゴリズムの研究・開発に取り組んできました。現在私たちはテレビという体験の再発明を目指し、動画解析技術を活用した動画コンテンツの制作・編集支援といった領域に注力しています。数もデータ量も膨大な動画データに対して、研究領域でも未成熟な動画解析の技術を適用することはチャレンジングなポイントです。

Member

使用している主な技術

Data Scientist : 動画解析アルゴリズムの学習、評価、プ

Python, Tensorﬂow, PyTorch, FFmpeg, Protocol

Software Engineer : 基盤システムの設計、開発、運用。

Terraform, Github Actions, pantsbuild, AWS, serverless

プロダクト紹介 AI 事業本部

Product introduction

ロダクト実装82

DevOps の実現。

Product Manager: 要件定義、利害関係者との調整、機能の提案

Buﬀers, OpenTelemetr y, Prometheus, Grafana,サムネイル制作支援

解決したい課題 / ユースケース

サムネイル制作支援として、動画データからのサムネイル候補フレーム抽出に取り組んでいます。機械学習・コンピュータビジョ

ンの専門家がただ最新のアルゴリズムを用いて検証し、提案するというプロジェクトの進め方ではなく、手動でサムネイルを制作

し AB テストを行うことで、コンテンツをよく表すサムネイルとはなにか、ユーザのエンゲージメントを高めるサムネイルとはなにかを言語化し、実際のユーザのフィードバックを参考に機械学習アルゴリズムの設計を行うようにしています。このように進めるた

めには、番組制作、クリエイターとの連携が必要不可欠ですが、それらの利害関係者と同じ会社かつ近い距離感でプロジェクトを進めることができるのは ABEMA の強みだと思っています。

動画データの分散並列処理

解決したい課題 / ユースケース

私たちの解析対象となる動画データは、大量のフレーム画像から構成されています。コンピュータビジョンアルゴリズムは、
JPEG/PNG 画像を使用するものが非常に多く、動画解析においても画像に変換後、時系列データとして扱うことがほとんどです。

そこで我々は、動画データから変換した大量の画像を一定枚数またはショットごとに分割し、それらに対して並列処理する機能を基盤システムの中で開発しました。データサイエンティストが新しいアルゴリズムを追加する場合は、分割した画像に対してアルゴリズムを並列で適用する map の処理と map 処理の結果を集計、結合する collect の処理を実装します。この機能を基盤システ
ムに追加したことにより、動画解析処理を高速で行うことができるだけではなく、データサイエンティストはアルゴリズム部分の実

コンピュータビジョンを活用した新しい未来のテレビの形

https://developer.abema.io/2021/sessions/qLSPUiKbuw/

もし、視聴者の「もっと胸キュンしたい！」気持ちに寄り添うレコメンドが「ABEMA」でできたら？
https://www.cyberagent.co.jp/way/list/detail/id=25529

プロダクト紹介 AI 事業本部

関連リンク

Product introduction

装、改善に集中することができます。

83

広告

メディア / ABEMA

マクロサービス数

100以上

BigQueryテーブル (+view）

800

以上

分析広告ログ

200 TB
以上

技術タグ : 大規模データ処理
ABEMA の収益を支える広告プロダクトです。AJA-SSP と連携した DSP 機能や純広告に対応した広告配信システム、
DMP、
レポー

ティング、計測、営業受注管理等々、多岐の機能を内包しています。

Member

使用している主な技術

Data Analyst: 広告関連の施策の効果分析や広告商品のGo,Scala,Python,R,Spanner,bigtable,MongoDB,MySQL,

Software Engineer : 組織内管轄全システムの開発～運用

eau,BigQueryML,Salesforce

プロダクト紹介 AI 事業本部

Product introduction

POC を担当

84

保守及び各広告評価の分析タスクも担当

kubernetes,CloudRun,ArgoCD,BigQuery,Dataﬂow,Tabl

メディアマネタイズにおける最適な広告在庫設計の検証・分析

解決したい課題 / ユースケース

ABEMA の広告収益を最大化させるために日々施策を立案から検証まで行っています。

過去の事例ですが、広告在庫の拡大のため、VOD における再生開始時の CM に「最大 CM 尺 15 秒 かつ１つまで」というルールをサービス影響を最小限にして広告在庫を拡大化するルールを模索するという案件があり、こちらでは CM 尺パターンや CM の

数別にユーザーレベル（新規や長期利用者等）に視聴時間や翌週継続率等のサービ影響にどの程度影響があるか A/B テストによる検証設計からルールの改定までを実施致しました。

ABEMA において無料のサービス形態が存続する限り、PDCA を回し続け、広告収益を伸ばしていく責務があります。

自社アンケートによる広告効果証明手法「ブランドサーベイ」
解決したい課題 / ユースケース

個人情報保護法改正を受け、より高い水準での個人情報の取り扱いや事業者としての透明性が求められています。また、広告効

果においても信頼性のある証明手段の確立が必要となっています。現在、ABEMA 内において広告効果を測定するためアンケートを実施し、そのアンケート結果からブランドリフトを集計し代理店や広告主に集計結果をレポーティングしています。このレポーティ

ングについても、透明性や信頼性がある広告効果を可視化するため、バイアスの調整やコントロールグループのあり方を追求し続ける必要があり、因果推論の手法で広く利用される傾向スコア分析や Uplift Modeling などの介入効果を予測、最適化する手法等を用いて実現していきます。

プログラムマッチ商品の PR

Product introduction

https://www.cyberagent.co.jp/news/detail/id=25517

プロダクト紹介 AI 事業本部

関連リンク

85

Amebaメディア

月間 PV 数50

億

（2021 年 1月実績）

Ameba の月間来訪者数2,200

万（2021 年 1月実績）

月間ブログ投稿数

550

万

技術タグ : データマイニング 効果検証
Ameba は月間 PV 数 50 億、月間来訪者数 2,200 万人が利用する国内最大級のメディアです。2022 年でサービス開始から 18
年周年を迎え、Ameba ブログをはじめ、最新の芸能人ニュース、アバター SNS アプリ、マンガ、占いなど多くのサービスを展開しています。

サービスの記事テキスト、画像データ、行動ログなどを活用してビジネス職や ML エンジニアと一緒に問題の発見から解決まで

プロダクト紹介 AI 事業本部

Product introduction

一貫した支援を行います。

86

Member

使用している主な技術

Data Scientist : 課題発見、要件整理、統計・機械学習

Python, R, BigQuery, AB testing, Tableau, Apache Hive

手法などを用いた分析、結果活用サポート、施策提案など。

サービスの問題発見と効果検証
解決したい課題 / ユースケース

Ameba では日々サービス改善のために施策を実施しています。

施策の精度を少しでも高めるために、ビジネスメンバーと連携してデータを活用した意思決定支援を次のように行います。

まずサービスの現状を把握して、ユーザーやコンテンツ（ブログ記事など）のどこに問題があるのかを明らかにします。

ユーザーの問題を明らかにするには、ユーザーの行動プロセスやファネルを定義してどのセグメントに問題があるか深堀ります。

またコンテンツの問題を明らかにするには、コンテンツのライフサイクルや需要と供給のバランスなどからどこに問題があるのか深堀ります。

そしてユーザーやコンテンツに関わる何の問題を解決する施策なのか、できるかぎり具体化した上で施策を実施します。

施策実施後は効果検証を行い、なるべく前後比較ではなくランダム化比較試験となるような設計を開発担当者と相談しバイアスに注意を払いながら効果検証ができるようにします。

このような流れで問題発見と効果検証により質の高い施策を実施できるように取り組んでいます。

ユーザーのロイヤルティ改善
解決したい課題 / ユースケース

Ameba ではサービスを成長させるためにユーザーのロイヤルティ改善に取り組んでいます。

ユーザーロイヤルティ改善のための分析には、行動ログを用いて記事投稿数や記事閲覧数を増やすような行動ロイヤルティに着目するアプローチがあります。

行動ログの特徴として、ユーザーの動きをデータで表現しているため事業視点指標として定量化しやすかったり、ユーザーの無意識な行動も捉えることができます。

しかし、記事投稿数や記事閲覧数はそこまで多くはないが、サービスに対しての心理的なロイヤルティが高いなど、ユーザーの行動ロイヤルティと心理的ロイヤルティが必ずしも関連しないことがあります。

そこで、心理的ロイヤルティにも着目するため定期的にアンケート調査を実施してユーザーの感情や意向を収集しています。

アンケート調査結果からロイヤルティを定量化する方法として一般的に NPS や CSI などがあります。

しかし、アンケート回答者からしかロイヤルティが分からないことや、心理ロイヤルティは改善しているけど行動ロイヤルティは改善していないなど 2 つのロイヤルティの関係性を示すことが難しいという課題があります。

このような課題と向き合いながら行動ロイヤルティと心理ロイヤルティの 2 つの観点を考慮することで、真のロイヤルカスタマーを

プロダクト紹介 AI 事業本部

Product introduction

増やすことを目指しています。

87

Ameba 広告

メディア / Ameba

技術タグ : MLOps 基盤 ストリーミング処理 レコメンド
月間 PV50 億、月間来訪者数 2,200 万人が利用する「Ameba」をマネタイズするための広告プロダクト。

ブログ記事の文脈にマッチしたコンテキスト広告など、独自データや最新のアドテクノロジーを活用した豊富な広告商品を提供しています。

Member

使用している主な技術

ML Engineer : 入札戦略検討・データ活用・アルゴリズム

Go, Spark, Python, Rust, AWS

プロダクト紹介 AI 事業本部

Product introduction

改善88

商品レコメンド
解決したい課題 / ユースケース

サードパーティ Cookie の規制によりダイナミックリターゲティングが難しくなっていく中で、これまでダイナミックを中心に配信していたクライアントに対して、それと同等以上の配信性能を Cookie に頼らない形で実現する必要があります。

そのため、ブログの記事内容に基づいて商品を選ぶレコメンドプロダクトを現在開発中で、うまくいけばこれが今後の主流になることが期待されます。

広告主離脱削減
解決したい課題 / ユースケース

広告売り上げを伸ばすには 3 軸で改善する必要があります。どのユーザがどの広告に CV するかを知ること、CV される広告を在庫に持つこと、リクエスト量を多くすることの 3 つです。

ターゲティング性能は一般的な機械学習精度改善問題ですが、広告主の在庫数を増やすのはもっと難しい問題です。増やすほど1 社あたりの impression 量は減るので、満足の行く配信をできる広告主数は限られてきます。

配信の初期もすごく大事で、初期数日間に効果が良くなく直離脱する広告主は多いです。逆にこれまで長く配信されている広告主の効果が突然悪化することもあり、離脱することも多いので、いつも新鮮なクリエイティブに寄せていけるシステムは必要です。

プロダクト紹介 AI 事業本部

Product introduction

運用コンサルとエンジニアの関わりを深くしないと解決できない課題です。

89

AWA

メディア

配信楽曲数

1

億曲以上

（2022/3 時点）

蓄積されている音楽再生ログ7年間
以上

アーティスト本人
参加 LOUNGE 開催数

1500

回以上

※インディーズ
アーティストも含む

技術タグ : レコメンド 効果検証 データマイニング
AWA は、無料でも有料でも使える音楽ストリーミングサービスです。サービス開始から 7 年以上が経過し、その間に 170 億回音楽が再生され、1.7 億回の好きな音楽との出会いが生まれ、1,300 万件のプレイリストが作成されました。これらを記録した
膨大なログデータや、アンケートなどによって得られるサービス外のデータを活用し、サービスの意思決定支援や、ユーザー体
験の向上に役立てています。

Member

使用している主な技術

Data Scientist : 課題発見、要件整理、分析、結果活用

Java, Python, R, BigQuery, Kubernetes, CatBoost,

執筆なども。

testing, Tableau, Multivariate analysis, Statistical

プロダクト紹介 AI 事業本部

Product introduction

サポート、施策提案など。研究活動として学会発表、論文

90

ML Engineer : 課題発見、要件整理、機械学習・統計的手法を利用しているシステムの開発と運用など。

Approximate Nearest Neighbors, Skip-gram, AB
modeling「ForYou」レコメンド枠の改善

解決したい課題 / ユースケース

AWA には「ForYou」というパーソナライズされたページがあり、楽曲、アーティスト、アルバム、プレイリストといった様々なタ

イプのコンテンツが、音楽ライターの解説やポップなどと共に音楽雑誌のように表示されます。我々は、推薦候補となるコンテンツ集合から、それらの ForYou ページ上の最適な並び順を決めるという課題に取り組んでいます。

音楽サブスクサービスにおいて音楽の聴き方は多様（アルバム単位で聴く、楽曲単位で聴く、他人が作成したプレイリストで聴くなど）であるため、音楽の好み（ジャンルやアーティストなど）のみでなくコンテンツタイプを考慮する必要があります。この課題に対し、機械学習の一形態である Learning to Rank を用いています。ここで、最も考慮すべき点の１つは、モデルに用いる特徴

量をどうするかということです。我々は、有用だと考えられるユーザーおよびコンテンツの特徴量を考案しオフライン検証によって特徴量を選定、ランキングシステムの構築と本番適用を行いました。結果、リリース後の AB テストで CTR と課金率への有意な改善を確認することができました。

大規模 LOUNGE の負荷予測解決したい課題 / ユースケース

AWA では、ユーザー同士がリアルタイムに、同じ空間で同じ音楽を楽しめるオンライン空間「LOUNGE」にて、アーティスト本人

登場イベントを開催しています。このイベント LOUNGE の参加者数などを事前に予測することで、負荷対策に役立てることができます。我々は、この予測問題に対し、ルールベース、重回帰分析、決定木ベースのフレームワークなどの手法を用いて精度改善できるかを検証しています。

特に難しいのは、参加者数の規模がそのアーティストの一般的な知名度と明確に相関していないように見える点です。これは、アーティストファンの特徴や、そのイベント告知の SNS 上での拡散状況、新曲リリースタイミングなど多様な要因から無視できない影響を受けるからだと考えられます。よって、これらの特徴をどのように定量的に抽出するかが予測精度を上げるために重要になります。また、世の中にあるこれに似た問題設定として、例えば映画の興行収入予測問題があり、そこでは、問題設定を多クラス分類問題にすることで精度を上げる工夫などが知られています。負荷予測においても、参加者数を直接予測する必要は必ずしもないため、同様に問題設定から整理し直すことで解決に近づく可能性があります。

このようにサービスのドメイン知識と学術的知見を組み合わせ、現場の課題解決に取り組んでいます。

https://www.ipsj.or.jp/dp/contents/publication/38/S1002-S06.html
感染症モデルを用いた音楽拡散現象の分析 :https://conﬁt.atlas.jp/guide/event/jsai2020/subject/2E6-GS-5-05/advanced
多属性態度モデルに基づく音楽サービスの業種に対するロイヤルティの分析 :https://conﬁt.atlas.jp/guide/event/jsai2022/subject/4N1-GS-3-05/advanced

Product introduction

AWA における類似プレイリスト探索システムの構築 :プロダクト紹介 AI 事業本部

関連リンク

91

タップル
タップル

累計会員数

1,500
万人

技術タグ : レコメンド MLOps 基盤

累計マッチング数

5

億組

画像処理

タップルは累計会員数 1,500 万人が利用し、自分の趣味や行きたい場所をきっかけに相手が見つけられる国内最大規模のマッチ

ングアプリです。

良い出会いを提供するため、どんなユーザーを推薦するかに注力しておりレコメンドシステムの開発、分析を行っています。また、ユーザーが自身のプロフィール画像を登録がすることができ、登録される画像は機械学習フィルタと監視オペレータにより承認・プロダクト紹介 AI 事業本部

Product introduction

否認処理を行なっています。

92

Member

使用している主な技術

ML Engineer : モデル構築，データ分析，要件整理

Python, Tensorﬂow, Model Serving, Bigquery, CNN,

レポートの作成

Classiﬁcation, Tabuleau

Data Scientist: データ分析，フィルタの精度・実績の監視
Engineer: 施策の仕様策定、ML との繋ぎこみ等、施策から開発リリースまで幅広く

g R P C , Ku b e r n e te s , Ku b e r n e te s G ate w a y A P I ,レコメンドシステム

解決したい課題 / ユースケース

ユーザーとデートプランの 2 つのレコメンドシステムを運用しており、推薦アルゴリズムは協調フィルタリングや Bandit
Algorithms など様々ですが、ここではサービスの肝となるユーザーレコメンドについて説明します。

マッチングアプリにおけるユーザーレコメンドは EC サイトの商品のレコメンドと似ていますが、決定的に違う点としては男性と女性の双方向性を考慮する必要があります。自分が「いいかも」をしても、相手から「ありがとう」が返ってこなければ、マッチ成立にはなりません。

そこでタップルでは、過去の「いいかも」の行動履歴から男女双方の好みを加味する協調フィルタリングベースのアルゴリズムを作成しています。男性から女性への興味スコアおよび女性から男性への興味スコアを算出し、これらを集約することで、双方向の興味スコアとして採用し並び替え、マッチングしそうな相手を推薦しています。また、システムとしてはオンプレの推薦基盤(phoenix) と GCP の vertex AI を利用し、オンプレとクラウドの両者の良さを取り入れようと模索しています。効果検証では AB

テストを実施することで、施策の評価も行っています。

機械学習フィルタの開発

解決したい課題 / ユースケース

マッチングアプリサービスにおいて、ユーザーのプロフィール画像は多くのユーザーの目に触れる部分です。安心安全にサービスを利用できるようにタップルではプロフィール画像の登録時に審査を行なっています。タップルのプロフィール画像審査は、機械

学習フィルタによる判定と監視オペレータによる最終的な承認・否認の決定を行なっており、当プロジェクトを担当するMLエンジ

権利を侵害する画像」などの項目があり、監視オペレータは機械学習フィルタの判定結果を参考に審査結果を決定をしています。

また開発・運用されている機械学習フィルタの精度や影響度はデータサイエンティストが tableau により監視可能な状態を作成することで、運用中のフィルタの見直しができる状態を作っています。

関連リンク

https://developers.cyberagent.co.jp/blog/archives/35119/

プロダクト紹介 AI 事業本部識別される画像は、「芸能人の画像など明らかに本人ではないと判断できる画像」や「個人情報が含まれている画像」「他者のProduct introduction

ニアはプロフィール画像として不適切と思われる画像を分類・識別するような機械学習フィルタの開発を行なっています。ここで93

Fensi Platform ( ログ集計基盤＆レコメンド )CAM

稼働サービス

13
技術タグ : レコメンド 効果検証

サイト

連携データ数

約

231

レコード

億

MLOps 基盤

無料でサイトを構築できるプラットフォームで、ブログやオンラインサロン、マネタイズ手段などをユーザーに提供しています。

GCP, AWS のマルチクラウドで 20 以上のマイクロサービスを管理、構築しており、またこれらサービス群を活用して CAM 内の
toB 案件を構築することもできます。

プロダクト紹介 AI 事業本部

Product introduction

データ集計とそれらを用いたレポート・レコメンドの基盤も機能の一部として実装されています。

94

Member

使用している主な技術

Product Manager: CAM におけるデータ戦略の立案と執Golang, Python, GKE, ElasticSearch, Bigquer y,Engineer: データ集計基盤・管理画面の開発やメンテナン

Composer, Data Form, Vertex AI, AWS AI, Azure AI,

行責任者

ス、ML 組み込み等幅広く担当

ML Engineer: ML Engineer: MLOps 基盤および、機械学習を用いたレコメンドモデルの開発を担当

Snowﬂake, Google
Tableau

レコメンドシステムにおける配信ロジックの効果検証

解決したい課題 / ユースケース

我々のチームではデータを収集・分析、各サービスへのフィードバックを行っております。
● データパイプラインの構築● 各サービス / サービス横断でのデータ分析● ダッシュボードの作成● 収集したデータを活用したレコメンドシステムの開発● レコメンドシステムで使用するモデルの自動 A/B テストとレポーティング

上記のように実績や検証データなど Fact に基づいた施策を実行し、CAM の事業部の垣根を超えて成長を加速させる役割です。

レコメンドシステムでは、前日までの実績データをもとにしたロジックやパーソナライズされたロジックなど様々なモデルが並行稼働しています。それらに対して CTR・CVR といった指標をもとに、ベイズ統計による A/B テストを自動実施・レポーティングすることで評価を行い、次の改善に繋げています。

また CTO 直下のチーム体制であることから裁量権が大きく、イメージしたものを実行に移すまでのスピード感が魅力のひとつと言えます。

VertexAI を活用した MLOps 基盤

解決したい課題 / ユースケース

CAM では様々なサービスに対して、機械学習を用いたレコメンドロジックが複数提供されています。これらの機械学習モデルを安定稼働されるために、MLOps 基盤を構築しています。

定して進めることができます。基盤を構成する技術として、VertexAI をはじめとした Google Cloud のサービスを活用しています。

クラウドサービスを活用することで基盤構築速度の高速化を図り、加えて最新の MLOps ノウハウを取り入れたものに仕上げています。CAM では新技術を常にキャッチアップし、スピード感をもって採用する文化が根づいており、この基盤は VertexAI のリリースから半年で本番運用開始を実現しました。

現在も基盤機能を拡張するための開発が進んでいます。

プロダクト紹介 AI 事業本部

この課題を MLOps 基盤で解決しており、これにより機械学習エンジニアはモデルの検証から本番導入のプロセスを高速かつ安Product introduction

機械学習システムを運用するためには、モデルの学習以外にも特徴量管理 / 前処理 / モデルサービングなどの処理を担うコンポー

ネントが複数必要であり、それらの間に複雑な依存関係があることが知られています。

95

ACTech局
CyberZ

CyberZ AC 事業部の広告運用を支える
全てのシステム開発

外部連携
システム数

50

レポート作成にかかる削減時間

2600

非エンジニアの作成した集計データ数

時間 / 月2100

技術タグ : 効果検証 データアクセス スキーママッピング
ACTech 局では、CyberZ のアドテク組織として代理店のための攻守の開発を行っています。守りとしては運用効率化のためのシステム開発を行いつつ、将来を見据えた代理店の武器の開発を行っています。

広告運用に必要なデータを収集・蓄積するプラットフォーム、収集したデータを活用した分析システム、レポート作成の効率化

プロダクト紹介 AI 事業本部

Product introduction

システム、運用の自動制御システムなど多岐にわたる開発・運用をしています。

96

Member

使用している主な技術

Project Manager : 課題発見、開発戦略とロードマップの策定

Go, Java, Kotlin, Python, Node.js, Spring Boot, AWSEngineer : ACTech 局が持つ全てのプロダクトの開発と運用(Athena, Aurora, DynamoDB, Comprehend, Redshift,
Neptune, Grafana), Domo, Redash, DDD, Clean
Architecture, DevOps

Helix

解決したい課題 / ユースケース

Helix は広告運用に必要なデータを収集・蓄積するプラットフォームです。代理店の広告運用では、日々数十の媒体管理画面、様々な SDK 管理画面から顧客の KPI にあわせた複数の指標を見て、広告の運用やレポート作成を行っています。ただ、これらの管理画面を行き来し、手作業で運用することは現実的ではなく、データを集約して自動化することが必要になります。API でデータを取得できれば比較的容易にデータを集約することは可能ですが、API を公開している管理画面はあまり多くないため、Helix では、
API を公開していないデータソースについては、スクレイピングや RPA を利用するなど、他の方法でデータを収集しています。また、それぞれのデータソースに合わせたデータの設計や取得した値の妥当性の検証など、「データを利用する」ことを考慮したデータの収集と蓄積を行っています。CArtet や ZIRS、運用最適化のシステムなど ACTech 局で開発を行っていたり、将来開発を予定している各種プロダクトの展望を見据えて、次にどういうデータを収集するべきかを考え、日々アップデートしています。

ZIRS

解決したい課題 / ユースケース

ZIRS は Helix で収集・蓄積したデータを活用し、分析やレポートを非エンジニアでも比較的簡単に行えるようにした BI システムです。データを収集・蓄積しただけでは、非エンジニアがアクセスできず、SQL が書けない非エンジニアは活用することもできな
いため、エンジニアに依頼する工数がかかったり、せっかく蓄積したデータが無駄になることが多々あります。ZIRS では、SQL文を書かなくても、UI 上から項目を選択していくことで、ETL が出来上がるため、非エンジニアでもデータを利用したレポート作

成や分析ができるようになっています。現在では、非エンジニアが ZIRS によって作成した集計データ数は 2100 を超えており、
レポー

プロダクト紹介 AI 事業本部

Product introduction

ト作成に関わる時間のうち毎月 2,600 時間以上を削減しています。

97

データ戦略室
CyberZ

CyberZ のプロダクト横断でデータドリブンに意思決定を支援

トランザクション
データ数

数十万件

解析した
シナリオ数

100

万件以上

技術タグ : 効果検証 データマイニング
データ戦略室では、CyberZ 横串のデータ組織としてデータドリブンな経営判断を事業部と連携しながら進めています。

事業部毎の KPI を最大化するために、データ分析だけでなく、仮説検証から施策の提案と実施、評価から次の仮説検証というデー

タの PDCA を回すことを意識し、プロダクト紹介 AI 事業本部

Product introduction

データドリブンに経営判断ができるよう、日々データに向き合い提案を行っています。

98

Member

使用している主な技術

Project Manager : データ設計、法務対応、開発 PM

SQL, R, RStudio, Python, Jupyter-notebook, kmeans,

オペレーションサポート

Query

Data Scientist: 戦略の設計・提案、データ分析、レポート作成、

dicision tree, Amazon Athena, Amazon Neptune, BigData Driven Strategy

解決したい課題 / ユースケース

STP をはじめとした従来のマーケティングフレームワークにおける顧客のセグメンテーションの課題は、どの軸でユーザを分類すべきか、定量データであればどこを閾値に設定すべきか、が不明確でした。

データ戦略室は、顧客の行動データを包括的に機械学習で分析・分類することで、この課題を解決しました。また、顧客データとは別に、GA 上のデータも結合することで、属性データや行動データ、検索傾向を可視化し、解像度の高いペルソナを実現しました。

セグメンテーションの他にも 5A に代表されるマーケティングフレームワークに準じたデータ収集・分析を通じて、マーケティング
戦略を最上流から支援しています。

Operation Optimization

解決したい課題 / ユースケース

事業に合わせた最適な KPI の設定が事業の成否を分けることは前述の通りですが、売上・利益などの事業の最終的な KPI に付随するサブ KPI をどこに持つべきか、それぞれをどの定量目標をすればよいのか、といった最適な KPI の設定が課題になります。

データ戦略室では、数十のサブ KPI が最終的な CV にたどり着くために、それぞれどれくらいの影響値があるのか、影響値の大

きいサブ KPI 向上によって CV の確立がどの程度高くなるのか、これらについて 100 万を超えるシナリオ解析を通して、明らかにしました。

売上目標という結果 KPI ではなく、その要因となるサブ KPI を細かく的確に設定することで事業全体のオペレーションの最適化を

プロダクト紹介 AI 事業本部

Product introduction

実現しています。

99

AI 室

SGE / SGE コア技術本部

進行
プロジェクト数

5

技術タグ : ゲーム AI

SGE 子会社数

12

前後

強化学習

運用＋
新規開発ゲーム数社

自然言語処理コア技術本部（コアテク）の AI 室は、ゲーム・エンターテイメント（SGE）事業部管轄の様々なゲームにおける課題を AI で解決するための取り組みを行う横断組織です。2022 年より AI 活用に注力し始めました。遺伝的アルゴリズムや強化学習を用いたレベルデザイン支援、自然言語処理を用いたシナリオ制作支援、画像認識を利用した自動テストなど、様々な技術を活用して課題に取り組んでいます。

Member

使用している主な技術

Project Manager : SGE における AI の活用戦略の検討と実行

Python, PyTorch, TensorFlow, NLP, BERT, GPT-2, 進化計

Product introduction

ステム開発

プロダクト紹介 AI 事業本部

ML Engineer: 様々な ML 手法を利用したアルゴリズムの検証とシツールへの組み込み

100

Unity Engineer : Unity における ML アルゴリズムの組み込みや連携ツールの開発

Backend Engineer: ML モデルを実行するシステムの開発や既存

算 , 組合せ最適化 , 深層強化学習 , PCA, AWS, GCPレベルデザイン（ゲームバランス調整）支援

解決したい課題 / ユースケース

ゲームではレベルデザインと呼ばれるゲームバランスの調整が非常に重要で、これがゲームの面白さに直結します。
スマホ向けゲームでは運用も含めて非常に数多くのキャラクターカードをリリースし、そのそれぞれが様々なパラメータやユニークスキルを持ちます。このパラメータを適切に調整しないとゲームが極端に簡単になったり、難しくなったりしますが、カードの種類が増えるにつれて考慮事項（制約）が多くなり、調整難易度が上がり続けます。

そこで強化学習による賢いオートプレイや遺伝的アルゴリズムによるデッキ編成探索を用いて、レベルデザイン作業を効率的に行うことを目指します。例えば設計したゲームのステージが既存のカードの組み合わせでクリア可能なのかどうかなどを AI で評価できるようになります。またゲームによってはユーザーに自動編成機能やオートプレイ機能を提供している場合もあり、ユーザー支援に繋がる可能性もあります。逆に敵の行動 AI に適用すれば、シングルプレイのゲームの面白さの改善にも繋がったりします。

ADV スクリプト制作支援

解決したい課題 / ユースケース

ゲームではキャラクター同士の会話が数多く登場し、特にストーリー仕立てのものは ADV と呼ばれています。そこでは会話テキス

トの表示はもちろん、演出表現のためにキャラクターの表情や動き（モーション）もテキストの表示に連動して制御しています。
この表情やモーションは、手作業でテキストに対して設定しているのですが、膨大なテキストの 1 つ 1 つに設定を行うのは工数が非常にかかります。

そこで自然言語処理を利用して、セリフから表情やモーションを推定することで設定作業を補助し、工数を削減することを目指し
ます。

関連リンク

https://www.cyberagent.co.jp/way/list/detail/id=27230

プロダクト紹介 AI 事業本部

た、テキストに関する様々な課題の解決も行っています。

Product introduction

また上記以外にもキャラクターらしいセリフの生成や評価、呼称チェックや漢字の閉じ開きなどのレギュレーションチェックといっ101

Patriot

メディア / 横軸基盤システム

メディア事業を支える大規模データ処理基盤

1 日あたりの
ログ量

57
～

TB

約

6000

スケジュールジョブ

技術タグ : 大規模データ処理
当社のメディア事業では ABEMA や Ameba ブログなど多種多様なサービスを提供しています。そのためサービス利用のログデー

タは大量に発生し、かつ複雑化していきます。このようなデータを有効活用し、ユーザーの皆様がより便利に、快適にサービスをご利用いただけるよう、サービスの状況把握のための各種レポートの生成や、レコメンデーション機能実現のための基盤が必

プロダクト紹介 AI 事業本部

Product introduction

要となり、「Patriot」を自社開発しました。

102

Member

使用している主な技術

Software Engineer

Apach Hadoop, Apache HBase, Apache Flume, Apache
K a f ka , A pa c h e Ze p p e l i n , P re sto, P ro m et h e u s ,O p e nTS D B , T h a n o s , A W S , B i g Q u e r y, A n s i b l e ,Terraform, Spring Boot

Patriot の処理概要

解決したい課題 / ユースケース

Patriot は Apache Hadoop などの OSS を利用して構築された分散システムであり、メディア事業のデータを収集し、各種レポートの生成やレコメンデーションのためのデータ処理などを行っています。サービスから生成されたデータはデータ転送機能を利用して収集され、Apache Hadoop のファイルシステムである HDFS に格納されます。パブリッククラウドやレコメンデーション基盤など他のシステムとの連携を柔軟に行うために、独自の転送管理システム (Mine) を導入しています。収集されたデータはワーク

フロースケジューラに従って、Apache Hive、Presto、Apache Hadoop(MapReduce)、Apache Spark などの分散処理フレームワー
クで処理されます。Patriot は社内の様々な部署と連携しているため処理すべきバッチジョブも多様であり、複雑な依存関係を管理する必要がありますが、内製のワークフロースケジューラによりこれらの依存関係をワークフローとして管理しています。
Patriot のリソースは Apache Hadoop(YARN) や Apache Slider などで管理し、リソースを最大限に活用できるように各処理にリソースを割り当てています。レポーティングのための集計結果は Apache HBase に保存され，BI・分析ツールを通じてユーザに利用されます。

bkRs4Cqa

社内ニーズに合わせた大規模データ処理基盤の BI ツールの提供
解決したい課題 / ユースケース

Patriot に送られてきたログデータを使うための BI ツールとして Patriot FDC の開発を行っています。Patriot FDC ではデータ利用する社員自身がクエリを登録し、レポーティングまで行えるようなツールです。データ集計のために Hive や Spark を利用しま

すが、Presto も利用可能です。これらを利用して Patriot FDC から画面上でクエリを発行でき、結果を集計・分析用途に利用することができます。逆にクエリの結果を「Patriot」のキーバリューストア（HBase）に保存することでキューブを構成し、レポーティ

ングに利用することも可能です。社内向けの BI ツールということで、権限管理機能も備えています。メディア事業部の様々なユー

ザが利用するツールであるため、誰がどのチームに所属し、チームごとにどのデータを参照可能かを管理し、安全性を保ちます。

スキルや目的に応じたロール管理も行っており、データを定期的に抽出するための開発者向けのロールや、定型クエリで変数のプロダクト紹介 AI 事業本部

Product introduction

みを変更可能なオペレータ向けのロールなど、社内の利用用途に合わせて権限管理を行っています。

103

Zero

メディア / 横軸基盤システム

即時性の高いデータ活用を支援する
SQL ライクなクエリ言語による宣言的なストリーム処理基盤

1 日あたりのイベント受信数（全クラスタ合計）

約

49

億

1 日あたりの
クエリ数（全クラスタ合計）

105

約

登録されているテーブルの数億（全クラスタ合計）

174

技術タグ : ストリーミング処理
Zero は、即時性の高いデータの活用を容易にすることを目的として開発された宣言的なストリーム処理システムです。欲しいデー

タの定義を SQL に近いクエリ言語を用いて記述するだけで、ストリーム処理により逐次更新される最新のデータが API から低い

レイテンシで取得できます。

各種サービスでのコンテンツ推薦、トレンド検知、速報値のレポーティング、また、広告配信での配信制御などの用途で幅広く

プロダクト紹介 AI 事業本部

Product introduction

活用されています。

104

Member

使用している主な技術

Software Engineer: 要件のヒアリング、設計、開発、

Apache HBase, Google Cloud Bigtable, Amazon

構築、運用などを担当

DynamoDB, Apache Kafka, Apache Flume, Google

Cloud Pub/Sub, Amazon Kinesis Data Streams, Redis,

MySQL, Prometheus, Kubernetes, Apache ZooKeeper,Java, Go, C++, etc.

システムの概要

解決したい課題 / ユースケース

Zero は主に、イベントの処理を行うプロセッサ側と、API を提供するサーバー側、の 2 つの処理にわけられます。プロセッサ側では、Apache Kafka などからイベントを受け取り、事前に定義したクエリを元に、必要なデータを抽出・集約し、Apache HBase などのデータストアに書き込みます。サーバー側では、API からリクエストを受け取り、データストアやキャッシュを参照して結果を返却します。プロセッサ側ではイベントの集約処理も行いますが、集約関数としては、数値を加算するだけの単純な count(), sum() のような 単 純 な もの、latest(), latest_set_n() のような イベ ント時 刻 順 による 最 新 値 を取 得 するような もの、また、
bloom_ﬁlter() のような確率的データ構造を扱うものなどが実装されています。このような集約関数の処理は、可換性のあるモ

ノイド（ストリームデータの配送順序は保証されていないことが多く、最終的に同じクエリ結果を得るためにも可換性が必要）の演算として考えると都合がよいため、内部やデータストア上では可換モノイドとして抽象化して扱っています。

「AWA」での導入事例
解決したい課題 / ユースケース

音楽ストリーミングサービス「AWA」には、急に多く聴かれるようになった楽曲を自動で選曲する「リアルタイム急上昇楽曲 トップ 100」というプレイリストが実装されています。この機能では、楽曲ごとの一定期間ごとの再生回数をリアルタイムに集計する部分で Zero を使用しています。これだけでは再生回数が分かるだけですが、別途、急上昇スコアを計算するトレンドシステムを組み合わせることで「リアルタイム急上昇楽曲」として動作しています。

また、一般的に推薦システムでは、新しいコンテンツの発見に繋げるために、ユーザがまだ触れていないものを推薦したい場合があります。Zero の BloomFilter 機能を使用することで、実際の再生データを記録することなくハッシュ化された小さなデータ量のビット列のみから、ある楽曲をすでに視聴している可能性があるかどうかを高速に知ることができます。この機能は、AWA でのニーズをもとに実装され、推薦機能の一部で利用されています。

このように、Zero 自体にはシンプルな機能しかありませんが、様々な機能を実現するための部品として他のコンポーネントと組

み合わせて使用され、ストリーム処理を新規開発することなく、クエリの記述のみですぐに最新のデータを利用できるようになる

ことから、即時性の高いデータが必要なアプリケーションを開発するために活用されています。

プロダクト紹介 AI 事業本部

Product introduction※アルゴリズムの詳細は将来的に変更される可能性があります。

105

Phoenix ( 推薦基盤 )メディア / 横軸基盤システム

ユーザの嗜好に基づいたコンテンツの提供を可能にする推薦基盤

導入サービス数( 累計 )

15

2 022 年 5 月のある 1 週間のリクエスト数
約

7

億

技術タグ : レコメンド
Phoenix は、データ解析基盤 Patriot 上の大規模データを活用してコンテンツの推薦機能を提供する基盤システムです。

サイバーエージェントが手がけるメディアサービスは多種多様であり、その分推薦機能への要望にも様々なものがあります。

Phoenix では汎用性を考慮した推薦機能のフレームワークを開発することで、これらの要望への柔軟かつ効率的な対応に取り組

プロダクト紹介 AI 事業本部

Product introduction

んでいます。

106

Member

使用している主な技術

ML Engineer: 開発・運用担当

Java, Python, Spring Boot, Apache Spark, Apache
H B a s e , A m a zo n S 3 , A pa c h e H i ve , B i g Q u e r y,

K u b e r n e t e s , Te n s o r F l o w , C a t B o o s t , M a t r i x
Factorization, Approximate Nearest Neighbors, Bandit

導入事例 : Ameba アプリのコンテンツフィード
解決したい課題 / ユースケース

Ameba ブログのように多彩なコンテンツを提供するサービスではパーソナライズされた推薦は重要な機能の一つですが、推薦システムを実サービスに適用することはいくつかの点でチャレンジングです :• 大規模なトラフィックに対する計算効率と推薦精度の両立• 精度向上のために多様な推薦アルゴリズムを検証できる柔軟性と拡張性
これらの問題に対応するため、Phoenix では推薦アルゴリズムを下記の 2 つのステップに分割して、それぞれをプラグインとして実装できるように設計しています :• Candidate Generation: 数十件程度の推薦候補を高速に生成する• Ranking: 多様な特徴量を用いて少数の推薦候補をより精緻に並べ替える
一例として、Ameba アプリのホームスクリーンに表示されるコンテンツフィードでは Candidate Generation ステップのアルゴリ

ズムとしてルールベースをはじめ、協調フィルタリング、ブログ記事から抽出したキーワードに基づく手法などが利用されています。
また、Ranking ステップでは機械学習モデルによるランキングアルゴリズムやいくつかのヒューリスティクスなど多数の手法が検証され、より「良い」ユーザ体験のための改善が進められています。

Ameba ブログにおけるランキングアルゴリズムの改善
解決したい課題 / ユースケース

従来、Ameba アプリのホームスクリーンに表示されるコンテンツフィードの推薦アルゴリズムは記事の「読者」ユーザに対して最適化されていました。一方で、実際には Ameba ブログは “multi-stakeholder” なサービスであり、下記のような目的も考慮する必要があります :• ブロガーユーザの満足度• 広告の閲覧数などの Ameba プラットフォームとしての指標
近年の Ameba 推薦チームの取り組みでは、コンテンツフィードにおけるランキングアルゴリズムを拡張することで、複数の目的に対して最適化されたアルゴリズムを構築しました。

A/B テストの結果、読者ユーザに関連した指標の有意な劣化なしにブロガーユーザ向けの指標やプラットフォームとしての指標が改善していることを確認しました。

Product introduction

https://www.cyberagent.co.jp/techinfo/labo/tech/detail/id=23935

プロダクト紹介 AI 事業本部

関連リンク

107

Nagato（検索基盤）

メディア / 横軸基盤システム

サービスごとの多様なニーズに答える
検索システム基盤

導入サービス数

16( 全サービス )検索クラスタ仮想サーバ台数億台

検索レコード数

19520

技術タグ : 検索
Nagato はサービス毎の異なるニーズに応えるための検索システム基盤です。オープンソースの検索エンジン Solr を使用して検索クラスタを構築し運用しています。サービス毎にコンテンツの内容やユーザのサービス利用パターンが異なっているため、それプロダクト紹介 AI 事業本部

Product introduction

ぞれに合わせた検索処理のチューニングを行うことでサービスのニーズに応えています。

108

Member

使用している主な技術

Software Engineer: 開発・運用担当

Java, Spring Boot, Apache Hive, Apache Solr, ApacheKafka, S3, Redis, nginx, Kubernetes, Cloud Storage,
Cloud Pub/Sub,Prometheus,Ansible,Terraform

検索処理に関するノウハウ集約化と共有解決したい課題 / ユースケース

検索処理のチューニング観点としては再現率や適合率といった検索精度に関係するものと検索処理のレイテンシーや検索インデックスの更新頻度といった検索システムのパフォーマンスに関係するものが挙げられます。

検索精度に関しては文字列の正規化や、形態素解析を使うのか ngram を使うのかといった検索対象フィールドのスキーマ定義、

ユーザの行動ログを加味した検索スコアの調整などを行います。

検索システムのパフォーマンスに関しては検索リクエストの分散や検索インデックスの分割配置といった分散検索を行うためのシス

テム設定の調整を行います。

サービス毎に個別に検索機能を実装していた場合検索処理のチューニングに関するノウハウをサービス間で共有することが難しくなりますが、検索システム基盤としてこういったノウハウを集約化し個別のチューニングに反映することで検索システム基盤を利用

プロダクト紹介 AI 事業本部

Product introduction

するサービスに対してノウハウを共有することができるようになっています。

109

Orionメディア / 横軸基盤システム

メディア事業の「安心・安全」を支えるコンテンツフィルタリングプラットフォーム

導入サービス数

20

技術タグ : モデレーション 画像処理

設定フィルタ数500

月間フィルタコンテンツ数4

億

自然言語処理Orion はサービスに投稿されるコンテンツに対して人手による監視と機械的な投稿削除を提供するモデレーションシステムです。

コンテンツはコメントのような高頻度の短文、ブログなどの長文、画像や動画に至るまでをカバーし、フィルタ技術は単純なワー

ドマッチングから機械学習による判別まで様々、サービスにあった組み合わせで弊社メディアサービスに広く活用されています。

Member

使用している主な技術

Software Engineer: 開発・運用担当

OpenShift(Kubernetes),CircleCI,Java,Python,

プロダクト紹介 AI 事業本部

Product introduction

ML Engineer: データ分析、フィルタリング手法の開発と実装

110

SpringBoot,Apache HBase,Apache ZooKeeper,
Redis,ProtocolBuﬀers,gRPC

解決したい課題 / ユースケース

コメントやメッセージ、ブログ記事や画像などといった、メディアサービスにユーザが投稿するコンテンツは多種多様に及びます。
その中には一般の閲覧に適さないもの ( ポルノや暴力の表現など ) や、誹謗中傷にあたるもの、サービスの正常な動作を妨げるもの ( ツールなどによる大量投稿など )、また深刻なものとしては詐欺などの犯罪行為につながるものがごく一部存在します。各

サービスではそれらをスパムコンテンツと定義し、利用規約で投稿・共有を禁じています。日々投稿される大量のコンテンツから、

スパムコンテンツをすべて人手でチェックすることは不可能です。そのため、投稿されたコンテンツに対して、単純なワードフィル

タから機械学習による判別など様々なフィタを駆使することで、スパムコンテンツかどうかを自動かつ高速で判定することができる

ようになり、それらが一般の目にさらされる前未然に阻止することができるようになります。また、有人監視と協調して動作する

ことで、あらかじめスパムコンテンツに類する思われるコンテンツを絞り込んだうえで効率よく有人監視を行えるようになり、フィプロダクト紹介 AI 事業本部

Product introduction

ルタリングだけでは取り切れないスパムのニュアスを持つコンテンツを確実にサービスから排除することができるようになります。

111

Corona（画像処理基盤）

メディア / 横軸基盤システム

画像・映像を用いる機能開発や業務の自動化を支える
マルチメディア解析・処理基盤

導入サービス数

月間画像処理枚数

9万枚( 予定含む )2500

技術タグ : 画像処理
Corona は、画像処理や画像解析を行う基盤システムです。

主にサービスからの API リクエストに応じて処理を行い、例えば画像の種類を出力したり、QR コードの検知とデコードを行った

りして、自動でコンテンツのメタデータを提供しています。

これにより、例えば Orion と連携した NG 画像 ( 利用規約違反画像 ) の抽出や、画像の無断転用の検知など、サービスの品位

プロダクト紹介 AI 事業本部

Product introduction

低下の防止や品質向上に貢献しています。

112

Member

使用している主な技術

ML Engineer: 開発・運用担当

Java, Python, Spring Boot, Flask, gRPC, Protobol
Buﬀers, Kubernetes, OpenCV, FFMpeg

NG 画像フィルタ
解決したい課題 / ユースケース

主にメディア事業の各サービスにおいて、健全な運営にそぐわない画像コンテンツ ( ここでは NG 画像と呼びます )、とりわけポルノやグロテスク画像、また出会い目的の連絡先を載せた画像などが投稿されることがあります。それらのコンテンツを投稿後すべて人手でチェックすることは大変非効率であり、費用も大きくかかります。Corona のプロジェクトの 1 つである NG 画像フィル

タは、過去チェックした画像を学習データとしてモデルを生成し、そのモデルをベースとして新たに投稿されるコンテンツを推論し、NG 画像の可能性を出力します。NG 画像の可能性が高いコンテンツのみを人手でチェックするようにしたことで、チェックする枚数が従来の半分以下になり、コストの効率化が図られました。さらに、サービスによってはユーザがコンテンツを投稿した後表示

プロダクト紹介 AI 事業本部

Product introduction

する前に API を通じて NG 画像フィルタを利用することで、サービスの品位低下を自動で防ぐこともできるようになっています。

113

Zumwalt（データアクセス基盤）

メディア / 横軸基盤システム

多様なデータへの効率的なアクセスを実現する
データアクセス基盤
技術タグ : データアクセス スキーママッピング NoSQL
Zumwalt は宣言的なスキーマ定義のみで様々なデータをテーブルとしてアクセスする API を実現するデータアクセス基盤です。
3 層スキーマにおける論理スキーマと物理スキーマのマッピングを宣言的に定義することで、様々なフォーマットのデータを関係モデルとして統一的に扱うことを可能にしています。

プロダクト紹介 AI 事業本部

Product introduction

これにより HBase などの key-value ストア上のデータを関係モデルとして扱うことが可能になります。

114

Member

使用している主な技術

Software Engineer: 開発・運用担当

Java, Spring Boot, Apache HBase, Kuberneteskey-value ストアを利用したアプリケーションの開発・保守を低コスト化
解決したい課題 / ユースケース

メディア事業では様々なサービスを提供しており、ユーザの行動ログなどのデータが大量に発生しています。これらのデータを効率的に処理するために HBase などの key-value ストアを利用することが多々あります。key-value ストアを利用したアプリケーショ

ン開発は関係モデルで表現されるアプリケーションデータと key-value の変換処理が必要になるため、関係データベースのみを用いたアプリケーションに比べて複雑になります。

また、この変換処理はアプリケーションによって異なり、アクセスパターンの変更には変換処理自体の修正が必要となります。そのため技術的負債や属人化の原因になるという課題がありました。この課題を解決するために、Zumwalt ではスキーマを宣言的に定義するだけでアプリケーションデータにアクセスできるようにしています。

つまりアプリケーションデータと key-value の変換処理を自動化しています。Zumwalt がスキーマを定義したファイルを管理することで、アプリケーション開発者は変換処理の実装を行うことなく、Zumwalt を通して簡単にアプリケーションデータへのアクセスを行うことができます。

もしアクセスパターンに変更があった場合でもスキーマ定義を変更するだけでよいということになります。そのため、key-value ス

プロダクト紹介 AI 事業本部

Product introduction

トアの知識がない開発者でも key-value ストアを利用したアプリケーションの開発・保守が可能となっています。

115

Annotator（アノテーション基盤）

メディア / 横軸基盤システム

操作性の良いインターフェースとアノテーションデータを容易に扱うためのデータフローを提供するアノテーション基盤

入力される
ラベル数

6000
件/月

技術タグ : アノテーション 画像処理

自然言語処理Annotator はアノテーション作業のためのインターフェースとデータフローを提供するシステムです。Annotator は操作性の良い

インターフェースによって効率的な作業を可能とします。インターフェースはカスタマイズ性を備えており、様々なタスクに対応しています。また、Annotator はアノテーションデータを容易に扱うためのデータフローを提供し、データの分析や活用を促進してプロダクト紹介 AI 事業本部

Product introduction

います。

116

Member

使用している主な技術

Software Engineer: 開発・運用担当

Vue.js, TypeScript, Java, Spring Framework, Python

効率的な作業を可能にするインターフェース
解決したい課題 / ユースケース

従来はアノテーション作業が必要な際、アノテーションデータをスプレッドシートで管理することがありました。しかし、スプレッド

シート上でのアノテーション作業は効率が悪く、入力ミスなどが発生することが課題でした。そこで、DTL はアノテーションシステ

ム Annotator を開発しました。Annotator はアノテーション作業のためのユーザインターフェースを提供するシステムです。専用のインターフェースによって煩雑な操作を軽減し、効率的なアノテーション作業が可能になるほか、適切な入力コントロールを用意することでデータの入力ミスや表記揺れなどの問題も解決することができます。また、インターフェースは高いカスタマイズ性を備えており、様々な分野でのアノテーションに対応できます。テキストに対してラベルを付与するもの、画像のなかの矩形領域に対してラベルを付与するものなどをサポートしています。アノテーションタスク独自の特別なインターフェースが必要な場合も、プラガブルな設計により最小限の実装で新たなインターフェースが追加できます。たとえばブログ記事がスパムかどうかを判別する
アノテーションでは、Web ページに対してラベルを付与するアノテーションを実現しています。

データフローの自動化
解決したい課題 / ユースケース

アノテーション作業のためには、作業対象となるデータの取り込みやアノテーション結果のデータウェアハウス（DWH）への格納などのデータフローが必要です。Annotator はアノテーションを取り巻くデータフローを自動化することで、継続的なデータ作成を支えています。データフローは大きく 3 つに分かれています。1 つはアノテーション対象となるデータの取り込みです。データはCSV ファイルから取り込めるほか、DWH から直接データを取り込むこともできます。DWH からの取り込みの場合は Hive クエリ

によって、データのサンプリングロジックや前処理を柔軟に記述することが可能となっています。2 つめは抽出したデータのアノテーション作業担当者への割り当てです。あらかじめ作業者ごとに作業するデータ件数を設定しておき、その設定に基づいてデータが割り当てられます。1 つのデータを複数人に割り当てることも可能で、作業した結果を照らし合わせることでより信頼性の高いデー

タを得ることができます。最後はアノテーション結果の格納です。日次バッチによりアノテーション結果は DWH に格納されるため、アノテーション結果を逐次的に利用することができます。格納されたデータは機械学習の学習データとなるだけでなく、分析・レポー

プロダクト紹介 AI 事業本部

Product introduction

ティングなどにも用いられています。

117

Kafonメディア / 横軸基盤システム

データ転送におけるタスクを
プラガブルに選択できるストリーム処理基盤

転送処理の最大秒間ログ転送数（全転送処理合計）

6

万records/sec

1 日の転送ログ数（全転送処理合計）

25

億件

技術タグ : ストリーミング処理
Kafon はデータの入出力・変換・フィルタリングなどのタスクをプラガブルに選択できるストリーム処理基盤です。

Kafon では Kafka や HBase、BigQuery などのデータ入出力やデータの加工・フィルタリング処理をタスクとして提供しています。
利用者は Kafon が提供するタスクの組み合わせを実行時に指定することでデータの転送や前処理を容易に実行することができプロダクト紹介 AI 事業本部

Product introduction

ます。

118

Member

使用している主な技術

Software Engineer: 開発・運用担当

Apache Flink, Apache Kafka, YARN, Apache HBase,
BigQueryデータ転送を容易に実行できる基盤提供

解決したい課題 / ユースケース

データ活用に関連するシステムはオンプレミスの Hadoop クラスタや Public Cloud 上のシステムなど様々で、データの利用目的に合わせて適切なシステムへ転送する必要があります。また、データの種別、用途などによってフィルタリングやデータ変換などの前処理が求められます。データ転送用のミドルウェアを用いることで、これらの目的に応じたデータ転送を実現できますが、転送設定が複雑になったり設定の管理が属人的になるなどの問題がありました。Kafon はデータの入出力、変換、フィルタリングなどのタスクをプラガブルに選択できるストリーム処理基盤となっており、事前に用意されたタスクから必要なタスクを組み合わせて転送処理を実現することができます。選択するタスクの組み合わせを DSL で実行時に決定できる様にすることで容易に前処

プロダクト紹介 AI 事業本部

Product introduction

理を含むデータ転送を提供する狙いがあります。

119

Hibiki

メディア / 横軸基盤システム

複数データソースを一元管理する
人物データベース

管理している人物
約45

万人

技術タグ : 検索 データアクセス アノテーション
Hibiki は人物に関する複数のデータソースを統合して一元管理するデータベースです。システムの主な機能としては人物の基本

情報の取り込みや、名称 ( ニックネームや呼び名 ) の追加、複数ある人物や名称を統合する名寄せなどがあります。またテキス

プロダクト紹介 AI 事業本部

Product introduction

ト中に現れる名称を曖昧性のない ID の形で返却する機能もあります。

120

Member

使用している主な技術

Product Manager: 連携サービスの開発計画を元に人物管理の

GoLang, AWS, Terraform, GitHub Actions, React.js,

観点で課題を整理し、それを解決するための機能をメンバーとや

りとりしながら策定しています。

Solutions Architect: サービスへのヒアリングを通して人物管理の技術支援を行います。

Backend Engineer: サーバサイドの設計・実装を行います。

Frontend Engineer: クライアントサイドの設計・実装を行います。

TypeScript人物・名称の管理解決したい課題 / ユースケース

メディアサービスでは番組やブログなどに紐付く人物を構造化された状態で保持することは重要です。例えば推薦やデータ分析において、ある番組の登場人物が他のどの番組に出演していたかを調べる場合、単なる文字列検索を行うと別名に対応できないことや人物と関係ない文字列にヒットしてしまう問題が生じます。そのため人物を適切な形で ID に変換してデータベースに格納する必要があります。この ID 変換については 1. ニックネームや呼び名が新たに登録されても対応する人物に正確に紐付けることや
2. ある愛称が使われなくなった場合に他の愛称に統合 ( 一種の名寄せ ) できることや 3. 複数の人物データベースを整合性を担保させた状態で統合させることなどを担保させる必要があります。Hibiki は先ほど述べた課題を、人物そのものを表す人物 ID と、その人物の呼称を表す名称 ID とそれらの関係をデータベースとして保持することにより解決しています。また人物や名称の追加・変更については人手作業も多く含まれるためアノテータとやりとりをしながら手順を確立させてきています。

テキスト中の人名の ID 紐付け
解決したい課題 / ユースケース

Hibiki は人物や名称の ID 変換やそれを用いた検索に加えて、テキスト中に出現した人名を ID に紐付ける機能があります。例えば新しい未来のテレビ「ABEMA」の番組説明には出演者情報の記載がありますが、Hibiki では、この出演者情報に対して同一呼称の曖昧性解消を行った上で出演者の名称 ID 対応付けをしています。現時点で対応付けは基本的なルールベースのものとなっプロダクト紹介 AI 事業本部

Product introductionていますが、将来的には系列タグ付けや知識グラフを用いたより精度の高いものへ移行しようと考えております。

121

CIU ML Platform

グループ IT 推進室

GPU 枚数 (A100)

48

基

GPU 枚数 (T4)

11

基

削減コスト

400
万円以上 / 月

技術タグ : MLOps 基盤
ML Platform は全社員が利用できる機械学習基盤であり、DGX A100 などの GPU を搭載しています。本基盤では GPUaaS と呼ばれる GPU がアタッチされた Jupyter Notebook を払い出すサービスや、CIU AI Platform と呼ばれる学習スクリプトの実行から推論エンドポイントのデプロイまでコードベースで管理できるサービス（GCP AI Platform 互換）を提供しています。

Member

使用している主な技術

Product Manager: 要件定義とタスク管理、ロードマップの策定、Kubernetes, Kubeﬂow, Katib, KServe, Istio, Knative,

プロダクト紹介 AI 事業本部

Product introduction

利用者とのコミュニケーション

122

Software Engineer:GPUaaS と AI Platform の新規機能開発・運用、関連 OSS の機能・性能検証

ML Engineer:ML Platform に関する記事執筆、技術サポート、
ドッ

グフーディング

Argo CD, Argo Workﬂows, Gatekeeper, Go, Python,gRPC, grpc-gateway, Etna ( 内製基盤 )迅速な最新 GPU の提供とコスト削減

解決したい課題 / ユースケース

GCPやAWSでは MLソリューションが展開されています。ただ、その中で問題となるのが GPUリソースの在庫です。一般的にパブリッ

ククラウドにはクォータがあり利用できる GPU の枚数が制限されています。また、新しい GPU は提供までに時間がかかるため、満足のいく学習が実行できないことがあります。さらにもう一つの問題としてコストが挙げられます。2022 年 7 月現在、GCP では NVIDIA A100 1 基で約 $3/ 時間（追加で CPU・メモリ課金が必要）であり、大規模な実験を行うと、いつの間にか数百万円

規模の金額になってしまうことがあります。こういった問題点を解決するために CIU では GPU 専門チームを設立しました。本チー

ムでは最新 GPU 情報のキャッチアップを始め、ご利用いただいているユーザーへのヒアリング、利用率の可視化などをもとに購入・運用計画の議論を行っているため、迅速に GPU を増設できる体制が整っています。また、機器調達では妥協せず交渉を行い、GCP と比べて 3～5 割減のコスト感を実現しています。現在 NVIDIA A100 を 48 基搭載しており、新しい世代の GPU も含めて増強を進めていく予定です。

ML Platform のパブリッククラウドとの親和性と活用例

例として CIU AI Platform は GCS や S3 をハブとして利用するように設計しています。これにより前処理は GCP Dataﬂow で実行

して学習のみを本基盤でおこなったり、GCP Vertex AIで学習済みモデルを本基盤にデプロイすることも可能になっています。また、この性質を利用して GCP と本基盤の両方に推論エンドポイントをデプロイし、障害時に推論リクエストをオフロードすることも可能になっています。また、ML PLatform は機械学習基盤と謳っていますがその他領域にも利用することができます。例えば、
GPUaaS ではユーザーが用意したコンテナイメージを起動することができるので、ﬀmpeg などを含んだ GPU コンテナを払い出すことで動画系の処理が可能になります。他にも CIU AI Platform の Training をシンプルなジョブ実行基盤と見なすことで、
Blender などをデプロイするジョブを流してリモートから CG 系の作業をすることも可能になっています。

プロダクト紹介 AI 事業本部

ML PLatform はパブリッククラウドとの親和性を意識して設計・実装しているためハイブリッド構成が可能になっています。そのProduct introduction

解決したい課題 / ユースケース

123社員インタビュー

新卒 � 年目が � から挑んだ MLOps 基盤構築
株式会社 CAM

株式会社 CAM ではエンタメ、ライフスタイル、ビジネスバラエティメディアを主軸とした多数の Web サービスを展開しており、いくつかのサービスに対して機械学習によるレコメンドロジックが提供されています。この社員インタビューでは、新卒 2 年

目の機械学習エンジニアである原が新卒 1 年目で主導した MLOps 基盤構築に関して、さらに CAM でデータ活用や機械学
習に取り組むことの魅力についてご紹介します。

株式会社 CAM 機械学習エンジニア

原 和希

Kazuki Hara2021 年に株式会社サイバーエージェントへと新卒入社。
子会社である株式会社 CAM に配属後、機械学習エンジニアとして toC 向けのプロダクトにおけるレコメンドロジックの開発および、
それらを運用するための MLOps 基盤の構築 / 運用に従事。

CAM の機械学習を次のフェーズへ
CAM に私が配属された際には、既に社内のデータ基盤が整備されており、機械学習のための学習データを用意することが可能な状況でした。また、レコメンド
用の API も開発されており、CTR 等の配信実績ベースのレコメンドが導入されていました。さらに、GCPや AWS、Azure で提供されているパーソナライズレコ

メンドのフルマネージドサービスを活用したレコメンド
社員インタビューも導入されており、高い効果を発揮していました。そ124のため、機械学習によるパーソナライズレコメンドが売上等の向上に寄与することは確認出来ていました。

しかしながら、機械学習エンジニアやデータサイエンティストが開発した、オリジナルの機械学習ロジックをサービスへと導入するための仕組みがありませんでした。

フルマネージドのレコメンドサービスは用途が限られていることや、内部のアルゴリズムが公開されていないため、ロジックの改善

はクラウドベンダーに委ねられてしまいます。一方で、オリジナルの機械学習ロジックを開発することで多くのメリットが得られます。

それは、使用するモデルを柔軟に指定することが出来ることや、学習 / 予測結果に任意の処理を加えることが出来ること、サービスのドメイン知識を踏まえたモデルを作ることが出来ることなどです。これにより、
レコメンドロジック改善の幅を広げることが出来ます。
以上のことから、私が配属された頃の CAM では、機械学習によるレコメンドの効果を高めることを目的として、機械学習エンジニ

アやデータサイエンティストが開発したオリジナルの機械学習ロジックを運用するための環境が求められていました。

機械学習を継続的に運用し、ユーザーに価値を届けるためにオリジナルの機械学習ロジックを運用するための環境を実現するために、私は新卒 1 年目で MLOps 基盤の開発を主導して取り組みました。MLOps とは一般的に、機械学習システムのプロダクトへの導入とその管理を円滑 / 迅速化するための技術とアプ

ローチのことを指します。

機械学習システムというと、モデルを学習する処理を思い浮かべる方が多いかと思います。

しかしながら、これは機械学習システムを構成する要素のうちの一部分であると知られています。その他にも多くの処理が必要であり、複雑に入り組んでいるのです。それら処理には、モデルの精度監視や後に生成物を追跡出来る仕組みも含まれます。
MLOps 基盤の責務はこれらを統合的に管理 / 運用可能な環境を提供することです。

MLOps 基盤があることで、機械学習エンジニアやデータサイエンティストは開発したモデルを迅速にサービスへ導入して、改善を繰り返すことができます。更に、継続的に最新のデータでモデルを再学習すること、そしてモデル間の A/B テスト、モデルの精度劣化や特徴量の異常を検出することも可能になります。

これらのメリットから、
MLOps は「安定して機械学習モデルを運用する上での必須技術」になっていると私は考えています。そして、この基盤はオリジナルの機械学習ロジックを開発 / 導入し、改善サイクルを回すことを目指す CAM にとって、必要な基盤であったと言えます。

最新のマネージドサービスを活用した MLOps 基盤
MLOps を実現するための技術・フレームワークは様々ありますが、Google Cloud の VertexAI を採用して基盤の構築を進めまスが下記の図のように網羅的に存在しています。弊社ではいち早く検証を行い、リリースから約半年後に本番稼働を開始しました。

このようにスピード感をもって MLOps 基盤を構築できたのは、マネージドサービスを活用したことによるメリットと、CAM に最新の技術を積極的に検証・導入する文化があってこそだと思っています。

社員インタビュー

した。VertexAI は 2021 年の 5 月頃に GCP 上でリリースされたサービス群となっており、MLOps を実現するための各種サービ

125

この VertexAI を採用した理由は主に 4 つあります。まず 1 つ目は、先程も述べましたがフルマネージドなサービスであるため、
素早く基盤を作成出来ることです。2 つ目は連携が容易なことです。弊社ではデータ基盤が GCP にあるため同環境が理想と考えました。3 つ目はパイプラインの機能である VertexAI Pipelines が OSS の KubeFlow Pipelines と互換であることです。

これにより、Kubeﬂow 用に公開されたコンポーネントの再利用が可能となります。

最後は、各コンポーネントのマシンスペックを柔軟に指定することが出来ることです。機械学習パイプラインでは GPU や多くの CPU、メモリが必要になることが多々あるため、こちらも重要なポイントであると考えました。以上の理由から VertexAIを採用しました。しかし、基盤構築当時の VertexAI はリリースされたばかりのサービスであったため、活用事例やドキュメ

ントが少なく、構築に困難も伴いました。しかし、実際に手を動かして検証 / 開発を進めていく過程は貴重な経験になりました。
加えて、手詰まった箇所に対して自分なりの解決策を考えることや、チームメンバーや GCP のサポートと議論することなど、

エンジニアに必要なマインドを鍛えることも出来ました。また、培ったノウハウを技術ブログや講演という形で社外にアウトプッ

トし、コミュニティへの貢献を行うことができたのもよい経験となりました。

MLOps 基盤を導入した結果
下記の図のような MLOps 基盤を構築 / 運用した結果、オリジナルの機械学習モデルを無事リリースすることが出来ました。

現在では、
この MLOps 基盤を用いて複数のモデルにおける「学習用データの生成 / 管理～予測結果の提供 ( オンライン・バッ

チ )」の処理を定期的に実行しています。これによって、オリジナルのパーソナライズレコメンドを日々サービスへと提供し、改善のサイクルを回しています。また、レコメンドロジックの開発も私自身が行っています。

基盤からモデル開発までに一貫して取り組むことが出来る点が CAM の機械学習エンジニアの特徴だと思います。しかし、MLOps 基盤としては、まだ不足している機能もあります。そのため、VertexAI は勿論、他の技術も視野にいれて技術選
社員インタビュー

定と機能拡充をしていきたいと思います。

126

これは私がサイバーエージェントへの入社以前から考えていた、機械学習を活用した機能提供の全ての処理に関わりたいという理想に近く、非常に魅力的な環境で貴重な経験と成長機会をいただいています。

新卒 � 年目での挑戦と成長
入社前の私はクラウドサービスに精通したエンジニアではなく、ほとんど触れたことがない状態でした。私のバッググラウンドは

機械学習系の研究や Kaggle で培った機械学習モデルを開発・改善するスキルでした。そのため、機械学習の価値をサービスに届けるためのスキルが不足していました。

CAM に入社してからは、経験豊富な先輩エンジニアの元、MLOps 基盤やデータ基盤の開発、Google Cloud の認定資格である Professional Data Engineer の資格獲得など、クラウドサービスの活用スキルを格段に伸ばすことが出来ました。
何よりも、今回紹介した VertexAI を活用した MLOps
基盤構築は自身が主導して取り組み、0 から進めた初めてのプロジェクトとなっており、大きな成長実感を感じることが出来ました。

まだ経験値のない私に、基盤開発を任せてくれたチー

ムメンバーには非常に感謝しています。これはサイバー

エージェントの「若手が挑戦できる文化」があってこそだと思います。

CAM で機械学習エンジニアをすることの楽しさ
最後に CAM で機械学習エンジニアをしていて感じている楽しさについてお話します。
CAM の機械学習エンジニアはモデル開発にとどまらず、データ収集や基盤の開発を行い、サービスに届けるまで責任を持って進めることが求められます。これは、私にとって非常に楽しく、成長を感じる点です。
また、CAM のデータ組織は、出来てから年月がそこまで経っていないチームです。

そのため、社内のデータ / 機械学習活用を 0 から作り上げていく経験をすることが出来ています。どのようにビジネスに活用され、実装をしていくか、という点を考えるのは困難なこともありますが、貴重な経験です。

さらに CAM では、エンタメ、ライフスタイル、ビジネスバラエティメディアを主軸とした多数の Web サービスを展開しています。
エンタメ領域の趣味を持つ私としては自分の好きな領域のサービスに関わることができるため、モチベーション高く業務をしています。

サービスの課題に対して、ログデータなどを根拠として仮説を出し、データ分析や機械学習モデルへと落とし込むことは非常にやりがいのある業務です。

今後はより一層、ユーザーの行動や趣向を捉えた分析やモデル開発に力を入れていき、ユーザー体験の向上、それによる業務貢献を達成していきたいと思っています。
参考資料
CA BASE NEXT2022「VertexAI で構築した MLOps 基盤の取り組み」
https://www.cyberagent.co.jp/techinfo/info/detail/id=26111

CAM Tech Blog「Vertex AI を活用した MLOps の実現【前編】」
CAM Tech Blog「Vertex AI を活用した MLOps の実現【後編】」
https://cam-inc.co.jp/p/techblog/582427719648674619

社員インタビューhttps://cam-inc.co.jp/p/techblog/582520922968163131

127

社員インタビュー

強化学習を当たり前の選択肢にしたい

ー利益を最大化する技術「強化学習」の実応用に向けてー
AI LabAI Lab リサーチサイエンティスト

AI Lab リサーチサイエンティスト

阿部 拳之 kenshi Abe

森村 哲郎 Tetsuro morimura2017 年に東京工業大学大学院総合理工学研究科を修了後、株式会社ハル研究所でゲーム開発に携わる。
2018 年にサイバーエージェントに入社し、現在は AlLab の強化学習チームのリーダーとしてマルチエージェ
ント強化学習、不完全情報ゲームに関する研究に従事。

2021 年からサイバーエージェント Al Lab 研究員。広告や強化学習に関する研究に従事。2008 年に奈良先端科学
技術大学院大学にて Ph.D. 取得。2008 年から 2021 年まで IBM 東京基礎研究所研究員。著書に「強化学習 ( 機械
学習プロフェッショナルシリーズ )」( 講談社 , 2019) や「これからの強化学習」( 共著 , 森北出版 , 2016) などがある。

実サービスにおける、利益を最大化する意思決定が可能な技術ー「強化学習」ー。

ビジネス上、重要な技術でありながら、一般的には実用化においてハードルが高いとされています。

「AI Lab」にジョインし強化学習の社会実装を行う阿部と、同チームにて研究を行う「強化学習」（機械学習プロフェッショナ

ルシリーズ）」の著書でもある森村に、サイバーエージェントだからこそ実現できる強化学習の実用化、目指す未来について聞いてみました。

異分野から強化学習の研究へシフトした２人が考える「強化学習」
おふたりが「強化学習」を研究し始めたきっかけについて教えてください
森村 : 私はもともと生物寄りの研究をしていて、ある時から、もう少し生物をシステマティックに理解したいという気持ちが芽生え、

社員インタビュー

そこから脳や強化学習を研究し始めました。

128「脳をつくることで脳を理解する」という川人光男先生と銅谷賢治先生らの考えに感動し、人や生き物が行動を学んでいくときのモデルとして強化学習がフィットするのかなと思ったのが入り口でした。

阿部 : 森村さんが書かれた著書「強化学習（機械学習プロフェッショナルシリーズ）」は非常に有名で、机の上にもずっと置いてあるくらい愛読させてもらってたので、まさか今こうして一緒に働いているとは昔の僕からしたら想像がつかないです（笑）僕自身

も元々は制御工学を専攻していましたが、その際に強化学習によって制御を行う研究の存在を知り、徐々にそちらの研究へシフトしました。

「強化学習」を活用すると、どのようなことが可能になるのでしょうか？

阿部 : 実際のサービスにおける、利益や利得を最大化する意思決定をすることが可能です。もう少し具体的には、最終的な成果や利益を最大化するために、個々の経験から学習して、その後の行動を最適化し続けていく、「走りながら考えるタイプの学習方法」が強化学習です。
長期的な視点で意思決定の最適化ができる技術と言えるでしょう。従来のデータサイエンスでは「教師あり学習」という学習手法を用いて 1 つの施策における予測の誤差を減らすことに注力をしますが、目的を紐解くと実は本質的に達成したいことは「利益などの指標の最大化」で、実は強化学習の枠組みとして考えるほうが適していることが多いのです。例えば、あるサービス等でキャンペーンを打つ際、そのキャンペーンの効果を予測するモデルを学習させることはよく行われると思います。しかし多くの場合、キャンペーンを打つ理由は売上を上げるためだと思うので、本来は売上を上げるキャンペーンの打ち方とはなにか、ということを考えなければいけません。強化学習の枠組みとして捉えると、このような問題を扱うことが可能になります。

結局行き着くところは強化学習が必要になってくる「強化学習」はどんな領域で適応できるのでしょうか？
森村 : 強化学習はデータから意思決定モデルを学習しますが、ビジネスは意思決定の連続なので、問題を単純化し過ぎずに捉えると、自然と強化学習の枠組みが必要になると思います。なので、強化学習はデータが取れるほとんどのビジネス・サービスに適用されるべきだと思っています。

本当は何がしたいのか・何を最大化 / 最適化したいのかを考えた時に、強化学習の枠組みとして考えると解決できることが結構あったりします。例えば、サイバーエージェントでは広告に強化学習を適応していますが、それ以外にも多くの分野に展開できると思っています。弊社が展開しているクリエイティブ制作・小売領域の DX・無人店舗・ロボット接客など、自動化において最終的にどうすればユーザーの顧客体験や満足度・幸福度が上がるのかという課題設定に対し、強化学習だと最適な KPI に落とし込んで意思決定のルー

ルにしていくことが出来ると思うんです。結局、行き着

くところは強化学習が必要になってくるので、他チーム
やプロダクトと連携して、わくわくするような強化学習

社員インタビューの成功事例を作っていきたいです。

129一方で、実際の実用化は難易度が高いという印象があります。
阿部 : 実用化にはハードルがあるなというのが、まさにこれまで感じていたところでした。一般的には、学習のアルゴリズムの方に目が行くため実装が重く難易度が高いという印象があることに加えて、そもそもサービスの課題解決において強化学習問
題の枠組みとして捉えられるということ自体が感覚的に分からず、話にすら出てこないということもあります。

こうした問題解決のためにサイバーエージェントでは DSOps 研修を行っており、僕もその中の意思決定を取り扱うパートで講義をさせてもらっていますが、世の中的に見るとここまで取り組んでいる企業は少ない印象があります。研修のような取り組み

をこれからも続けることで、「この課題って実は強化学習問題なのでは？」という思考を浸透させていきたいです。

森村 :「教師あり学習」に比べると、必要なデータ数がどうしても多かったり、使うための準備が大変だったり。強化学習を入れてみようというアイディアが出ても、いざ実装しようとするとたくさんのステップを踏む必要があり、かつそれができる人がいない。

なかなか強化学習を入れたくても入れられないという現状があるのかなと思います。

また、他の AI 技術以上に、強化学習理論と実問題にギャップがあり、そのギャップを埋める研究やデータサイエンスが必要になったりすることも実用化を困難にしていると思います。

ロボットの制御やゲーム分野など一部では強化学習は使われ始めていますが、実応用という意味ではまだ世間的にも少ないのが実情なのではないでしょうか。

ただ一方で、うまく活用が進む領域もあると思っていて、「広告」はその意味でかなり応用しやすいエリアなのかなと思っていました。

実装力・サービスとの連携・ドメイン、全て揃うからこそチャレンジできる実用化だからこそ、強化学習と相性の良い「広告」にチャレンジできるサイバーエージェントを選んだのでしょうか。
森村 : はい、まさにサイバーエージェントにきた理由につながります。広告であれば、広告を打った後のユーザーの反応がある
程度スピーディーにとれて学習に活かせます。強化学習をオンライン環境で動かすことがすぐに出来ますし、また強化学習は失敗しながら学習するアルゴリズムなのですが、多少の失敗は許容されます。そういった意味で自動運転やロボット制御など失敗のコストが高い領域に比べ広告は強化学習と相性は良いのかなと。

入社については、阿部さんのようにゲーム理論やマルチエージェントなど幅広い知見がある方もいれば、安井さん・森脇さん・
加藤さんなど経済学の側からビジネスやプロダクトの意思決定の重要性について言及しているメンバーがいる AI Lab という組織に強く魅力を感じたのも 1 つの理由でした。

実際のプロダクトと密に連携していると聞きます。どのように強化学習を活用しているのでしょうか。
阿部 :Dynalyst の金子さんと連携して Web サイトに訪れたユーザーの情報や広告クリエイティブの情報をもとに、バンディット

アルゴリズムを適用していく研究を行っています。最近では、実際に Dynalyst で私達が提案したアルゴリズムを適用するところまで持っていくことができ、強化学習の応用事例の経験を積んでいっています。特に、応用事例ならではの「やってみないとわからなかった」難しさを知れたことは今後にとって貴重な経験になると思います。その他には、マルチエージェント強化学習の研究をしており、例えば広告オークションのように複数人の意思決定者が存在するような状況で、どのような意思決定をとった

ら良いのかを学習させるような分野について研究をしてます。電通大の岩崎先生とも共同で研究をやらせてもらっていますね。

森村 : 阿部さんが研究するところって、かなり研究人口が日本でも少なくて。そこを 1 人で切り開いていってるなという印象なんです。自分の守備範囲を決めずに何か必要と感じれば、難しいエリアも臆せず進めていくのはすごいと思いますし、一緒にチームとして働いていて面白いですね。私は極予測 TD 関連で、AI Lab の張さんや大田さんなどと一緒に、広告文の生成を効率化

社員インタビュー

するための強化学習を研究開発しています。広告以外にも CG 領域・小売・スポーツ DX に関してなど幅広くディスカッションす130

る機会があるのですが、どの領域でも強化学習を活用できる可能性は無限大にあるなと感じます。

強化学習の実用化において、手応えはありますか？

阿部 : これまでの環境では難しかったことが、サイバーエージェントで今トライできていると感じています。やはりサービス側にいるデータサイエンティストメンバーの強化学習に対する理解があること・さらに実装力あるメンバーが多いことが、そもそもすごい環境だと思います。

森村 : 入社して驚いたところとして、社内でチームを超えてコミュニケーションをする距離がすごく近いんです。強化学習はプロダクトで実装していく上での密な議論は不可欠なのですが、そういったところもやりやすい環境でした。AI Lab

単体でも、皆さんそれぞれ得意なところで尖っていて、

ディスカッションさせてもらうと学びも多く楽しいのですが、研究組織を超えてもそれが感じられる環境です。

阿部 : フラットに情報が収集でき、気軽に相談ができる、

そして社会実装に前向きなカルチャーだからこそ、強化
学習の実導入もどんどん進んでいます。

強化学習を当たり前の選択肢にしたい
今後やっていきたいことは？

阿部 : とにかく、プロダクトに導入する事例を増やしていきたいなと思っています。それはアルゴリズムを実装するのもそうだし、強化学習の枠組みとしてそもそも捉えられますという課題設定の事例を作っていきたい。

サイバーエージェントの中で、最初から意思決定について考えるときに、強化学習の枠組みとして捉えるのがいいよねっていうようなことが当たり前になっていくようにしていきたいなと思っています。

森村 : そういう意味でも、実装していく上でボトルネックになるようなところを取っ払う研究みたいなところはやっていきたいですね。

そして最終的には、サービスへの実用化を通し強化学習技術を社会に還元していきたいです。
それがサイバーエージェントならできると思っています。

阿部 : そのためにも、強化学習チームとして、ビジネスの利益の改善を前提とした研究開発や事例適用をこれからどんどん行っていきたいと考えており、現在、一緒に働くリサーチエンジニアの方を募集しています。

社員インタビュー

強化学習の事例適用に携わりたい、と思っている方に是非来ていただきたいですね。

131

社員インタビュー

ビジネスの現場で価値を出すデータサイエンティストへーサイバーエージェントの「DSOps 研修」とはー
AI 事業本部

Dynalyst / Data Science Center

Dynalyst

東京大学経済学研究統計学コース修士課程で計量経済学と因果推論を学び、2018 年サイバーエージェント入社。入社後は新規事業の立ち上げ従事し、AI 事業本部「Dynalyst」へ異動後は広告配信アルゴリズムの開発に従事。現在はDynalyst データサイエンスチームのリーダーとData Science Center ボードメンバーを兼務。

京都大学大学院情報学情報学研究科知能情報学
専攻修士課程で機会学習やデータマイニング手法を学ぶ。学生時代にAI Lab のリサーチインター
ンシップへの参加を経て、2020 年サイバーエー
ジェント入社。「Dynalyst」で広告配信アルゴリ
ズムを担当。昨年は新卒として「DSOps 研修」に参加、次期研修リーダーを担当予定。

金子 雄祐 yusuke kaneko

暮石 航大 Kodai Kureishi

AI 事業本部のデータサイエンス組織「Data Science Center」は、データを事業に活用することでビジネスインパクトに差をつける重要な役割を担っています。

今回は「Data Science Center」が行う施策の 1 つ、
新卒のデータサイエンティストを対象とした「DSOps 研修」にフォーカスし、どのようにデータサイエンスのスキル・マインドをスケールさせているのか、研修を牽引する金子・暮石に実態を聞いてみました。

「データサイエンス」と「ビジネス」を結びつける「DSOps 研修」
ビジネス実務の現場から見る、データサイエンティストのあるべき姿とは？
金子：「データサイエンスをビジネスにどう活かすか」をまず、考えられることが大事です。その上で、データを用いて事業社員インタビュー

課題を解決し、売上を作れる存在であるべきだと思います。僕自身、入社後に新規事業の立ち上げに携わった経験がある

132のですが、当時プロダクトがスケールせず悔しい思いをした経験から、データサイエンティストがより業界やビジネス構造を知り、そこから出来る提案や価値を増やすべきという思いになりました。

一方で、新卒をはじめ実務経験がないメンバーにとっては、そのスキルや考え方をすぐに習得するのは難易度が高いのではないでしょうか？

金子：実際のところ、入社後すぐに「データサイエンスをビジネスにどう活かすか」までを考えるのはハードルが高いです。なぜなら一般的に、データサイエンスの技術に関する教科書は大量にありますが「技術を使って正しくデータサイエンスの価値を生み出すノウハウ」に関する教科書はありません。そこで始めたのが、「DSOpS 研修」でした。
手法だけではなく、実際にデータサイエンスを使い「プロダクトの指標をどう改善していくか？」を考える研修が、「DSOps 研修」です。民間企業の KPI や売り上げなど
わかりやすい指標がある中で、どのような形で課題発見をしてどう対応すれば、真にプロダクトにとって価値のあるデータサイエンティストになり得るか、を独自の方法で学習できるプログラムを作っています。データサイエ

ンスを使ってプロダクトの KPI を改善し続けるための「身につけておくべき技術」を、入社後すぐに学ぶことができる場ですね。

数年前に発足した、AI 事業本部内のプロダクトを横断したデータサイエンティスト組織「DataScienceCenter」が行う施策の 1

つで、現在は僕と暮石が中心に担当しています。

具体的に「DSOps 研修」では、どんなことを行うのでしょうか？
金子：サイバーエージェント入社後の新卒のデータサイエンティストメンバーを対象に、約 3 ヶ月にわたり以下のような研修を行います。

DSOps 研修
実際にデータサイエンスの手法を事業 / ゴールに対し落とし込んでいくための 方法と考え方を学ぶ場

時期

プロダクト配属後の新卒メンバーに対し、約 3 ヶ月・週 1 回・2 時間にわたり実施

内容

前半：講義パート

データサイエンティストの実務における実タスク・AB テストやデータ活用の文化作り・応用的なデー

タサイエンスのトピックに関する講義例）因果推論・AB テスト・プロダクト内の DS 課題へのケーススタディ、課題に対してどのような動きをとれば売り上げに繋がるかの説明等

後半：ディスカッションパート

新卒がプロダクト配属後の自身のタスクやその実施理由、プロダクトの収益モデル等について説明。

それらの認識や改善案について講義を担当する先輩社員とディスカッションを実施
例）実際のプロダクトの収益構造をベースに、自分のタスクの修正をディスカッションをご覧ください 。

社員インタビュー

2021 年度の研修講義資料および詳細は、『新卒データサイエンティスト研修「DSOps 研修」とは何か ?』

133

暮石 : 僕自身、実際に去年は研修を受ける側だったのですが、最初は講義の内容にびっくりしました。まずお金の流れを意識し、そう考えた時にこんなデータ
サイエンスの課題があるよねというところから話が始まって…特に、「なぜ今のタスクをやってるのか」を徹底して問われる議論パートは印象的でした。研修開始時は、「自分自身のタスクがプロダクトの何を改善するのか」「そのタスクを実行することで売り上げが上がるのか？」といった、今考えれば当たり前のことを正確に言葉にできておらず ... それって、自分の仕事の価値がそもそも分かっていないってことだなと。自分のタスクがどの KPI にヒットし、さらにその新卒データサイエンティスト研修「DSOps 研修」とは何か ?

KPI の改善がどう売上に貢献するのかが分かってないと、データサイエンティストとして厳しいなと感じましたね。
金子：毎年、実際にこの研修を行うようになってから各現場でポジティブなフィードバックが来ています。

研修を通して学んだ、データサイエンティストが持つべき「視点」
ポジティブなフィードバックとは？
金子：新卒を受け入れる現場の声としては、新卒メンバーがデータサイエンスをビジネスの課題解決のためのものという前提の考えを持ってジョインしてくれるので、コミュニケーションやタスク設計がスムーズという話を聞きました。
暮石 : 実際に研修を受けた側としては、データサイ

エンティストという仕事の見え方に厚みが増したと感じます。僕自身、最初は「手法」にしか興味がないタイプだったので、研修を受けずに配属されていたら
ビジネスインパクトが小さい課題や、そもそも改善に繋がらないタスクに取り組んでいたと思います。

研修を通して、実サービスにデータサイエンスを応用していくには 1 人 1 人が責任者のような視点で課題を考えて仕事に落とし込むことができないと、データ

サイエンティストとしてやっていくのは厳しいことを痛感しました。実際、研修を受けたことでプロダクトの KPI の改善につながる課題設定を行う力が身についたと思います。
研修の学びが活きた具体的なエピソードはありますか？
暮石 : 研修の学びが活きたと感じたのは、配属後最初に任された仕事です。広告プロダクト「Dynalyst」での最初のタスクは、

クリックしてから購買（CV）に至る確率である ClickCVR の予測モデルの改善でした。最初は、ClickCVR 予測モデルの精度指標をオフラインのテストデータ上で改善すれば良いと思っていたので、精度指標を改善する方法を模索していました。

しかし、丁度このタイミングで DSOps 研修が始まり、研修序盤の議論パートで「取り組んでいるタスクの価値」を説明する必要があったのですが、なかなかうまく説明できませんでした。

そこで、研修で得た内容を参考に、そもそもどんなデータで自分のモデルを評価するべきなのかを整理し直しました。その結果、ビジネスから要求される” オンライン”（実際のサービス上）での精度の改善から逆算して適切にタスクを整理することができ、社員インタビュー

最終的に大幅なプロダクトの KPI の改善を実現しました。また、この結果が組織的にも認められ、社内で表彰をいただく機会

134にも繋がりました。

研修がなかったら、自分のデータサイエンスの知識がビジネスに繋がって、実際に事業貢献することは、新卒１年目の段階ではできなかったのではないかなと思っています。

今後の研修はどのような体制で行うのですか？
暮石 : 来年は、僕が金子さんからリーダーを引き継ぎ、研修をアップデートしていく予定です。

金子：毎年、研修を受けたメンバーが翌年の研修を行うことで、研修自体も委譲し、どんどんアップデートされています。生きた研修にすることで、文化も継承されていっています。

暮石 : 現状の状況を踏まえ、今後研修では、2 つの点を改修していきたいと考えています。

1 つは、研修の講義内容のアップデートです。現状だと先行的にデータサイエンスがビジネスに貢献できていた 1 ～ 2 個のプロダ

クトの事例から土台が作られています。事例の質としては高いのですが、事業領域が異なると応用するのが難しくなっています。幅広い事業領域を展開しているサイバーエージェントのデータサイエンティストを支えるには、研修のベースも広げていく必要があると思うので、その点をアップデートしたいです。研修を経たデータサイエンティストの事例も色々と出てきているので、これらを取り込みたいと考えています。もう 1 つは、研修で学んだことを活かす場を作ることです。現状では、配属先のプロダクトの環境に依存してしまい、実践することがそもそも難しいことが度々あります。学んだことを実践することで身につくと思うので、その点も更新したいと思っています。配属された新卒が一層、力を発揮できるような研修にしていきたいですね。

金子：「DSOps 研修」を全社的にスケールさせるには、組織形態やデータサイエンティストの裁量・事業内容によってカスタマイズが必要だということを実感していたので、今後のアップデートで、より良い研修になっていくのが楽しみです。

多様なアプローチで発展していくデータサイエンス組織へ
組織として今後新たにチャレンジしてみたいことはありますか？
金子：「新たなアプローチ方法」は常に考えていきたいと思っています。データサイエンスで何をするかを考える際に、「課題」から
考えるパターンと「手法」から考えるパターンがあるんですよね。どちらも良い面があって、「課題」から行くと、サービス課題に対する解き方が生まれるので、ビジネスに直結するインパクトがあります。ただ一方で、同じことを繰り返しがちなので、データサイ
エンティストとして解決できることの幅は広がらないという点もあります。

逆に解き方から考えて、それで解ける問題を探しましょうと言うのが、「手法ドリブン」のあり方です。これができるようになると、普段頑張って考えても気がつかないような、新たな課題を見つけることができるかもしれない、という利点があるんです。

暮石：「手法ドリブン」は成功例を作るのが難しいのですが、僕自身としては今後、手法を使うというゴールから逆算し、新たな可能性を広げるやり方にもチャレンジしていきたいです。幸いにも今のチームには、それができる組織の余力があると思っています。
最後に、おふたりが目指していきたいことを教えてください
金子：データサイエンティストが事業や経営企画にもっと入っていき、顧客のニーズを掴んだ上で実現可能かつ売れる機能を提案できる、わかりやすく言うと「お金を持ってこれるデータサイエンティスト」になること で、データ
サイティストの存在価値がもっと高まっていくのではないかと思っています。そういった意味でも、事業・営業企画にもっと僕らが入っていき、売り上げにコミットできる事例を増やしていけると強い組織になるのではないかなと思っています。

暮石：金子さんと同じく、ビジネスや売上のためのデータサイエンスを突き詰めていくのはもちろん、僕自身としてはやはり「手法ドリブン」でも何かを生み出せるようになってけると、更に面白い発見ができると思うので、その道を作りたいです。

金子：サイバーエージェントには、僕のような経済学出身のメンバー、暮石のような機械学習系出身のメンバーなどさまざまなバッ
色々なタイプの人が活躍できる組織の土台があるので、課題ドリブンでリアルな事業課題の解決を行うこと、手法ドリブンでイノベー

ションを生み出すことなど、幅を狭めず果敢にチャレンジしていきたいですね。

社員インタビュー

クグラウンドのデータサイエンティストがいます。

135

社員インタビュー

もし、視聴者の「もっと胸キュンしたい！」気持ちに寄り添う
レコメンドが「ABEMA」でできたら？
ABEMA「ABEMA」ではユーザーとコンテンツをより近づけるべく、機械学習を用いたレコメンドの強化やキャスティング支援システムの開発に取り組んできました。今日はその取り組みの 1 つである「動画コンテンツを数値情報に変換したレコメンド」の開発を担当する 2 人に話を聞いてみました。
ABEMA

上岡 将也 Masaya Kamioka2019 年新卒入社。研究開発組織「秋葉原ラボ」にて
メディアサービスの動画像データ利活用を推進。具体的には、タップルにおける画像判定自動化システムの開発・運用や ABEMA におけるユーザーとコンテンツの分析、推薦アルゴリズムの改善などを行っている。

ABEMA

若松 浩平

Kouhei Wakamatsu

2020 年新卒入社。研究開発組織「秋葉原ラボ」
にてメディアサービスの動画像データ利活用を推進。ABEMA のユーザーとコンテンツの分析、推薦のユーザー体験を目的とした動画特徴量の改善を担当。

新しい発見にあふれたレコメンドが新しいユーザー体験につながる「動画コンテンツから抽出した特徴量を活用したレコメンド」とは何を目的としたものですか？
上岡：これまで「ABEMA」のレコメンドは、視聴履歴をベースにした推薦アルゴリズムを採用していました。しかし視聴履歴のみを用いている限り、コールドスタート問題 (※1) であったり、視聴数は少ないけど好みに合うコンテンツがレコメンド候補に上がってこないという傾向があります。

参考：「新アイテムは行動履歴がないからレコメンドできない」モンダイを解決するには社員インタビュー「全てのプロダクトマネージャーが知っておくべき５つの機械学習の限界と対策」

136

これは、以前の記事でも触れられていた「パーソナライズドされているはずのトップページが、誰に対しても大体同じようなレコメンドになってしまう」現象が課題としてあがっていました。

その課題に対するアプローチとして取り組んでいるのが、以前紹介した株式会社ソケッツが提供するデータを活用したレコメンド
や、私たちが現在取り組んでいる動画コンテンツから抽出した特徴量を活用したレコメンドです。

動画コンテンツの中身を解析しレコメンドに応用できれば、視聴ログが蓄積されていない最新の作品や、視聴数は少ないけど好みに合う作品なども、ユーザーに届けることができます。

このように、潜在的ニーズを開拓する新しいレコメンドの形として、ユーザー体験の向上に繋げていくのが目的です。

若松：動画コンテンツはその特性上、「タグや属性」といった言語化できる特徴だけでカテゴライズしきれないほど情報が豊富です。
例えば「ABEMA」で配信しているアニメでは、スポーツやファンタジー、SF やヒューマンドラマなど様々なジャンルがあり、視聴者は作風や絵柄やストーリーや音楽など非言語的な要素を含めて惹かれ、作品の世界観に没入していきます。

私たちは、こういった「動画コンテンツ」が本来もっている「非言語的な要素」の魅力を分析し、検索やレコメンドに活用する事を目的にしています。

「理想的なレコメンド」とはどういうものをイメージしていますか？
若松：例えば「ABEMA」の人気コンテンツに「恋愛番組」というジャンルがあります。その中で、なかなか結婚に踏み切れない

恋人同士が 1 週間の旅に出て、
旅の終わりに " 結婚 " か” 別れ” を決断する「さよならプロポーズ」という番組を放送していました。
内容的には「切ない」や「胸がキュンとする」が特徴と言える作品です。

理想的なレコメンドを実現するに当たって、まずユーザーがどういった視聴傾向があるかを視聴履歴を基に分析しました。すると、「さよならプロポーズ」を見ている人は、同じ恋愛リアリティ
ショーの中でも、似た「切なくなる」傾向の作品をよく観ているという分析結果が得られました。このような「切なくなる」「胸がキュンとする」といった、非言語的な要素を基に別の作品をレコメンドできれば、ユーザーにとって価値のあるものになるのではないかという仮説をまず立てました。

作品の世界観が類似したものをレコメンドすることは可能か？
現在のレコメンドの精度はどのようなレベルでしょうか
上岡：アニメに関しては動画の解析結果から、作品の特徴を抽出することができています。アニメは、ほのぼのした絵柄の作品
は内容もほのぼのしていて、シリアスな作品は絵柄も内容に見合ったシリアス調になる。見た目の特徴と内容に一定の相関が見られることが多いです。

自分たちも驚いたのですがアニメを解析した結果、原作漫画を発行している出版社ごとに作品をきっちり分類することができました。画風や作風、出版社ごとの特徴といった「言語化しにくい特徴」をとらえて解析できたという事例です。

若松：他にも、メジャー第２シーズン（中学・高校前半）と一番関連のあるコンテンツが、メジャー第３シーズン（高校後半）となったのはびっくりしました ( 笑 )。当然シーズンの順序は他のメタ情報として管理しているので、実際に役に立つようなものではないのですが・・

上岡：人間がやれば一瞬でできることですよね ( 笑 )。でもこの事例には裏があって、「メジャー」というアニメ作品の作風や、主人公たちが容姿や年齢といった見た目の情報を抽出した結果、第２シーズンに一番近いコンテンツとして第３シーズンを持ってくることに成功しました。

それがどのようにレコメンドの改善につながるのでしょうか
若松：このアプローチを発展させていくと、アニメ作品全体を解析して、作品の特徴や世界観をとらえることも可能となっていきます。

そういった、作品の中にある「非言語的な」魅力に対して、類似する作品を視聴者にレコメンドとして提供することも可能になります。

社員インタビュー

アニメの中でも「はじめは弱かった主人公がストーリーを追うごとに強くなっていく作品」が好きな人もいれば「平凡な生活を送っていた主人公が、ファンタジー世界にワープすると、世界で一番強いキャラクターになっていたという作品」が好きな人もいます。

137

上岡：例えば「ドラゴンボール」には、やがては仲間となるライバル達と闘うことで、自分も仲間も強くなっていくという世界観があります。その世界観を理解するには、作品中盤から後半にあたるフリーザ編やセル編、魔人ブウ編といった大きな流れをつかむ必要があります。シリーズという膨大な動画シーンの解析だけでなく、出演する声優の音声データの解析も視野に入れれば、将来的には可能となるかもしれません。

例えば先程の「恋愛番組」などの実写についてはどうでしょうか
若松：実写作品に関してはハードルが高いのが正直なところです ( 笑 )。そこで一緒に視聴される作品をレコメンドしやすくするように「特徴量の関係性を視聴履歴を用いた機械学習によって調整する」といった仕組みを導入しました。ユーザーが一緒に視聴する作品には何かしらの共通点が存在するので、それを見た目以外にも色んな角度から特徴量に組み込んでいくことでより良いレコメンドが提供できると考えています。

上岡：アニメの場合では、見た目の特徴と内容に一定の相関が見られることが多いのですが、実写の場合は構図の中心に人をとらえたシーンがほとんどです。映像の明暗を変えるという演出などはありますが、それによって作品の特徴を精緻に分析して定義するのはかなり難しいです。そこで、
私たちは動画のシーン解析などの時間軸に沿った情報の抽出にも取り組んでいます。
具体的には、デートやダイアローグといった作品ごとの特徴的なシーンを検出することや、誰がどの時間に出演していたかの情報を抽出することを目指しています。また、抽出したそれらのシーンのスコアリングも考えています。例えば先程の「さよならプロポーズ」であれば、一番盛り上がるのは「プロポーズを OK するかしないか」を決断するシーンです。
どちらを選択するにしても、その結果に視聴者は一喜一憂します。そういった視聴者が「せつなく、胸がキュンとする」という感情に訴えかける要素も含めて、作品の特徴として抽出することができれば、推薦や検索、分析に応用することはもちろんのこと、ABEMA 独自の新たなユーザー体験を提供することができるはずです。

動画コンテンツから特徴量を抽出するという取り組みは、現在の動画サービスにおいてトレンドなのでしょうか。
上岡：今ちょうどトレンドになりつつある分野だと認識しています。いわゆるコンピュータビジョン (※2) の分野では、深層学習の登場により静止画像認識のあらゆる問題が解決されたと言っても過言ではないと思います。しかし一方で、画像を時間方向に並べたデータである動画の解析は発展途上の段階です。

※2：視覚的な世界を解釈および理解できるようにコンピューターをトレーニングする取り組みのこと。参考：コンピューター・ビジョン：概要と重要性

インダストリーでも、大量の動画コンテンツから機械学習を使って動画を解析し、推薦・検索に応用する
取り組みは報告されています。他にも動画コンテンツの内容に関するアノテーションを専門家が手動で付与しているサービスもあり各社それぞれの戦略で取り組んでいます。

若松：そんな中で我々はソケッツ社との協業でアノテーションも行なっていますが、動画コンテンツが増え続けるにつれ、それだけで対応するのは難しくなっていく恐れもあります。機械学習を使って動画コンテンツから情報を自動で抽出することと、手動でアノテーションすることを社員インタビュー

同時に進めることで、最終的にユーザーに良質なレコメンドを提供できたらと考えています。

138

「本質を捉える」チカラ
働く中で、どんな成長を実感できましたか？
上岡：手法にとらわれ過ぎずに、本質を捉える力が身につきました。

入社半年後の振り返り面談の時に、上司から「本質的な課題は何を解決したの？」と聞かれてドキッとしたことがありました。確かに思い返すと、自分では仕事をやっているつもりでもあれは作業だった、手法やそういったものの選び方にとらわれていた、と思いました。

公開されているデータセットを使い、あらかじめ決まった問題に対して、精度を出すだけという学生時代の研究スタイルに慣れてし

まうと、ついついこうした罠に陥りがちです。

若松：わかります ( 笑 )「0.01％数値が上がる最新の手法をこの問題に適用してみました」ではなくそれによって「ユーザーにどのような体験を提供できるか」を意識するようになりました。

上岡：例えば「動画コンテンツから抽出した特徴量をレコメンド向けに提供した時に解決した問題は何か？そのビジネス的な役割は？プロダクトにおける課題解決の位置付けは？」というところが整理できていれば、他のタスクでもデータから抽出した特徴量を使うことができますし、そのプロセスが再現可能な状態にあることが、組織としての資産になりますよね。

若松：そこで少し俯瞰的な視点を持って「問題の本質は何か？コアなアイデアはなんなのか？それを支える技術とプロセスはどういうものが必要なのか？」こういった部分が大事だということが、仕事で身につきました。

上岡：大事なのは「立ち止まって俯瞰して見る」ということなんだと思います。例えばプロダクトの現場では短期的な成果が重視されると思いますし、そこにフルコミットすることももちろん必要です。

一方で、車輪の再開発を防いだり、「その短期的な成果は本当にユーザーに届いているのか」というような部分を考えたりするこ

社員インタビューとも必要で、それが私たちに期待されている役割だと思っています。

139

社員インタビュー

マッチングアプリにおける出会いを分析する
タップル

3 月 24 日、サイバーエージェントのエンジニア・クリエイターによる技術カンファレンス「CyberAgent Developer Conference2022」を開催しました。ここではリサーチサイエンティストの數見による「マッチングアプリにおける出会いを分析する」の模様をお届けします。
タップル

數見 拓朗 Takuro Kazumi
マッチングアプリ タップルで、ソフトウェアエンジニア / リサーチサイエンティストを努める

婚活を取り巻く環境と意識の変化
まずはこの数年で婚活を取り巻く環境と、恋愛・結婚に対する意識について起こった変化について簡単に説明します。

社員インタビュー

下記のグラフは、オンライン婚活サービスの利用経験割合を示したものです。

140

オンライン婚活サービスの利用実態について、2017 年は約 9％の利用経験割合でしたが、現在は 20％を超えています。また 2017 年に実施された調査では、恋人や結婚相手とは職場や学校、サークルなど、いわゆる自然な出会い方を希望する人が大多数でした。

しかし 2017 年以降、オンライン婚活サービスの利用経験割合は年々増加しています。背景としては「時短婚活」が注目されたこと。また外出自粛が求められるコロナ禍において、オンライン婚活サービスの方が効率的に出会えるというメリットを感じる人が増えていることなどが挙げられます。さらに、コロナ禍で恋愛や結婚に対する意識が変化した人の割合も増えています。
「コロナ禍以前と比較して、恋人が欲しくなった」「コロナ禍以前と比較して、結婚したくなった」と回答した人は 3 割にのぼります。
タップルの特徴「タップル」では、気になる相手に「いいかも！」「ありがとう」といった、ボタンを押すだけの簡潔なコミュニケーションでマッチング（メッ
セージのやり取りの開始）することができます。

パートナー候補者については、ユーザーが「タップル」のアプリを立ち上げると、相性の良さそうな人が推薦されるので、相手の写真やプロフィールを確認した上で、「いいかも！」もしくは「イマイチ」のボタンを押します。
「いいかも！」を押した相手にはそれが通知され、相手が「ありがとう」と返答すると、連絡を取り合うことができるようになる仕組みです。

本発表では、この一連の行動に名前をつけます。興味をもった相手に「いいかも！」ボタンを押す行為を「コンタクト」する、コン

タクトに対して「ありがとう」と返答することを「メッセ認可」と呼ぶことにします。
タップルでの安心・安全な取り組み例「タップル」では、
安心安全な利用のため、
18 歳未満であるかを検知するアルゴリズムや、
プロフィール写真が 本人の画像であるかどうかを検査するアルゴリズムなど を導入するなど、安心・安全に向けた取り組みを強化しています。

マッチングアプリ「タップル」、機械学習技術を活用した「悪質スコア」の導入で不正利用者の早期検知システムを強化

さらに、人手による監視を組み合わせることで、より精度高く安心安全な出会いの場を提供すべく務めています。その取り組みのひとつに、プロフィールに表示される年齢が本物であるかどうかを、公的な書類を使って証明するというものがあります。では、プロフィールに表示される年齢が本物であると証明することが、メッセ認可にどのような影響を与えるのでしょうか。これを検証する方法を考えましょう。

高次元データの扱いと推定戦略「タップル」に登録されるユーザー属性は、高次元なデータであるため、他の変数を調整した上で、興味ある変数がメッセ認可率にどのような影響を与えているのかということを検証することは容易ではありません。

例えば欠落変数バイアスなどを除去するため、全ての属性情報とその交互作用を共変量として計算に加えることが理想的ではありますが、計算リソースの観点から、それは非現実的です。そこで、私たちは double-selectioという方法を用いて、処置変数とアウトカムの予測に必要な共以下に、double-selection により推定された分析結果を紹介します。

社員インタビュー

変量を選択し、モデルを作成することにしました。

141

安心安全な出会い
年齢が本物であると証明されることによって、男女ともに

メッセ認可率が有意に増加するという結果を得ました。
男性の年齢が本物であると証明されると、女性からのメッ

セ認可率は、2％有意に増加し、女性の年齢が本物であると証明されると、男性のメッセ認可率が約 36％有意に増加します。
男性のほうがメッセ認可時に、女性の年齢が本物であるかどうかを気にする傾向が高いことがうかがえます。年齢確認は、18歳未満の利用を防ぐことと、ユーザーが無用なトラブルに巻き込まれるのを防ぐための施策ですが、このような安心安全のための施策が、間接的にマッチングにポジティブな影響を与えているといえそうです。

協調フィルタリングをベースとしたレコメンドアルゴリズム「タップル」におけるレコメンドの目的は、マッチング率の向上です。ユーザーに興味のありそうな相手ばかりを推薦しても、相手からのリアクションがなく、マッチングに至らなければ意味がありません。そこで「タップル」

では、相手から自分がどう思われているのか？という要素を加味した、協調フィルタリングをベースとしたレコメ

ンドアルゴリズムを作成しています。

まず、男性から女性、女性から男性、それぞれ「いいかも！」「ありがとう」とアクションしたデータを準備します。

まず、男性から女性、女性から男性、それぞれ「いいかも！」「ありがとう」とアクションしたデータを準備します。

それぞれのデータセットから、男性から女性への興味ス

コアおよび女性から男性への興味スコアを算出し、これらを集約することで、双方向の興味スコアとして採用し並

び替え、マッチングしそうな相手を推薦しています。この取り組みは、一定の成果を得ることができています。では次に、現状のレコメンドアルゴリズムを評価しつつ、今後どのような改善を計画しているかについて説明します。

レコメンドアルゴリズムの改善
候補生成と並べ替え「タップル」の推薦システムは、一般的な推薦システムと同じような構成です。推薦候補を生成するコンポーネント、並び替えを担当するコンポーネント、そしてランキングモ

デルを学習するコンポーネントです。ここで説明する改善計画は、下記スライドの星印がついた部分、候補生成、

社員インタビュー

並び替え、ランキングモデルのいずれかで行われます。

142

現行のレコメンデーションの評価
現行モデルの再現率を評価すると、男性にはほとんど漏れなく、コンタクトしそうな女性を推薦できています。一方で、女性は、実際にコンタクトしそうな男性を見逃している可能性があります。つまり再現率を見ると、男性から女性への評価は 0.9。一方で、女性から男性への再現率評価は 0.2 まで減少するという結果が出ています。これにはどういった解決案があるでしょうか。
解決案

前述のコンポーネントに沿って考えると、候補生成を工夫する必要がありそうです。例えば、女性に対してレコメンドする男性の数を増やすのはどうでしょうか。しかし、女性は閲覧する男性数が多くなってしまうため、UX の不具合が発生するかもしれません。まだ利用していない特徴量がいくつかあるので、ランキングモデルを改良することも考えられます。テキスト情報、画像情報といった、

まだランキングのモデルに考慮されていない特徴量を加えて、モデル自身の予測性能を向上することで、女性が実際にコンタクトしそうな男性を見逃さないようなモデルを組み立てることができそうです。
推薦機会の不平等
他にもレコメンデーションにおいて、一部のユーザーが推薦され過ぎているという分析結果があります。
上記の通り、被推薦回数を極端に稼ぐ「スーパース

ター」が存在します。しかし、いわゆる人気を集める人を推薦し続けると、マッチングできないユーザーが出てくることになります。プラットフォームが、どれだけ不平等な被推薦体験になっているのかを計測するには、所得格差などでよく使われるジニ係数を使って算出します。この現象は他のマッチングアプリでも観察されているようです。例えば、台湾のオンラインデーティングアプリでは、ジニ係数は 0.75 程度であったと報告されています。
最も不平等が高い状態が 1 であるので、被推薦回数の格差があったのではないかと考えられます。こうした課題は、どのように解決していけばいいでしょうか。先ほどのコンポーネントに沿って考えると、被推薦回数を制限するなど、並び替えのコンポーネントの部分で工夫することもできます。しかしこれは、制限の回数をどれくらいにするのかという部分が難しく、上手く設定しないと、マッ

チングの数が減少してしまう懸念も考えられます。一方、ランキングモデルを工夫することも考えられます。例えば先ほど例に挙げた、台湾のオンラインレーティングアプリでは、Transferable utility というモデルを推薦に組み込み、不平等の緩和に成功したという事
例があります。一部実験では、ジニ係数が 0.75 であったものが、0.6 まで減少したという報告があります。
検証とリリース
最後に、これらのアイデアをどのようにして進めているかについてご紹介します。現在は、オンライン検証とオフライン検証を行ないながら、ユーザーの反応を観察し、全ユーザーにロールアウトするかを決めています。オフライン
検証で成功すれば、全ユーザーに適応するロールアウトのフェーズに進みます。ここでは、hypothesis kit というフォーマットを参考にしながら、仮説と結果をドキュメントとしてまとめ、ナレッジ化しています。具体的には、施策の定量的、定性的背景、そして変更の内容です。何の数値を改善しようとしているのか、さらには、ビジネスにどのような影響があるのか、ということをまとめるためのフォーマットです。より良い推薦体験をユーザーに提供すべく、これらの解決施策の検討を進めています。

本セッションでは「タップル」におけるレコメンドの機能と、現状の課題や取り組みについてご紹介しました。少子化問題やコロナ
禍での外出自粛が求められている昨今の状況を鑑みると、マッチングアプリの社会的役割は、今後さらに拡大することが予想されます。そうした中で、良い出会いを生み出すプラットフォームを提供するために、今後もさまざまなチャレンジを続けたいと思います。

社員インタビュー

まとめ143

社員インタビュー

部署を超えて見つめる、機械学習基盤の未来
DTL

IT 業界では、現在も AI / 機械学習を活用したプロダクト開発に注目が集まっている。サイバーエージェントでは様々な事業

で機械学習技術を活用したサービス開発が盛んに行われており、部署を跨いだ技術の共有・活用を狙った基盤技術の開発も活発だ。今回は、データ活用に関わる基盤技術開発を行う Data Tech Lab（以下 DTL）とグループ横断のインフラ技術組織である CyberAgent Group Infrastructure Unit（以下 CIU）の Dev Div でそれぞれ機械学習に関する基盤システムの開発に携わる二人のエンジニアに、開発にまつわる話を聞いた。
DTL

CIU

2019 年中途入社。グループ IT 推進本部 Data Tech
Lab 所属。機械学習モデル管理基盤などの機械学習基盤の開発やサービスへの機械学習基盤導入支援などを担当。

2018 年新卒入社。グループ IT 推進本部 CIU Dev
Division 所属。CIU のプライベートクラウドを生かしたサービスとして Kubeﬂow を用いた機械学習・推論基盤、Kubernetes のマネージドサービスの開発に従事。また、2021 年から開発と並行して機械学
習基盤のプロジェクトマネジメントも務める。

大内 裕晃 Hiroaki Ouchi

機械学習モデル管理基盤「Etna」開発の裏側

漆田 瑞樹 Mizuki Urushida

CIU が開発する ML Platform では、DTL の大内さんが開発した機械学習モデル管理基盤である Etna が採用されています。
Etna はもともと ML Platform 向けに開発されたのでしょうか？

大内：いえ、元々 Etna の開発はメディアのデータ活用を支援する組織である Media Data Tech Studio（以下 MDTS）でメディ

社員インタビュー

ア事業での活用を前提に開発をしていました。MDTS にはデータサイエンティストや機械学習エンジニアが所属しており、様々144なサービスに対して推薦や検索、データ分析などのソリューションを提供しています。それぞれが担当サービスに対して機械学習技術での価値提供をする際に、どうしてもモデル開発が属人化してしまうという問題が出てきてしまいます。そのような問題を解決するべく、Etna を開発しました。

モデル開発の属人化という問題は、機械学習モデル開発のプロセスの中でなぜ生じてしまうのでしょうか。

大内：機械学習モデルを作成するまでの業務フローは、機械学習で解決したい問題に沿うようにデータ設計をするところから始まります。その後、そこからデータを抽出・整形し、機械学習アルゴリズムを選択して学習済みモデルを作成、最後に評価を行って当初設定した課題が達成されるかを確認するといった大まかな流れになっています。もし評価の結果が満足いくものでなかった場合には、データ設計を見直したり、データの量や前処理の方法、アルゴリズムを変更したりと試行錯誤的に開発を進めていきます。ここで、システムの安定化やモデルの品質を担保するためには試行錯誤の過程でどのようにデータを加工したのかというデータフローを管理することが重要になってきます。例えば学習済みモデルが意図しない挙動をし、その原因を調査する場合、通常のソフトウェア開発ではソースコードの調査をするだけで十分ですが、機械学習の場合では学習に使ったコードやデータセットの調査も必要になります。さらに

データセットが何らかの処理によって得られたものであった場合、その処理内容に問題がなかったのかを調査する必要も出てきます。しかしこの試行錯誤は機械学
習エンジニアが個人で行うことが多く、その管理方法はエンジニア毎、または開発チーム毎に異なっています。

これらの情報が適切に管理されていない場合に、モデル開発の属人化の問題が発生します。

Etna ではそのように属人化しがちな、機械学習モデル開発におけるデータフローの管理・可視化を解決するために開発されたと。
大内：はい。データフローの管理がされていないと、学習済みモデルの出力が期待するものでなかった時に、その原因が学習デー

タなのか、学習コードなのか、または学習データを作るまでの過程にあるのか見当をつけにくくなります。また、新しいメンバーが開発に加わった際に、開発の全貌が把握しにくいといった問題も発生する可能性があります。

これらのデータフローは mlﬂow*¹ のようなプラットフォームや既存のワークフローエンジンなどで管理可能ですが、「前処理に特定のバージョンを利用した学習済みモデルをデプロイしたい」や「自身の学習済みモデルで提供した特徴量が他モデルで利用されているかを把握したい」といった要求があり、既存のものでは困難であったため内製することを決めました。
*¹ https://mlﬂow.org

現在、どのようなサービスで Etna が導入されているのでしょうか。
ABEMA の動画特徴量解析に利用するモデルや、
Amebaブログのスパム検出に使うモデルの管理、
言語処理基盤に利用するキーワー

ド辞書の管理など多岐に利用されています。

データフローの管理・整理を目的に導入したチームが多かったのですが、導入した副次的な効果として「インターンなどの新しい社員インタビュー

メンバーが加わった際にプロジェクトの全貌をデータフローを使って説明できて良かった」などのフィードバックがありました。

145

CIU の ML Platform に Etna を採用した理由
漆田さんは現在 CIU で ML Platform の開発兼 PjM を担当されています。どういった経緯で、ML Platform で Etna を採用するに至ったのでしょうか。

漆田：ML Platform には現在 2 つのサービスがあり、GPU 環境を提供する “GPUaaS” と学習・推論の実行基盤である “AI

Platform” から成り立っています。Etna はこの AI Platform の推論機能で利用されています。 ML Platform ではユーザーからモデルに関する情報（S3 などのパス、バージョン名、その他タグなど）を受け取り、そのモデルを Kubernetes 上にデプロイ

してエンドポイントを払い出します。これらのモデル情報を構造的に格納するためのデータベースとして Etna を採用しています。

画像 2. ML Platform の全体像と Etna

大内：モデルをダウンロードする際にそのモデルが S3、GCS、その他どの場所にあるのかによって問い合わせ方法が変わってしまうのですが、Etna を噛ませることで Etna 側でストレージの違いを吸収してくれるので ML Platform 側はモデルの場所を気にすることなく、Etna に問い合わせるだけで良くなるんです。

漆田：ユーザーがデータストアの場所を意識せずに使えるようになるというのは、大きな利点でしたね。世の中にはいくつかのモデルバージョンストアがありますが、Etna は利用方法や機能がシンプルでわかりやすく組み込みのイメージがすぐに湧いたのと、Kubernetes 上で 1 年間 ( 当時 ) の運用実績があったため選択しました。また、Etna はマルチテナンシー機能を備えているのも良いですね。我々みたいな共通基盤を作る組織はプロダクトごとに環境を分離して提供する必要があるのでこの機能があるのは助かりました。

大内：Etna はもともと様々な部署で使われることを前提に設計しているので、CIU が希望する用途もカバーできていたのは、

とても嬉しいですね。Etna を開発するにあたって設計はかなり悩みましたが、こういった形で他部署の要望も吸収できていたので、設計はうまくいっていたのだなと少し安心しています。

社内基盤同士ということで、開発連携上のメリットなどを感じた場面はありましたか？

漆田：社内で距離が近いからこそ、ちょっとした機能追加などを気軽にお願いできるのが良かったですね。ML Platform のメ

社員インタビュー

インユーザーは GCS を利用することが多いので、S3 に加えて GCS の URI にも対応できるようにお願いしたところ 1 週間ほ146

どで対応されていてとても進めやすかったのを覚えています。

大内：今回の Etna と ML Platform のように、社内の異なる部署で開発された基盤が、「コラボレーションによって事業貢献できる共通基盤」として成長していく、という一つの事例になると嬉しいですよね。

Etna と ML Platform、そして「機械学習基盤の未来」
それぞれのプロダクトの今後の展望などがあれば、ぜひ聞かせてください！
大内：Etna に関して言えば、今後は Etna 単体での取り組みではなく、もう少しスコープを広げて MLOps 基盤全体と Etna をうまく連携させたいと考えています。Etna を利用することでモデルのバージョン管理はもちろん、そのモデルがどのバージョンの学習デー

タを使ったのか、関連する機械学習モデルのバージョンは何であるのかといったメタデータを管理することが可能になります。こういったメタデータは現在のところユーザーに登録してもらっているのですが、MLOps 基盤の実験環境やデータ基盤と連携することでこれらのメタデータを自動的に抽出し、ユーザーの負荷低下が見込めます。また運用の観点からも、モデル自体と学習データを紐づけて管理しているので、サービングしたモデルに与えられる実際の入力と、学習時のデータの入力の分布を比較することで、データドリフト *² の検知にメタデータが利用できます。これによってモデルの品質低下、ひいては機械学習システムの品質低下の防止に役立てることができると思っています。

*²

モデル学習時からのデータ分布の変化に伴ってモデルの性能が低下してしまうこと

漆田：ML Platform でも Etna と同じように連携に重点を置いていて、特に本基盤内の各サービス間連携に力を入れていく予定です。
先程紹介した通り AI Platform には学習と推論の機能があるのですが、現状それぞれ独立したものになっています。このままではモデルを学習してからデプロイするまでの作業が面倒になってしまうので、このフローを一連の作業として実現するためにパイプライン機能の実装を考えています。このあたりは Etna にも近しい機能があったと思うのでそれを使うかアイデアをいただくなどして今後もやりとりを続けていきたいです。また、パブリッククラウドからでも連携できるように AI Platform を扱う Python ライブラリの用意なども考えています。

機械学習のプロジェクトは、機械学習モデルの作成にスポットが当たりがちですが、同時にそれを支える機械学習システム全体を効果的に開発・配置し、洗練させていくことも非常に重要だと言われますよね。お二人のコメントから、機械学習プロジェク

ト全体を支える基盤として、それぞれのプロダクトを成長させていきたいという思いを感じます。

漆田：私の所属する CIU は社内向けプライベートクラウドの開発・運用も行っており、サイバーエージェントグループをインフラ技術を軸に支えるというミッションがあります。ML Platform もそのミッションを意識し、インフラとして GPU リソースの増強も常に考えています。モデルの学習に必要な計算リソースは時が経つにつれて非常に膨大になっています。そして AI を導入しようとする社内

プロダクトも次々と増えており、そういった点でも GPU の需要は増えています。オンプレはコスト、リソース量、最新 GPU 導入速

度の観点から優位性があるため社内の ML 系開発者の方々が不便しないようにソフトウェア・ハードウェア共に基盤を整えていきたいですね。

大内：私が所属する DTL に関しては、機械学習に関わる「似たようなタスクを自動化する」という目標があります。機械学習モ

デルで達成したい目標は開発プロジェクトごとに変わってきますが、作成した機械学習モデルをバージョン管理することはどのようなプロジェクトであっても必要になりますし、こういった似たようなタスクを基盤で吸収することで、機械学習エンジニアの負荷を下げていきたいです。更に発展させて、運用に必要なメタデータを自動で取得・管理し、適切にユーザーにフィードバックすること
今後の両プロダクトの成長に期待しています。ありがとうございました！

社員インタビュー

で機械学習システム全体の品質を担保できるような基盤として Etna が利用できるようにしていきたいですね。

147

社員インタビュー

新卒２年目データサイエンティストが向き合う、「データ活用による事業貢献」とは。
DSC

サイバーエージェントのメディア事業における「DSC（Data Science Center）」では、各メディアサービスのデータの利活用を推進、支援しています。今回は 2021 年に新卒で入社し、DSC 配属 2 年目になる、データサイエンティストの山田瑠奈に、同組織の先輩社員である武内慎が、メディア事業におけるデータ利活用の魅力について聞きました。
interviewee

interviewer

メディア / DSC

メディア / DSC

2021年に新卒入社。データサイエンティストとして
Ameba ブログのユーザーおよびコンテンツの分析・推薦システムの改善などを担当。

2015 年に中途入社。広告における DMPコンサル
ティングに従事した後、現在は音楽ストリーミン
グサービス AWA 等のメディアサービスのデータ分析を担当。

山田 瑠奈 Runa Yamada

武内 慎 Makoto Takeuchi

学生時代とのギャップに苦しみながらも成長した、新卒 � 年目
武内：山田さんは新卒入社して 1 年目からデータサイエンティストとして業務に取り組み、担当する事業部で新人賞を受賞されるなど活躍していますよね。まだ 2 年目になったばかりではありますが、印象に残っている仕事などがあれば教えてください。

山田：私は Amebaブログにてレコメンドシステムの開発・改善を行っています。印象的だった仕事はいくつかありますが、最も社員インタビュー

記憶に残っているのは、レコメンドチームに入って程なくして行った「効果検証フローの改善」です。

148

サービスを改善するために何か新しい施策を導入する際
は、A/B テストを行ないその結果をもとに導入の意思決定をするのが一般的です。Ameba ブログレコメンドでも同様に A/B テストを用いた効果検証を行っていました。

しかし、以前までの検証方法では正しく効果を測れていないことがわかり、いくつかの改善に取り組みました。

機械学習モデルの予測精度などのオフラインの指標を評価するのではなく、実際のビジネス KPI をどう正しく評

価すればいいのかという点は、学生の頃にはあまり考えることがなかったので、とてもギャップを感じて苦しんでいたのを覚えています。

武内：推薦問題における機械学習モデルでは、よくクリックなどのユーザーの直接の反応を予測しますが、これはあくまで推薦精度を改善する取り組みであって、それがユーザー体験の向上につながるかは自明じゃないですからね。推薦精度の改善がその先のビジネス KPI までどう影響しているかを知ることは、難しいですが重要な問題です。
山田さんは、ギャップをどう乗り越えたんでしょうか。

山田：オンライン検証（A/B テスト）は、
ユーザーのサンプリングに偏りが出てしまったり、
プラットフォームでバグが起きてしまったりと、

そもそも正確にテストを行うことが、簡単そうに見えて難しいです。そこでその難易度を乗り越えるためには、「どれだけバイアスに気づけるか」が鍵となります。そこで私は、以前はなかった A/B テスト土台を作るために改善フローを導入し、誰でもより正確に効果が検証できるような仕組み作りに取り組みました。

学生時代に得た専門性が、今の業務にも繋がっている
武内：ちなみに山田さんは学生時代、なにを専門に研究されていたんですか？
山田：学生時代は、感性工学の研究をしていました。感性工学とは人の気持ちや感じ方を科学的に捉え定量化することで、プロダクトやサービスに活用していく学問です。科学的に捉える手法は様々であり、主に心理学、脳科学、認知科学などの分野で研究が行われています。中でも私は自然言語処理技術を使って、SNS や商品レビューといった Web 上のテキストから感性メトリック（感性のものさし）を自動構築するという研究 *¹ をしていました。

*¹ R Yamada, S Hashimoto, N Nagata, Extracting kansei evaluation index using time seriestext data: Examining universality and temporality in HCI International 2020

武内：今の仕事と関係していると感じる部分はありますか？
山田：現在私は Ameba ブログの分析および開発を担当

していますが、「どうすればユーザーにより『良い』価値を提供できるのか」を考えながら日々サービスの改善をしています。一方、感性工学は「人がどう感じるのか？」という部分に焦点を当てた研究です。
「ユーザーに寄り添う」という点で、感性工学は日々の業務にとても関係していると思います。

また、Ameba ブログは国内最大規模のブログサービス

なので、たくさんのテキストデータを持っています。テキ

研究を通して得た知識を活かせる場面も多いです。

社員インタビュー

スト情報を用いたサービス改善なども行っているので、

149

武内：

学生時代の専門性の活かしどころを今の業務に見いだせているのは、とても良いですよね。入社してサイバーエージェ

ントのメディア事業での業務を経験してみて、特に面白いなと思うことがあれば聞きたいです。

山田：DSC では「Ameba ブログ」
はもちろんですが、他にも「ABEMA」
や「タップル」「AWA」などのサイバーエージェントの様々なメディ

アサービスのデータを利活用しています。各サービスが持っている多種多様な課題、反対に共通する課題に直面できるのは横軸組織ならではの面白さだと感じています。また、それぞれのサービスで蓄積している、ユーザーのリアルな行動データから浮かび上がる仮説に触れるのもとても刺激的ですね。
武内：同感です。大学のような研究機関ではなかなか触ることが難しいデータですしね。さらに、分析で得た発見をそのドメ

イン領域のエキスパートであるサービス側の人たちと分かち合うことができるのも、大学ではなかなかできない体験ですよね。

入社後に向き合った、データサイエンティストとしての在り方
武内：サイバーエージェントに入社してから意識していたことや、成長できたなと思うことはありますか。
山田：1年目は特にデータサイエンティストとしてサービスにどんな価値を提供できるのか、自分の強みとは何なのかをよく考えていました。入社前はただただ、「ユーザー

ファーストなサービスを作るためにデータ分析で貢献したい！」という思いでデータサイエンティストを目指していました。

しかし実際入社してからの現場で働く中で、ビジネス価

値を生み出すことの重要さを知り、「私はこんな小さなイ

ンパクトしか作れていない」と卑下することもよくありました。

武内： 確かに、入社して実際の業務に入ると多少なりとも「出来ない自分」に悩むことはありますよね。でもサイバーエージェ

ントの新卒メンバーは、思っている以上に自分を過小評価しているところはあるなと思っていて。もっと自信を持ってもいいよなと思うことも多いんだけれど（笑）

山田：そうですかね（笑）最近は、ビジネスインパクトを作ることはもちろんとても重要なのですが、サービスをよくするために

結局はがむしゃらに頑張るしかないし、それでいいのかなと思ってたりもします。今は、インパクトの高いアウトプットを出すために正しいプロセスを踏めているのか、というところが重要だと感じてます。

武内：2 年目でその点を意識できているのはすごいなと。
それが正しいプロセスかどうかを常に疑うことは重要ですよね。我々は、
デー

タサイエンスでその根拠を示すことができるし、それによって、サービス全体に良い影響を与えることができると思います。

データサイエンティストとしての、これから
武内：山田さんが、今後チャレンジしたいと思っていることはありますか？
山田：今後やりたい仕事を考えてみましたが、今やっている Ameba ブログの改善がまだまだたくさんあるので引き続きやっていき社員インタビュー

たいです。現状に満足しているというよりは、今のペースで様々な経験を積んでいきたいなと考えています。

150

データサイエンティストとして、知識・技術が不足しているなとつくづく痛感しますが、サイバーエージェントにはたくさんの優秀なエンジニアがいるので日々勉強していきたいなと思っています。

山田さんの今後の活躍も、期待しています！

社員インタビュー

武内：

151

産学連携

Industry-academia collaboration

東北大学

東京都立大学

乾 健太郎研究室

小町 守研究室

大学院情報科学研究科
システム情報科学専攻

NLP

AI事業本部 / AI Shift

NLP

早稲田大学

岡崎 直観研究室

森島 繁生研究室

CV

AI事業本部 / AI Lab

東京大学

マーケットデザインセンター

小島 武仁氏鎌田 雄一郎氏

Industry-academia collaboration
産学連携
152

AI事業本部 / AI Lab

大学院情報理工学系研究科

中山 英樹研究室

立命館大学

小川 祐樹先生
計算社会科学武田 英明研究室
ELSI

MDTS

計算社会科学AI事業本部 / AI Lab

MDTS

AI事業本部 / AI Lab

東京大学

大学院工学系研究科システム創成学専攻

鳥海 不二夫研究室
計算社会科学

徳島大学

社会学部 社会心理学科

高史明 先生経済

情報学プリンシパル研究系

東洋大学

情報理工学部 情報理工学科

HCI

星野 崇宏教授

国立情報学研究所

AI事業本部 / AI Lab

石黒 浩研究室

大学院経済学研究科

AI事業本部 / AI Lab

東京大学
経済

大学院基礎工学研究科

慶應義塾大学成田 悠輔氏経済大阪大学

AI事業本部 / 極予測AI

Yale大学 /大澤 正彦研究室
HCI

CV

半熟仮想株式会社

文理学部 情報科学科

AI事業本部 / AI Lab

佐藤 真一先生

AI事業本部 / 極予測AI

日本大学

CV

コンテンツ科学研究系

内田 誠一研究室

AI事業本部 / AI Lab

シモセラ・エドガー研究室

国立情報学研究所

大学院 システム情報科学研究院
情報知能工学部門
実世界ロボティクス講座

AI事業本部 / 極予測 TD

理工学術院 情報理工学科

AI事業本部 /CGR&D,CHP

九州大学

人間情報インタラクション研究部門
メディアインタラクション
研究グループ

NLP

早稲田大学

物理学及応用物理学専攻

CG

奥村・船越研究室

AI事業本部 / AI Shift

大学院先進理工学研究科

AI事業本部 / 極予測 AI

産業技術総合研究所

経済音声

東京工業大学
NLP

科学技術創成研究院

李晃伸研究室

AI事業本部 / AI Shift

知能情報コース

東京工業大学

大学院工学専攻

情報科学域

情報理工学院 情報工学系

音声名古屋工業大学

大学院システムデザイン研究科

大学院社会産業理工学研究部
MDTS

横谷 謙次研究室
計算社会科学MDTS

MDTS

AI 事業本部 / AI Shift
東北大学

大学院情報科学研究科

システム情報科学専攻

クラウドソーシングに基づく日本語タスク指向型対話収集基盤の構築

乾 健太郎研究室

NLP

近年のタスク指向型対話モデルは高い性能を有しているものの、その多くは学習時に大量の対話データを必要とします。

そこで、高品質な対話データを容易かつ大量に収集するために、クラウドワーカー向け対話収集基盤の構築の研究を進めています。対話（チャット）インタフェースだけでなく、対話インストラクション生成機能や予約シミュレーター機能等も対話収集基盤に実装することで、より現実的で多様な対話データを収集することを目指しています。

東京都立大学

大学院システムデザイン研究科情報科学域

音声入力に頑健な固有表現抽出

小町 守研究室

NLP

音声自動応答では音声認識誤りなどを含むノイジーなテキストから予約などのタスク完了に必要な情報を抽出する必要があります。その問題に対して、対話の状態を考慮することで頑健に情報を抽出する研究を行っています。
外部知識を用いたエンティティ辞書の自動拡張

音声自動応答ではユーザーの発話から地名などのエンティティを抽出しますが、その発話パターンは多岐に渡ります。それらを人手で事前に準備することは難しく、外部知識を用いることで自動で網羅することを目指しています。

名古屋工業大学

大学院工学専攻

リアルタイム発話区間検出・終話判定

李晃伸研究室音声

自動応答システムでは雑音が含まれる音響信号の中から人の音声を正確に認識する必要があります。そこで、音声認識の前処理として、人が話している区間や話し終わりのタイミングをリアルタイムで予測する研究を行なっています。

音声を用いたユーザー特性の分類

自動応答システムでは、年齢やシステムの習熟度等によって適切な bot のシナリオが異なることが経験的に知られています。

そこで、システムが随時最適なシナリオを選択するために、ユーザーの特性を音声を用いて分類する研究を行っています。

AI 事業本部 / 極予測 TD

東京工業大学

科学技術創成研究院

効果の出せる広告テキストの自動生成

奥村・船越研究室

NLP

自然言語処理技術を用いた研究開発を行い、「AI で効果の出せる広告テキストを自動生成する『極予測 TD』」へモデルを応用し、実サービスとして拡大中です。学術的には「広告効果を報酬とした強化学習に基づく広告文の自動生成」に関する論

東京工業大学

情報理工学院 情報工学系

広告コピー自動生成モデルの構築

知能情報コース

岡崎 直観研究室

NLP

配信実績と紐づく大量の広告クリエイティブデータから、広告効果と相関性のあるコピー表現の発見や、新しい訴求ポイントの提案を行っています。本研究で得られた結果を、コピーの制作支援や広告コピー自動生成システムの開発などに応用することで、コピーライターやデザイナーの制作時間の削減だけでなく、ユーザー毎に最適化された広告クリエイティブや、従来あまり用いられなかった新しいコピー表現を用いたクリエイティブの提供を目指しています。

産学連携

AI 事業本部 / 極予測 AI

Industry-academia collaboration

文を発表し、直近では共著論文が国際会議 NAACL に採択されるなど、幅広い実績を重ねています。

153

AI 事業本部 / AICG、CHP
早稲田大学

大学院先進理工学研究科

�D 画像から �DCG モデルを生成する技術

物理学及応用物理学専攻

森島 繁生研究室

CG

�D 画像からの属性転写の研究

広告に活用できるフォトリアリスティックな人物 CG モデルの量産化を目指し、研究に取り組んでいます。

属性転写の研究では、人が感じ取る性格や雰囲気・印象などの要素を抽出し、各要素を対象の 3DCG へ付与を行いました。
共同研究の結果、企業やブランド毎に適したオリジナル AI モデルを生成する「極予測 AI 人間」や著名人の公式 3DCG モデルを制作しキャスティングをする「Digital Twin Label」をリリースし、サービス拡大中です。

AI 事業本部 / AI Lab
早稲田大学

理工学術院 情報理工学科

グラフィックデザインの自動レイアウト生成

シモセラ・エドガー研究室

CV

広告バナー画像などのグラフィックデザインでは、テキスト・写真・イラストなどを配置して、見る人にメッセージを伝えます。

デザイナーは伝えたい内容を元に各要素を適切な大きさで並べますが、本研究ではこうしたグラフィックデザインに関する意

思 決 定プロセスを自 動 化する機 械 学 習・数 理 最 適 化モデルの研 究を進 めています。研 究 成 果 は「ACMMM 2021」や「Paciﬁc Graphics」に採択され、より応用を見据えて手法開発を目指しています。

産業技術総合研究所

人間情報インタラクション研究部門 メディアインタラクション研究グループ

音声

音響情報を活用した広告の効果予測と制作支援

近年の動画広告市場の拡大に伴い、動画コンテンツの認識技術を通じて広告効果の高い動画コンテンツの効率的な制作が重要となってきています。動画コンテンツを適切に認識する上では、映像情報に加えて音響情報も重要な要素となります。

この研究プロジェクトでは、音響情報に基づく広告効果の予測技術を研究開発し、さらにその技術を活用して効果的な広告の制作を支援する技術も研究開発します。

AI 事業本部 / 極予測 AI
九州大学 大学院 システム情報科学研究院 情報知能工学部門 実世界ロボティクス講座 内田 誠一研究室

CV

広告クリエイティブ内コピーの、効果の良いフォントとスタイルのレコメンド

インターネット上で配信している広告バナーには訴求のためにコピーが含まれています。効果の高い広告クリエイティブを制作するためにはコピーのデザインが重要ですが、その認識は難易度が高いものとなっています。

本研究はフォントデザインの認識や効果の良いテキストスタイルのレコメンドに関するものであり、実際に「ICCV2021」ではフォントデザインの描画に関する情報の抽出手法を開発・提案しています。

産学連携

Industry-academia collaboration

国立情報学研究所

154

コンテンツ科学研究系

外部知識を考慮した広告クリエイティブ効果予測

佐藤 真一先生

CV

コンテンツをユーザの興味に合わせて配信するには、過去の配信データだけでなく、コンテンツに関する詳細情報をいかに活用するかが重要です。

本研究では、知識グラフを用いたグラフニューラルネットワークに着目し、広告に限らず、様々なオープンデータを使って技術的課題の探索、改善手法の開発を進めています。

既に「SIGIR 2021」や「CVPR 2022」などの国際トップカンファレンスに論文が採択されるなど着実に成果をあげています。

AI 事業本部 / AI Lab
大阪大学

大学院基礎工学研究科

石黒 浩研究室

HCI

ロボットを含めた対話エージェントの実現に向けた基礎技術の確立及び、人の持つ対話能力に関する科学的な知見の獲得

自律的な接客対話エージェントや遠隔操作ロボットを用いた遠隔接客、ユーザの行動を変えるインタラクションについての技術開発を行っています。ホテルや商業施設、EC サイトなどユーザに接してもらえる実際のフィールドでの実証実験を通して、人々のリアルな反応やフィードバックから、ヒトが信頼したくなる・ヒトが行動を変えてしまうインタラクションの本質的な要素について研究しています。

日本大学

文理学部 情報科学科

大澤 正彦研究室

Human-Agent Interaction における認知的不協和の解消を用いたユーザの行動変容

HCI

ユーザがエージェントに意図や意思を感じているインタラクションにおいて、「認知的不協和を解消しようとする人の特性」と、「人に対話エージェントの意図や欲求を認知させる技術」を組み合わせた、人の行動を促すインタラクションの実現に取組んでいます。「人間と信頼関係を築き、人の行動を変えられるインタラクションモデル」を、幅広い産業に適用可能な汎用的技術として作り上げることを目指しています。

Yale 大学 / 半熟仮想株式会社

成田 悠輔氏

経済

広告によるユーザー体験やブランド体験への影響の因果関係の推定

経済学による実サービスにおける効果の推定や、その効果を最大化させるような AI 技術の開発と実プロダクトへの応用を行っています。現在は成田氏が創業した、データや数学、アルゴリズムを用いたビジネスや政策のデザインを強みとする半熟仮想株式会社と 2020 年 8 月から業務提携をする形でさらに連携を深めており、広告に限らず小売・行政など幅広い分野での研究を進めています。

慶應義塾大学

大学院経済学研究科

広告配信や効果検証技術の研究開発

星野 崇宏教授

経済行動経済学を用いた行政分野における行動変容に関する実証実験の実施や、広告・クーポンなどの施策におけるマーケティ

ングリサーチの観点からの実証研究を進めています。また 2020 年度には、AI Lab 経済学チームと慶應義塾大学星野崇宏教授・
理化学研究所 AIP 経済経営情報融合分析チームリーダーが共同で実施した「新型コロナウィルス感染症の予防行動へのナッジの効果」に関する研究をまとめたディスカッション・ペーパーを公開しています。

東京大学

マーケットデザインセンター

小島 武仁氏

自治体の利用調整ルールの改善やマッチングアルゴリズムの開発

鎌田 雄一郎氏

経済

マーケットデザインが応用可能な様々な社会的課題に対してアプローチを行なっており、保育所の入所選考や医療資源の配分の最適化などを目指し、自治体や中央省庁と連携を行い、実データを用いた課題の数理的定式化・理論的分析・アルゴリズ

ムの開発および、実証実験を実施しています。共同研究の結果、多摩市においてより保育所の希望の申告が容易になるよう

産学連携

Industry-academia collaboration

な利用調整ルールの変更が実現しています。

155

AI 事業本部 / 極予測 AI

東京大学

大学院情報理工学系研究科

中山 英樹研究室

CV

画像と言語のインタラクションに着目したクリエイティブ制作のための研究

インターネット広告ではバナー画像 / 動画、コピーテキストや音声など様々なメディアを組み合わせ効果的な表現を作り上げます。高度なデザイン制作に取り組むデザイナーの能力を拡張するため、バナー画像のコンテンツを反映した新しいコピーの自動制作や、言語を用いた画像編集支援技術の開発を目指しています。

メディア / MDTS
国立情報学研究所

情報学プリンシパル研究系 武田 英明 研究室

ELSI

データ利活用における利用主体と利用目的に応じた社会的受容性

多様なデータが多様な目的・主体で利用されるデータ利活用社会において、どのような様相であれば社会的に受け入れ可能であるかを知ることは重要な課題である。本研究ではそのようなデータ利活用の社会的受容性について調査・分析を行う。

東京大学

大学院工学系研究科システム創成学専攻 鳥海不二夫 研究室

計算社会科学

ユーザ行動理解のためのデータマイニング手法の開発

ユーザ行動理解とそれに基づいたサービス内外への影響分析手法を開発する。

具体的には 1) Ameba ブログにおける情報空間の健全化を目的として、閲覧者が情報的健康を実現できるようなプラットフォー

ム支援手法を開発 ; 2) ピグパーティにおいて規約に違反するような行動を抑制する介入アプローチを実施・検証する。

立命館大学

情報理工学部 情報理工学科 小川祐樹 先生

計算社会科学

インターネットテレビにおけるニュースコンテンツが視聴者の政治知識・態度に与える影響

質問紙調査とユーザのコンテンツ視聴ログなどからインターネットテレビニュースが視聴者の政治知識や態度に与える影響を
検証する

東洋大学

社会学部 社会心理学科 高史明 先生

計算社会科学

インターネットテレビの社会的影響力調査

インターネットテレビが提供するニュースコンテンツの社会的役割を知ることを目的として、ニュースコンテンツが利用者の政治知識・関心・態度に与える影響を調査する。

徳島大学

大学院社会産業理工学研究部 横谷謙次 研究室

ヴァーチャルコミュニティの精神的健康増進効果についての研究

計算社会科学

ヴァーチャルコミュニティの精神的健康増進効果は近年指摘されているが、大規模データでは確認されていない。本研究では、

産学連携

Industry-academia collaboration

ピグパーティ上のコミュニティを分析することで精神的健康増進効果を検証する。

156

157

産学連携

Industry-academia collaboration

アウトプット実績

学会

Publication

Computing Strategies of American Football via Counterfactual Regret
Minimization
Yuki Shimano, Kenshi Abe, Atsushi Iwasaki, Kazunori Ohkawara ( 2022 年 )AAAI 2022 Reinforcement
Learning in Games WorkShop

Costume vs. Wizard of Oz vs. Telepresence: How Social Presence Forms of Tele-operated
Robots Inﬂuence Customer Behavior

HRI 2022

Robot-mediated Child-Elderly Interaction: A Pilot Study for Greeting Tasks in Nursery
Schools

HRI 2022

Pick-me-up strategy for a self-recommendation agent: a pilot ﬁeld experimentin a convenience store

HRI 2022

�D Head-Position Prediction in First-Person View by Considering Head Pose for
Human-Robot Eye Contact

HRI 2022

Can an Empathetic Teleoperated Robot Be a Working Mate that Supports Operator's
Mentality?

HRI 2022

An Intelligent Color Recommendation Tool for Landing Page Design

IUI 2022

Sichao Song, Jun Baba, Junya Nakanishi, Yuichiro Yoshikawa, Hiroshi Ishiguro ( 2022 年 )Junya Nakanishi, Sichao Song, Jun Baba, Yuichiro Yoshikawa, Hiroshi Ishiguro ( 2022 年 )Takuya Iwamoto,Jun Baba, Junya Nakanishi, Kotaro Nishi, Yuichiro Yoshikawa, Hiroshi Ishiguro ( 2022 年 )Yuki Tamaru, Yasunori Ozaki, Yuki Okafuji, Jun Baba, Junya Nakanishi, Yuichiro Yoshikawa ( 2022 年 )Tomomi Takahashi, Sichao Song, Jun Baba, Junya Nakanishi, Yuichiro Yoshikawa, Hiroshi Ishiguro ( 2022 年 )Qianru Qiu, Mayu Otani, Yuki Iwazaki ( 2022 年 )Benign-Overﬁtting in Conditional Average Treatment Eﬀect
Prediction with Linear Regression

Masahiro Kato, Masaaki Imaizumiz ( 2022 年 )Workshop on the Theory ofOverparameterized Machine Learning

ICLR 2022

Towards Resolving Propensity Contradiction in Oﬄine Recommender Learning

IJCAI 2022

Statistics
Publication
アウトプット実績
158

Yuta Saito, Masahiro Nomura ( 2022 年 )AI / AI Lab

国際

AI / AI Lab

国際

AI / AI Lab

国際

AI / AI Lab

国際

AI / AI Lab

国際
AI / AI Lab

国際
AI / AI Lab

国際
AI / AI Lab

Learning Causal Relationship from Conditional Moment
Condition by Importance Weighting

Masahiro Kato, Shota Yasui, Kenichiro McAlinn, Haruo Kakehi ( 2022 年 )国際

国際
AI / AI Lab

国際
AI / AI Lab

Anytime Capacity Expansion in Medical Residency Match byMonte Carlo Tree Search

IJCAI 2022

Corpus Construction for Semantic Interpretation of Tables inMaterials Science Papers

SCIDOCA 2022

Does Robustness on ImageNet Transfer to Downstream Tasks?

CVPR 2022

Optimal Correction Cost for Object Detection Evaluation

CVPR 2022

AxIoU: An Axiomatically Justiﬁed Measure for Video Moment Retrieval

CVPR 2022

Yutaro Yamada, Mayu Otani ( 2022 年 )Mayu Otani, Riku Togashi, Yuta Nakashima, Esa Rahtu, Janne Heikkila, Shin'ichi Satoh ( 2022 年 )Riku Togashi, Mayu Otani, Yuta Nakashima, Esa Rahtu, Janne Heikkila, Tetsuya Sakai ( 2022 年 )Benchmarking CMA-ES with Margin on the bbob-mixint Testbed
Ryoki Hamano, Shota Saito, Masahiro Nomura, Shinichi Shirakawa ( 2022 年 )GECCO 2022 Workshop Black Box
Optimization Benchmarking

ICML 2022

Mutation-Driven Follow the Regularized Leader for Last-Iterate
Convergence in Zero-Sum GamesUAI 2022

Learning Classiﬁers under Delayed Feedback with a Time Window Assumption

KDD 2022

Kenshi Abe, Mitsuki Sakamoto, Atushi Iwasaki ( 2022 年 )Shota Yasui, Masahiro Kato ( 2022 年 )Instructive Interaction to Redirect Customer Attention from Robot to Service

ROMAN 2022

Matching Theory-based Recommender Systems in Online Dating

RecSys 2022

Playful Recommendation: Sales Promotion that Robots Stimulate
Pleasant Feelings instead of Product Explanation

IROS2022

Jun Baba, Sichao Song, Junya Nakanishi, Yuichiro Yoshikawa, Hiroshi Ishiguro ( 2022 年 )Yoji Tomita, Riku Togashi, Daisuke Moriwaki ( 2022 年 )Takuya Iwamoto Jun Baba Junya Nakanishi Katsuya Hyodo Yuichiro Yoshikawa Hiroshi Ishiguro ( 2022 年 )AI / AI Lab

国際
AI / AI Lab

国際
AI / AI Lab

国際
AI / AI Lab

国際
AI / AI Lab

Thresholded Lasso Bandit

Kaito Ariu, Kenshi Abe, Alexandre Proutière ( 2022 年 )国際

国際
AI / AI Lab

国際
AI / AI Lab

国際
AI / AI Lab

国際
AI / AI Lab
国際
AI / AI Lab

国際

AI / AI Lab

Statistics
Publication

Akihiko Kato, Syuhei Kondo and Hiroyuki Shindo ( 2022 年 )AI / AI Lab

アウトプット実績

Kenshi Abe, Junpei Komiyama, Atsushi Iwasaki ( 2022 年 )

国際

159

Service Robots in a Bakery Shop: A Field Study

IROS2022

Playful Recommendation: Sales Promotion that Robots Stimulate
Pleasant Feelings instead of Product Explanation

IEEE RA-L

Sichao Song, Jun Baba, Junya Nakanishi, Yuichiro Yoshikawa, Hiroshi Ishiguro ( 2022 年 )Takuya Iwamoto Jun Baba Junya Nakanishi Katsuya Hyodo Yuichiro Yoshikawa Hiroshi Ishiguro ( 2022 年 )IEEE Transactions on Image
Processing (TIP)

Rethinking Motion Representation: Residual Frames with �D ConvNets
Li Tao, Xueting Wang, Toshihiko Yamasaki ( 2022 年 )An Improved Inter-intra Contrastive Learning Framework on
Self-supervised Video Representation

IEEE Transactions on Circuits and Systems
for Video Technology (TCSVT)Image Aesthetics Prediction Using Multiple Patches Preserving
the Original Aspect Ratio of Contents

Multimedia Tools and Applications (MTAP)

Li Tao, Xueting Wang, Toshihiko Yamasaki ( 2022 年 )Lijie Wang, Xueting Wang, Toshihiko Yamasaki ( 2022 年 )Journal of Artiﬁcial Intelligence
Research (JAIR)

Yoshihiko Ozaki, Yuki Tanigaki, Shuhei Watanabe, Masahiro Nomura, Masaki Onishi ( 2022 年 )IEEE/ACM Transactions on Audio, Speech,
and Language Processing

Zhaojie Luo, Shoufeng Lin, Rui Liu, Jun Baba, Yuichiro Yoshikawa, Ishiguro Hiroshi ( 2022 年 )Aspect-based Analysis of Advertising Appeals for Search Engine Advertising

NAACL2022 Industry track

Soichiro Murakami, Peinan Zhang, Sho Hoshino, Hidetaka Kamigaito, Hiroya Takamura, Manabu Okumura ( 2022 年 )CMA-ES with Margin: Lower-Bounding Marginal Probability for Mixed-Integer
Black-Box Optimization

Ryoki Hamano, Shota Saito, Masahiro Nomura, Shinichi Shirakawa ( 2022 年 )Behavioral assessment of a humanoid robot when attracting pedestrians
in a mall

GECCO 2022

International Journalof Social Robotics

Yuki Okafuji, Yasunori Ozaki, Jun Baba, Junya Nakanishi, Kohei Ogawa, Yuichiro Yoshikawa, and Hiroshi Ishiguro ( 2022 年 )Online-to-Oﬄine Advertisements as Field Experiments

アウトプット実績

Statistics
Publication

Akira Matsui, Daisuke Moriwaki ( 2022 年 )160

複数ロボットを用いた疑似的な人だかりによる通行人への集客効果の検証
天田 穣一朗 , 岡藤 勇希 , 松村 耕平 , 馬場 惇 , 中西 惇也 ( 2022 年 )AI / AI Lab

国際

AI / AI Lab

国際
AI / AI Lab

国際
AI / AI Lab

国際
AI / AI Lab

Multiobjective Tree-structured Parzen Estimator

Decoupling Speaker-Independent Emotions for Voice
Conversion Via Source-Filter Networks

国際Japanese Economic Review

HAI シンポジウム 2022

国際
AI / AI Lab

国際
AI / AI Lab
国際
AI / AI Lab

国際
AI / AI Lab

国際
AI / AI Lab
国内
国際
AI / AI Lab
国内
AI / AI Lab

公共空間において恥ずかしさがロボットの利用に与える影響の調査

HAI シンポジウム 2022

坂口 太一 , 岡藤 勇希 , 松村 耕平 , 馬場 惇 , 中西 惇也 ( 2022 年 )牧田 昌大 , 岡藤 勇希 , 松村 耕平 , 馬場 惇 , 中西 惇也 ( 2022 年 )LP-to-Text: マルチモーダル広告文生成

言語処理学会第 28 回年次大会(NLP2022)

文スタイル識別器による重みづけを用いた条件付き画像キャプション生成

言語処理学会第 28 回年次大会(NLP2022)

Soichiro Murakami, Sho Hoshino, Peinan Zhang, Hidetaka Kamigaito, Hiroya Takamura, Manabu Okumura ( 2022 年 )松田洋之 ( 東大 ), 大谷まゆ , 脇本宏平 , 黒田和矢 ( サイバーエージェント ), 中山英樹 ( 東大 ) ( 2022 年 )Mobile Targeting: Exploring the Role of Area Familiarity, Store Knowledge,
and Promotional Incentives
Ryo Kato, Takahiro Hoshino, Daisuke Moriwaki, Shintaro Okazak ( 2022 年 )Discussion Paper Series
RIEB Kobe Univrsity

労働分野におけるオルタナティブデータの活用
Daisuke Moriwaki ( 2022 年 )日本労働研究雑誌

現在地への親近性がジオターゲティング広告の効率性に与える影響

JIMS

Mobile Targeting: Exploring the Role of Area Familiarity, Store Knowledge, andPromotional Incentives

JIMS

Ryo Kato, Takahiro Hoshino, Daisuke Moriwaki, Shintaro Okazaki ( 2022 年 )Ryo Kato, Takahiro Hoshino, Daisuke Moriwaki, Shintaro Okazaki ( 2022 年 )広告文自動生成に関する最近の研究動向

JSAI2022

Towards Universal Multi-Modal Layout Models

MIRU2022

Learnable Private-Shared Latent Spaces of Complementary Modalities via VQ-VAE

MIRU2022

広告画像表現の事前学習

MIRU2022

モバイル Web ページの構造的な色付け

MIRU2022

村上 聡一朗 , 星野 翔 , 張 培楠 ( 2022 年 )Naoto Inoue, Kotaro Kikuchi, Edgar Simo-Serra, Mayu Otani, Kota Yamaguchi ( 2022 年 )Antonio Tejero-de-Pablos ( 2022 年 )鈴木 智之 , 山口 光太 ( 2022 年 )菊池康太郎 , 井上直人 , 大谷まゆ , シモセラエドガー , 山口光太 ( 2022 年 )国内
AI / AI Lab
国内

AI / AI Lab

国内

AI / AI Lab
国内

AI / AI Lab

国内
AI / AI Lab
国内

AI / AI Lab
国内

AI / AI Lab

国内

AI / AI Lab
国内

AI / AI Lab
国内

AI / AI Lab
国内

AI / AI Lab
国内

AI / AI Lab
国内
AI / AI Lab

Statistics
Publication

HAI シンポジウム 2022

アウトプット実績

ロボットとインタラクションを行う通行人のエンゲージメントモデリング

161

深層学習のハイパパラメータ最適化における Nelder-Mead 法の初期値評価

PRMU

竹長，渡邊，野村，尾崎，大西，波部 ( 2022 年 )コロナと位置情報

行動経済学会

行政データを活用した統計作成

日本経済学会

ありがた迷惑なルール

日本経済学会

森脇大輔 ( 2022 年 )森脇大輔 ( 2022 年 )Yoshihiro Takenami ( 2022 年 )広告ランディングページにおける配色推薦邱 倩如 , 大谷 まゆ , 岩崎 祐貴 ( 2022 年 )情報処理学会コンピュータグラフィック
スとビジュアル情報学研究会

Model Speciﬁcation Test in Individual Treatment Eﬀect Estimation
Masahiro Kato ( 2021 年 )AEA Annual Meeting 2021

The Laughing Machine: Predicting Humor in VideoWACV 2021

Yuta Kayatani, Zekun Yang, Mayu Otani, Noa Garcia, Chenhui Chu, Yuta Nakashima, Haruo Takemura ( 2021 年 )Evaluating Initialization of Nelder-Mead Method for Hyperparameter
Optimization in Deep Learning

ICPR2020

Smart Speaker vs. Social Robot in a Case of Hotel RoomIROS2020

Warm Starting CMA-ES for Hyperparameter Optimization

AAAI2021

S. Takenaga, S. Watanabe, M. Nomura, Y. Ozaki, M. Onishi, H. Habe ( 2021 年 )Junya Nakanishi, Jun Baba, Itaru Kuramoto, Kohei Ogawa, Yuichiro Yoshikawa, Hroshi Ishiguro ( 2021 年 )Masahiro Nomura*, Shuhei Watanabe*, Youhei Akimoto, Yoshihiko Ozaki, Masaki Onishi (* equally contributed)( 2021 年 )Alleviating Cold-Start Problems in Recommendation through Pseudo-Labellingover Knowledge Graph
Riku Togashi, Mayu Otani, Sin'ichi Satoh ( 2021 年 )アウトプット実績

Statistics
Publication

Online-to-Oﬄine Advertisements as Field Experiments

162

Matsui Akira, Daisuke Moriwaki ( 2021 年 )Density Ratio Based Personalised Ranking from Implicit Feedback
Riku Togashi, Masahiro Kato, Mayu Otani, Sin'ichi Satoh ( 2021 年 )WSDM 2021

International Workshop for Lab andField Experiments

WWW2021

国内
AI / AI Lab
国内

AI / AI Lab

国内

AI / AI Lab
国内

AI / AI Lab
国内

AI / AI Lab

国際

AI / AI Lab
国際

AI / AI Lab

国際

AI / AI Lab
国際

AI / AI Lab
国際

AI / AI Lab

国際

AI / AI Lab
国際

AI / AI Lab
国際
AI / AI Lab

Kenshi Abe, Kaneko Yusuke ( 2021 年 )Teleoperated Robot Sells Toothbrush in a Shopping Mall: A Field Study

CHI2021

Sichao Song, Jun Baba, Junya Nakanishi, Yuichiro Yoshikawa, Hiroshi Ishiguro ( 2021 年 )Smartphone- and Smartwatch-acquired Daily Steps, Activity, and BarometricPressures Associated with Subjective Measures of Rheumatoid Arthritis: a
Prospective Study for RA Digital Phenotyping

eular2021

K. Izumi, D. Moriwaki, T. Toda, M. Higashida-Konishi, M. Koyama, H. Oshima, Y. Okano, Y. Kaneko,
S. Ko, T. Takeuchi ( 2021年 )An Empirical Study of Generating Texts for Search-Engine Advertising

NAACL 2021

Hidetaka Kamigaito*, Peinan Zhang*, Hiroya Takamura, Manabu Okumura (* equal contribution) ( 2021年 )Scalable Personalised Item Ranking through Parametric Density Estimation

SIGIR2021

Non-negative Bregman Divergence Minimization for Deep Direct Density Ratio Estimation

ICML2021

Adaptive Doubly Robust Estimator

ICML2021

Riku Togashi, Masahiro Kato, Mayu Otani, Tetsuya Sakai, Sin'ichi Satoh ( 2021年 )Masahiro Kato，Takeshi Teshima ( 2021年 )Masahiro Kato, Shota Yasui, Kenichiro McAlinn ( 2021年 )Aggregate Learning for Mixed-Frequency Data

Takamichi Toda, Daisuke Moriwaki, Kazuhiro Ota ( 2021年 )KDD2021 milets

Attending Self-Attention: A Case Study of Visually Grounded Supervision in
Vision-and-Language Transformers

ACL SRW 2021

Exploring Possibilities of Social Robot’ s Interactive Services in a Case of a Hotel Room

RO-MAN 2021

Behavioral Changes in Passersby by Expanding Embodiment of a Calling Robot

RO-MAN 2021

POP Cart: Product Recommendation Systemby an Agent on a Shopping Cart

RO-MAN 2021

Debiased Oﬀ-Policy Evaluation for Recommendation Systems

RecSys 2021

Jules Samaran, Noa Garcia, Mayu Otani, Chenhui Chu, Yuta Nakashima ( 2021年 )Junya Nakanishi, Tomohisa Hazama, Jun Baba, Song Sichao, Yuichiro Yoshikawa, and Hiroshi Ishiguro ( 2021年 )Joichiro Amada, Yuki Okafuji, Takahiro Wada, Jun Baba, Junya Nakanishi and Yuichiro Yoshikawa ( 2021年 )Ryosuke Takada, Kenya Hoshimure, Takuya Iwamoto and Jun Baba ( 2021年 )Yusuke Narita, Shota Yasui, Kohei Yata ( 2021年 )国際
AI / AI Lab

国際

AI / AI Lab

国際
AI / AI Lab

国際
AI / AI Lab
国際
AI / AI Lab
国際
AI / AI Lab
国際
AI / AI Lab
国際
AI / AI Lab

国際
AI / AI Lab
国際
AI / AI Lab
国際
AI / AI Lab
国際

AI / AI Lab

Statistics
Publication

AAMAS 2021

国際

アウトプット実績

Oﬀ-Policy Exploitability-Evaluation in Two-Player Zero-Sum Markov GamesAI / AI Lab

163

Persuasion Strategies for Social Robotto Keep Humans Accepting Daily Diﬀerent
Recommendations

IROS 2021

CanvasVAE: Learning to Generate Vector Graphic Documents

ICCV 2021

De-rendering Stylized Texts

ICCV 2021

Yuki Okafuji, Jun Baba, Junya Nakanishi, Joichiro Amada, Yuichiro Yoshikawa, Hiroshi Ishiguro ( 2021年 )Kota Yamaguchi ( 2021年 )Wataru Shimoda, Daichi Harada, Seiichi Uchida, Kota Yamaguchi ( 2021年 )Modeling Visual Containment for Web Page Layout Optimization

Paciﬁc Graphics 2021

Constrained Graphic Layout Generation via Latent Optimization

ACM Multimedia 2021

Kotaro Kikuchi, Edgar Simo-Serra, Mayu Otani, Kota Yamaguchi ( 2021年 )Kotaro Kikuchi, Edgar Simo-Serra, Mayu Otani, Kota Yamaguchi ( 2021年 )Eﬃcient Hyperparameter Optimization under Multi-Source Covariate ShiftCIKM2021

M. Nomura*, Y. Saito* (* equally contributed) ( 2021年 )FAST: Fast Annotation system for SmarT devices

EMNLP 2021

Shunyo Kawamoto, Yu Sawai, Kohei Wakimoto, Peinan Zhang ( 2021年 )The Eﬀectiveness of Self-Recommending Agents in Advancing Purchase
Behavior Steps in Retail Marketing

HAI2021

Cyberbullying mitigation by a proxy persuasion of a chat member hijacked by a chatbot

HAI 2021

Edge-Level Explanations for Graph Neural Networks by Extending Explainability
Methods for Convolutional Neural Networks

ISM 2021

Takuya Iwamoto, Jun Baba, Junya Nakanish, Daisuke Endo,Taishi Unokuchi,Kohtaro Nishi,Yuichiro Yoshikawa,and Hiroshi Ishiguro ( 2021年 )Tomoyuki Ueda, Junya Nakanishi, Itaru Kuramoto, Jun Baba, Yuichiro Yoshikawa, Hiroshi Ishiguro ( 2021年 )Tetsu Kasanishi, Xueting Wang and Toshihiko Yamasaki ( 2021年 )Color-Grayscale-Pair Image Sentiment Dataset and Its Application to
Sentiment-Driven Image Color Conversion

アウトプット実績

Statistics
Publication

Atsushi Takada, Xueting Wang, Toshihiko Yamasaki ( 2021年 )164Transferring Domain-Agnostic Knowledge in Video Question Answering

AI / AI Lab

国際

AI / AI Lab

国際

AI / AI Lab

国際

AI / AI Lab

国際

AI / AI Lab

国際

AI / AI Lab

国際

AI / AI Lab

国際
AI / AI Lab

MMArt-ACM 2021
(in conjunction with ICMR 2021)

Tianran Wu, Noa Garcia, Mayu Otani, Chenhui Chu, Yuta Nakashima, Haruo Takemura ( 2021年 )国際

BMVC 2021

国際

AI / AI Lab

国際
AI / AI Lab

国際
AI / AI Lab

国際
AI / AI Lab

Frontiers in Robotics and AI

Adaptive Doubly Robust Estimator

NeurIPS 2021

Masahiro Kato, Shota Yasui, Kenichiro McAlinn ( 2021年 )Team Optuna Developers’ Method for Black-Box Optimization Challenge ����Masashi Shibata*, Toshihiko Yanase*, Hideaki Imamura+, Masahiro Nomura+, Takeru Ohta+,
Shotaro Sano+, Hiroyuki Vincent Yamazaki+. (* and + contributed equally) ( 2021年 )Learning Causal Relationship from Conditional Moment Condition by
Importance Weighting
Masahiro Kato, Shota Yasui, Kenichiro McAlinn, Haruo Kakehi ( 2021年 )Mean Variance Eﬃcient Reinforcement Learning

Masahiro Kato, Kei Nakagawa, Kenshi Abe, Tetsuro Morimura ( 2021年 )A real-world implementation of unbiased lift-based bidding system

BBO Challenge(NeurIPS2020 Workshop)

NeurIPS workshop on Machine
Learning meets Econometrics

NeurIPS workshop on Deep
Reinforcement Learning

Daisuke Moriwaki, Yuta hayakawa, isshu munemasa, yuta saito, akira matsui, masashi shibata ( 2021年 )企業研究に特化したカンファレンス CCSE の報告
岩本拓也，木村俊也，益子宗 ( 2021年 )単語分散表現におけるフォントスタイル情報の利用
原口 大地 , 下田 和 , 内田 誠一 ( 2021年 )IEEE BigData

AI / AI Lab

国際
AI / AI Lab

国際
AI / AI Lab

国際
AI / AI Lab

CVIM 2020

国内

HAI シンポジウム 2021

身体のない音エージェントによる広告効果の検討

HAI シンポジウム 2021

購買行動において認知的不協和を顕在化し解消を促進する
窓エージェントの提案と検討

HAI シンポジウム 2021

福嶋稜 , 八木拓真 , 馬場惇 , 岩本拓也 , 遠藤大介 , 大澤正彦 ( 2021年 )国際

AI / AI Lab

対話エージェントの相槌における態度表出に関する有効性の検証

川島遼介 , 曾野太一 , 岩本拓也 , 馬場惇 , 遠藤大介 , 大澤正彦 ( 2021年 )AI / AI Lab

国内

HAI シンポジウム 2021

片山晋 , 馬場惇 , 中西惇也 , 吉川雄一郎 ( 2021年 )国際

人工知能学会誌特集「企業における研究開発部門の役割と創出価値」

呼びかけロボットの身体性拡張による通行人の行動促進

天田穣一朗 , 岡藤勇希 , 和田隆広 , 馬場惇 , 中西惇也 , 吉川雄一郎 ( 2021年 )AI / AI Lab

AI / AI Lab

国内

AI / AI Lab

国内

AI / AI Lab

国内

AI / AI Lab

国内

AI / AI Lab

Statistics
Publication

Jun Baba, Sichao Song, Junya Nakanishi, Yuichiro Yoshikawa, Hiroshi Ishiguro ( 2021年 )国際

アウトプット実績

Local vs Avatar Robot: Performance and Workload of Service
Encounters in Public Space165複数の目標の話題に誘導する対話のための話題戦略並列実行アーキテクチャ
Hazama, Nakanishi, Baba, Yoshikawa, Ishiguro ( 2021年 )第 27 回ロボティクスシンポジア

いじめ場面を想定したキャッチボール課題における傍観行動の選択肢の導入効果
植田智之 , 中西惇也 , 伴碧 , 倉本到 , 馬場惇 , 吉川雄一郎 , 石黒浩 ( 2021年 )ヒューマンインタフェース
学会論文誌

商品主体推薦：客が選んだ商品による他商品の推薦システム

JSAI 2021

GPT-� の転移学習によるキーワードを考慮した広告文生成

JSAI 2021

FAST スマートデバイス用の高速なアノテーションツール

JSAI 2021

原拓也 , 馬場惇 , 岩本拓也 ( 2021年 )大曽根 宏幸、張 培楠 ( 2021年 )川本 峻頌、澤井 悠、張 培楠、脇本 宏平 ( 2021年 )A GAN Based Approach to Lip-Sync �D Cartoon Animations without Requiring
Raw Cartoon Dataset
中本 光彦，汪 雪婷，山崎 俊彦 ( 2021年 )MIRU2021

グラフィックデザインにおけるテキストに適したフォント推定

MIRU2021

Making Text Editable AgainMIRU2021

Exploring Knowledge Transferability between Vision-and-Language Tasks

MIRU2021

Class-Balanced Contrastive Pre-Training for Improving Long-Tailed Recognition

MIRU2021

An Improved Inter-intra Contrastive Framework for Self-supervised Video
Representation Learning

MIRU2021

Better Temporal Representation for Unsupervised Video Summarization Based on
Contrastive Self-Supervised Learning

MIRU2021

Wataru Shimoda, Daichi Harada, Seiichi Uchida, Kota Yamaguchi ( 2021年 )Wataru Shimoda, Daichi Harada, Seiichi Uchida, Kota Yamaguchi ( 2021年 )Tianwei Chen, Noa Garcia, Mayu Otani, Chenhui Chu, Yuta Nakashima and Hajime Nagahara ( 2021年 )アウトプット実績

Statistics
Publication

Shengzhou Yi, Li Tao, Xueting Wang, Toshihiko Yamasaki ( 2021年 )Li Tao, Xueting Wang, Toshihiko Yamasaki ( 2021年 )Xianliang Zhang, Li Tao, Xueting Wang, Toshihiko Yamasaki ( 2021年 )AI / AI Lab

国内

AI / AI Lab

国内

AI / AI Lab

国内

AI / AI Lab

国内

AI / AI Lab

国内
AI / AI Lab

Color�Vec: Learning Distributed Representation of Color Palette
Qianru QIU, Yuki IWAZAKI, Kota YAMAGUCHI ( 2021年 )166

CGVI 2021_06

国内

国内
国際

AI / AI Lab
国内

AI / AI Lab

国内
国際

AI / AI Lab
国内
国際

AI / AI Lab
国内
国際

AI / AI Lab

国内
国際

AI / AI Lab

国内
国際

AI / AI Lab

最適輸送理論による主観評価タスクを対象とした転移学習の親和性予測

MIRU2021

画像と色から想起される情動の理解と画像色変換への応用

MIRU2021

Edge-Level Explanations for Graph Neural Networks by Extending Explainability in
Computer Vision Tasks

MIRU2021

反実仮想後悔最小化によるアメリカンフットボールにおけるオフェンス戦略の均衡推定

FIT 2021

見間違えのある繰り返し囚人のジレンマにおける方策勾配法に関する研究

FIT 2021

Yiwei Zhang, Xueting Wang, Toshihiko Yamasaki ( 2021年 )畠山智之 , 汪雪テイ , 山崎俊彦 ( 2021年 )Atsushi Takada, Xueting Wang, Toshihiko Yamasaki ( 2021年 )Tetsu Kasanishi, Xueting Wang, Toshihiko Yamasaki ( 2021年 )島野雄貴 , 阿部拳之 , 岩崎敦 , 大河原一憲 ( 2021年 )坂本充生 , 阿部拳之 , 岩崎敦 ( 2021年 )訴求軸を考慮した広告文の作成支援に向けた訴求表現の抽出
村上聡一朗 , 張培楠 , 星野翔 , 上垣外英剛 , 高村大也 , 奥村学 ( 2021年 )The Role of Contextual Information in Best Arm Identiﬁcation
Masahiro Kato, Kaito Ariu ( 2021年 )混合整数ブラックボックス最適化問題のための共分散行列適応進化戦略
濱野椋希 , 斉藤翔汰 , 野村将寛 ( 2021年 )見間違えのある繰り返しゲームのための Actor-Critic 型強化学習
坂本充生 , 阿部拳之 , 岩崎敦 ( 2021年 )NLP 若手の会 (YANS)
第 16 回シンポジウム (2021)

統計関連学連合大会

進化計算学会

OR 学会 秋季研究発表会

Hierarchical Layout Optimization with Containment-aware Parameterization

VC2021

Exploring Latent Space for Constrained Layout Generation

VC2021

高精細な三次元顔モデル生成のためのメイクおよび照明の除去

VC + VCC 2021

Kotaro Kikuchi, Edgar Simo-Serra, Mayu Otani, Kota Yamaguchi ( 2021年 )Kotaro Kikuchi, Edgar Simo-Serra, Mayu Otani, Kota Yamaguchi ( 2021年 )Xingchao Yang, Takafumi Taketomi, Vladlen Erium ( 2021年 )国内
国際AI / AI Lab
国内
国際

AI / AI Lab
国内
国際

AI / AI Lab

国内
国際

AI / AI Lab

国内
国際

AI / AI Lab

国内
国際
国際
AI / AI Lab
国内
国際
国際
AI / AI Lab

国内

AI / AI Lab

国内

AI / AI Lab

国内

AI / AI Lab

国内

AI / AI Lab

国内

AI / AI Lab

国内

AI / AI Lab

Statistics
Publication

MIRU2021

アウトプット実績

Style-Aware Image Recommendation for Brand Marketing on Social Media

167

Specular, Roughness, Normal を含めた �DMM の構築と顔画像へのフィッティングの試み
武富 貴史 , 楊 興超 ( 2021年 )Learning Causal Relationship from Conditional Moment Condition by Importance
WeightingHaruo Kakehi, Masahiro Kato, Shota Yasui, Kenichiro McAlinn ( 2021年 )Japanese Named Entity Recognition from Automatic Speech Recognition Using
Pre-trained Models

VC + VCC 2021

日本経済学会AI / AI Lab

テキスト生成モデルを利用した対話型広告におけるシナリオ設計に有用な
キーフレーズの抽出

言語処理学会第 28 回
年次大会 (NLP2022)

国内

単語の分散表現および音素列の類似性を考慮した単語アラインメントに基づく教師なし Entity Linking

言語処理学会第 28 回
年次大会 (NLP2022)

国内

事前学習モデルを用いた音声認識結果からの固有表現抽出

言語処理学会第 28 回
年次大会 (NLP2022)

国内
国際

JED2022国内

日本音響学会 2022 年
春季研究発表会

国内
国際

提示候補とクエリの差分を用いたチャットボットの新規問い合わせ抽出手法

言語処理学会第 27 回年次大会(NLP2021)

国内
国際

ユーザ発話と Entity の音声類似度を考慮した Entity Linking 手法の検討

JSAI 2022

国内
国際

用例ベースチャットボットの運用自動化に向けた回答紐付け支援システム

JSAI 2022

国内
国際

日本語音声認識誤り訂正のための擬似誤りデータ作成と評価

JSAI 2022

国内
国際邊土名 朝飛 , 友松 祐太 , 杉山 雅和 , 戸田 隆道 , 東 佑樹 , 下山 翔 ( 2022 年 )今藤 誠一郎 , 上田 直生也 , 岡 照晃 , 杉山 雅和 , 邊土名 朝飛 , 小町 守 ( 2022 年 )クラウドソーシングに基づく日本語タスク指向型対話収集基盤の構築に向けて邊土名朝飛 , 友松祐太 , 阿部香央莉 , 佐々木翔大 , 乾健太郎 ( 2022 年 )自動音声対話における音素情報を用いたリアルタイム End-of-Turn 判定
池口弘尚 , 李晃伸 , 東佑樹 , 下山翔 , 戸田隆道 ( 2022 年 )戸田隆道 , 友松祐太 , 杉山雅和 ( ���� 年 )邊土名 朝飛 , 戸田 隆道 , 友松 祐太 , 杉山 雅和 , 東 佑樹 , 下山 翔 ( 2021 年 )戸田 隆道 , 友松 祐太 , 杉山 雅和 ( 2021 年 )Statistics
Publication

国内

国際戸田隆道 , 友松祐太 , 杉山雅和 , 邊土名朝飛 , 東佑樹 , 下山翔 ( 2022 年 )アウトプット実績

AI / AI LabPACLIC 2022

Seiichiro Kondo, Naoya Ueda, Teruaki Oka, Masakazu Sugiyama, Asahi Hentona, Mamoru Komachi ( 2022 年 )

168

国内

杉山 雅和 , 吉村 綾馬 , 友松 祐太 , 小町 守 ( 2021 年 )AI / AI Shift

AI / AI Shift

AI / AI Shift

AI / AI Shift

AI / AI Shift

AI / AI Shift

AI / AI Shift

AI / AI Shift

AI / AI Shift

AI / AI ShiftAI / AI Shift

自動音声対話におけるネガティブ感情認識のための転移学習の性能比較

第 12 回対話システム
シンポジウム (2021)

電話をインターフェースとした音声自動対話の取り組み

第 12 回対話システム
シンポジウム (2021)

高井 幸輝 , 李 晃伸 , 戸田 隆道 , 東 佑樹 , 下山 翔 ( 2021 年 )JSAI 2022

伊藤 寛武 , 金子 雄祐 ( 2022 年 )Fancy avatar identiﬁcation and behaviors in the virtual world:
Preceding avatar customization and succeeding communication

Masanori Takano, Fumiaki Taka ( 2022 年 )Eﬀects of suspensions on oﬀences and damage of suspended
oﬀenders and their peers on an online chat platform

Kenji Yokotani, Masanori Takano ( 2022 年 )国内
国際

AI / Dynalyst

Online Social Support via Avatar Communication Buﬀers Harmful Eﬀects of Oﬄine
Bullying Victimization

Ryusuke Iizuka, Fujio Toriumi, Mao Nishiguchi, Masanori Takano, Mitsuo Yoshida ( 2022 年 )国内
国際

AI / AI Shift

リターゲティング広告配信における不連続回帰を用いたリフト効果分析

Impact of correcting misinformation on social disruption

国内
国際

AI / AI Shift戸田 隆道 , 友松 祐太 , 杉山 雅和 , 邊土名 朝飛 , 東 佑樹 , 下山 翔 ( 2021 年 )Masanori Takano, Kenji Yokotani ( 2022 年 )国内
国際

ICWSM-2022

国際
MDTS

PLOS ONE

国際
MDTS

Computers in Human Behavior
Reports

国際

Telematics and Informatics

国際

MDTS

MDTS

多属性態度モデルに基づく音楽サービスの業種に対するロイヤルティの分析

第 36 回人工知能学会全国大会

国内

非テキストデータを利用したメタバース上の誘い出しユーザ検知

第 36 回人工知能学会全国大会

国内

アバターの社会リズムがそのユーザーの抑うつを示す

第 36 回人工知能学会全国大会

国内

メディア利用が新型コロナウィルスのアクターへの認知に与える影響

第 36 回人工知能学会全国大会

国内

森下 壮一郎 , 武内 慎 ( 2022 年 )西口 真央 , 鳥海 不二夫 , 高野 雅典 ( ���� 年 )横谷 謙次 , 高野 雅典 ( ���� 年 )高野 雅典 , 高 史明 , 小川 祐樹 , 森下 壮一郎 ( ���� 年 )

MDTS

MDTS

MDTS

MDTS

Statistics
Publication

邊土名朝飛 , 友松祐太 , 杉山雅和 , 戸田隆道 , 東佑樹 ( 2021 年 )NLP 若手の会 (YANS)
第 16 回シンポジウム (2021)

アウトプット実績

単語分散表現と音素列に基づく音声認識誤りに頑健な教師なし Entity linking

169データサイエンスの ELSI と研究倫理

電子情報通信学会総合大会

国内

言語処理学会第 28 回年次大会(NLP2022)

国内

ビジネス・インフォマティクス研究会

国内

情報処理学会 第 84 回全国大会

国内

第 1 回計算社会科学会大会 (CSSJ2022)

国内

Predicting cyber oﬀenders and victims and their oﬀense and damage
time from routine chat times and online social network activities

Computers in Human Behavior

国際

Social rhythms measured via social media use for predicting
psychiatric symptoms

APSIPA Transactions on Signal
and Information Processing

国際

Three clusters of content-audience associations in expression of racial
prejudice while consuming online television news

PLOS ONE国際

Social acceptability of personal data utilization business according to data
controllers and purposes

WebSci’ 21

国際Eﬀects of incidental brief exposure to news on news knowledge while scrollingthrough videos

IEEE Access

国際

Journal of Community Psychology

国際

森下 壮一郎 ( ���� 年 )HTML 構造を補助情報として利用する日本語ブログ記事からの固有表現抽出
植 塁 , 數見 拓朗 , 小泉 和之 ( ���� 年 )医療における虚偽の内容を含むブログ記事の分析・対応策の検討
江間 勇希 , 鳥海 不二夫 , 高野 雅典 ( ���� 年 )オンラインチャットのアカウント停止がアカウント停止者とその仲間の違反行為に及ぼす効果
横谷 謙次 , 高野 雅典 ( ���� 年 )差別的言動の急変動に対する個体数動力学モデルを用いた検討
高野 雅典 , 高 史明 , 中里 研一 ( ���� 年 )Kenji Yokotani, Masanori Takano ( ���� 年 )Kenji Yokotani, Masanori Takano ( ���� 年 )Masanori Takano, Fumiaki Taka, Soichiro Morishita, Tomosato Nishi, Yuki Ogawa ( ���� 年 )Soichiro Morishita, Masanori Takano, Hideaki Takeda, Faiza Mahdaoui, Fumiaki Taka, Yuki Ogawa ( ���� 年 )Masanori Takano, Yuki Ogawa, Fumiaki Taka, Soichiro Morishita ( ���� 年 )Diﬀerences in Victim Experiences by Gender/Sexual Minority
Statuses in Japanese Virtual Communities

アウトプット実績

Statistics
Publication

Kenji Yokotani, Masanori Takano ( ���� 年 )170

Diﬀerence in communication systems explained by balance betweenedge and node activations
Masanori Takano, Kenichi Nakazato ( ���� 年 )

MDTS

MDTS

MDTS

MDTS

MDTS

MDTS

MDTS

MDTS

MDTS

MDTS

MDTS

Journal of Physics: Complexity

国際
MDTS

Social Contagion of Cyberbullying via Online Perpetrator and Victim
Networks

Computers in Human Behavior

国際

人工知能学会論文誌 , Vol. 36

国内

Featured Symposia on Asian Associationof Social Psychology (AASP)

国際

技術と社会・
倫理研究会 (SITE)

国内

個人データ利活用の類型に応じた社会的受容性の質問紙調査

第 35 回人工知能学会全国大会

国内

ニュース動画のリニア配信とオンデマンド配信における利用スタイルの分析

第 35 回人工知能学会全国大会

Twitter におけるニュースツイートの閲覧と動画視聴の関連性

第 35 回人工知能学会全国大会

時刻変化するワークロードのための NoSQL スキーマのオフライン最適化

情報処理学会第 83 回全国大会

Kenji Yokotani, Masanori Takano ( ���� 年 )ネットテレビのニュース番組に投稿される視聴者コメントの道徳性に基づく分析
西 朋里 , 小川 祐樹 , 高 史明 , 高野 雅典 , 森下 壮一郎 , 服部 宏充 ( ���� 年 )Racism and News on the Internet: An Example of JapaneseOnline Television
Masanori Takano ( ���� 年 )データサイエンスの実践と法・倫理 ～ アバターコミュニティアプリを一例として ～森下 壮一郎 ( ���� 年 )森下 壮一郎 , 高野 雅典 , 武田 英明 , 高 史明 , 小川 祐樹 ( ���� 年 )

MDTS

MDTS

MDTS

MDTS

高野 雅典 , 小川 祐樹 , 高 史明 , 森下 壮一郎 ( ���� 年 )小川 祐樹 , 高野 雅典 , 森下 壮一郎 , 高 史明 ( ���� 年 )

国内
MDTS

国内
MDTS

国内
MDTS

構造化データの自動抽出に向けた変換処理フレームワークの提案

第 13 回データ工学と情報マネジメントに関するフォーラム（DEIM）

国内

時刻変化するワークロードのための NoSQL スキーマの最適化

第 13 回データ工学と情報マネジメントに関するフォーラム（DEIM）

国内【技術報告】データと処理の依存関係を整理する機械学習モデル
管理基盤の紹介

第 13 回データ工学と情報マネジメントに関するフォーラム（DEIM）

国内

涌田 悠佑 , Michael Mior, 善明 晃由 , 佐々木 勇和 , 鬼塚 真 ( ���� 年 )大内 裕晃 ( ���� 年 )

MDTS

MDTS

MDTS

Statistics
Publication

數見 拓朗 , 白井 徳仁 , 善明 晃由 ( ���� 年 )アウトプット実績

涌田 悠佑 , Michael Mior, 善明 晃由 , 佐々木 勇和 , 鬼塚 真 ( ���� 年 )

MDTS

171

White Paper Project邊土名 朝飛Ϣʔβൃ࿩ͱ Entity ͷԻ੠ྨࣅ౓Λߟྀͨ͠
Entity Linking ख๏ͷ‫ݕ‬౼ᬑ౔໊ ேඈ
Asahi Hentona‫ࣜג‬ձࣾ AI Shift
ML Engineer

hentona asahi@cyberagent.co.jp‫ོ ాށ‬ಓ
Takamichi Toda‫ࣜג‬ձࣾ AI Shift
ML Engineer

toda takamichi@cyberagent.co.jp

keywords: Entity Linking, Ի੠‫ॲޠݴ‬ཧɼԻ੠ର࿩γεςϜ
SummaryλεΫࢦ޲‫ܕ‬ͷԻ੠ର࿩γεςϜ͸ɼલஈͰࣗಈԻ੠ೝࣝʢAutomatic Speech Recognition; ASRʣγεςϜΛ༻͍ͯϢʔβൃ࿩ΛςΩετԽ͠ɼ‫ޙ‬ஈͰ Entity Linking Λߦ͏ߏ੒͕ͱΒΕ͍ͯΔ͜ͱ͕ଟ͍͕ɼASR γ
εςϜͷԻ੠ೝࣝ‫ޡ‬ΓͷӨ‫Ͱڹ‬Ϣʔβൃ࿩ͱ Entity ؒͷྨࣅ౓Λద੾ʹ‫͢ࢉܭ‬Δ͜ͱ͕೉͍͠ɽຊߘͰ͸ɼԻ੠ೝࣝ‫ޡ‬Γʹର͢ΔϩόετੑΛߴΊΔͨΊʹԻ੠ྨࣅ౓Λߟྀ͠ɼ֤ྨࣅ౓‫ࢉܭ‬ख๏ͱͷؒͰൺֱ‫ূݕ‬Λߦͬͨɽ࣮‫Ͱݧ‬͸ɼASR ݁ՌΛ࢖༻͢ΔԻૉྻϕʔεͷख๏ͱɼԻ੠σʔλ͔Β௚઀ಛ௃ྔΛநग़ͯ͠ར༻͢ΔԻ੠ಛ௃ྔϕʔεͷख๏Λ࠾༻͠ɼࣗࣾͰӡ༻͍ͯ͠ΔࣗಈԻ੠ର࿩αʔϏεͷର࿩ϩάσʔλΛ༻͍ͯ‫ͨ͠ূݕ‬ɽ࣮‫ݧ‬ͷ݁ՌɼԻૉྻϕʔεͷख๏͸ϑΟϥʔ΍ແԻ۠ؒͷӨ‫ڹ‬Λड͚ʹ͘͘ɼԻ੠ಛ௃ྔϕʔεͷख๏ͷൺֱͯ͠ߴ͍
ੑೳΛࣔͨ͠ɽ·ͨɼԻૉྻϕʔεͷख๏ͷதͰ΋ɼN-gram+TF-IDF ͸࠷΋ੑೳ͕ߴ͘ɼPrecision at 1ʢP@1ʣ
0.8977 Λୡ੒ͨ͠ɽ

1. ͸ ͡ Ί ʹͱ͍ͬͨɼಛఆͷΫϥΠΞϯτͰ͔͠࢖༻͞Εͳ͍‫ݻ‬༗໊ࢺΛ Entity Linking ͷର৅ͱͯ͠ѻ͏͜ͱ͕ଟ͍ɽҰ

Entity Linking ͱ͸ɼςΩετதʹ‫·ؚ‬ΕΔ Entity Λೝࣝ͠ɼ஌ࣝϕʔε্ͷ Entity ͱඥ෇͚ΔλεΫͰ͋Δɽ

ൠతͳද૚తɼҙຯతྨࣅ౓‫ࢉܭ‬ख๏͸ɼ͜ͷΑ͏ͳԻ੠λεΫࢦ޲‫ܕ‬ͷԻ੠ର࿩γεςϜʹ͓͍ͯ͸ɼલஈͰࣗ

ൃ࿩ͱ Entity ؒͷྨࣅ౓Λਖ਼͘͠‫͢ࢉܭ‬Δ͜ͱ͸೉͍͠ɽೝࣝ‫ޡ‬ΓΛ‫ؚ‬ΜͩςΩετʹରͯ͠੬ऑͰ͋ΓɼϢʔβಈԻ੠ೝࣝʢAutomatic Speech Recognition; ASRʣγευϝΠϯ‫ݻ‬༗ͷ୯‫ޠ‬ͷೝࣝੑೳΛ޲্ͤ͞ΔͨΊʹɼςϜΛ༻͍ͯϢʔβൃ࿩ΛςΩετԽ͠ɼ‫ޙ‬ஈͷ‫ޠݴ‬ཧυϝΠϯ͝ͱʹ ASR ϞσϧΛߏங͢Δ͜ͱͰೝࣝ‫ޡ‬ΓղʢNatural Language Understanding; NLUʣϞδϡʔϧΛ௿‫͢ݮ‬ΔΞϓϩʔν΋ଘࡏ͢Δ [Zhao 18] ͕ɼυϝΠͰ Entity Linking Λߦ͏ߏ੒͕ͱΒΕ͍ͯΔ͜ͱ͕ଟ͍

ϯ͝ͱʹे෼ͳྔͷֶशσʔλΛ༻ҙ͢Δ͜ͱ͸େ͖ͳ(ਤ 1 ࢀর)ɽ

ෛ୲ͱͳΔɽ·ͨɼ‫ڥ؀‬ԻͳͲͷϊΠζ΍Ի࣭ྼԽɼΠϯτωʔγϣϯͷࠩҟͳͲͷཁҼʹΑΓɼASR ͷೝࣝੑᗑ⯒ྡ䜢䈊䛚䛳䛧䜓䛳䛶䛟䛰䛥䛔䈊

㻮㻻㼀䈊

㇏Ὢ䛷䛩䈊

䝴䞊䝄䈊

ਤ1

㡢ኌㄆ㆑䈊
ㄗ䜚䈊

㻱㼚㼠㼕㼠㼥㻌
㻾㼑㼏㼛㼓㼚㼕㼠㼕㼛㼚䈊㻒䈊㻱㼚㼠㼕㼠㼥㻌㻸㼕㼚㼗㼕㼚㼓䈊㻱㼚㼠㼕㼠㼥㎡᭩䈊㇏Ὢᗑ䈊䛚䜔䛩䛷䛩䈊

῰㇂㐨⋞ᆏᗑ䈊㡢ኌㄆ㆑⤖ᯝ䈊䠄㻿㼜㼑㼑㼏㼔㻙㼠㼛㻙㼀㼑㼤㼠䠅䈊௦䚻ᮌᗑ䈊Ի੠ର࿩γεςϜʹ͓͚Δ Entity Linkingೳ͸͞Βʹ௿Լ͢Δ‫ڪ‬Ε΋͋Δɽ
͜͏ͨ͠Ի੠ೝࣝ‫ޡ‬Γʹରॲ͢ΔͨΊʹɼԻ੠৘ใΛ༻͍ΔΞϓϩʔν͕‫͞ڀݚ‬Ε͖ͯͨɽEntity Linking λεΫʹ͓͍ͯ͸ɼԻૉྻΛར༻͢Δ͜ͱͰੑೳΛ޲্ͤͨ͞
‫[ ڀݚ‬Raghuvanshi 19] ͕ଘࡏ͢Δɽ·ͨɼEntity LinkingλεΫҎ֎Ͱ͸ɼԻૉຒࠐද‫ݱ‬Λ֫ಘͯ͠ൃ࿩෼ྨΛߦ͏ख๏ [Fang 20][Yenigalla 18] ΍ɼԻ੠͔Β௚઀‫ݻ‬༗දWhite Paper Project

ASR γεςϜΛհͨ͠ Entity Linking ʹ͓͚Δ՝୊ͷҰͭʹɼԻ੠ೝࣝ‫ޡ‬Γ͕‫͛ڍ‬ΒΕΔɽۙ೥ͷ൚༻ ASR γ

172‫ݱ‬நग़Λߦ͏ End-to-End ख๏ [Yadav 20] ͕ఏҊ͞Ε͍ͯΔɽεςϜͷԻ੠ೝࣝੑೳ͸ඇৗʹߴੑೳͰ͋Δ΋ͷͷɼґຊ‫Ͱڀݚ‬͸ɼλεΫࢦ޲‫ܕ‬Ի੠ର࿩γεςϜʹ͓͚Δ

વͱͯ͠υϝΠϯ‫ݻ‬༗ͷ୯‫ޠ‬͸‫ޡ‬ೝࣝ͠΍͍͢ͱ͍͏໰

Entity Linking ͷੑೳ޲্Λ໨తͱͯ͠ɼԻ੠ྨࣅ౓Λߟ

୊͕͋Δɽಛʹ࣮αʔϏεʹ͓͍ͯ͸ɼ঎඼໊΍ళฮ໊ྀͨ͠ྨࣅ౓‫ࢉܭ‬ख๏ͷൺֱ‫ূݕ‬Λߦ͏ɽ࣮‫Ͱݧ‬͸ɼϢʔ§ 1 ηϛάϩʔόϧΞϥΠϯϝϯτ

͠ɼϢʔβൃ࿩ͱ࠷΋ྨࣅ͢Δ Entity Λඥ෇͚Δ͜ͱͰ

ηϛάϩʔόϧΞϥΠϯϝϯτͱ͸ɼ2 ͭͷ഑ྻʢe.g.

Entity Linking Λ࣮‫͢ݱ‬Δɽࠓճ‫͢ূݕ‬Δྨࣅ౓‫ࢉܭ‬ख๏͸ɼASR ݁ՌΛ࢖༻͢ΔԻૉྻϕʔεͷख๏ͱɼASRԻૉྻʣؒͷཁૉΛରԠ෇͚Δ΋ͷͰ͋ΓɼҰํͷ഑ྻγεςϜΛ࢖༻ͤͣɼԻ੠σʔλ͔Β௚઀ಛ௃ྔΛநग़Δɽຊ‫Ͱڀݚ‬͸ɼϢʔβൃ࿩ͷԻૉྻதʹ Entity ͷԻૉͯ͠ར༻͢ΔԻ੠ಛ௃ྔϕʔεͷख๏ͱΛൺֱ͢ΔɽԻ

ྻ͕಺แ͞Ε͍ͯΔͱԾఆͯ͠ηϛάϩʔόϧΞϥΠϯ

ૉྻϕʔεͷख๏ͱͯ͠ɼฤू‫཭ڑ‬ʢϨʔϕϯγϡλΠ

ϝϯτΛద༻͢Δɽ͜ͷͱ͖ɼԻૉ͕Ұகͨ͠৔߹ 1ɼෆϯ‫཭ڑ‬ʣͱηϛάϩʔόϧΞϥΠϯϝϯτɼN-gram+TF-

Ұகͩͬͨ৔߹-1 ͷείΞΛ෇༩ͯ͠ྨࣅ౓Λ‫͢ࢉܭ‬Δɽʹ΋͏Ұํͷ഑ྻ͕‫·ؚ‬Ε͍ͯΔ৔߹ʹ༗ޮͳख๏Ͱ͋

IDF Λ࠾༻͢Δɽ·ͨɼԻ੠σʔλ͔ΒԻ੠ಛ௃ද‫ݱ‬Λ͜ΕʹΑΓɼϢʔβൃ࿩தͷϑΟϥʔ΍‫ޠ‬ඌͳͲͷ༨෼

֫ಘ͢Δํ๏ͱͯ͠ɼwav2vec 2.0[Baevski 20] ͱϝϧεͳՕॴΛແࢹͰ͖ɼEntity ؒͰ෦෼Ұக͍ͯ͠ΔՕॴ͕

ϖΫτϩάϥϜͷ 2 छྨͷख๏Λ࠾༻͢Δɽ࣮‫Ͱݧ‬͸ɼଘࡏͯ͠΋ద੾ʹྨࣅ౓Λ‫͢ࢉܭ‬Δ͜ͱ͕Ͱ͖Δͱߟ࣮͑ࡍʹαʔϏεͱͯ͠ఏ‫͍ͯ͠ڙ‬ΔԻ੠ର࿩γεςϜͷ

ΒΕΔɽର࿩ϩάσʔλΛ࢖༻͠ɼ֤ख๏ͷ Entity Linking ͷੑͷೝࣝ݁ՌΛσʔλϕʔε্ͷਓ໊ͱඥ෇͚Δ͜ͱΛ໨

§ 2 N-gram+TF-IDF
N-gram+TF-IDF Ͱ͸ɼ·ͣϢʔβൃ࿩͓Αͼ Entity ͷԻૉྻ͔ΒԻૉ N-gram Λ࡞੒͢Δɽ֤Իૉ N-gram ͷ
IDF είΞ͸ɼEntity ࣙॻ಺ͷ֤ Entity Λ̍จॻͱΈͳͯ͠‫͢ࢉܭ‬Δɽ͜ΕʹΑΓɼಛఆͷ Entity ʹग़‫͢ݱ‬ΔԻ
ૉ N-gram ͷॏཁ౓ΛߴΊΔ͜ͱ͕Ͱ͖ΔɽϢʔβൃ࿩ͱ֤ Entity ؒͷྨࣅ౓͸ɼ֤Իૉ N-gram ͷ TF-IDF είΞΛૉੑͱͨ͠ TF-IDF ϕΫτϧΛ࡞੒͠ɼϕΫτϧతͱͨ͠‫͠ͳࢣڭ‬ख๏ΛఏҊͨ͠ [Raghuvanshi 19]ɽ͜

ؒͷίαΠϯྨࣅ౓Λ‫͢ࢉܭ‬Δ͜ͱͰಘΔɽ

ೳʢPrecision at 1, 3, 5ʣΛൺֱ͢Δɽ

2. ؔ ࿈ ‫ڀ ݚ‬
ASR ͷ‫ޡ‬ೝࣝʹରॲ͢ΔͨΊʹɼԻ੠৘ใΛ༻͍Δ༷ʑͳख๏͕‫͞ڀݚ‬Ε͖ͯͨɽRaghuvanshi Β͸ɼASR

ͷख๏͸ɼςΩετͱԻૉͷྨࣅ౓Λར༻͢Δ͜ͱͰɼԻ
੠ೝࣝ‫ޡ‬Γʹ‫ͳ݈ؤ‬ਓ໊‫ࡧݕ‬Λߦ͏͜ͱ͕Ͱ͖Δɽ

Entity Linking λεΫҎ֎Ͱ͸ɼൃԻͷྨࣅੑΛߟྀ͢ΔͨΊɼԻૉྻ͔Βຒࠐද‫ݱ‬Λ֫ಘ͢Δ‫ڀݚ‬΋͋ΔɽFang
Β͸ɼԻૉͷൃԻͷྨࣅੑΛߟྀͨ͠Իૉຒࠐද‫ݱ‬Λֶश͢Δख๏ΛఏҊ͠ɼ֫ಘͨ͠Իૉຒࠐද‫ݱ‬ΛχϡʔϥϧωοτϫʔΫϞσϧʹೖྗͱͯ͠༩͑Δ͜ͱͰൃ࿩෼ྨ
ϞσϧͷੑೳΛվળͰ͖Δ͜ͱΛࣔͨ͠ [Fang 20]ɽԻૉ
Ҏ֎Ͱ͸ɼԻ੠σʔλͷ Mel spectrogramʢϝϧεϖΫτ
ϩάϥϜʣΛೖྗͱͨ͠ CNN ϕʔεͷ‫ײ‬৘෼ྨख๏͕ఏ
Ҋ͞Ε͍ͯΔ [Yenigalla 18]ɽ·ͨɼYadav Β͸ɼԻ੠ͷεϖΫτϧ৘ใ͔Β௚઀‫ݻ‬༗ද‫ݱ‬Λநग़͢Δ End-to-Endख๏ΛఏҊ͍ͯ͠Δ [Yadav 20].
ຊ‫Ͱڀݚ‬͸ɼԻ੠ͷྨࣅ౓Λߟྀ͢ΔͨΊʹɼASR ݁ՌΛ࢖༻͢ΔԻૉྻͱɼԻ੠σʔλ͔Β௚઀ಛ௃ྔΛ֫ಘ͢ΔϝϧεϖΫτϩάϥϜɼwav2vec 2.0[Baevski 20]
Λར༻͢Δɽ

3. Ի੠ྨࣅ౓‫ࢉܭ‬ख๏
3·1 Իૉྻϕʔεͷख๏Ի੠ͷྨࣅੑΛߟྀ͢ΔͨΊʹɼԻૉ৘ใΛར༻ͯ͠

Entity Linking Λߦ͏ɽԻૉ৘ใ͸ɼASR ʹΑͬͯॻ͖‫͜͞ى‬ΕͨϢʔβൃ࿩ɼ͓Αͼඥ෇͚ର৅Ͱ͋Δ EntityΛɼpyopenjtalk∗1 Λ༻͍ͯԻૉྻʹม‫ͨ͠׵‬΋ͷΛར༻͢Δɽ·ͨɼྨࣅ౓‫ࢉܭ‬ख๏ͱͯ͠ɼฤू‫཭ڑ‬ʢϨʔϕϯγϡλΠϯ‫཭ڑ‬ʣɼηϛάϩʔόϧΞϥΠϯϝϯτɼN-gram+TF-IDF Λ࠾༻͢Δɽ
∗1 https://github.com/r9y9/pyopenjtalk·ͨɼຊ‫Ͱڀݚ‬͸ɼ༷ʑͳύλʔϯͷԻૉ N-gram Λ࡞੒͢Δ͜ͱͰɼଟ༷ͳԻ੠ೝࣝ‫ޡ‬Γʹରॲ͢Δ͜ͱΛࢼΈΔɽ࣮‫Ͱݧ‬͸ɼN Λ 2 ≤ N ≤ 10(N ∈ Z) ʹઃఆͨ͠ɽ

3·2 Ի੠ಛ௃ྔϕʔεͷख๏ຊ‫Ͱڀݚ‬͸ɼԻ੠σʔλ͔Β֫ಘͨ͠ಛ௃ද‫( ݱ‬Ի੠ಛ௃ද‫ )ݱ‬Λར༻͢Δྨࣅ౓‫ࢉܭ‬ख๏ΛఏҊ͢Δɽ۩ମతʹ͸ɼԻ੠ಛ௃ද‫ͯ͠ͱݱ‬ϝϧεϖΫτϩάϥϜ͓Αͼࣄલֶश͞Εͨ wav2vec 2.0[Baevski 20] ͷ transformer

encoder ग़ྗͷ 2 ͭΛར༻͠ɼͦΕͧΕʹରͯ͠ධՁΛߦ͏ɽ

§ 1 Triplet NetworkԻ੠ಛ௃ද‫ݱ‬Λར༻ͯ͠ Entity Linking Λߦ͏৔߹ɼ
γϯϓϧͳํ๏ͱͯ͠Ի੠ಛ௃ද‫ݱ‬Λೖྗͱ͢Δ Entityͷ෼ྨ໰୊Λղ͘Ξϓϩʔν͕ߟ͑ΒΕΔɽ͔͠͠ɼ࣮
αʔϏεͷӡ༻ʹ͓͍ͯ Entity ͸มಈ͢ΔՄೳੑ͕ߴ͘ɼ
෼ྨϞσϧΛ࡞ͬͯ͠·ͬͨ৔߹ Entity ͕มΘΔ౓ʹϞσϧΛ࠶ֶश͠ͳ͚Ε͹ͳΒͳ͍ɽͦ͜Ͱɼଛࣦؔ਺ʹ

Triplet Loss Λ༻͍ͨ Metiric Learning ʹ‫ ͍ͨͮج‬Neural
Network Λ࢖༻͢Δɽ
Triplet Loss Λ࢖༻ͨ͠ Neural Network ͷϞσϧ͸
Triplet Network ͱ‫ݺ‬͹ΕɼHoffer Β [Hoffer 15] ͕ը૾‫ࡧݕ‬ͷॱҐ෇͚ͳͲʹར༻Ͱ͖Δͱͯ͠ఏҊ͞Εɼ‫ࡏݱ‬Ͱ͸Ϩίϝϯυ΍࣭໰Ԡ౴ͳͲ༷ʑͳ෼໺ͰԠ༻͞Εͯ
͍ΔɽTriplet Network ͷུ֓ਤΛਤ 2 ʹࣔ͢ɽຊߘͰ͸ɼ

Neural Network ෦෼͸ಛ௃நग़૚ͱͯ͠ 2 ૚ͷ 1D Convolution NetworkʢϑΟϧλʔαΠζ 5ʣΛɼϔομʔ૚ͱͯ͠ 2 ૚ͷ FeedForward Network ΛՃ͑ͨωοτϫʔΫΛ࠾༻͢ΔɽωοτϫʔΫͷུ֓ਤΛਤ 3 ʹࣔ͢ɽWhite Paper Projectβൃ࿩ͱ஌ࣝϕʔε্ͷ֤ Entity ͱͷؒͰྨࣅ౓Λ‫ࢉܭ‬173૿΍ͨ͢Ίʹɼ߹੒Ի੠Ϟσϧͷछྨ΍ϐονɼ࿩଎ΛมԽͤ͞ɼ1 ͭͷ୯‫ʹޠ‬ରͯ͠ 36 ௨ΓͷԻ੠σʔλΛੜ
੒ͨ͠ɽ

4. ࣮

ਤ2

‫ݧ‬

4·1 ࣮ ‫ ݧ‬ઃ ఆఏҊख๏ͷ Entity Linking ͷੑೳΛɼࣗࣾͰӡ༻͍ͯ͠ΔࣗಈԻ੠ର࿩αʔϏε AI Messenger Voicebot∗3ʢҎԼɼAIMʣͷσʔλΛ༻͍ͯධՁ͢ΔɽධՁࢦඪ͸ Precisionat 1(P@1)ɼPrecision at 3(P@3)ɼPrecision at 5(P@5) ͷ
3 ͭͷࢦඪΛར༻͢Δɽ

Triplet Network ͷུ֓ਤ4·2 σ ʔ λ ηοτఏҊख๏ΛධՁ͢ΔͨΊͷσʔληοτͱͯ͠ɼAIMͷର࿩ϩάσʔλ͓Αͼ Entity ࣙॻΛ࢖༻ͨ͠ɽର࿩ϩάσʔλͱ͸ɼϢʔβ͕ Entity ࣙॻʹొ࿥͞Ε͍ͯΔϑϨʔζʹ͍ͭͯ‫ൃͨ͠ٴݴ‬࿩Λऩूͨ͠΋ͷͰ͋Δɽର࿩ϩάσʔλʹ͸ɼϢʔβൃ࿩ͷԻ੠σʔλ͓Αͼ Google

Speech-to-Text ʹΑͬͯॻ͖‫͜͞ى‬Εͨൃ࿩ςΩετ͕‫·ؚ‬Ε͍ͯΔɽ·ͨɼϢʔβൃ࿩ʹ࣮ࡍʹඥ෇͍ͨ Entity΋‫·ؚ‬Ε͓ͯΓɼ͜ͷ Entity Λਖ਼ղͱͯ͠ධՁΛߦͬͨɽ
Entity ࣙॻ͸ɼඥ෇͚ର৅ͱͳΔ Entity ͕ొ࿥͞Εͨࣙ
ॻͰ͋Δɽσʔληοτʹ‫·ؚ‬ΕΔϢʔβൃ࿩਺ͱɼඥ
෇͚ର৅ͱͳΔ Entity ਺Λද 1 ʹࣔ͢ɽ
ਤ3ͳ͓ɼຊ࣮‫͢༻࢖Ͱݧ‬Δσʔληοτ͸ɼి࿩ೖి࣌Neural Network ͷུ֓ਤʹϢʔβʹରͯ͠࿥Իͷ‫ڐ‬୚ΛऔΓɼ͔ͭ‫ݸ‬ਓ৘ใ͕‫ؚ‬

Triplet Network ͸ɼ‫ج‬४ͱͳΔධՁԻ੠σʔλ (Anchor)ɼAnchor ͱಉ͡಺༰Λൃ࿩͍ͯ͠Δਖ਼ྫԻ੠σʔλ (Positive)ɼAnchor ͱҟͳΔ಺༰Λൃ࿩͍ͯ͠ΔෛྫԻ੠σʔλ (Negative) ͷ 3 ͭΛ 1 ૊ͱֶͯ͠श͕ߦΘΕ
Δɽ֤Ի੠͸ϝϧεϖΫτϩάϥϜ΍ wav2vec 2.0 ʹΑͬͯಛ௃ϕΫτϧʹม‫͞׵‬ΕɼNeural Network Λ௨ͯ͠೚ҙͷۭؒͷϕΫτϧͱͯ͠഑ஔ͞ΕΔɽ͜͜Ͱ AnchorPositive ؒͷ‫཭ڑ‬Λ dp ɼAnchor-Negative ؒͷ‫཭ڑ‬Λ dn
ͱ͢ΔͱɼTriplet Loss ͸ࣜ 1 ͷΑ͏ʹ‫͞ࢉܭ‬ΕΔɽ
T riplet Loss = max(dp − dn + α, 0)(1)White Paper Projectද 1 σʔληοτʹ‫·ؚ‬ΕΔൃ࿩਺ͱ Entity ਺Ϣʔβൃ࿩਺

Entity ਺

2229

214

4·3 ࣮ ‫ ݁ ݧ‬Ռ࣮‫݁ݧ‬ՌΛද 2 ʹࣔ͢ɽ্ஈ͕ ASR ͷ݁Ռ͔ΒಘΒΕͨԻૉྻϕʔεͷख๏ͰɼԼஈ͕Ի੠ಛ௃ྔϕʔεͷख๏ͱͳ͍ͬͯΔɽ݁ՌΑΓɼԻૉྻϕʔεͷख๏͕ɼԻ੠ಛ௃ྔϕʔεͷख๏ΑΓ΋ੑೳ͕ߴ͍͜ͱ͕ࣔ͞Εͨɽ͜͜Ͱɼα ͸ϚʔδϯΛද͢ύϥϝʔλʔͰɼධՁ࣮‫ݧ‬

Իૉྻϕʔεͷख๏͕ྑ޷ͳੑೳͰ͋Δཧ༝ͱͯ͠ɼϑΟͰ͸ 1.0 Λ࢖༻ͨ͠ɽͳ͓ɼdp ɼdn ͸೚ҙͷ‫਺ؔ཭ڑ‬Λϥʔ΍ແԻ۠ؒͷӨ‫͑ߟ͕ڹ‬ΒΕΔɽԻૉྻϕʔεͷखద༻͢Δ͜ͱ͕ՄೳͰ͋Δ͕ɼຊߘͰ͸ϢʔΫϦου‫ڑ‬๏Ͱ͸ ASR Λ༻͍͍ͯΔͨΊɼʮ͑ʔɺΞϕϚλϫʔζʯ཭Λ࢖༻͢ΔɽͷΑ͏ͳϑΟϥʔ͕‫·ؚ‬ΕΔൃ࿩΍ɼʮΞϕϚɾɾɾλϫʔζʯ

§ 2 ߹੒Ի੠ͷར༻174·Εͳ͍σʔλΛநग़ͯ͠࢖༻͍ͯ͠ΔɽͷΑ͏ʹൃ࿩தʹແԻ۠ؒΛ‫ؚ‬ΜͰ͍Δ৔߹Ͱ΋ɼʮΞϕԻ੠ಛ௃ͷ‫཭ڑ‬Λֶश͢ΔͨΊͷ‫ࢣڭ‬σʔλͱͯ͠ɼϚλϫʔζʯͱϑΟϥʔ΍ແԻ͕۠ؒҰఆ౓আ‫͞ڈ‬Εͨ

Google Text-to-Speech∗2 Ͱੜ੒͞Εͨ߹੒Ի੠Λར༻͢ೝࣝ݁ՌΛಘΔ͜ͱ͕Ͱ͖ΔɽҰํɼԻ੠ಛ௃ྔϕʔεΔɽ͜ΕʹΑΓɼ‫ࢣڭ‬σʔλͷແ͍υϝΠϯͰ͋ͬͯ΋ɼͷख๏͸ɼϑΟϥʔ΍ແԻ͕۠ؒআ‫͞ڈ‬ΕͣʹԻ੠ಛ௃

Entity ͷςΩετσʔλ͕͋Ε͹ຊख๏Λద༻͢Δ͜ͱද‫ʹݱ‬ม‫͞׵‬Ε͍ͯΔͨΊɼͦͷՕॴͷӨ‫ڹ‬Λड͚ͯੑ͕ՄೳͱͳΔɽධՁ࣮‫Ͱݧ‬͸ɼԻ੠ͷόϦΤʔγϣϯΛೳ͕Լ͕ͬͯ͠·ͬͨͱߟ͑ΒΕΔɽ͜ͷ໰୊΁ͷରࡦ∗2 https://cloud.google.com/text-to-speech∗3 https://www.ai-messenger.jp/voicebot/ͱͯ͠ɼֶशσʔλͱͳΔ߹੒Ի੠ʹϑΟϥʔ΍ແԻ۠

5. ͓ Θ Γ ʹؒΛ‫ؚ‬Ίͨ΋ͷΛ௥Ճֶͯ͠श͢Δ͜ͱ͕ߟ͑ΒΕΔɽ
ຊ‫Ͱڀݚ‬͸ɼλεΫࢦ޲‫ܕ‬Ի੠ର࿩γεςϜʹ͓͚Δ
ද2

Entity Linking ͷੑೳΛ޲্ͤ͞Δ͜ͱΛ໨తͱͯ͠ɼԻ

ධՁ࣮‫݁ݧ‬Ռ

MethodEdit DistanceSemi-Global Alignment
N-gram+TF-IDF
Mel spectrogram
wav2vec 2.0

P@1

P@3

P@5

੠ྨࣅ౓Λߟྀͨ͠ྨࣅ౓‫ࢉܭ‬ख๏ͷൺֱ‫ূݕ‬Λߦͬͨɽ

0.76360.79050.89770.01210.38900.80530.83360.92730.0516
0.43650.83130.86050.9412
0.0951
0.5213࣮‫ݧ‬ͷ݁ՌɼԻૉྻϕʔεͷख๏͸ϑΟϥʔ΍ແԻ۠ؒͷӨ‫ڹ‬Λड͚ʹ͘͘ɼԻ੠ಛ௃ྔϕʔεͷख๏ͷൺֱͯ͠ߴ͍ੑೳΛࣔͨ͠ɽԻૉྻϕʔεͷख๏ͷதͰ΋ɼNgram+TF-IDF ͸࠷΋ੑೳ͕ߴ͘ɼP@1 0.8977 Λୡ੒ͨ͠ɽ·ͨɼN-gram+TF-IDF ʹ͓͍ͯ͸ɼ༷ʑͳύλʔϯͷԻૉ N-gram Λ࡞੒͢Δ͜ͱͰԻ੠ೝࣝ‫ޡ‬Γʹର͢Δ‫݈ؤ‬ੑ͕޲্͢Δ͜ͱΛ֬ೝͨ͠ɽࠓ‫ޙ‬͸ɼԻ੠ೝࣝ‫ޡ‬Γʹ‫ݻͳ݈ؤ‬༗ද‫ݱ‬நग़ख๏Λ‫ݕ‬౼͍͖͍ͯͨ͠ɽ♦ ࢀ ߟ จ ‫♦ ݙ‬ਤ4

Իૉ N-gram ͷ N ͷ্‫ݶ‬Λ 2 ͔Β 10 ʹมԽͤͨ͞ࡍͷ P@1

ਤ5

Իૉ N-gram ͷ N ͷԼ‫ݶ‬Λ 2 ͔Β 10 ʹมԽͤͨ͞ࡍͷ P@1ԻૉྻΛ༻͍ͨख๏ͷதͰ΋ɼN-gram+TF-IDF ͸࠷΋ߴ͍ੑೳΛࣔͨ͠ɽ͜͜Ͱɼ༷ʑͳύλʔϯͷԻૉ N-

gram Λ࡞੒͢Δ͜ͱ͕ੑೳ޲্ʹ‫د‬༩͍ͯ͠Δ͔Λ‫ূݕ‬[Baevski 20] Baevski, A., Zhou, H., Mohamed, A., and Auli, M.:
wav2vec 2.0: A Framework for Self-Supervised Learning of
Speech Representations (2020), https://arxiv.org/abs/
2006.11477[Fang 20] Fang, A., Filice, S., Limsopatham, N., and Rokhlenko, O.:
Using Phoneme Representations to Build Predictive Models Robust
to ASR Errors, in Proceedings of the 43rd International ACM SIGIR
Conference on Research and Development in Information Retrieval,p. 699–708 (2020)[Hoffer 15] Hoffer, E. and Ailon., N.: DEEP METRIC LEARNING
USING TRIPLET NETWORK., in In ICLR workshop (2015)[Raghuvanshi 19] Raghuvanshi, A., Ramakrishnan, V., Embar, V.,
Carroll, L., and Raghunathan, K.: Entity resolution for noisy ASR
transcripts, in Proceedings of the 2019 Conference on Empirical
Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP): System Demonstrations, pp. 61–66 (2019)[Yadav 20] Yadav, H., Ghosh, S., Yu, Y., and Shah, R. R.: End-toEnd Named Entity Recognition from English Speech, in Proc. Interspeech 2020, pp. 4268–4272 (2020)[Yenigalla 18] Yenigalla, P., Kumar, A., Tripathi, S., Singh, C.,
Kar, S., and Vepa, J.: Speech Emotion Recognition Using Spectrogram & Phoneme Embedding, in Proc. Interspeech 2018, pp. 3688–
3692 (2018)[Zhao 18] Zhao, Y., Li, J., Zhang, S., Chen, L., and Gong, Y.: Domain and Speaker Adaptation for Cortana Speech Recognition, in2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 5984–5988 (2018)

͢ΔͨΊʹɼN ͷൣғΛมԽͤͨ͞ࡍͷੑೳʢP@1ʣΛଌఆͨ͠ɽ࣮‫݁ݧ‬ՌΛਤ 4, ਤ 5 ʹࣔ͢ɽ݁ՌΑΓɼԻૉN-gram Λ࡞੒͢Δࡍʹ N Λେ͖͘ઃఆ͢ΔͱɼEntity
Linking ͷੑೳ͕޲্͢Δ͜ͱΘ͔ͬͨɽN Λେ͖͘ઃ
ఆ͢Δ͜ͱʹΑΓɼಛఆͷ Entity ʹ͔͠ग़‫͍ͳ͠ݱ‬ԻૉN-gram ͕࡞ΒΕΔͨΊɼྨࣅ౓‫ ֤ʹ࣌ࢉܭ‬Entity Λࣝผ͠΍͘͢ͳͬͨͱߟ͑ΒΕΔɽ·ͨɼN ͷ্‫ݶ‬Λେ͖

ஶ ऀ

঺

հ

ᬑ౔໊ ேඈ
2021 ೥௕Ԭٕज़ՊֶେֶେֶӃത࢜લ‫ظ‬՝ఔमྃɽେֶӃͰ͸ࣗવ‫ॲޠݴ‬ཧɼಛ‫ڐ‬ղੳΛத৺ʹ‫ڀݚ‬Λߦ͏ɽ2021 ೥݄̐‫ࣜג‬ձࣾαΠόʔΤʔδΣϯτೖࣾɽಉࢠձࣾͷ‫ࣜג‬ձࣾ AI Shift ʹͯԻ੠ର࿩γεςϜͷ‫ڀݚ‬։ൃʹ‫ܞ‬ΘΔɽ

͘͢Δ͚ͩͰͳ͘ɼԼ‫ݶ‬Λখ͘͢͞Δ͜ͱͰΑΓੑೳ͕
Δେ͖ͳԻૉ N-gram ͕ɼԻ੠ೝࣝ‫ޡ‬Γ΍ུশͳͲͷӨ‫Ͱڹ‬Ϣʔβൃ࿩தʹ‫·ؚ‬Εͳ͔ͬͨ৔߹Ͱ΋ɼΑΓখ͞
ͳԻૉ N-gram ͕Χόʔ͢Δ͜ͱͰద੾ͳ TF-IDF ϕΫτϧ͕ߏங͞ΕͨͨΊͩͱߟ͑ΒΕΔɽ͜ͷ͜ͱ͔Βɼ༷ʑͳύλʔϯͷԻૉ N-gram Λߟྀ͢Δ͜ͱ͸Ի੠ೝࣝ‫ޡ‬Γʹର͠ϩόετੑΛߴΊΔ͜ͱ͕ࣔ͞Εͨɽ‫ོ ాށ‬ಓ‫۝‬भ޻‫ۀ‬େֶΛଔ‫ޙۀ‬ɼ෋࢜௨‫ࣜג‬ձࣾͰ AI ϓϥοτϑΥʔϜ Zinrai ͷ্ཱͪ͛ʹؔΘΔɽͦͷ‫ޙ‬ɼ2019 ೥ʹσʔλαΠΤϯςΟετͱͯ͠ AI ϝοηϯδϟʔʢ‫ݱ‬:AI
Shiftʣʹத్ೖࣾɽ‫ࡏݱ‬͸Ի੠ର࿩γεςϜͷ‫ڀݚ‬։ൃʹ‫ܞ‬Θ͍ͬͯΔɽ
White Paper Project޲্͍ͯ͠Δ͜ͱ͕Θ͔Δɽ͜Ε͸ɼ‫ޠ‬ኮࣙॻʹଘࡏ͢

175

White Paper Project

鈴木 智之޿ࠂը૾ද‫ݱ‬ͷࣄલֶशླ໦ ஐ೭

AI LabSuzuki Tomoyuki

Research Scientistࢁ‫ޫ ޱ‬ଠAI LabYamaguchi Kota

suzuki tomoyuki1@cyberagent.co.jp, https://cyberagent.ai/ailab/people/suzuki t/

Research Scientist

yamaguchi kota@cyberagent.co.jp, https://cyberagent.ai/ailab/people/kota-yamaguchi/

keywords: ‫ػ‬ցֶशɼࣄલֶशɼը૾ɼϝλσʔλSummaryΠϯλʔωοτӡ༻‫͍͓ͯʹࠂ޿ܕ‬ɼ‫ػ‬ցֶशख๏ʹΑΔਫ਼ີͳ޿ࠂޮՌ༧ଌ͸ॏཁͰ͋Δɽຊ‫Ͱڀݚ‬͸޿ࠂը૾σʔλΛର৅ʹɼ഑৴ઃఆͳͲͷϝλσʔλ෇͖ը૾ද‫ݱ‬ͷࣄલֶश๏ΛఏҊ͢Δɽզʑ͸ը૾ͱϝλσʔλΛը૾ύονͱϝλσʔλͷ֤ཁૉͷ‫ͱྻܥ‬Έͳ͠ɼmasked modeling ʹΑΓ޿ࠂը૾ද‫ݱ‬ͷࣄલֶशΛߦͬͨɽ޿ࠂͷޮՌ༧ଌͱ‫ۀ‬छ෼ྨͷλεΫͰධՁ͠ɼը૾ʹରͯ͠ masked modeling Λద༻͢Δ‫ط‬ଘͷࣄલֶश๏ͱൺֱͯ͠ϝλσʔλΛ‫͢༻׆‬ΔఏҊ๏ͷ༏ҐੑΛ֬ೝͨ͠ɽ·ͨɼޮՌ༧ଌʹ͓͍ͯɼ഑৴ϝσΟΞʹΑͬͯ͸ɼImageNet-21K ͷ 1/10 ҎԼͷσʔλΛ༻͍ͯఏҊ๏Ͱࣄલֶशͨ͠Ϟσϧ͸ ImageNet-21K Ͱ‫͋ࢣڭ‬ΓֶशࡁΈͷϞσϧʹඖఢ͢Δਫ਼౓Λ‫ه‬࿥ͨ͠ɽ

1. ͸ ͡ Ί ʹͯ͠Έͳͯ͠ը૾ύονͱҰॹʹѻ͏ɽ·ͨɼը૾ͱෳ
਺ͷϝλσʔλʹର͢Δଟ༷ͳϚεΫύλʔϯʹΑͬͯΠϯλʔωοτ޿ࠂࢢ৔͸੒௕Λଓ͚͓ͯΓɼ‫ػ‬ցֶఆٛ͞ΕΔೖग़ྗؔ܎Λಉ࣌ʹֶश͍ͯ͠Δͱ‫ݟ‬Δ͜ͱ

शΛ༻͍ͨ޿ࠂޮՌ༧ଌ΍഑৴࠷దԽͷ‫ڀݚ‬։ൃ͕ਐΊ΋Ͱ͖ɼϋογϡλάΛϝλσʔλͱଊ͑ͨ৔߹ʹҰͭΒΕ͍ͯΔɽ޿ࠂͷΑ͏ʹଟ༷ͳυϝΠϯΛ‫ؚ‬ΉσʔλͷϝλσʔλΛ༧ଌ͍ͯ͠Δ͜ͱʹͳΔ Mahajan Βͷख΁ͷ‫ػ‬ցֶशϞσϧͷ൚ԽੑೳΛ޲্ͤ͞Δखஈͱͯ͠ɼ

๏ [Mahajan 18] Λแ‫ؚ͢‬ΔϚϧνλεΫֶशͱ‫͑ݴ‬Δɽେ‫ن‬໛σʔλͰͷࣄલֶश͕͋Δɽը૾ද‫ݱ‬ͷࣄલֶश࣮‫Ͱݧ‬͸ఏҊ๏Ͱࣄલֶशͨ͠ը૾ද‫ݱ‬Λ޿ࠂͷޮՌ༧Ͱ͸ɼ‫͋ࢣڭ‬Γֶश΍ऑ‫͋ࢣڭ‬Γֶश [Mahajan 18]ɼ‫ڭ‬ଌͱ‫ۀ‬छ෼ྨͷλεΫͰධՁ͠ɼը૾ͷΈΛ༻͍ͨ MMࢣͳֶ͠श͕͜Ε·ͰఏҊ͞Εɼ෯޿͍ԼྲྀλεΫͰ‫༻׆‬ʹΑΔࣄલֶश๏ MAE [He 22] ʹൺ΂ఏҊ๏ͷ༏Ґੑ͞Ε͖ͯͨɽ‫ֶ͠ͳࢣڭ‬शͷۙ೥ͷൃల͸ஶ͘͠ɼରরֶ

Λ֬ೝͨ͠ɽޮՌ༧ଌʹ͓͍ͯɼ഑৴ϝσΟΞʹΑͬͯश [Chen 20] Ͱ͸‫͋ࢣڭ‬Γֶशʹඖఢ͢Δੑೳ͕ใࠂ͞

͸ɼImageNet-21K ͷ 1/10 ҎԼͷσʔλΛ༻͍ͯఏҊ๏Ε͍ͯΔɽ·ͨɼmasked autoencoder (MAE) [He 22] ͸ɼͰࣄલֶशͨ͠Ϟσϧ͸ ImageNet-21K Ͱ‫͋ࢣڭ‬Γֶश‫ॲޠݴ‬ཧʹ͓͍ͯߴ͍༗ޮੑΛࣔͨ͠ masked modelingࡁΈͷϞσϧʹඖఢ͢Δਫ਼౓Λ‫ه‬࿥ͨ͠ɽ(MM) Λը૾ʹԠ༻ͨ͠ख๏Ͱɼ୯७͔ͭܰྔͳख๏Ͱ
͋Γͳ͕Β΋ରরֶशʹඖఢ͢ΔੑೳΛୡ੒ͨ͠ɽMM

2. ख

๏

͸ϥϯμϜʹϚεΫ͞Εͨ‫ྻܥ‬৘ใ͔ΒຊདྷͷσʔλΛ෮‫͢ݩ‬Δֶश๏ͰɼMAE Ͱ͸ը૾Λը૾ύονͷ‫ྻܥ‬ͱΈͳͯ͠ MM Λߦ͏ɽຊ‫Ͱڀݚ‬͸ϝλσʔλͱը૾ͷ૊Λ༻͍ͨը૾ද‫ݱ‬ͷຊ‫ڀݚ‬ͷ໨త͸ϝλσʔλ͕෇༩͞Εͨը૾Λ༻͍ͯɼը૾ද‫ݱ‬ɼ͢ͳΘͪը૾ΤϯίʔμͷࣄલֶशΛߦ͏͜
ͱͰ͋ΔɽఏҊ๏ͷશମ૾Λ ਤ 1 ʹࣔ͢ɽࣄલֶशΛߦ͏ɽ͜͜Ͱϝλσʔλͱ͸ͦͷը૾ͷଐੑ΍ؔ࿈͢Δ৘ใͷ͜ͱͰ͋Δɽ޿ࠂͰ͸࣮ࡍʹϢʔβʹରͯ͠දࣔ͞ΕΔը૾ʹɼ഑৴ϝσΟΞ΍λʔήοτ৘ใͳͲͷϝλσʔλ͕෇༩͞Ε͍ͯΔɽఏҊ๏Ͱ͸ϝλσʔλ͕෇༩͞Εͨը૾Λը૾ύονͱϝλσʔλͷ֤White Paper Projectཁૉͷ‫ͱྻܥ‬Έͳͨ͠ MM Λߦ͏ɽը૾தͷ෺ମྖҬ

176

2·1 σʔλͱϚεΫϝλσʔλ෇͖ը૾σʔλ͸ɼը૾ ximg ∈ RN ×Cpatch(i)ͱϝλσʔλ Xmeta = {xmeta }K
i=1 ͷू߹ X = {ximg , Xmeta }Ͱ͋Δɽ͜͜Ͱɼը૾͸౳େͷॏෳ͠ͳ͍ύονʹ෼ׂ͞Ε͍ͯΔͱ͠ɼN ͸ύον਺ɼCpatch ͸֤ύονΛද‫͢ݱ‬ͱจষΛҰͭͷ‫ͱྻܥ‬Έͳ͢ ViLBERT [Lu 19] ͱҟͳΔ࣍‫Ͱ਺ݩ‬ɼ֤ύονʹ‫·ؚ‬ΕΔϐΫηϧ਺Λ P ͱͨ͠ͱΓɼఏҊ๏Ͱ͸จষͰ͸ͳ͘ෳ਺ͷϝλσʔλΛ‫ͱྻܥ‬͖ Cpatch = P × 3 Ͱ͋Δɽύονͷେ͖͞͸‫ޙ‬ड़ͷը૾

䝬䝇䜽
䝖䞊䜽䞁

せ⣲

䝕䝁䞊䝎
䝬䝇䜽
䝖䞊䜽䞁

せ⣲
䜶䞁䝁䞊䝎

䝕䝁䞊䝎

䝬䝇䜻䞁䜾

せ⣲

෌ᵓᡂ
ᦆኻ

6HOIDWWHQWLRQ

䝯䝍䝕䞊䝍



䜶䞁䝁䞊䝎

䝬䝇䜻䞁䜾
䝟䝑䝏

⏬ീ

䝬䝇䜽䛥䜜䛯
䝟䝑䝏

෌ᵓᡂ⤖ᯝ

෌ᵓᡂ⤖ᯝ

෌ᵓᡂ
ᦆኻ

䝬䝇䜽䛥䜜䛯
せ⣲ਤ 1: ఏҊ๏ͷ֓ཁɽϝλσʔλ෇͖ը૾Λύονͱϝλσʔλཁૉͷ‫ͱྻܥ‬Έͳ͠ɼ masked modeling Λߦ͏ɽΛอ࣋͠ɼquery ͸ϚεΫ͞ΕͨҐஔͷϚεΫτʔΫϯද 1: WIA 100Kɼ1M ͷϝλσʔλͱछྨ਺ɽ
ཁૉ໊
޿ࠂओ
୅ཧళ
഑৴ϝσΟΞ
഑৴Ϣʔβͷ೥ྸɾੑผ
഑৴ OS
΢Σϒ or ΞϓϦ޿ࠂm̃img ∈ RM ×D Λɼkey ͱ value ͸ z Λઢ‫ʹ૾ࣸܗ‬ೖྗ
͢Δ͜ͱͰࢉग़ͯ͠ cross-attention ʹೖྗ͠ɼ͞Βʹ 2
૚ͷ self-attention transformer Λհͯ͠࠶ߏ੒݁ՌΛಘ

छྨ਺
100K
1M
17,528 58,844
18
19
21
22
12
15
4
4
2
2

Δɽϝλσʔλʹ͍ͭͯ͸֤ཁૉ͝ͱʹϚεΫτʔΫϯ(i)Τϯίʔμͱͯ͠༻͍Δ Vision Transformer (ViT) [Doso(i)mmeta ∈ R1×D Λอ࣋͠ɼquery ͸ϚεΫ͞ΕͨཁૉͷϚεΫτʔΫϯΛɼkey ͱ value ͸ z Λઢ‫ʹ૾ࣸܗ‬ೖྗ
͢Δ͜ͱͰࢉग़ͯ͠ cross-attention ʹΑͬͯॲཧ͠ɼ࠷‫ ʹޙ‬softmax ؔ਺ʹೖྗͯ͠࠶ߏ੒݁ՌΛಘΔɽ

(i)vitskiy 20] ͷߏ଄ʹΑܾͬͯ·Δɽ·ͨɼxmeta ∈ RCmeta(i)͸ϝλσʔλͷ֤ཁૉɼK ͸ϝλσʔλͷཁૉ਺ɼCmeta͸ i ൪໨ͷϝλσʔλཁૉͷ࣍‫͋Ͱ਺ݩ‬Δɽࠓճ༻͍Δ
ϝλσʔλ͸શͯΧςΰϦΧϧม਺Ͱ͋Γɼone-hot ϕΫ

2·4 ֶ

श

ֶश͸ϚεΫ͞Ε֤ͨ‫ྻܥ‬ཁૉͷ࠶ߏ੒ଛࣦͷ࿨Λ࠷খԽͯ͠ߦΘΕΔɽը૾ʹ͍ͭͯ͸ [He 22] ͱಉ༷ʹฏτϧͱͯ͠ද͞Ε͍ͯΔͱ͢ΔɽຊߘͰ͸ը૾ͷ֤ύο‫ۉ‬ೋ৐‫ࠩޡ‬Λɼϝλσʔλʹ͍ͭͯ͸ަࠩΤϯτϩϐʔνͱϝλσʔλͷ֤ཁૉΛʮ‫ྻܥ‬ཁૉʯΛ‫Ϳݺ‬ɽઃఆ͞Λଛࣦͱ͢Δɽύϥϝʔλͷߋ৽͸ end-to-end ʹߦ͏ɽΕͨϚεΫ֬཰Λ‫ʹݩ‬ϥϯμϜͳ‫ྻܥ‬ཁૉΛϚεΫ͢Δɽ

2·2 Τ ϯ ί ʔ μ
RΤϯίʔμ͸ϚεΫ͞Ε͍ͯͳ͍‫ྻܥ‬ཁૉ x̂img ∈(N −M )×CpatchɼX̂meta Λೖྗͱ͠ɼ͜ΕΒͷຒΊࠐΈ

3. ࣮ ‫ ݧ‬ઃ ఆఏҊ๏Ͱࣄલֶशͨ͠ը૾ΤϯίʔμΛ 2 ͭͷԼྲྀλεΫʹ fine-tuning ͯ͠ධՁͨ͠ɽ

ද‫ݱ‬Λநग़͢Δɽ͜͜ͰɼM ͸ϚεΫ͞Εͨը૾ύον
਺Ͱ͋Δɽຊ‫Ͱڀݚ‬͸ը૾Τϯίʔμͱͯ͠෼ྨλεΫ༻

3·1 ࣄ લ ֶ शͷ࠷ऴ૚Λഉআͨ͠ ViT Λɼϝλσʔλͷ֤ཁૉͷΤϯը૾Τϯίʔμͷߏ଄͸ ViT-B16ɼViT-L16 [Dosovitskiy 20] ͱ‫ݯࢿࢉܭ‬ͷͨΊʹ ViT-B16 ͷதؒ࣍‫਺ݩ‬Λ 768࣍‫͔ݩ‬Β 120 ࣍‫ ͨ͠ݮ࡟ʹݩ‬ViT-B16-120 Λ༻͍ͨɽೖ
ྗը૾͸ 180 × 180 ʹϦαΠζͨ͠ɽD ͸֤ ViT ͷதؒίʔμͱͯ͠ઢ‫૾ࣸܗ‬Λ༻͍ͨɽ͜ΕΒ͔Βநग़͞Εͨը૾ͱϝλσʔλͷຒΊࠐΈද‫ݱ‬Λ‫ྻܥ‬ཁૉํ޲ʹ࿈݁͠ɼself-attention transformer ʹೖྗ͢Δ͜ͱͰɼϚεΫ͞Ε͍ͯͳ͍‫ྻܥ‬ཁૉશମͷද‫ ݱ‬z ∈ R(N −M +|X̂meta |)×D Λ࣍‫ͱ਺ݩ‬ಉҰͱͨ͠ɽϚεΫ֬཰͸ը૾ͱϝλσʔλͰ

ಘΔɽ͜͜Ͱ D ͸ϋΠύʔύϥϝʔλͱͯ͠ઃఆ͢Δग़ͦΕͧΕઃఆ͠ɼ஋Λมߋ࣮ͯ͠‫ݧ‬Λߦͬͨɽࣄલֶश

ྗͷ࣍‫͋Ͱ਺ݩ‬Δɽʹ͸ԼྲྀλεΫʹ༻͍Δσʔληοτͱ͸ҟͳΔσδλϧը૾޿ࠂσʔληοτΛ༻͍ͨɻຊߘͰ͸͜ͷσʔλ2·3 σ ί ʔ μσίʔμ͸ z ͱϚεΫτʔΫϯΛೖྗͱ͠ɼϚεΫ޿ࠂը૾ͱͦΕʹରԠ͢Δϝλσʔλ͕‫·ؚ‬ΕΔɽϝλ͞Εͨ‫ྻܥ‬ཁૉΛ࠶ߏ੒͢ΔɽϚεΫτʔΫϯ͸ֶशରσʔλ͸ ද 1 ͷ௨ΓͰ͋Δɽࠓճ͸ֶशσʔλྔʹΑΔ৅Ͱ͋Γɼ֤‫ྻܥ‬ཁૉ͝ͱʹҟͳΔύϥϝʔλͱͯ͠ѻӨ‫ڹ‬Λௐ΂ΔͨΊʹɼWIA ͔Β 112,500 ݅ͷαϯϓϧΛ

͏ɽz ͱϚεΫτʔΫϯͷؔ܎ΛϞσϦϯά͢Δํ๏ͱ͠நग़ͨ͠ WIA 100K ͱ 1,125,000 ݅ͷαϯϓϧΛநग़ͯ͠ɼՄม௕ͷ 2 ೖྗͷؔ࿈෇͚ʹ޿͘༻͍ΒΕΔ cross-ͨ WIA 1M ͷ 2 ͭΛߏஙͨ͠ɽಉ͡αϯϓϧ͕‫·ؚ‬Ε

attention [Jaegle 21, Luong 15] Λ࠾༻ͨ͠ɽը૾ʹ͍ͭͯͳ͍Α͏ʹσʔλΛ 8 : 1 ʹ෼ֶׂ͠श༻ɾ‫͢ͱ༻ূݕ‬Δ

͸ύον਺ͱಉ͡େ͖͞ͷϚεΫτʔΫϯ mimg ∈ RN ×D͜ͱͰɼֶश༻ͱͯ͠ WIA 100K ʹ͸ 100,000 ݅ɼWIA

White Paper ProjectηοτΛ Web Image Ads (WIA) ͱ‫ݺ‬শ͢ΔɻWIA ʹ͸

177ද 2: ࣄલֶशͷઃఆΛมߋͯ͠ൺֱͨ݁͠ՌɽγʔυΛมߋͯ͠ fine-tuning Λ 3 ճࢪߦͨ͠ධՁ஋ͷฏ‫ۉ‬Λ‫ه‬࿥ͨ͠ɽࣄલֶशͷσʔλ͸શͯ WIA 100KɼϞσϧ͸શͯ ViT-B16-120 Λ࢖༻ͨ͠ɽ
ࣄલֶश
λεΫ

ԼྲྀλεΫ

ϚεΫ֬཰
ը૾

ϝλσʔλ

ͳ͠

ʕ

ʕ

MM
MM
MM
MM
MM
MM
MM
MM

0.25
0.5
0.75
0.75
0.75
0.75
0.75
0.75

ʕ
ʕ
ʕ

0
0.25
0.5
0.75
1

ޮՌ༧ଌʢϝσΟΞ Aʣ

ޮՌ༧ଌʢϝσΟΞ Bʣ

GPCC (↑)
0.333
0.350
0.336
0.333
0.334
0.348
0.383
0.370
0.366

GPCC (↑)
0.163
0.176
0.171
0.180
0.167
0.185
0.184
0.175
0.179

R-square (↑)
0.306
0.328
0.300
0.324
0.307
0.329
0.336
0.340
0.320

1M ʹ͸ 1,000,000 ͕݅‫·ؚ‬ΕΔΑ͏ʹௐ੔ͨ͠ɽ޿ࠂ
ओ͸લॲཧͱͯ͠ hash bucketization∗1 Λ༻͍ͯ 1,000 छྨʹม‫ͨ͠׵‬ɽ࠷దԽ๏ͱֶͯ͠श཰ 10−4 Ͱ Adam Λ༻͍ɼόοναΠζ 128 Ͱ 50 ΤϙοΫֶशΛߦͬͨɽR-square (↑)
0.347
0.347
0.346
0.350
0.345
0.349
0.360
0.347
0.345

‫ۀ‬छ෼ྨ

Accuracy (↑)
0.462
0.495
0.452
0.468
0.489
0.492
0.509
0.489
0.481

ʹ෼ֶׂ͠श༻ɾ‫༻ূݕ‬ɾςετ༻ͱ͠ɼ‫༻ূݕ‬σʔλͰଛࣦ͕࠷খͱͳͬͨϞσϧΛςετ༻σʔλͰධՁͨ͠ɽ

§ 2 ‫ۀ‬छ෼ྨ޿ࠂը૾͔Β‫ۀ‬छΧςΰϦΛ෼ྨ͢ΔλεΫͰ͋Δɽը
૾͸ϝσΟΞ A ͷ഑৴σʔλ͔Β 50,000 ݅ΛϥϯμϜʹ

3·2 Լ ྲྀ λ ε Ϋ§ 1 ޮՌ༧ଌ
༩͑ΒΕͨ޿ࠂ͕ͲΕ͚ͩͷ഑৴ޮՌΛग़͔͢༧ଌ͢
ΔλεΫͰ͋Δɽࣾ಺ͰऔΓѻ͍ͷ͋ͬͨόφʔը૾޿ࠂͷ͏ͪɼ2 ͭͷϝσΟΞʢAɼB ͱ‫ݺ‬শʣ΁ͷ഑৴͔ΒϥϯμϜʹ 50,000 ݅ͣͭநग़͠ɼͦΕͧΕͷϝσΟΞͷ
σʔληοτΛߏஙͨ͠ɽ֤αϯϓϧʹ͸ɼը૾ɼ೔ຊ
‫ޠ‬આ໌จɼ഑৴ઃఆ৘ใɼ഑৴࣮੷͕‫·ؚ‬ΕΔɽ഑৴࣮੷ʹ͸޿ࠂޮՌΛද͢ਖ਼ͷ࿈ଓ஋͕‫·ؚ‬ΕɼޮՌ͕େ͖͍΄Ͳ͜ͷ஋΋େ͖͘ͳΔɽຊߘͰ͸͜ΕΛʮޮՌࢦඪʯ
ͱ‫Ϳݺ‬ɽը૾ɼઆ໌จɼ഑৴ઃఆ৘ใ͔ΒޮՌࢦඪΛ༧
ଌ͢Δ͜ͱ͕޿ࠂޮՌ༧ଌλεΫͰ͋ΔɽϞσϧ͸֤ϞμϦςΟ͝ͱͷΤϯίʔμ͔Βநग़͞ΕΔද‫ݱ‬Λ࿈݁ͨ͠ͷͪɼmulti-head attention Λհͯ͠ޮՌࢦඪͷ༧ଌ஋Λग़ྗ͢Δɽ஫ҙͱͯ͠ɼԼྲྀλεΫʹ༻͍Δσʔληοτͷϝλσʔλͱ WIA ͷϝλσʔλ͸ҟͳΓɼࣄલֶश
͞ΕͨϝλσʔλͷΤϯίʔμ͸ྲྀ༻Ͱ͖ͳ͍ɽͦͷͨΊɼԼྲྀλεΫͰ͸ϝλσʔλͷΤϯίʔμΛ৽ͨʹֶश͍ͯ͠Δɽଛࣦؔ਺͸ฏ‫ۉ‬ೋ৐‫ࠩޡ‬Λ༻͍ɼධՁࢦඪ
͸ R-square ͱಠࣗʹઃ‫ ͨ͠ܭ‬Group pearson correlation

coefficient (GPCC) Λ༻͍ͨɽGPCC ͸഑৴ઃఆ͕ಉҰͷ޿ࠂͷάϧʔϓʢ޿ࠂάϧʔϓͱ‫Ϳݺ‬ʣதͰϐΞιϯ૬ؔΛ‫͠ࢉܭ‬ɼͦΕΒΛฏ‫ͨ͠ۉ‬΋ͷͰ͋Δɽը૾΍આ໌จͷબ୒͸༧Ί഑৴ઃఆΛܾΊ্ͨͰߦΘΕΔ͜ͱ͕ଟ͘ɼͦͷΑ͏ͳ৔߹ʹ༧ଌ஋͕ը૾΍આ໌จͷ޿ࠂޮՌΛਖ਼͘͠ॱҐ෇͚Ͱ͖Δ͔Λଌఆ͢ΔͨΊͷࢦඪͰ͋Δɽ

White Paper Projectಉ͡޿ࠂάϧʔϓ͕‫·ؚ‬Εͳ͍Α͏ʹσʔλΛ 8 : 1 : 1

178∗1 https://www.tensorflow.org/api_docs/python/
tf/strings/to_hash_bucketநग़ͨ͠ɽ‫ۀ‬छΧςΰϦͱͯ͠ɼInteractive Advertising
Bureau ͕ߏஙͨ͠ Content Taxonomy∗2 ʹ͓͚Δ Tiar1 ͷ
29 ΧςΰϦΛ෇༩ͨ͠ɽϞσϧ͸ը૾ΤϯίʔμͰಛ௃நग़ͨ͠ͷͪɼmulti-head attentionɼશ݁߹૚ͱ softmaxؔ਺Λհͯ͠෼ྨ݁ՌΛग़ྗ͢Δɽଛࣦؔ਺͸ަࠩΤϯτϩϐʔΛ༻͍ɼධՁࢦඪ͸ accuracy Λ༻͍ͨɽಉ͡޿
ࠂओ͕‫·ؚ‬Εͳ͍Α͏ʹσʔλΛ 8 : 1 : 1 ʹ෼ׂͦ͠ΕͧΕֶश༻ɾ‫༻ূݕ‬ɾςετ༻ͱ͠ɼ‫༻ূݕ‬σʔλͰଛࣦ͕࠷খͱͳͬͨϞσϧΛςετ༻σʔλͰධՁͨ͠ɽ

4. ݁

Ռ

ViT-B16-120 ͱ WIA 100K Λ༻͍ͯࣄલֶशͷઃఆΛมߋͯ͠ൺֱͨ݁͠ՌΛ ද 2 ʹࣔ͢ɽ·ͣɼࣄલֶशΛߦΘͳ͍৔߹΍ը૾ͷΈΛ༻͍ͨࣄલֶशͱൺֱͯ͠ɼ
ϝλσʔλ΋‫ؚ‬Ίͨࣄલֶश͕શମతʹߴ͍ਫ਼౓Λ‫ه‬࿥͍ͯ͠Δɽը૾ͷΈΛ༻͍ͨઃఆ͸ MAE [He 22] ʹରԠ͠ɼࠓճͷԼྲྀλεΫʹ͓͍ͯ͸ఏҊ๏͕ɼ‫࠷ࡏݱ‬΋ߴੑೳͳը૾ද‫ֶݱ‬श๏ͷҰͭʹରͯ͠༏ҐੑΛࣔͨ͠
ͱ͍͑Δɽ࣍ʹɼϝλσʔλͷϚεΫ֬཰ͱਫ਼౓ͷؔ܎ΛΈΔͱɼϚεΫ֬཰ 0.5 ෇ۙʹෳ਺ͷԼྲྀλεΫʹ͓͍ͯਫ਼౓ͷϐʔΫ͕ଘࡏ͓ͯ͠Γɼը૾ͷ MM ʹՃ͑ͯ୯ʹϝλσʔλΛ༧ଌ͢Δ͚ͩͷֶशʢϝλσʔλͷϚεΫ֬཰͕ 1 ͷ৔߹ʹରԠʣͱൺֱͯ͠ɼϝλσʔλ΋MM ʹ‫ؚ‬ΊΔఏҊ๏͕༗ޮͰ͋Δ͜ͱ͕࢕͑Δɽ͜ͷཧ༝ͱͯ͠͸ϥϯμϜʹϝλσʔλͷೖग़ྗ͕ఆٛ͞ΕΔ
͜ͱʹΑΔϚϧνλεΫֶश͕ɼ༗ޮͳը૾ද‫ݱ‬ͷ֫ಘʹ‫د‬༩ͨ͜͠ͱ͕ߟ͑ΒΕΔɽ·ͨɼը૾ͷΈ͔Β༧ଌ
∗2 https://iabtechlab.com/standards/
content-taxonomy/ද 3: ࣄલֶशσʔλΛมߋͯ͠ൺֱͨ͠ൺֱɽγʔυΛมߋͯ͠ fine-tuning Λ 3 ճࢪߦͨ͠ධՁ஋ͷฏ‫ۉ‬Λ‫ه‬࿥͠
ͨɽMM ͷը૾ͱϝλσʔλͷϚεΫ֬཰͸ͦΕͧΕ 0.75ɼ0.5 ͱͨ͠ɽIN-21K ͸ ImageNet-21K Λද͢ɽ
ࣄલֶश
Ϟσϧ

B16
B16
B16
B16
L16
L16
L16
L16

ԼྲྀλεΫ

λεΫ

σʔλ

αϯϓϧ਺

ͳ͠

ʕ

ʕ

MM
MM
෼ྨ

WIA
WIA
IN-21K

100K
1M
14M

ͳ͠

ʕ

ʕ

MM
MM

WIA
WIA
IN-21K

100K
1M
14M

෼ྨ

ޮՌ༧ଌʢϝσΟΞ Aʣ

ޮՌ༧ଌʢϝσΟΞ Bʣ

GPCC (↑)
0.361
0.344
0.403
0.441
0.342
0.349
0.420
0.389

GPCC (↑)
0.186
0.187
0.188
0.199
0.171
0.189
0.187
0.197

͕ࠔ೉ͳϝλσʔλ͕ଘࡏ͠ɼͦ͏͍ͬͨϝλσʔλͷ༧ଌᐆດੑ͕ଞͷϝλσʔλ͕ೖྗ͞ΕΔ͜ͱͰܰ‫͞ݮ‬Εɼֶश͕ԁ‫ʹ׈‬ਐΜͩՄೳੑ΋͋Δɽ
࣍ʹɼࣄલֶशʹ࢖༻͢ΔσʔλྔΛ૿Ճͤͨ݁͞Ռͱ

ImageNet-21K Ͱը૾෼ྨΛࣄલֶशͨ͠Ϟσϧͷ݁ՌΛ ද 3 ʹࣔ͢ɽImageNet-21K ͷࣄલֶशࡁΈϞσϧ͸
ViT [Dosovitskiy 20] ͷஶऀΒ͕ެ։͍ͯ͠Δ΋ͷΛ༻͍
ͨɽWIA 100K ͔Β WIA 1M ʹσʔλྔΛ૿Ճͤ͞Δ͜
ͱͰϝσΟΞ A ʹ͓͚ΔޮՌ༧ଌͷਫ਼౓͕େ͖͘޲্͠ɼ
WIA 1M ͷ 10 ഒҎ্ͷσʔλΛ‫ؚ‬Ή ImageNet-21K ͰͷࣄલֶशϞσϧʹඖఢ͢Δਫ਼౓Λୡ੒ͨ͠ɽҰํͰ‫ۀ‬छ෼ྨ΍ϝσΟΞ B ͷޮՌ༧ଌʹ͓͍ͯ͸ɼࣄલֶशͷσʔλྔΛ૿΍ͯ͠΋ਫ਼౓͕޲্͠ͳ͍৔߹΋ଘࡏͨ͠ɽ
ཧ༝͸աগద߹͕ߟ͑ΒΕΔɽWIA 100KɼWIA 1M ‫ڞ‬ʹ 50 ΤϙοΫͰֶश͕ͨ͠ɼֶशσʔλ͕ଟ͍΄Ͳ࠷దͳΤϙοΫ਺͸େ͖͍܏޲ʹ͋ΓɼWIA 1M ͷ࠷దͳΤϙοΫ਺͸ 50 ΑΓ΋େ͖͍Մೳੑ͕͋Δɽ·ͨɼ‫ۀ‬छ෼ྨ΍ϝσΟΞ B ͷޮՌ༧ଌͰ͸ ImageNet-21K ͰͷࣄલֶशϞσϧʹ͸‫ٴ‬͹ͳ͍݁Ռͱͳͬͨɽ͜Ε͸ ImageNet-

21K ͕ WIA 1M ͷ 10 ഒҎ্ͷσʔλྔΛ‫ؚ‬Ή͜ͱʹՃ͑ɼ‫ۀ‬छ෼ྨʹ͓͍ͯ͸ࣄલֶशλεΫͷը૾෼ྨͱ෼
ྨ໰୊ͱ͍͏఺Ͱಉ͡Ͱ͋ΔͨΊ༗ޮͳը૾ද‫͍͕ۙݱ‬Մೳੑ΋ཧ༝ͱͯ͠ߟ͑ΒΕΔɽ

5. ·

ͱ

Ί

ϝλσʔλ͕෇༩͞Εͨը૾Λը૾ύονͱϝλσʔλͷ֤ཁૉͷ‫ͱྻܥ‬Έͳͯ͠ masked modeling Λߦ͏R-square (↑)
0.333
0.331
0.339
0.341
0.325
0.330
0.349
0.341

R-square (↑)
0.344
0.342
0.315
0.319
0.354
0.341
0.328
0.346

‫ۀ‬छ෼ྨ

Accuracy (↑)
0.422
0.492
0.444
0.534
0.381
0.482
0.494
0.575

Δਫ਼౓Λ‫ه‬࿥ͨ͠ɽҰํͰɼԼྲྀλεΫʹΑͬͯ͸ࣄલֶश༻ͷσʔλྔ͕૿͑ͯ΋ਫ਼౓޲্͕‫ݟ‬ΒΕͣɼΤϙοΫ਺Λ‫ݟ‬௚͢ͳͲֶशઃఆͷ͞ΒͳΔ࠷దԽΛ্ͨ͠Ͱͷ‫ূݕ‬Λߦ͍͍ͨɽ♦ ࢀ ߟ จ ‫♦ ݙ‬[Chen 20] Chen, T., Kornblith, S., Norouzi, M., and Hinton, G.: A
simple framework for contrastive learning of visual representations,in ICML (2020)[Dosovitskiy 20] Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., Dehghani, M., Minderer, M.,
Heigold, G., Gelly, S., et al.: An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale, in ICLR (2020)[He 22] He, K., Chen, X., Xie, S., Li, Y., Dollár, P., and Girshick, R.:
Masked autoencoders are scalable vision learners, in CVPR (2022)[Jaegle 21] Jaegle, A., Gimeno, F., Brock, A., Vinyals, O., Zisserman, A., and Carreira, J.: Perceiver: General perception with iterative
attention, in ICLR (2021)[Lu 19] Lu, J., Batra, D., Parikh, D., and Lee, S.: Vilbert: Pretrainingtask-agnostic visiolinguistic representations for vision-and-languagetasks, in NeurIPS (2019)[Luong 15] Luong, M.-T., Pham, H., and Manning, C. D.: Effective Approaches to Attention-based Neural Machine Translation, in
EMNLP (2015)[Mahajan 18] Mahajan, D., Girshick, R., Ramanathan, V., He, K.,
Paluri, M., Li, Y., Bharambe, A., and Van Der Maaten, L.: Exploring
the limits of weakly supervised pretraining, in ECCV (2018)

ஶ ऀ

঺

հ

ླ໦ ஐ೭
2019 ೥ʹ‫ܚ‬ጯٛक़େֶཧ޻ֶ‫ڀݚ‬ՊΛमྃ‫ޙ‬ɼ‫ࣜג‬ձࣾσΟʔɾΤψɾΤʔʹͯΦʔτϞʔςΟϒྖҬʹ͓͚ΔίϯϐϡʔλϏδϣϯ෼໺ͷ‫ڀݚ‬։ൃʹ‫ܞ‬ΘΔɼ2020 ೥ʹαΠόʔΤʔδΣϯτʹத్ೖࣾ͠ɼಉ෼໺ͷதͰ΋ಈըೝࣝɾը૾ͷಛ௃ද‫ֶݱ‬शʹؔ͢Δ‫ࣄैʹڀݚ‬ɽ͜ͱͰը૾ද‫ݱ‬ͷࣄલֶशΛߦ͏ख๏ΛఏҊͨ͠ɽ޿ࠂ
ͷΈΛ༻͍ͨ masked modeling ʹΑΔ‫ط‬ଘͷࣄલֶश๏
ͱൺֱͯ͠ఏҊ๏ͷ༏ҐੑΛ֬ೝͨ͠ɽ·ͨɼޮՌ༧ଌ
ʹ͓͍ͯɼ഑৴ϝσΟΞʹΑͬͯ͸ɼImageNet-21K ͷ

1/10 ҎԼͷσʔλΛ༻͍ͯఏҊ๏Ͱࣄલֶशͨ͠Ϟσϧ͸ ImageNet-21K Ͱ‫͋ࢣڭ‬ΓֶशࡁΈͷϞσϧʹඖఢ͢ࢁ‫ޫ ޱ‬ଠ‫ࣜג‬ձࣾαΠόʔΤʔδΣϯτ AI Lab Research ManagerɽίϯϐϡʔλϏδϣϯɼ‫ػ‬ցֶशΛ༻͍ͨ Web ϝσΟΞͷ
෼ੳ‫ࣄैʹڀݚ‬ɽ ‫ࡏݱ‬͸ΦϯϥΠϯ޿ࠂΫϦΤΠςΟϒʹ
͍ͭͯ‫ڀݚ‬ΛਐΊ͍ͯΔɽ 2014 ೥͔Β 2017 ೥·Ͱ౦๺େֶେֶӃ৘ใՊֶ‫ڀݚ‬Պॿ‫ڭ‬ɽ2014 ೥ถࠃχϡʔϤʔΫभ Stony Brook େֶʹͯίϯϐϡʔλՊֶͷ Ph.D. औಘɽ
2008 ೥౦‫ژ‬େֶେֶӃ৘ใཧ޻ֶ‫ڀݚܥ‬Պम࢜՝ఔमྃɽWhite Paper ProjectͷޮՌ༧ଌͱ‫ۀ‬छ෼ྨͷԼྲྀλεΫͰධՁΛߦ͍ɼը૾

179

White Paper Project

竹浪 良寛Ϛονϯάཧ࿦Ͱެฏɾޮ཰తʹ഑෼͢Δ஛࿘ ྑ‫׮‬AI Lab

Yoshihiro Takenami

Data Scientist෌ా ᗛࢤ

AI LabYoji Tomita

takenami yoshihiro@cyberagent.co.jp

Research Scientist

tomita yoji@cyberagent.co.jp

keywords: ϚʔέοτσβΠϯɺϚονϯάཧ࿦ɺPS ΞϧΰϦζϜ
Summaryਓʑ͕ਃࠂͨ͠‫ر‬๬ʹԠͯ͡ෳ਺ͷϞϊΛ഑෼͢ΔࡍɺਓʑͱϞϊΛׂΓ౰ͯΔʢϚονͤ͞ΔʣϚονϯάϝΧχζϜΛར༻Ͱ͖Δɻಛʹɺਓʑʹ༏ઌॱҐ͕ͳ͍৔߹ɺ֬཰తʹ഑෼͢Δ֬཰తׂΓ౰ͯ໰୊ͱͯ͠ϞσϧԽͰ͖Δɻ൰ۙͳྫͱͯ͠ɺAI Lab ਐ௙‫ڞ‬༗ձʹ͓͚Δൃද୲౰೔ఔͷׂΓ౰͕ͯ͋Δɻ͜͜Ͱ͸ɺ֬཰తׂ
Γ౰ͯ໰୊ʹ͓͍ͯੑ࣭͕ྑ͍͜ͱͰ஌ΒΕΔ PS ϝΧχζϜͱ RSD ϝΧχζϜͷ͏ͪɺࣄલޮ཰ੑ͕͋ΔલऀʹΑΓൃද೔ΛׂΓ౰ͯΔΑ͏‫ۀ‬຿Λมߋ͠ɺ27 ໊த 22 ໊͕ୈ 1 ‫ر‬๬ʹׂΓ౰ͯΒΕͨɻҰํɺେ‫ن‬໛ͳׂΓ౰ͯͰ͸ҰఆͷԾఆͷ΋ͱͰ྆ϝΧχζϜͷׂΓ౰͕ͯ઴ۙతʹҰக͢Δ͜ͱ͕஌ΒΕ͍ͯΔɻࠓճͷׂΓ౰ͯͰ΋
֘౰͢Δ͔‫͢ূݕ‬ΔͨΊʹγϛϡϨʔγϣϯΛߦͬͨͱ͜Ζɺฏ‫ۉ‬తʹ΄΅ಉҰͷׂΓ౰͕ͯୡ੒͞Εɺཧ࿦తͳ
݁ՌͱҰக͢Δ͜ͱΛ֬ೝͨ͠ɻ֬཰తׂΓ౰ͯ໰୊ͷଞͷԠ༻ྫͱͯ͠͸ɺෳ਺Πϕϯτͷಉ࣌഑෼ɺࣾ಺ࢿ‫ݯ‬഑෼ɺ൪૊ɾ޿ࠂ഑৴࿮഑෼ͳͲ͕‫͛ڍ‬ΒΕΔɻ

1. ͸ ͡ Ί ʹ‫ۉ‬తʹ΄΅ಉҰͷׂΓ౰͕ͯୡ੒͞Εͨɻຊߘ͸ҎԼͷΑ͏ʹਐΊΔɻ2 ষͰ͸ൃද೔ΛׂΓ౰ෳ਺ͷ೔ఔ࿮΁ͷൃද୲౰ऀͷׂΓৼΓͳͲɺਓʑ͕

௙‫ڞ‬༗ձΛ݄ 3 ճఔ౓։࠵͓ͯ͠Γɺ֤ϝϯόʔ͕൒೥

ͯΔ໰୊ΛϞσϧԽ͢Δɻ3 ষͰ͸ RSD ϝΧχζϜͱPS ϝΧχζϜΛઆ໌͢Δɻ4 ষͰ͸ਫฏੑɺࣄલޮ཰ੑɺ
଱ઓུੑͷ֤ੑ࣭ͰϝΧχζϜΛൺֱ͢Δɻ5 ষͰ͸ PSϝΧχζϜΛબ୒ͨ͠ཧ༝ͱׂΓ౰ͯ݁ՌΛઆ໌͢Δɻ6

ʹ 1 ౓ൃද͢ΔΑ͏୲౰ΛܾΊ͍ͯΔɻൃදऀʹ༏ઌॱষͰ͸྆ϝΧχζϜͷγϛϡϨʔγϣϯ݁ՌΛൺֱ͢ΔɻҐ͸ͳ͍͕ɺ͜Ε·Ͱ͸લ‫ظ‬ͷൃදॱΛͦͷ··༻͍ͯɺ

7 ষ͸݁࿦ͱଞͷԠ༻Մೳੑʹؔ͢Δٞ࿦Ͱ͋Δɻ

ਃࠂͨ͠‫ر‬๬ʹԠͯ͡ෳ਺ͷϞϊΛ഑෼͢Δঢ়‫گ‬͸ଟ͍ɻྫ͑͹ AI Lab Ͱ͸ɺϓϩδΣΫτͷঢ়‫گ‬Λ‫ڞ‬༗͢Δਐ

৽ՃೖϝϯόʔΛ࠷‫ޙ‬ඌʹ௥Ճ͍ͯͨ͠ɻ
͔͠͠ɺ͜ͷܾΊํʹ͸ 2 ͭ՝୊͕͋Δɻ·ͣɺϝϯόʔͷ‫ر‬๬Λ‫ټ‬ΜͰ͍ͳ͍఺Ͱ͋Δɻ೔ఔ͕߹Θͳ͍౳ϧຊষ͸ɺൃද೔ͷׂΓ౰ͯΛ֬཰తׂΓ౰ͯ໰୊ͱͯ͠

ͨɻ࣍ʹɺׂΓ౰ͯ୲౰ऀͷ࡞‫ۀ‬ෛ୲ͷ໰୊Ͱ͋Δɻ͜ΕϞσϧԽ͢Δ [খౡ 18]ɻϝϯόʔͷू߹Λ N (|N | ≥ 2)ɺ

ͷ൓өɺ྆ํʹରԠ͢ΔͨΊʹࣗಈԽ͢Δඞཁ͕͋ͬͨɻ
ਓʑͷؒʹ༏ઌॱҐ͕ͳ͍தͰϞϊΛ഑෼͢ΔࡍɺެฏʹׂΓ౰ͯΔͨΊʹ֬཰తʹ഑෼͢Δ໰୊͸ɺϚονϯάཧ࿦ͷ෼໺ʹ͓͍ͯ֬཰తׂΓ౰ͯ໰୊ͱͯ͠‫͞ڀݚ‬ൃද೔ͷू߹Λ D (|D| ≥ 1) ͱ͠ɺ֤ൃද೔ d ∈ D ʹ্‫ݶ‬ਓ਺ qd ≥ 1 ͕ઃఆ͞Ε͍ͯΔͱ͢Δɻશһ͕ൃදͰ͖
Δ͜ͱɺͭ·Γd∈D qd ≥ n ͸Ծఆ͢Δɻ֤ϝϯόʔi ∈ N ͸ɺൃද೔ͷू߹ D ্ʹ‫ͳີݫ‬બ޷ॱং i Λ΋ͭɻΕ͖ͯͨɻಛʹΑ͘஌ΒΕ͍ͯΔϝΧχζϜͱͯ͠ RSD֬཰഑෼ߦྻ P ͱ͸ɺ֤ߦ͕ϝϯόʔɺ֤ྻ͕ൃද೔

ϝΧχζϜͱ PS ϝΧχζϜ͕͋ΓɺͦΕͧΕྑ͍ੑ࣭ʹରԠ͢Δ |N | × |D| ͷඇෛߦྻ P = (Pid )i∈N,d∈D Ͱɺͱͯ͠଱ઓུੑɺࣄલޮ཰ੑΛ࣋ͭ [খౡ 18]ɻࠓճ AI Lab ਐ௙‫ڞ‬༗ձͰ͸ɺࣄલޮ཰ੑΛॏࢹ͠ɺPSϝΧχζϜΛ༻͍ͨɻ݁Ռɺ‫ر‬๬ఏग़ऀ 27 ໊த 22 ໊͕
ୈ 1 ‫ر‬๬ΛׂΓ౰ͯΒΕΔͳͲɺެฏ͔ͭޮ཰తͳ഑෼White Paper Projectσͷཧ༝Ͱൃදऀಉ࢜Ͱ೔ఔΛަ‫͠׵‬ɺෛ୲͕ൃੜ͍ͯ͠
·Ͱख࡞‫ׂͰۀ‬Γ౰͍͕ͯͯͨɺϝϯόʔͷ૿Ճͱ‫ر‬๬

180

2. Ϟ

ҎԼͷ 2 ৚݅Λຬͨ͢΋ͷΛ‫͏ݴ‬ɿd∈D

Pid = 1 ∀i ∈ N, and

i∈N

Pid ≤ qd ∀d ∈ D.

͕࣮‫͞ݱ‬Εɺ࡞‫ۀ‬ෛ୲΋ܰ‫͞ݮ‬Εͨɻ·ͨɺ྆ϝΧχζ֤ཁૉ Pid ͸ i ͕ d ΛׂΓ౰ͯΒΕΔ֬཰Λද͠ɺલऀ

ϜͷੑೳΛൺֱ͢ΔͨΊγϛϡϨʔγϣϯΛߦ͕ͬͨɺฏ

͸֤ϝϯόʔ͕ৗʹ 1 ͭͷൃද೔ΛׂΓ౰ͯΒΕΔ͜ͱɺ‫ऀޙ‬͸֤ൃද೔ d ͕ qd ҎԼͷϝϯόʔΛׂΓ౰ͯΒΕ཰഑෼ߦྻ P RSD ͸

Δ͜ͱʹରԠ͢Δ੍໿৚݅Ͱ͋Δɻ

1

ྫ 1. ϝϯόʔू߹͸ N = {1, 2, 3, 4}ɺൃද೔ू߹͸ D =

2
1
2
RSD
P
= 1
2
1
2

{a, b, c}ɺ֤ൃද೔ͷ্‫ݶ‬͸ (qa , qb , qc ) = (2, 1, 1)ɻ֤ϝϯόʔͷબ޷ॱং i ͸ɺi = 1, 2 ʹ͍ͭͯ͸ʮa i b i cʯɺ

i = 3, 4 ʹ͍ͭͯ͸ʮa i c i bʯͱ͢Δɻ֬཰഑෼ߦྻ
P ͱ͸ɺྫ͑͹
1 1

0
2
2
 1 1 0
2 2

(1)
1

 2 0 12 
1
0 12
2

5
12
5
12
1
12
1
12



1
12
1 
12 
5 

12
5
12

(2)

ͱ‫͞ࢉܭ‬ΕΔɻ

♣

3·2 PS ϝΧχζϜPS ϝΧχζϜʢprobabilistic serial mechanismɺಉ࣌֬཰ফඅϝΧχζϜʣͷఆٛ͸࣍ͷ௨ΓͰ͋Δɻ

Ԡ͢Δൃද೔ͷ্‫ ݶ‬qd ҎԼͰ͋Δɻ͜͜Ͱ͸ɺi = 1, 2(1) ֤ൃද೔͕‫׬‬શʹ෼ׂՄೳͰ͋Δͱ૝ఆ͢Δ(2) ֤ϝϯόʔ͸ɺશһಉ࣌ʹࣗ෼͕Ұ൪޷͖ͳࡒΛ͸ a ͱ b ͷͲͪΒ͔Λ֬཰ 1/2 ͰׂΓ౰ͯΒΕɺi = 3, 4৯΂Δɻ֤ϝϯόʔ͕৯΂Δεϐʔυ͸શһಉ͡Ͱɺ͸ a, c ͷͲͪΒ͔Λ֬཰ 1/2 ͣͭͰׂΓ౰ͯΒΕΔɻ♣͜ͷ໰୊ʹ͓͍ͯઃ‫͖΂͢ܭ‬ϝΧχζϜͱ͸ɺ֤ϝϯ

ʮ1 ඵ౰ͨΓ 1 ୯Ґʯͱ͢Δ(3) ΋ࣗ͠෼͕৯΂͍ͯΔࡒ͕৯΂ͭ͘͞ΕͨΒɺͦόʔͷબ޷ i ͕ද໌͞Εͨͱ͖ʹ֬཰഑෼ߦྻ P Λฦͷ৔ʹ࢒͍ͬͯΔͳ͔ͰɺҰ൪޷͖ͳࡒΛ৯΂Δ(4) 1 ඵ‫ʹޙ‬ΞϧΰϦζϜ͸ऴྃ͢Δɻ͜ͷ 1 ඵؒͰͷΑ͏ͳඇෛߦྻͰ͋Γɺ֤ߦͷ࿨͸ 1ɺ֤ྻͷ࿨͸ରؔ͢਺Ͱ͋Δɻ∗1

3. ϝ Χ χ ζ Ϝ৯΂֤ͨൃද೔ͷׂ߹͕ɺͦͷ··ͦΕΒͷൃද೔Λड͚औΔ֬཰ͱͳΔɻPS ϝΧχζϜʹΑΓɺ֬཰తͳׂΓ౰ͯΛද͢ߦྻ P͕ੜ੒͞ΕΔɻྫ 3. ྫ 1 ʹ͓͍ͯ PS ϝΧχζϜΛద༻͢ΔͱɺҎԼͷζϜͰ͋ΔɺRSD ϝΧχζϜͱ PS ϝΧχζϜΛ঺հ͢εςοϓͰൃද೔͸ʮ৯΂ΒΕΔʯɿ

Δɻ྆ϝΧχζϜ͸֤ϝϯόʔ͕ͦͷൃද೔ʹׂΓ౰ͯ• i = 1, 2, 3, 4 શһ͕ಉ࣌ʹ a Λ৯΂࢝Ίɺ 12 ඵ‫ ʹޙ‬2୯Ґͷ a ͕৯΂ਚ͘͞ΕΔɻ
• 12 ඵ࣌఺͔Β i = 1, 2 ͸ b Λɺi = 3, 4 ͸ c Λ৯΂࢝ΊɺͦΕͧΕ 12 ඵ‫ ʹޙ‬1 ୯Ґ͕৯΂ਚ͘͞ΕΔɻ
࠷ऴతʹྫ 1 ͷ (1) ͕ PS ϝΧχζϜʹΑΔ݁Ռతͳ֬
཰഑෼ߦྻ P PS ͱͳΔɻ♣ΒΕΔ֬཰Λද֬͢཰഑෼ߦྻ P Λฦ͢ɻ

3·1 RSD ϝΧχζϜ
RSD ϝΧχζϜʢrandom serial dictatorshipɺ‫ۉ‬౳֬཰ஞ࣍ಠࡋ੍ʣͷఆٛ͸࣍ͷ௨ΓͰ͋Δɻ(1) ֤ϝϯόʔʹ༏ઌॱҐΛ‫ۉ‬౳ͳ֬཰ͰׂΓৼΔ(2) ༏ઌॱҐͷߴ͍ϝϯόʔ͔Βॱ൪ʹɺ·ͩ࢒͍ͬͯΔൃද೔ͷத͔Βɺࣗ෼͕ఏग़ͨ͠‫ر‬๬ॱҐͷ΋ͱͰҰ൪๬·͍͠ൃද೔ΛಘΔ(3) ͢΂ͯͷϝϯόʔͷॱ൪͕ऴΘΕ͹ΞϧΰϦζϜ͸ऴྃ͢Δ

RSD ϝΧχζϜͰ͸ɺ༏ઌॱҐ͕ߴ͍ਓ͔ΒॱʹʮಠࡋऀʯͱͳΓɺ޷͖ͳൃද೔ΛબͿɻ

4. ϝΧχζϜͷੑ࣭ຊষͰ͸ɺϝΧχζϜ͕ຬͨ͢͜ͱ͕๬·͍͠ੑ࣭ͱ
ͯ͠ਫฏੑɺࣄલޮ཰ੑɺ଱ઓུੑΛ঺հ͠ɺRSD ϝΧχζϜͱ PS ϝΧχζϜͷੑ࣭Λ֬ೝ͢Δɻ∗2

4·1 ਫ

ฏ

ੑ

ߟ͑Δɻi ͷ༏ઌॱҐ͕ 3, 4, 2, 1 ͷΑ͏ʹܾ·ͬͨͱ͢ྫ 1 Ͱ͸ i = 1, 2 ͕ಉ͡બ޷ॱং a i b i c Λ࣋ͪɺa ͱ b ͷͲͪΒ͔Λ֬཰ 1/2 ͰׂΓ౰ͯΒΕΔɻಉ͡બΔͱɺ·ͣ 3 ͕࠷΋๬Ή a Λબͼɺ࣍ʹ 4 ΋ a Λબͼɺ޷ॱংΛ࣋ͭਓΛެฏʹऔΓѻ͏ͨΊʹ͸ɺ͜ͷΑ͏ʹ࣍ʹ 2 ͕࢒͍ͬͯΔ b, c ͔Β๬·͍͠ b Λબͼɺ࠷‫ʹޙ‬ಉ֬͡཰ͰׂΓ౰ͯΒΕΔ͜ͱ͕ඞཁͰ͋Δɻಉ͡બ޷

1 ͕࢒͍ͬͯΔ c ΛબͿɺͱ͍ͬͨΑ͏ʹ഑෼͕ܾ·Δɻ༏ઌॱҐͷܾΊํ͸ 24 ௨Γ͋ΓɺͦΕΒ͕‫ۉ‬౳ͳ֬཰
1/24 ͣͭͰൃੜ͢ΔͨΊɺRSD ϝΧχζϜʹ͓͚Δ֬

ද໌Λͨ͠ਓ͸ಉ͡ѻ͍Λ͢Δɺͱ͍͏࠷௿‫ݶ‬ͷެฏੑ

ྫ 2. ྫ 1 ʹ͓͍ͯ RSD ϝΧχζϜΛద༻ͨ͠৔߹Λ∗1 ֬཰഑෼ߦྻ͕༩͑ΒΕͨͱ͖ɺͦͷ֬཰ʹ‫ࡍ࣮͍ͯͮج‬ͷ഑෼Λൃੜͤ͞Δ͜ͱ͕ՄೳͰ͋Δɻ͜Ε͸ Birkhoff-vonNeumann theorem ͱͯ͠஌ΒΕΔ [Guillaume 20]ɻ͕ͨͬͯ͠ɺ
͜͜Ͱ͸֬཰഑෼ߦྻΛฦ͢ϝΧχζϜΛߟ͑Ε͹ྑ͍ɻΛ֬อ͢Δੑ࣭Λਫฏੑͱ‫Ϳݺ‬ɻఆٛ 1 (ਫฏੑ). ϝΧχζϜ͕ਫฏੑʢequal treatmentof equalsʣΛຬͨ͢ͱ͸ɺ೚ҙͷϝϯόʔ i, j ∈ N ͱ೚ҙͷද໌͞Εͨબ޷ϓϩϑΝΠϧ (k )k∈N ʹରͯ͠ɺi∗2 ท਺ͱෳࡶ͞ͷ໰୊͔Β਺ཧతʹ‫ͳີݫ‬ఆٛͱূ໌͸ຊ߲Ͱ͸লུ͢Δɻ֬ೝ͕ඞཁͳ৔߹͸ [খౡ 18, Guillaume 20] ࢀরɻWhite Paper ProjectຊষͰ͸ɺ֬཰తׂΓ౰ͯ໰୊ʹ͓͚ΔओཁͳϝΧχ181

ͱ j ͷબ޷͕౳͍͠ i =j ͳΒ͹྆ऀͷ֬཰഑෼ϕΫτϧ΋౳͘͠ͳΔʢPi = Pj ʣ͜ͱΛ͍͏ɻmolnaia 01]ɻΑͬͯɺਫฏੑΛલఏͱ͢Δͱ଱ઓུੑͱ
ࣄલޮ཰ੑ͸ཱ྆͠ͳ͍ͨΊɺ଱ઓུੑͱࣄલޮ཰ੑͷͲͪΒΛॏࢹ͢Δ͔ʹԠͯ͡ɺRSD ϝΧχζϜͱ PS ϝ

4·2 ࣄ લ ޮ ཰ ੑ
ྫ 1 ͷ (2) ʹ͓͚Δ RSD ϝΧχζϜʹΑΔ֬཰഑෼ߦྻ P RSD ͱ (1) ʹ͓͚Δ PS ϝΧχζϜʹΑΔ֬཰഑
෼ߦྻ P PS Λߟ͑Δɻ͜ΕΒΛൺֱ͢ΔͱɺP RSD ΑΓ
P PS ͷํ͕શһʹͱͬͯ޷·͍͠ɻͳͥͳΒ P RSD ͔Β
P PS ʹมߋ͢Δͱɺi = 1, 2 ͸ୈ 3 ‫ر‬๬Ͱ͋Δ c ͷׂ౰֬཰͕ 0 ʹͳͬͯͦͷ෼ୈ 2 ‫ر‬๬ b ͷׂ౰֬཰্͕͕Γɺ
3, 4 ΋ୈ 3 ‫ر‬๬Ͱ͋Δ b ͷׂ౰֬཰͕ 0 ʹͳͬͯͦͷ෼
ୈ 2 ‫ر‬๬ c ͷׂ౰֬཰΋্͕ΔͨΊͰ͋Δɻ͕ͨͬͯ͠ɺ
P RSD ͸ͦΕΑΓશһʹͱͬͯ޷·͍͠ผͷ֬཰഑෼ߦ
ྻ͕ଘࡏ͢Δͱ͍͏఺Ͱ๬·͘͠ͳ͍ɻҰํɺP PS ʹ͸ͦΕΑΓશһ͕޷ΉΑ͏ͳผͷ֬཰഑෼ߦྻ͸ଘࡏ͠ͳ͍ɻ͜ͷΑ͏ͳੑ࣭Λࣄલޮ཰ੑͱ‫Ϳݺ‬ɻͦͯ͠ɺP RSD͸ࣄલޮ཰ੑΛຬͨ͞ͳ͍ɻ

5·1 ࣄલͷޮ཰ੑΛॏࢹ͠ PS ϝΧχζϜΛબͿࠓճͷൃද೔ͷׂΓ౰ͯʹ͓͍ͯ͸ɺPS ϝΧχζϜΛ
༻͍ͨɻલষͰ֬ೝͨ͠Α͏ʹɺRSD ϝΧχζϜͱ PSϝΧχζϜͷͲͪΒΛબͿ͔ͱ͍͏໰୊͸ɺ଱ઓུੑͱ
ࣄલͷޮ཰ੑͷͲͪΒΛબͿ͔ͱ͍͏໰୊Ͱ͋ΔɻࠓճͷׂΓ౰ͯʹ͓͍ͯ͸ɺ଱ઓུੑΑΓࣄલޮ཰ੑ
Λॏࢹͨ͠ɻPS ϝΧχζϜʹ͓͍ͯ͸ɺਓ‫ؾ‬ΛूΊΔൃද೔͕͋Δ৔߹ɺϝϯόʔʹͦͷ೔Λආِ͚ͨͷબ޷Λද໌͢ΔΠϯηϯςΟϒ͕͋Δɻ͔͠͠ɺࠓճ͸ਓ‫ؾ‬ΛूΊΔൃද೔͸ࣄલʹ͸༧૝͕ͨ͘͠ɺࣗ਎ͷબ޷ΛِΔΠϯηϯςΟϒ͸খ͍͞ɻ͕ͨͬͯ͠ɺࠓճ͸଱ઓུ

efficiencyʣΛຬͨ͢ͱ͸ɺ೚ҙͷද໌͞Εͨબ޷ͷ૊(i )i∈N ʹରͯ͠ɺฦ͞ΕΔ֬཰഑෼ߦྻ P ΑΓશһʹͱͬͯ޷·͍͠ผͷ֬཰഑෼ߦྻ P  ͕ଘࡏ͠ͳ͍͜ͱ

ޮ཰ੑΛຬͨ͢ PS ϝΧχζϜΛ༻͍Δ͜ͱͰɺগ͠Ͱ

ੑΛ͍ܽͯ΋໰୊͸গͳ͍ͱߟ͑ΒΕΔɻͦͯ͠ɺࣄલ
΋޷·͍֬͠཰഑෼ߦྻΛׂΓ౰ͯΔ͜ͱ͕༏ઌ͞ΕΔ

Λ͍͏ɻͱ൑அͨ͠ɻ

4·3 ଱ ઓ ུ ੑ
RSD ϝΧχζϜͰ͸ɺ֤ϝϯόʔ͸ࣗ෼ͷ൪ʹͳͬͨ

5·2 ׂΓ౰ͯϓϩηεͷ͕࠷దͰ͋Γɺ·ͨ༏ઌॱҐ͸ද໌ͨ͠બ޷ͱ͸ಠཱʹϥϯμϜʹܾఆ͞ΕΔͨΊɺબ޷ॱং i Λِͬͯද໌ͯ͠΋༗རͳ݁Ռ͕ಘΒΕΔ͜ͱ͸ͳ͍ɻϝΧχζϜ
ͷ͜ͷΑ͏ͳੑ࣭Λ଱ઓུੑͱ‫Ϳݺ‬ɻ
ఆٛ 3. ϝΧχζϜ͕଱ઓུੑʢstrategy-proofnessʣΛຬͨ͢ͱ͸ɺ೚ҙͷϝϯόʔ i ∈ N ɺ ͦͷਅͷબ޷ i ɺ࣮ࡍͷׂΓ౰ͯ͸ɺ‫ر‬๬ͷऩूɺPS ϝΧχζϜʹΑΔׂ
Γ౰ͯɺख࡞‫ۀ‬ͷॱͰ࣮ࢪͨ͠ɻ‫ر‬๬ͷऩूʹ͸ GoogleϑΥʔϜΛ༻͍ͨɻൃද೔͸߹‫ ܭ‬15 ೔͋Γɺʮ‫ر‬๬͠ͳ͍ʯͱ͍͏બ୒ࢶΛՃ͑ͨ 16 ௨Γͷબ୒ࢶ͔Βୈ 1 ‫ر‬๬͔Β࠷େୈ 15 ‫ر‬๬·Ͱબ୒ͯ͠΋Βͬͨɻྫ͑͹ɺબ୒࣌఺Ͱ 1 ೔͚ͩൃදͰ͖ͳ͍೔͕͋Δ৔߹ɺୈ 14 ‫ر‬๬·Ͱબ୒ͯ͠΋Β͍ɺୈ 15 ‫ر‬๬Λʮ‫ر‬๬͠ͳ͍ʯͱ
ͯ͠΋Βͬͨɻ֤ൃද೔ͷׂ౰্‫ݶ‬͸ 2 ਓ·ͨ͸ 3 ਓͱଞϝϯόʔͷද໌͞Εͨબ޷ͷ૊ −i ʹ͓͍ͯɺi ͕ผͨ͠ɻ‫ر‬๬Λఏग़ͨ͠ͷ͸ 27 ໊Ͱ͋ͬͨɻୈ 1 ‫ر‬๬ʹ·͍֬͠཰഑෼ߦྻʹ͸ͳΒͳ͍͜ͱΛ͍͏ɻ֎ͷൃද೔ʹ͍ͭͯ͸࠷େ 3 ໊ͷԠื͕͋ͬͨɻ‫ر‬๬ͷͷબ޷ i Λِͬͯද໌ͨ͠ͱͯ͠΋ i ʹͱͬͯΑΓ޷

4·4 RSD ͱ PS ͷੑ࣭ൺֱ
RSD ϝΧχζϜͱ PS ϝΧχζϜͷੑ࣭Λൺֱ͢ΔͱɺҎԼͷΑ͏ʹͳΔɻ
ࣄ࣮ 1. RSD ϝΧχζϜ͸ɺਫฏੑ͓Αͼ଱ઓུੑ͸ຬ͕ͨ͢ɺࣄલޮ཰ੑ͸ຬͨ͞ͳ͍ɻPS ϝΧχζϜ͸ɺਫฏੑ͓Αͼࣄલޮ཰ੑ͸ຬ͕ͨ͢ɺ଱ઓུੑ͸ຬͨ͞ͳ͍ɻ

ਫฏੑ
ࣄલޮ཰ੑ
଱ઓུੑ

White Paper Project

5. AI Lab ਐ௙‫ڞ‬༗ձׂΓ౰ͯʹ͓͚ΔԠ༻

ఆٛ 2 (ࣄલޮ཰ੑ). ϝΧχζϜ͕ࣄલޮ཰ੑʢex-anteͱ͖ʹ࢒͍ͬͯΔ΋ͷͷத͔Β࠷΋๬·͍͠΋ͷΛબͿ

182ΧχζϜͷͲͪΒΛ༻͍Δ͔બ୒͢Δ͜ͱ͕ඞཁͰ͋Δɻ͍ͭͯ͸ɺ8 ݄ 2 ೔ʹ͸ 6 ໊͕Ԡืͨ͠΋ͷͷɺͦΕҎఏग़‫ޙ‬ɺPS ϝΧχζϜʹͯ 1 ਓ 1 ൃද೔ΛׂΓ౰ͯͨɻͦͷ‫ޙ‬ɺ‫ر‬๬Λఏग़͠ͳ͔ͬͨਓΛલճ͔Βͷൃදִ͕ؒ௕͍ॱʹۭ͍͍ͯΔൃද೔ʹׂΓ౰ͯͨɻ

5·3 ׂ Γ ౰ ͯ ݁ Ռ‫ر‬๬ͷׂΓ౰ͯঢ়‫گ‬͸ɺ27 ໊ͷ͏ͪɺୈ 1 ‫ر‬๬ʹׂΓ౰ͯΒΕͨͷ͕ 22 ໊ɺୈ 2 ‫ر‬๬͕ 3 ໊ɺୈ 4 ‫ر‬๬͕ 1
໊ɺୈ 7 ‫ر‬๬͕ 1 ໊Ͱ͋ͬͨɻ֓Ͷ‫ر‬๬Λ‫͑׎‬Δ͜ͱ͕

RSD

PS

ੑ࣭֓ཁ


×




×

ಉ͡બ޷͸ಉ༷ʹѻ͏Ͱ͖ͨͱධՁ͍ͯ͠Δɻ·ͨɺׂΓ౰ͯ࡞‫͕ࣗۀ‬ಈԽ͞ΕͨͨΊɺׂΓ౰ͯ୲౰ऀͷෛ୲΋ܰ‫͞ݮ‬Εͨɻଞʹશһ๬Ή഑෼͕ͳ͍
બ޷Λِͬͯ΋ಘ͠ͳ͍

6. γϛϡϨʔγϣϯ͜ΕΒͷੑ࣭Λશͯຬͨ͢ϝΧχζϜ͸ɺϝϯόʔ͕େ‫ن‬໛ͳׂΓ౰ͯʹ͓͍ͯ͸ɺҰఆͷԾఆͷ΋ͱͰ RSD

4 ਓҎ্ͷ৔߹͸ଘࡏ͠ͳ͍͜ͱ͕஌ΒΕ͍ͯΔ [Bogo-ϝΧχζϜͱ PS ϝΧχζϜͷׂΓ౰͕ͯ઴ۙతʹҰக͢Δ͜ͱ͕஌ΒΕ͍ͯΔ [Che 10]ɻࠓճͷ৔߹Ͱ͸྆ϝલͷޮ཰ੑΛຬͨͣ͞ɺ‫ऀޙ‬͸ࣄલޮ཰ੑΛຬͨ͢΋ͷΧχζϜͷׂΓ౰ͯ݁Ռ͕ࣅͨ΋ͷʹͳΔͷ͔֬ೝ͢Δ

ͷ଱ઓུੑΛຬͨ͞ͳ͍ɻ

ͨΊʹ 250 ճͣͭγϛϡϨʔτͨ͠ɻࠓճ͸଱ઓུੑͷܽ೗ʹΑΔ໰୊͸খ͍͞ͱߟ͑ɺࣄ

·ͣɺ֤ճ͝ͱʹ RSD ϝΧχζϜͱ PS ϝΧχζϜͷ

લޮ཰ੑΛຬͨ͢ PS ϝΧχζϜʹΑׂͬͯΓ౰ͯΛߦͬͲͪΒ͕ΑΓߴ͍‫ر‬๬Λຬ͍ͨͯ͠Δ͔ද 1 Ͱൺֱͨ͠ɻ

ͨɻ݁Ռ 27 ໊த 22 ໊͕ୈ 1 ‫ر‬๬ʹׂΓ౰ͯΒΕɺ࡞‫ۀ‬

ද1ҟͳΔϝΧχζϜͰ‫ر‬๬͕վળ͞ΕΔฏ‫ۉ‬ਓ਺ͱඪ४ภࠩ

RSD ͕ PS ΑΓߴ͍‫ر‬๬Λຬͨ͢PS ͕ RSD ΑΓߴ͍‫ر‬๬Λຬͨ͢ෛ୲΋ܰ‫͞ݮ‬Εͨɻ·ͨɺ྆ϝΧχζϜͷγϛϡϨʔγϣϯΛ֤ 250 ճߦ͕ͬͨɺׂΓ౰ͯͷࠩ͸খ͔ͬͨ͞ɻ

ฏ‫ۉ‬

ඪ४ภࠩ

ࣾ಺ͰଞʹՄೳͳԠ༻ͱͯ͠͸ɺҎԼͷΑ͏ͳྫ͕‫ڍ‬

3.45 ໊
3.41 ໊

1.17
1.10

͛ΒΕΔɻ·ͣɺҟͳΔΠϕϯτͷಉ࣌഑෼Ͱ͋Δɻྫ
͑͹ɺAI Lab Ͱ͸ਐ௙‫ڞ‬༗ձͷଞʹ PaperFriday ͱ͍͏࿦จಡΈձΛ࣮ࢪ͍ͯ͠ΔɻҟͳΔΠϕϯτͷൃද೔͕

RSD ΛΑΓ޷Ήਓͷฏ‫ۉ‬ਓ਺͸ 3.45 ໊ɺPS ΛΑΓ޷Ήਓͷฏ‫ۉ‬ਓ਺͸ 3.41 ໊Ͱ͋Γɺ΄ͱΜͲ͕ࠩͳ͔ͬͨɻ

ඃΒͳ͍Α͏ಉ࣌ʹ഑෼͢Δ͜ͱ΋࣮຿্ඞཁͰ͋ΔɻͲͪΒ͔Ұํ͕ଞํΛ্ճΔׂΓ౰͕ͯ͞Ε͍ͯΔΘ͚λʔɺ‫ص‬ɺҜࢠͳͲͷࡒ΍ɺ੮ॱΛৼΓ෼͚Δඞཁ͕͋Ͱ͸ͳ͘ɺશମͰࠩͷͳׂ͍Γ౰͕ͯ͞Ε͍ͯΔɻ

Δɻ͜ͷ৔߹ɺ֤ࣾһͷ‫ر‬๬Λฉ্͍ͨͰৼΓ෼͚Δͷ࣍ʹɺࣾ಺Ϧιʔεͷ഑෼Ͱ͋Δɻ֤෦ॺͰ PCɺϞχ࣍ʹɺ྆ϝΧχζϜ͕ͲΕ͘Β͍‫ر‬๬Λຬ͍ͨͯ͠Δ

͸େมͳ࡞‫ͳͱۀ‬Δ͕ɺRSD ΍ PS ϝΧχζϜΛ༻͍Εͷ͔֬ೝ͢ΔͨΊɺͲͷ‫ر‬๬ʹׂΓ౰ͯΒΕͨͷ͔ද 2͹؆୯ʹׂΓ౰ͯΒΕΔɻಛʹɺೖࣾऀ͕ଟ͍࣌‫֤ʹظ‬Ͱฏ‫ۉ‬ਓ਺Λൺֱͨ͠ɻ

ϝΧχζϜΛ࢖͑Ε͹େ෯ͳ‫ۀ‬຿ͷվળʹͳΔɻ࠷‫ʹޙ‬ɺαʔϏεͷӡ༻ʹ͓͍֤ͯϝΧχζϜΛ༻͍ද2֤‫ر‬๬΁ͷฏ‫ׂۉ‬Γ౰ͯਓ਺ୈ 1 ‫ر‬๬
ୈ 2 ‫ر‬๬
ୈ 3 ‫ر‬๬
ୈ 4 ‫ر‬๬
ୈ 5 ‫ر‬๬
ୈ 6 ‫ر‬๬
ୈ 7 ‫ر‬๬ׂΓ౰ͯͳ͠

Δ͜ͱ΋ߟ͑ΒΕΔɻྫ͑͹ɺ൪૊഑৴αʔϏεʹ͓͚

RSD

PS

Δ൪૊͝ͱͷ์ө࿮ׂΓ౰ͯ΍޿ࠂ࿮ͷॱ൪ͳͲɺެฏ

21.85
2.70
1.52
0.27
0.15
0.03
0.28
0.56

21.76
2.82
1.53
0.28
0.11
0.02
0,28
0.54

ʹѻ͏ඞཁ͕͋Δ΋ͷʹ͍ͭͯɺ֤ϝΧχζϜΛ༻͍ͯͲͷ‫ر‬๬ʹ͓͍ͯ΋΄ͱΜͲ͕ࠩͳ͍ɻྫ͑͹ɺୈ 1‫ر‬๬Ͱ͸ RSD ϝΧχζϜ͕ฏ‫ ۉ‬21.85 ໊ΛׂΓ౰ͯɺPSϝΧχζϜ͕ 21.76 ׂ໊Γ౰͓ͯͯΓɺͦͷࠩ͸খ͍͞ɻࠓճͷγϛϡϨʔγϣϯͰ͸ɺRSD ϝΧχζϜͱ PSޮ཰తʹׂΓ౰ͯΔ͜ͱ͕ߟ͑ΒΕΔɻ♦ ࢀ ߟ จ ‫♦ ݙ‬[Bogomolnaia 01] Bogomolnaia, A. and Moulin, H.: A New Solution to the Random Assignment Problem, J. Econ. Theory, Vol. 100,
No. 2, pp. 295–328 (2001)[Che 10] Che, Y.-K. and Kojima, F.: Asymptotic Equivalence of Probabilistic Serial and Random Priority Mechanisms, Econometrica,
Vol. 78, No. 5, pp. 1625–1672 (2010)[Guillaume 20] Haeringer, G., ‫܀‬໺ ੝ޫɿϚʔέοτσβΠϯ : ΦʔΫγϣϯͱϚονϯάͷཧ࿦ɾ࣮ફ, தԝ‫ࣾࡁܦ‬, தԝ‫ࡁܦ‬άϧʔϓύϒϦογϯά (ൃച) (2020)[খౡ 18] খౡ ෢ਔ, Տా ཅ޲ɿϚονϯάɾϚʔέοτσβΠϯߨٛ (ୈ 4 ճ) ׂΓ౰ͯ໰୊ͷެฏͳղܾࡦΛߟ͑Δ, ‫ࡁܦ‬ηϛφʔ = The keizai seminar, No. 699, pp. 60–68 (2018)ϝΧχζϜͰ͸ͦͷ಺༁͸ҟͳΔ΋ͷͷɺશମͰ͸ࣅͨΑ͏ͳׂΓ౰͕ͯ͞Ε͍ͯΔɻ27 ໊த໿ 22 ໊͕ୈ 1 ‫ر‬

ஶ ऀ

঺

հ

๬ʹׂΓ౰ͯΒΕ͍ͯΔΑ͏ʹɺࠓճͷ‫ر‬๬ΞϯέʔτͰ͸‫ر‬๬೔͕ਓʹΑͬͯඇৗʹόϥ͍͍ͭͯΔͨΊɺେ஛࿘ ྑ‫׮‬‫ن‬໛ͳׂΓ౰ͯͰͳ͍ࠓճͷঢ়‫͍͓ͯʹگ‬΋྆ϝΧχζAI Lab ‫ֶࣾࡁܦ‬ձ࣮૷νʔϜ Data Scientistɻઋ୆ࢢ໾ॴ
Ͱ‫ۈ‬຿‫ޙ‬ɺ2021 ೥αΠόʔΤʔδΣϯτೖࣾɻอҭॴར༻ௐ੔౳ͷ੍౓ઃ‫ܭ‬Λߦ͏ϚʔέοτσβΠϯͷࣾձ࣮૷ʹैࣄɻϜʹΑΔ഑෼݁Ռ͕͍ۙ΋ͷʹͳͬͨͱߟ͑ΒΕΔɻ

7. ݁࿦ͱଞͷԠ༻Մೳੑ
AI Lab ਐ௙‫ڞ‬༗ձͷैདྷͷൃද୲౰ܾΊϧʔϧʹ͸ɺϝϯόʔͷ‫ر‬๬Λ‫ټ‬Έऔ͍ͬͯͳ͍ɺׂΓ౰ͯʹखؒΛཁ͢Δͱ͍͏໰୊͕͋ΓɺϚονϯάϝΧχζϜΛ༻͍ͯࣗಈԽ͞Εͨɻਓʑͷؒʹ༏ઌॱҐ͕ଘࡏͤͣɺެฏ෌ా ᗛࢤ
AI Lab ‫ֶࣾࡁܦ‬ձ࣮૷νʔϜ Research Scientistɻ2020 ೥αΠόʔΤʔδΣϯτ৽ଔೖࣾɻઐ໳͸ήʔϜཧ࿦ɺϚονϯάཧ࿦ɺϚʔέοτσβΠϯɺϝΧχζϜσβΠϯɻϚονϯάཧ࿦ɾϚʔέοτσβΠϯͷཧ࿦ɾԠ༻‫͓ڀݚ‬Αͼࣾձ࣮૷ʹऔΓ૊Ήɻʹ͓͍ͯ͸ɺRSD ϝΧχζϜͱ PS ϝΧχζϜ͕Α͘஌ΒΕ͍ͯΔɻͨͩ͠ɺલऀ͸଱ઓུੑΛຬͨ͢΋ͷͷࣄWhite Paper ProjectʹϞϊΛ഑෼͢Δ͜ͱ͕‫ٻ‬ΊΒΕΔ֬཰తׂΓ౰ͯ໰୊183

White Paper Project

大谷 まゆमਖ਼ίετΛ࢖ͬͨ෺ମ‫ݕ‬ग़ͷධՁେ୩ ·ΏMayu Otani

AI LabResearch Scientist

otani mayu@cyberagent.co.jp, https://mayu-ot.github.io/

keywords: ෺ମ‫ݕ‬ग़ɺධՁࢦඪɺ࠷ద༌ૹ໰୊
Summary෺ମ‫ݕ‬ग़Ͱ͸ mean average precisionʢmAPʣΛओͳධՁࢦඪͱͯ͠࠾༻͍ͯ͠ΔɻmAP ͸ը૾શମ͔Β‫ݕ‬ग़ͨ͠෺ମྖҬʹରͯ͠Ϋϥε͝ͱͷϥϯΩϯάੑೳΛධՁ͍ͯ͠Δ͕ɺ͜ͷΑ͏ͳલఏ͸ΞϓϦέʔγϣϯʹΑͬͯ͸ద੾Ͱͳ͍৔߹͕͋Δɻຊ‫Ͱڀݚ‬͸ mAP ͱ͸ҟͳΔ‫͔఺؍‬Β෺ମ‫ݕ‬ग़ͷੑೳΛධՁ͢ΔࢦඪΛఏ‫͢ڙ‬Δ
ͨΊɺOptimal Correction Cost (OC-cost) Λઃ‫ͨ͠ܭ‬ɻOC-cost ͸ը૾ϨϕϧͰͷ‫ݕ‬ग़ਫ਼౓ΛධՁ͢Δ͜ͱΛ໨తͱͨ͠ࢦඪͰ͋Δɻ۩ମతʹ͸ɺ‫ݕ‬ग़݁ՌΛਅ஋Ξϊςʔγϣϯʹमਖ਼͢ΔͨΊʹ͔͔ΔίετΛਫ਼౓ͷࢦඪͱͯ͠༻͍Δɻ͜ͷίετ͸ɺ‫ݕ‬ग़݁Ռͱਅ஋Ξϊςʔγϣϯؒͷ࠷ద༌ૹ໰୊Λղ͘͜ͱͰಘΒΕΔɻ࣮‫Ͱݧ‬͸OC-cost ʹΑΔධՁ݁Ռ͕ਓؒͷ൑அͱ͋Δఔ౓Ұக͢Δ͜ͱΛ֬ೝͨ͠ɻ·ͨςετ༻σʔληοτͷΘ͔ͣͳࠩҟʹରͯ͠‫ͳ݈ؤ‬ධՁ͕‫ظ‬଴Ͱ͖Δ͜ͱΛࣔͨ͠ɻ෺ମ‫ݕ‬ग़Ͱ͸ mean average precisionʢmAPʣ͕ධՁࢦ  

ඪͱͯ͠޿͘࢖ΘΕ͓ͯΓɺଟ͘ͷ‫͕ڀݚ‬ΑΓߴ͍ mAP02] Ͱ͋ΓɺVOC ͷ෺ମ‫ݕ‬ग़ϕϯνϚʔΫ͕෺ମ‫ݕ‬ग़ͷධՁʹಋೖͨ͠ [Everingham 10]ɻmAP Λ༻͍ͨ෺ମ‫ݕ‬ग़ධՁͰ͸ɺશͯͷ‫ݕ‬ग़݁ՌΛ༧ଌΫϥε͝ͱʹ৴པ౓είΞͷॱʹฒ΂ɺॱҐ෇͚͞Εͨ‫ݕ‬ग़݁Ռͷ precision-

recall Χʔϒ͔Β average precision (AP) Λࢉग़͠ɺ͢΂ͯͷΫϥεʹ͍ͭͯฏ‫ۉ‬ΛͱΔ͜ͱͰ mAP Λ‫ٻ‬ΊΔɻ͜ͷ͜ͱ͔Β mAP ͸෺ମ‫ݕ‬ग़λεΫΛΫϥε͝ͱʹ‫ݕ‬ग़݁ՌΛॱҐ෇͚͢Δ໰୊ͱͯ͠ѻ͍ͬͯΔͱղऍͰ͖Δɻ 

ใ‫ࡧݕ‬ख๏ͷධՁʹ༻͍ΒΕΔϥϯΩϯάࢦඪ [Voorhees 



 ↓





  





  






 


ਤ1



   


είΞΛୡ੒͢Δ͜ͱΛ໨తͱ͍ͯ͠ΔɻmAP ͸ओʹ৘↑ 

1. ͸ ͡ Ί ʹ





mAP ͷৼΔ෣͍ɻΞϧΰϦζϜ B ͸Ұ෦ͷը૾Λແࢹ͢Δ
͕ɺmAP ʹ͓͍ͯΞϧΰϦζϜ A ͱ B ͸ಉ౳ͷੑೳͱΈͳ͞ΕΔɻ·ͨ‫ݕ‬ग़ΞϧΰϦζϜ C ͷྫ͸৴པ౓ͷ௿͍‫ݕޡ‬ग़͸ mAP ʹ൓ө͞Εͳ͍৔߹͕͋Δ͜ͱΛ͍ࣔͯ͠Δɻ

White Paper ProjectmAP ͷಛ௃తͳৼΔ෣͍Λਤ 1 ʹࣔ͢ɻΞώϧͱϩ

184

όΛ‫ݕ‬ग़͢Δ‫ݕ‬ग़‫ ث‬AɺBɺCɺͱը૾̏ຕ͔ΒͳΔධՁ

Ձ͕ඞཁͳ৔߹͕ߟ͑ΒΕΔɻྫ͑͹ɺը૾ೝࣝ API ͷ༻σʔλΛߟ͑Δɻ‫ݕ‬ग़‫ ث‬B ͸ 3 ຕͷը૾ͷ͏ͪ 2 ຕΛΑ͏ʹɺϢʔβ͕ಠཱͯ͠ը૾ΛΞοϓϩʔυ͢Δαʔ‫׬‬શʹແࢹ͍ͯ͠Δ͕ɺ‫ݕ‬ग़‫ ث‬A ͱ B ͸ಉ͡ mAP ͱͳϏεͰ͸ɺ༷ʑͳը૾ʹରͯ҆͠ఆͨ͠ੑೳΛఏ‫͢ڙ‬Δ

Δɻ͜ͷΑ͏ʹɺmAP ͸‫ॴہ‬తͳੑೳ௿Լ͕͋ͬͨ৔߹ඞཁ͕͋ΔɻͦͷΑ͏ͳΞϓϦέʔγϣϯʹ͓͍ͯ͸ɺͰ΋ධՁ஋ʹ൓ө͠ͳ͍͜ͱ͕͋Δɻ͜ͷྫ͔ΒɺmAPσʔληοτશମʹ͓͚ΔϥϯΩϯάੑೳΑΓ΋ɺը૾ʹ͓͍ͯσʔληοτ಺ͷ֤ը૾ͷӨ‫ڹ‬͸ฏ౳Ͱͳ͍͜

ϨϕϧͰͷ‫ݕ‬ग़ਫ਼౓͕ධՁʹ͓͍ͯ͸ॏཁͰ͋Δͱߟ͑

ͱ͕Θ͔ΔɻΒΕΔɻ‫ݕ‬ग़‫ ث‬C ͷྫͰ͸ɺ‫ݕޡ‬ग़͕ mAP ʹ൓ө͞Εͳ͍৔߹ຊ‫Ͱڀݚ‬͸ɺ‫ݕ‬ग़ਫ਼౓Λը૾ϨϕϧͰධՁ͢Δ͜ͱΛ͕͋Δ͜ͱ͕ࣔ͞Ε͍ͯΔɻ‫ݕ‬ग़‫ ث‬C ͷ݁Ռʹ͸େྔͷ໨తͱͨ͠৽͍͠ධՁࢦඪͰ͋Δ࠷దमਖ਼ίετʢOC-

ϩόͷ‫ݕޡ‬ग़͕‫·ؚ‬Ε͍ͯΔ͕ɺ͜ΕΒͷ‫ݕޡ‬ग़͸ਖ਼ղ

costʣΛఏҊ͢Δɻ۩ମతʹ͸ɼ‫ݕ‬ग़݁ՌΛਅ஋Ξϊςʔ‫ݕ‬ग़݁ՌΑΓ΋ԼҐʹ͋ΔͨΊɺmAP Λ௿Լͤ͞ͳ͍ɻ

γϣϯʹิਖ਼͢ΔͨΊͷίετΛ‫͢ࢉܭ‬Δ͜ͱͰ‫ݕ‬ग़݁Ҏ্ͷΑ͏ͳ mAP ͷৼΔ෣͍͸ɺίϯςϯπʹ‫ͮج‬Ռͷਫ਼౓ΛධՁ͢ΔɽOC-cost ͷ‫ࢉܭ‬͸࠷ద༌ૹ໰୊ͱ

͘ը૾‫ࡧݕ‬ͷΑ͏ͳϥϯΩϯά໰୊Λ૝ఆͨ͠৔߹ʹ͸ͯ͠ఆࣜԽ͞ΕΔɻमਖ਼ίετΛ‫͢ࢉܭ‬Δࡍʹ͸ɺͦΕ߹ཧతͰ͋Δ͕ɺΞϓϦέʔγϣϯʹΑͬͯ͸ҟͳΔධͧΕͷ‫ݕ‬ग़݁ՌΛਅ஋ΞϊςʔγϣϯʹରԠ͚ͮɺͦͷਖ਼ղͱͷ‫ࠩޡ‬ΛධՁ͢Δඞཁ͕͋Δɻͦͷࡍɺमਖ਼ίε

GIoU ͸ Generalized IoU [Rezatofighi 19] Ͱ͋Δɻࣝผ

τ͕࠷খͱͳΔΑ͏ͳ‫ݕ‬ग़݁Ռͱਅ஋Ξϊςʔγϣϯͷ‫ࠩޡ‬͸ҎԼͷΑ͏ʹ‫ٻ‬ΊΔɻରԠؔ܎Λ࠷ద༌ૹ໰୊Λղ͘͜ͱͰಘΔɻຊ‫ڀݚ‬͸࠷ద༌ૹίετΛ༻͍ͨ‫ݕ‬ग़Ϟσϧͷֶशख๏ [Ge 21] ͷଛࣦؔ਺ΛධՁࢦඪͱͯ͠ઃ‫͠ܭ‬௚ͨ͠΋ͷͱͯ͠ղऍͰ͖Δɻ
 1−pi , if l = ˆl ,ij2
ccls (pi , li , ˆlj ) = 1+pi , otherwise.

(7)2༧ଌΫϥεϥϕϧ͕ਖ਼͍͠৔߹͸৴པ౓͕ߴ͍΄Ͳ‫ࠩޡ‬͸খ͍͞ͱΈͳ͢ɻ·ͨ৴པ౓ͷߴ͍‫ࣝޡ‬ผʹ͸େ͖ͳ

2. ࠷దमਖ਼ίετʹ‫ݕͮ͘ج‬ग़ධՁࢦඪ

ϖφϧςΟΛ՝͢ɻຊ‫Ͱڀݚ‬͸ɺը૾͝ͱʹ෺ମ‫ݕ‬ग़ͷੑೳΛධՁ͢Δͨ෺ମ‫ݕ‬ग़ʹ͓͚Δ false positive ͱ false negative ʹͭΊɺ༧ଌ͞Εͨ‫ݕ‬ग़݁ՌΛਅ஋ΞϊςʔγϣϯͱಉҰʹ͍ͯઆ໌͢ΔɻFalse positive ͸ଘࡏ͠ͳ͍෺ମͷ‫ݕ‬ग़΍ɺͳΔΑ͏ʹमਖ਼͢ΔίετΛੑೳࢦඪͱͯ͠༻͍ΔɻमΫϥε‫ޡ‬ΓɺҐஔਪఆͷࣦഊͳͲ͕‫·ؚ‬ΕΔɻಉ͡෺ମʹਖ਼ίετͷ‫ࢉܭ‬͸࠷ద༌ૹ໰୊Λղ͘͜ͱͰ‫ٻ‬ΊΔɻରͯ͠ෳ਺ͷ‫ݕ‬ग़݁ՌΛग़ͯ͠͠·ͬͨ৔߹΋ɺ࠷΋ྑ

2·1 ࠷ ద ༌ ૹ ໰ ୊࠷ద༌ૹ໰୊͸ m ͷ supplier ͔Β n ͷ demander ʹ෺ࢿΛҠಈ͢Δ࠷దͳ༌ૹ‫ܭ‬ը π ∗ Λ‫͚ͭݟ‬Δ໰୊ͱղऍͰ
͖Δɻsi Λ supplier i ͕อ࣋͢Δ෺ࢿྔɺdj Λ demanderj ͕ඞཁͱ͍ͯ͠Δ෺ࢿྔͱ͠ɺsupplier i ͔Β demanderj ʹ෺ࢿΛ̍‫ݸ‬༌ૹ͢Δͷʹ͔͔ΔίετΛ ci,j ͱͨ͠‫ݕ‬ग़࿙ΕʹରԠ͢Δɻ‫ݕ‬ग़݁Ռͱਅ஋Ξϊςʔγϣϯͷ͍༧ଌ݁ՌҎ֎͸ࣦഊͱͯ͠ѻΘΕΔɻFalse negative ͸

m 
n


ͨΊʹμϛʔ supplier ͱμϛʔ demander ΛऔΓೖΕΔɻ

False positive ͸͋Δ༧ଌ݁Ռ͔Βμϛʔ demander ΁ͷ༌ૹʹରԠ͢Δɻ·ͨ false negative ͸μϛʔ supplier ͔Β͋Δਅ஋Ξϊςʔγϣϯ΁ͷ༌ૹʹରԠ͢Δɻ͜ͷμͱ͖࠷ద༌ૹ໰୊͸ҎԼͷΑ͏ʹදͤΔɻ

π ∗ =πରԠΛ‫ٻ‬ΊΔࡍɺ͜ΕΒͷ false positive ͱ false negativeΛରԠؔ܎͔Βద੾ʹऔΓআ͘͜ͱ͕ඞཁͱͳΔɻͦͷϛʔ͕ؔ༩͢Δ༌ૹίετΛ β ͱ͢Δɻ͜Ε͸‫ڐ‬༰Ͱ͖

ci,j πi,j ,(1)ΔΤϥʔͷఔ౓ʹରԠ͢ΔύϥϝʔλͰ͋Δɻ(2)2·3 मਖ਼ίετͷ‫ํࢉܭ‬๏

i=1 j=1mπi,j = dj ,

i=1

m


n


πi,j = si ,

j=1

si =

i=1

n


dj ,

(3)

j=1

πi,j ≥ 0 (i = 1, . . . , m, j = 1, . . . , n).

(4)ࠓճ͸‫ݕ‬ग़݁Ռ͕ supplier ʹɺਅ஋Ξϊςʔγϣϯ͕

demander ʹରԠ͢Δɻci,j ͸͋Δ‫ݕ‬ग़݁Ռ i Λਅ஋Ξϊςʔγϣϯ j ʹमਖ਼͢Δͷʹ͔͔Δίετͱߟ͑Δɻ
2·2 म ਖ਼ ί ε τ͏ʹਖ਼‫ن‬Խ͞ΕΔɻͨͩ͠μϛʔؒͷ༌ૹΛमਖ਼ίετ‫ݕ‬ग़݁Ռͷमਖ਼ίετ ci,j ͸ࣝผ‫ͱࠩޡ‬Ґஔਪఆ‫ࠩޡ‬ͷॏΈ෇͖࿨ͱ͢Δɻ‫ݕ‬ग़݁Ռ i ͷό΢ϯσΟϯάϘοΫ
εΛ bi ɺͦͷό΢ϯσΟϯάϘοΫεͷΫϥεϥϕϧΛ

li ͱ͢Δɻਅ஋Ξϊςʔγϣϯʹؔͯ͠͸ͦΕͧΕ b̂j ɺ
ˆlj ͱ͢Δɻpi ͸‫ݕ‬ग़݁Ռ i ͷ৴པ౓Λද͢ɻ
ci,j = λcloc (bi , b̂j ) + (1 − λ)ccls (pi , li , ˆlj ),ௐ੔͢ΔύϥϝʔλͰ͋ΔɻఏҊࢦඪͰ͸Ґஔਪఆ‫ࠩޡ‬ͱࣝผ‫ࠩޡ‬Λಉ࣌ʹධՁ͍ͯ͠Δ͜ͱʹ஫ҙ͞Ε͍ͨɻAP ʹ͓͍ͯ‫ࣝޡ‬ผ͸‫׬‬શͳࣦഊͱͯ͠ѻΘΕΔͨΊɺͦͷҐஔਪఆʹؔͯ͠͸ධՁ͞Εͳ͍ɻҐஔਪఆ‫ ࠩޡ‬cloc (bi , b̂j ) ∈ [0, 1] ͸ҎԼͷΑ͏ʹఆٛ͢Δɻ

1 − GIoU(bi , b̂j ),2ͷ‫͔ࢉܭ‬Βআ֎͢ΔͨΊ πm+1,n+1 = 0 ͱ͢Δɻ∗πi,j
π̃i,j = m+1 n+1
i=1

(6)

∗
j=1 πi,j.

(8)࠷‫ʹޙ‬ɺमਖ਼ίετΛҎԼͷΑ͏ʹ‫ٻ‬ΊΔɻ(5)͜͜Ͱ λ ∈ [0, 1] ͸Ґஔਪఆ‫ࣝͱࠩޡ‬ผ‫ࠩޡ‬ͷόϥϯεΛ

cloc (bi , b̂j ) =n ‫ݸ‬ͷ෺ମ͕Ξϊςʔγϣϯ෇͚͞Εͨը૾ʹରͯ͠ɺm ‫ݸ‬ͷ‫ݕ‬ग़݁Ռ͕ग़ྗ͞Εͨͱ͢Δɻमਖ਼ίετΛ‫ࢉܭ‬
͢ΔࡍɺͦΕͧΕμϛʔΛ‫ؚ‬Ίɺm + 1 ‫ݸ‬ͷ supplier ͱ
n + 1 ‫ݸ‬ͷ demander ͕͋Δͱߟ͑ΔɻSupplier ͷ෺ࢿอ࣋਺ (s1 , . . . , sm ) ͓Αͼ demander ͷडೖ਺ (d1 , . . . , dn )Λ̍ͱ͢Δɻμϛʔ supplier ͷอ࣋਺Λ sm+1 = nɺμϛʔ demander ͷडೖ਺Λ dn+1 = m ͱ͢Δɻίετߦྻͱ sɺd ͔Βɺ࠷ద༌ૹ໰୊Λղ͘͜ͱͰ‫ݕ‬ग़݁Ռͱਅ
஋ΞϊςʔγϣϯͷରԠ π ∗ ͕ಘΒΕΔɻπ ∗ ͸ҎԼͷΑ

c̃ =

m+1
 n+1


ci,j π̃i,j .

(9)

i=1 j=1

3. ࣮ ‫ ݁ ݧ‬Ռ࣮‫Ͱݧ‬͸ MS COCO validation 2017 split Λ༻͍ [Lin14]ɺ̑ͭͷ෺ମ‫ݕ‬ग़ϞσϧʢFaster-RCNN [Ren 15]ɺRetinaNet [Lin 17]ɺDETR [Carion 20]ɺYOLOF [Chen 21]ɺVFNet [Zhang 21]ʣΛධՁͨ͠ɻWhite Paper Project

s.t.

185

(λ, β)Accuracy(0.2, 0.6)

OC-cost(0.5, 0.6)mAP
(0.5, 0.3)

0.795

0.806

0.58

0.696

͠Α͏ͱ͢ΔͨΊɺ‫ݕޡ‬ग़͕ଟ͘ͳΓ OC-cost ͕ߴ͘ͳΔɻҰํɺmAP ʹ͓͍ͯɺ৴པ౓ͷ௿͍‫ݕޡ‬ग़͸େ͖͘Ө‫͍ͳ͠ڹ‬ɻΉ͠Ζ‫ݕ‬ग़࿙ΕΛ๷͙͜ͱʹΑΔධՁ஋ͷ૿Ճ্͕ճΔ܏޲ʹ͋ΔɻͦͷͨΊɺDETR ͷΑ͏ʹଟ͘ͷ‫ݕ‬ग़݁ՌΛग़ྗ͢ΔΞϧΰϦζϜͷ mAP ͸ߴ͘ͳ

ද 1 ਓʹΑΔධՁͱͷҰக౓Γ΍͍͢ɻmAP (↑)

OC-cost (↓)

0.38
0.32
0.40
0.32
0.37

0.45
0.28
0.57
0.30
0.26

Faster-RCNN [Ren 15]
RetinaNet [Lin 17]
DETR [Carion 20]
YOLOF [Chen 21]
VFNet [Zhang 21]
ද2‫ط‬ଘ෺ମ‫ݕ‬ग़ϞσϧΛ OC-cost ͱ mAP ͰධՁͨ݁͠Ռ

3·1 ਓʹΑΔධՁͱͷҰக౓ఏҊࢦඪʢOC-costʣ͕ਓͷ൑அͱͲͷఔ౓Ұக͢Δ͔ඃ‫ʹݧ࣮ऀݧ‬ΑΓ֬ೝͨ͠ɻΞϊςʔλ͸̎ͭͷ‫ݕ‬ग़Ϟσϧͷग़ྗΛൺֱ͠ɺͲͪΒ͔ΑΓ༏Ε͍ͯΔͱࢥ͏΋ͷʹ౤ථͨ͠ɻͦΕͧΕͷαϯϓϧʹରͯ͠ɺOC-costͱΞϊςʔλͷ౤ථ͕Ұக͢Δׂ߹Λௐࠪͨ͠ɻ͜ͷ࣮‫Ͱݧ‬͸ RetinaNet ͱ YOLOF Λ༻͍ͨɻ̏ਓͷΞϊςʔλͷ͏ͪɺKrippendorff’s α [Klaus 80] ͷߴ͍̎ਓʹΑΔ݁ՌΛ࠾༻ͨ͠ɻ
͜ͷ࣮‫ Ͱݧ‬OC-cost ͷϋΠύʔύϥϝʔλ λ ͱ β ΛάϦουαʔνͰ୳ࡧͨ͠ɻද 1 ʹҰ෦ͷύϥϝʔλઃఆʹ͓͚Δ݁ՌΛࣔ͢. ࠷΋ߴ͍Ұக཰ʢ0.80ʣͰͷύϥϝʔλઃఆ͸ λ = 0.5ɺβ = 0.6 Ͱ͋ͬͨɻ·ͨը૾̍ຕ
͝ͱʹ mAP Λ‫ͨ͠ࢉܭ‬৔߹ͷ݁Ռ΋ࡌͤΔɻmAP ͷҰ

3·4 ධՁ஋ͷ҆ఆੑධՁ༻σʔλͷΘ͔ͣͳࠩҟͰͦͷ஋͕େ෯ʹมԽ͢
ΔࢦඪͰ͸৴པͰ͖ΔධՁ͕Ͱ͖ͳ͍ɻධՁ஋ͷ҆ఆੑΛௐࠪ͢ΔͨΊɺධՁ༻σʔλશମ͔Β࠶αϯϓϦϯά
ͨ͠σʔλͰ OC-cost ͓Αͼ mAP Λ‫ه‬࿥͠ɺͦͷධՁ஋ͷ෼෍Λ֬ೝͨ͠ɻ۩ମతʹ͸ɺ֤ࢼߦͰධՁ༻σʔλͷ 30%ΛϥϯμϜʹநग़͠ɺOC-cost ͓Αͼ mAP Λ‫ͨ͠ࢉܭ‬ɻ͜ΕΛ 100 ճ‫܁‬Γฦ͠ɺಘΒΕͨධՁ஋ͷ෼෍Λਤ 3 ʹࣔ͢ɻਤͷ‫ݟ‬΍͢͞ͷͨΊɺDETR ͷ݁Ռ͸আ͍͍ͯΔɻ

mAP ͷ஋ͷ෼ࢄ͸େ͖͘ɺ֤ϞσϧͷධՁ஋ͷ෼෍͕େ͖͘ॏͳ͍ͬͯΔɻ͜Ε͸ධՁ༻σʔλͷΘ͔ͣͳࠩҟʹΑͬͯϞσϧͷੑೳͷॱҐ͕ೖΕସΘΔՄೳੑ͕͋
Δ͜ͱΛ͍ࣔͯ͠ΔɻҰํͰ OC-cost ͸ධՁ஋ͷৼΕ෯͕খ͘͞཈͑ΒΕ͓ͯΓɺͦͷΑ͏ͳॱҐͷೖΕସΘΓ͕‫͜ى‬Γʹ͍͘͜ͱ͕Θ͔Δɻ͜ͷ͜ͱ͔Β OC-cost ͸ΑΓ৴པੑͷߴ͍ධՁΛఏ‫͖Ͱڙ‬Δ͜ͱ͕‫ظ‬଴͞ΕΔɻ

3·5 OC-cost Λ༻͍ͨ NMS ͷௐ੔க཰͸ 0.69 Ͱ͋ͬͨɻ͜ͷ݁Ռ͸ OC-cost ͸ΑΓਓؒͷmAP ͱ OC-cost ͸‫ݕ‬ग़݁Ռʹ͓͍ͯॏࢹ͢Δ‫͕఺؍‬ҟͳΔͨΊɺmAP ͱ OC-cost ͲͪΒΛ࠷దԽ͢Δࢦඪͱ൑அʹ͍ۙৼΔ෣͍Λ͍ͯ͠Δ͜ͱΛ͍ࣔࠦͯ͠Δɻ͜

ͯ͠༻͍Δ͔ʹΑͬͯҟͳΔ‫ݕ‬ग़ΞϧΰϦζϜ͕ಘΒΕΕҎ߱ͷ࣮‫ݧ‬͸શͯ λ = 0.5ɺβ = 0.6 ͱ͢ΔɻΔɻ͜ͷৼΔ෣͍Λ໌֬ʹ͢ΔͨΊɺVFNet ͷ NMS Λ

OC-costɺmAP ͦΕͧΕͰ࠷దԽͨ͠৔߹ͷ݁ՌΛࣔ͢ɻ
3·2 OC-cost ͷ࣮ྫOC-cost ͷৼΔ෣͍Λࣔͨ͢Ί۩ମྫΛਤ 2 ʹࣔ͢ɻࠨ͔Β OC-cost ͕௿͍ɺͭ·Γਫ਼౓͕ྑ͍ͱ൑அ͞Εͨ‫ݕ‬ग़ྫͰ͋Δɻ͜ͷΑ͏ͳ‫ݕ‬ग़ਫ਼౓ॱͷදࣔ͸ mAP Ͱ͸ࠔ೉ͳ෼ੳํ๏ͷҰͭͰ͋Δɻ

ਤ 4 ͸ mAP ͱ OC-cost Λ༻͍ͯௐ੔͞Εͨ‫ݕ‬ग़݁ՌͷྫͰ͋ΔɻmAP Λ༻͍ͨ৔߹ɺՄೳͳ‫ݶ‬Γଟ͘ͷ‫ݕ‬ग़݁ՌΛग़͢Α͏ʹύϥϝʔλ͕࠷దԽ͞Ε͍ͯΔ͜ͱ͕Θ͔Δɻ͜Ε͸‫ݕ‬ग़࿙ΕΛ๷͙͜ͱ͕ɺଟ͘ͷ‫ݕޡ‬ग़Λग़ͨ͠ͱͯ͠΋ mAP ͷ૿Ճʹͭͳ͕ΔͨΊͰ͋ΔɻҰํͰ OC-cost ͸‫ݕޡ‬ग़ʹରͯ͠͸ίετͷ૿ՃΛੜ͡͞

3·3 ‫ݕ‬ग़ϞσϧͷൺֱֶशࡁΈ‫ݕ‬ग़ϞσϧΛ mAP ͱ OC-cost ͰධՁͨ݁͠
ՌΛද 2 ʹࣔ͢ɻNon-maximum Suppression (NMS) ͷ

White Paper ProjectϋΠύʔύϥϝʔλ͸ OC-cost Λ࠷খԽ͢ΔΑ͏ʹ࠷ద

186

ͤΔɻͦͷͨΊ OC-cost Λ༻͍ͨ৔߹Ͱ͸ɺ‫ݕ‬ग़ΞϧΰϦζϜ͸ਅ஋Ξϊςʔγϣϯͱಉఔ౓ͷ਺ͷ‫ݕ‬ग़݁ՌΛग़͢Α͏ʹௐ੔͞Ε͍ͯΔɻ

OC-cost ͸৴པ౓ͷᮢ஋ॲཧͳͲʹΑΓ༨‫ݕͳܭ‬ग़݁Խͨ͠ɻͨͩ͠ DETR ͸ NMS Λ༻͍ͳ͍ͨΊύϥϝʔՌΛআ‫ޙͨ͠ڈ‬ͷग़ྗʹର͢ΔධՁΛ૝ఆ͍ͯ͠Δ͕ɺλͷௐ੔Λ͍ͯ͠ͳ͍ɻ

mAP ͱ OC-cost Λ༻͍ͨ৔߹Ͱ‫ݕ‬ग़ϞσϧͷੑೳͷmAP ͸ͦͷΑ͏ͳϑΟϧλϦϯάΛ͢Δલͷ݁ՌΛධՁ͢Δ΋ͷͰ͋Γɺprecision ͱ recall ͷόϥϯεΛ੍‫͢ޚ‬ॱҐ͸େ͖͘ҟͳΔ͕ɺ͜ͷ݁Ռ͸ mAP ͱ OC-cost ͲΔ͜ͱ͸࠷ऴతͳ։ൃऀͷ੹೚ͱ૝ఆ͍ͯ͠Δɻ͜ͷલͪΒ͔͕‫ޡ‬ΓͰ͋Δͱ͍͏͜ͱΛҙຯ͠ͳ͍ɻmAP ͱఏͷҧ͍͕͜ͷΑ͏ͳৼΔ෣͍ͷࠩҟʹදΕ͍ͯΔ΋ͷOC-cost ͸‫ݕ‬ग़݁ՌΛͦΕͧΕҟͳΔ‫͔఺؍‬ΒධՁ͢Δ

Ͱ͋Γɺ͜ͷલఏͷҧ͍Λҙࣝͯ͠ࢦඪΛ࢖͍෼͚Δ͜

ࢦඪͰ͋ΔɻDETR ͸Մೳͳ‫ݶ‬Γଟ͘ͷ‫ݕ‬ग़݁ՌΛग़ྗͱ͕෺ମ‫ݕ‬ग़ΞϧΰϦζϜͷ։ൃʹ͓͍ͯ͸ॏཁͰ͋Δɻ



ਤ2

ਤ 3 ࠶αϯϓϧ͞ΕͨධՁ༻σʔλʹ͓͚Δ mAP ͱ OC-cost ͷ෼෍ɻࢼߦճ਺͸ 100 ճͰ͋Δɻ





OC-cost Λ࢖ͬͯ NMS Λνϡʔχϯάͨ͠৔߹ͱ mAP Λ࢖ͬͯνϡʔχϯάͨ͠৔߹ͷ‫ݕ‬ग़݁Ռɻ

4. ·

ͱ






VFNet ʹΑΔ෺ମ‫ݕ‬ग़݁Ռͱ OC-costɻNMS ͸ OC-cost Ͱνϡʔχϯά͍ͯ͠ΔɻʢΦϨϯδʣਅ஋Ξϊςʔγϣϯɺʢ྘ʣ‫ݕ‬ग़݁ՌɻOC-cost ͸ը૾ͷӈԼʹද͍ࣔͯ͠Δɻ



ਤ4



Ί

ຊ‫Ͱڀݚ‬͸෺ମ‫ݕ‬ग़ͷධՁࢦඪͱͯ͠‫ݕ‬ग़݁Ռͷमਖ਼ίετʹ‫ ͮ͘ج‬OC-cost ΛఏҊͨ͠ɻσʔληοτશମͷ‫ݕ‬ग़݁Ռʹରͯ͠ precision-recall ΧʔϒΛධՁ͢Δ♦ ࢀ ߟ จ ‫♦ ݙ‬[Carion 20] Carion, N., Massa, F., Synnaeve, G., Usunier, N., Kirillov, A., and Zagoruyko, S.: End-to-End Object Detection withTransformers, in ECCV, pp. 213–229 (2020)[Chen 21] Chen, Q., Wang, Y., Yang, T., Zhang, X., Cheng, J., andSun, J.: You Only Look One-Level Feature, in CVPR, pp. 13039–
13048 (2021)[Everingham 10] Everingham, M., Van Gool, L., Williams, C. K. I.,
Winn, J., and Zisserman, A.: The Pascal Visual Object Classes(VOC) Challenge, International Journal of Computer Vision, Vol. 88,
No. 2, pp. 303–338 (2010)[Ge 21] Ge, Z., Liu, S., Li, Z., Yoshie, O., and Sun, J.: OTA: OptimalTransport Assignment for Object Detection, in CVPR, pp. 303–312(2021)[Klaus 80] Klaus, K.: Content analysis: An introduction to its
methodology (1980)[Lin 14] Lin, T.-Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ramanan, D., Dollár, P., and Zitnick, C. L.: Microsoft COCO: Common
Objects in Context, in ECCV, pp. 740–755 (2014)[Lin 17] Lin, T.-Y., Goyal, P., Girshick, R., He, K., and Dollar, P.: Focal Loss for Dense Object Detection, in ICCV, pp. 2980–2988 (2017)[Otani 22] Otani, M., Togashi, R., Nakashima, Y., Rahtu, E.,
Heikkil a, J., and Sato, S.: Optimal Correction Cost for Object Detection Evaluation, in CVPR (2022)[Ren 15] Ren, S., He, K., Girshick, R., and Sun, J.: Faster R-CNN:
Towards Real-Time Object Detection with Region Proposal Networks, in NeurIPS, pp. 91–99 (2015)[Rezatofighi 19] Rezatofighi, H., Tsoi, N., Gwak, J., Sadeghian, A.,
Reid, I., and Savarese, S.: Generalized Intersection over Union, in
CVPR, pp. 658–666 (2019)[Voorhees 02] Voorhees, E. M. and Harman, D.: Overview of TREC
2002., in Trec (2002)[Zhang 21] Zhang, H., Wang, Y., Dayoub, F., and Sunderhauf, N.:
VarifocalNet: An IoU-Aware Dense Object Detector, in CVPR, pp.
8514–8523 (2021)

ஶ ऀ

঺

հ

େ୩ɹ·Ώ
2018 ೥ʹಸྑઌ୺Պֶٕज़େֶӃେֶ৘ใՊֶ‫ڀݚ‬Պത࢜‫ظޙ‬՝ఔमྃ‫ޙ‬ɺαΠόʔΤʔδΣϯτೖࣾɻίϯϐϡʔλϏδϣϯɺ‫ػ‬ցֶशʹؔ͢Δ‫ࣄैʹڀݚ‬ɻmAP ͱҟͳΓɺOC-cost ͸ը૾͝ͱʹ‫ݕ‬ग़݁Ռͷਖ਼֬͞ΛධՁ͢Δ໨తͰઃ‫͞ܭ‬Ε͍ͯΔɻOC-cost ͸‫ݕ‬ग़݁ՌΛ mAP ͱ͸ҟͳΔଆ໘͔ΒධՁ͢ΔࢦඪͰ͋Γɺ‫ݕ‬ग़ΞϧΰϦζϜͷΑΓଟ໘తͳ෼ੳʹͱͬͯ༗ޮͰ͋Δͱ

White Paper Projectߟ͑Δɻຊߘ͸ [Otani 22] ͷ಺༰Λ·ͱΊͨ΋ͷͰ͋Δɻ

187

編集
Editors

Member編集 (��音順 )石黒 祐輔 ( 株式会社 QualiArts )関本 育久 ( 技術広報 )伊藤 優 ( AI 事業本部 )田爪 裕子 ( AI 事業本部 )數見 拓朗 ( メディア統括本部 )友松 祐太 ( 株式会社 AI Shift )伊藤 淳貴 ( 経営推進本部 )上野 貴史 ( 技術人事本部 )上岡 雅也 ( 株式会社 AbemaTV )岸 良 ( 株式会社 AbemaTV )髙橋 佳那 ( AI 事業本部 )玉川 奨 ( 株式会社 CyberZ )橋爪 友莉子 ( メディア統括本部 )原 和希 ( 株式会社 CAM)

後藤 孝二 ( グループ IT 推進本部 )松井 美帆 ( グループ IT 推進本部 )杉山 仁則 ( 株式会社 CAM)

山口 光太 ( A I 事業本部 )佐藤 恒平 ( 技術人事本部 )鈴木 元也 ( メディア統括本部 )村上 司 ( 経営推進本部 )AI / DataT e c hn olog y Ma p V o l. 2
発行日
発行2022 年 1 2 月 1 日 初版

株式会社サイバーエージェント〒150-0042

東京都渋谷区宇田川町40-1 Abema Towers

編集

Editors© 2022 CyberAgent, Inc.

188

デザイン

柴 尚子 (Design Factory )横山 恵 (Design Factory )