2020年度 ソフトウェア品質管理研究会

機械学習プロジェクト
成功のためのPoC要求分析
2021/2/26
研究コース5 AI-Practiceチーム

AI-Practiceチーム
現業でもAI、MLプロジェクトの要求分析を行い、PoCに課題感を持つ北野 健太
日本総合研究所（三井住友銀行 出向）

増田 知彰
NTTコミュニケーションズ

・先端技術リサーチャー・システム統括・金融システム開発

・IoTプラットフォーム開発・提供のエンジニアリングマネージャ・顧客向けDXコンサルティング
・データ分析・活用の社内教育

著書『金融デジタライゼーションのすべて』(2021)
両方良い本だよ（ステマ）

著書『図解速習DEEP LEARNING』(2019)

2

研究成果と活用イメージ
要件定義工程でPoCを行い、MLプロジェクト開発の不確実性を低減する進め方を、有識者、既存ガイドライン調査で明らかにした

PoCでの分析段階

繰り返し型の開発段階

MLライフサイクルプロセス
概念図

DevOps的な運用改善段階

研究成果と活用イメージ
要件定義工程でPoCを行い、MLプロジェクト開発の不確実性を低減する進め方を、有識者、既存ガイドライン調査で明らかにした
利用者のビジネス背景・課題

MLキャンバスPoCでの分析段階
MLライフサイクルプロセス
概念図

重要項目に対する PoC
結果を元に要求仕様化

本格開発

研究成果と活用イメージ
要件定義工程でPoCを行い、MLプロジェクト開発の不確実性を低減する進め方を、有識者、既存ガイドライン調査で明らかにした
利用者のビジネス背景・課題②暗黙的に洗い出されていた内容の特定
顧客姿勢①MLキャンバスの有用性確認

要件定義
マネジメント(PJ管理)

ドメイン
知識

PoCでの分析段階
MLライフサイクルプロセス
概念図

重要項目に対する PoC
結果を元に要求仕様化

本格開発③参照ガイド
例の抽出機械学習(ML)プロジェクトは難しい・・・
ABEJA社講演(2020)から典型的な失敗事例を紹介●

関係者の期待値を調整できない●

データの量、質●全体プロセスデザインの不足（PoC〜本番への遷移）●

他プロジェクトと連携してしまう（システム化の壁）

ABEJA事例より引用 https://robotstart.info/2020/02/27/abeja-poc-sem.html

6システム開発プロジェクトの課題
上流工程がシステム開発プロジェクトの成否を大きく左右する

https://magazine.logi-biz.com/pdf-read.php?id=2996

システム開発における不確実性コーン
出典 広木大地著「エンジニアリング組織論への招待」
7

MLシステム開発特有の難しさ
要求に加えて、実装、運用工程にも、不確実性の「山」が存在する「MLプロジェクトの場合は必ずしも不確実性コーンが当てはまるとは限らない。終盤にもう一回不確実性の山がたくさんあり、ちょうど『鼓』のような形をイメージで捉えるといいかもしれない」
（粕谷氏）

要求

実装

運用

出典 https://www.atmarkit.co.jp/ait/articles/1910/02/news002.html

要求分析＋PoCで、実装、運用の不確実性を前もって低減
8

エンジニアリングによる不確実性の低減システム開発は、「通信」「目的」「方法」の不確実性を低減していく営み
まず「通信」＝ステークホルダ特定、十分なコミュニケーションが必要

9

出典 広木大地著「エンジニアリング組織論への招待」

ML：曖昧な要求、通信不確実性が大きい
有価証券報告書から、経営者の問題意識を探って欲しい
・何ができたら問題意識が探れたといえるのか？
・誰が使うのか？データはあるのか？・・・etc

・ヒアリング項目をエクセルにでもまとめるか・・・

・ユーザはよくわからない、開発者が欲しい答えではない
・非効率なやりとりが続く・・・etc
10

救世主：MLキャンバス●●

もれなくシステムの要件を抽出すること
ステークホルダー間で合意形成すること

11ケーススタディ
有価証券報告書から、経営者の問題意識を探って欲しいケーススタディ
有価証券報告書から、経営者の問題意識を探って欲しいケーススタディ
有価証券報告書から、同企業の経営者の問題意識などの具体情報や、そこから推測されるレーティングを抽出し、株式や金融商品の売買のための情報をトレーダーに提供し、リターンを上げる

有価証券報告書(xxx社; xx年分)

統計的自然言語処理
BERT等のDL手法

発表後翌日の株価騰落をX%の確率で予測できること

顧客への情報提供を通して新規契約、投資単価向上による手数料収入増

騰落、確信度、一定の説
明(XAI)を提供する

株式トレーダー
個人投資家
投資情報の提供会社

ケーススタディ
有価証券報告書から、同企業の経営者の問題意識などの具体情報や、そこから推測されるレーティングを抽出し、株式や金融商品の売買のための情報をトレーダーに提供し、リターンを上げる

有価証券報告書(xxx社; xx年分)

統計的自然言語処理
BERT等のDL手法

発表後翌日の株価騰落をX%の確率で予測できること

顧客への情報提供を通して新規契約、投資単価向上による手数料収入増

騰落、確信度、一定の説明(XAI)を提供する

株式トレーダー
個人投資家
投資情報の提供会社

オンライン(XML取込)
or バッチドメイン特化の辞書は先行研究のものを過去のXX案件で行った金融関活用する
連文書の分析における設計仕様、有識者

ユーザフィードバック
株価騰落の正解率を監視し、一定の閾値を下回ると再学習を行う

MLキャンバスのやっていること要件だけでなく実装、運用までを見据え、ステークホルダ間で合意形成を行う①キャンバス形式で、コミュニケーションを活性化

要求

実装

運用

16MLキャンバスのやっていること要件だけでなく実装、運用までを見据え、ステークホルダ間で合意形成を行う②運用までを見渡し、前もって不確実性を低減する
要件

要求

実装

運用

実装

補助事項

実装

運用
17

MLキャンバスで必要十分かどうか?
MLプロジェクト成功に足りているものと足りないものは何？

18

ケーススタディ
有価証券報告書から、同企業の経営者の問題意識などの具体情報や、そこから推測されるレーティングを抽出し、株式や金融商品の売買のための情報をトレーダーに提供し、リターンを上げる

有価証券報告書(xxx社; xx年分)

統計的自然言語処理
BERT等のDL手法

発表後翌日の株価騰落をX%の確率で予測できること

顧客への情報提供を通して新規契約、投資単価向上による手数料収入増

騰落、確信度、一定の説明(XAI)を提供する

株式トレーダー
個人投資家
投資情報の提供会社

オンライン(XML取込)
or バッチドメイン特化の辞書は先行研究のものを過去のXX案件で行った金融関活用する
連文書の分析における設計仕様、有識者

ユーザフィードバック
株価騰落の正解率を監視し、一定の閾値を下回ると再学習を行う

MLキャンバスで必要十分かどうか?
MLプロジェクト成功に足りているものと足りないものは何？
・予算は？
・期間は？
・データの量、質の評価は？
・推進体制は？
・MLキャンバスはどうやって使えば良いのか？
・MLキャンバスは不慣れでも使える？
・・・etc20取り組みテーマ
動機・目的
PoCの開始前の要求分析フェーズに着目し、MLプロジェクト成否に重要な要素を洗い出し、円滑に進めるための示唆を得る

ML特有の観点実装、運用にも大きな不確実性が存在。要求分析＋PoC、およびステークホルダーとのコミュニケーションを通じた不確実性低減が重要

MLキャンバスに期待。良いツールも必要十分か？より良い活用方法は？
取り組みテーマ

MLキャンバスの有効性を示し、効果的な活用方法を考察
21

実験: フレーム
MLプロジェクト有識者に対し、擬似MLプロジェクトを想定したアンケート実施【用意したインプット】【被験者】

上司からの曖昧な要求（一文のみ）

MLキャンバス化【アウトプット】

ヒアリング項
目

有識者
(１３名)

想定リスク

分析・比較ヒアリング項
目

想定リスク

22
※金融・製造の２セット実施

実験: 具体的な設問例（曖昧な要求）
曖昧な要求に対する有識者の指摘を抽出
上司の指示に対し，顧客へのヒアリング項目および不確実性を列挙する:
設問①:「お客様から，”AIを使って，有価証券報告書から，経営者の問題意識を探って欲しい”，と依頼があった．PoCに向けて推進よろしく」
設問②:「お客様から，”AIで歩留まり率(製造における良品比率)が向上させられないか”，という依頼があった．PoCに向けて推進よろしく」●●●

有識者はどういう項目をヒアリングするのか
有識者はどういうリスクに着目するのか
ヒアリング，リスクをどう分類できるか

23

実験: 具体的な設問例（MLキャンバス提示）
曖昧な要求をMLキャンバス化したものを提示。有識者の指摘内容の変化を抽出

それぞれの問題に対し，MLキャンバスを用いたヒアリング結果例から，追加のヒアリン
グ項目およびリスクを列挙

MLキャンバスがあることで，どういう変化が生じるか※サンプル：製造のMLキャンバス
24

結果概要
１３人に実施、総計５５０件の指摘を獲得。指摘内容を６つに分類【指摘内容（例）】
・AIで何を解決したいか，検証可能なレベルで具体的にどうしたいか・AIによる代替が本当に必要なタスクか・結果に対するお客様の納得感
・適切な収益想定、ビジネスモデル
・訓練可能なデータの量と質・学習したモデルの出力の説明性などは必要か
・成果イメージの技術的な実現可能性
・開発環境、運用環境のリソース
・本格的なシステム化、運用も視野に入れた話か・システムのDeploy先はどこを想定しているか・基盤周り構成人材
・GUIのデザイン性
・お客様の求める性能水準
・どの程度の期間と工数、予算があるか
・期限はあるか・人員、環境の目処は立っているか
・広報活動や営業推進能力
・無益な社内政治の程度
・現場の協力体制（現在の業務に詳しい方とチームを組んで取り組めるか）
・協力者が不明、明確にすべき・本格展開に向けた予算確保の見込みはあるか・上司がAIという言葉を使っており、全くデータサイエンスへの知見はないと考える
・PoC段階で知識付与をしてしまうとその時点で課題解決になってしまい案件が終了する（稼働の無償貸し出し）
・他の同等サービスの存在確認
・先行研究論文などの参考文献
・競合他社の性能や動向調査 ・・・etc【指摘内容の分類結果】
1.
2.
3.
4.

要件
実装
運用
その他
a. PJ管理b. 顧客姿勢c. ドメイン知識

25

考察
有識者アンケート結果の分析から、４点の示唆が導出①MLキャンバスはヒアリング、リスクの指摘数を低減する→ PoCのためのステークホルダとの合意形成・PoC要件洗出しに有用②指摘の増減傾向は、分類ごとに異なる→「要件」は減少 ：MLキャンバスによって要件が明らかになる「実装」は変化無：PoCをやってみなければ判断できない「運用」は増加 ：MLキャンバスのおかげで後工程に目がいく③MLキャンバス以外にヒアリングすべき項目の存在→「PJ管理」：予算、期限など「顧客姿勢」：顧客理解度、熱意、協力体制など「ドメイン知識」：先行研究、他社事例など④ヒアリングを支援する補助ガイドラインのあり方
26

① MLキャンバスは指摘数を低減する
ヒアリング、リスク想起共に、キャンバス利用後に指摘数が減少27

② 指摘の増減傾向は、分類ごとに異なる「要件」の指摘数は減少、「実装」は変化なし、「運用」は増加

28

③ MLキャンバス外の指摘
MLキャンバス外の指摘事項は3種に大別「プロジェクト管理」「顧客姿勢」「ドメイン知識」
例：
特許

例：
既存業務の分析
先行研究、他社事例

例：
期間
予算・工数

例：
現場の協力体制
顧客のAI・ML理解度、熱意
29

④ 補助ガイドラインのあり方
MLキャンバス項目は主に要件・実装・運用に対応、その外部にその他項目があるが、項目名だけでは、ヒアリングの観点、深さの個人差が大きく出てしまう

要件

実装

補助事項

顧客姿勢

要件定義
マネジメント(PJ管理)

ドメイン知識実装

運用30

④ 補助ガイドラインのあり方
ヒアリングの観点、深さの個人差を低減するため、以下の既存ガイドラインと、各項目の対応づけを検討 → MLキャンバスを埋める際、対応する既存ガイドラインを併用！

要件

QA4AI

顧客姿勢

CE

QA4AI

実装

DIMR

ドメイン知識実装

要件定義
マネジメント(PJ管理)

IPA
要件定義
マネジメント
計画・立上げQA4AI
QA4AI

補助事項

運用SQ
PACE
PA
31

（参考）活用した既存ガイドライン
AIプロダクト品質保証ガイドライン(QA4AI)

IPA ユーザのための要件定義ガイド 第2版

32

④ 確認項目と既存ガイドラインとの対応例
MLキャンバスおよび追加確認項目に対応する既存ガイドラインの例示【項目】【対応する既存ガイドライン例】

要件
目的・目標
利用者
予測の利用法
成功の指標

QA4AI

実装

QA4AI

データ
データ補強
検討時の計算手法
インフラDI
MR

ドメイン
知識

QA4AI

CE

PA

QA4AI Customer Expectation●
顧客側期待の高さ●狙っているのが「人間並み」なのかどうか●
ステークホルダーの技術理解度

QA4AI Data Integrity ＋ Model Robustness●
想定する学習手法の適用前提や統計的観点から十分な量のデータがあるか●想定する要求・適用環境において，希少な状況や分類クラスの偏りがある場合であっても、それらに対して十分な量のデータがあるか

QA4AI Process Agility●
機械学習やデータサイエンスの「専門家」やドメインの専門家は含まれているか●
顧客側にも，業務プロセスやドメイン知識を理解している人を有し，開発体制に組み込んでいるか33

研究成果と活用イメージ
要件定義工程でPoCを行い、MLプロジェクト開発の不確実性を低減する進め方を、有識者へのアンケートおよび既存ガイドライン調査で明らかにした
利用者のビジネス背景・課題②暗黙的に洗い出されていた内容の特定
顧客姿勢①MLキャンバスの有用性確認

要件定義
マネジメント(PJ管理)

ドメイン知識PoCでの分析段階
MLライフサイクルプロセス
概念図

重要項目に対する PoC
結果を元に要求仕様化

本格開発③参照ガイド例の抽出

まとめ・結論
MLには、実装、運用にも大きな不確実性が存在。ステークホルダーとのコミュニケーションを通じた不確実性低減に向け、要件定義フェーズでの取り組みが重要
実際のプロジェクトでありがちな、利用側の要求が抽象的に、あいまいに伝えられた場合に、有識者がどのような観点から指摘を行うのかを調査し、MLキャンバスの有用性、プロジェクト実践上の活用方法について考察●●

有識者の指摘事項とMLキャンバスには共通点があり、MLキャンバスはPoCのためのステークホルダ合意・要件洗出しに有用であることを確認
PJ管理や顧客姿勢などMLキャンバスだけでは十分とは言えない項目があることを指摘、MLキャンバス作成を補完するガイドラインとの対応づけを実施

35

謝辞
本研究に対して有益なご助言をいただいた国立情報学研究所 石川冬樹氏，ソニー株
式会社 栗田太郎氏，株式会社富士通研究所 徳本 晋氏，および，本研究の実験に協力いただいた株式会社日本総合研究所とエヌ・ティ・ティ・コミュニケーションズ株式会社の機械学習プロジェクト有識者の皆様に感謝の意を表する

36

参考文献
[1] 機械学習工学研究会 , MLSE2018アンケート調査結果 , 2018[2] 石谷,坂本,定塚,長柄,吉岡, なぜ機械学習プロジェクトは PoC で終わるのか , 第2回機械学習工学研究会（ MLSE夏合宿2019）, P1-6, 2019[3] 土肥，PoCキャンバスを用いた機械学習システムの開発プロセスの管理手法 ,日本ソフトウェア科学会第 36 回大会 (2019年度) 講演論文集[4] 産業技術総合研究所 , 機械学習品質マネジメントガイドライン , 2020.6[5] AIプロダクト品質保証コンソーシアム , AIプロダクト品質保証ガイドライン , 2020.8[6] 株式会社三菱ケミカルホールディングス , 機械学習活用のためのフレームワークを開発 , プレスリリース , 2019.7[7] Alexander Osterwalder,Yves Pigneur,”Business Model Generation: A Handbook for Visionaries, Game Changers, andChallengers”, Wiley,2010[8] 井出,雨谷,青山,菊島, ビジネスモデルジェネレーションを応用したビジネスモデル開発方法論の考察 ,情報処理学会報告 ,2013[9] A.Joyce,RL Paquin,”The triple layered business model canvas: A tool to design more sustainable business models”,
Journal of cleaner production,2016[10] 竹内,伊藤,西山,磯村，機械学習プロジェクトのモデル化とその比較，人工知能学会 第26回知識流通ネットワーク研究会
SIG-KSN-026-03, 2019[11] 竹内 広宜,伊藤 優,山本修一郎 , EA モデリングを通した機械学習プロジェクトキャンバスの構成法 , 信学技報,IEICE
Technical Report,2020[12] 独立行政法人 情報処理推進機構 , 要求工学知識体系（ REBOK）概説,2012[13]
独立行政法人情報処理推進機構 ,ユーザのための要件定義ガイド第 2版,2019
本デッキ内のイラストは、 TopeconHeroes ダーヤマ氏のダ鳥獣ギ画 https://chojugiga.com/ を使用しました。

37