意思決定の仕方を機械は学べるか～ 長期的な便益を最大化する強化学習の手法～

従来的な機械学習モデルの落とし穴

ビジネスの 意 思決 定は、多岐にわたる膨大な情報に基づいた判断が求められる。回帰分析などの従来的な機械学習モデルは、限定的な状況を基にした単発的な打ち手に留まり、長期的には必ずしも最善ではない可能性がある。したがって、より包括的に 状 況を 加味したデータサイエンスの手法が求められる。

KPMG FAS

田中 勇輝／マネージャー

POINT 2

KPMGアドバイザリーライトハウス

小澤 友美 ／シニアデータサイエンティスト「強POINT 1化学習 」は、囲碁で世界一のプレーヤーに勝利を収めた AlphaGoや、大規模言語モデルであるChat GPT 1 の開発にも使われている機械学習の手法の 1 つです。強化学習は、これまでは主に限定的な領域に適用されていましたが、今後は多方面のビジネス領域に広がっていくと考えられます。特に、データドリブンでビジネス改善を推進する際、この手法の重要性はより増していくと思われます。

本稿では、まずビジネスにおいて従来型の機械学習モデルを活用する際に陥りがちな課題について説明します。続いて、その課題を解決する手法としての強化学習の要諦と、人間の意思決定の学習プロセスを模した特徴的な学習の仕方を概説します。そのうえで、実際にホテルの客室の価格設定に強化学習を適用した実証例とその検証結果を紹介し、最後に強化学習のビジネスへの活用を今後加速させると考えられるシミュレータの必要性とその効果を解説します。

なお、本文中の意見に関する部分については、筆者の私見であることをあらかじめお断りいたします。

強化学習を活用した課題解消への試み

強化学習は、一定の期間内におけるベネフィットが最大限に達成されるように意思決定の仕方を学ぶ手法であり、単発的な改善とは根本的に異なる。具体的には、特定の状況における意思決定とその意思決定に対するフィードバックを受け取ることを繰り返して、何が成功で何が失敗かを学習する。

この手法を、ホテルの客室の 価格設定に 適用・検 証した 結果、売上を 最善となる代替アプローチよりも最大 5% 増加させることができた。これにより、強化学習がビジネス領域においても効果があることが確認された。
POINT 3

学習に不可欠な環境を提供するシミュレータの必要性

現 在、適 切 な 学 習 環 境 を 提 供 するシミュレータ構築が 技術的に進歩してきている。シミュレータ が 構 築 できると、強化学習モデルを学習させる効果的な訓練環境となるデータを提供できるようになる。これは、強化学習をビジネスに
田中 勇輝
Yuki Tanaka

1

K PMG Insight Vol.66

小澤 友美

Tomomi Ozawa

応用する際に直面していた学習データの準備の課題が克服できることを意味し、強化学習の活用を促進すると考えられる。

© 2024 KPMG Advisory Lighthouse, Inc., a company established under the Japan Companies Act and a member firm of the KPMG global organization of
independent member firms affiliated with KPMG International Limited, a private English company limited by guarantee. All rights reserved.

Ⅰ

従来型データサイエンス手法のさらなる先へ

近年、ビジネスの特定機能の支援に特も見受けられます。たとえば、利益を最大化するように広告や販促活動を最適化していたはずが、リピートする可能性の低いワンタイム顧客の利用を増やしてしまい、長期的に見れば利益が目減りしたなどでⅡ

意思決定の仕方を学ばせる
強化学習の要諦とその効果

強化学習をあえて一言で述べるならば、す。

「 ある問題に対して長期的な便益が最大とえば、販促においてはECサイトにおけるり複合的な意思決定をしていきたい担当

学ぶ手法 」です。この手法は日々異なるビにおいては最適なルート探索や最適な運ままの利用は最善とはいえません。この化したデータサイエンスの活用や意思決定の高度化の事例が数多く見られます。た商品レコメンドのアルゴリズム、物流領域
行スケジュールの作成などです。これらの領域では、データサイエンスの活用がいわば高度にビジネスの意思決定と絡まっており、担当領域の責任者は適切にデータサイエンスを活用できれば大きな武器を手にすることができます。

しかし、このようなデータサイエンスを使ったビジネス改善にはいくつかの落としより長期的なビジネス改善を目指し、よ責任者にとって、このような課題を残したような特定のタイミングにおけるスナップショットの解ではなく、できる限り包括的に状況を捉えた意思決定をデータサイを考える人間の意思決定の学習プロセスを模しています。

ここでは、重要となるキーワードの定義

ローチは、まさにこのような問題に 1 つの行動や意思決定をする主体をエージェンうか。注目の「 強化学習 」という分析アプ答えを提供するアプローチだといえます。

ます（ 図表 3 参照 ）。まず強化学習では、トと呼びます。このエージェントが、判断すべき内容であるタスク（ 環境 ）について意思決 定を行い、それに対するフィードバックを報酬として受けることを繰り返し見受けられます。それゆえ、適用する手法

回帰分析などの「 従来型の機械学習モデ

成功かを学習し、そのたびに何が最適かをしながら、強化学習の仕組みを説明しされているか、見過ごされているようにも要となります。ここでは簡略的にいわゆるジネスの状況を踏まえ、何が失敗で、何がエンスにより強化することは可能でしょ穴があり、それは理解されないまま利用の限界や課題を見極めることは非常に重化されるように最善の意思決定の仕方を

図表 1

機械学習モデルの全体簡略図

ル」に焦点を当てて、その課題を見ていき機械学習の全体像（簡略図）ます（ 図表1参照 ）。

まず1つ目の課題は、従来型の機械学習

教師あり学習モデルが出す最適解は「 近視眼的 」になっ回帰分析クラス分類ている、あるいはその傾向が高くなっているということです（ 図表2参照 ）。機械学習

モデルは、基本的に過去データのパターン

教師なし学習クラスタリング
次元削減
ディープラーニングを学習することから、常に現時点にすぐ近い将来に対する予測や解が最も精度が高くなります。そのため少し先を見据えた判断というのは苦手な傾向にあります。

2 つ目に、従来型の機械学習モデルは単発的で特定タイミングにおける最適解を導出しがちで、一定の期間における成果が最大となるような連続性を加味した判断というものも不得意としています。このような傾向性は、その場しのぎの判断となりやすいともいえます。

最後に 3 つ目の課題として、個別の領域でみると局所的なメリットはあっても、別の大きな問題を生んでしまうというケース

強化学習

意思決定則の獲得

従来型の機械学習モデル
先進的な機械学習モデル

出所：KPMG作成

図表 2 従 来型の機械学習モデルの課題
課題

詳細

近視眼的直近の精度は高いものの、遠い将来になるほど解の信頼性が下がりやすい

局所的

個別最適な解となる傾向が強く、全体最適が損なわれやすい

単発的

出所：KPMG 作成

継続的に連続した解ではなく、1つのタイミングにおける最適解になりがち© 2024 KPMG Advisory Lighthouse, Inc., a company established under the Japan Companies Act and a member firm of the KPMG global organization of
independent member firms affiliated with KPMG International Limited, a private English company limited by guarantee. All rights reserved.

K PMG Insight Vol.66

2

DigitalTransformation

意思決定の仕方を機械は学べるか～長期的な便益を最大化する強化学習の手法～て、意思決定のルールを学習します。よりうことです。このように、累積の報酬を最簡易化のため一定の仮定の下、客室の予現在の状況を表す情報を把握したうえでるという仕組みは、従来型の機械学習モ

況ならびにその時点での客室価格に応じ詳細には、エージェントは状態と呼ばれる意思決定を行い、その状態における行動の結果として報酬や新しい状態を引き出し、再度意思決定を行う、という過程を繰り返します。こうしてエージェントが行動する環境を探索し、意思決定とその結果大化するために意思決定ルールを学習す

デルとは異なる強化学習の特徴です。そして、これが従来型の機械学習モデルを活用した際の課題への1つの改善の方向性を示すものと考えられます。

強化学習は、最近では大規模言語モデのデータを経験として学習することで、意ルであるChat GPTの開発にも使われていうわけです 2。

いる手法です。適用には難しさがあるも思決定ルール（ 方策 ）を改善していくといたとえば、ホテルにおける価格設定でいえば、ホテルにおける状 態は現在の空室状況ならびにその時点での部屋価格、意思決定となる行動は部屋の価格設定、報酬はその価格で予約された部屋数に応じた収入となります。このプロセスにおいてエージェントは、報酬である収入が最大化されるような価格方針の学習を目指します。

ここで着目したいのは、強化学習の目的が、報酬の累積値を最大にする意思決定ルールを獲得することだという点です。つまり、短期的には報酬が低く損失になるとしても、長期的には報酬の累積が最大になることを目指すというわけです。具体的なビジネスの文脈で言えば、一度のアクる学習アルゴリズムとして注目を集めてのの、今後はより広範な範囲で徐々に広がっていくと考えられています。これまでは、ビジネス領域外ではチェスや囲碁のような複雑なゲームで人間の能力を超える結果を出す事例、ビジネス領域では自動運転やロボット制御などにおける適用例がほとんどでしたが、最近ではeコマースにおける価格設定の事例など、ビジネスのオペレーショナルな問題にも適用されるケースが出てきました。このような状況を踏まえ、ビジネスのより複雑な意思決定が必要な領域においても、その効果を検証するような状況や機運が高まってきたと考えられます。

実際、強化学習を効果的な形でビジネスに適用することが可能なのかを確認す

ションで得られる利益が低くとも、継続的るために、KPMG ではホテルの客室の価
強化学習とは、コントロールタスク（決定問題）を解くための枠組みで、行動に対するフィードバックとしての報酬を受け取り試行錯誤を重ねながら環境を学習するエージェントを構築するものである。

にアクションを見直すことで利益の累積格設定に強化学習を適用し、客室予約に強化学習における報酬仮説とは、すべての目標は累積報酬の期待値の最大化として記述されるというもが最大になるような戦略を学習するといよる売上の改善効果の検証を行いました。
のである。
したがって、最良の振る舞いを特定するために、累積報酬の期待値を最大化する行動をとるように学習することを目標とする。

図表 3

強化学習において、エージェントが環境と相互作用して状態、行動、報酬をやり取りする様子

強化学習のプロセス

方策を学習

エージェント
経験を更新

行動を選択
出所：KPMG作成

3

K PMG Insight Vol.66

状態新しい状態報酬

学習を繰り返す
行動

環境
新しい状態

約受付開始日から宿泊当日まで、空室状て、一定の頻度で客室価格を強化学習モ
デルが 設 定するような設 定です。ゴール

は、対象の宿泊日の予約がもたらす累積売上を最大にする価格設定戦略の学習です。学習には、DQN（Deep Q-Network ）という強化学習にディープラーニングを適用した手法の祖ともいえるアルゴリズムを用いました。結果は、DQNを適用して訓練したエージェントのほうが、顧客予算を反映している固定価格よりも最大 5%の売上増加を見込めることが実証できました。これは、強化学習モデルが、さまざまな価格帯とその際の客室売上を効率的に学習し、最終的に上記の固定価格よりも売上を増加させる価格とその提示タイミングを特定できるようになったことを意味します。この実証結果から、ビジネス領域における強化学習の適用は現実的になったと言えそうです。
Ⅲ

学習に不可欠な環境を提供するシミュレータの必要性

ここまで、多くの強化学習のメリットとその効果を述べてきましたが、現在はまだ主要なアプローチとは言えません。その理由は、ディープラーニングなどと同様、学習の仕組みや背景がブラックボックス化されてしまうこと、技術面で強化学習の報酬の設定の仕方やタスクの定義方法などの難しさが挙げられます。これらに加え、ビジネスへの活用という観点で強化学習を妨げてきた最も大きな理由は、学習データの準備の難しさにあります。

機械学習モデルを訓練するには、一般に相当量のデータを要します。なかでも強現在の状態化学習の枠組みでは、エージェントが環境のなかで意思決定をし、報酬または罰則の形でフィードバックを受けることによって意思決 定の仕方を学習することから、膨大なデータサンプルを必要とし、最適© 2024 KPMG Advisory Lighthouse, Inc., a company established under the Japan Companies Act and a member firm of the KPMG global organization ofindependent member firms affiliated with KPMG International Limited, a private English company limited by guarantee. All rights reserved.

な性能を達成するためには数十万回規模るシナリオを想定することも可能です。た

目線に立って意思決定をするのが難しい切な訓練環境が必要になりますが、そこ際に頻繁に割引が行われるという傾向を、な意思決定を学ぶという仕組みがありまの学習が欠かせません。そのためには適にも課題があります。理想的な訓練環境
は、実際のビジネスに影響を与えることなしに、エージェントが自由に試行錯誤をして学習できることですが、現実世界でそのとえば、賞味期限のある食品には期限間電化製品などには新しいモデルが導入されれば流行遅れになるという傾向を、比較的自由に反映することができます。

このように作り上げたシミュレーションような環境を用意することは不可能に近環境で強化学習エージェントが学習し、そこの課題を克服するためには、強化学タをさらに改善するために使用され、結いでしょう。

習エージェント用の安全で効果的な訓練環境を提供するシミュレータを開発することが有用です。近年、この技術の発展から強化学習モデルを学習させやすくなることが見込まれており、実際に上述したホテルの価格設定の検証にも、この手法を適用の結果得られた行動の結果は、シミュレー果としてエージェントの学習の改善をもたらします。現実世界とシミュレータからのフィードバックの下で、エージェントの意思決定は絶えず改良されます。エージェントとシミュレータが運用している間、常にシミュレータ自体も改良されていくのですしました。

（ 図表4 参照 ）。

る程 度 詳 細を簡略化しながら、eコマーなればなるほど、強化学習という手法もな業界の状況を仮想的に作り上げ、強化モデルや数理最適化など比較的トラディ

シミュレータは、現実に即した形であス、接客業、食料品販売業などのさまざま学習でエージェントを訓練するための自由度の高い環境を提供します。作り方としては、ベースとなるシミュレータに対して、領域における専門知識と利用可能な情報（ 商品ラインナップ、マーケティング施策、ですが、強化学習には実際の人間のようす。強化学習は、現在もさまざまな領域で発展し続けており、新しいアルゴリズムやアプローチの開発も進んでいます。これからのビジネスにおける意思決定におけるデータサイエンス活用の 1 つの有効なアプローチとして、強化学習は今後、積極的に検討されていくことでしょう。

1
2

ChatGPTはOpenAI社の商標です。

ここで説明する設定は、厳密には「オンライン強化学習」と呼ばれています。

このシミュレータの作り込みが容易に活用が進み、回帰分析のような機械学習ショナルな手法の一歩先に進めることが期待できます。
Ⅳ

さいごに• プライシングエージェントをまだ十分な量のデータを保持していない特定の顧客のために訓練することができます。

顧客行動特性など ）など購買特性を反映するよう調整し、業界の販売環境を正確
本稿では、機械学習モデルのなかでも• シミュレーションにより生成したデータを独自の目的で利用したい顧客に提供することができます。
に再現するようなシミュレータに仕立て上先進的な強化学習を取り上げました。比• シミュレータは2通りの方法で用途に適合させることができます。

• 顧客が提供したデータに基づいて状況設定やパラメータを調整することで適合げます。
また、各商材の性質によって異な較的トラディショナルなアプローチは長期• 顧客が提供した過去履歴のデータに基づき機械的に訓練することで適合

図表 4

ダイナミックプライシングシミュレータ

シミュレータを用いて訓練したエージェントが、現実のビジネスで意思決定を行い、その結果として収集されたデータを活用することによりシミュレータは改良される

強化学習

シミュレータエージェント

意思決定の適用

出所：KPMG作成

調整もしくは訓練

顧客データ

現実世界データの記録

関連情報

ウェブサイトでは、プライシング（価格戦略）の最適化サービスを紹介しています。

https://kpmg.com/jp/ja/home/services/advisory/deal-advisory/strategy/cbma/pricing.html

本稿に関するご質問等は、以下の担当者までお願いいたします。

株式会社 KPMG FAS
田中 勇輝／マネージャー

yuki.a.tanaka@jp.kpmg.com© 2024 KPMG Advisory Lighthouse, Inc., a company established under the Japan Companies Act and a member firm of the KPMG global organization ofindependent member firms affiliated with KPMG International Limited, a private English company limited by guarantee. All rights reserved.

K PMG Insight Vol.66

4