HAI シンポジウム 2024
Human-Agent Interaction Symposium 2024

G-14

ダイナミック SEM によるエージェントの信頼ダイナミクスの予測
Trust Dynamics Prediction via Dynamic Structural EquationModeling金子 颯汰 1,2∗
Sota KANEKO1

山田 誠二 1,2
Seiji YAMADA1,2

総合研究大学院大学
The Graduate University for Advanced Studies, SOKENDAI
2
国立情報学研究所
2
National Institute of Informatics
1

1

Abstract: 自動運転に代表されるような人間-AI 協調意思決定システムでは，システムの誤用や効率的な利用を進める上で「人間の AI エージェントに対する信頼 (エージェントの信頼)」を適切に保つことが重要である．しかし，エージェントの信頼は人間の内部状態でありその値を直接観測不可能である．そこで，Structural Equation Modeling (SEM) を時間軸に拡張したダイナミック SEM によって動的に変化するエージェントの信頼の予測モデルの構築を行なった．

1

はじめに

人工知能技術 (AI) の発達と共に自動運転やチャットボットなど AI を利用したシステムの利用への関心が高まっている．このようなシステムにおいて人間と AI の協働を進める上で，信頼が重要な要素となる．人間がエージェントの能力を過度に高く推定してしまうとシステムの誤用に繋がり，過度に低く推定してしまうとシステムの利用効率の低下が引き起こされる．自動運転に代表されるような協調意思決定システムにおいてシステムの誤用や利用効率の低下を抑制するには，「人間のエージェントに対する信頼 (エージェントの信頼)」を適切に保つことが重要である．また，このようなシステムは，周囲の状況が時間経過とともに変化するためそれに応じてエージェントの性能及び人間によるエージェントの性能の推定値であるエージェントの信頼が変動し続ける．このように，人間とエージェントが互いに協調し意思決定するタスクにおいては信頼ダイナミクスの予測が重要になる．
そこで，直接観測不可能な潜在変数を取り扱い可能なStructural Equation Modeling (SEM) を時間軸に拡張したダイナミック SEM によって，時間経過と共に動的に変化するエージェントの信頼の予測モデルの構築を行なった．構築した予測モデルによって過信の予測が∗ 連絡先： 総合研究大学院大学/国立情報学研究所〒 101-8430 東京都千代田区一ツ橋 2 丁目 1 番地 2 号
E-mail: sota@nii.ac.jp

可能であることが確かめられた．

2

関連研究

2.1

HAI における信頼

Human-Agent Interaction (HAI) の分野において，信頼の研究が進められている．Khavas[4] による HumanRobot Interaction (HRI) における信頼形成の調査では，信頼に影響を及ぼす要因は，(A) ロボットエージェ
ントに関する要因，(B) タスクと環境に関する要因，(C)人間に関する要因，に分類されるとしている．信頼形
成への影響はロボットに関する要因，タスクと環境に関する要因，人間に関する要因の順で大きい．ロボッ
トに関する要因における性能に関する要因にはロボットの信頼性やタスク失敗のタイミング・頻度， システ
ムの透明性などが含まれ，ロボットの動作の品質を決定するものとされている．タスクと環境に関する要因は，合理性やタスクが人間に与える危険性，タスクの負荷・複雑さなどが含まれる．人間に関する要因は，パーソナリティやシステムに対する知識，過去のロボットとの経験などが含まれる．
また，HAI における信頼形成は ロボットに関する要因 を エージェントに関する要因 と置き換えることで同様に考えることができるが，物理的な実態の有無による違いを考慮する必要がある．

2.1.1

信頼ダイナミクス

人間とエージェントとのインタラクションにおいては，時間経過やインタラクションの繰り返しによって信頼が変化する．このように変化する信頼を信頼ダイナミクスと呼ぶ．信頼ダイナミクスを捉えることで，信頼形成に与える影響の大きな要因をより正確に理解することも可能である．Luo[7] による自動運転車とのイ
ンタラクションにおける信頼ダイナミクスの研究では，システム内部に起因する性能の変化はシステム外部に起因する性能の変化よりも信頼に与える影響が大きいということが示されている．システム内部に起因したシステムの性能低下はセンサ故障などによるものであり，外的要因によって引き起こされた性能低下は道路工事による迂回や渋滞による所要時間の増加などである．また，信頼のメカニズムを取り入れることによってこれらを考慮しないモデルよりも正確な信頼予測が可能であることが示されている [1]．さらに，信頼ダイナミクスに基づいてクラスタリングを行い各クラスタごと適した信頼予測モデルを形成することによって信頼の予測精度が向上させるという，信頼ダイナミクスを利用した新たなモデリング手法の開発の動きも見られる [6]．
このように，信頼ダイナミクスを考慮したモデルを構築することは精度の高い信頼の予測が可能にさせるだけでは無く，信頼に影響を与える要因の正確な把握も可能にする．

2.1.2

過信と不信

Lee[5] によれば，過信とは信頼がシステムの能力を超えるような較正不良であり，不信とは信頼がシステムの能力を下回るものである．適切な較正が行われると信頼はシステムの能力と等しくなる．人間がシステムの性能を正しく推定している状態にすることで，信頼が適切に較正されたことになる．
過信はシステムの誤用を引き起こし，不信はシステムの利用効率の低下を引き起こす可能性がある．そのため，システムを適切に利用するためには過信及び不信を抑制し信頼を適切に較正することが重要となる．

2.2

不等式による過信及び不信の判定

Okamura[9] は，エージェントの性能と人間の性能の大小関係から成る不等式から過信を判断する枠組みを提案した．ドローンシミュレータ上で画像認識を行う
協調意思決定タスクを行い，エージェントと人間の不等式と意思決定から過信を判定している．この枠組み
ではエージェントのタスク成功確率であるエージェントの性能を Pauto ，人間が推定する Pauto を Ptrust ，人間のタスク成功確率である人間の性能を Pauto と置き，過信及び不信を表現するために以下の不等式が定義された．

(Ptrust > Pman ) ∧ (Pman > Pauto )(1)(Ptrust < Pman ) ∧ (Pman < Pauto )(2)

式 1 は過信状態を示しており，エージェントの性能が人間の性能よりも低いにも関わらず人間がエージェントよりも劣っていると推定していることを表している．
式 2 は不信状態を示しており，エージェントの性能が人間の性能よりも高いにも関わらず人間がエージェントよりも優れていると推定していることを表している．
Ptrust > Pman 及び Ptrust < Pman はエージェントにタスクを委ねたか否かという人間の行動によって測定可能であることから，人間の性能とエージェントの性能の大小関係に人間の行動を組み合わせることで過信の判定を行っている．

2.3

信頼予測

2.3.1

機械学習手法による信頼性 (reliability) の予測機械学習手法を用いて，HAI における信頼 (Reliance)を推定する手法が存在する．Fukuchi[2] は，Transformer
encoder と呼ばれる深層学習モデルを元にした予測モデルによって信頼 (Reliance) の予測を行い，信頼 (Reliance) 較正キューによる信頼 (Reliance) 較正を行った．
タスク，信頼 (Reliance) 較正キュー，エージェントによるタスク実行の意思決定，人間によるタスク実行の結果からのフィードバックを入力として信頼の予測を行っている．
ただし，ここで用いられている信頼 (Reliance) は，信頼 (Trust) とは定義が異なることに注意されたい．

2.3.2

Dynamic Bayesian Network を用いた信頼ダイナミクス予測

Xu[11] は， Dynamic Bayesian Network を用いて信頼ダイナミクスの予測を行った．ドローンシミュレー
タを用いて，ドローンの自動操縦に人間が介入を行う協調意思決定タスクを行い時間経過に応じて環境が変化する状況で信頼ダイナミクスの予測が行われた．信頼，エージェントの性能，人間による介入操作の有無，外的な要因の変化，信頼の変化，人間からの信頼のフィー
ドバックの 6 変数を用いたベイジアンネットワークを構築し，現時刻及び前時刻における観測値から現時刻の信頼を予測している

2.4

先行研究における課題

これまで紹介した先行研究には，以下に示すようないくつかの課題点が存在する．
(1) 不等式による過信判定 [9] では，実際に過信となり不等式が満たされるまで過信の判定を行うことができない．このため，過信の検知には時間遅れが生じてしまう．(2) 機械学習モデルによる信頼 (Reliance) 予
測 [2] では，次時刻の信頼を予測することが可能であるが予測モデルの解釈性が低いという問題があげられる．
(3) Dynamic Bayesian Network を用いた信頼予測 [11]には，信頼ダイナミックの予測を行うための信頼の推定に人間からのフィードバックを用いておりリアルタイム性の求められるタスクでは観測値の取得が困難であることに加え，人間の内部状態であるエージェントの信頼を直接取り扱うことが出来きない．
そこで我々は，これらの問題を解消すべくダイナミッ
ク SEM による予測モデルの構築を行った．

3提案手法

3.1

Structural Equation Modeling

Structural Equation Modeling (SEM) は，構造方程式モデリングとも呼ばれるグラフィカルモデルの一種である．直接観測可能で測定値を得ることが可能な観測変数 (Observed Variable) と測定値を得られない潜在変数 (Latent Variable) を取り扱い変数間のパス解析を行うことで因果関係推定するモデルである．因子分
析と回帰分析を同時に行うことによってパスの解析を行う．

3.2

ダイナミック SEM による信頼ダイナミ
クスの予測

時系列データを扱い次時刻の値を予測するという目的のため，SEM を時間軸に拡張したダイナミック SEM[10]を用いた予測モデルを作成する．先行研究に基づき，
図 1 に示すようなモデルを作成した．図 1 では簡単のため，エージェントの信頼である E(AIP) について
T = t + 1, t, t − 1 の 3 時刻のみを記載している．実際には，時刻 T = t + 1, t, t − 1, t − 2, ..., t − 14 までのE(AIP) までを考慮してモデルの推定を行っている．これは，モデルの推定及び予測に 15 ステップ周期のデータを使用しているためである．本モデルは式 3 のように表される．
また，このように，時刻 T = t 及び時刻 T = t − 1の各変数の値から時刻 T = t + 1 の値を推定する．入力となる E(AIP) についてはこの限りではなく，時刻AIP(t)

Cognitive Trust= E(AIP)(t-1)

Cognitive Trust= E(AIP)(t)

Cognitive Trust= E(AIP)(t+1)

Calibration Cue(t)Calibration Cue(t-1)

Over/Under
Trust(t)Reliance(t)Over/UnderTrust(t+1)HP(t)

図 1: 先行研究に基づき作成したダイナミック SEM のパス図

T = t から時刻 T = t − 14 までの値を用いる．ここで，α31 は AIP から E(AIP) へのエッジを表し，時刻 t における E(AIP) は式 4 のように表現することも可能である．
)((4)
E(AIP)(t) = α31 AIP(t) + AIP(t−1)
その他の変数についても同様に表現可能である．また，各変数とそれぞれの値域は表 1 の通り．
エージェントの性能と人間の性能は，それぞれのタスクの成功確率である．エージェントの信頼は，人間によるエージェントの性能の推定値と定義する:

E(AIP) = Estimated(AIP)(5)

Over/Under Trust は過不信の判定であり，−1 で不信，0 で適切に較正された信頼，1 で過信を表す:
 −1 (不信)Over/Under Trust =0(適切に較正された信頼) 1(過信)(6)
Reliance は，0 でユーザ自身でタスクを実行，1 でエージェントにタスクの実行を委ねたことを示す:{
0 (ユーザによるタスク実行)
Reliance =1 (エージェントによるタスク実行)(7)
Calibration Cue は，0 で信頼較正キュー無し，1 でユーザに対して信頼較正キューが出されたことを示す:{
0 (較正キューなし)(8)
Calibration Cue =1 (較正キューあり)
また，本モデルで張られたエッジは次時刻での重複を除くと表 2 のようになる．
本モデルの解析には Mplus Version 8.8 を用い，パス係数の推定にはベイズ推定を利用した．また，何時 
AIP(t)0  0HP(t)  αE(AIP)(t)  31
=Over/Uunder Trust(t)  α41   0Reliance(t)Calibration Cue(t)

000
α43
α53
000000000000000
 00

α0
 31+
α41 α42 000000
α330000000000

000
α42
α520




+



変数

値域

AIPHPE(AIP)
Over/Under Trust
Reliance
Calibration Cue[0, 1][0, 1][0, 1]{−1, 0, 1}{0, 1}{0, 1}


0AIP(t)

HP(t)
0

0 E(AIP)(t)0 Over/Uunder Trust(t) 0 Reliance(t)
0000
α4500


Calibration Cue(t)
0AIP(t−1)
0 HP(t−1)




α36  E(AIP)(t−1)
α46  Over/Uunder Trust(t−1) 
0 Reliance(t−1)
0Calibration Cue(t−1)

AIP(t)
HP(t)
0

0

0
Calibration Cue(t)表 1: モデル内の変数
変数の説明
エージェントの性能
人間の性能
エージェントの信頼
過信・不信人間によるタスク実行 OR エージェントによるタスク実行較正キューの有無

表 2: 各ノード間に張られたエッジの一覧
エッジ
エッジを張る根拠となる先行研究

AIPHP
E(AIP)
Calibration Cue
Reliance
AIPHP
E(AIP)
Calibration Cue→→→→→→→→→

Over/Under Trust
Over/Under Trust
Over/Under Trust
Over/Under Trust
Over/Under Trust
E(AIP)
Reliance
Reliance
E(AIP)[Okamura(2020)][Xu(2015)][Lee(1994)][Glikson(2020)](3)

刻前までの信頼の値を過去の時刻における信頼として取り扱うべきかを検討した．前述の通り T = t から
T = t − 14 までの E(AIP) を，現在と過去の時系列データとして入力に用いる．ここで，入力に用いる E(AIP)として考えうるすべての組み合わせに対してパス係数の推定を行い，予測に用いるモデルを決定した．
予測モデルとしてダイナミック SEM を用いることで，(1) 人間の内部状態であり人間によるエージェントの性能の推定値として定義される信頼という概念を変数として取り扱うことが可能，(2) 時系列データを取り扱い次時刻における信頼の予測を行うことが可能，(3)ノード間に張るエッジは先行研究に基づいてトップダウンに与えておりモデルの解釈性が高いという利点が存在する．

4

実験結果

4.1

モデルの推定結果

図 1 に示したパス図で示されるモデルのパス係数の推定を行った．パス係数を推定後のモデルを図 2 に示す．実戦で示したエッジは正の影響を与える因果関係を，波線で示したエッジは負の影響を与える因果関係を表す．過去の時系列としてモデルの入力する E(AIP)の組み合わせは，時刻 T の全部分集合の組み合わせごとのモデルの推定を行った結果，E(AIP)(t,t−1) を選択した．時刻 T の組み合わせに対応する E(AIP) の組み合わせは，時刻 T の遡りの全部分集合に対応するモデルに対してパス係数の推定を行った上で，全組み合わせの中で最も AIC(赤池情報量規準) が小さくなる組み合わせであった {t, t − 1} を選択した．
今回，モデルの推定には Okamura (2020)[9] によるドローンシミュレータ上において画像認識を行う協調意思決定タスクの実験データ [8] を利用した．
推定されたモデルは，それぞれのエッジに係る係数から次のことが読み取れる．エージェントの信頼はエー
ジェントの性能と正の因果関係が見られる．過信・不信はエージェントの性能と負の因果関係が，人間の性能及びエージェントの信頼から正の因果関係が見られる．エージェントの信頼は較正キューと正の因果関係が，過信・不信と較正キューには負の因果関係が見られる．タスクの委任はエージェントの信頼と正の因果関係が見られる．過信・不信とタスクの委任には正の因果関係が見られる．モデルの推定結果より，変数間の因果関係は表 3 のように示される．
また，AIP から E(ARIP) の間に張られたエッジの係数を式 4 に当てはめると式 9 のように表され，変数間の因果関係が明らかである．

()
E(AIP)(t) = 0.985 AIP(t) + AIP(t−1)(9)

他の変数間の因果関係についても同様である．

4.2

モデルによる過信の予測結果

ダイナミック SEM を用いた信頼予測モデルによる次時刻の過信の予測結果を以下に示す．本実験結果は，各モデルによって現時刻の観測値から予測した次時刻でにおける過信の予測についての分析である．予測結果の確認には，モデル推定に利用した Okamura (2020)[9]による実験データ [8] を用いた．各モデルの Accuracy(ACC) および Root Mean Squared Error (RMSE) は，
表 4 の通りである．ダイナミック SEM における予測
では，ACC は 90.0 %，RMSE は 0.28 である．ダイナ
ミック SEM およびベースラインとなる手法による予測の正解率について One-way ANOVA による検定を行った結果を図 3 に示す．有意水準 α = 0.05 と設定した．One-way ANOVA による検定の結果，ダイナミック SEM とそれぞれのベースライン手法 (AR, ARMA,SARIMAX) 間に有意差が見られた．また，ダイナミッ
ク SEM による過信の予測の適合率は 1.00，再現率は0.72 であり，予測結果の混合行列を図 4 に示す．

5

考察

5.1

推定されたモデルに対する考察

推定されてモデルによって示される因果関係 (図 3)は，先行研究によって明らかである信頼に影響を与える要因との因果関係に一致するものである．また，本モデルは事前に人間の知識によって各ノード間にエッジが張られたグラフィカルモデルであり各変数間の因果関係を容易に理解することが可能である．

5.2

実験結果に対する議論

実験結果より，ダイナミック SEM を用いた信頼ダイナミクスの予測モデルは過信をベースラインよりも高い精度で予測することが可能であることが分かる．
One-way ANOVA による検定の結果より，ダイナミッ
ク SEM はベースラインとなる AR, ARMA, SARIMAXよりもる予測の正解率が高いことが確認できた．ダイ
ナミック SEM の予測結果は適合率が 1.00 であり再現率が 0.72 となっており，過信状態に陥ってしまっては手遅れなタスクにおいては感度の低さが懸念される．
このため，過信による危険性の高いタスクに適応する際には感度を高めるような影響を与える要因を導入する必要があると考えられる．

AIP
(t)

0.985

Cognitive
Trust = E(AIP)
(t-1)

0.985
0.985

0.985

Cognitive
Trust = E(AIP)(t)

Calibration Cue
(t-1)

0.985
0.985
Calibration Cue
(t)

0.450

-1.000Cognitive
Trust = E(AIP)(t+1)

Reliance
(t)

1.000

-1.0000.985-1.500-1.500Over/Under
Trust
(t)

Positive Effect:
Negative Effect:

Over/Under
Trust
(t+1)

-1.000

0.985

0.985
HP(t)

図 2: パス係数を推定後のダイナミック SEM パス図

因果関係の正負Positive(+)

Negative(-)

表 3: 因果関係の正負
因果関係
エージェントの性能
人間の性能
信頼信頼
信頼
エージェントによるタスク実行較正キュー
エージェントの性能
人間の性能
較正キュー→→→→→→→→→→

エージェントの信頼
過信
次時刻の信頼過信
エージェントによるタスク実行
過信
エージェントの信頼
過信
エージェントによるタスク実行
過信

5.3

表 4: 予測結果の分析
avg(std)
ACC
RMSE

D-SEM
AR
ARMA
SARIMAX0.90(0.05)
0.59(0.19)
0.57(0.19)
0.57(0.19)

0.28(0.14)
0.51(0.19)
0.51(0.19)
0.51(0.19)

本研究で作成したモデルは，エージェントの性能，人間の性能及びこの 2 変数に基づく過信・不信判定，エー
ジェントへのタスクの委任，信頼較正キューの有無の 5種類の観測変数から潜在変数であるエージェントの信頼を予測するものである．本モデルではエージェントの性能に影響を与えるタスク構造や，天候の変化といった外的要因を観測変数として取り扱っていない．これ
らは，観測変数であるエージェントの性能に内包されるもので有るが，独立した変数として取り扱うことによる予測精度と応答性の向上が期待される．応答性の高さは，リアルタイム性の求められるタスクで重要である．
また，過去の自動運転車の運転経験が自動運転に対する信頼に影響を与えることが示されている [3]．以上
より，信頼に影響を与える観測変数を追加で導入することでモデルの予測精度及び応答性の向上が期待される．

6300034240

Over Trust

2500
2000

ActualAppropriate Trust

図 3: 手法ごとの予測結果 (p : ∗p < 0.05)

1500
528

1328

1000
500

Appropriate Trust

Predicted

Over Trust0

図 4: ダイナミック SEM による予測結果の混合行列

残された課題結論

本研究では，人間の内部状態であり直接観測不可能である信頼ダイナミクスの予測モデルを構築した．信頼 (Trust) は直接観測不可能である潜在変数であるため，潜在変数を取り扱うことが可能な SEM を元にしたモデルの構築を行なった．また，時系列データを用いてモデルの推定を行い，現時刻の入力から次時刻の潜在変数の値の予測を行うため，予測モデルには SEM を時間軸に拡張したダイナミック SEM を利用した．ダイナミック SEM による予測モデルは，直接観測することが不可能な潜在変数の時系列予測が可能なモデルであると言える．
したがって，本研究にて提案したダイナミック SEMによる信頼ダイナミクスの予測は，過不信の予防を行うための予測に有用である．本モデルを用いて信頼ダイナミクスを予測し，予測に基づく信頼較正を実施することで実際に過信および不信に陥る前にそれらの予防が可能であると考えられ，過信および不信の予防によってエージェントの誤用や利用効率低下の抑制が期待される．
また，本予測モデルは HAI における信頼に関する先行研究に基づいて変数間の因果関係を与えたトップダウンなモデルである．そのため，推定された予測モデルの解釈性は高く変数間の因果関係が容易に理解できるものとなっている．
．推定された予測モデルから，信頼に大きな影響を与える変数を把握することによって信頼較正をさらに効果的に行う方法の検討や信頼ダイナミクスの理解を深めるための一助となることも期待される．

参考文献[1] Michael G. Collins, Ion Juvina, and Kevin A.
Gluck. Cognitive model of trust dynamics predicts human behavior within and between twogames of strategic interaction with computerized confederate agents. Frontiers in Psychology,Vol. 7, , 2016.
[2] Yosuke Fukuchi and Seiji Yamada. Dynamic selection of reliance calibration cues with ai reliance model. IEEE Access, Vol. 11, pp. 138870–138881, 2023.
[3] Christian Gold, Moritz Körber, Christoph Hohenberger, David Lechner, and Klaus Bengler.
Trust in automation ‒ before and after the experience of take-over scenarios in a highly automated vehicle. Procedia Manufacturing, Vol. 3,
pp. 3025–3032, 2015. 6th International Conference on Applied Human Factors and Ergonomics(AHFE 2015) and the Aﬃliated Conferences,AHFE 2015.
[4] Zahra Rezaei Khavas, S. Reza Ahmadzadeh, andPaul Robinette. Modeling trust in human-robot
interaction: A survey. In Alan R. Wagner,David Feil-Seifer, Kerstin S. Haring, Silvia Rossi,Thomas Williams, Hongsheng He, and Shuzhi
Sam Ge, editors, Social Robotics, pp. 529–541,Cham, 2020. Springer International Publishing.
[5] John D. Lee and Katrina A. See. Trust in automation: Designing for appropriate reliance.
Human Factors, Vol. 46, No. 1, pp. 50–80, 2004.
PMID: 15151155.
[6] Jundi Liu, Kumar Akash, Teruhisa Misu, andXingwei Wu. Clustering human trust dynamics for customized real-time prediction.
In
2021 IEEE International Intelligent Transportation Systems Conference (ITSC), p. 1705 ‒ 1712.
IEEE Press, 2021.
[7] Ruikun Luo, Jian Chu, and X. Jessie Yang. Trustdynamics in human-av (automated vehicle) interaction. In Extended Abstracts of the 2020
CHI Conference on Human Factors in Computing Systems, CHI EA ’20, p. 1 ‒ 7, New York,NY, USA, 2020. Association for Computing Machinery.

[8] Kazuo Okamura. Data for our PLOS ONE paper.
1 2020.
[9] Kazuo Okamura and Seiji Yamada.
Adaptive trust calibration for human-ai collaboration.
PLOS ONE, Vol. 15, No. 2, pp. 1–20, 02 2020.
[10] Ellen L. Hamaker Tihomir Asparouhov andBengt Muthén. Dynamic structural equation
models. Structural Equation Modeling: A Multidisciplinary Journal, Vol. 25, No. 3, pp. 359–388,
2018.
[11] Anqi Xu and Gregory Dudek. Optimo: Online
probabilistic trust inference model for asymmetric human-robot collaborations. In Proceedingsof the Tenth Annual ACM/IEEE International
Conference on Human-Robot Interaction, HRI’15, p. 221 ‒ 228, New York, NY, USA, 2015.
Association for Computing Machinery.