自動車技術会 第４回自動運転委員会
2016年12月21日

自動運転に関するいくつかの論点
ーSAE J3016(2016年版）を中心にー
筑波大学副学長・理事
稲垣 敏之
inagaki.toshiyuki.gb@u.tsukuba.ac.jp
http://www.css.risk.tsukuba.ac.jp

SAE J3016 （2016年版）

SAE J3016 (2014年版)

DYNAMIC DRIVING TASK (DDT)
1. Lateral vehicle motion control via steering
2. Longitudinal vehicle motion control via acceleration anddeceleration
3. Monitoring the driving environment via object and event
detection, recognition, classification, and response preparation
4. Object and event response execution
5. Maneuver planning
6. Enhancing conspicuity via lighting, signaling and gesturing, etc.
（補） OBJECT AND EVENT DETECTION AND RESPONSE (OEDR)
The subtasks of the DDT that include monitoring the driving
environment and executing an appropriate response to suchobjects and events

DDT FALLBACKThe response by the user or by an ADS to either perform the DDTor achieve a minimal risk condition after occurrence of a DDT
performance-relevant system failure(s) or upon ODD exit.
（補１）MINIMAL RISK CONDITION

A condition to which a user or an ADS may bring a vehicle after
performing the DDT fallback in order to reduce the risk of acrash when a given trip cannot or should not be completed.
（補２）OPERATIONAL DESIGN DOMAIN (ODD)

The specific conditions under which a given driving automation
system or feature thereof is designed to function, including, but
not limited to, driving modes.

DDT FALLBACK-READY USER
The user of a vehicle equipped with an engaged level 3 ADS feature
who is able to operate the vehicle and is receptive to ADS-issued
requests to intervene and to evident DDT performance-relevant
system failures in the vehicle compelling him or her to perform the
DDT fallback.
 DDT performance by a level 3 ADS assumes that a DDT fallback-ready user isavailable to perform the DDT as required. There is no such assumption atlevels 4 and 5.

このような仮定に基づいてシステムを構築してよいのか？

（補） RECEPTIVITY (OF THE USER)

An aspect of consciousness characterized by a person’s ability
to reliably and appropriately focus his/her attention in
response to a stimulus.
 receptivity を「受容性」と訳すのは誤りでは？
受容性は acceptance に対応する語。 （例）ドライバ受容性、社会受容性

DRIVING AUTOMATION
The performance of part or all of the DDT on a sustained basis.
・・・ この定義は適切か？

(1) DRIVING AUTOMATION SYSTEM or TECHNOLOGY

The hardware and software that are collectively capable ofperforming part or all of the DDT on a sustained basis; this term
is used generically to describe any system capable of level 1-5
driving automation.
(2) AUTOMATED DRIVING SYSTEM (ADS)The hardware and software that are collectively capable ofperforming the entire DDT on a sustained basis, regardless ofwhether it is limited to a specific operational design domain(ODD); this term is used specifically to describe a level 3, 4, or 5
driving automation system.
 （１）と（２）を区別する必要性はあるのか？ あるいは、名称の選択は適切か？
 自動運転には異なる形態があることを社会に周知しようとするうえで有害では？

LEVEL 1 - DRIVER ASSISTANCE
The sustained and ODD-specific execution by a driving automation
system of either the lateral or the longitudinal vehicle motion
control subtask of the DDT (but not both simultaneously) with the
expectation that the driver performs the remainder of the DDT.
• ＯＤＤ限定的ではあるが、ＤＤＴのサブタスクのうち横方向
または縦方向の車両運動制御のいずれか一方のみをシステムが持続的に実行• ＤＤＴのうち残りの部分は、ドライバーが担当してくれるものと期待LEVEL 2 - PARTIAL DRIVING AUTOMATIONThe sustained and ODD-specific execution by a driving automation
system of both the lateral and longitudinal vehicle motion control
subtasks of the DDT with the expectation that the drivercompletes the OEDR subtask and supervises the driving
automation system.
• ＯＤＤ限定的ではあるが、ＤＤＴのサブタスクのうち、横方向と縦方向の車両運動制御の両方をシステムが持続的に実行• ＯＥＤＲサブタスクを完了状態にすることと、システムを
スーパーバイズ（監視と必要に応じた介入）することは、ドライバーが行ってくれるものと期待

LEVEL 3 - CONDITIONAL DRIVING AUTOMATIONThe sustained and ODD-specific performance by an ADS of theentire DDT with the expectation that the DDT fallback-ready user
is receptive to ADS-issued requests to intervene, as well as to DDT
performance-relevant system failures in other vehicle systems, andwill respond appropriately.
• ＯＤＤ限定的ではあるが、ＡＤＳが全てのＤＤＴを持続的に実行• ＡＤＳが介入要求を発したときや、他の車両システムにおいてＤＤＴ実行に関わるシステム故障が発生したときは、ＤＤＴ
フォールバック可能ユーザーがそれらに気づいて適切に対応してくれるものと期待 be receptive to ～を「受容的」と訳すのは適切ではないのでは？
－「介入要求に対して受容的」とはどういう意味？
－「システム故障に対して受容的」とはどういう意味？

LEVEL 4 - HIGH DRIVING AUTOMATIONThe sustained and ODD-specific performance by an ADS of theentire DDT and DDT fallback, without any expectation that a user
will respond to a request to intervene.
• ＯＤＤ限定的ではあるが、ＡＤＳが全てのＤＤＴならびに
ＤＤＴフォールバックを持続的に実行• 介入要求を出したとき、ユーザーがそれに対応してくれるとは期待していないLEVEL 5 - FULL DRIVING AUTOMATIONThe sustained and unconditional (i.e., not ODD-specific)
performance by an ADS of the entire DDT and DDT fallback
without any expectation that a user will respond to a request tointervene.
• ＯＤＤに限定されることなく無条件に、ＡＤＳが全てのＤＤＴおよびＤＤＴフォールバックを持続的に実行• ＡＤＳは、介入要求を出したときにユーザーがそれに対応することは期待していないRoles of human driver and driving automation system
Level of Driving
AutomationRole of UserRole of Driving Automation System

DRIVER PERFORMS THE DYNAMIC DRIVING TASK (DDT)
Level 0 –No Driving
Automation

Level 1 –Driver Assistance

Driver (at all times):

Driving Automation System (if any): Performs the entire DDT

 Does not perform any part of the DDT ona sustained basis (although other vehicle
systems may provide warnings or
support, such as momentary emergency
intervention)

Driver (at all times):

Driving Automation System (while
engaged): Performs the remainder of the DDT not
performed by the driving automation
system Supervises the driving automation
system and intervenes as necessary tomaintain safe operation of the vehicle

 Performs part of the DDT by executing
either the longitudinal or the lateralvehicle motion control subtask
 Disengages immediately upon driver
request Determines whether/when engagementand disengagement of the driving
automation system is appropriate
 Immediately performs the entire DDT
whenever required or desired(SAE 2016)

Roles of human driver and driving automation system
Level of Driving
AutomationRole of UserRole of Driving Automation System

DRIVER PERFORMS THE DYNAMIC DRIVING TASK (DDT)
Level 2 –Partial Driving
Automation

Driver (at all times):

Driving Automation System (while engaged): Performs the remainder of the DDT not
performed by the driving automation
system Performs part of the DDT by executing
both the lateral and the longitudinalvehicle motion control subtasks

 Supervises the driving automation system
and intervenes as necessary to maintainsafe operation of the vehicle

 Disengages immediately upon driver
request Determines whether/when engagementand disengagement of the driving
automation system is appropriate
 Immediately performs the entire DDT
whenever required or desired(SAE 2016)

Roles of human driver and driving automation system
Level of Driving
AutomationRole of UserRole of Driving Automation System

AUTOMATED DRIVING SYSTEM (ADS) PERFORMS THE ENTIRE DYNAMIC DRIVING TASK (DDT)
Level 3 –Conditional
Driving
Automation

Driver (while the ADS is not engaged):

ADS (while not engaged): Verifies operational readiness of the ADSequipped vehicle

 Permits engagement only within its ODD Determines when engagement of ADS isappropriate

ADS (while engaged): Becomes the DDT fallback-ready user whenthe ADS is engaged

 Determines whether ODD limits are about tobe exceeded and, if so, issues a timely
request to intervene to the DDT fallbackready user

DDT fallback-ready user (while the ADS is
engaged): Is receptive to a request to intervene andresponds by performing DDT fallback in atimely manner Is receptive to DDT performance-relevant
system failures in vehicle systems and, uponoccurrence, performs DDT fallback in atimely manner Performs the entire DDT

 Determines whether there is a DDT
performance-relevant system failure of the
ADS and, if so, issues a timely request tointervene to the DDT fallback-ready user Disengages an appropriate time after issuinga request to intervene Disengages immediately upon driver request

 Determines whether and how to achieve aminimal risk condition
 Becomes the driver upon requesting
disengagement of the ADS(SAE 2016)

Roles of human driver and driving automation system
Level of Driving
AutomationRole of UserRole of Driving Automation System

AUTOMATED DRIVING SYSTEM (ADS) PERFORMS THE ENTIRE DYNAMIC DRIVING TASK (DDT)
Level 4 – High
Driving
Automation

Driver/dispatcher (while the ADS is notengaged):ADS (while not engaged): Permits engagement only within its ODD Verifies operational readiness of the ADSequipped vehicle

ADS (while engaged): Determines whether to engage the ADS

 Performs the entire DDT

 Becomes a passenger when the ADS is
engaged only if physically present in thevehicle May issue a timely request to intervene

Passenger/dispatcher (while the ADS is
engaged): Need not perform the DDT or DDT fallback Need not determine whether and how toachieve a minimal risk condition
 May perform the DDT fallback following arequest to intervene
 May request that the ADS disengage andmay achieve a minimal risk condition after it
is disengaged
 May become the driver after a requested
disengagement

 Performs DDT fallback and transitions
automatically to a minimal risk conditionwhen:• A DDT performance-relevant system failure
occurs or• A user does not respond to a request tointervene or• A user requests that it achieve a minimalrisk condition
 Disengages, if appropriate, only after:• It achieves a minimal risk condition or• A driver is performing the DDT
 May delay user-requested disengagement(SAE 2016)

Roles of human driver and driving automation system
Level of Driving
AutomationRole of UserRole of Driving Automation System

AUTOMATED DRIVING SYSTEM (ADS) PERFORMS THE ENTIRE DYNAMIC DRIVING TASK (DDT)
Level 5 – Full
Driving
Automation

Driver/dispatcher (while the ADS is notengaged): Verifies operational readiness of the ADSequipped vehicle
 Determines whether to engage the ADS
 Becomes a passenger when the ADS is
engaged only if physically present in thevehiclePassenger/dispatcher (while the ADS is
engaged): Need not perform the DDT or DDT fallback Need not determine whether and how toachieve a minimal risk condition
 May perform the DDT fallback following arequest to intervene
 May request that the ADS disengage andmay achieve a minimal risk condition after
it is disengaged
 May become the driver after a requested
disengagement

ADS (while not engaged): Permits engagement of the ADS under all
driver-manageable on-road conditions
ADS (while engaged): Performs the entire DDT
 Performs DDT fallback and transitions
automatically to a minimal risk conditionwhen:• A DDT performance-relevant system failure
occurs or• A user does not respond to a request tointervene or• A user requests that it achieve a minimal risk
condition
 Disengages, if appropriate, only after:• It achieves a minimal risk condition or• A driver is performing the DDT
 May delay a user-requested disengagement(SAE 2016)

自動運転レベル (Levels of Driving Automation)
ドライバーはＤＤＴの一部を担当 （走行環境やシステムの監視はドライバーの役目）

1

DriverAssistance

システムは横方向または縦方向制御のいずれか一方を実行。
ドライバーはＤＤＴの残余分すべてを担当。

2

Partial Driving
Automation

システムは横方向と縦方向の車両運動制御の両方を担当。
ドライバーはＯＥＤＲを完成させ、システムをスーパーバイズ。

システムはＤＤＴのすべてを担当

3

Conditional
Driving
Automation

ＡＤＳが全ＤＤＴを担当。ＡＤＳの介入要求やＤＤＴ実行に関わるシステム故障の発生時には、ＤＤＴフォールバック可能ユーザー
がそれらに気づいて適切に対応すること。

4

High Driving
Automation

ＡＤＳが全ＤＤＴならびにＤＤＴフォールバックを担当。ＡＤＳは、
介入要求時にユーザーが対応してくれるとは期待していない。

5

Full Driving
Automation

ＯＤＤに限定されることなく無条件に、ＡＤＳが全ＤＤＴおよびＤＤＴフォールバックを実行。
(SAE 2016)「運転自動化レベル」と訳さなかった理由 自動化レベル（levels of automation）との混同を加速させないため
 「自動運転には複数の形態（レベル）がある」とのユーザー向け説明につなげたい高い知能と自律性を備えた機械がもたらす光と影
賢い機械 状況センシング 状況理解 何をなすべきかを決定し、実行

状況認識の喪失
機械への過信と不信の交錯
オートメーションサプライズ（Inagaki 2006; 稲垣 2012)レベル２の自動運転 (Partial Driving Automation)
システム： 縦方向制御と横方向制御の両方を担当。
ドライバー： 走行環境監視を含め、動的運転タスク残余分を担当。
監視制御（supervisory control）
 人が何をなすべきかを決め、システムに指示 システムは、人の指示に沿って制御を実行
 人は、システムによる制御が適切かどうかを継続的に監視
Photo: BMW

システムの動作原理、能力限界、サブシステム間の相互干渉等に関する正確な理解が必要

Human-Machine Interface(HMI) のデザインが鍵になる

システムの作動／不作動は明確に分かるか

2006年9月、 Boeing 737 とEmbraer Legacy がアマゾン上空で衝突(Flight International,
6 December 2008)• Legacy のトランスポンダーは standby モード（送受信機能喪失）• 「TCAS OFF」 は表示されたが、目立たない白字表示• Boeing 737 と Legacy に搭載されていた TCAS は、いずれも相手機の存在を知ることができない状態
TCAS 警報が発せられないまま、２機が衝突

システムの状況判断と意図は明確に分かるか

止まれ

システム
右からの交差車両の通過を待ちます（注） ADAS であれば、「右から車が来ます」

ドライバー
眼前の車のこと？
まだ後から別の車が来る？

（Inagaki 2010; 稲垣 2012)機械の能力限界は明確に分かるか
過信

割込んでくる
車がいるぞ。

オートメーション
サプライズ

ACC は
そろそろ減速するはずだが・・・

実は、ACC には

Why does ACC
accelerate
now?
割込み車は

不信

なぜ減速しない?!

見えない（Inagaki 2010; 稲垣 2012)機械の意図、その意図の背景が明確に分かるか？

なぜ
オートパイロットがこんなことをするのか
私にはわからない。
でも、
オートパイロットはわかったうえでやっているはずだよね。

（FAA 1995)

レベル３の自動運転 (Conditional Driving Automation)
システム： 走行環境の監視を含め、すべての動的運転タスクを担当。ユーザーに運転交代を求めたいときは、
時間余裕をもってユーザーに要請。
ユーザー： システムの要請に適切に対応すること。
 結果予見、結果回避の義務から解放されているのか？
 過失責任を問われることもあるのか？
 システムの要請に適切に対応するよう人に求めるのは妥当か？
Photo: Volvo 「いつでも運転交代要請に対応できるようにせよ」といわれて、仕事に集中／リラックスできる？ 何のための自動化？

権限委譲 （trading of authority）（１）誰から誰への権限委譲？
（２）権限委譲の要否と実行タイミングを決定・実行するのは誰？
機械に割当てられたタスク
時刻１

人に割当てられたタスク

縦方向制御

横方向制御
機械から人への権限委譲

時刻２人から機械への
権限委譲

時刻３

縦方向制御

縦方向制御

横方向制御

横方向制御

（Inagaki 2003; Inagaki & Sheridan 2012; 稲垣 2012)

機械の判断による、機械から人への権限委譲
ユーザー： 運転操作は行わず、走行環境の監視もしていない。
システムがユーザーに運転交代を求めたとき、瞬時に状況を見極め、制御を引継がねばならない。
10秒後に自動走行モードを解除します。
運転を交代してください

120 km/h なら 333 m
60 km/h なら 167 m

システムから人へ権限を円滑・安全に移行させたい機械から人への権限委譲は成功するとは限らない
エールフランス447便（A330-200）の墜落（2009.06）
高高度を飛行中に対気速度に矛盾が生じ、オートパイロット解除。
その後のパイロットの操作が不適切であったため異常姿勢に陥り、墜落。

(BEA 2011)

自動化レベル (Levels of Automation: LOA)

(3) コンピュ－タは可能な選択肢をすべて人に提示するとともに、ひとつを選んで提案。それを実行するか否かは、人が決定。
(4) コンピュ－タは可能な選択肢の中からひとつを選び、それを人に提案。
それを実行するか否かは、人が決定。

人に最終決定権(1) コンピュ－タの支援なしに、すべてを人が決定・実行。
(2) コンピュ－タはすべての選択肢を提示し、人はそのうちのひとつを選択して実行。

(5) コンピュ－タはひとつの案を人に提示。人が了承すれば、コンピュ－タが実行。

人が一定時間内に実行中止を指令しない限り、コンピュ－タはその案を実行。
(6.5) コンピュ－タはひとつの案を人に提示すると同時に、その案を実行。
(7) コンピュ－タがすべてを行い、何を実行したか人に報告。
(8) コンピュ－タがすべてを決定・実行。人に問われれば、何を実行したかを報告。
(9) コンピュ－タがすべてを決定・実行。何を実行したかを人に報告するのは、報告の必要性をコンピュ－タが認めたときのみ。
(10) コンピュ－タがすべてを決定し、実行。

(Sheridan 1992; Inagaki et at. 1998)

機械に最終決定権(6) コンピュ－タはひとつの案を人に提示。

自動化レベル ４： ＴＣＡＳ
(4)

コンピュ－タは可能な選択肢のうちからひとつを選び、それを人間に提示。それを実行するか否かは人間が決定。

回避アドバイザリ
Climb, Climb

TCAS

脅威機
機械は助言をするが、場合によっては、人は助言を無視できる自動化レベル６： 急減圧検知時の自動降下(6)コンピュ－タはひとつの案を人間に提示。
人間が一定時間以内に実行中止を指令しない限り、コンピュ－タはその案を実行。
① システムが客室急減圧を検知② システムは乗員に告知し、同時に緊急降下のカウントダウン開始③ カウントダウン終了までに乗員が拒否権を発動しなければ、システムは緊急降下を実行

操作開始の遅れ
機械が人に提案を行ったとき、限られた時間内 に人が明確な拒否を表明しない限り、機械はその提案を実行

自動化レベル6.5： ＡＴＳ－Ｐ(6.5)

コンピュ－タはひとつの案を人間に提示すると同時に、その案を実行。

列車速度

速度照査パターン（停止信号からの距離に応じた許容走行速度）
許容走行速度を越えると自動的にブレーキ作動

地上装置

停止信号

機械は、自分の意図を人に伝えると同時に、それを実行自動化レベル７： エンジン推力不均衡の補償(7)コンピュ－タがすべてを行い、何を実行したか人間に報告。
③②①① 第2エンジン（右主翼側）故障② 左右エンジンの推力不均衡により機首が右に振れようとする③ TACが方向舵を制御して機首を左に向ける力を作り出して②の力を打消し，機首の振れを抑制③

Thrust Asymmetry compensation(TAC)

機械がよいと思ったことは、即時実行。人へは事後報告

機械から人への権限委譲を行いたいときのメッセージは？
1. 「10秒後にシステム機能限界の発生が予想されます」と注意喚起（LOA=4）
2. 「10秒後にシステム機能限界の発生が予想されるため、運転交代してください。
引継ぎ確認でき次第、自動走行モードを解除します」と提案（LOA=5）

運転しておらず
監視もしていないユーザー

3. 「システム機能限界の発生が予想される
ため、10秒後に自動走行モードを解除します。それが不適切と考えられるときは拒否権を発動してください」と宣言（LOA=6）
4. 「自動走行モードを解除しました」と報告（LOA=7）・・・気づかなければ無制御状態

ユーザーが運転交代要請に応えないときは？
２． 「10秒後にシステム機能限界の発生が予想されるため、運転交代してください。
引継ぎ確認でき次第、自動走行モードを解除します」と提案（LOA=5）10秒経過後も、ユーザーが運転していることが確認できない

運転しておらず
監視もしていない
ユーザー（例） 「権限委譲は不可能」と判断し、システムの機能範囲内で車両停止へ
向けての制御を実行
SAE J3016 （2014年版）のレベル４の自動運転

SAE J3016 (2014年版)
LEVEL 3 - CONDITIONAL AUTOMATION
The part-time or driving mode-dependent performance by anautomated driving system of all aspects of the dynamic driving
task with the expectation that the human driver will respond
appropriately to a request to intervene.
LEVEL 4 - HIGH AUTOMATION
The part-time, driving mode-dependent, or geographicallyrestricted performance by an automated driving system of all
aspects of the dynamic driving task, even if a human driver
fails to respond appropriately to a request to intervene.
SAE J3016 （2016年版）
LEVEL 4 - HIGH DRIVING AUTOMATIONThe sustained and ODD-specific performance by an ADS of the entire DDT
and DDT fallback, without any expectation that a user will respond to arequest to intervene.

レベル４の自動運転 (High Driving Automation)
システム： すべての動的運転タスクを担当。車両故障、システム自身の故障が発生しても、想定作動環境（システム設計時に機能を保証すべき環境として想定されたもの）内であれば、ユーザーの手助けを求めることなく、システムだけで適切に対応。
 「システムだけで対応できる」ことは、「ユーザーに関与させない」ことを意味するのか？
 何が起こっているか、システムはそれにどのように対応しようとしているか等はユーザーに知らせるべきか、知らせる必要はないか？
Photo: Volvoレベル５の自動運転 (Full Driving Automation)
システム： あらゆる道路条件、走行環境条件下において、
動的運転タスクのすべてを担当。
有人運転ではあるが、いわゆる「ドライバー」が乗らない車 車外の「ドライバー」が操縦
 車載 AI が「ドライバー」として操縦

ウィーン条約（ジュネーブ条約）との関係をどのように整理？
車両の運転者は、正当な注意義務を適正に行使でき、いかなる操作であっても必要なものはいつでも実行できるよう、車両を常に制御できていなければならない
Photo: Google

完全自動運転において HMI は不要か？
「ドライバーとのインタフェース技術が意味をなさなくなる」

「完全自動運転が実用になると、クルマがやり取りする相手はドライバーではなく、乗客になる」といった意見もあるが・・・

Photo: Google

Photo: Zoox

「タクシードライバー」への信頼が前提

自動運転システムの利用には、それなりの心構えが必要

Photo: BMW

Photo: Volvo

 監視制御は、楽な仕事ではない 高機能なシステムの動作原理や能力限界を知らないと、システムを正しく監視することはできない
 権限の的確な引継ぎには、瞬時の状況判断力が不可欠 自動運転の活用には、ドライバーも社会も意識改革が必要

何のための自動運転？ 誰のための自動運転？
 自動運転がドライバーに何をもたらすか− 自動運転のレベルに依存− 誰を対象とするかに応じて適切な自動運転のレベル選定− 自動運転レベルが高いものが「レベルが高い」のではない

 自動運転がドライバーに求めるもの− 自動運転のレベルに依存− ドライバーの役割を社会・ドライバーが認識する必要

メーカーが想定するドライバーが考える「ドライバーの役割」「ドライバーの役割」

状況に応じてさまざまな自動運転レベルを使い分けられるクルマを作るなら

現在の自動運転のレベルを明確に表示する HMI が必須
 「レベル３と思っていたのに、レベル２だったなんて・・・」等のモードコンフュージョンが起こらないようにすること

自動運転レベルは、どのように表示する？
 「レベル２」、「レベル３」などとしてよい？
 「Conditional driving automation」などと書く？
 ドライバー全員が、自動運転のレベルの定義を正しく理解し、記憶しているという状況は期待できないのだが・・・
 ドライバー（あるいはシステム）の役割をアイコン等で示す？
 実は、「レベル２」、「レベル３」などという言い方を積極的に世の中に広めたほうがよいのではないか？

参考文献
稲垣 (2012). 人と機械の共生のデザイン， 森北出版.
Inagaki, T. (2003). Adaptive automation: Sharing and trading of control. In E.
Hollnagel (Ed.), Handbook of Cognitive Task Design, Chapter 8 (pp. 147-169),
Lawrence Erlbaum Associates.
Inagaki, T. (2006). Design of human-machine interactions in light of domaindependence of human-centered automation, Cogn. Tech. & Work, 8(3), 161-167.
Inagaki, T. (2010). Traffic systems as joint cognitive systems: Issues to be solved
for realizing human-technology coagency, Cogn. Tech. & Work, 12(2), 153-162.
Inagaki, T. & Sheridan, T. (2012). Authority and responsibility in human-machine
systems: Probability theoretic validation of machine-initiated trading of authority.
Cogn. Tech. & Work, 14(1), 29-37.
Inagaki, T., Moray, N., & Itoh, M. (1998). Trust, self-confidence and authority inhuman-machine systems, Proc. IFAC Int. Symposium on Analysis, Design and
Evaluation of Man-Machine Systems, Kyoto, Japan (pp. 431-436).
SAE (2016). Taxonomy and Definitions for Terms Related to Driving Automation
Systems for On-Road Motor Vehicles. Surface Vehicle Recommended Practice,J3016.
Sheridan, T.B. (1992). Telerobotics, automation, and human supervisory control.
MIT Press.