1

第 16 回 電子航法研究所 研究発表会
平成 28 年 6 月 10 日

発話音声で個々人の日常的健全性の確認を

塩見格 一

監視・通信領域

1

2

ヒューマン・ファクター／ヒューマン・エラー［ 航空交通における現状 ］
1）航空事故の８割は，その原因がヒューマン・エラーにあると言われている。
人間と機械やシステムとの関係は，近年，多様化を増していて，・・・。

［ 航空管制官の関わった（残念ながら）有名な事例 ］
2）1991年2月1日，ロサンゼルス空港滑走路上のSW5569便に，着陸してきたUS1493便が衝突した。
3）2001年1月31日，焼津市上空でJA907便とJA958便がニアミスを起した。
4）2002年7月1日，ドイツ南西部ユーバリンゲン上空でバシキール2937便とDHL611便が空中衝突した。

2

3

ヒューマン・ファクターの管理の必要性と高度化
ヒューマン・ファクターはどのように管理できるのか？
例えば，運転免許証制度では，
1）“静的”, “巨視的”, “平均的” な人間像に基づいた管理が想定されている。

より高度なヒューマン・パフォーマンスの管理のためには，
2）業務環境の変化等に “動的” に対応し，
3）リアルタイムに “微視的” な，
4）個々人の能力や性格に対応し “個別的” な，管理技術の導入が必要だ！
↓↑
適正な状況認識，適正な判断，適正な制御行動の実施“認識”, “判断”, “行動” を人間が行う場合，人間の “健全性” の確保が必要だ！
3

4

例えば，社会問題としての重大バス事故
航空事故や鉄道事故に比較して，運転者の健全性の確保への取り組みが遅れている印象のあるバスに例を求めれば，・・・。

［ 多数の死者を出したバス事故］
1）1975年1月1日，青木湖バス転落事故
2）1985年1月18日，犀川スキーバス転落事故［ 近年の深刻なバス事故］
3）2007年2月18日，吹田スキーバス事故
4）2012年4月2９日，関越自動車道高速バス居眠り運転事故
5）2014年3月3日，北陸自動車道夜行バス事故

6）2016年1月15日，軽井沢スキーバス転落事故
4

5

ヒューマン・ファクターの “健全性” の監視
安全性の向上を目的とする場合，エラーを起こす可能性としての人間をシステムから排除することは，今日，十分な実現性を有する選択肢になっているが，敢えて，システムに人間を関与させて，人間不在の場合に比較してもより高度な安全性を実現しようとするのであれば，これに関わる人間の“健全性”の監視と確保が必要不可欠となる。

さて，ヒューマン・エラーの低減を如何に図るか？
業務環境において，リアルタイムに，作業者の “健全性” を評価する技術が必要である。

・生体から観測可能なデータとしては何があるのか？
・何を観測すれば，何と何を観測すれば，何と何と何を観測すれば，・・・。
発話音声を観測すれば何が分かるのか？ “健全性” との相関は？
5

6

音声信号の分析手法［２つの分析手法］
1）古典的な周波数分析→ フーリエ解析，時間局所性を問題とする場合にはウェーブレット解析
2）未だ良くは分かっていないカオス論的な分析→ 時間局所的なカオス性はどの様に評価可能か？ 何が可能になるのか？
2.1） SiCECA アルゴリズムを考案した。
2.2）発話音声から発話者の覚醒度の評価が可能となれば，・・・・・。
→ ヒューマン・エラーの防止に役立てることができる筈だ！

6

7

音声信号の周波数解析

音声信号波形FFT「あ」音の波形

7「あ」音のパワー・スペクトラム

8

発話音声のパワー・スペクトラム
1）スペクトラムのピーク位置（声紋）は個人に依存し，経時的には変化しない。
2562？？？
3
6
3

94

4
7
8

7910？？？

1

11030 50

100300 500

朗読開始直後851k

3k 5k Hz1030 50

100300 500

8101k

3k 5k Hz

朗読開始から１時間後

9

発話音声のカオス性の分析

音声信号波形

切り出し

ターケンスの埋め込み

人間の声の波形

人間の声のストレンジ・アトラクタ※）ストレンジ・アトラクタはホメオスタシスの数学的な視覚化と理解できる。
910

発話音声から生成されるストレンジ・アトラクタ1）1998年，発話音声の “ゆらぎ” の状態が，発話者の心身状態によって変化することを発見した。

元気になるor 緊張する

リラックスor ぼんやり

脳の活性度が低い状態
10

脳の活性度が高い状態

11

ストレンジ・アトラクタにおける“ゆらぎ”の定量化

d2
発展点集合

d1
近傍点集合

時間局所的な第１リアプノフ指数11λ M= Lim log(d)2d1

12

契機： 発話音声収録実験（〜1999年）
最大リアプノフ指数の時間的移動平均値[Test subject - 1]

疲労を訴える

about 20 minutes.

最大リアプノフ指数の飽和時刻

朗読経過時間（分）※ 被験者が疲労を訴える約 20 分前に指数値の上昇は飽和している。
12

13

契機： 発話音声収録実験（〜1999年）
最大リアプノフ指数の時間的移動平均値

家庭・スポーツ面

新聞政治経済面[Test subject - 2]

朗読経過時間（分）※ 朗読内容の変化により指数値が大幅に変化したこともある。
13

14

発話音声の“ゆらぎ”の定量化
1）時系列信号の有する“ゆらぎ”の程度は，その時系列信号からストレンジ・アトラクタを生成し，第１リアプノフ指数を算出して定量化することができる。
2）発話音声における問題は，複数の母音が異なるダイナミックスを有するため，「一般的な発話音声からは，カオス理論が想定する様な安定なストレンジ・アトラクタを生成することができない。」と言うことにある。

“つ14ぎはひがしなかの”15

SiCECA（Shiomi’s Cerebral Exponent Calculation Algorithm）
3）カオス理論では，時系列信号を生成するダイナミックスが不変であることを前提として，時系列信号からその性格を推定するが，一般的な発話音声において各母音を生成するダイナミクスは相互に異なっている。

4）個々の母音の発話継続時間は長くても数百ミリ秒程度と短く，その継続時間に対しては，安定に第１リアプノフ指数を算出することができない。
5）筆者等は時間局所的な第１リアプノフ指数とも考えられる指標値（CEm/CEM: Cerebral Exponent micro / C.E.Macro）を定義し，一般的な発話音声において，その“ゆらぎ”の程度の定量化を行った。

15

1616

17

Reading(Card(from(Volvo(Way(3(5(Säkerhet(är(en(integrerad(del(av(vår(produktutveckling.(Syftet(är(att(förbättra(såväl(trafi(ksäkerhet(som(arbetsmiljö(för(förare(och(operatörer(av(fordon(och(maskiner.(
ABCDE:((ABE(Industry,(Cerebral(Dynamics(Corporation(and(Electronic(Navigation(Research(Institute(Volvo Trucks 社のために作成したスェーデン語の朗読カード17

18

ストレス評価実験の結果耳を塞いだ朗
読音声による指標値

通常の朗読音声による指標値（朗読 CEM 値）
181919

2020212122

疲労状態評価実験の概要

22

23

実車テストコース

土木研究所 苫小牧寒地試験道路
2324

疲労状態評価実験タイムテーブル■：朗読音声_CEM， ○：換呼音声_CEM， ▲：眠気の自覚的強さ○は，運転中の発話音声“○番通過速度よし！”から算出された指数値■は，走行開始前と運転の合間の朗読音声から算出された指数値

24

2525

2626

27

最近の成果
毎週１回，１日３回（10時，13時，18時）ある人が50の文章を音読したデータを処理した結果，下の様な分布が観測されました。

上図と下図は，朝・昼・晩の音声データを区別して，夫々のCEM値の平均と標準偏差により，夫々のCEM値を正規化した分布を重ねたものです。処理パラメーターが適正に設定すれば，昼食の前後の声を識別する程の感度を実現することができます。
27

28

最近の成果
CEM値をテキスト等の朗読音声から算出する場合には，朗読テキストの違いによりCEM値に有意な差異が発生する事が確認されています。
2.52.0y = 0.6488x - 0.3029 1.5
R² = 0.3666
1.0
CEM (昼 13:00)

右図は音声資源コンソーシアム提供による
AWA-LTRコーパスの内の50の単文を10時に朗読した場合のCEM値と，13時に朗読した場合のCEM値の対応関係を示したものです。個々のプロットが１つの文章に対応しており，●は52回の朗読による平均値を，□は１回目の朗読によるCEM値，△は２回目の朗読によるCEM値を表しています。平均値の対応（R2=0.93）では，10時にCEM値が小さい文章であれば13時に読んでもCEM値が小さい傾向が強く現れています。個々の（ 毎回の） 対応では R2=0.04〜0.6 となり，CEM値の大小関係に対応が殆ど見られない場合もあります。

-3.00.5-2.5-2.0-1.5-1.00.0-0.5 0.0
-0.5

0.5

1.5

2.0

2.5

-1.0
-1.5
-2.0
-2.5

y = 0.8478x - 0.4843-3.0
R² = 0.92486

28

1.0-3.5
CEM (朝 10:00)

y = 0.4868x - 0.9993
R² = 0.28335

3.0

29750$$AVR$

THAI/F7$

THAI/F6$

THAI/F5$

THAI/F4$

THAI/F3$

THAI/F2$

THAI/F1$

SPA/F5$SPA/F4$

SPA/F3$

1050$$SPA/F2$

SPA/F1$

RUS/F2$

RUS/F1$

KOR/F4$

KOR/F3$

KOR/F2$

KOR/F1$

JPN/F6$

JPN/F5$

JPN/F4$

JPN/F3$

JPN/F2$

JPN/F1$

IDN/F2$

IDN/F1$

GER/F1$

FRA/F3$

FRA/F2$

FRA/F1$

ENG/F4$

ENG/F3$

ENG/F2$

ENG/F1$

CHI/F7$

CHI/F6$

CHI/F5$

CHI/F4$

CHI/F3$

CHI/F2$

CHI/F1$

ARA/F2$

CEM

ARA/M1#
ARA/M2#
ARA/M3#
CHI/M1#
CHI/M2#
CHI/M3#
CHI/M4#
CHI/M5#
CHI/M6#
ENG/M1#
ENG/M2#
ENG/M3#
FRA/M1#
FRA/M2#
FRA/M3#
FRA/M4#
FRA/M5#
GER/M1#
GER/M2#
GER/M3#
IDN/M1#
IDN/M2#
IDN/M3#
IDN/M4#
IDN/M5#
IDN/M6#
JPN/M1#
JPN/M2#
JPN/M3#
JPN/M4#
JPN/M5#
JPN/M6#
KOR/M1#
KOR/M2#
KOR/M3#
KOR/M4#
KOR/M5#
KOR/M6#
RUS/M1#
RUS/M2#
RUS/M3#
SPA/M1#
SPA/M2#
SPA/M3#
SPA/M4#
THAI/M1#
THAI/M2#
THAI/M3#
THAI/M4#
THAI/M5#
THAI/M6#
THAI/M7#
AVR#

1400##
1350##
1300##
1250##
1200##
1150##
1100##
1050##
1000##
950##
900##
850##
800##

ARA/F1$

CEM

29

最近の成果

下図は11ヶ国後で発話された「北風と太陽の話」の朗読からCEM値を計算した結果です。 男女ともに，言語による差異よりも，個人差の方が大きい様です。
90% 95%#MAX#

95%#Up#90%#Up#90%#Low#

AVR#95%#Low#min#

WHOLE#

1250$$$90% 95%$

1200$$

1150$$
MAX$

1100$$
95%$Up$CLO
SEU
P
90%$Up$1000$$

950$$
90%$Low$

AVR$

900$$
95%$Low$

850$$
min$

800$$
WHOLE$

30

おわりに発話音声に対して，カオス論的な手法により特徴量（CEM値）を定義することが可能であって，
1）「眠気か？ パフォーマンス・レベルか？」サーカディアン・リズムの観測が可能な程の感度を実現することが可能である。
2）業務作業中の発話音声からも，パフォーマンス評価が可能な場合もある。
← 難易度の高い作業中には CEM 値が低下する。
→ 覚醒度の評価には，複数の処理パラメータによる処理結果や，脈拍数等の他の生体信号情報と併せて分析することで対応が可能です。

3）モノは試しに音声を評価したい方々を歓迎致します。
→ shiomi@enri.go.jp にご連絡下さい。
スマートフォンで試したい方は，http://www.noutako.com へ！
30

31

おわりに（スマートフォンで試す場合の注意事項）
1）スマートフォンで収録された音声から算出されるCEM値は，“Hi-Fi”と形容されるマイクロフォンで収録した音声から算出されるCEM値とは異なる分布を示す。
2）異なるスマートフォンで収録した音声から算出した夫々の CEM 値は，そのままでは比較できない。
（株）国際テクノロジー・センターにより実施された評価実験結果より。

31