電子航法研究所研究発表会(第5回 平成17年6月)

1 8.発話音声による疲労評価実験の手法と結果
管制システム部

1.はじめに※塩見

格‑

値に信頼性を確保するためには, 16bit以上のダイナミックレンジを有するAD変換暑削こよりデジタル化することが必要であり(信号/雑音比が8bit程度以上あることが好ましい｡),またサン
プルレートも44.1kHz以上であることが好ましい｡なお,サンプルレートが変化すれば,同じ音声信号であっても,算出される指標値は変化する｡(3)同様に,マイクロフォンやAD変換以前のアナログ回路の個体差も,実験においては予め評価しておくことが必要である｡(4)発話環境においては,日常的には特に意識されない程度のものであっても,エコー等の影響も無視できない場合があるので,複数の被験者による実験や,同一被験者であっても長時間に亘る実験の場合には,環境条件の変化は極力抑える必要がある｡
鉄道総合技術研究所,及び東北大学との共同研究においては PCM レコーダとしてはmarantz社製
PMD670を,またマイクロフォンとしてはAKG社製
C391B, C397‑0, C420を標準機器として発話音声の収録を行った｡また,特に高騒音環境下においては,併せてACO社製Type7012標準マイクロフォンを利用し,大声によるクリップに対応した｡
2.2 発話音声収集手法
発話音声から,発話者のその時点での疲労度や緊張状態を評価しようとする場合,発話行為を求めることが更なる疲労や緊張を求めるものとならないことが必要である｡
そこで,共同研究において,発話音声は,日本の昔話"ウサギとカメの競争では,ウサギは山の麓に着く前に休んだのでカメに負けてしまいました｡",の様に日本人であれば誰でも知っていて,これを読むことによって緊張するとは考えられない文章を幾つか用意して,実験者の指示により朗読してもらうこととして収録した｡
また,特に発話音声の継続時間が数秒で構わない場合には, "カメに負けたのは?"と問い掛けて,"馬鹿なウサギ! ", "背中に大火傷したのは?"‑"悪いタヌキ!"と応えてもらえる様な問い掛けシ

当所では1998年に,発話音声のカオス性と発話者のストレスとの間の相関関係を発見して以来,様々にその応用を想定した研究開発を進めて来た｡
しかしながら,一般的には,発話者の声からその発話者のストレスが計測可能であると言うことが,簡単には信じられることではなかったことにより,またカオス理論に触れたことのある者においても,発話音声が従来の決定論的なカオス理論の枠組みを越えるものであったため,我々の研究は時にマスコミに取り上げられる様なことはあっても,これを検証しようと言う様な共同研究者に恵まれることは2003年まではなかった｡
1998年以来,当所は,発話音声分析ソフトウェ
アの開発は,民間企業数社と協力して進めて来たが,どの社も,唾液や血液中の疲労物質の計測といった様な人間の疲労度を定量的に計測する技術は有していなかったし,更には,我々は,被験者を適正に疲労させる技術等については望むべくもない状態にあった｡
その様な状況において,幸運にも, 2004年に漸く,鉄道総合技術研究所と東北大学,東京学芸大学の研究者から,ご協力を得ることが可能となり,当所が開発を進めて来たソフトウェアの機能検証を行うことができる様になった｡
本報告においては,鉄道総合技術研究所との共同研究,また東北大学との共同研究について,その内容と,現在までに得られた結果の一部を紹介する｡
2.発話音声収集用機材及び手法
2.1発話音声収集用機材
カオス論的な信号処理を想定する発話音声は,以下の条件を満足するものであることが必要である｡(1)発話音声信号は,圧縮アルゴリズムによる影響の定量化が行われていない現時点においては,非圧縮であることが必要であり, PCMレコーダにより収録しなければならない｡パソコンをサウンド･レコーダとして利用する場合も同様である｡(2)数秒程度の短い発話音声から計算される指標

87

電子航法研究所研究発表会(第5回 平成17年6月)

ステムも試作し利用した｡
疲労計測実験において一人の眼電図用電極

骨伝導ピックアップ

被験者は, 1回の実験で数十回から百数十回以上も似た様な文章を読んだり,或はたわいもない質問に応えたりすることが必要であり,上記の手法は日必ずしも被験者に好評な訳ではないが,現状において代替案はない｡
鉄道総合技術研究所との共同研究において,鉄道車輪の運転者を被験者として想定する場合,運転者は業務遂行において,"次の停車駅は000" "ドア
図1 脳波及び眼電計測用電極,マイクロフォン等装着状況
閉め良お〜し!延発5秒".等々と様々な業務発話を行うため,疲労度等評価実験においては,幾つかの実験環境をこれらの音声の収録も行っているが,背景に派手な設定し,全ての指標値が常に計測可能である訳ではレバー操作音等が重なることが多く,現時点では未ないので,それぞれの環境において測定可能な指標だ有効には処理できていない｡
値を測定した｡
図1として,被験者に電極及びマイクロフォン等
3.鉄道総合技術研究所との共同研究を装着した場合の外観を示す｡
鉄道総合技術研究所との共同研究は,同所人間科(3)疲労状態の判定は,学研究部の方々と行っており,他に発話音声分析ソ(3‑1)パフォーマンス指標のみから判定可能か?
フトウェアの共同開発を行っている民間企業の数(3‑2)生理的指標のみから判定可能か?
名に,データ収集等作業において,計測者側として(3‑3)心理的指標のみから判定可能か?
だけでなく被験者側としても,ご協力をいただきながら進めている｡(3‑4)パフォーマンス指標,生理的指標,心理的指標の内の2指標以上を組合せれば可能か?
3.1疲労状態の生成と疲労尺度どの指標値をどの様に組み合せて利用することで共同研究においては, (1)被験者が疲労している疲労状態の判定が可能であるのか,現在,データの状態を生成する手法を明らかにし, (2)その疲労度解析を進めながら検討している｡
を計測する測定指標を選定し,(3)疲労状態を判定
3. 2 睡眠不足の発話音声への影響の評価する手法を明らかにする｡
睡眠不足による心身状態の変化の観測は, 2人の(1)疲労状態の生成手法については,被験者により,以下の実験条件において一晩の徹夜(1‑1)過度の精神性作業や運動により実験中に疲を過度な身体活動を行わない様にして過ごさせ,約労を発現させる手法と,2時間毎に各種の心身機能データを収集することに(1‑2)単純な睡眠不足や肉体疲労の回復遅れによより行った｡
り,被験者を実験開始以前から疲労状態におく,･過ごし方:運動以外は何を行っても構わないが双方の手法について実験を行った｡
眠らないこと｡(2)疲労度の測定指標としては,･飲食:食事は約6時間毎に摂り,飲み物につい(2‑1)作業精度評価やフリッカ値等のパフォーマては特に規制しない｡
ンス指標,･その他:トイレ以外の外出はしない｡(2‑2)脳波や心電図,眼電図,筋電図,血中乳酸
実験結果として,発話音声による脳活性度指数の値,血糖値等の生理的指標,変化と,この変化との間に正の相関が見られた従来(2‑3)主観的な疲労感調べ,眠気スケール等によ指標(三択問題正答率)の変化をプロットしたグラ
る心理的指標,電子航法研究所研究発表会(第5回 平成17年6月)

正答率(%)

脳活性度指数図2

三択問題正答率と発話音声による脳活性度の経時的な変化
自覚症指数

脳活性度指数

被験者1
図3

正答率(%)

脳活性度指数

自覚症指数

脳活性度指数

時刻

被験者2

時刻

主観的な疲労感及び眠気尺度等自覚症指標値と発話音声による脳活性度の経時的な変化

4.東北大学との共同研究
東北大学との共同研究は,同大学高等教育開発推進センター及び同大学院医学系研究科機能医科学講座運動学分野の方々と行っており,他にソフトウェアの共同開発を行っている民間企業の数名に,データ収集等作業において,計測者側としてご協力をいただきながら進めている｡
4.1疲労状態の生成と疲労尺度共同研究においては,運動性疲労が発話音声に及ぼす影響の評価と,運動性疲労による精神性疲労の発現を発話音声の分析により評価することの可能性を検証することを目的として行っている｡
10人の男子大学生を被験者として選定し,エルゴメータ(自転車型の運動負荷器具)を利用して運フ(図2)を示す｡また,負の相関が見られた従来指標(主観的な疲労感及び眠気尺度自覚症指標値)の変化をプロットしたグラフ(図3)を示す｡
図2に示す結果は, 2人の被験者の間に差異は見られるものの,発話音声分析により交通事故等に繋がるヒューマン･エラー発生の可能性を評価可能であることを示すものである｡また図3は,眠気の強い状態においては,何等かの精神作業によっても脳活性度が上昇し難くなっていることを示している｡
今後,更に多くの被験者により,本実験結果は検証されなければならないが,上記実験結果は,発話音声を分析することにより睡眠不足による脳機能の低下を診断することの可能性を示している｡

89

電子航法研究所研究発表会(第5回 平成17年6月)

動性負荷を課す実験を行っている｡発話音声は30‑40秒程度で音読可能な文書を用意して,これを朗読することとして採取している｡また,発話音声
は,運動開始以前に5回,運動直後, 2分後, 5,10, 20, 30, 40, 50, 60分後に収録している｡
図4は,エルゴメータによる運動性負荷状態を示すものであり,図5は,ある被験者による発話音声の分析結果である｡
なお,エルゴメータ運動においては,予め被験者の最大酸素消費量を計測し,その酸素消費量に対して75%の酸素消費が発生する様に負荷強度を調整して, 30分間の運動を行ってもらった｡この運動強度は, 30分間の運動を完了することができない者が発生する程の強い負荷運動である｡
4. 2 運動性疲労の発話音声への影響
図5に示す実験結果からは,運動性疲労により発話音声から算出される脳活性度指数値が低下し,その後に運動開始以前のレベルにまで回復した様子を読み取ることができる｡図5に示した例は,比較的に良い,我々の実験目的に対して肯定的な実験結果であるが, 10人中5人の被験者において,同様に明確な傾向が観測されている｡残りの被験者においては,回復が観測されなかった者2名, 3本のプロットが明確に分かれなかった者2名であり, 1名については運動開始以前が最も脳活性度指数が低くなっていた｡
本稿以前の,研究報告等においては,筆者等は,疲労によると考えられる脳活性度指数の上昇を報告しているが[1,2]またこの実験結果は明らかに疲
労により脳活性度指数が低下することを示しており,その実験結果は相互に矛盾している様にも見えるが,以前の報告における脳活性度指数の上昇は,朗読実験等の精神性疲労により上昇したものである｡運動性疲労の場合には,運動直後には筋肉中の乳酸の代謝に酸素が多く消費されるため,肉体は,脳にはその活性度を上昇させる程に酸素を供給できない状態にあると考えることでその矛盾は解消される｡
5.おわりに
未だ発話音声によるヒューマン･パフォーマンス
等計測技術については,十分な検証実験が為されていないことは筆者も認めるところではあるが,現時点までに,この技術を否定する様な実験結果は報告されていない｡
2005年には,リアルタイム処理の可能なシステムの試作が完了する見込みであり,効率的に機能検証実験を進めることが可能になると期待している｡
この技術の可能性に期待を戴いている各位に感謝すると共に,本稿に紹介した成果は,当所との共同研究の参加者全員のものであることを明記する｡
文 献[1]塩見"発話分析から考える脳機能モデル"感性工学研究論文集 vol. 4,No. 1, Feb. 2004.
[2]塩見,他"発話音声によるストレス評価実験の手法と結果"第6回日本感性工学会 大会,Sep. 2004.

[3]千葉,他"発話音声を用いた身体運動時の疲労評価の可能性"第59回日本体力医学会大会,
Sep. 2004.
[4] http://www. siceca. org

脳活性度指数

図4

図5

エルゴメータ運動

90

運動前後の脳活性度指数の変化