プロジェクト報告書(最終) Project Final Report

提出日(Date) 2021/1/13

コミュニケーション脳科学
Communication Brain Science
榊原健生

1.

Takeru Sakakibara

背景違いを見つけるために必要なデータの調査、実験プラ

昨今、新型コロナウイルス感染症拡大による社会活ンの考案と設計、実験の準備、実行、そしてそこで使動のオンライン化などの影響を受けて、オンラインで用するテストの作成とテストの難易度調査、統計情報のコミュニケーションへの関心が高まっている。特に、 のまとめなどを課題として設定した。解析班では、実学生生活においても、様々な場面で zoom などを用い験によって得た情報を処理、解析し、可視化できる形た授業や会議が行われ、オンライン上で人と会話をすを出力するプログラムの作成、またこのプログラムのる機会が増えてきている。しかし、このような社会の出力結果から考察を行うというものを課題として設動きは以前からあったようなものではなく、つい最近定した。のうちに起こった変化であり、オンラインであること

3.

によって発生する問題や障害を把握できていないというのが現状である。
そこで、本プロジェクトは、こういったオンライン課題解決のためのプロセスとその結果ここまで説明した目標、課題を解決するために、2つの班それぞれで活動を行った。以下に、それぞれの班での活動を報告する。

上での人間同士のコミュニケーションにおける脳波

3.1 実験班を計測し、脳科学的な視点から考察することを目標と

3.1.1 概要

して活動を行った。また、この目標を達成するため、実験班では、対面及びオンライン上で行われる講義

オンライン上及び対面でのコミュニケーションにお形式の談話で、会話中の聴衆の脳波特徴に差が現れるける「理解度」というものを、脳波やテストによってか、また理解度の指標として扱えるパラメータがある測定し、それらを定量化、考察する、というテーマをかどうかを調べる実験を計画した。この実験では、発掲げた。

話者が決められた内容の文章を一方的に話し続け、そ2.の内容に関する質問(筆記テスト)と聞き取り中の脳課題の設定と到達目標
私たちは、オンラインコミュニケーションにおける波データを照らし合わせて特徴を検出することを前

理解度の測定と考察という目標を達成するために、実提とし、話し合いを進める上で修正していった。 脳

験班、解析班の 2 つの班に分かれ、それぞれの課題を波測定での電極の設置位置については、班員で話し合設定した。全体の課題としては、テーマの通り、対面った結果、この実験では言語処理に関する分野の脳波でのコミュニケーションとオンラインでのコミュニに変化があるのではないかと見当をつけ、 国際 10-

ケーションにおける差異を脳波などの情報をもとに20 法に従って、眼球運動の電位計測のため目の周辺見つけ出し、それについて考察するという課題を設定

3ch と、脳波全体の傾向を調べるため Cz、言語処理した。具体的には、コミュニケーションの中でも「大に 関 わ る 分 野 の 左 右 差 を 計 測 す る た め

学での講義」というものに焦点を当て、オンラインとF3,F4,P3,P4(運動野と感覚野) の計 8ch に決定した。

対面での違いを見つけるという課題であった。この課

3.1.2 実験準備

題の達成のため、2 つの班ではこれに内包する形で課実験材料として、実際の講義を想定した読み上げ用

題を設定した。実験班では、オンライン及び対面でのの文章とテストを用意した。仮案として、読み上げ用

の文章は、内容の難しさの違う 3 分間程度の童話を 2た後に、一斉にテストに回答してもらうものとした。

つずつ設定した。テストは、心理学の見地から、採点

予備実験の終了後は、集まった 16 名分のテスト結基準が明確で出題箇所も揃えやすい、再生問題と再認果の整理を行った。結果として、今回用意したテスト問題の２つのテストを採用した。再生問題とは、記述に大きな難易度の差はなく、得られた得点の分布も、式問題のように、脳内記憶のみを判断材料に回答する凡そ正規分布に従うものであることがわかったので、問題で、再認問題とは、正誤選択や語群選択式問題の特に問題に変更は加えなかった。平行して、データのように、提示された情報と脳内記憶の適合度を判断材統計処理の方法についても検討し、対面/オンライン料に回答する問題である。実験では、用意された 4 種

条件がテスト得点に与える影響を数値化するために、類の文章を対面と Zoom 上で 2 種類ずつ読み上げ、得点の標準化に着目、被験者のそれぞれ 10 問の素点その内容を聞いてもらった後にテストに答えてもらを実験調査で得た得点分布を元に標準化し、その 10うという方式をとることにした。

問の平均値を、解析班での多変量解析に使用するテス

3.1.3 予備実験(前期)ト結果の条件別代表値として採用することに決定し文章の内容や展開によっても、テストの結果が左右されてしまう可能性があるため、文章構成の統一が必た。
3.1.6 本実験(後期)要だと考え、小説の抜粋とニュースをジャンルの候補

これまでの結果を踏まえ、実験の実施方法を改善しとし、本実験で扱う文章のジャンルの選定を目的とした新しい本実験を計画・実行した。今回の実験では、た予備実験を実験班内で 3 度行った。この予備実験

筆記テスト中の身体の揺れなどによって脳波データは、本実験を想定しつつ、脳波測定を必要としないも内に混ざるノイズを低減したり、回答の記入スピードのに規模を縮小、簡略化しオンライン上で行った。使などの個人差が得点に与える影響を減らすため、認知用した題材と予備実験で得られた認知テストの結果テストの実施方法を、これまでの実験で採用していたを比較しながら、文章内容での公平性が保たれるもの

筆記テストタイプのものから、問題が載ったスライドの選定と絞り込みを繰り返し、結果としてニュースをを見せながら口頭で回答を発言させる口頭試問タイ採用した。

プに変更した。実験の終了後は、思考中脳波抽出のた

3.1.4 本実験(前期)

めのタイムスタンプの作成と、予め作成した Excel テ

本実験では、文章内容の難しさによる条件分岐をなンプレートへの回答データの入力・統計処理を行い、くし、テストの出題内容でも、より採点基準が明確で得られたテストのまとめ値と脳波データを解析班へ出題箇所の揃えやすい再認テストだけを実施した。本

提出し、解析班の脳波解析結果とテスト結果の有意差実験の結果、脳波データに何らかの有意差が見られるの相関を検討することで結論を得た。

可能性が示唆されたため、この実験を土台として再調

3.2 解析班

整し、実験の再現性や信頼性を向上させることに重点解析班では、まずプログラム作成のための勉強と、を置くことにした。

デモプログラムの翻訳から行った。今回の活動では処

3.1.5 予備実験(後期)理プログラムを Python で作成した。しかし、デモプ脳波計の設置作業や実験の進行に慣れるための、本

ログラムや過去の活動で使用されたプログラムは実験と全く条件の同じ再現実験と、本実験で使用するMATLAB によって作成されていたため、これを翻訳

認知テストの正答率の算出や、問題の改善案の検討のする必要があった。

ための予備実験の 2 つの実験を計画・実行した。予備

今回構築したプログラムは、フィルタ、高速フーリ実験では、前回の予備実験と同様の形式で Zoom 上のエ変換(FFT)、ヒートマップ描画、統計処理グラフ描

完全オンラインで実施し、話者の顔が見えるかどうか画、眼球運動の検出・低減、帯域ごとの分割グラフ描の区別は付けずに、予め録音した読み上げ音声を流し画、２変数重回帰分析を行うものであった(図 1)。フィルタは、IIR バンドパスフィルタと呼ばれるものを結果、左前頭部のθ帯のテスト要因、正中中心部のθ適用した。これは、入力した脳波データのうち、帯のオンライン/オフライン要因、左後頭部の β 帯の1~40Hz の周波数帯から外れた要素を除去するもの

オンライン/オフライン要因、右後頭部の β 帯の両要で、極端に大きい、または小さいデータを除去する目因に有意な差が見られた。これにおいて、オンライン・的で制作した。高速フーリエ変換は、入力した脳波デオフライン要因の t 値はオンラインの脳波パワーが高ータを周波数帯ごとに分解し、周波数帯ごとのパワーいほど正の方向に大きくなり、テスト得点要因の t 値を確認できるようにするもので、今後の処理や解析には、使用したテストの得点が高いほど正の方向に大き必要不可欠である。(図 2)。ヒートマップは、周波数くなる。今回の場合は、どのβ帯の t 値も正の値をと帯ごとのパワーを色で判別できるように可視化したっていたため、オンライン条件でのパワーが高かったグラフ(図 3)で、統計処理グラフは、標準偏差や分散といえる。さらに、後頭部に位置する P3,P4 の β 帯などの情報をグラフに落とし込み、データのばらつきのパワーが上がっているのも確認できた。加えて、すなどを検出できるようにしたもので、どちらもデータべての被験者において、オンライン/オフラインの間を可視化し、直感的にデータを確認できるようにするでのテストの得点に有意差が見られなかった。これら目的で制作した。眼球運動の低減は、脳波データに交の結果から今回の実験ではオンライン条件において、じりこんだ眼球運動のデータを除去する目的で行っ集中、または認知努力が必要な状態にあったと考察した。今回は、眼球電位の導出、シグナルの検出、眼球た。

運動データの低減の三段階に分けて行った。眼球電位4.

今後の課題の導出は目の左右での電位データと上下での電位デ

今回の結果では、「オンラインでの課題のほうが認ータそれぞれでの差を計算することで導出した。シグ

知的負荷がかかり、認知努力が必要な状態であった」

ナルの検出は、導出された眼電位の中でも 50mV 以上と結論付けた。これは、私たちが身の回りで体験する1000mV 以下のものをシグナルとして検出し、低減すようなオンラインコミュニケーションでの体験を裏べき眼球運動データとして抜き出した(図 4)。そして、 付けるような結果であると考える。この結果自体は一このデータを偏回帰係数として回帰分析を行い、眼球つのまとまった成果として達成できたと考えている。

運動を低減した脳波データとして出力した(図 5)。帯

しかし、開始当初の目標の一案であった、この活動で域ごとのグラフ描画は、周波数帯ごとに分解した脳波得たパラメータや結果を応用して起こりうる問題をデータをθ帯、α帯、β帯と呼ばれる脳波帯域にまと解決するシステムを制作するという部分に関してはめ、それを描画したものである。このデータは、周波着手できなかったため、今後はそういった部分に関し数帯ごとのデータよりも範囲が大きく、よりデータのての研究活動に期待したい。

特徴をとらえやすいため、考察する際に役立つほか、 また、今回の実験では実験の被験者が不安定な状態で検定数を減らす目的もあり制作した。2 変数重回帰分あったり、実験プロセスの遂行がスムーズにいかなか析は、複数の独立変数を用いて 1 つの目的変数を予測った部分もあり、解析においても、解析プログラムのするための解析の手法であり、今回は、オンラインか、 係数や変数の値や眼球運動低減のメソッドの考察がオフラインかという条件を 1 つ目、テストのスコアの不十分であったと思われる部分があったので、これら結果を 2 つ目の独立変数として偏回帰係数を求めたの部分に関しては来年度以降の活動への参考となる(図 6)。この際に、t 検定を利用し、これらの 2 変数ようにアドバイス等を資料として残していきたいとに関してｔ値を出力した。その結果、最終的な考察を思う。

するために必要な t 値のグラフが得られた(図 7)。
3.3 全体考察
この 2 班の結果をもとに、全体で考察を行った。その参考文献
MathWorks: https://jp.mathworks.com/
Matplotlib: https://matplotlib.org/
Numpy: https://numpy.org/
Scipy: https://docs.scipy.org/
統計学自習ノート http://aoki2.si.gunma-u.ac.jp/lecture/index.html
脳波の手習いシリーズ

https://naraamt.or.jp/Academic/kensyuukai/2005/kirei/nouha_normal/nouha_normal.html

図 4. 検出した眼球運動のグラフの例

図 1. プログラムフローチャート

図 5. 眼球運動を低減したグラフの例

図 2. 高速フーリエ変換(FFT)適用グラフの例

図 6. 重回帰分析適用グラフ

図 3. ヒートマップの例

図 7. 頭部脳波パワーt 値分布グラフ