人間情報学会

Academy of Human Informatics

第 4 0 回人 間 情 報 学 会 講 演 集

2021年 12月 0 9 日

オンライン開催人 間 情 報 学 会 オーラルセッションプログラム◆日 時 ： 令 和 3 年 12 月 9 日 （ 木 ） 11:00-12:55◆場 所 ： ウェブ会 議 システムにて発表 9 分，質疑 5 分，切り替え 1 分[11:00 - 12:15] オーラルセッション （15 分×5 件）

1. 心 拍 変 動 を活 用 したオンラインと対 面 でのヨガのリラクゼーション効 果 の差 異 の検 討
髙島直之，釜谷美翔子，稲垣宗治，中村研二，駒澤真人，板生研一

2. 生 体 信 号 を用 いた温 熱 快 適 性 の推 定
川﨑勇佑，Tahera Hossain，Kizito Nkurikiyeyezu，横窪安奈，Guillaume Lopez

3. YOLO を用 いた人 除 去 処 理 により動 的 環 境 に適 応 した屋 内 SLAM
秋庭啓吾，鈴木龍紀，池勇勳，Sarthak Pathak，梅田和昇

4. 異 なる電 極 数 の EEG 解 析 のための学 習 手 法
鶴ヶ崎裕真, 田谷昭仁, 戸辺義人

5. YAMNet 転 移 学 習 を用 いた骨 伝 導 音 による食 事 行 動 認 識
陳維，蒲池遥，横窪安奈，Guillaume Lopez[12:15 - 12:25] 休憩[12:25 - 12:55]企業セッション （15 分×2 件）

1. 時 空 間 ・ 人 間 拡 張 技 術 の探 求 とその取 り組 み例
坂村美奈

2. ハイブリッドワーク時 代 のオフィスを支 えるロボット 活 用 の可 能 性坂口綾華

【 オーラルセッション概 要 集 】 （ 全 5 件 ）1. 心拍変動を活用したオンラインと対面でのヨガのリラクゼーション効果の差異の検討
発表者：髙島直之(1)，釜谷美翔子(1)，稲垣宗治(1)，中村研二(1)，駒澤真人(2)，板生研一(2)(1) 株式会社ゴールドウイン テック・ラボ(2) WIN フロンティア株式会社

概 要 ： 本 研 究 では， 心 拍 変 動 による自 律 神 経 活 動 及 び心 理 指 標 を活 用 し， コロナ禍 による新しい運 動 様 式 の 検 討 として， オンラインと 対 面 でヨガを実 施 した 際 のリラクゼーショ ン効 果の 差 異 の 評 価 検 討 をお こ なった． そ の 結 果 ， オ ンラインにて個 人 でヨガを実 施 する より，
オンライン， 対 面 にてグループで人 と繋 がりをもってヨガを実 施 した方 がリラクゼーション効果 が高 まる 傾 向 がみられ た． 特 に， 年 齢 が高 まる ほどオンラインより対 面 かつグループにてヨガを実 施 することの重 要 性 が示 唆 された．

2.

生 体 信 号 を用 いた温 熱 快 適 性 の推 定
発表者：川﨑勇佑(1)，Tahera Hossain(1)，Kizito Nkurikiyeyezu(2)，横窪安奈(3)，Guillaume Lopez(3)，(1) 青山学院大学研究科知能情報コース(2) University of Rwanda(3) 青山学院大学理工学部情報テクノロジー学科

概 要 ： 近 年 ， 熱 中 症 の 被 害 を 受 ける 人 が 増 加 し てい る ． 室 内 で暑 さ を 感 じ にくい 高 齢 者 や 自
分 で 暑 さへの 対 応 がで き ない 幼 児 だ けでは なく ， 屋 外 作 業 にお い て も， 予 防 策 を講 じ る
必 要 があ る ． 本 研 究 では スマート ウォッチで計 測 できる 生 体 情 報 に基 づい て， 個 人 の熱
中 症 リスクを予 測 する手 法 の開 発 を目 的 としている． そのため， 連 続 脈 拍 データから， 暑
熱 環 境 の 快 適 性 が予 測 できるかを分 析 し た． 36 名 の成 人 男 女 を対 象 に， 普 通 ， 少 し暖 かい， 暖 かい ， 暑 いの 4 つの 温 湿 度 環 境 と ， ラジオ体 操 ， 読 書 ， 転 写 の ３ つの作 業
状 況 におい て， 連 続 脈 拍 間 隔 を計 測 した ． 取 得 した 脈 拍 変 動 データの 特 徴 量 を基 に，
4 段 階 に分 けた温 熱 快 適 性 が 97％ の精 度 で分 類 できると分 かった． 今 後 は被 験 者 の
主 観 的 な快 適 性 の アンケート を取 り， そ の 結 果 を生 体 信 号 用 い て推 定 し てい こうと 考 え
ている．

3.

YOLO を用いた人除去処理により動的環境に適応した屋内 SLAM
発表者：秋庭啓吾(1)，鈴木龍紀(1)，池勇勳(2)，Sarthak Pathak(3)，梅田和昇(3)，(1) 中央大学大学院理工学研究科(2) 北陸先端科学技術大学院大学(3) 中央大学理工学部

概 要 ： 本 論 文 では ， YOLO（ You Only Look Once ） を用 い た 人 除 去 処 理 を 従 来 の 一 般 的 な
SLAM（ Simultaneous Localization and Mapping） 手 法 に適 用 することで， 人 が存 在 する屋 内 の動 的 環 境 でもロバスト な地 図 構 築 が可 能 な新 規 SLAM システムを提 案 する．
一 般 に ， 人 が 多 く存 在 す る 環 境 で移 動 ロ ボット によ る 地 図 構 築 を 行 う 場 合 ， 人 による オ
ク ルージョ ンの 影 響 で高 精 度 な地 図 構 築 が 困 難 であ る ． そ こで本 研 究 では ， 深 層 学 習による物 体 認 識 技 術 である YOLO を用 いて人 を識 別 し， 識 別 結 果 に基 づいて人 のデー
タを除 去 することで， 人 が存 在 する動 的 環 境 下 での地 図 構 築 の精 度 を向 上 させる．

4.

異なる電極数の EEG 解析のための学習手法
発表者： 鶴ヶ崎裕真(1), 田谷昭仁(2), 戸辺義人(2)(1) 青山学院大学 理工学研究科 理工学専攻 知能情報コース(2) 青山学院大学 理工学部 情報テクノロジー学科

概 要 ： EEG (Electroencephalogram) を 使 用 し た 機 械 学 習 によ り 感 情 や 運 動 状 態 な ど ， 人 間の様 々な状 態 を推 測 する ことが可 能 である ． 脳 波 計 は異 なる 電 極 数 の 物 が存 在 する ため， 推 定 対 象 が同 じであっても， 入 力 サイズが異 なり， 別 の機 械 学 習 タスクとし て学 習 を
行 わ なけれ ば なら ない 課 題 に 直 面 する ． 本 研 究 で は ， 異 なる 脳 波 計 の デー タ を 学 習 する手 法 を検 討 する． 具 体 的 には， 不 足 する電 極 データを補 間 することで入 力 データを同サイズにし， ファインチューニングやメタ学 習 を， 異 なる電 極 数 による思 考 推 定 タスクに適用 して推 定 精 度 を向 上 する． また， 近 傍 補 間 と 0 パディングによる補 間 の 2 つを適 用 して精 度 を比 較 する． 結 果 としては， 0 パディングの精 度 が近 傍 補 間 の精 度 を上 回 る結 果
となった．

5.

YAMNet 転 移 学 習 を用 いた骨 伝 導 音 による食 事 行 動 認 識
発表者：陳維(1)，蒲池遥(1)，横窪安奈(2)，Guillaume Lopez(2)(1) 青山学院大学理工学研究科知能情報コース(2) 青山学院大学理工学部情報テクノロジー学科

概 要 ： 本 研 究 は骨 伝 導 マイクを用 いて食 事 行 動 を自 動 推 定 するシステムを提 案 した． 骨 伝 導
マイクから取 得 した 14 人 の被 験 者 の咀 嚼 ， 嚥 下 ， 会 話 ， その他 を含 む食 事 エピソードを
実 験 データとする． 学 習 済 みのネット ワーク YAMNet を転 移 学 習 として音 響 信 号 の特 徴を抽 出 し， LSTM ネット ワ ークに分 類 させる． 提 案 手 法 のフレームレベルにおい た分 類 結
果 は正 解 率 と F1-score 両 方 93.3%まで達 した． より健 康 的 な食 行 動 モニタリングシス
テムや早 食 い防 止 などに役 立 つと期 待 できる．

【 企 業 セッション】 （ 2 件 ）7. 時 空 間 ・ 人 間 拡 張 技 術 の探 求 とその取 り組 み例
発表者： 坂村美奈(1)(1) カディンチェ株式会社

概 要 ： カディンチェ株 式 会 社 では、視 覚 技 術 や空 間 表 現 技 術 を中 心 とした研 究 開 発 を行 なっている。近 年 ではソフト ウェア・ ハードウェアの両 面 から、XR（ AR・ MR・ VR） 技 術 、CG/実
写 のコンテンツ制 作 、バーチャルスタジオ構 築 等 に取 り組 み、実 空 間 ・ 仮 想 空 間 内 の移動 や知 覚 を拡 張 するような時 空 間 ・ 人 間 拡 張 技 術 に関 する研 究 開 発 を行 なっている。
本 稿 では、弊 社 が開 発 を進 める各 技 術 の詳 細 とその取 り組 み例 について述 べる。

8.

ハイブリッドワーク時代のオフィスを支えるロボット活用の可能性
発表者： 坂口綾華(1)(1)

コクヨ株式会社

概 要 ： オフィスワークとテレワークが混 合 したハイブリッドワークの普 及 に伴 い， 現 場 業 務 の削 減や遠 隔 コミュニケーション促 進 の観 点 から， オフィスにおけるロボット 活 用 が注 目 されている． 本 稿 では， オフィスでのワーカーの体 験 価 値 向 上 実 現 のためのロボット 活 用 ビジョンを提 示 し， オフィスへのロボット 導 入 に向 けた実 証 実 験 の取 り組 み事 例 を報 告 する．

心拍変動を活用したオンラインと対面でのヨガのリラクゼーション効果の差異の検討
髙島直之 1

釜谷 美翔子 1

稲垣 宗治 1 中村 研二 1 駒澤 真人 2 板生 研一 2

1 株式会社ゴールドウイン テック・ラボ 〒932-0193 富山県小矢部市清沢 210
2WIN フロンティア株式会社 〒158-0097 東京都世田谷区用賀 3-11-15 C・I ビル 2F-A

概要
本研究では，心拍変動による自律神経活動及び心理指標を活用し，コロナ禍による新しい運動様式の検討として，オンラインと対面でヨガを実施した際のリラクゼーション効果の差異の評価検討をおこなった．その結果，オンラインにて個人でヨガを実施するより，オンライン，対面にてグループで人と繋がりをもってヨガを実施した
方がリラクゼーション効果が高まる傾向がみられた．特に，年齢が高まるほどオンラインより対面かつグループ
にてヨガを実施することの重要性が示唆された．
キーワード：運動, ヨガ, オンライン, 対面, 個人, グループ, ストレス, 心拍変動, 自律神経, 二次元気分尺度

1.背景と目的
現代は COVID-19（コロナ）により社会環境が激変
し，コロナ前よりストレスがかかる環境になっている．
例えば，働く環境においては，リモートワークの導入に伴い，終日一人で過ごす時間が増え，周りとの繋がり，連帯感が減ったりするなど，孤独感や不安感が増す環境となっている．また，通勤・移動時間が減った
ことで運動不足に陥り，心身共に負荷がかかる環境となっている．このようなコロナ禍によるニューノーマ
ルな社会の中で，新しい形での運動様式の検討及び有効性の議論が重要となってくる．新しい運動様式の一つとして，今後，コロナ禍で自宅でも簡易にでき，人と対面せずにオンラインでおこなえる運動の重要性が高まってくると考えらえる．しかしながら，オンラインでの運動の有効性や，コロナ前では通常であった対面で人と連帯感，繋がりをもってグループで実施する運動の効果との比較をした研究は少ない．
そこで本研究では，自宅で簡易に実施できる運動としてヨガを対象とし，①オンラインにて個人で実施するヨガ，②オンラインにてグループで実施するヨガ，③対面にてグループで実施するヨガの，3 パターンでのリラクゼーション効果を心拍変動による自律神経活
動及び心理指標を用いて評価検討をおこなった．

2.先行研究
ヨガの効果に関する先行研究として，古宮（2011）[1]がヨガの心理的効果についての文献レビューをしており，ヨガによる身体の弛緩，免疫機能など身体機能の活性化，不安の軽減など，さまざまな身体的，心理的効果があることが先行研究から観察されている．また，オンライ ンによる ヨガ に特化し た研 究では，
Huberty J（2020）[2]らが，流産を経験した 90 名の女性
被験者を対象にオンラインヨガを実施する群と，ストレッチを実施する群に分けて，介入前，介入後（3 カ月後），フォローアップ（5 ヶ月後）での不安と PTSDのスコア（主観値）を採取した調査がある．その結果，
オンラインヨガ介入群にて，介入後，フォローアップ
時での不安と，PTSD のスコアが減少する傾向がみら
れ，ストレス軽減効果が示唆されている．しかしながら，Huberty J らの研究ではオンラインの動画を見ながら個人でヨガを実施した効果の研究であり，オンライ
ンや対面で人と繋がりながらグループで実施する運動の効果との比較の観点での研究はなされていない．

3.実験内容20 代～50 代の同じ職場の男性被験者 12 名を対象に，事前に日中（9:00～17:00）の通常業務時の心拍変動を測定し，日を変えて各被験者には以下の 3 パターンのヨガの実験を実施してもらった．
①オンラインにて個人でヨガを実施②オンラインにて Microsoft Teams[3]を使い 3～4 人のグループで同時にヨガを実施③対面にて 3～4 人のグループで同時にヨガを実施
ヨガ実施の前後 10 分間は安静にしてもらい，グルー
プで実施するケースでは，ヨガを実施する前後で 5 分
間の雑談などのコミュニケーションをする時間を確保した．各パターンとも同一の 60 分程度の動画によるヨガプログラムを視聴しながらヨガを実施してもらった．また，各パターンのヨガ実験は日を変えて同一時間帯におこない，被験者毎に実施順番をランダムにし順番の影響を排除した．

個人で実施時（①）
10 分安静→ヨガ実施（60 分）→10 分安静
グループで実施時（②，③）
10 分安静→5 分コミュニケーション→ヨガ実施（60分）→5 分コミュニケーション→10 分安静
本実験では心拍変動を測定する為，ユニオンツール
株式会社製のウェアラブル心拍センサ[4]を装着してもらった．本センサで計測した RR 間隔を WIN フロンテ
ィア株式会社製のソフトウェア[5]を用いて，周波数解析し，0.04Hz～0.15Hz を低周波数成分(LF)，0.15Hz～
0.4Hz を高周波成分(HF)として算出した．また，LF とHF の比である LF/HF は交感神経活動を示すと言われており，自律神経活動の算出手法は心拍変動解析のガ
イドラインである論文[6]の手順に則った．本実験では，
ソフトウェア[5]を用いて，体動の少ない安静時のデー
タのみを使用した．また，心理指標としてヨガの前後で二次元気分尺度を採取した．本尺度は 心理面，生理面からその時の気分を短時間で直接的に，しかも具体的に測ることができる尺度として近年その信頼性と妥1

当性が評価されている[7]．二次元気分尺度は 8 問の説明に答えることで，心理状態の成分である「快適度」と「覚醒度」を測定することができる指標である．本
研究の統計処理は，IBM SPSS Statics Version22 を使用
し，検定の有意水準は 5%とした．

4.実験結果① ヨガそのものの効果
3 パターンのヨガ全体を対象に，心拍変動による自律神経活動による評価をおこなった．その結果，ヨガの実施前後で交感神経活動が下がる傾向が見られた．
特に，図１に示すように 40～50 代の群（6 名）ではヨガ実施前後でストレス値（交感神経活動）が下がる傾向がみられ，5%水準で統計的有意差が見られた．
（p 値=0.043）ここでは，ヨガ実施前の 2 群の平均の差の検定（t 検定/対応あり）を実施した．

年齢が高いほど対面による効果が高かった理由として
は，若年層に比べて Teams などのデジタルツールに使い慣れていなかったり，年齢が高い方が管理職（上司）の立場が多く，対面でグループの部下のメンバーの顔が直接見える状況の方がより安心するなどの，心理的影響が作用した可能も考えられる．今後は，ヨガ以外の運動も対象として，コロナ禍での運動様式として，
オンラインと対面の効果的な使い方に関して，検討を進めていきたいと考えている．

② 「個人」，「グループ・オンライン」，「グループ・
対面」での効果比較
3 パターンのヨガ実施前後の交感神経活動（LF/HF）の変化量のグラフを図 2 に示す．LF/HF の変化量（=ヨガ前の交感神経活動（LF/HF）/ヨガ後の交感神経活動（LF/HF））が 1 を超えている場合，ヨガの実施によるストレス軽減効果があったという解釈になり，値が高
いほど，ヨガの実施効果が高いことを意味する．
その結果，個人に比べてグループ，特にオンラインでの実施時の方が，ヨガ実施前後で交感神経活動が低下する変化量が大きく，ヨガによるストレス軽減効果が高い傾向が見られた．ただし，個人，グループ・オ
ンライン，グループ・対面での実施の 3 群の平均の差の検定（1 元配置分散分析）を実施したが，統計的有意差は見られなかった．また，主観の二次元気分尺度
でも，個人に比べてグループでの実施の方が「快適度」の評価が高い傾向がみられ，生体情報と連動する傾向がみられた．ただし，3 群の平均の差の検定（1 元配置
分散分析）を実施したが，統計的有意差は見られなかった．
次に，表 1 に示すように従属変数として日常時の日中の交感神経活動 LF/HF の平均値，
LF/HF の変動係数，
年齢とし，目的変数をヨガの効果として，LF/HF の変
化量で重回帰分析を行なった．その結果，「グループ・
対面」においてのみ，年齢とヨガの効果に有意な関係が見られた．
（p 値=0.033）これにより，年齢が高くなるほど，グループかつ対面で，最もヨガの効果が高まることが示唆された．

5.考察
本実験により，個人でヨガを実施するより，グループ（オンライン，対面）で実施した方がヨガによるス
トレス軽減効果が高まる傾向がみられた．特に，年齢が高まるほどオンラインより対面かつグループにてヨガを実施することの重要性が明らかになった．
個人よりグループにてストレス軽減効果が示唆された理由としては，繋がりを感じることで安心感を抱いたことや，周りの目があることで，より意識して取り組んだことによる影響も考えられる．その為，現状の孤独感や不安感が増すコロナ禍においては，日常生活の一部にオンラインにて仲間と繋がりながらヨガのような運動をすることの価値はあると考えられる．また，

図 1. ヨガ前後の交感神経活動（40～50 代の群）図 2. ヨガ前後の交感神経活動の変化量
表 1. 重回帰分析の結果

文

献

[1]

古宮 昇 ヨガの心理的効果についての調査研究
Vol．44 (2011) No．2 p. 110-117

カウンセリング研究[2]

Huberty J, Sullivan M, Green J, Kurka J, Leiferman J, Gold K, etal. Online yoga to reduce post traumatic stress in women who haveexperienced stillbirth: a randomized control feasibility trial.
BMC Complement Med Ther. 2020;20(1):173[3]

MicrosoftTeams,https://www.microsoft.com/ja-jp/microsoftteams/group-chat-software?SilentAuth=1[4]

ユ ニ オ ン ツ ー ル ウ ェ ア ラ ブ ル 心 拍 セ ン サ ：https://www.uniontool.co.jp/product/sensor/whs1.html[5]

WIN フロンティア Lifescore：https://www.winfrontier.com/wearablesensing/lifescore/[6]

Task Force of the European Society of Cardiology and the North
American Society of Pacing and Electrophysiology. (1996). Heartrate variability: standards of measurement, physiologicalinterpretation, and clinical use. Circulation, 93, 1043-1065.

[7]

坂入洋右,徳田英次,川原正人,谷木龍男,征矢英昭（2003），心理的覚醒度・快適度を測定する二次元気分尺度の開発，筑波大学体育科学系紀要，第 26
号:27-362

生体信号を用いた温熱快適性の推定
川﨑勇佑 1

Tahera Hossain 1 Kizito Nkurikiyeyezu 2

横窪安奈 1 Guillaume Lopez 1

1 青山学院大学理工学研究科知能情報コース 〒252-0206 神奈川県相模原市中央区淵野辺 5-10-1
2 University of Rwanda KK 737 Street, Gikondo, Kigali PO BOX 4285 Kigali-Rwanda

概要
近年，熱中症の被害を受ける人が増加している．室内で暑さを感じにくい高齢者や自分で暑さへの対応ができない幼児だけではなく，屋外作業においても，予防策を講じる必要がある．本研究ではスマートウォッチで計測できる生体情報に基づいて，個人の熱中症リスクを予測する手法の開発を目的としている．そのため，連続脈拍データから，暑熱環境の快適性が予測できるかを分析した．36 名の成人男女を対象に，普通，少し暖かい，暖かい，暑いの 4 つの温湿度環境と，ラジオ体操，読書，転写の３つの作業状況において，連続脈拍間隔を計測した．
取得した脈拍変動データの特徴量を基に，4 段階に分けた温熱快適性が 97％の精度で分類できると分かった．今後は被験者の主観的な快適性のアンケートを取り，その結果を生体信号用いて推定していこうと考えている．
キーワード：

温熱快適性，ウェアラブルセンサ，スマートウォッチ，PMV

1．本研究の背景
熱中症による死者数は年々増加傾向にあり，2018 年までの 10 年間は，それ以前の 10 年間の 2 倍の人が熱中症で命を落としている．熱中症の死者数の中で特に高齢者の割合が特に大きく，2010 年以降熱中症による死者数の約 80%が高齢者であった[1]．高齢者の方が熱中症になりやすい理由として，体の冷えを嫌がったり，
温度を感じづらくなったり，暑さを感じづらくなってしまうことなどがあげられる．また高齢者だけでなく，室外/工場で作業している人も熱中症のリスクが高い．
室外/工場で作業している人は継続的な熱暴露による熱中症被害だけではなく，温度の変化を繰り返す環境に曝される生活において，知らず知らずのうちに高血圧症を悪化させている可能性があるという報告もある．
そのため，リスクを低減させ重症化を防ぐため，作業中の体温測定・体重測定・心拍数測定が必要である．
また，人によって快適な温度は違うということがわ
かっている．しかしながら，ほとんどの温熱快適性提供技術（空調ユニットなど）は，建物すべての居住者に中立的な熱条件を提供してしまっている[2]．加えて，体のわずかな部分（頭，手首，足など）のみが温熱的
快適性の主な原因である．たとえば，均一な環境条件
では，寒いとき，人の足と手は体の他の部分よりも冷たく感じる．一方で寒い環境の時，頭は手足に比べて暖かい．通常，体の他の部分よりも温かく感じられ，十分な快適性を達成するには比較的低い温度を与える
ので十分である[3]．

2．研究目的と目標
本研究では，熱中症発生メカニズムを定量的に示すとともに，普及しつつあるウェアラブル技術を活用して，一人暮らし高齢者の安心と安全および，労働者の健康と安全を守る仕組みの開発を目指している．そのため，まず，日常生活に経験しうる熱環境において，
スマートウォッチを用いて，計測できる脈拍・体温を始めとした生理指標から，熱中症リスクを予測できる手法の検証を行っている．
先行研究として，Nkurikiyeyezu ら[4]は心拍変動を用いて，最大 93%の精度で，寒い・普通・暑いと，3 段
階で温熱快適性を予測している．このことから，温湿度環境の違いは心拍変動に影響を与えることが示唆されているが，適切なタイミングで熱中症リスクを予測するため，より細かい粒度で温熱快適性を推定しり必要がある．一方，熱環境による生体情報への影響だけではなく，作業による精神負担もしくは，運動による身体負担と重なった場合の影響も調査する必要がある．
今回は，様々な活動状況下において，手首で計測できる脈拍変動関連指標により，PMV モデルを用いた環境温熱快適性を高精度で推定できるモデルを検証した．

3．様々な温熱環境と活動における脈拍データの収集
環境温熱快適性を表す指標として PMV（Predicted
Mean Vote）モデルというものがある．PMV モデルは，様々な温度状況下で長期間にわたって実施された人々に対する大規模な実験に基づいている[5]．PMV モデ
ルは，建物の住居者の平均熱知覚を予測するために使用され，世界的な温熱適性基準（ASHRAE55）に採用されている[6]．ASHRAE55 を使用するためにはいくつかの条件を達成しなくてはならない．温度，相対湿度，
風の流れ，衣服，代謝率，平均放射温度を知る必要があるということである．予測された PMV は寒い，涼
しい，少し涼しい，普通，少し暖かい，暖かい，暑いの 7 段階に分けられる．
本研究では，熱中症リスクの予測を目指しているた
め，普通～暑いの 4 段階に限定して，実験環境を設定
いた．今回の実験の温湿度環境や，衣服などの条件とPMV の値は表 1 の通りに定めた．
表１ 実験環境と PMV
普通 少し暖かい 暖かい
25
27
29
温度（℃）
60
60
80
湿度（%）
0.1
0.1
0.1
風の流れ（m/s）
1.1
1.1
1.1
代謝率
0.57
0.57
0.57
衣服
PMV
0.01
0.64
1.58

暑い
32
80
0.1
1.1
0.57
2.62

21 歳から 50 歳までの成人男女計 33 名（男 23，女
10，延べ 36 回）を対象に，上述の 4 つの温湿度環境と，以下の 3 つの作業を行った．
① 読書：室内でリラックスしている状況② 転写：オフィスで作業を実施している状況③ ラジオ体操：室外・工場で作業している状況3

表 2 実験と温湿度環境の組み合わせ
作業内容
環境温熱
温度 (℃) 湿度 (%)
快適性
32
80
ラジオ体操 暑い25
60
ラジオ体操 普通
25
60
読書
普通
32
80
読書
暑い
60
読書
少し暖かい 27
29
80
読書
暖かい
32
80
転写
暑い
60
転写
少し暖かい 27回構築したモデルは環境の温熱快適性が推定できても，個人が感じる温熱快適性にばらつきがあるため，そのまま個人の熱中症リスクの予測に適応できない．今後
は，個人レベルに焦点を当て，実験中に収集した主観的な温熱快適性が推定できるモデルを検証するとともに，脈拍変動以外の生体信号の効果も検証していく．

f1値（%）

4 つの温湿度環境と 3 つの作業の実験の順序は表 2のとおりである．読書は各温湿度環境において，15 分間実施した．転写は少し暖かいと暑いの 2 つの温湿度環境において，15 分間行った．読書と転写は，雑誌を我々が準備したものを使用してもらった．そして，ラ
ジオ体操は普通と暑いの 2 つの温湿度環境において，
ラジオ体操第 1 第 2 第 3，約 10 分間実施した．参加者
は実験中常にスマートウォッチ（Empatica E4）を装着
し，連続脈拍を測定した．また，各環境の温度と湿度も計測し， 被験者の衣服や作業の種類をもとに，実験中の実際の 1 秒ごとのＰＭＶを導き出した．

97.2
97
96.8
96.6
96.4
96.2
96
KNN

RF
分類器

ET

図 1 各分類器による評価精度（F1 値）

5．データ分析と結果考察収集した連続脈拍データをリサンプリング後，3 分間の窓と 30 秒間のシフト分割にて，脈拍変動の特徴量を抽出し，分析を行った．分割した結果，普通 11182
個，少し暖かい 18236 個，暖かい 35585 個，暑い 10091
個のデータセットになった．脈拍変動の特徴量は時間領域と周波数領域をそれぞれ使用した．時間領域は，計算が容易で理解することも簡単である．時間領域には統計学的な指標があり，SDNN，RMSSD，pNN50 などがある．周波数領域は，高速フーリエ変換などを用いて，高周波成分 HF，低周波成分 LF と，LF/HF をはじめとした指標は，交感神経系や，副交感神経系の活動バランスの変化を捉えることができる．どちらの領域も精神状態を推定することに有効であり，本研究では両方から計 28 個の特徴量を算出した．
また，今回使用した分類器は KNN（K 近傍法），RF（ランダムフォレスト）と，ET（エクストラツリー）である．前述の脈拍変動特徴量データセットを学習用
75％と，評価用 25％で分割し，各分類器を用いて，4つの環境温熱快適性を推定するモデルを学習・評価した．精度評価指標として，再現率と適合率の調和平均である F1 値を導出した．上述データセット分割・学
習・評価をランダムに 10 回繰り返し，その平均精度を
図 1 にまとめた．どの分類器も 96％以上の精度を実現
し，KNN は 97%で最も高かった．図 2 に示す KNN の混合行列をみると，ほとんど正解クラスと予測クラス
が同じものであることが分かる．その中で暖かいと普通が比較的にお互いに多く間違えて予測されたことが見受けられる．

6．結論と今後の展望
今回の実験の結果から，脈拍変動のみを用いて非常に高い精度で環境温熱快適性を推定することができ，環境の熱さの度合の違いが，活動状況を問わず，脈拍変動に反映されていることが示唆された．しかし，今

図2

KNN の混合行列

謝辞
この研究は，セコム科学技術振興財団の支援により研究が行われた．本実験は富士通ゼネラル株式会社の実験環境提供と実施の協力によって行われた．また，本研究の実験は人を対象とする研究に関する研究倫理審査委員会の審査・承認を受け実施された（承認番号H21-009）．

文

献[1] 年齢（５歳階級）別にみた熱中症による死亡数の年 次 推 移 （ 平 成 ７ 年 ～ 令 和 元 年 ） .
https://www.mhlw.go.jp/toukei/saikin/hw/jinkou/toku
syu/necchusho19/dl/nenrei.pdf. (2021-09-01 参照)[2] J. van Hoof. “Forty years of Fanger’s model ofthermal comfort: comfort for all?” In: Indoor air
18(3):182-201 (2008).
[3] E. Arens, H. Zhang, C. Huizenga. “Partial andwhole-body thermal sensation and comfort - Part I:
Uniform environmental conditions.” In: Journal of
Thermal Biology 31(1-2):53-9 (2006).
[4] K. Nkurikiyeyezu, Y. Suzuki, G. Lopez, "Heart Rate
Variability as a Predictive Biomarker for Thermal
Comfort." In: Journal of Ambient Intelligence andHumanized Computing 9:1465-77 (2018).
[5] P.O. Fanger. “Assessment of man’s thermal comfort
in practice.” In: British Journal of Industrial Medicine
30(4):313-24 (1973).
[6] ASHRAE. Standard 55: Thermal Environmental
Conditions for Human Occupancy. Vol.
2017.
Atlanta, GA, USA: ASHRAE, 2017.

4

YOLO を用いた人除去処理により動的環境に適応した
屋内 SLAM
秋庭啓吾 1

鈴木龍紀 1

池勇勳 2 Sarthak Pathak3 梅田和昇 3

1 中央大学大学院理工学研究科 〒112-8551 東京都文京区春日 1-13-27
2 北陸先端科学技術大学院大学 先端科学技術研究科 〒923-1211 石川県能美市旭台 1-1
3 中央大学理工学部 〒112-8551 東京都文京区春日 1-13-27

概要
本論文では，YOLO（You Only Look Once）を用いた人除去処理を従来の一般的な SLAM（Simultaneous Localizationand Mapping）手法に適用することで，人が存在する屋内の動的環境でもロバストな地図構築が可能な新規 SLAM
システムを提案する．一般に，人が多く存在する環境で移動ロボットによる地図構築を行う場合，人によるオクルージョンの影響で高精度な地図構築が困難である．そこで本研究では，深層学習による物体認識技術である YOLO
を用いて人を識別し，識別結果に基づいて人のデータを除去することで，人が存在する動的環境下での地図構築の精度を向上させる．
キーワード： 自律移動ロボット

地図構築

SLAM YOLO 人除去

1. 序論
現在，工場や空港など人と共存する屋内環境において，運搬や案内等の目的で自律移動ロボットの導入が進んでいる．近年では，労働人口の減少による人手不足やロボットによる自動化が顕著で，これらの重要性は今後も高まっていくと予想される．また，ロボットが効率よく自律移動するためには，事前に地図を作成しておく必要がある．特に，自律移動ロボットによるナビゲーション[1]では，地図を事前情報として用いる．
そのため，これらのロボットの運用では地図の事前作成が必要 不可 欠であり ，そ の手法と して しばしばSLAM（Simultaneous Localization and Mapping）が用いられる．しかし，人が存在する動的環境における SLAM
では，センサ情報に人におけるオクルージョンが生じるだけでなく，人は移動物体であるためセンサ情報同士の位置合わせの際に誤マッチングが生じてしまう問題などがあるため，高精度な地図構築が困難である．
そのため，人のデータを除去するなどの対処が求められ，一般的な SLAM は動的環境では用いることができない．ここで藤井らは，測域センサを用いて，スキャ
ンデータの蓄積と遠方点抽出処理により，人混みにおいても人がいない時と同等の壁形状を取得した[2]．しかし，この手法では，壁と障害物の位置関係を利用し，壁より手前の点群を除去することで障害物に対処しているため，人の識別は行えていない．そのため，地図構築時に壁より手前の環境形状が除去されることや，
人が壁付近にいる際は人の除去ができず，正確な地図構築ができない問題がある．
そこで本研究では，RGB-D カメラを用いて深層学習を利用した人の識別と人除去処理を SLAM に適用することで，人がいる屋内環境でのロバストな地図構築が可能なシステムを提案する．

2. 提案手法
2.1 概要提案手法全体の概要を図 1 に示す．本手法では，ロボットに搭載した距離画像センサと LiDAR で取得した RGB-D 画像と 3 次元点群情報を地図構築に用いる．
ここで，RGB 画像を用いる場合，画像中における人の領域情報しか得られないため，RGB-D 画像を用いることで，画像中における人の領域情報と点群の両方が推定可能になる．まず，オドメトリによるロボットの位
置予測を行う．次に，LiDAR で取得した点群に対して，画像を用いた人の識別を行い，人に属する点群を除去することで人除去処理を行う[3]．人の識別では，深層学習による高速な物体検出アルゴリズムである
YOLO[4]を用いて画像内の人の検出を行う．そして，
画像と点群の対応付けによって，人の検出結果を点群にも反映させ，人の点群を検出し除去する．その後，ICP（Iterative Closest Point）[5]アルゴリズムによる点群の位置合わせを行い，オドメトリの誤差を減少させる．
ここでは，人除去処理後のフレームの点群と 1 フレー
ム前の点群に対して ICP による位置合わせを行い，ICP
結果から算出した回転行列 R と並進ベクトル T を用いてロボットの自己位置推定を行うと同時に地図構築を行う．

Fig. 1 Outline of proposed method.

2.1 YOLO を用いた人の 3 次元点群除去処理
本節では，人がいる環境においてロバストな地図構
築を行う上で，必要不可欠な人のデータの除去処理について述べる．まず，YOLO による人物検出を行い，
図 2 に示すように画像中における人物領域を求める．
ここで，この人物領域は人周辺の背景も含む矩形領域である．次に距離画像センサで取得した距離画像から
YOLO で求めた人物領域に属する点群のみを抽出する．
その点群に対しクラスタリングによる背景除去を行う
ことで，元の人物領域から背景を除去し，人に属する点群データのみを抽出する．その後，上記プロセスで求めた人物領域の点群と LiDAR で取得した点群に対し，近傍点探索を用いて，距離画像センサで取得した

5

画像の人識別結果を LiDAR で取得した点群に反映させる．この処理によって，人の点群のみを消すことが可能になる．最後に，図 3 に示すように LiDAR で取得した点群の内，対応付けされた人に属する点群を除去することで，人を含まない周辺環境の点群のみを求める．

ことがある．

(a) True map(b)Odometry

Fig. 2 Result of human detection by YOLO.
(c) ICP-SLAM w/o human removal (d) ICP-SLAM w/ humanremovalFig. 4 Map construction results by each method.
(a) before removal(b) after removal
Fig. 3 Human removal process.

3. 実験
提案手法の検証として，オドメトリによる地図，従来 ICP-SLAM による地図，人除去処理を適用した ICPSLAM による地図の精度の結果を比較し，評価を行った．なお，地図の精度は，真の地図の各点からそれぞれの手法の地図の各点に対し点間距離を求め，その距離の総和の平均値を誤差とし評価を行った．特に環境地図の精度を評価することが目的のため，人に属する点群部分の計算は行わず，環境の点群のみで計算し誤差を算出した．また，真の地図は各フレームの計測データを手動位置合わせすることで作成した．本実験では，移動ロボットに MobileRobots 製 Pioneer-3DX，距
離画像センサに intel 製 RealSense L515，LiDAR に
Velodyne 製 VLP-16 を用い，移動ロボットの上に距離画像センサと LiDAR を固定して計測を行った．また，本実験の移動ロボットの軌跡は，図 4 の黄色の線で示す．
本実験は図 2 に示す中央大学後楽園キャンパス 2 号
館 7 階廊下にて計 7 フレーム分の計測を行った．実験
条件としては，図 2 に示すとおり全てのフレームに人が 4 人存在する環境で計測を行った．また，全てのフレームで 4 人中 1 人が歩行し，残りの 3 人は静止しており，動的環境を再現した．
図 4 と表 1 に示す結果より，人除去処理を行った提案手法を用いた場合に最も誤差が減少しロバストな地図構築が可能であったと分かる．また，図 5 に示す人
除去部分の拡大図より，従来手法に比べ，提案手法が環境地図に不要な人の点群がかなり少ないと分かる．
つまり，人除去処理により移動ロボットの運用における事前情報として活用しやすい地図の構築が可能であった．
一方で，提案手法の拡大図でも奥にいる人の点群が一部残っていることが確認できる．これは距離画像センサの計測範囲の関係から人の点群の一部が上手く取得できず，除去できなかったためである．また，歩行している人に関しては，距離画像センサと LiDAR で取得した点群に多少ずれが生じてしまうため，その場合
は人の点群の一部の対応付けができず除去しきれない(a) ICP-SLAM w/o human removal (b) ICP-SLAM w/ humanremovalFig. 5 Map construction results: enlarged figures of
Fig.4.
Table 1 Error of each map information [m].
Odometry
ICP-SLAM w/o humanremovalICP-SLAM w/ humanremoval

0.478
0.131
0.097

4. 結論
本研究では，YOLO による物体検出を利用した人の除去処理を ICP-SLAM に応用した手法を提案し，人がいる屋内環境において人のデータを除去することで，精度の高い地図構築を実現した．
一方で，現在は距離画像センサが 1 台のみであるため，人を識別できる計測範囲が狭い問題がある．そのため，今後は複数台のセンサを導入することで計測範囲の問題に対処していく．
参考文献[1] 藤井祐介，大矢晃久，坪内孝司，“人混み中での移動ロボットの自己位置推定に有効な測域センサデータ処理法の提案”，第 26 回ロボティクス・メカト
ロニクス講演会講演概要集 2014, 2014.
[2] J. Redmon, S. Divvala, R. Girshick and A. Farhadi, “You
Only Look Once: Unified, Real-Time Object Detection,” In
Proc. of the IEEE Conference on Computer Vision and
Pattern Recognition, pp. 779-788, 2016.
[3] A. Dhall, K. Chelani, V. Radhakrishnan and K. M.
Krishna, “LiDAR-camera Calibration Using 3D-3D Point
Correspondences,” In arXiv preprint arXiv:1705.09785,
2017.
[4]伊藤太一, 森岡一幸,“Graph SLAM と局所的な占有格子地図を用いた移動ロボットの自律走行システムの開発,”ロボティクス・メカトロニクス講演会講演概
要集 2013, 2013.
[5] P. J. Besl and N. D. McKay, “A Method for Registrationof 3-D Shapes.” In IEEE Transactions on Pattern Analysis
and Machine Intelligence, Vol. 14, No. 2, pp. 239-256, 1992.

6異なる電極数の EEG 解析のための学習手法
鶴ヶ崎裕真 1

田谷昭仁 2

戸辺義人 2

1 青山学院大学 理工学研究科 理工学専攻 知能情報コース 〒252-5258 神奈川県相模原市中央区淵野辺５丁目１０−１
2 青山学院大学 理工学部 情報テクノロジー学科 〒252-5258 神奈川県相模原市中央区淵野辺５丁目１０−１

概要
EEG (Electroencephalogram)を使用した機械学習により感情や運動状態など，人間の様々な状態を推測することが可能である．脳波計は異なる電極数の物が存在するため，推定対象が同じであっても，入力サイズが異なり，別の機械学習タスクとして学習を行わなければならない課題に直面する．本研究では，異なる脳波計のデータを学習する手法を検討する．具体的には，不足する電極データを補間することで入力データを同サイズにし，ファインチューニングやメタ学習を，異なる電極数による思考推定タスクに適用して推定精度を向上する．また，近傍補間と0 パディングによる補間の 2 つを適用して精度を比較する．結果としては，0 パディングの精度が近傍補間の精度を上回る結果となった．
キーワード：EEG メタ学習 Model-Agnostic Meta-Learning 電極補間

背景と目的
ニューラルネットワークにより EEG 信号を解析する研究が，近年増加している[1]．そのため，EEG 信号
解析により，運動状態[2]など，人間の様々な状態を推測することが可能である．これらの近年の研究で使用する EEG 信号は，特定の脳波計から取得されたデータを想定している．そのため，同じタスクを新たな脳波計を装着することで行う際は，再度データ取得を行わなければならない課題に直面する．
そこで本研究では，異なる脳波計のデータを学習する手法を検討する．具体的には，不足する電極データを補間することで入力データを同サイズにし，ファイ
ンチューニングやメタ学習を，異なる電極数による思考推定タスクに適用して推定精度を評価した．

提案手法
・概要
本研究では，Fine Tuning とメタ学習の 2 つの事前学
習手法を使用することで，新たな電極数の脳波計を装着した新たな利用者のデータに即座に適応することを目指す．単一の事前学習モデルで学習を可能にするた
めデータの次元を揃える．そのため，近傍データによる補間と 0 パディングによる補間の 2 種類を検討した．
・データ形式とニューラルネットワーク
近 年 の EEG 信 号 解 析 の 研 究 で 使 用 さ れ て い る
EEGNet[4]を使用した．EEGNet は 3 層の CNN (畳み込みニューラルネットワーク)を用いたネットワーク構成となっている．入力サイズは図 1 のように，行方向に 64，列方向に 160 とした．本研究では，データ形式の代表例として PhysioNet EEG データセット[3]を使用した．行方向は，PhysioNet EEG データセットで使用された脳波計が 64 チャネルであるため，チャネル 1 から順に並べた．列方向は，EEGNet の構成として脳波計のサンプリング周波数を使用するため 160 とした．出
力は PhysioNet EEG データセットのタスクの分類数である 4 を使用した．
・補間手法
同一構造の EEGNet で学習するため，データの次元を揃える必要がある．そこで図 2 のように，[5]が提案した電極配置を元に行列を作成する手法を使用した．

1 入力データの形

2 入力データの形作成された行列を元に，電極がない箇所の電極情報を補間する．補間手法としては，2 種類を使用する．
1.

0 パディング
電極が存在しない，ある電極箇所 t の時間 k の時の情報 Etk を，0 で補間を行う．
Etk = 0(1)2.
近傍補間電極が存在しない箇所を，図 3 のように，24 近傍の

7

表 1 各補間手法を使用し事前学習した際の精度比較

近傍補間の精度を 1 から 3 ポイントほど上回る結果となった．
3 近傍データによる補間方法
電極データの重み付け平均により，補間を行う．
具体的には，ある電極箇所 t の時間 k の時の情報 Etk は，n 個の補間対象電極の 8 近傍を重み 1，m 個の 24 近傍から 8 近傍の電極を除いた箇所
を重み 2 として，重み付け平均を取った．
1
1
Etk =
(∑𝑛𝑛 𝐸𝐸 + 2 ∑𝑚𝑚(2)
𝑗𝑗=1 𝐸𝐸𝑡𝑡𝑡𝑡 )𝑛𝑛+𝑚𝑚 𝑖𝑖=1 𝑡𝑡𝑡𝑡

・事前学習手法
未知の電極数の脳波計を装着した，新たな利用者のデータに即座に適応するため，事前学習を行った．
事前学習を行う手法として，2 種類を使用した．
1.
Fine Tuning
異なる被験者，電極数の全データをまとめて 1
つのデータセットとし学習を行う．事前学習後に新たな利用者のデータで Fine Tuning を行う．
2.
MLCL [7]
被験者，電極数が異なるものを 1 つのタスクとし，メタ学習を行う．メタ学習の際は，1 つのタ
スクを複数の episode に分割をする．また，
1episode のデータを 2 つに分割し，support デー
タと query データとした．MLCL では，support
データによる学習から得られた loss をもとに，query データで学習を行う．
事前学習フェーズから得られた EEGNet のパラメータを再学習の初期値とすることで，電極数の異なる脳波計を装着した利用者への適応を目指す．

実験結果
本研究では，オープンソースである PhysioNet EEG
データセットを用いた．PhysioNet EEG データセット
は，想像した動きのラベル付けがされた EEG データである．両足の開閉の動き，両拳の開閉の動き，左手の拳の開閉の動き，右手の拳の開閉の動き，の計 4 種類の動きの想像をした．109 人の被験者が，1 分から 2 分
程度の上記タスクを 1500 回以上行った際の脳波データとなる．このタスクを行う際に使用された脳波計の電極数は 64，サンプリング周波数は 160Hz である．
データセットから擬似的に，異なる電極数の脳波データを作成した．具体的には，電極数 64・16 のデータで事前学習を行い，電極数 32 のデータで Fine Tuningを行った．その際に，不足する電極データを補間する
ことで入力データを同サイズに変換する．0 パディン
グと近傍データによる補間の 2 種類の補間手法と， 2
種類の事前学習手法を実行した．また，比較のため事
前学習なしの場合も行った．
結果として，事前学習の有効性を示すことができた．事前学習手法の比較結果の優位な差は見られなかった．補間手法の比較結果は，0 パディングの精度が結論と今後の課題
本研究では，異なる脳波計のデータを学習する手法を提案した．具体的には，不足する電極データを補間することで入力データを同サイズにし，ファインチュ
ーニングやメタ学習を，異なる電極数による思考推定
タスクに適用した．また，近傍補間と 0 パディングによる補間の 2 つを適用して精度を比較した．結果としては，0 パディングの精度が近傍補間の精度を上回る結果となった．
本実験では，0 パディングと近傍補間の 2 つの補間手法を使用した．結果として，近傍補間の方が 0 パデ
ィングより，実際の脳波を再現していることがわかっている．しかし，0 パディングの精度が近傍補間の精度を上回る結果となった．今後は，0 パディングの精度が近傍補間の精度を上回る結果をもとに，なぜ 0 パ
ディングの精度が良くなったかを調査する必要がある．

文

献[1] X. Zhang, L. Yao, D. Zhang, X. Wang, Q. Z. Sheng,
and T. Gu “Multi-person brain activity recognition via
comprehensive eeg signal analysis”
In 14thInternational Conference on Mobile and Ubiquitous
Systems: Computing, Networking and Services，2017.
[2] Y. R. Tabar, and U. Halici, “A novel deep learning
approach for classification of EEG motor imagery
signals”, JOURNAL OF NEURAL ENGINEERING,
February 2017[3] A.L Goldberger , L. A. Amaral, L. Glass, J. M.
Hausdorff, P. C. Ivanov, R. G. Mark, J. E. Mietus, G .B.
Moody, C. K. Peng, and H. E. Stanley, “PhysioBank,
PhysioToolkit, and PhysioNet: Components of a New
Research Resource for Complex Physiologic Signals”,
Circulation, Jun. 2000
[4] V. J Lawhern , A. J. Solon, N. R. Waytowich, Stephen
M. Gordon, C. P. Hung, and Brent J Lance, “EEGNet:
A Compact Convolutional Neural Network for EEGBased Brain–Computer Interfaces”, Journal of NeuralEngineering, July 2018[5] D. Zhang , L. Yao, X. Zhang, S. Wang, W. Chen, and
R. Boots, “ Cascade and Parallel Convolutional
Recurrent Neural Networks on EEG-Based Intention
Recognition for Brain Computer Interface”, AAAI,vol. 32 , No. 1, April. 2018[6] Miyuki Giken Co., Ltd. 製品：メーカー別,https://www.miyukinet.co.jp/jp/products_research/by_maker/GtecMedical/[7] T. Duan, M. A. Shaikh, M. Chauhan, J. Chu, R. K.
Srihari, A. Pathak, and S. N. Srihari, “Meta Learn on
Constrained Transfer Learning for Low Resource
Cross Subject EEG Classification”, IEEE Access, vol.
8, pp. 224791-224802, 2020

8

YAMNet 転移学習を用いた骨伝導音による食事行動認識
陳維 1 蒲池遥 1

横窪安奈 2

Guillaume Lopez 2

1 青山学院大学理工学研究科知能情報コース 〒252-0206 神奈川県相模原市中央区淵野辺 5-10-1
2 青山学院大学理工学部情報テクノロジー学科 〒252-0206 神奈川県相模原市中央区淵野辺 5-10-1

概要
本研究は骨伝導マイクを用いて食事行動を自動推定するシステムを提案した．骨伝導マイクから取得した 14人の被験者の咀嚼，嚥下，会話，その他を含む食事エピソードを実験データとする．学習済みのネットワーク
YAMNet を転移学習として音響信号の特徴を抽出し，LSTM ネットワークに分類させる．提案手法のフレームレベ
ルにおいた分類結果は正解率と F1-score 両方 93.3%まで達した．より健康的な食行動モニタリングシステムや早食い防止などに役立つと期待できる．
キーワード： 骨伝導 転移学習 LSTM 食事行動推定

1.

背景と目的

あらゆる人間行動がデジタル化されている中，食事行動の自動検出もその課題の一つである．WHO の世
界肥満人口に関する報告書によると，2016 年の世界
人口の約 39％が過体重で，そのうち 13％が肥満である[1]．また，肥満者を対象とした調査では，その多
くは噛む回数が少なく早食いである傾向がある[2]．
近年，より健康的なライフスタイルを支援するため，
ウェアラブルデバイスを用いた食事行動の自動モニタ
リングに関する研究が行われている．音響信号を扱う
イヤホンマイクは最も食事行動の自動推定に最も使われた手法の一つである[3]．食事の際に歯がお互いに叩いたり，摩擦したりすることで振動が生じ，顎や頭蓋骨を通して耳まで伝達され，咀嚼に対する高い精度の識別が可能になる．されに，近年では，ニューラル
ネットワークによる音響信号識別の精度向上方法として， YAMNet を用いた転移学習が注目されている[4]．
本研究では自然環境下の食事行動において，骨伝導マイクを用いて音響信号を取得し，転移学習と深層学
習を組み合わせたモデルに学習させ，食事行動の自動検知するアルゴリズムを設計した．

2.

食事データセット

食事音の取集には，スマートフォンに接続したワイヤレス骨伝導マイク（Motorola Finiti HZ800 Bluetooth
Headset）の録音データを使用する．11 歳から 32 歳までの 14 人の被験者に骨伝導マイクを片耳に装着し，サンプリング周波数 16000 Hz の録音とスマートフォンによる録画をした．被験者には日常的な会話や，騒音を含んだ環境を想定し，食事の内容と場所を自由とする．また，追加に 22 歳から 42 歳までの 8 人の嚥下
音データを同様に収集した．
食事行動の分類のため，クラスを「咀嚼」，「嚥下」，「発話」，「その他」4 種類に定義し，同期した音声と動画を参考に，音声信号の強度を比較しながら手作業
で信号を分割し，食事行動のラベリングを行った．咀
嚼音の分割結果例を図 1 に示す．

3.

代表的であるが、その算出過程において離散コサイン
変換（Discrete Cosine Transform）が空間的な関係を破壊するため，多くの深層学習を用いる分類手法ではメ
ルスペクトログラム（Log-Mel Spectrograms）を用いる．本研究では，転移学習の前処理として 64 対数エネルギーの三角フィルターバンクのメルスケールでス
ペクトログラムを生成した．
さらに，音響信号の特徴を増大させるため，
YAMNet を利用した転移学習を組み込んだ．YAMNetとは，AudioSetYouTube コーパス[5]に基づいた 521 種
類の音声イベントを Mobilenet_v1 モデルにトレーニングした学習済みモデルである[6]．YAMNet を特徴抽出器として扱うためには，モデルにある SoftMax 活性化関数を使用する全結合層を抽出し，1,024 個値を持つ Embedding 層に転換され，圧縮された特徴として転移学習に用いる．音響学習済みモデルのベンチマ
ーク NOSS (Non-Semantic Speech Benchmark) では，モデルとタスクを説明変数として観測された精度の線形回帰において YAMNet モデルは高い精度を出している[7]．リアルタイムの信号分類問題においても，
YAMNet を特徴抽出器に扱う場合，データ数が一定に取れていなくても十分な音響特徴を確保でき，その際にデータを圧縮し性能と計算コストのトレードオフを均衡にできるという利点を持つ．本研究の特徴抽出ア
ルゴリズムは図 2 のように示す．
3.2 深層学習モデル
訓練モデルとしてシーケンス解析に得意とす る
RNN (Recurrent Neural Networks) の LSTM (Long ShortTerm Memory neural networks) を利用した．情報を内部のセルで保存，削除することで勾配消失問題を解決できる．YAMNet の転移学習により出力された 1024
個値の Embedding 層を LSTM モデルの入力層として扱い，最終的に 4 個値の全結合層を出力し，分類結果を算出した．

提案手法

3.1 特徴抽出
音響信号を増幅し，サイズ 250ms，シフト約 93msの矩形窓関数を適応してから特徴抽出を行った．一般的な音響信号の特徴抽出の手法としてメル周波数ケプ
ストラム係数（Mel-Frequency Cepstral Coefficients）が1 咀嚼データの生信号と音声強度

9表 1 カテゴリ別 LSTM モデルの評価結果
F1-score
正解率
91.54%
91.14%
咀嚼
73.64%
81.34%
嚥下90.73%
90.67%
発話
95.13%
94.99%
その他
93.30%
93.28%
平均

図 3 LSTM モデル分類結果の混同行列

参2 YAMNet 転移学習による特徴抽出の流れ

4.

実験結果

5.

まとめ

実験では 6688 個ラベリングしたサウンドクリップを特徴抽出し，トレーニングデータ 75%，検証デー
タ 10%，テストデータ 15%の割合で LSTM モデルにトレーニングした結果が表 1 と図 3 のように示す．
Epoch をトレーニングロスと検証ロス両方安定した
200 epoch と設定した。モデルのパラメータでは、最適化アルゴリズムに Adam optimizer，マルチクラス分類のためロス関数に sparse categorical cross entropy と最適化した．
結果から嚥下の精度は約 73%と最も低く，その約21%がその他の項目に分類された．理由として一回の飲み込みに対して約 15 回以上の咀嚼があるためデー
タセットに含まれる嚥下の数が最も少ないであるのと，
骨伝導マイクで取れる嚥下の音量が小さいと考えられるが，全体の F1-score は 93.28%に達し、先行研究[8]の 88.3%と比べて高い値となる．

本研究では，YAMNet 転移学習と LSTM ネットワー
クを用いて，自然環境下での人間の食事行動を分類するシステムを開発した．食事行動を咀嚼，嚥下，発話，
その他に分類し，YAMNet の用いることで音声信号の特徴を強化し，機械学習や Deep Learning の分類モデ
ルの正解率を向上させることができることが分かった．
YAMNet を特徴とする LSTM モデルで分類した結果，全体の F1 スコアは 93.28%，精度は 93.3%に達した．
本研究の分類予測を用いることで，咀嚼・嚥下回数をリアルタイムに推定することが可能となり，食事行動のデジタル化や早食い防止など，よりスマートな食環境の構築が期待できる．

考

文

献

[1] NCD Risk Factor Collaboration, “Trends in adultbody-mass index in 200 countries from 1975 to 2014:a pooled analysis of 1698 population-based
measurement studies with 19.2 million participants,”
The lancet, 387(10026):1377-96 (2016).
[2] T. Yamaji, S. Mikami, H. Kobatake, K. Kobayashi, H.
Tanaka, and K. Tanaka, “Does eating fast cause
obesity and metabolic syndrome?,” Journal of theAmerican College of Cardiology, 71(11S):1846(2018).
[3] H. Kamachi, T. Kondo, T. Hossain, A. Yokokubo, and
G. Lopez, “Automatic segmentation method of bone
conduction sound for eating activity detailed
detection,” the 9th International Workshop on Human
Activity Sensing Corpus and its Application(HASCA), in conjunction with UbiComp 2021, pp.
310-15 (2021).
[4] S. Ntalampiras, D. Kosmin, and J. Sanchez,“Acoustic
classificationofindividual
cat
vocalizations in evolving environments,” the 44th
International Conference on Telecommunications andSignal Processing (TSP), pp. 254-58 (2021).
[5] J. F. Gemmeke, D. P. Ellis, D. Freedman, A. Jansen,
W. Lawrence, R. C. Moore, M. Plakal, and M. Ritter“Audio set: An ontology and human labeled dataset
for audio events,” IEEE International Conference on
Acoustics, Speech and Signal Processing (ICASSP),
pp.776-80 (2017).
[6] Yamnet, “https://github.com/tensorflow/models/tree/
master/research/audioset/yamnet”, 2020.
[7] Shor, J., Jansen, A., Maor, R., Lang, O., Tuval, O.,
Quitry, F.d.C., Tagliasacchi, M., Shavitt, I., Emanuel,D., Haviv, Y. “Towards Learning a Universal NonSemantic Representation of Speech,” Proc.
Interspeech 2020, 140-44 (2020).
[8] Diou, C., Papapanagiotou, V., and Delopoulos, A.
(2017). “Chewing detection from an in-ear
microphone using convolutional neural networks.” In
39th Inter. Conference of the IEEE Engineering in
Medicine and Biology Society, pp. 1258-61 (2017).

10

時空間・人間拡張技術の探求とその取り組み例
坂村美奈 1
1 カディンチェ株式会社 〒150-0034 東京都渋谷区代官山町 14-23-5F mina.sakamura@kadinche.com

概要
カディンチェ株式会社では，2008 年の設立当初より一貫して，視覚技術や空間表現技術を中心とした研究開発を行なっている．特に近年では，ソフトウェア・ハードウェアの両面から，XR（AR・MR・VR）技術，CG/実写のコンテンツ制作，バーチャルスタジオ構築などに取り組んでおり，実空間および仮想空間内での移動や，知覚を拡張するような時空間・人間拡張技術に関する研究開発を行なっている．本稿では，弊社が開発を進める各技術についての詳細と，その取り組み例について述べる．
キーワード：VR MR AR ヘルスケア モーションキャプチャ メタバース 行動解析 ピアサポート

時空間・人間拡張技術
以下で，弊社が開発を進める６つの時空間・人間拡
張技術について詳細を記す．
＜XR Cloud＞
AR Cloud とはリアルタイムに更新される空間情報
であり，実世界の 3D スキャンデータ，ユーザの位置
認識・位置推定，インタラクション等の要素を通じて，屋内外でグラス型デバイス等を装着したユーザに 3Dで情報提示や便益を提供することを目指している．弊社では AR Cloud を拡大解釈して XR Cloud と呼び，観光・農工・医療・エンタメなどあらゆる分野においてVR，AR，MR の境目なく基盤的なツールを提供する
べく，研究を進めている．
＜VR Metaverse＞
VR Metaverse とは，オンライン上に 3 次元のメタバース（仮想空間）を構築し，そこにアバターで参加することを指す．仮想空間とはいえ，空間や身体動作を共有し，音声通話もリアルタイムに行えることから，
エンタメや医療，教育といった幅広い分野での活用が期待されている．弊社では，VR メタバースの構築において，システム全体の企画・設計から 3D の CG/実写コンテンツ制作，仮想空間内での UX デザインまで，各業界のニーズに沿ったシステム構築およびアプリケーション開発に取り組んでいる．
＜XR Contents＞
VR, AR, MR の各アプリケーションで必要になるデジタルコンテンツに関わる研究開発として，360 度動
画の撮影・編集・ライブ配信や，多量の静止画から実写 3D モデルを構築するフォトグラメトリ，人間の動きを記録するモーションキャプチャ，人間の動きと外観を同時に記録するボリュメトリックキャプチャ，ドローンを用いた空撮などに取り組んでおり，出力デバ
イスとしてもパソコンやスマホだけでなく，ヘッドマ
ウントディスプレイや立体視ディスプレイ向けのコンテンツ制作を行なっている．また，ネットワークを介して，複数の HMD の再生・停止・早送りを制御した
り，視聴位置の確認や動画の自動ダウンロード，HMDの温度やバッテリ残量等の状態監視，簡易ホワイトボードの提示を行うことが出来る HMD 同時制御システ
ムの開発や，複数人に対して，遠隔制御にてリアルタ
イムに音声案内が可能な，360°バーチャルツアー，
360°カメラで死角なしのバーチャル現場巡回を可能にする Web システムの開発などに取り組んでいる．さらに，グリーンバッグで統一されたスタジオにて撮影する実写映像を，カメラの動きやズーム状態を検知しリアルタイムに 3D CG と合成できるバーチャルプロ
ダクションスタジオの構築を行なっている．カメラのセンサからの情報をもとに，向きや奥行き感を計算して CG 画像を生成することができるため，違和感なく合成ができ，カメラとバーチャルセットの連動により，実際のスタジオセットでは不可能な演出が可能となる．
＜Ultra High Resolution＞
超高解像度な映像やデータ処理技術として，8K や12K の映像を取り扱ったサービス開発や映像処理技術に取り組んでいる．
＜Volumetric＞
被写体を中心として周囲に深度センサを搭載したカ
メラを配置させ，点群撮影を行い，メッシュ化やテク
スチャ貼り付けも施すことで動く実写 3D モデルが完成する．弊社では，ボリュメトリックキャプチャ手法
やライブストリーミング技術の研究開発，システム開発に取り組んでいる．
＜Deep Learning＞
各種アプリケーションでの応用利用のため，Deep
Learning を使用した画像や映像の高画質化，分類，推定・判定，意味づけ等の開発に取り組んでいる．

取り組み例
２章で述べた時空間・人間拡張技術を基に，システ
ム開発や実験を行った取り組み例について述べる．
＜VR を用いたがん患者さん向けピアサポート・遠隔フィットネスシステム[1][2]＞東京大学医学部附属病院緩和ケア診療部・部長 住
谷昌彦准教授との共同研究で，VR 技術を駆使し，移動を伴わずネット上での遠隔的な参加でありながらも，
あたかも直接対面しているかのような錯覚を与えつつ，匿名性を担保した相互交流を可能とし，さらに仮想空
間上での運動体験も可能となる，利便性並びに効果性の高いピアサポート空間の構築と検証を行った．
近年，高齢化や若年世代のがん罹患数の増加とともに，がん患者さんへの精神的・身体的・社会的サポートを目的とする患者会および患者支援団体の数が増加している．患者会や患者支援団体の活動内容は，Web
サイトや SNS による情報提供や専門家による電話相談，年間 2〜3 回の講演会といった活動が中心で，近年ではがん患者の集いの場として常時開放している施設も設置されてきているが，極めて少数である．がんに関する情報の収集は各自インターネットによる検索はできるものの，ネット上での遠隔的なピアサポート機
会では，直接対面型に比べて患者間の交流が希薄になりがちであるため直接対面型でのコミュニケーションがニーズとしては大きい．また，ヨガや体操などのがん患者さんの治療アドヒアランスを高めるピアサポー
トでの体験型プログラムも直接対面のほうが実施しや
すい．そのため，当該領域においては IT を駆使した遠隔的アプローチによる事業展開が進んでいないのが現状である．
しかし一方で，直接対面型では患者間の関係性が比較的濃厚となるため心理的障壁や匿名参加の希望などが潜在的に知られており遠隔的なピアサポートへの期待があった．その上，昨今の新型コロナウィルス感染症の蔓延を受け，これまでより一層，対面機会を設けることが困難となった．
そこで今回，VR 技術を駆使し，移動を伴わずネッ
ト上での遠隔的な参加でありながらも，あたかも直接対面しているかのような錯覚を与えつつ，匿名性を担保した相互交流を可能とし，さらに仮想空間上での運動体験も可能となる，利便性並びに効果性の高いピアサポート空間（通称：VR ピアサポート）の構築と検証を行った．
これまで作成した VR ピアサポートのアプリは，主に，仮想空間(3D CG)内における以下の２つの機能を有する．１）参加者間で会話や手の動きを通して交流できる機能と２）フィットネス（上肢運動）を実施できる機能である．どちらの機能も，同じ仮想空間内で実行可能なため，１）と２）を合わせて「会話や手の動きを共有しながらフィットネスをする」といったことも可能である．また，フィットネスは“日替わり”
で，「ストレッチ」「ボクササイズ」「体幹」などを用意
し，それぞれのフィットネスに応じた 3D CG 空間として「海辺」「ボクシングジム」「森林」などを用意している．これらのフィットネスメニューや 3D CG 空間は，
今後追加・編集することが可能である．VR のアプリが体験できるクライアントアプリは，患者さんや医者，
理学療法士，社会福祉士，看護師，臨床心理士などが使用することを想定している．アプリ内で，それぞれの参加者は，個別に設定した名前を持つアバタを操作し，会話や運動を行う． HMD およびコントローラ
により得られた会話の音声データとモーションデータ
は各参加者にリアルタイムに送受信される．また，お知らせなどの情報は逐次アップデートデータとして各参加者に送信される．

図１に医師・参加者がフィットネスを実施している
様子を示す．フィットネス中に表示されるトレーナーの模範体操は，実際のトレーナーの動きをモーション
トラッキングで計測した後，3D CG 空間でアバター表
示した．さらに，トレーナーの音声を収録し，フィッ
トネス時に気をつけるべき点を音声で流した．システ
ムの検証にあたっては，実際の患者さん５名と医師１名で１ヶ月以上に渡り利用していただき，有効性を確認した．
がん治療中の患者さんは，痛みやしびれ，倦怠感といった身体的な副作用を持つだけでなく，生命の危機に曝されるがんに罹患したことへの不安感や恐怖心と相まって抑うつ気分を呈することが少なくない．その他，容姿の変化（脱毛や手足のむくみ，爪の萎縮など）もあり外出の機会が減少しがちで筋骨格系の廃用が進む可能性がある．がん患者さんの筋肉量の維持はがん
治療副作用の軽減や生命予後の改善が示されているだ
けでなく，運動習慣の確立は痛み・しびれ・倦怠感の改善効果だけでなく，ネガティブな心理状態の改善効
果も示されている．しかし，運動習慣の確立は健常者でも困難であるため，このような身体心理的状態にあるがん患者さんが一人で実現することはさらに困難であると言える．ピアサポートは，本来的にはコミュニ
ケーションを介してこのような患者さんを支援するアプローチであるが，我々が開発したがんピアサポート
では，それを利用して運動習慣の導入・維持・確立に結びつけることを意図している．また，患者さんの希望に応じて匿名性を担保できるシステム内容とすることで，従来から行われている直接対面型のピアサポー
トへの参加に対する潜在的な心理的障壁を下げる効果も期待できると考えている．新型コロナウイルス感染対策が求められる昨今の社会情勢からも，VR 空間でのジェスチャーを伴うコミュニケーションと運動参加を普及させることで，がん患者さんの生命予後の改善と QOL の向上に資することが期待される．
＜XR や IoT を用いたオーグメンテッドラボ構築＞
オフィスや商業空間において，XR や IoT による空間のスマート化に関する研究開発を行なっている．
XR 的アプローチとして，まず，コラボレーションのためにコンピュータ内や HMD 内コンテンツの外部ディスプレイ表示や撮影を行う技術の開発を行なっている．加えて，空間の 3D モデル化として，フォトグラ
メトリや 3D スキャナを活用したオフィス空間の 3Dモデル制作とメタバース化を進めている．IoT 的アプ
ローチとして，安心・安全な環境維持，セキュリティ対策，業務の効率化を目指して，各種センサーやアクチュエータをオフィス空間に遍在させることで，技術により増強されたオーグメンテッドラボ空間を構築す
る．オーグメンテッドラボのモデルオフィスは，2021
年 8 月より弊社の新オフィスにて順次構築している．

文

図１医師・参加者がフィットネスを実施している様子
Fig. 1 Doctors and participants performing a fitness
session.

献[1] Ando M, Sumitani M, Sakamura M, Noguchi T, Oki
R, Abe H, Inoue R, Tsuchida R, Uchida K. Televirtual reality-based peer support programme forcancer patients: a preliminary feasibility andacceptability study. Br J Cancer Res 2021; 3: 443-8[2] https://youtu.be/cZeImDPspkA（紹介動画）

第40回

人間情報学会講演集

2021年 12月 2日発行

発行所

人間情報学会〒112-0012

東京都文京区大塚 2-20-1
お茶の水女子大学 国際交流プラザ407

Tel. 03-6912-1361

Fax．03-6912-1362

E-mail: ahi-conf@npowin.org
URL: http://www.ahi-soc.info