立石科学技術振興財団

助成研究成果集(第29号) 2020

[ 研究助成 (B) ]エレクトロニクスが人間の顔色を読んで健康を読み，心を読んで機械と調和させる
Harmonization of the human and machine by the eletronics
2181904

研究代表者

東北大学 加齢医学研究所
心臓病電子医学

教 授

山家共同研究者

東北大学
サイバーサイエンスセンター

教 授

吉澤

東北大学 加齢医学研究所
非臨床研究部門

准教授

白石泰之

東北大学 加齢医学研究所
非臨床試験推進センター

助 教

山田昭

博

智之
誠

ンターフェースを目指して，パソコンの端末を[研 究 の 目 的]

いじらなくても操作できる入力の方法論，考え
人は人の心が読めることもある。機械は人のただけで方向を決めることができる電動車イス，集団における意思決定の脳科学など，ユーザー心が読めない。そんな時代はもう古くなる。
東北大学は人体の顔や掌などの映像情報から，フレンドリーシステムを開発してきた。次世代

脈波，心拍情報を抽出し，心臓血管機能を解析

における理想の人間と機械のインターフェースし，更に，そのゆらぎのカオス解析や，非線形では，人間が考えただけで，機械は，その心を力学によるフラクタル次元解析から情報量理論読み，稼働し，課題が遂行されなければならなから自律神経機能を定量診断し，逆問題で高次い。
本研究では人と機械の真のインターフェース

脳神経機能推定，心理学的な動きを観測できる新しい方法論を発明し，特許を取得し，関連特を開発する目的で研究を進めた。
東北大学はこれまで光電脈波計等の簡易セン許を申請している。
このシステムでは人間と機械を真に調和させサで簡単に計測できる脈波信号に基づいて自律るため，顔色を読み，その脈波・心拍変動から，神経機能を表わすいくつかの指標を計測する方

自律神経情報を推定でき交感神経・副交感神経法に関する技術を開発し (1-9)，特許を申請しのバランスから心理状態を読むことができるの取得してきた (9-13)。これらは，家庭で手軽で，世界で初めて心が読める究極のインターな自律神経機能モニタリングに応用できる技術

フェースが完成し人間と機械が調和することがであり，最近，さらに，光電脈波計の代わりにできる。

ビデオ撮影した身体映像から皮下の血液中のヘモグロビンが吸収する緑色信号に基づいて血圧情報を反映する脈波伝搬時間差を遠隔的に推定[研究の内容，成果]する技術を開発してきた。
私たちは日常診療で，認知症患者を拝見して顔や掌，身体露出部分の 2 次元的な映像脈波いる。意思の疎通が困難であることは頻繁にあを抽出，血行状態を動画として表示するとともる。に，自律神経指標を計算するシステム開発が進

東北大学はこれまで，究極のマン・マシンイんでおり，現在，存在しているビデオ映像等も，― 1 ―立石科学技術振興財団

高解像であれば解析可能になる。すなわち，現助成研究成果集(第29号) 2020

医療・介護に存在の意味はない。

在，放送されているような映像の被写体からで現在の人工知能・会話ボットは，ある方向でも，血管情報，自律神経情報が解析可能になりは，チューリングテストをクリアできるほど発つつあり，ある意味では，被写体の心理状態が，展を認めているが，患者さんの気持ちが読める

手に取るように明らかになる理論解析が進んでわけではない。

いる。機械が人の心を読めるようになる世界で初めての医学的な試みであり，この方法を応用すれば，人工知能の会話用ロボットの入力，ゲーム，家電への指示，入力，仕事における業務用 PC の端末など，幅広い範囲に応用できる。
人の心を読めることによる新しい産業の創出も期待できる。本研究では，映像解析・脈波伝播速度計算，自律神経解析プログラムを開発し，その実装化を試み，心理評価システムへのタグ

図2付けと，定量評価診断を計っているところであ患者さんの気持ちを理解する人工知能ロボットの発明(特許 6683367)

る。更に，生体反応が本人の心理傾向と相関す

そこで人体表面の映像より多チャンネル皮下る現象を発見しており心療内科学的研究も進め血流を計測し，周波数解析や非線形数学理論のている。

信号処理により自律神経機能バランスを定量診

コロナが世界の経済活動を，ロックダウンさ断し，高次機能を逆問題で推定する「高齢者のせる中，東北地方も北海道地方も圧倒的な医療気持ちがわかる」人工知能アルゴリズムを開発

崩壊の波に襲われている。

し，令和二年三月，特許を取得した。
(特許 6683367)

地域医療では病院は，もはや潰れるほうが当たり前，存続できる方が珍しいと言われる現在，新発明であるこの方法論を応用すれば，これ人工知能に寄せられる期待は大きい。圧倒的にからの医療介護の世界で必ず必要になる人工知不足しているのは，医師・看護師・介護者など

能インターフェースとして必須の方法論を提供のマンパワーであり，ここに人工知能が介在すできるものと考えられる。
東北大学はこれまで，究極のマン・マシンイれば改善の余地はある。

ンターフェースを目指して，パソコンの端末をいじらなくても操作できる入力の方法論，考えただけで方向を決めることができる電動車イス，集団における意思決定の脳科学など，ユーザーフレンドリーシステムを開発してきた。次世代における理想の人間と機械のインターフェース
では，人間が考えただけで，機械はその心を読
図1

み，稼働し，課題が遂行されなければならない。

人工知能が地域医療崩壊を防ぐ

そのためには，ユーザの心が読めることが，必要なのは，田舎には，完全に払底している最適解であることは自明である。
例えはあまり良くはないが，犯罪捜査への自医療資源となるべき人材を，人工知能が補填する方法論の発明である。

律神経機能解析の応用の歴史は 1920 年代のカ

しかし患者側の心に，気持ちに寄り添わない

リフォルニア州バークレイの警察における，脈― 2 ―立石科学技術振興財団

助成研究成果集(第29号) 2020

波・呼吸検査にその嚆矢を見ることができる，会話時における脳血流の変動や血流パターン解と，いう記録があり，その後，血圧や脈波，皮析の時系列を様々なモダリティで解析しており，

膚電気抵抗による発汗などの反応も加えたキー

人間対人間の会話と，デジタル映像の会話ではラー型ポリグラフが，犯罪捜査における定量診脳血流に差が出ることも判定している。
これらの研究成果はそのまま本研究に応用可断基準の一環を構成してきた歴史がある。
東北大学はこれまで光電脈波計等の簡易セン能である。

サで簡単に計測できる脈波信号に基づいて自律かかる方法論の発明を用い，本研究では，人神経機能を表わすいくつかの指標を計測する方工知能 (AI) との会話が，血行動態や心理状法に関する技術を開発し，特許を申請し取得し態に与える影響を解析したてきた。これらは，家庭で手軽な自律神経機能

東北大学医学系研究科倫理委員会の審査を経モニタリングに応用できる技術であり，最近，て，認可された後に (2013-1-291)，20 歳以上

さらに，光電脈波計の代わりにビデオ撮影したの健常者を対象に十分なインフォームド・コン

身体映像から皮下の血液中のヘモグロビンが吸セントを書面で取得した。

収する緑色信号に基づいて血圧情報を反映する

しかる後に，本研究の趣旨を説明し，参加の脈波伝搬時間差を遠隔的に推定する技術を開発同意を得た上で，当日，計測実施前に被験者のしてきた。身体映像信号から脈波情報を得るた

身長，体重，健康状態，睡眠時間，食習慣，既め，設定した領域をモザイク状の小領域に分割

往歴，アレルギーなどに関する問診を実施し，し，各領域の緑色信号のうち心拍周波数近傍の被験者の，心理傾向スケーリング調査のための成分が強いものだけを対象として選択する。

検査を，実施した。

これらの処理により，心拍変動に無相関な運

さらにまた本研究では「人工知能との会話」

動や周辺光変化による雑音成分をリアルタイムを，「人間との会話」と，比較するために，人にキャンセルするアルゴリズムを開発している。 間との会話セクションでは，普段通り，外部のこの方法を応用すれば，家庭でも気軽に計測でチャット要員 (試験官) と，チャットを行った。

きる映像情報から，例えば，これまでの犯罪捜

具体的には被験者と Chat 要員とは，別室で実査の歴史が示すように，犯罪者の嘘も見抜ける験を行った。

ことになるが，一般の，ユーザの心も，当然のAI との会話では，被験者が入力したコメンごとく同じアルゴリズムで，評価，予測できるトを，AI ソフトに入力し，Chat 要員が AI の定量診断システムが実装化できる。

回答を LINE に入力し，チャットを成立させた顔面の血流変化を映像脈波から計測することその結果，ほぼ全症例において，顔面の映像で自律神経活動を解析し，簡便に健康状態や精からの多次元脈波解析が具現化し，自律神経機神心理状態を推定するシステムを構築する。

能評価が可能であった。
また，被験者の心理傾向によって多彩な血行更に加齢医学研究所ではこれまで，リアルな動態変動が認められることも判明し，きめ細かい医療介護の，必要性を，示唆する結果も得られているものと判断された。
また，例えば，心筋梗塞親和性行動パターンのスケーリングとして知られるタイプ A 行動パターンの被験者は，その他の対象と比較すると，異なる自律神経反応を示している。
図3

すなわち，Type-A 群においては，人工知能

人体表面映像からのマルチチャンネル血流解析― 3 ―立石科学技術振興財団

助成研究成果集(第29号) 2020との会話時にやや高いストレスを感じている一に確定しており，医療介護の現場を少しでも維方，対照群では，人間との会話時にストレス値持するためには，医療介護の対象者の「気持ち(LF/HF) が高値となった可能性がある。に寄り添う人工知能」が，間違いなく必要にな

また特性不安高値群で，会話時により高いスるからである。

トレスを感じ，安静時との差も大きかった一方，本研究ではその第 1 歩として，「人工知能の特性不安低値群では，そのような傾向はなかっ会話」と，「人間の会話」に対する人体の情動た。

反応と性格分類に着目して研究を推進している。

これらの結果から，これからの地域医療で求その結果，心理行動パターンと自律神経機能，められるロボットなどの介護において，患者さ高次脳機能の間における高度の関連性を見出すん患者さんの特性に応じた「人工知能の会話」結果が得られている。の進め方，情動反応に寄り添った医療介護の在そもそも，考えてみれば，世界最速で高齢化り方が必要になっていくものと考えられる。

社会を迎える日本で，圧倒的に増加する高齢者

本研究データは健康なボランティアによる臨の大量の人口の前で，「高齢者の気持ちのわか床用心電図脈波計測システムと比較され，そのらない人工知能」など，研究する価値があるの蓋然性が検討される必要があり，対象の行動傾だろうか？

向評価指標の構造化アンケート調査は当然，大高齢者側，ユーザ側，弱者側に立ったこのよ

学院医学系研究科倫理委員会の厳正な審査の上うなアプローチは「人工知能の科学」の世界に実行されることになるが，これらの結果は過去新しい展開をもたらす可能性が高いものと将来の自律神経指標や血行動態評価システムの診断性が期待されていくものと考える。

解析と論理づけられるので，映像を取られた被写体の健康状態は適切に診断され，しかるべく[今後の研究の方向，課題]

診療，治療へ移すことができる体制がとられることができ，大きな将来性が期待される。

本発明のシステムは，人工知能入力としての有効性も研究され，入力用信号としての評価が[結語]進むと同時に，人体に対する会話などの適切な発展形が検討される。

圧倒的なスピードで間違いなく崩壊する地域

すなわち，人が健康になり，社会が良くなる。

における医療介護の現場においては，わたくし現在，あまりにも多い，政治家の嘘が，映像たち医療従事者だけでは，ほとんどなすすべも評価だけで嘘が判定されるので，許されなくなない惨状となっている。

るような明るい未来がやってくる可能性がある

東北北海道，新潟だけでなく，すでに，救急ので，萌芽的な段階であるが，これからの方向医療にすら対応できない地方，地域は，うなぎ性の開拓の分野に相応しい将来性のある研究と上りに増加しつつあり，雪や台風に見舞われる考える。

地域では患者さんの空輸もままならない。すな
わち，遠隔医療は急速な導入が必要であり，救急ではない一般診療においては，医療介護ロ[成果の発表，論文等]

ボットの導入は待ったなしで絶対に必要な局面

1 ．Blood perfusion display based on video pulse wave.にある。なぜなら医師数の統計で OECD の最Yoshizawa M, Sugita N, Abe M, Tanaka A, Obara K,

下位を独走する医師不足の日本では，医療介護者の圧倒的不足は今後とも継続することがすで― 4 ―Yamauchi T, Homma N, Yambe T. Conf Proc IEEEEng Med Biol Soc. 2016 Aug ; 2016 : 4763-4767
2 ．In vitro performance of trans-valve left ventricular立石科学技術振興財団

assist device installed at aortic valve position.
Okamoto E, Yano T, Inoue Y, Shiraishi Y, Yambe T,

助成研究成果集(第29号) 2020

11-16
7 ．被災地診療支援のための電子診療鞄の開発と臨床

Mitamura Y. Artif Organs. 2020 Mar 26. doi : 10.

(解説) Author：山家智之 (東北大学加齢医学研究1111/aor. 13687. [Epub ahead of print]

所 心臓病電子医学)，吉澤誠，片平美明，秋野能久，

3 ．Cloud Database Construction for the Expressway

宗 像 正 徳，八 木 哲 夫，大 和 田 直 樹，柴 田 宗 一

Design by the use of the Medical Information.

Source：大 和 証 券 ヘ ル ス 財 団 研 究 業 績 集 36 号

Yambe T, Shiraishi Y, Inoue Y, Yamada A. Conf

Page 152-166 (2013. 03)

Proc IEEE Eng Med Biol Soc. 2019 Jul ; 2019 :1448-1451. doi : 10. 1109/EMBC. 2019. 8856546.

8．
【自律神経による調節とその破綻】自律神経の破綻と心不全

遠心ポンプ式の全置換型人工心臓の自律4 ．Development of rear-impeller axial flow blood

神経による制御(解説/特集) Author：山家智之，三pump for realization of axial flow blood pump

浦英和，吉澤誠 Source：医学のあゆみ 243 巻 5 号

installed at aortic valve position. Okamoto E, YanoT, Inoue Y, Shiraishi Y, Yambe T, Mitamura Y. ArtifOrgans. 2019 Sep ; 43(9) : 828-833.

Page 485-493 (2012. 11)9 ．特許 6683367「生体情報計測装置，生体情報計測方法及び生体情報計測プログラム」【出願人】国立5 ．緑色光による光電容積脈波を用いた自律神経活動

大学法人東北大学他【発明者】吉澤誠，山家智之他の推定 (原著論文) Author：小川貴広 (信州大学

10．国際出願：PCT/JP2016/059253 発明名称：生体情工 学 部)，阿 部 誠，吉 澤 誠，杉 田 典 大，山 家 智 之
Source：電子情報通信学会技術研究報告 (ME とバイオサイバネティックス) 116 巻 227 号 Page 29-

報計測装置及び生体情報計測方法，発明者：吉澤誠，山家智之他，
11．特許 5408751「自律神経機能測定装置」【出願人】
国立大学法人東北大学他【発明者】山家智之他

34 (2016. 09)
6 ．生理的指標を用いた 3 次元映像の生体影響評価における心理的影響の変化 (原著論文) Author：阿部誠 (東北大学 大学院工学研究科)，新沼大樹，吉12．特許 4789203「血圧反射機能診断装置」【出願人】
国立大学法人東北大学【発明者】山家智之他
13．特許 5390851「車両用自律神経機能診断装置，車澤誠，杉田典大，本間経康，山家智之，仁田新一

両用自律神経機能診断方法」出願人，東北大学他，

Source：生体医工学 (1347-443X) 52 巻 1 号 Page

発明者― 5 ―山家智之，川島隆太他