人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第24回)
SIG-AM-24-01

指描きによる疼痛の波形表現に対するオノマトペの推定手法
Estimation Method of Onomatopoeia for Pain
represented as Waveform Drawn by a Finger
西原陽子 1∗ 羽鹿諒 2
Yoko Nishihara1
Ryo Hajika2

和氣紗也佳 1 山西良典 1
Sayaka Wake1
Ryosuke Yamanishi1

立命館大学情報理工学部
College of Information Science and Engineering, Ritsumeikan University
2
Faculty of Engineering, the University of Auckland
1

1

Abstract: This paper proposes an estimation method of onomatopoeia for pain represented as
waveform i.e., time series signal information. A pain is represented as a waveform drawn by afinger on a pressure-sensitive touch panel device. The waveform has time-series information inthree-dimensions: a finger tip movement on a pressure-sensitive touch panel. The information
about the frequency of the waveform is analyzed to obtain features to represent the waveform as afeature vector. Feature vectors are used to make a model of the relation between onomatopoeia andpain. The obtained model can be used for estimation of onomatopoeia. We conducted evaluation
experiments and verified that the proposed method could estimate onomatopoeias partially.

1

はじめにマトペを推定する手法を提案する．単純な図形の単純な動きにより対象の感情を表現可能なことは既存研究において示されている [4]．このことから感情と図形やその動きには関連があることになる．本研究では感情の代わりに疼痛の感じ方を扱い，図形の代わりに指描きの 3 次元の波形を扱う．疼痛の感じ方と 3 次元の波形の間には何らかの関連があると考えられ，その関連を提案手法を用いてモデル化する．
提案手法では入力された 3 次元の指描きの波形に対し，疼痛の感じ方に対応するオノマトペをラベリングする．医療者が自らの疼痛の感じ方について，事前にオノマトペと 3 次元の指描きの波形の対応表を作成できていれば，患者が入力する 3 次元の指描きの波形について自らのオノマトペとの対応づけが可能となり，疼痛の感じ方が把握しやすくなると考えられる．さらに，他の医療者と患者の情報について共有する際にも，オノマトペを介して行うことができるようになり，引き継ぎが行いやすくなると考えられる．加えて，患者自身も自らの疼痛の感じ方を表現する適切な方法をオノマトペを通じて学んでいくことができる．これらの理由から，本研究では指描きの 3 次元の波形とオノマトペを対応づける方法を提案する．
既存研究として，子供向けの痛みの程度を表現できる評価ツールが提案されている [6]．球体を基本とし，突起物が付属するツールであり，7 種類のパーツで 1 つのツールとなる．パーツの中から痛みの程度を最も表

医療機関で治療やリハビリテーションを受ける際には，まず患者は医療従事者による問診を受ける．問診で患者が医療従事者に抱えている問題の内容，例えば疼痛の部位や感じ方，その程度を正確に伝えることができると，効果的な治療やリハビリテーションを受けることができると考えられる．
しかし，疼痛は経験した人にしか分からない主観的な情報である．疼痛の情報は大きく 3 つに分けられ，それぞれ部位，感じ方，程度がある．部位や程度に比べ，疼痛の感じ方を言葉のみで伝えることは難しく，語彙と表現力が必要となる．語彙が乏しい子供や，母語が異なる人は疼痛の感じ方を適切に伝えることが困難になる．実際に東日本大震災の際には，医療従事者と方言を話す患者さんの間でコミュニケーションが取りづらかった事例も報告されている [1]．したがって，疼痛の感じ方を言葉を介さずとも表現でき，それが言葉として理解できるような仕組みが求められている．
本研究では疼痛の感じ方を計量可能な信号情報に変換し，信号情報から対応するオノマトペを推定する試みについて報告する．具体的には，タッチパネルに指で描くことにより，疼痛の感じ方を信号情報として表現するインタフェースと，信号情報から対応するオノ∗ 連絡先：立命館大学情報理工学部

草津市野路東 1-1-1
E-mail: nisihara@fc.ritsumei.ac.jp

ー1ー人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第24回)
SIG-AM-24-01

現するものを 1 つ選択することにより痛みの程度を表現する．本研究では疼痛の程度ではなく，疼痛の感じ方を推定する手法を提案する．疼痛の感じ方を推定し，その後，既存手法により痛みの程度を推定すると，疼痛の内容がより伝わりやすくなると考えられる．
オノマトペが与えられると各評価尺度に対し，痛みの質と量を定量的に提示する手法 [5] がある．既存研
究ではオノマトペを元にし，痛みの内容を推定するが，本研究では反対に，疼痛の感じ方が信号情報として与えられるとオノマトペを推定する手法を提案する．適切なオノマトペを思いつけなくとも，利用可能な手法になる可能性がある．

2提案手法

疼痛の感じ方として 3 次元の指描きの波形が与えられると，疼痛の感じ方に対応するオノマトペを推定する手法を説明する．提案手法は入力のための装置として，感圧式のタッチパネルを用いる．ある疼痛の感じ方について，タッチパネル上に指で描くことにより指描
きの 3 次元の時系列データを取得する．得られた指描
きの 3 次元の時系列データを周波数分析し，特徴量のベクトルを作成する．機械学習を用いて，ベクトルをオノマトペのクラスに分類するモデルを作成する．疼
痛の感じ方の新たな指描き表現が得られると，作成したモデルを用い，対応するオノマトペを推定することができる．

2.1

入力と入力装置

入力は，ある疼痛の感じ方に対する 3 次元の指描きの時系列データとする．3 次元の指描きの時系列デー
タとは，タッチパネル上の水平方向（X 軸），垂直方向（Y 軸），鉛直方向（圧力，Z 軸）が一定時間ごとに取得されたデータとする．
提案手法では，入力装置として感圧式のタッチパネルを用いる．本稿ではデプスセンサが搭載された iPhone8を入力装置とした．入力のためのインタフェースを Swiftを用いて作成した．インタフェースの画面を図 1 に示す．下半分の灰色の部分が指で描き，疼痛の感じ方を入力する部分になる．灰色の部分の横軸が X 軸，縦軸が Y 軸，X-Y 軸からなる平面の鉛直方向が Z 軸となる．
入力された 3 次元の指描きの時系列データを上半分のグラフ部分に表示する．インタフェースで入力する様子と，得られた指描きの波形（ジンジン，X-Y 平面のみ）の例を図 2 と図 3 に示す．計測時間は最大 10 秒，計測周波数は 60Hz とした．計測された 3 次元の指描
きの時系列データは csv ファイルとして保存される．

ー

図 1: 作成した入力インタフェース．下半分の灰色の部分が指で描いて疼痛の感じ方を入力する部分．入力された 3 次元の指描きの時系列データを上半分のグラフ部分に表示する．

2ー人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第24回)
SIG-AM-24-01

図 3: インタフェースで入力された指描きの波形の例．
オノマトペはジンジン（X-Y 平面のみ）．左から右へ描かれた．

図 2: インタフェースで指描きの波形を入力をする例．

2.2

指描きの時系列データの周波数分析

ただし，X 軸に対する特徴量を xa ，xb ，xc ，xd ，xe ，xf，xg ，Y 軸に対する特徴量を ya ，yb ，yc ，yd ，ye ，yf ，yg ，Z 軸に対する特徴量を za ，zb ，zc ，zd ，ze ，zf ，zg とする．
特徴ベクトル v の次元数は 21 次元（= 7 × 3）となる

指描きの 3 次元の時系列データの周波数分析を行い，機械学習に与える特徴量のベクトルを作成する．X 軸，Y 軸，Z 軸の 3 つの軸に対して得られた指描きの時系列データに対し，フーリエ変換を行う．フーリエ変換により得られたパワースペクトルの包絡に対し，近似曲線を求め，近似曲線の係数を特徴量として採用する．
フーリエ変換には式 (1) を用いる．

F (t) =

N−1
∑

2.3

式 (3) により表現される特徴ベクトルにオノマトペの種類を示すラベルを付与し，合計 22 次元のベクトルを作成する．機械学習によりベクトルをオノマトペのクラスに分類するモデル，つまりオノマトペの推定モデルを作成する．本稿では，オノマトペの推定モデルの作成には，多クラス分類をするサポートベクタマシンを用いた．

f (x)e−i N

2πtx

x=0=N−1∑x=0

f (x)(cos2πtx
2πtx− i sin),
NN(1)ただし，N はデータの個数であり，本稿では N = 512とした．
続いて，X 軸，Y 軸，Z 軸のパワースペクトルの包絡に対し，式 (2) により表現される近似曲線を求める．

y = ax6 + bx5 + cx4 + dx3 + ex2 + f x + g.

評価実験

3

提案手法によるオノマトペの推定精度を評価した．

(2)

3.1

式 (2) での x は周波数，y はパワーとする．
式 (2) により各軸に対し，a から g までの 7 つの係数が得られる．得られる係数を順に並べ，式 (3) により指描きの波形を表現する特徴ベクトル v を得る．

実験手順

1. 実験者は被験者に疼痛の部位と疼痛の感じ方としてオノマトペを指定する．被験者は疼痛を想像しながら，インタフェースで指描きの波形を入力する．
2. 実験者は入力された指描きの 3 次元の波形のデータを用い，オノマトペを分類するモデルを作成する．

v = [xa ，xb ，xc ，xd ，xf ，xg ，ya ，yb ，yc ，yd ，ye ，yf ，yg ，za ，zb ，zc ，zd ，ze ，zf ，zg ],オノマトペの推定モデルの作成

3. 実験者はオノマトペの推定モデルの精度を評価する．

(3)

ー

3ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第24回)
SIG-AM-24-01

表 2: ジンジン vs チクチクに対する推定により得られた混合行列．上段が提案手法，下段が比較手法．

表 1: 3 種類のオノマトペに対する推定により得られた混合行列．上段が提案手法，下段が比較手法．
提案手法
ジンジン
ズキズキ
チクチク

ジンジン
17
19
6

ズキズキ
4
30

チクチク
6521

比較手法
ジンジン
ズキズキ
チクチク

ジンジン
20
196

ズキズキ
221

チクチク
5620提案手法
ジンジン
チクチク

ジンジン
216チクチク
621

比較手法
ジンジン
チクチク

ジンジン
227チクチク
520

表 3: ズキズキ vs チクチクに対する推定により得られた混合行列．上段が提案手法，下段が比較手法．
被験者は立命館大学に所属する学生 20 名であった．
年齢は 20 歳から 27 歳，男性 14 名，女性 6 名であった．
指定する疼痛の部位とオノマトペは既存研究 [2, 3] を参考にし用意した．部位ごとに頻繁に用いられるオノマトペは異なるが，「ジンジン」「ズキズキ」「チクチク」はどの部位であっても頻繁に用いられる．このため，この 3 種類を採用した．部位については被験者が経験したことが多いと考えられる頭，腹，脚とした．獲得した疼痛の種類は 9 種類（=3 オノマトペ × 3 部位）になった．獲得した疼痛のデータ数は 1 種類につき 9 件であった．それぞれ異なる被験者から獲得し，データは合計で 81 件となった．
推定精度を比較するために，計測周波数を 10Hz に落とした手法を用意した．以下，この手法を比較手法と呼ぶ．
推定精度を評価するために 2 種類の観点を用意した．

3.3

提案手法
ズキズキ
チクチク

ズキズキ
226チクチク
521

比較手法
ズキズキ
チクチク

ズキズキ
217チクチク620

考察

3 種類のオノマトペの分類について考察する．3 種類のオノマトペの分類における精度は，提案手法が 50.6%であった．チャンスレベルが 33.3%（= 1/3）であり，チャンスレベルよりも 17.3%高い精度が得られた．このことから，提案手法によりオノマトペの推定が可能なことが示された．
1. 3 種類のオノマトペの分類
3 種類のオノマトペの分類における精度は，比較手3 種類のオノマトペを分類できるかを評価した．
法が 51.9%となった．比較手法の方が 1.3%高かったが，2. 2 種類のオノマトペの分類
2 つの手法の間に推定精度の大きな差はないと考えら
ジンジン vs チクチク，ズキズキ vs チクチク，ジれる．提案手法の方が計測周波数が高いため，より詳
ンジン vs ズキズキという 2 種類ずつでオノマト細な計測が可能となっている．しかし，精度に大きなペを分類できるかを評価した．
差が出なかったため，学習のさせ方に課題があると考えられる．
それぞれ混合行列を作成し，正しく推定された割合
2 種類のオノマトペの分類について考察する．ジンを算出し，精度とした．精度を提案手法と比較手法のジンvs チクチクの分類精度は提案手法と比較手法は同間で比較した．提案手法，比較手法でモデルを作成し，じで，77.7%であった．ズキズキ vs チクチクの分類精テストを行う際は，1-out-leave で行った．
度は提案手法が 79.6%で，比較手法は 75.9%であった．
これに対し，ジンジン vs ズキズキの分類精度は提案手
3.2 実験結果
法が 38.8%，比較手法が 51.8%であった．
ジンジンとズキズキの分類精度が，他２種類の分類3 種類のオノマトペの分類における混合行列を表 1 に（ジンジン vs チクチク，ズキズキ vs チクチク）よりも示す．3 種類のオノマトペの分類における精度は，提案低くなった．27 個のズキズキのデータのうち，23 個が手法が 50.6%，比較手法が 51.9%となった．
ジンジンと推定された．ジンジンとズキズキの違いは2 種類のオノマトペの分類における混合行列を表 2，被験者自身もあまり分からないという意見や，痛みが表 3，表 4 に示す．2 種類のオノマトペの分類における似ているという意見があった．いずれの疼痛表現も画精度は，提案手法が 65.4%，比較手法が 68.5%となった．

ー4ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第24回)
SIG-AM-24-01

ツを撮影した画像を示すなどし，疼痛の感じ方の入力のされ方の違いを考察し，インタフェースの改善に役立てる．

表 4: ジンジン vs ズキズキに対する推定により得られた混合行列．上段が提案手法，下段が比較手法．
提案手法
ジンジン
ズキズキ

ジンジン
1723

ズキズキ
104

比較手法
ジンジン
ズキズキ

ジンジン
20
19

ズキズキ
78

参考文献
[1] 岩城裕之，災害時に見る医療と地域の「問題」ー
医療者と住民の円滑なコミュニケーションのためにー，日本ヘルスコミュニケーション学会雑誌，
Vol.6，No.1，pp.6–9，2015．
[2] 楠見孝，中本敬子，子安増生，痛みの比喩表現の身
体感覚と認知の構造，心理学研究，Vol.80，No.6，pp.467–475，2010．

面に波を描くように入力されることが多かった．ジン
ジンとズキズキの波形表現が類似していたため，分類の精度が低くなったと考えられる．
一方で，チクチクの入力のされ方は，画面から何度も指を離してタッチするような入力の仕方であり，他の 2 つのオノマトペとは異なっていた．波形の形に特徴があったために，チクチクと他のオノマトペを分類する精度は高くなったと考えられる．

4[3] オ ノ マ ト グ ラ ム：メ ディカ ル オ ノ マ ト ペ ，
http://onomatopelabo.jp/medical/gram/index.html（2020 年 2 月 12 日アクセス確認）．
[4] 富川道彦，尾田政臣，単純な動きを示す対象図形の感情推定，映像情報メディア学会技術報告，Vol.33，No.17，pp.1–4，2009．

おわりに[5] 上田祐也，清水祐一郎，坂口明，坂本真樹，オノマ
トペで表される痛みの可視化，日本バーチャルリ
アリティ学会論文誌，Vol.18，No.4，pp.455-463，
2013．

本研究では疼痛の感じ方を計量可能な信号情報に変換し，信号情報から対応するオノマトペを推定する手法を提案した．ある疼痛について，感圧式のタッチパネルを利用し，指で描くことにより 3 次元（X 軸，Y軸，圧力）の指描きの時系列データを取得する．これを周波数分析して得られた特徴パラメータをベクトルとして獲得し，波形表現を介し，疼痛の感じ方に対応するオノマトペとの関係をモデル化する．
評価実験では，3 種類のオノマトペ（ジンジン，ズキズキ，チクチク）に対する指描きの 3 次元の時系列データを獲得し，時系列データから疼痛の感じ方に対応するオノマトペを推定する精度を評価した．提案手法の分類精度の平均は 50.6%であり，ランダムに推定する場合の 33.3% (= 1/3 種類) よりも 17.3%高かった．
評価実験の結果より，提案手法が指描きの波形に対応するオノマトペの推定を一部可能にすることが確認された．
今後の課題は推定精度の向上，およびインタフェースの改善があげられる．推定精度の向上のために，波形を表現するベクトルを改良し，モデル化に用いる手法の再検討を行う．インタフェースの改善のために，ユーザが波形を入力する領域を広くとるように，オブジェクトの配置を見直す．また，疼痛を感じる部分と疼痛の感じ方を関連づけて入力することで，より現実に近いデータが入力される可能性がある．そこで，インタフェース上に体のモデル図や，実際のユーザの体のパーー[6] 山下利之，近藤真悟，岡崎章，小児看護におけるプレパレーションのための痛み評価ツールの開発，
人間工学，Vol.51，No.6，pp.435–440，2015．

5ー