情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162A04
2016/3/3

箱庭での人形遊戯から発話される
オノマトペと動作の関係性
松山昇一1,a)

角康之1

概要：オノマトペとは，自然界の音・声，物事の状態や動きなどを音 (おん) で象徴的に表した語である．
現在，日本語大辞典第二版にオノマトペは約 4500 語が収録されている．しかし，最近の漫画やネット用語などのオノマトペは再録されてはいない．そのようなものを付け加えたとするなら 5000 語を超えるだろう．他国にもオノマトペは存在するが数百単語ほどである．
日本語におけるオノマトペは，他国と比べても非常に多く，ほとんどがニュアンスで捉えている．しかし，膨大なオノマトペを正確に説明，区別することは人ですら容易ではない．さらに，抽象的であるオノマトペをロボットや機械が理解することは難しいと言える．そこで，本研究では箱庭空間という限られた空間での人形遊びからオノマトペとモーションのデータを抽出し，関連性を分析し，そこからマルチモーダルな辞書を作成する．オノマトペをモーションから分析するのは，実際の動きからの方が差異や似た結果が検出できると考えたからである．その結果，モーションから特定のオノマトペの型を推定することができた．また，人形や状況によって同じ動きでもオノマトペに変化が見られた．
キーワード：オノマトペ，人形遊び，モーションデータ，マルチモーダル

Onomatopoeia and Their Relevancewith Motion of Dolls in Augmented Table
ShoichiMatsuyama1,a)YasuyukiSumi1

Abstract: Onomatopoeia is expressed the word by nuances of sound, for example natural sound and voices,
state and movement. Currently, onomatopoeia is about 4500 words are present in the Japanese unabridged
second edition. However, onomatopoeias of recent comics and net are not represent. So, onomatopoeia ispresent more than 5,000 words. Although onomatopoeia is also present in other countries, but It is about
several hundred words.
Onomatopoeia in Japanese is very much compared with other countries, it is suitable for capturing thenuances. However, the study of about the diﬀerence between the definition of onomatopoeia has not beenestablished. Therefore, in the present study is to make a dictionary of the relevance of onomatopoeia andbehavior by using a doll. The reason for analyzing the onomatopoeia from the motion of the doll, we can be
expected to result better from the objective data. Result, it was possible to extract specific onomatopoeia
from doll motions. In addition, onomatopoeia was changed by the doll and circumstances.
Keywords: onomatopoeia, doll play, motion of data, multimodal

1a)

公立はこだて未来大学
Future University Hakodate
s-matsuyama@sumilab.org© 2016 Information Processing Society of Japan481

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

1. はじめに

162A04
2016/3/3

語のオノマトペが存在しており，日本語大辞典第二版に収録されている．海外にもオノマトペは存在するが，ここま

オノマトペとは，日本語における擬音語，擬態語，擬声で多くない．例えば，フランス語では「イライラ」，「ムカ語の総称のことを指す．従来の関連書籍では，オノマトペムカ」といった擬態語が存在しない．更に，英語における辞書が作成されており，山口らの作成した辞書には約 2000

オノマトペは「bumpy」（デコボコ）や「twincle」（キラキ語，小野らが作成した辞書には 4500 語の擬音語，擬態語ラ）など 200 300 単語である．日本語はその 5 倍以上あるの意味や使われ方が収録されている．他には，オノマトペと言われる．ここまで日本のオノマトペが多いのは，日本の音の響きに着目したものがある．これはオノマトペを感語は他の言語に比べて極端に音節数が少ないことが上げら覚的・主観的な経験にもとづく独特の質感から評価していれる．得猪は，日本語には母音，子音，濁音，半濁音などるものである．関連研究では，海外の人が日本のオノマトを組み合わせて 112 音しか存在しないが，英語では 5 万音

ペを学習するシステムの開発や，音の響きを８属性に分け近くが存在していると述べている [1] ．また，この貧弱な音数値化することで，オノマトペの持つイメージの可視化を節を補うために、日本人は「イライラ」「ムカムカ」といっ試みたものがある．しかし，この方法はオノマトペの印象た、漢字では書けない二音節反復型のオノマトペを数多くを主観的に決定されているため，客観性に欠ける部分があ発明してきたと述べている [1] ．

る．それを解決するためにユーザーに対する質問調査によ

ここまで日本のオノマトペについて触れた．「歩く」の中り重み付けすることで客観的な数値を導き出す試みを行っにも「のろのろ」「てくてく」「スタスタ」など多くのオノているが妥当性に欠ける点が問題である．

マトペがある．また，急な胃の痛みを，オノマトペであれオノマトペの研究は，音象徴に注目したものが多く，本ば，「ずきずき」，「きりきり」などを用いて，その痛みを表来のオノマトペの動き自体を分析した研究は少ない．動き現できる．この中の「きりきり」を説明するなら，「細いに着目したものもあるが，既に決まった動きに対してオノ針のようなもので刺すような痛みが何度も襲ってくる」とマトペを付与するというものであるため，他の動きに対応いったようなものが考えられる．我々はオノマトペを平気できない．本研究では，人形遊びから人形の動きとその際で使っているのが，これを共感や理解できることが如何にに発言されるオノマトペを抽出し，関連性の分析を行いすごいかが分かる．オノマトペは感覚では分かるが具体的コーパス作成を目指している．本研究を行うのは，より客に説明して欲しいと言われると容易ではない．しかし，日観的なデータの抽出をし，マルチモーダルなコーパスを作

本はこれを瞬時に理解しコミニュケーションを取れる．当成するためである．また，環境の変化や，人形の違いなどたり前のようなことかもしれないが，そこには日本人特有によるオノマトペの違いや類似した動作を見ることで柔軟の経験や考え方があるかもしれない．そこで，本研究ではに対応できるコーパスの作成が期待できる．

日本のオノマトペを人形を用いて抽出し分析することで法本研究における実験方法について紹介する．本研究では則性や関連性を明らかにしたいと考えている．また，人形テーブルトップ型の箱庭システムというものを利用しオノを用いることで等身大のオノマトペのイメージを落とし込マトペと動きを収録する．箱庭システムとは，OptiTrackめることを期待している．という光学式モーションキャプチャーシステムを用いて，人形の動きのデータ，ユーザーの発話を収集するための空3. 本研究の目的間である．この技術を用いることで，マーカーを付けた人オノマトペという直感的な表現を行動から分析すること形の動きを x,y,z 軸のデータを取ることが可能である (図で、ロボットやプログラムに学習させることができない

1)．また，テーブル上で行うことで一連の動き，流れを限か，共通の感じ方を人形などの動きから明確にすることをられた空間で収集できるメリットがある．本研究を行い，目的とした．そこでオノマトペと行動を関連付けしたマル

1．オノマトペの動き，2．環境変化によるオノマトペの変チモーダルな辞書を構築することで、人が経験から構成し化，3．人形によるオノマトペの変化について分析する．ていると思われるオノマトペを明確にすることを目指して

2. 背景
オノマトペとは擬音語，擬態語，擬声語といった，自然界の音・声，物事の状態や動きなどを音（おん）で象徴的に表した語の総称である．日本においてオノマトペは，生活いる．方法として複数人での共有が可能なテーブルトップでの人形遊びからユーザーの様子や反応の観察を行う．

4. 関連研究4.1 オノマトペの辞書化において欠かせないコミニュケーションツールである．普オノマトペに関する書籍や研究として行われているのが，段から何気なく使っているオノマトペだが，これは日本特辞書や用例事典の作成である．例えば，山口らはオノマト有の文化である．故に海外の方は全く理解できないことはペの用例を詳細にまとめた辞書を刊行している [2] ．2003

有名である．現在，日本には確認されているもので約 4500

年当時では日本最大の約 2000 語オノマトペを収録してい© 2016 Information Processing Society of Japan482

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162A04
2016/3/3

図 1

箱庭システムの概要

Fig. 1 Overview of hakoniwa system

る．その後，2007 年に小野らによって作成された辞書ではニュアンスまでは伝わりにくいという部分から，オノマト日本最大数の 4500 語を収録している．[3] この 4500 語は、ペを使ったり聞いたりする際，重要となるオノマトペが持「日本国語大辞典 第二版」を母胎としており，「日本国語つ微妙なニュアンスや聞き手に与える印象に着目し，それ大辞典らを提示するシステムを提案している [5] ． このシステム第二版」の総語数は 50 万語と言われる．その中の 4500 語がオノマトペであるが、最近のマンガなどにあは Web から抽出したオノマトペとその周辺文章を分析し，るようなオノマトペは再録されていない。それらを加えてオノマトペの感性情報を提示する．これによって，オノマいけば、すぐオノマトペは増えていくと考えられる。話をトペを聞きなれない人でも，そのオノマトペのニュアンス分かりやすくするために，5000 語と仮定する．すると，50や使うべき状況が容易に想像できるようにすることを目的

万分の 5000，100 語に 1 つがオノマトペなのである。それとしている．感性を測る指標を複数用意し，オノマトペとを辞書にしたことは研究の足が掛かりの 1 つと言える．

その周辺文章から，各指標に対する感性評価値を数値とし研究分野では，ウェブ上で使用されているオノマトペをて計算・集計する．その後，特徴的と判断した値のみユー収集して，オノマトペ用例辞典「オノマトペディア」の作ザに見やすい形にして提示する．本研究ではオノマトペの成を行ったものがある．[4] ．オノマトペリストからユーザ動きに着目したことでより直感的なデータの収集と分析がが選択したオノマトペを含む Web ページを Yahoo!API をできると考えている．

用いて検索し自動取得し，その中からそのオノマトペを含んでいる文章を抽出する．検索を行う際，オノマトペに付4.3 音象徴を用いたネーミングの提示

属語を付けたものを見出し語として検索したページからもオノマトペの持つ直感的な意味は，言語的な意味とは独文章を抽出する．オノマトペディアの開発においては，実立に音響的な特徴で表現されており（例 「サ」行は滑ら際にブログなどで多く用いられているオノマトペに注目しかなイメージ，「マ」行は暖かいイメージ），このような音て用例辞典を作るという点に特徴があるといえる．

響的な特徴は「音象徴」と呼ばれている．この音象徴が人本研究では，オノマトペの意味や使い方について知るもに与える影響は，使用する言語に依存せずに普遍的であるのを作成するのではない．オノマトペの持つ特徴を人形のと考えられており（例Smooth ＝「サ行」の音を含んだ動きから明らかにすることで，より柔軟性のあるオノマト

滑らかなイメージ，Moody ＝「マ行」の音を含んだ暖かいペの辞書を作成することを目的としている．

イメージ），これらの音象徴を利用して新しい商品のネーミングに利用するなどの試みは，すでにマーケティングな

4.2 外国人の学習システム

どの分野で多く用いられている [6 ．本研究では，この音の中部らは，3.1 で述べたオノマペディアの作成を行って持つ特徴を動かす人形によってオノマトペの変化が起こる

いるが，文例として適切な文章を提示しても，用例だけでかを，人形の属性アンケートから分析し関連性がないかをは，日本人がそのオノマトペを聞いたときに感じる微妙な調査する．また，人形の属性だけでなく風景といった環境© 2016 Information Processing Society of Japan483

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162A04
2016/3/3の変化によるオノマトペの変化や類似性も人形遊びから分析する．

4.4 オノマトペの数値化
小松らの研究では，オノマトペを形成する音節が持つ「音象徴」を数値化して表現し，それらを組み合わせることでオノマトペのイメージの数値化を行い，そのオノマトペの持つイメージを客観的に表現するようなシステムの開発を行っている [7] ．具体的にはイメージを表現するメディアとしてペットロボットの動作に注目し，ロボットの動作に対してオノマトペの意味が副詞的に付与するようなシステム構築を行っている．音象徴に基づいた組み合わせ的な表

図 2

箱庭システム内の概要 2

Fig. 2 Overview of hakoniwa system

現方法を採用することで，事典や辞書のような膨大なデータベースを必要とせず，また辞書にも載っていないようなびオノマトペ発話を計測することで状況とオノマトペを関新規なオノマトペであっても，その数値の算出が可能にな連付けたコーパスの構築を行う．さらに，得られたコーパるというメリットがある．本研究では数値化している部分

スを活用し，ミニチュアモデルの動きに対してオノマトペをより直感的にするため，オノマトペと動作おけるマルチを重畳表示して，ミニチュアモデルの動作を心理的に拡張モーダルなコーパスの作成を試みる．

する環境の構築を行う．

4.5 動きに対応したオノマトペの表示

5.2 箱庭システム環境の有用

佐藤らの研究では，ユーザの身体動作によって連想され松村らが行っている研究では，ミニチュアモデルを用いるオノマトペを文字として提示する，漫画の様なインタラた 3D アニメーションを制作する環境を構築しおり，それクティブシステム Font Action を提案を行っている．これを Hakoniwa システムと呼ぶ．この研究では，ミニチュアによって，身体動作に新鮮な印象を与え，ユーザに楽しんモデルへの視覚的拡張や，3D アニメーション環境の構築でもらうことを目的としている．オノマトペには濁音の有を指向するのではなく，ミニチュアモデルモデルとオノマ無によって，大きい・小さいなどの印象が変化する性質がトペの関係性を心理的に分析し，それを利用するところにあるとしている．そこで本システムではその性質を利用しある．本研究では，このシステムを利用し行動とオノマトて，ユーザの体形から受ける印象に合わせたオノマトペをペの関連性を分析し，実際に遊んでもらった際の動きや音[8]表示するようにしている． 「歩く」を例にすると，体型声をデータとして記録する．その際，動きのデータは光学が大きい場合「ドタドタ」，体型が小さい場合「テクテク」

式モーションキャプチャー（以後 Opti Track と呼ぶ）をと表示する．しかし，この研究では特定の動きに反応して用いて計測する (図 2)．図 2 は，本研究で利用するシステいるため汎用性が高いとは言えない．本研究では人形を複ムのイメージ図である．

数対用い，複数人で行うことでオノマトペの違いや性質が見られるのかを分析する．そこから，同じオノマトペでも条件によってはスケールの変化が見られるのか，オノマトペ自体に変化が見られるかから汎用性も分析したい．

5. 行動と発話されるオノマトペの抽出予備検討

5.3 箱庭システムの準備
OptiTrack を用いて，人形の動きのデータの収集を行う．
この技術を用いることで，マーカーを付けた人形の動きをx,y,z 軸のデータを取ることが可能である (図 3)．また，収集したデータを分析し Unity と連携させることで仮想空間内との連携が可能である．例えば，仮想空間内の 3D モデ

5.1 Hakoniwa システムによるオノマトペの心理的拡張

ルを実際の人形の動きと同期させることができる．本研究

Hakoniwa システムを用いて人形などの実物体の動きにでは，人形の動きにおけるオノマトペから適切なオノマト対してオノマトペを提示し，その動きを心理手的に拡張しペを抽出できるかを特徴量から分析する．

ようとするものである．オノマトペは人間が生活の中で経験値的に獲得しているものである．それを活用することに5.4 人形遊戯によるオノマトペの抽出より，プロジェクションマッピングなどの視覚的 AR 技術

オノマトペの抽出は実仮想空間内に特定のシチュエーにおける位置合わせや計算量の問題を解決しようと試みてションを準備し，被験者 3 名に遊んでもらった（図 3）
．シいる

[9]

．本研究では，ミニチュアモデルによる箱庭環境をチュエーションは，人形 3 体を使って数分間戦ってもらい，利用し，そこでの人間と箱庭環境のインタラクションおよそれを 5 回繰り返した．それを動画に記録し，書き起こし© 2016 Information Processing Society of Japan484

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162A04
2016/3/3

図 3

Opti Track によるデータ収集

Fig. 3 The data collected by the optical motion capture.

を行った．書き起こした内容は，オノマトペが起きた時間（秒），オノマトペが発言した人形と行動，発言したオノマトペである．書き起こしを行うことで，行動と発言したオ6. 結果と考察
6.1 結果ノマトペとの関連性が見えると考えたからである．更に，結果として，動きが大きい時ほどオノマトペの強さが大その関連性の見られた部分のモーションデータを比較するきいことが見受けられた．例えば，空中に飛び上がって落ことでオノマトペと行動の関連性も明らかにできると考えちてくる動きでは「ひゅーん」と落ちるオノマトペからたからである．

対象物にぶつかる「どーん」の強さに差が見られた．空中に人形を高く上げるほど落ちる速度は速く，それに伴い「どーん」の声の大きさも大きくなることが見受けられた．

5.5 個人によるオノマトペと行動の関係
予備検討より，被験者が動かす人形の動きにはある程度他ユーザーが人形を動かす際に，「べしべし」や「どーん」傾向があることが見て取れた．オノマトペのスケールや動といった攻撃・衝撃のオノマトペを多用していることを発きをある程度把握する為に個人ごとのオノマトペの動きを見した．これは，書き起こしデータを分類した結果，全体人形によって抽出する実験を行った．被験者にはそれぞれのオノマトペ数は５３個ｔ中２３個を占めた．また，上下20 個程度のオノマトペ（表 1）を提示し，各オノマトペのの動作が多く見られたため，Y 軸方向のデータに着目したイメージの動きを一通りやってもらい，それをそれぞれ 3

ところ，「しゅーん」と飛び上がり，「ひゅーん」と落下，回繰り返し合計 60 試行した．被験者自身が持っているオ「どーん」とぶつかる一連の行動には被験者の経験から構成ノマトペのイメージを個人ごとに見ることで複数人とのされると思われるパターンがあった (図 4)．図 4 は人形の場合との差がないかを見ようと考えたからである．これにY 軸方向のマーカーデータであり，特徴の見られた被験者

よって，人形による動作の型に差があるか客観的に分析すのものである．また，動きの違いからによってオノマトペ

る．被験者は提示したオノマトペが何の動作かなどは示唆に変化が見られることが分かった．例えば「歩く」と「走していない．

る」の動きは「歩く」は人形を左右交互に動かしながら前進するといった，前と横方向（ｘ，ｚ軸）に特徴が見られ

表 1 提示したオノマトペ一覧

た．「走る」の動きは人形を上下に動かしながら前進するといった，前と縦方向（ｘ，ｙ軸）に特徴が見られた．

のろのろ

たったった

ぴょーん

ひゅーん

どーん

てくてく

だっだっだ

ぴょんぴょん

ぴゅーん

ずどん

とことこ

びょーん

びゅーんぽよーん

どたどた

びょんびょん

どすん

どかっ( 1 ) オノマトペを発話した側の被験者が他被験者に接触ごつんした場合自然にオノマトペの発話が誘発される．しかすたすた

複数人の人形遊びに関しては，被験者の間で次のような特徴が見られた．

し，接触された側が反応しない時点で人形遊びが破綻© 2016 Information Processing Society of Japan485

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162A04
2016/3/3

発話されていることも考えられる．今回は，歩く動作や重量感に関して特徴が観測できたので，属性に対応されるであろうオノマトペをあらかじめ分類しておくことで，同じ動きをした際にもステータスに対応したオノマトペの重畳が可能であるのはないかと考えている．それと同様に今回観測できた環境ごとの特徴的なオノマトペをステージごとに動作と対応付けることも必要になると考える．

8. 終わりに
図 4

行動とオノマトペの関連性の見られたデータ

Fig. 4 Data that suggested the relevance of behavior and onomatopoeia

本研究では，人の行動から発言するオノマトペの多様性や新たな可能性を，人形遊びから集め，オノマトペ辞書を作成を行った．また，ミニチュアモデルを用いた 3D アニメーションを制作する環境を構築し，ミニチュアモデルとする．

オノマトペの関係性を心理的に分析し，それを利用するこ( 2 ) オノマトペを発話した側が被験者以外のものに接触しとでオノマトペの有用化を目指している．行動とオノマトた際もオノマトペが誘発される．この時，発話した被ペの前後の行動，発言の分析を行うことで，オノマトペの験者が発話する．

選択に法則や関連性についても考察も行い，より正確な差が生まれないかを研究していく．

6.2 考察予備検討より，人形遊びを通してのオノマトペの発話と行動・動作にはいくつかの関連性が見られた．結果でも述

参考文献
[1]

べた「歩く」，「走る」のように，」大体の動きを定義出来ると考える．例えば，「歩く」は左右交互前進型，「走る」は上下前進型と仮定する．更に，動きの大きさや速さによっ[2][3]てオノマトペの発話が大きくなったことから，例で挙げた型との組み合わせによってオノマトペのスケールの分析に[4]も役立つと考える．今回の予備検討では，投影した画像がリングであったからか、攻撃・衝撃に関するオノマトペである「べしべし」や「どーん」，「ぽかぽか」といった攻撃，[5]衝撃関係のオノマトペが全体の約４割を占めた．これを踏まえ状況をいくつか用意し，状況によるオノマトペの変化[6]も視野に入れて分析する．

[7]

さらに予備検討からモーションデータ、書き起こしデータから次のような型のようなものが見られた。歩くオノマ
トペは横の動きに交互に動かすという特徴が見られた．走るオノマトペは縦への動きの細かさと進む方向への速さに特徴が見られた．飛ぶ・跳ぶは，縦への繰り返しの動きに[8][9]

得猪外明，へんな言葉の通になる―豊かな日本語，オノマトペの世界，祥伝社， (2007)．
山口仲美 (編集)，暮らしのことば 擬音・擬態語辞典,，講談社，(2003)．
小野正弘 (編著)，擬音語・擬態語 4500 日本語オノマトペ
辞典，小学館，(2007)．
Asaga, C., Yusuf, M., and Watanabe, C.: Onomatopedia: Onomatopoeia Online Example Dictionary System
Extracted from Data on the Web, In the proceedings ofthe 10th Asia Pacific Web Conference (APweb), 8b-1,(2008)
中部文子，浅賀千里，渡辺知恵美，感性情報を利用したオノマトペ学習システムの開発 (2009)．
黒川伊保子，怪獣の名はなぜガギグゲゴなのか，新潮社，(2004)
小松孝徳，清河幸子，秋山広美，オノマトペから感じる印
象を表現する属性とその客観的数値化 (2009)．
佐藤 慧太，鈴木 祥太，松木 裕作,，Font Action : 身体動作から出現するオノマトペ, インタラクション 2010．
松村 耕平，角 康之：Hakoniwa: ミニチュアモデルを媒介とした 3D アニメーション撮影環境， インタラクション
2013（インタラクティブ発表），情報処理学会主催, 東京，2013 年 2 月 28 日〜3 月 2 日．

ある一定の高さまで持ち上げるという特徴が見られた．衝撃・衝突のオノマトペは，対象にぶつかる瞬間に動きが止まるいう特徴が見られた．

7. 今後の展望
今後としては，あるオノマトペから動作を認識して型を決めて観測したが，操作からオノマトペを抽出する段階に至っていないため，モーションデータの選別方法を考えた
い．そこから，オノマトペの重畳表示をするシステムまでが目標である．更に人形関しては，人が人形に対して共通の認識があることで，人形に起因した共通のオノマトペが© 2016 Information Processing Society of Japan486