情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1P-782024/2/28

日本漫画におけるオノマトペの体験型インスタレーションの検討

宮内彩璃†1小林桂†1

概要：日本の漫画文化は世界的にも日本の「魅力」として認識されている．その中でもオノマトペは，大きな特徴として挙げられるが，種類が非常に多く，世界に向けて発信するために翻訳することが困難である．本研究では漫画のオノマトペを体感できるインスタレーションを制作した．体験者の動きに連動したオノマトペを表示することで，今まで以上にオノマトペを意識して漫画を読み，より演出効果を実感できる結果が得られた．

1. はじめに
近年，日本の漫画文化は，世界から大きな注目を浴びて

2. 従来研究2.1 オノマトペ学習のためのデジタル絵本システム

いる．内閣の定めるクールジャパン戦略の中でも，日本の日本語学習者を対象としたオノマトペ学習のためのデ漫画やアニメは「クール」と捉えられる日本の「魅力」とジタル絵本システム[4]は，オノマトペを選択しながら主人して全面的に提示している[1]．日本の漫画は描写やストー公が外に出かけ，1 日を過ごすストーリーを見ることがでリーが個性的であるが，その中でも印象深いのはオノマト

きる．同じシーンで使うことができる程度が異なるもの，ペの表現である．英語のオノマトペが 1500 語程度なのに類似するものなど 2 つのオノマトペをドラッグ&ドロップ

対して日本語のオノマトペは総数 4000 に上る[2]．例えばで選択すると，その意味に対応した静止画やアニメーショ「バシっ！」，「シクシク」，「ビュー！」など音がない静止ンが表示される．評価実験では，留学生 10 人中 6 人がシス画の中で擬音・擬態をリアルに表現し，読者に漫画の世界テム使用によって 10 語以上のオノマトペを理解できるよをリアルに伝える役目を果たしている．

うになった．

日本人にとってオノマトペは，日常的に当たり前に使っ

2.2 オノマトペインスタレーションている表現であるが，種類が非常に多く，世界に向けて発『マンガ マッピン！』[5]では，体験者の動きや音に反応信するために翻訳することが困難である．実際，海外向けし，オノマトペを部屋全体に映し出す体験型インスタレーに翻訳された漫画では，オノマトペの部分は日本語のままションが制作された．株式会社ネイキッドが株式会社コルになっている場合が多い．例えば『ジョジョの奇妙な冒険』

ク，エイベックス・エンタテイメント株式会社と企画協力の北米版のオノマトペは，日本語表記のままである．このして制作された本作品は，オノマトペを立体化し漫画の世ように日本語表記が残されている背景には，オノマトペの界をリアルに体験できるような作品となっている．中心に翻訳が困難であることやコスト削減の他に，海外読者から立つ体験者が足で床を叩くと，床と三方向の壁に「ドン！」「日本語オリジナルのオノマトペを残して欲しい」というというオノマトペが表示される．

要望が高いことも挙げられる[3]．
本研究ではインスタレーションを通して漫画のオノマトペを人々に体感してもらうことで，日本のオノマトペの幅広さや魅力をより世界に伝え，日本の漫画の魅力を再確認させることを目標とする．ストーリー性を持った漫画の中で行動すると，その行動に合わせたオノマトペが表示さこのような先行研究を通して，本研究では漫画のオノマトペに注目し，ストーリー展開を持たせながら日本語オノマトペの表現を体験できるシステムを制作する．

3. システム構成
3.1 デザイン要件

れることで，体験者に漫画の中に入り込んだように感じさ

これまでの先行研究では，学習のためのシステムやオノせる．例えば「何かに衝突する」という場面で，オノマトマトペそのものの体験ができるシステムの制作が行われてペで「バンッ！！！」と表現する場合，その文字のフォンいるが，本研究では漫画に存在しているオノマトペを体験

ト，サイズ，動きを工夫し，普段何気なく漫画を読んでい的に伝えるために，以下の要件を取り入れることにした．

る日本人も日本語が読めない外国人にも，登場人物の置か(1) ストーリー性があるれた環境をリアルに体感してもらい，オノマトペがあることによる日本漫画の演出効果を理解してもらう．

漫画を読んでいるような体験にするためには，ストーリー性を持たせる必要がある．ストーリー性を持たせること†1 名古屋市立大学© 2024 Information Processing Society of Japan534

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1P-78
2024/2/28

で体験者の興味を引き，漫画内に存在しているオノマトペに注目させる．
(2) 行動に連動したオノマトペの表示
体験者の動きに連動したレスポンス（オノマトペ表記）を行う．実際の行動に対して漫画が応えてくれる体験は，普段体験できないことであり，体験者が楽しみながらオノマトペを体感できると考えられる．
(3) 没入感「体験型インスタレーション」であるため，没入感を高め，二次元的な漫画の世界と三次元の空間の差を感じさせないようにする．
図 2

3.2 デザイン

電話を取り，セリフを音読する

3.2.1 ストーリーと漫画表現
要件 1 を満たすため，体験者がアクションファンタジー漫画の主人公になり，ストーリーを進める．以下があらすじである．
現実世界と仮想世界が並列して存在している世界の中，荒れ果てる仮想世界にたびたび出現する黒いモンスターを討伐する仕事をしている主人公．突如出現した黒電話を通して出動命令が下された主人公は仮想世界へと飛び，自分の武器である刀を使って戦い，モンスターを退治する．
メインはオノマトペであるため，必要最低限の絵を利用して簡単な漫画を制作した（図 1）．漫画のイラストはクオリティを一定にするため， AI イラスト生成システム

図 3

ジャンプする（Adobe Firefly [6]）や，実際の写真を漫画風に編集したものを利用した．それらの素材を adobe After Effect と Premiere
Pro を利用して編集を行い，コミックムービー風に表現した．オノマトペの文字は全て pro create を使用して直筆で制作した．

図 1

システムで使用する漫画
図 4

刀で斬る

3.2.2 インタラクション
要件 2 を満たすため，体験者の動きに反応するインタラへの没入感を高める．刀は殺陣稽古用のプラスチック製のクションを 3 種類用意した．

ものを使用し，漫画の世界観に合わせるために，モノトー①

電話をとり，指定したセリフを言うとコマが進む（図ンで漫画調の線を描いた（図 5）．

2）．

3.3 実装②

ジャンプすると漫画の主人公も跳び上がる（図 3）．

システムは PC，RGB-D カメラ（Azure Kinect），短焦点③

刀で斬撃すると漫画の中のモンスターを倒すことがプロジェクター，マイクを使用する（図 6）．動作①では，できる（図 4）．

Unity の KeywordRecognizer を利用し，漫画内のセリフであ3.2.3 没入感
要件 3 を満たすために，小道具を取り入れた．物語の中で登場する電話と刀をその場に設置することで漫画の世界© 2024 Information Processing Society of Japanる「はい」，「了解しました」の単語が発せられた場合，次のコマに進むようにする．
動作②，動作③では体験者の身体座標の変化で行動を認

535

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1P-78
2024/2/28

均値は【絵】4.1，【セリフ】4.4，【オノマトペ】1.8，【コマ割り】1.6，【キャラクター】3.9，【世界観】3.7 であった．
絵やセリフを意識しながら読んだ人が多く，オノマトペやコマ割りの意識は低いことが分かった．
4.2 システム体験後
システム体験後，もう一度『ワールドトリガー 第 1 話』
図 5

インタラクションで使う小道具を読んでもらい，再度各項目をどのくらい意識して読んだかに加え，以下の質問をした．
1.

システム体験前後で内容の感じ方に違いはありましたか．あればどんな違いがあったのか記述してください．

2.

体験したストーリーの内容は理解できましたか（4 段階評価）．

3.

インスタレーションの没入感を教えてください（5 段階評価）．

4.

体験中，オノマトペを意識しましたか（5 段階評価）．

5.

体験してみて，感想があれば教えてください（記述，任意）．
システム体験後の各項目の平均値は，【絵】4.2，【セリフ】

3.5，【オノマトペ】4.2，【コマ割り】3.4，【キャラクター】
図 6

システム構成識するため，Azure Kinect で身体座標を取得する．Kinect にはあらかじめ読み取った各身体部分に名称が設定されている．動作②の「ジャンプする」は体験者の右足

3.5，【世界観】3.4 であり，オノマトペとコマ割りの意識が上昇した．システム体験前後の各項目の平均点が統計的に有意であるかを確かめるために，有意水準 5％で t 検定を実施した結果，セリフ，オノマトペ，コマ割りの 3 項目において差が有意であることが分かった（図 7）．

（FOOT_RIGHT）の y 座標が設定した数値を超えたら，映像を切り替える．動作③の「刀で斬撃する」は 8 フレーム前の右手（HAND_RIGHT）の x 座標と最新の右手の x 座標に，設定した数値以上の変化があれば，映像を切り替える．

4. 予備実験
4.1 システム体験前
芸術工学部の学生 10 名にシステムを体験してもらった．
まずシステム体験者は，システム体験前に電子書籍の『ワールドトリガー 第 1 話』 [7]を読み，アンケートに回答した．この作品は，1 話からストーリーの概要が掴みやすく，

図 7

システム体験前後の平均点の比較

怪物と戦う描写や主人公たちの会話の描写など，多様なシーンがある．オノマトペも多く使われており，システムのコマ割りにおいてオノマトペと同等の結果が出たのは，影響を受けやすいと考えた．事前アンケートの質問内容はシステムで使用した漫画の映像内のコマに動的表現を持た以下の通りである．

せたため，体験者の印象に残ったと考えられる．また，体1.

普段漫画は読みますか（4 段階評価）．

験者の漫画を普段読む頻度別に見ても結果に偏りは見られ2.

『ワールドトリガー 第 1 話』を読んでいるとき，下なかった．の各項目をどのくらい意識して読みましたか．（5 段

セリフに関しては，電話を使ったインタラクションで体階評価）
【絵】
【セリフ】
【オノマトペ】【コマ割り】【キ験者は漫画の主人公のセリフを読み上げたにも関わらず，ャラクター】【世界観】

意識が低下した．システムにはオノマトペとコマ割りに意質問 1 の結果は「よく読む」が 5 名，
「たまに読む」が 3名，「あまり読まない」が 2 名だった．質問 2 の各項目の平© 2024 Information Processing Society of Japan

識を集中させる効果があり，その分他の要素の意識が低くなった可能性がある．

536

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1P-78
2024/2/28

質問 1 の内容の感じ方の違いに関しては，回答をテキス制作した．システム体験前後で同じ漫画を読んでもらうこ

トマイニングツールである KH coder[8]を利用して分析しとで，オノマトペやコマ割りを意識させる効果が確認できた（図 8）．
「オノマトペ」，「印象」，「コマ」，「動く」，「受けた．また漫画の内容の感じ方に関しては，オノマトペを意る」といった単語に共起関係が見られた．
「体験」，「戦う」，識して漫画を読むと，その漫画のシーンを動的に捉え，ス「敵」といった，システム上で体験した要素に関係した単トーリーにより深く入り込みながら漫画を楽しめることが語も見られる．

分かった．
「セリフを音読する」や「ジャンプする」，「刀で斬る」
身体動作で映像を切り替えたことは，体験者が作品に参加する環境を作ることができ，刀で斬ったときに感嘆の声が上がるなど，楽しみながらインスタレーションを体験している姿を見受けることができた．

6. 今後の展望
現段階ではオノマトペをテキストのデザインや動きで表現したが，より効果的に伝えるために，音を使うことも検討する．また体験者の動きの大きさやスピード感でオノマトペの字体やサイズを変えることも考えた（図 9）．体験
図 8

KH coder 分析結果者の動きが小さい場合，オノマトペの独特なデザインを無くし，文字を小さく表示する．

回答では「風が吹いているシーンはさっき体験したため，登場人物に入り込んでしまった．」，「前は客観的に読んでいる感じが強くて，他人事のような感じだったけど，体験後はより主人公に感情移入しやすくなった．」などがあり，インスタレーションの体験は，漫画を読む際にオノマトペをより意識させ，漫画への没入感を高める効果があると考えられる．
質問 2 については，ストーリーを理解することは，インタラクションのユーザビリティやオノマトペの理解等に影響する基本的なことであると考えられるため，質問した．

図 9

左：反応小右：反応大結果は，「理解できた」が 6 名，「ほぼ理解できた」が 4 名だった．
質問 3 の没入感についての 5 段階評価（１: 没入感を感以上を検討しつつ，よりオノマトペの効果を体験できるシステムを制作する．

じなかった，5: 没入感を感じた）の結果は，5 を選択した
人が 3 名，4 を選択した人が 7 名だった．質問 1 の記述で謝辞も見られたが，インスタレーションの漫画への没入感を感制作において有益な助言をいただきました．厚く感謝を申じさせる効果が示唆された．

し上げます.

本研究を進めるにあたり，長田一馬氏にはシステム

質問 4 のオノマトペの 5 段階評価（１:意識しなかった，5:意識した）の結果は，5 を選択した人が 8 名，4 を選択し参考文献た人が 1 名，3 を選択した人が 1 名だった．絵やインタラ[1]

クションなど他の要素がありながらオノマトペを意識させることができた．
質問 5 の感想では，「とても楽しかった」，「おもしろかったしワクワクした」，「切れたとき嬉しかった」といったシステム体験に対して好意的な意見が多くあった．

5. まとめ本研究では漫画におけるオノマトペを体験的に伝えるためにインタラクションを活用したインスタレーションを© 2024 Information Processing Society of Japan“内閣府，クールジャパン戦略について”.
https://www.cao.go.jp/cool_japan/about/about.html, (参照 202311-19).
[2] “国立高等専門学校機構，日英オノマトペの数量分析”.
https://research.kosen-k.go.jp/file/4436, (参照 2023-11-19).
[3] “JOHO，オノマトペでも翻訳はできるの？”.
https://www.joho-translation.com/news/5160/, (参照 2023-11-19).
[4] 前田安里紗, 他. 日本語学習者を対象としたオノマトペ学習のためのディジタル絵本システム. 人工知能学会論文誌,
2015, vol. 30, no. 1, p. 204-215.
[5] “PRTIMES，『マンガ マッピン！』第一弾作品、「オノマトペ」を体感するアート発表”.

537

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1P-78
2024/2/28

https://prtimes.jp/main/html/rd/p/000000343.000008210.html, (参照 2023-11-20).
[6] “Adobe，Adobe Firefly”. https://firefly.adobe.com, (参照 202311-20).
[7] “葦原大介，ワールドトリガー”.
https://www.shonenjump.com/j/rensai/world.html, (参照 2023-124)[8] “KH coder”. https://khcoder.net, (参照 2023-12-10)© 2024 Information Processing Society of Japan538