Font Action : 身体動作から出現するオノマトペ
佐藤慧太†

鈴木 祥太†

松木 裕作†

Font Action: Onomatopoeic appear from body motion
KEITA SATOH†
1.
1.1

SHOTA SUZUKI†YUSAKU MATSUKI†

はじめに
背景

近年，映像技術やセンシング技術の発達によって映像を用いたインタラクティブシステムが注目を浴びている．ユーザを取り込んだインタラクティブな映像表
現の例として，スクリーンに映るユーザに様々なアニメーションを付加することで，ユーザの行為を誘発させる「Oups!」や，ユーザの影を認識し，その影に鳥の影が止まることで，実体のない世界とのインタラク
図1 システム概要図

ションを行うことができる「torikage」が挙げられる．
これらは，映像を用いてユーザに働きかけることで，このシステムは一人だけではなく，複数人で楽しむ面白さを得ることができる部分が共通している．またことを想定している．まず映し出される映像にはユー

文字表現としては，オノマトペをテーマとし，蛇口をザの身体動作に合ったオノマトペが表示される．それ

ひねると，影と重なる部分からびちゃびちゃなどの言を見ることで，ユーザは更なる動作を誘発され様々な葉の水が出現し，その文字とインタラクションが行え動作を行う．複数人で行った場合はそれが更に促進さる「みくまりね」などが挙げられる．これは，物体をれる．

文字に置き換えることに加え，オノマトペを視覚化することで，ユーザに新鮮な印象を与え，面白さを得る

Font Action の特徴である「オノマトペ表現」と「漫画表現」という二つの表現について以下に記す．

ことができる． そこで本研究では，ユーザの行為の2.1誘発やオノマトペの視覚化に着目した．

オノマトペとは，日本語には数多く見られる表現で1.2

目的

オノマトペ表現ある[4]．オノマトペによってある音や状態を簡潔か本研究では，ユーザの身体動作によって連想されるつ具体的に表現できる．主に，鳴き声や人の声を描画

オノマトペを文字として提示する，漫画の様なインタした擬声語がある．また，それ以外の音である擬音語

ラクティブシステム Font Action を提案する．これにがある．その他にも動作・事物の様態・状態を表した

よって，身体動作に新鮮な印象を与え，ユーザに楽し擬態語と，その中で特に人の感情・心理状態を表したんでもらうことを目的とする．

擬情語から成り立っている(表 1)．また，オノマトペ

2.

は各音の持つイメージに共通認識があり，ある共通の

Font Actionコンセプト

イメージを持った文字の組み合わせでそのイメージにFont Action はユーザの身体動作を読み取り，その動関連する音や様子を表している．そのため様子の程度作から連想されるオノマトペを文字として映像に付加によって濁音や清音を用いることで印象を変化させてするインタラクティブシステムである．その概要図をいる(表 2)．

図 1 に示す．
† 公立はこだて未来大学 情報アーキテクチャ学科
Department ofHakodate

Media Architecture, Future

University

情報処理学会 インタラクション 2010
表1

オノマトペ一覧

種類

具体例

擬声語

ワンワン，ニャーニャー，エーンエーン

擬音語

ドンドン，ゴロゴロ，パタパタ擬態語

キョロキョロ，ピカピカ

擬情語

イライラ，ウキウキ，ソワソワ

表2音象徴
静音

清音と濁音の違い

印象

具体例

軽快，滑らか，小さい

カタカタ，サラサラ，トントン

濁音

鈍重，濁り，大きいガタガタ，ザラザラ，
ドンドン

これらは直感的に理解できるため，様々なメディアで利用されており，常日頃目にすること，また耳にすることが多い．
2.2

漫画表現

漫画では様々な音や様子がオノマトペで表現されており，文字の大きさや種類や配置の工夫を加えることで，オノマトペが元々持つその音や状態を表す表現が更に効果的に使われる．また場面の臨場感を出すこと

図2 主な処理の流れで，その動作を際立たせる効果がある．例えばキャラ動作の推定

クターが歩く場合には「テクテク」や「トコトコ」，3.1

キャラクターが跳躍する場合には「ピョーン」や「シ動作を推定するために，WEB カメラから得られたュバッ」などの文字が付加される．これを普段行って画像からユーザの身体だけを取り出した前景画像（図いる何気ない動作(歩く，跳躍など)に付加することで，3）を計算する．

動作から受ける印象をより新鮮なものにできると考えた．

3.

Font Actionの実装

ここでは，Font Action で実装した処理を述べる．本
節では，本システムのシステム構成，動作の推定方法，描画するオノマトペ，OpenCV における日本語文字描画の実装について述べる．また，全体の主な処理の流れを図 2 に示す．
3.1

システム構成Font Action のシステム構成は，WEB カメラ，コン

図3 前景画像ピュータ，プロジェクタから構成されている．本シス

前景画像の計算は，背景画像の時間的な明度変化を考テムでは，WEB カメラから得られた映像を左右反転慮した物体検出を行う動的背景差分手法を用いた[5]．

させてプロジェクタを用いて壁に投影すると同時に，その後，各移動体の情報を取得するために前景画像に動作の推定を行いそれに適したオノマトペを描画する．

2 値化処理をし，ラベリング処理を行った．これによまた，本システムは Viual C++ で開発し，画像処理のり，各種座標・高さ・幅・面積を取得することができ実装に OpenCV 1.1pre を用いた．

る．この際，閾値より面積が小さい場合ノイズであるFont Action : 身体動作から出現するオノマトペと判断している．得られた各種情報をもとに動作の推タ」，体型が小さい場合「テクテク」と表示する．体定を行う．例えば，重心座標と中心座標の差が得られ型は移動体の幅・高さ・面積から判断する．

た幅から計算された間隔以上であった場合，パンチを表4していると動作を判断した．推定可能な動作と判断条
動作

件を表 3 に示す．

位置

パンチ
表3

動作の判断条件

動作
パンチ,判断条件

動作のオノマトペの関係性

手足の先

ドカッ，シュッ，バコッ．

足元の下部

ビョーン，ぴょん，

キック
ジャンプ

重心座標と中心座標の差が，幅から計算さキックれた値以上である．

ジャンプする

移動体の最も下部にある y 座標が一定以上の高さであり，移動体の下部領域に移動体ぴょこん
歩く

足元

テクテク，コツコツ，立ち止まる

上半身からふむふむ，ドカーン，頭の上部領域

バーン，にやにや

移動体の輪郭わいわい, がやがや，ドンドン，トコトコ．

領域がない．
歩く

オノマトペ

１つ前の位置と現在位置の差分が，閾値以肩を組む上であり，ジャンプ・肩を組む状態でな(複数人)

わらわらい．
立ち止まる

１つ前の位置と現在位置の差分が，閾値以下であり，ジャンプ・肩を組む状態でない．

肩を組む得られた面積が，閾値以上である．

(複数人)

3.2

オノマトペの付加

本システムでの，描画されるオノマトペと動作の関係性を表 4 に示す．また，描画する位置は，図 4 の各種座標などの情報を計算した．
描画するオノマトペは，表 3 の判断条件を基に身体動作から判断される．これにより，普段行っている何気ない動作が印象的になり，ユーザに動作を意識化させることができる．また，本システムでは描画されたオノマトペと，その人自身の状態が関連していない場合があるが，その結果ユーザの状態に影響を与える可能性がある．例えば立ち止まった動作の場合，ドカーンというオノマトペが描画された時と，ニヤニヤというオノマトペが描画された時では，動作から受ける印象が全く違ってくる．しかし，オノマトペが関連していないことで，逆にオノマトペの雰囲気にユーザの状態が影響される可能性がある．
ユーザの体型には個人差が存在する．また，表 2 よりオノマトペには濁音の有無によって，大きい・小さいなどの印象が変化する性質がある．そこで本システ
ムではその性質を利用して，ユーザの体型から受ける印象に合わせたオノマトペを表示するようにした．
「歩く」を例にすると，体型が大きい場合「ドタド

図4 各種座標

3.3

文字描画

本研究におけるオノマトペ表示には日本語表示が必要である．しかし，OpenCV.pre1.1 では画像に対して日本語を描画させることができない．そこで，Windows API を用いることにした．初めに，キャプチ
ャした画像のサイズと深度に合わせて DIB(DeviceIndependent Bitmap）を作成した．次に，DIB の画素値を格納している配列の先頭アドレスと，キャプチャした画像の画素値を格納している配列の先頭アドレスを入れ替えた．これにより，Windows API の描画関数を DIB に使用することで，キャプチャした画像に日本語を描画することが実現した．

情報処理学会 インタラクション 2010

今後の展望

4.
4.1

評価

まず現段階のシステムを用いて評価実験を行う．評
価実験では，システムの面白さや，単体で行った場合と複数人で行った場合での印象の差などについて評価を行う．具体的な評価方法としては，実際にシステムを体験してもらった後にインタビューと質問紙調査を行う．そこで得られた結果から，評価を分析し，改善案を提案し，改善を行う．
4.2

追加要素

より面白いシステムを目指す為に，以下のような要素を追加していきたいと考えている．
4.2.1 取得動作の増加取得できる動作を増やすことで，よりインタラクションできる要素を増やす．例えば，テンプレートマッチングの手法を取り入れることで，特殊なポーズの判断が可能になると考えられる．
4.2.2 取得動作の精度向上
取得動作の精度を向上させることで，細かい動作の取得が可能になる．例えば，現在の「歩く」オノマトペの表示は，一つ前との中心座標との差が閾値以上であった場合に表示をしている．しかし，精度の向上により，実際の足の動きを取得することで，一歩一歩に対応してオノマトペの表示が可能になると考えられる．
4.2.3 アニメーションの追加
文字を描画する際に，動作に合わせたアニメーションを加えることで，よりオノマトペの印象を強くする．例えば，跳躍する時の「ビョーン」に伸びるようなアニメーションを加えることが考えられる．
4.2.4 効果音の追加
表示されたオノマトペに適した効果音を付加する
ことで，インタラクション性がより高まる．例えば，「コツコツ」に実際の足音を付加することが考えられる．

5.

おわりに

本稿では，ユーザの身体動作によって連想されるオノマトペを文字として提示する，漫画の様なインタラ
クティブシステム Font Action のコンセプトや実装について述べた．本システムでは漫画の様な表現をするための仕様を決定するにあたって，オノマトペの知識が必要になった．普段は感覚で用いているオノマトペにも定義が存在し，意味を共通の感覚として感じている事に驚きを感じた．そのため，その共通の感覚を殺さないシステムに組み込む際には注意した．

参考文

献1) Marcio AMBROSIO: Oups!, Brazil（2008）
2) 木塚 あゆみ, 松本 一輝: torikage, 公立はこだて未来大学(2008)．
3) 柏木 恵美子:みくまりね その３,情報科学芸術大学院大学(2007)．
4) 田嶋 香織: オノマトペ（擬音語擬態語）について, 関西外国語大学留学生別科 日本語教育論集
16 号，(2006)．
5) 森田，山澤，寺沢，横矢，"全方位画像センサを用いたネットワーク対応型遠隔監視システム"，
電子情報通信学会論文誌（D-II)，Vol．J88-D-II，No．5，pp.864－875，(2005)．