WISS2008

オノ マト ペン
OnomatoPen

神原 啓介

塚田 浩二∗

Summary.
「キラキラ」「もこもこ」といったオノマトペを用いた表現は日常会話や文章の中で慣れ親しまれているが，コンピュータとのインタラクションではあまり活用されていない．そこで本研究では感覚的で親しみやすいといったといったオノマトペの特徴を活かしたインタラクション手法を提案する．今回試作したペイントシステム「オノマトペン」では，オノマトペを声に出しながら線を引くことで，そのオノマトペに応じた質感・形状のブラシで線を描くことができる．例えば「ギザギザ〜」と言いながら線を描くことでギザギザした折れ線が描かれる．声に出しながら絵を描くというマルチモーダル性や，語感から質感をイメージしやすいというオノマトペの特性によって，ブラシの種類をボタンで選ぶ従来の方式に比べ感覚的にブラシを切り替えながら描くことができる．試作したオノマトペンをユーザーに試用してもらった結果，すぐに使い方を理解できることや，より楽しく絵を描けることが分かった．

1

はじ めに

日常的な会話や文章の中でよく用いられる表現技法としてオノマトペがある．オノマトペとは，「ドキドキ」「ざわざわ」「チクタク」のように物の発する音や声を言葉で表す擬音語や，「キラキラ」「ふわふわ」「くよくよ」のように状態や感情などの音を発しないものを感覚的に表す擬態語の総称である．

てんてん〜

オノマトペを用いることで物の様子や動き，感覚，感情などを生き生きと表現することができ，柔らかく親しみやすい表現になるといった効果が生まれる．
また，幼児が車のことを「ブーブー」と言ったり，犬のことを「ワンワン」と言ったりするように，言葉を単純化・反復することで幼児でも分かりやすく発音しやすいものが多いといった特徴がある．
このオノマトペは日常会話や文章表現などで多用されているが，コンピュータとのインタラクションにはあまり活用されていない．また，これまで音声情報を用いたインタフェースの研究は数多く行われてきたが，オノマトペに焦点をあてたものはほとんど無かった．そこで我々はオノマトペをコンピュータとのインタラクションに取り入れることで，感覚的で親しみやすい新しいインタラクション手法を提案する．本研究では，オノマトペを音声で入力することにより，そのオノマトペに応じた質感のブラシで描くことのできるペイントシステム「オノマトペン」を試作した．

∗

Copyright is held by the author(s).
Keisuke Kambara, Kouji Tsukada, お茶の水女子大学
お茶大アカデミックプロダクション

図 1. オノ マト ペン の利用イ メ ージ

2

オノ マト ペン

ここではオノマトペンのシステムについて説明する．

2.1

オノ マト ペン の概要

一般的なペイントツールではブラシの質感を切り替える際にパレットなどのボタンを使用する．一方,オノマトペンでは図 1 のように，ブラシの質感を表すオノマトペを口に出して言いながら線を描くことによりブラシが切り替わる．例えば「モコモコモコモコ〜」と繰り返し言いながら線を描くことで，自動的にモコモコした質感のブラシに切り替わる．同様に「ギザギザギザギザ〜」と言いながら線を描くことでギザギザした折れ線を描けるといった具合である．その他にも「テンテン (点線)」「カクカク (矩WISS 2008

うよりは「太陽がカンカンに照っている」という方がより感覚的に様子が伝わりイメージしやすい．
オノマトペンではこのオノマトペを言いながら線を引くため，ブラシの種類をボタンで選ぶ従来の方式に比べて描かれるであろう線をイメージしやすい．
すなわちブラシの質感を音声で表す際に，オノマトペを使うと感覚的にマッピングすることができる．
絵を描くときはとりわけ感性や感覚といったものが重視されることが多いため，感覚的に分かりやすいマッピングを実現することはツールにとって重要な課題である．

2.2.2

図 2. オノ マト ペに対応する ブ ラ シ

オノマトペンでは絵を描く際，従来のようにペンやマウスだけでなく，声と併せて使うことが大きな特徴となっている．これはコンピュータとのインタラクションのチャンネルを増やしたマルチモーダル・インタフェースと言える．マルチモーダル性によって，単一のチャンネルでは伝えきれなかった質感のようなより詳細な情報を同時にコンピュータに伝えることができるようになり，さらに視覚的，聴覚的なフィードバックも同時に得ることができる．また，ストロークの情報とブラシの切り替え情報を同時に送ることができるため，これまでのように「最初にブラシをボタンで指定してから線を描く」という明示的な切り替え手順が不要になる．

2.2.3

図 3. 消し ゴ ム機能形波)」「キラキラ (光)」といったブラシを用意した(図 2)．さらに「ケシケシ」と言いながら線を描くことで，消しゴムツールのように描いたものを消すことができる (図 3)．
オノ マト ペン の特徴

2.2

オノマトペンには以下のような特徴がある．

• 感覚的なマッピング• マルチモーダル性• エンターテイメント性
2.2.1

感覚的なマッ ピ ン グ

オノマトペは他の単語に比べて物の状態を感覚的に言い表すことに向いており，そのための表現が充実している．例えば「太陽が強く照っている」といマルチモ ーダル性

エ ン タ ーテ イ メ ン ト 性

オノマトペが感覚や感性に訴えかけることや，より親しみやすい表現であること，音声とペン入力に応じて視覚的・聴覚的なフィードバックがあるマル
チモーダル性は絵を描くときの楽しさにつながる．
例えば「モコモコ」と言うだけでモコモコした線が現れると，視覚と聴覚，さらにペンによる触覚，オノマトペの語感が同期して気持ち良い．
仕事で絵を描くときは楽しさよりも効率が重視されるが，趣味や遊び目的で絵を描くときは楽しさも重要である．

3実装

オノマトペンのシステムは音声認識部とペイント部から構成される (図 4)．音声認識部ではユーザーの音声入力から「ギザギザ」「てんてん」といったオノマトペだけをリアルタイムで認識する．認識結果はペイント部に送られ，ストローク中であればそのオノマトペに応じたブラシに切り替えるという仕組みである．

3.1

オノ マト ペ音声認識部

音声認識には音声認識エンジン Julian[12] を利用した．Julian では認識用文法を記述することで独自の認識エンジンを作ることができる．今回はオノマOnomatoPen

ギザギザ

⾳声⼊⼒

オノマトペ
⾳声認識部(Julian)

GIZA
GIZA

ペイント部

ストローク⼊⼒

図 4. シ ステ ム概要

ギザ
ギザ

ノイズ
ギザ

無音

Julian は Socket サーバとして動作し，認識した結果をクライアントであるペイント部に送信する．
また，ペイント部ではストロークの途中，すなわちオノマトペを繰り返し発声している途中であっても認識結果を必要とするため，認識できた部分からリアルタイムで認識結果を送信するように指定した．
3.2

図 5. 「 ギザギザ〜」 を 認識する 有限オート マト ン の状
態遷移図

トペ単語の繰り返しを認識するような文法を指定した．例えば「ギザギザギザ (以下，任意回数繰り返し)」を認識する有限オートマトンの状態遷移図は図 5 のようになる．このようにして他のオノマトペについても記述した．

ペイ ン ト 部

ペイント部は Adobe AIR を用いて実装した．音声認識用サーバに Socket 接続し，受信した認識結果に応じてブラシを切り替える．ストロークの間中オノマトペを繰り返し発声し続けると疲れてしまうので，数回繰り返して意図通りのブラシに切り替わった後は発声をやめてもストローク終了までそのブラシが維持される．
また，ペイント部では以下に述べる通り音声認識誤りの訂正を行っている．

少々の音声認識の誤りは単語を繰り返すことで線も訂正される

ギザ

ギザギザギザ…
他は正常に音声認識

一部
音声認識誤りKIRA

KIRA GIZA GIZA…
GIZA:2回

NG!

KIRA:1回

OK
図 6. 反復によ る 認識誤り の訂正

WISS 2008

4

議論

試作したオノマトペンを成人 7 人（男：4 人, 女：3 人）のユーザーに使ってみてもらったところ，以下のようなコメントや要望があった．

(A) 楽しい．面白い．
(B) すぐに使い方を理解できた(C) 消しゴムが面白い(D) もっとブラシの種類を増やして欲しい(E) 声の強弱やトーンで線の太さなどを変えたい
図 7. シ ステ ムを 使用し ている 様子

3.3

反復によ る 認識誤り の訂正

音声認識では時々認識誤りがあるため，オノマトペの認識結果をそのままブラシに反映すると，ストロークの途中で意図しないブラシに切り替わってしまう．また，オノマトペは同じ言葉を反復するという特徴があり，「ギザギザもこギザギザ〜」のように途中で他の言葉が混じることはあまり無いため，そのような認識結果になった場合は「ギザギザ〜」と言い続けているものとして訂正する必要がある．
今回はストローク開始時から各オノマトペ単語（ギザ, キラ, モコ等）ごとに認識された単語数を数え，最も多い単語を現在のブラシとするようにした．
さらにストロークの途中でブラシの種類が変化した場合は，ストロークの頭から新しいブラシで描画し直すという処理を行っている．
こうすることでストローク中（特に発声を始めた時）に認識誤りがあり，意図しない線が描かれてしまった場合でも，何度か繰り返し言い続けていれば徐々に認識誤りの単語の割合が減ってゆき意図通りの線が描かれる（図 6）．

3.4 スト ロ ーク 開始と 発声開始のずれへの対応
Oviatt ら [7] によれば，ストローク開始と発言開始の順序やタイムラグには個人差がある．ストロー
ク前に発声を始めた場合は，書き始めの時点でブラシの種類を決められるため問題ないが，逆にストロー
ク後に発声を始めた場合は，書き始めの時点でブラシの種類が決まらない．そこで発声開始前に描き始めた場合は薄く細い線で描いておき，上記の認識誤りの訂正と同様に，音声認識しブラシが確定した時点で線を再描画するようにした．こうすることでストローク開始と発声開始の順序やタイミングがずれていたとしても違和感なく線を描くことができる．

また以下のような問題点が指摘された．

(a) あらかじめオノマトペを知らないと描けない(b) オノマトペがたくさんあると覚えられなさそう(c) 発声していない状態で線を描きたいときに環境ノイズが認識されブラシが変わってしまう(d) 1 回のストロークの途中でブラシを切り替えようとするユーザーがいた
オノマトペンのように音声と併せて絵を描くという操作は一般的ではないが，一度使い方を見せるだ
けでユーザーはすぐに理解することができた．このことから直感的で分かりやすいインタフェースであると言える．
また，(C) のコメントのように，これまで楽しさとは無縁であった消しゴム機能を「楽しい」と感じるユーザーがいたことからも，操作そのものが楽しさを持っていると言える．
問題点 (a)(b) で挙がった「オノマトペを知らないと描けない」「種類が多いと覚えられない」という問
題はショートカットキーの抱える問題点と共通している．GUI のメニューの中で「コピー (Ctrl+C)」というようにショートカットキーを併記しておくことでユーザーがよく使う機能のショートカットキーを徐々に覚えてゆくように，パレット上の各ブラシに対応するオノマトペをツールチップなどで提示することにより解決できる考えられる．
問題点 (c) の無音声時の環境ノイズを誤認識してしまう問題は，音声認識時に単語ごとに尤度を求めることができれば，ノイズによって誤認識された尤度の低い単語を除去するなどして認識精度も上がると考えられる．現状ではリアルタイムで尤度を求めることができていないためこれは今後の課題である．
問題点 (d) については，現状の実装である 1 スト
ロークにつき 1 ブラシが良いのか，1 ストロークの中で複数のブラシを使えるのが良いのかを調べる必要がある．ただし，1 ストロークにつき 1 ブラシということをユーザーに伝えると，その後は同じ失敗をすることは無かったため，すぐに学習し解決する問題だとも考えられる．

OnomatoPen

ン！」と言うと銃を撃つといったオノマトペを使って操作するゲームもできるであろう．

6
ペタ
ペタ
チョキチョキ…

図 8. カ ッ ト ＆ペースト

5

応用

ここではオノマトペンの利用場面や応用について述べる．

5.1

地図

オノマトペンのメリットとして，「手描きで描くのが面倒な複雑な線を素早く描ける」ということが挙げられる．例えば地図を描いて道案内するといったときは，線路や道路などをきちんと区別して描けると良い．そのようなときに，「ガタンゴトン」と言いながら線を描くと線路と電車が描かれ，「ブーブー」と言いながら線を描くと道路と車，「トコトコ」と言いながら線を描くと歩道と人が描かれるといったことができるとより詳細で分かりやすい地図を手描き感覚で描くことができる．

5.2

コ ピ ー (カ ッ ト ) ＆ペースト

オノマトペンで実装した消しゴム機能のように，ブラシ以外の機能もオノマトペによって操作できるようになると考えられる．例えば，カット＆ペース
トをオノマトペンで行う場合，ハサミで切るように「チョキチョキ」と言いながら線で囲むと切り取られ，スタンプを押すように「ペタペタ」と言いながらクリックすることで貼り付けるといった操作になる (図 8)．コピー機能に対応するオノマトペは想像しにくいが，消しゴム機能の「消し消し」は正確にはオノマトペではないように，「コピコピ」といった独自のオノマトペ風の言葉を割り当てて使うといったことも可能である．

5.3

ア ニメ ーシ ョ ン ・ ゲーム

動きを表すオノマトペを使って，絵に対してアニメーション効果をつけるといった応用が考えられる．
例えば，「トコトコ」と言いながら人の絵を動かして歩かせる，「ブーン」と言いながら飛行機を飛ばす，「ガタンゴトン」と言いながら電車を走らせる，といった操作になる．
同様にして「ぴょん」と言うとジャンプ，「バンバ関連研究

Harada ら [1] の VoicePen では声の大きさや高さといった非言語情報を使って太さや色，透明度，ぼかしなどをストローク中に変える手法を提案している．声によってペンの質感をコントロールする点でオノマトペンと似ているが，本研究では言語情報であるオノマトペを使用する点が異なっている．音
声の非言語情報によってインタラクションを行うア
プローチは五十嵐ら [4] や Harada ら [2] によって行われており，連続的な操作ができることやノイズに強いというメリットが確認されている．今後オノ
マトペンにおいても非言語情報を組み合わせることで，オノマトペでブラシの種類を切り替えながら，VoicePen のように声の音量や音程で太さなどのパラメータを細かくコントロールするといった発展が考えられる．
音声によるコマンド入力とペン入力を組み合わせたマルチモーダル・インタフェースは古くから研究されている [5, 6]．本研究もそのような音声＋ペン入力インタフェースの一種であるが，音声入力にオノマトペを活用している点が新しい．
音声とペン入力が必要とされる場面として，講義などで説明しながら板書するといった状況がある．
栗原ら [3] の音声ペンでは，そのような状況を支援するために話の内容から手書き文字を予測し補完するインタフェースを開発している．手書きをしながら説明を行うような場面では，より「楽に」「素早く」「きれいで」「情報量がある」ことが必要とされ音声入力などを用いたコンピュータによる支援が求められる．文字だけでなく絵を手描きするような場面，例えば応用の章で述べた地図を書きながら説明をするような場面でオノマトペンを用いた支援をすることができると考えられる．
本研究の特徴であるオノマトペに関する研究は主に文学や言語学，心理学の分野において行われており，代表的なものとして田守ら [8] のオノマトペの音韻形態や表現の特徴に関する研究がある．一方，コンピュータ関連分野ではオノマトペに直接関係した研究例は少いものの，自然言語処理の分野において奥村ら [9] や浅賀ら [10] による Web 上のテキス
トからオノマトペの辞書を自動構築するといった研究例がある．コンピュータとのインタラクションにオノマトペを用いた研究例はほとんど無いが，近年，感性工学やエモーショナル・デザイン [11] といった感性を重視したデザインが注目されるようになってきたことから，感性を表現する言葉であるオノマトペを用いたさらなる研究が今後期待される．

WISS 20087

ま と めと 今後の課題

本研究ではオノマトペを声に出しながら線を描くことで，そのオノマトペに応じた質感で描くことのできるシステム「オノマトペン」を試作した．オノマトペンを用いることで，従来のボタンでブラシを選ぶ方式に比べてより感覚的に表現できることや楽しく描くことができる．一方でオノマトペを覚えるための UI の必要性や，発声していない時のノイズによる認識誤りによって意図しない線が描かれるといった問題点などが明らかになった．今後はこれらの問題点を改善するとともに，オノマトペの特徴を活かしたアニメーションやゲーム，地図を描くためのインタフェースへと応用していきたい．

参考文献[1] Susumu Harada, T. Scott Saponas and James
A. Landay. VoicePen: Augmenting Pen Input
with Simultaneous Non-Linguistic Vocalization.
In Proceedings of the 9th International Conference on Multimodal Interfaces, pp. 178–185,
2007.
[2] Susumu Harada, James A. Landay, J. Malkin,
Xiao Li, Jeff A. Bilmes. The Vocal Joystick::
Evaluation of Voice-based Cursor Control Techniques. In Proceedings of the 8th International
ACM SIGACCESS Conference on Computers
and Accessibility, pp. 197–204, 2006.
[3] 栗原一貴, 後藤真孝, 緒方淳, 五十嵐健夫. 音声ペン：音声認識結果を手書き文字入力で利用できる
新たなペン入力インタフェース, コンピュータソフ
トウェア,Vol.23,No.4(2006), pp.60–68, 2006.
[4] 五十嵐健夫, John F. Hughes. 言語情報を用いな
い音声による直接操作インタフェース. インタラ
クティブシステムとソフトウェアに関するワークショップ IX (WISS 2001), pp. 7–10, 2001.
[5] L. Julia , C. Faure. Pattern recognition and beautification for a pen based interface. In Proceedingsof the Third International Conference on Document Analysis and Recognition (Volume 1), pp.
58–63, 1995.
[6] Philip R. Cohen, M. Johnston, D. McGee, S.
Oviatt, J. Pittman, I. Smith, L. Chen, J. Clow.
QuickSet: multimodal interaction for simulation
set-up and control. In Proceedings of the fifth conference on Applied natural language processing,pp. 20–24, 1997.
[7] Oviatt et al.. Individual diffrences in multi-modal
integration patterns: what are they and why dothey exist?. In CHI’05, pp. 241–249, 2005.
[8] 田守 育啓, 筧 寿雄. オノマトピア・擬音・擬態語の楽園, 勁草書房, 1993.
[9] 奥村 敦史, 齋藤豪, 奥村 学. Web 上のテキストコー
パスを利用したオノマトペ概念辞書の自動構築. 情報処理学会研究報告. 自然言語処理研究会報告, pp.
63–70, 2003[10] 浅賀 千里, M. Yusuf, 渡辺 知恵美. オノマトペ用例辞典における用例を意味により分類するためのクラスタリング手法の諸検討. 日本データベース学会 Letters Vol.6, No.2, pp.45-48, 2007.

[11] ドナルド・ノーマン. エモーショナル・デザイン―微笑を誘うモノたちのために. 新曜社, 2004.
[12] 大 語 彙 連 続 音 声 認 識 エ ン ジ ン
http://julius.sourceforge.jp/.

Julius.