情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3A122021/3/10

仮想空間上での類義語を用いた自然言語インタフェース
吉田美乃里†1備前比呂†1

神部真音†1

川合康央†1

概要：本研究は，類義語による音声認識技術を用いて仮想空間上のキャラクターを操作するシステムの開発を行ったものである．ユーザが発した声で操作を行うコンテンツでは，あらかじめ指定されたキーワードをユーザが意識しながら操作を行うものが多い．本システムでは，日本語 WordNet から操作に関連するキーワードの類義語を取得することで，指定されたキーワードを意識せずに操作を行うことが可能なものとした．また，入力された語の形態素解析を用いることによって，単語ごとに区切った入力ではなく，文章などによる自然な発話入力が可能なシステムを開発した．

1. はじめにツコンテンツとしては，シーマン[f]，ピカチュウげんきでちゅう[g]，オペレーターズサイド[h]等が挙げられる[7][8]．

近年，音声認識にニューラルネットワークを用い，音声さらに，ゲームやインタフェースで音声技術を用いた研究の特徴量を抽出し単語を同定するなどの手法が主流となり，も行われてきた．小林らは，ヤフーによる音声アシスト[i]その認識精度が向上している[1]．これら音声入力技術の発を用いて，しりとりの応答生成を行った[9]．川崎らは，音展に伴い，様々な音声入力インタフェースが普及しつつあ

声入力による 3 次元空間内のオブジェクトの移動や特定のる．また，音声入力は，認証技術としても用いられ，顔画指示を行うインタフェースの提案を行っている[10]．また，像，指紋，静脈認証とともに，非接触型の生体認証技術と五十嵐らは，音声の持つ音響的側面に基づくインタフェーしても活用されている[2]．音声認識を用いたインタフェー

スを提案した[11]．Bilmes らは，音響音声によるジョイス

スとして，Microsoft 社の Cortana[a]，Apple 社の Siri[b]などティックのプロトタイプアプリケーションの開発を行っての対話型システム，Amazon 社の Alexa[ c ]，Google 社のいる[12]．

Googel Home[d]などのスマートスピーカ，ソフトバンクロ

日本語音声認識では，これまで母音が同じとなる単語のボティクスによる Pepper[e]などの人型ロボットなどが挙げ識別がむつかしいものであったため，正しく単語を認識すられる[3][4]．

ることが困難であった．そのため，音声を音響として変換

Amazon 社の「Alexa」では，「Alexa」という言葉をかけするシステムや，発音が明らかに異なる事前に指定されたることで，プロンプト状態になる．その状態で，音楽の再キーワードのみで，キャラクターの操作を行うといったも生や，テレビや照明などの家電製品の操作，再生中の曲名のが中心であった．しかし，近年の音声認識技術におけるやクックパッドのレシピ，タイマの設定などが可能となる．

精度向上に伴い，様々な単語を正しく認証できるようにな

また，「今日の天気は？」や「天気を教えて」「天気？」とりつつある．そこで我々は，音声情報をペイントアプリケ

様々な言葉で，天気のことについて問いかけると，天気情ーションの色彩情報[13]や，ドローンの操作インタフェー報が出力される．しかし，「今日は暑いのか」と問いかけるスとして用いた開発[14]や，幼児の発話入力[15]や，音声入と，天気情報ではない別の答えが返ってくる．このことか力キーワードの評価による感情認識インタフェース[16]にら，言葉の意味を理解しているのではなく，「天気」というついての検証を行ってきた．音声入力によるキャラクター

キーワードに対して反応し，用意された回答を出力する処操作では，入力にあらかじめ設定された指定語を用いると，理が行われていると考えられる[5][6]．

ユーザが日常的に使用する単語とは異なる場合がある．そまた，音声入力を用いたゲームなどのデジタルコンテン†1 文教大学情報学部情報システム学科a) Cortana とは, https://support.microsoft.com/ja-jp/topic/cortana-%E3%81%A8%E3%81%AF-953e648d-5668-e017-13417f26f7d0f825（参照 2020/12/21）b) Siri - Apple（日本）, https://www.apple.com/jp/siri/（参照 2020/12/21）c) Alexa とできること | Amazon, https://www.amazon.co.jp/meetalexa/b?ie=UTF8&node=5485773051（参照 2020/12/21）d) Google Home - Google Play のアプリ,
https://play.google.com/store/apps/details?id=com.google.android.apps.chrome
cast.app&hl=ja&gl=US（参照 2020/12/21）e) 製品情報 | ロボット | ソフトバンク,
https://www.softbank.jp/robot/consumer/products/（参照 2020/12/21）© 2021 Information Processing Society of Japanのため，指定語を操作キーワードとして設定するのではな

f) シーマン 〜禁断のペット〜 ＜完全版＞ | ソフトウェアカタログ | プ
レイステーション® オフィシャルサイト,
https://www.jp.playstation.com/software/title/slpm65217.html（参照2020/12/21）g) ピカチュウげんきでちゅう,
https://www.nintendo.co.jp/n01/n64/software/nus_p_npgj/（参照2020/12/21）h) OPERATOR’S SIDE | ソフトウェアカタログ | プレイステーション®
オフィシャルサイト,
https://www.jp.playstation.com/software/title/scps15039.html（参照2020/12/21）i) 音声アシスト - Yahoo! JAPAN, https://v-assist.yahoo.co.jp/（参照2020/12/21）

483

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3A122021/3/10

く，ゲームプレイ時に瞬時の判断で入力される言葉を，入操作キーワードだけでなく，その言葉の意味と同等の意味

力キーワードとしてキャラクターの操作ワードとすることを持つ言葉も，操作に必要なトリガーとして用いることがが望ましい．

可能となる．本システムでは，操作のキーワードとその類本研究では、日本語の概念辞書の日本語 WordNet を用い，義語の取得方法としては，SQLiteDB からゲームエンジン指定されたキーワードだけでなく，操作単語の類義語も含Unity[l]により呼び出す方法を採用した．

めた音声入力を，キャラクターの動作と関連付け，ゲーム2.2 キャラクターの操作プレイ時に瞬時に発話される音声入力であっても操作可能

音声入力でキャラクターを操作するゲームであるオペレなシステムの開発を行ったものである．本システムでは，ーターズサイドでは，ゲーム開始前のチュートリアルで，音声認識を用いた 3 次元仮想空間におけるキャラクター操キャラクターの操作方法について説明が用意されている．

作を，類義語検索で取得した類義語を取得することで，あ操作方法は，キャラクターを前進させるには「いけ」，おちいまいで複雑な音声入力であっても操作を可能とするシスているアイテムに注目を向けるには「ビンをみて」など，テムの開発を目的とした．

あらかじめ決められた命令形の単語で操作するインタフェ

2. 開発手法ースである．このオペレーターズサイドでは，防犯カメラ

2.1 日本語 WordNet

から見えるキャラクターに対して，音声入力による指示出すことで操作する，三人称視点のゲームである．

日本語 WordNet[j]は，国立研究開発法人情報通信研究機

本研究でも，三人称視点でキャラクターを遠隔に操作す構（NICT）によって開発公開されている大規模でオープンるため，操作に必要なキーワードを命令形に設定することな意味辞書である[17][18][19]．日本語 WordNet では，個々とした．例えば，「前に進む」動作であれば、「前に進め」の概念はそれぞれ類義語のセットである「synset」という単や「行け」，「飛び跳ねる」動作であれば「ジャンプ」「飛ん位でグループにまとめられており，一つの概念が一つので」など，操作キーワードは原型ではなく，命令形の言葉「synset」に対応している．それらが他の「synset」と上位とした．

下位関係など，多様な関係で意味的に結びついている．日

また，PC のキーボードを用いた一般的なキャラクターの本語ワードネットに収録された synset 数は 57,238 概念，単操作方法としては，「十字キー」もしくは「WASD キー」に語数は 93,834 語，語義数（synset と単語のペア）は，158,058

よる 3 次元仮想空間内の移動，また「SPACE キー」による語義となっている．これら日本語 WordNet での上位語，全ジャンプ等が一般的なものとして挙げられる．これを参考

体部分関係などすべての関係は，Princeton WordNet[ k ]のに，本システムで利用可能な操作を，ゲームでの基本的なsynset に対応して構築されている[20]．これらは，表 1 のよ動作である「移動」「ジャンプ」「止まる」「攻撃」とし，音うに単語ごとにまとめられている．

声入力による操作の開発を行った（図 1～3）．加えて，キーボードを用いた操作では，キーを押している時間によっ

表1

日本語 WordNet における synset のリンク名称と意味て，「移動」では走るスピードの調整や，同時に複数のキーを押すことで斜めに移動するなど，入力組み合わせによる多様な操作が可能である．本システムでは，「移動」コマンドを音声で入力するとともに，これに「ゆっくり」や「早く」などの形容詞を用いて，移動速度の調整を実現するなど，キーボードなど他のデバイスによる操作と同等の入力システムとして開発を行った．
本システムでは，Unity の 3D Game Kit[ m]を用いて，ゲームステージの構成を行った．3D Game Kit は，ゲームエンジン Unity 上で，ゲームの要素，ツール，システムを作成できるように設定されたプロジェクトを含むアセットである．また，ステージの構成には，三次元環境アセットである POLY STYLE - Medieval Village を用いた[n]．このステー

本辞書を用いて，キャラクター操作のキーワードに関連ジに対して，3D Game Kit をベースとして，キャラクターする類義語を取得することにより，あらかじめ用意されたモデルの操作系に対して，類義語を含む語を用いた音声入j) 日本語 Wordnet , http://compling.hss.ntu.edu.sg/wnja/（参照 2020/12/21）k) WordNet | A Lexical Database for English, https://wordnet.princeton.edu/（参m) The Explorer: 3D Game Kit - Unity Learn https://learn.unity.com/project/3d-照 2020/12/21）l) Unity Real-Time Development Platform | 3D, 2D VR & AR Engine,
https://unity.com/（参照 2020/12/21）© 2021 Information Processing Society of Japan

game-kit（参照 2020/12/21）n) POLY STYLE - Medieval Village | 3D ファンタジー | Unity Asset Store,
https://assetstore.unity.com/packages/3d/environments/fantasy/poly-stylemedieval-village-159363?locale=ja-JP（参照 2020/12/21）

484

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

力による直接操作インタフェースとして実装を行った．

3A12
2021/3/10

入力やノイズなどが認証されないというメリットがあった．
一方で，キーワードリストに登録されていない長い音声の入力が認証されづらい．そのため，「進め」という語が移動の動作と関連づいている場合，「前に向かってゆっくり進め」といった文章などによる長い音声入力の場合，キーワードのリストにない先に発した言葉が無視されることによって，「前」や「ゆっくり」などのキーワードの言葉も認証されないことがあった．
2.4 形態素解析
KeywordRecognizer というコンストラクタは，長い音声入力による操作に向いていない．声を用いて操作を行う際，

図1

ゲーム実行画面（待機）「進め」や「走れ」など，単語で操作を行う人もいれば，「前に向かって進んで」のように単語ではなく文章で操作を行う人もいる．そこで，長い音声入力による操作を行うために，音声入力を文字として起こす DictationRecognizerというコンストラクタを使用した．ここでは，音声を文字として変換した文章を，形態素解析することによって，複数のキーワードの認証を行う手法を用いた．形態素解析は，オープンソースの形態素解析エンジン MeCab の形態処理部分を，.NET ライブラリとして移植した NMeCab[o]を用いた．音声を文字に変換後，形態素解析を行うことによって，品詞ごとに文章が分けられるため，複雑な操作キーワード

図2

ゲーム実行画面（走行）を抽出し，認証することが可能となった．一方で，KeywordRecognizer のように単語を認証後，そのままアニメーションが動作する処理時間に比して，DictationRecognizer
では，音声を文字変換し形態素解析を行うため，音声が認証されてからアニメーションが動作するまでの処理時間がかかるという課題が明らかとなった．

3. まとめ
音声認識を用いて，三次元仮想空間内のキャラクターモ
デルを，指定されたキーワードだけでなく，日本語 WordNetから操作に関連する類義語を取得することによって，あい図3

ゲーム実行画面（ジャンプ）

まいで複雑な音声入力であっても操作を可能とするシステ
ム の 開 発 を 行 っ た ． Unity の 音 声 認 識 で あ る
UnityEngine.WindowsSpeech の KeywordRecognizer を用いる

2.3 UnityEngine.WindowsSpeech

ことによって，「前に進め」などの言葉を認識し，その認証

本システムで利用した音声認証技術は，Unity で使用でした単語の意味通りに 3 次元モデルへと反映し，操作を行きる UnityEngine.WindowsSpeech とした．この音声認識のうことが可能であった．また，音声入力でキャラクターのKeywordRecognizer と い う コ ン ス ト ラ ク タ に ， 日 本 語

操作を行う上で，指定されたキーワードでしか動作できな

WordNet における類義語検索機能を用いて取得したキーワ

い場合，ユーザによっては使い慣れない単語で操作を行うードリストを渡すことによって，音声による入力がなされことになってしまう．そこで，大規模な日本語の意味辞書た際にキーワードとしてこれらの語の認証が可能となる．

である日本語 WordNet を用いることで，操作に関連する類また，KeywordRecognizer は，キーワードリストにない言葉義語を取得し，操作のキーワードに加えることで，様々なは無視されるといった特徴がある．そのため，キャラクタ言い回しに対応した操作を可能とした．

ーを操作する上で発した，操作に関係のない音声による誤Unity の音声認識 API である UnityEngine.WindowsSpeecho) .NET 形態素解析エンジン NMeCab プロジェクト日本語トップページ –OSDN, https://ja.osdn.net/projects/nmecab/（参照 2020/12/21）© 2021 Information Processing Society of Japan485

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

では，単語の認証が可能であり，認証した単語と類義語を動作に関連付けているが，これは文章認識ではなく単語認識による操作となっている．そこで，DictationRecognizer を用いることで，音声を文字として変換し，その文章を形態素解析することで，文章認識による，よりあいまいで複雑な音声によるキャラクターの操作が可能となった．しかし，音声を認証して形態素解析を行ってから，キャラクターが動作するまでに，やや処理時間がかかってしまう．このことによって，アクションゲームでは，ユーザの発話とキャラクターの動作のタイミングがずれてしまい，瞬時の判断を行う際の直感的な操作には，インタフェースとして課題があると思われる．
開発したシステムは，精度の高い日本語音声入力が可能であり，音声入力による仮想空間内でのキャラクター操作が可能なインタフェースの提案を行うことができた．一方，課題として，複雑な文章による形態素解析を用いた入力時の際に，処理時間がかかるため，操作に間が出来てしまうということが課題として挙げられた．今後，この課題に対し，他の音声認識エンジンの導入と比較を試みることによって，発話と操作のズレを改良し，より複雑で多様な音声入力による直接操作インタフェースのシステム開発を目指すこととする．また，アクションゲームに限らず，このような音声入力による操作に適したゲームデザインについい3A12
2021/3/10

直接操作インタフェース. 情報処理学会研究報告ヒューマンコンピュータインタラクション(HCI), 2004, p.47-51.
[12] Bilmes, J., et al. The Vocal Joystick: A voice-based humancomputer interface for individuals with motor impairments.
Proceedings of Human Language Technology Conference andConference on Empirical Methods in Natural Language
Processing, 2005, p 995-1002.
[13] 吉田周生, 川合康央. 音声情報を色彩情報に変換する新たな拡張入力システムの開発. 情報処理学会インタラクション,
2018, p.656-661.
[14] 吉田周生, 他. ドローンの新しい操作システムの開発と評価.
情報処理学会インタラクション, 2018, p.763-766.
[15] 川合康央, 池辺正典, 佐久間拓也. 幼児の言語獲得に寄与す
るディジタル絵本の試作. 情報教育シンポジウム論文集,
2012, no.4, p.161-168.
[16] 小林菜摘, 川合康央. 感情分析を用いた音声発話の具現化.
日本デジタルゲーム学会第 10 回年次大会予稿集, 2020,p.244-246.
[17] Isahara, H., Bond, F., Uchimoto, K., Utiyama, M., Kanzaki, K..
Development of the japanese wordnet. Proceedings of the Sixth
International Conference on Language Resources and Evaluation(LREC'08), 2008, p.2420-2423.
[18] Bond, F., Baldwin, T., Fothergill, R., Uchimoto, K.. Japanese
SemCor: A sense-tagged corpus of Japanese. Proceedings of the
6th global WordNet conference (GWC 2012), 2012, p.56-63.
[19] Kuroda, K., Bond, F., Torisawa, K.. Why Wikipedia needs to makefriends with WordNet. The 5th International Conference of the
Global WordNet Association (GWC-2010), 2010, p.9-16.
[20] Fellbaum, C.. WordNet. Theory and applications of ontology:
computer applications, 2010, p. 231-243.ても検討していくこととする．
謝辞

本研究は JSPS 科研費 JP19K12665 及び科学技術融合振興財団調査研究助成の支援を受けたものです．

参考文献
[1]

河原達也. 音声認識技術の変遷と最先端. 日本音響学会誌,
2018, vol.74, no.7, p.381-386.
[2] 塩田さやか. 音声を用いた生体認証技術. システム/制御/情報, 2018, vol.62, no.2, p.63-68.
[3] Kepuska, V., and Bohouta, G.. Next-generation of virtual personal
assistants (microsoft cortana, apple siri, amazon alexa and google
home). IEEE 8th Annual Computing and Communication
Workshop and Conference (CCWC), 2018, p. 99-103.
[4] Pandey, A. K., and Gelin, R.. A mass-produced sociable humanoid
robot: Pepper: The first machine of its kind. IEEE Robotics &Automation Magazine, 2018, vol.25, no. 3, p.40-48.
[5] 名倉秀人. AI と言語学. 東洋大学大学院紀要, 2019, vol.55,p.157-168.
[6] 荒木雅弘. 音声対話システム構築に役立つツールキット. 日
本音響学会誌, 2020, vol.76, no.4, p.207-212.
[7] 斎藤由多加, 他. シーマンは来たるべき会話型エージェントの福音となるか？. 人工知能, 2017, vol.32, no. 2, p.172-179.
[8] 江渡浩一郎. アート・エンターテインメントにおける音イン
タフェース. 情報処理学会研究報告ヒューマンコンピュータ
インタラクション(HCI), 2004, p.53-58.
[9] 小林隼人, 谷尾香里, 颯々野学. 音声対話システムにおけるゲームの効果. SIG-SLUD, 2015, vol.5, no.2, p.25-26.
[10] 川崎智久, 大西翼, 篠崎隆宏, 古井貞煕. 音声による 3 次元直接操作インタフェース. 情報処理学会インタラクション,
2009, p.43-44.
[11] 五十嵐健夫, John F. Hughes. 言語情報を用いない音声による© 2021 Information Processing Society of Japan486