メロディによるロボットとのコミュニケーション
真下奈緒子

中川弘隆

藤井正範

藤波努

北陸先端科学技術大学院大学 知識科学研究科｛n-mashi，hirotaka，m-fujii，fuji｝@jaist.ac.jp
1. はじめに
近年，コミュニケーション・ロボットやエンタテイ

人間がロボットにメロディを送信すると，ロボットが行

メント・ロボットが製品化され，ロボットと接する機会動によって反応する．逆にロボットが人間に信号をが増えてきている．また，文書作成やソフトウェア操送信すると，人間がメロディで答えることで反応する．

作を音声で行うことが可能になり，ロボットを音声でこのような相互作用が行われることでコミュニケーシ操作することも行われている．ここで用いられる音ョンが取れているものとした．

今回，我々は「記号」としてメロディを用いた．

メロディを用いるメリットには次のようなものがあ

声認識の多くは，音声によって入力された言語パターンを，無数にある言語パターンから特定するもる．のである．使用者によってアクセントや声質に違い•

音声言語に近いため，使用者にとっても傍観があるため，前もって使用者の声を登録しておく必者にとってもコミュニケーションの媒体として要がある．しかし，同じ使用者であっても体調や心用いられていることを認識しやすい

身状態による声質の変化には対応できないため，•ロボット側での処理が速い

いつでも同じように特定するのは困難である．

•

人間とロボットの双方にとってパターン認識

本研究では，音声装置から出力されるサウンが容易である

ドデータの音階を特定し，9 音階からなる連続した人間

3 音をメロディとして認識するシステムを製作した．

GAIAGAIA-2①メロディ

これにより，音質の変化を気にすることなく，人間と自律移動型ロボット GAIA-2 が 504 通りのメロディパターンによってコミュニケーションをとることを可能にした．なお，9 音階のほかにシステム用として 3 音判断階を用いている．

動作確認
動作

信号確認

2. コミュニケーションとは人間とロボット，つまり機械とのコミュニケーショ②信号ンを考えるにあたり，何を以ってコミュニケーションが取れているとするのかが問題となる．ミード［3］によれば，コミュニケーションとは「記号を媒介とした音声装置

無線マイク

FM ラジオPC

図 1：動作説明図相互作用過程」であり，記号とは身振り，表情，ことば，文字，映像などのことである．さらに，コミュニケ応」によってその意味が決定されるものであり，コミ

3. 人間とロボットとの相互作用過程
コミュニケーションを行う目的は，メロディや行ュニケーションは原則的に「相互作用」によって成動によって，人間と GAIA-2 が意味を共有できるメ立するものである．

ロディを見つけることである．

ーションは送り手の記号を受け取った「受け手の反Communication with the robot using melody

初期状態では，GAIA-2 にはメロディに対応

Naoko Mashimo ， Hirotaka Nakagawa ， Masanoriする行動がプログラミングされていない．しかし，シFujii and Tsutomu Fujinami

ステム用の 3 音階は識別できる．以下に動作内容

Japan Advanced Institute of Science and Technologyを示す（図 1）．

ランダムな動作を繰り返す GAIA-2 に，人間こうして特定した音階を，3 個続けて保持するがメロディを送信する（①）と，GAIA-2 上のメロディことでメロディとして認識する．メロディ認識中に識別システムが起動してコミュニケーションが始まYES／NO／REPEAT 信号が含まれた場合や，る．

無音，または GAIA-2 が認識できる音域を外れるこ
はじめ，GAIA-2 には記憶されているメロディが無いので，ランダムに動作する．人間はこの動作とで，音階が特定できない状態が 1 秒以上続いた
場合はメロディとして認識されない．

を確認しておく．動作後，GAIA-2 は人間の期待す

また，この音階特定方法は，外部音声に倍音る動作を行ったかを問う（②）．人間は，期待してい成分が含まれる場合には正しく音階を特定することたものであれば“Yes”，そうでなければ“No”，もうができない．これを解決するためには，対象の音源一度動作して欲しい場合は“Repeat”に対応するの音域を制限することや，ローパスフィルタの遮断サウンドを発信する（①）．“Yes”を受信した場合，周波数をできる限り低くするといった工夫が必要とGAIA-2 はその時のメロディと動作を記憶しておき，なる［2］．そのため今回は，出力するサウンドデー

次に同じメロディを受信したときに同じ動作をするよタが 12 音階に限定された音声装置を用いている．

うになる．
また，人間の送信したメロディを GAIA-2 が正

peak

peak

確に識別できなかった場合，GAIA-2 は人間に，再度メロディを送信するように要求する（②）．人間はこれを受けて再びメロディを送信する（①）．

count
1 2 3 4 5 6 7 8 9 10 1 2 3 4 5 6 7 8data 91 127 164 157 158 162 121 90 99 93 99 149 163 155 162 150 101 93 99 90

peak

peak

4. メロディ識別システム
4.1 外部音声入力
外部音声は，音声装置に取り付けた無線マイcount 9 1 2 3 4 5 6 7 8 9 10 1 2 3 4 5 6 7 8 9data 119 162 159 157 163 129 91 98 95 95 143 164 155 161 155 107 92 99 91 112

クにより FM ラジオを介して PC にライン入力される（図 1）．入力された外部音声のアナログデータは，

図 2：ピーク値検出

Linux の DSP デバイスを用いて 8000 個／秒サンれる［1］．この結果，音階特定に必要な数値データ

5. おわりに今回のコミュニケーションでは「記号」をサウンが得られる．

ドデータとしたため，12 音階を出力する音声装置

プリングすることによってデジタルデータに変換さを用いたが，このシステムは，入力から音階を特定
4.2 音階特定とメロディ識別できるサウンドであれば，どんなものでも用いること音階の特定は，音階によって周期が異なるこができる．今後，様々な楽器や人間の音声等によとを利用している．100ms 単位で得られた外部音って GAIA-2 とのコミュニケーションが図れるような声のサンプリングデータを解析し，はじめのピーク仕組みを考える予定である．

値となる数値データから，次のピーク値の数値データまでのデータ数をピッチとして求める（図 2）．ピー

また，サウンドを用いたことで，楽しんでコミュニケーションできるという効果も期待できる．

ク値を求める際にノイズの影響を考慮し，求めたピーク値間のデータ数が 7 個以下であった場合，ピーク値として認めない．同様に求めた 100ms 分のピッチデータの平均を算出することで，平均ピッチを得る．あらかじめ行った音階別のデータ解析によ

参考文献［1］ Jeff Tranter：LINUX マルチメディアガイド；
O’REILLY，1997

り，平均ピッチは音階が半音上がると，ほぼ 0.5 ず［2］ 片寄晴弘：コンピュータと音楽の世界；自動採つ少なくなることが分かっている．外部音声から得譜（概論）；pp.74-pp.88，共立出版，1998

られた平均ピッチと，この平均ピッチを比較すること［3］ G.H.ミード：「デューイ=ミード著作集」 精神・によって音階を特定する．

自我・社会；人間の科学社，1995