マルチモーダルインタフェースによる知能化技術に関する調査研究後藤 和弘・佐藤 辰雄書吉岡 孝＊
情報農業邦・＊人分県立工術丈化短期大ノ、うAS宣ⅥdvomIntelligentE椚7亘rommentⅥ′itぬM油imo舶亙鼠m富errace
Kazuhiro GOTO。Tatsuo SATO。Tak之IShiYOS1110KA＊！nfo−一−11之Itioll′1、cchi−01（）gyDi＼ isio−1。＊Oital）rcl、cctし汀ai〔二oiiege（〕fAl・tSこInd仁：し11tt汀C

1．はじめにインターネットの普及に上ってさまざ主な電」′▲的な情報がネット上に溢れているが，その「情報一 を人が枯用する場合，従太さよコンビュー一夕を操作Lて r′実体を持たない情報」のまま扱うことが一般的である．しかし，コンヒュー→タを利用するにはまずマウスやキーボードなど基本的な操作ノい去を覚える必要があるた須，粛圧、者には馴染みにくく，デジタルデバイドを生む要因のひとつに操ノ′J十象もなっている．近年，家庭内やオフィス内にセンサ類を埋め込んだセンサネッ：「Ⅰ ＼■VTRナrごトワーークや情報家ノ壱，人を支援す

図1システム棉成の概要

るロボットが開発されてきたことで，／ナ後は「実休のあ卜型1」ポットのマイクから人力した晋声をネットワ」1クるモノ」とび）粁亙イ乍川を通じた情軸の入山力抜輔が塵要になると考えられる．ロボットを操作するためのユーーサ

経山で音声認識サーバへ送信するユーーザインタフ

インタフエースに／Jいてはジュスチ」「ペ⊃音ノ上の利用などス蛤アプリケし∴ンニンを開発し′た．計耳認識二エンジンさ」主】

多く研究されており】・ごノ，コミュニケーションが・再拒なロ

ベット叫ロボットから受′信したせ声デー一夕について認識

ボットのニー・−ズが高ま／Jているこり処理を行ない，登録してある動作指令と認識結果が 一致

我々はこれまでにシンクライアントを川いて，テレビすれば操作対象へ動作指令を送イ言する．これまでに開発

等の家′電品や移動1」ポットを音声で操作可能な遠隔保什

Lた遠隔操作システムは柔軟性や拡張什に優れているたシステムを開発しノており，P［）Aをクライアントにするこめ，従来げ〕システムにべット型t∫ポットを容鋸二親み込とで小型軽量な端末にr」二る遠隔操作を実現している斗1

むことができる．
ペット型ロボットに組込むアプリケーーシ」ンは，無償

しかし，PDAを常に携帯しておく必払うミあり，利川者に提ホできる情報はテキスト配布されている のl〕LN−ⅠミSr）Kわ1を利川して開発しJ∴

存（音声，官潔甘 画像，動画などに限定されるという制約があった。

OPFN−Rはニンタい→ナインメントロポット川ゾ〕ア一寸テ

そこで本棚貯ごは，「1ら移動でき㌃宜販のペット型［了クチャーでコ ハ・一ドゥェア♂）モジュール化】ソフトウェ
ア〝〕ニ亡ジュール化，ネットワー㌢対応などを鞘＝徴とする

ポットをユーザインタフェースとすることに上り，利川者が常時携帯すてことなく，音声での動作桁令やペット標準インタフェースである．関節雄武制札 各柁センサ型ロボット♂）行動などにj二るマルチモ∵→ダルな移動ノ1ir4ユ

情報や蜘メラ画像〔硯附∴ プ手兵蘭ミヤノANに上る通イ．‡などフーーサインタフエースのノ夫現を＝標とする。

基本的な動作を制御するAP上がソフトウ丁ア什様で規定トされ，0王）LN−iそSOKによってW′indoⅥ√rS等げ）パソコン上で2．移動型インタプェー∴罠による遠隔操作動作プログラムを開発できる．マイクから晋㍉を人力ナ

凶1にシステム構成〝）概要をホす．ヘット伸してポットるときに，人ノ」されたことを検知するん法には幾∴か♂）（Sし）ny，ERS−210），人語ノ豪連続音ノ√認識コニンジンJuljusくノ，「法が考えられる．常にマイク人力を監視Lてそげ）レベ「rl＼′「などを操作するためげ〕コントL7し→ラをネットワーク

ルがあるしきい仙を越えた時点をトリガとする場fナ，人に接続する．ヘット型ロボット「鳩二川の（二Pし」と（）Sから力された晋がユーザ〝）発声な折か雑音なのかを識別するなる一柿げ）組み込みシステムであるため，搬㈹なパー1必要があるうえ，ユーーザが遠くにいたり音声が小さいとソナルコンヒュ一夕と比べてCPしJ〝）処雌能ノ」が低く，メきには」上二し／く首J！／認識できない輔了紺三がある．また締込

ニヒリ容量が少ない。今い岬J川Lたヘット型11ボ、ソトはもみシステムであるため，あるゾ1了グラムが′骨にノ克行されともと辞声認詣封矧′拒を千ハノているものの，馳位れた紳i‡二ていると〔てPし」資源やメモリ抒源の利用の両甘らサょしノで処理できる語彙力は十分とさうこいえない．そこで，ペッ

いとは云三▲えない．そこで本耕彗では本体のタッチセンサ
12ーー

付いてノLチを描寸上土うとする傾r′りが撒いご仁）げ〕〝），ささやく＼・ ゝし」‖1ビじ1

柑安♂）声であったために音声認識が閃難な場面卓〕見られ

1 ＝11＼ごrle〉 L∴一一た．また，「打力上うに接したらいいび〕かわからない
ご；′㌣ラ【一rどのぐらい♂）声を山したら伝わろのかがわからない／ワ聖）L▲ ／㌢＼、≡・分からなか／）たらはHき返すそぶりをLてはしいj など，機械を音言i 乾した古見≠）あった．

‖4．まとめノ本研究ではペット型ロボットを移動型エーザインタフ

ニースとした，音声に上る遠隔操作システムを開発した。

【叉†2 機能オブジェクトの構成

従来のP（二のように文字や画像による情報の提示と比べ行動による情報提示はコミュニケーションしやすいと考を利川し，センサが抑されたことをトリガとして音声人えられる．圭た，ネットワし一クを前提としたシステム構ノ」を検知する．ユー→ザインタフコニし一ス∴アフリケーショ

成であることから，ペット型し了ポットヘI自二接詰Lかけなンは図2に示すように複数げ）オブジェクトで構成し，音くても，PDAやPCなどの他の端末を用いて拝声に」二る

ノミ∫ やタッチセンサ，動作指令などの各デー→タはオブジ丁

動作指令を与えることも可能である．
クト閑適信に上って受け渡す．タッチセンサが押される

さらに，音＃指怜に対応するイコ二軌プこ丁グラムを作成しと音声の人ノ」を開始するとと章）に，ユーザ／＼開始を捉／］ミてネットワー→クトのアプリケトンヨンサーーノ樟諸裾ける

するた裾こ巨iの部分のLEDを点滅させる．洋ノ！iを 一時的とともに，WEIうサし一ビスと組み合わせて様々な機能サーに格納するバッファが一杯になると人力を終」／し LE［）
ビスを検索・活劇することで，生描者を知的に支援するを消灯する．本体げ）什様によりサンプリング16KH∠，分環」売を構築できると考えられる．

解能16ビットで音声を人力し，2秒聞にイ甘当する64Kbytc
グ〕音声デー・一夕を音声認識エンジン／＼送イ言する．
音声認し穣サーバで参考文献
り松刃俊浩上麻生英樹，」血11Fry浅野木本村陽一，原さ＼上 DSR（DiHtribtlte（iSpccch

Rec（）糾itio−1）方ユしによって音声認識処理を行ない，認識功仁栗田多言夫∴速見悟，山崎信木，，▼オフィス移動ロ

結果をもとに操作対象を遠隔操作するための動作指令を

ボットJtjo−2の音声対話システム，「1木口ポット学

送信できる」二う，音声認識コニンジンJuliusのソー→スを改

会誌∵ぬ1．18，No．2。Pp．300−307，2000．

造しノた．動作指令としては，テレビ笥雄）ノ右派のON−OFF2）水川車。神名篤史，松餌ミ安彦，安藤吉仲，■，物理エージなどのはか，ペット型ロボットのキ」二勤を指定することもェント（PAS）における，晋ノミり菜作系の基本検討，†一 口可能である．これにより，ニトーザとの対話内容と外部の本機械学会ロボテイクス・メカ卜してニクス講演会 01

州＝7山喜表口 ‖刷：★㌔「イベント，メー→ル確認など）を組

講演論文集J円−K9，2001．

み合わせて，次び）行動を決定できるょうになる．

3）石黒乱 口浦亮太．＝ コミュニケーション支援ロボッ

トビジネス，■，［名木tlポット学会論文集∴Ⅶ1．犯

3．システムの評価開発したシステム

No．7，pp．672−675．2002．

ぴ）動作確認を子Jなった．ペット型こて4）後藤和軋 佐藤辰雄，入城英裕‥〔「岡孝，ポットげ）タッチセンサを抑卜Lて甘声を入力し，音声認

築柏秀男，▼−ンン。クライアントを川いた拝声コマンドによる移動

識釣結果をもとに操作対象を遠隔操作できることを確認

tlポットシステム，▼ L7ボテイクス8メカトロニクス講した．ユーザジ）発声から尖際に対象物が動作する圭でに演ゴミ2002，げトt）iO，2002．

はフ ォフ㌧㌧クト「 則で耳目㍉圭テ、一夕♂）ノ受け渡しノやプ無線ネ

5）人語最速続音 声認識エ ン ジ ン 山IiしIS．

ットワし→ク総山での音声デー一夕げ）転送ノこ宇があるにもかか

http：′小11ius．soし11−CClbl−gC．．叩才〕ト」ず，十水盛的には時「軋起れはほと′′しど気にならない柁6）（）PEN−RSr）K，http：′′′′ope‡−r，aibo．coユ11／度であ／）′丁こ．

7）封甘孝，後藤和弓＿L，イ項1乳辰雄，大城英酢 水山久平，

一九 ペット埠巨7ポットがどぴりこうな仕組みでできて築根秀乳−一昔声コマンドび鳩ミ送を川いたペットし丁ポッ

いるかを普段からほとんど意識しない友ナ短人牛を被験ト♂）遠隔制御、−一 口ポチイクス・メカトtてニクス講演会

首としノ′′こ場合フ 倖／〕て待機状態であるペット聖こ丁ポット

2〔）03，2Pト】F−E6，2（）03．に射しノてほとんどの学年が頭に触れることからコミュニケーーションを始めるイ矧句があった7 さらに筋（ぴ）【t帝rノノr−′「卜＼移動しノて接すな傾向が強く、話し掛ける際は」＝∴近13