二足歩行ロボットへの音声対話システムの構築と評価

近年，ロボット技術と自然言語処理技術の発展により，人間と音声を介して対話可能なロボットシステムの研究・開発が進められている[1,2]．歩行可能なロボットにおいては，移動動作を継続しながら人間と音声対話を行うことが，実環境での利用を想定したシステム設計において重要である．そのため，歩行制御と音声対話を同時に実行可能なシステム構成が重要である．一方で，歩行制御はリアルタイム性が要求されるため，音声認識や応答生成などの計算負荷の高い処理を同一計算資源上で実行すると，遅延や資源競合により制御ループへ影響が生じ得る．近年ではWhisper[3]に代表される大規模な音声認識モデルが利用可能になっているが，小型ロボット上の限られた計算資源で常時実行することは容易ではない．さらに，実環境での対話では短い発話や省略表現が頻出するため，直前文脈を参照できない場合には応答の整合性が損なわれやすい[4]．したがって，既存の歩行制御の挙動を損なわずに音声対話機能を追加するためには，処理の分離や優先度設計，通信断を含む運用上の例外に配慮した実装方針，および会話履歴に基づく文脈保持機構が必要となる．本論文では，図1が示すようにオープンソースの強化学習ベース二足歩行ロボットOpenDuckMiniを対象として，音声対話機能を付加する統合方式を提案する．提案方式では，ロボット上では歩行制御と音声出力を担う軽量な音声サーバーのみを動作させ，音声認識（Whisper），応答生成（GroqAPI），音声合成（edge-tts）といった計算負荷の高い処理は外部クライアントに分離する．また，マルチターンの会話履歴を管理し，省略表現を含む短い発話に対しても直前文脈を参照した応答生成を可能にする．さらに，本論文では，歩行制御と対話処理の併走を評価するための観点として，歩行制御周期，対話処理時間，文脈参照の成否と，それらをログから算出するための計測点を整理する．本論文は計算資源が制約された歩行ロボットへ音声対話を安全に統合するための構成例と，定量的評価手法を提示することに主眼を置く．本論文の貢献は以下の3点である．•歩行制御のリアルタイム性を損なわずに音声対話を設計・実装した点•マルチターン会話履歴を外部クライアントで管理し，省略発話に対しても文脈を考慮した応答を生成できる構成を実装した点•歩行制御周期，対話処理時間，文脈参照の成否という観点から，音声対話統合の影響を実機で定量評価した点Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).3.2音声認識音声認識にはWhisper[3]を用いる．Whisperは大規模な多言語データで学習された音声認識モデルであり，日本語を含む多言語に対応する．本システムでは，音声認識を音声クライアント上で実行し，baseモデルを使用する．認識結果テキストを後段の応答生成に入力する．音声認識処理をロボット外で実行することで，ロボット側の計算資源使用量を抑え，歩行制御ループへの影響を回避することを意図している．3.3マルチターン会話履歴管理音声対話では，短い発話や省略表現が生じるため，直前の発話文脈を参照できることが重要となる．本システムでは，ユーザ発話とシステム応答のペアからなる会話履歴を保持し，応答生成時に履歴を入力として付与することで文脈保持を行う．会話履歴は，システムプロンプト，ユーザメッセージ，ロボットメッセージから構成し，応答生成時にはシステムプロンプトを先頭に配置したうえで時系列順に配列する．システムプロンプトには，ロボットの役割（親しみやすいアシスタントロボット，名前はダック），応答スタイル（簡潔で短めの日本語，1-2文程度），文脈理解の重要性を明記する．履歴の最大長は10ターン（ユーザ・アシスタントのペア）とし，これを超える場合には最も古いメッセージから削除することでメモリ使用量を一定に保つ．この設計により，最近の文脈を保持しつつ，計算資源と通信量の増加を抑制する．3.4音声合成とロボット音声効果音声合成にはedge-ttsを使用する．edge-ttsは日本語音声の合成が可能であり，応答テキストから音声データを生成する．段階内容初期状態1会話目の履歴が保持されている履歴:[user1:名前は何ですか？,robot1:私はダックと言います．]ユーザー発話「何が得意ですか？」LLM送信データシステムプロンプト+1会話目の履歴+新しいユーザー発話LLM応答「親しみやすい会話が得意です．」履歴保存