本稿では，対話ロボットコンペティション2023で最優秀賞を獲得したマルチモーダル対話ロボットについて詳述し，課題や知見も共有する．本コンペティションは，実際に店舗にヒューマノイドロボットを置いて観光プランニングを行うものであり，テキスト対話ではなくマルチモーダル対話が要求される．我々は大規模言語モデルを活用するだけでなく，画像，音声，動作，地図などを総合的に用いることで観光プランニングタスクを適切に達成することを狙ったシステムを構築した．

GPTをはじめとした大規模言語モデル（LLM）の発展は著しく[1]，近年のLLM利活用は，研究開発のみならず様々な事業・サービスへと広がりを見せている．LLMが高度な言語能力を持つことは広く知られており，従来困難とされていた自然言語処理タスクにおいて人間並みの精度を達成している[2]．対話タスクも例外ではないが，雑談対話では既に一定の性能が確認されているのに対し，タスク指向対話での検証が十分とは言えず，様々な評価が試みられている[3,4]．対話ロボットコンペティション2023(DRC2023)も評価型ワークショップとして開催されており，旅行代理店における観光案内を模したタスクで，ヒューマノイドロボットを利用した高度なマルチモーダル対話が要求される[5]．我々はDRC2023の観光案内タスクを対象として，人間のユーザの要望に応えながらインタラクティブに観光プランニングを行うシステムを提案する．本システムはLLMによる生成を基本に柔軟な対話を行いながら，オープニング，ヒアリング，コース案内とスポット決定，旅行プランの提案と質問応答，クロージングと5つのフェイズを順に遷移することで，ユーザにあった旅行プランを提案するシステムである．各フェイズでは外部APIから取得した画像や地図情報，経路情報などを活用し，効果的にユーザに観光情報を提案できるように工夫する．DRC2023を通して本システムの対話能力と計画立案能力を検証し，高度なタスク指向対話におけるLLM対話研究の現在地とその課題を明らかにする．本研究の提案システムはDRC2023の予選4位，本戦で1位を獲得しており，発展途上ながら一定の成果があったことも合わせて報告する．