The 19th Annual Conference of the Japanese Society for Artificial Intelligence, 2005

1B1-07

意味の位置づけを可能にする意味表現を用いた情報家電操作のための対話的インタフェース
A Dialogue Interface for Home Automation Systems
using a Semantic Representation Enabling Semantic Structure Mapping
内田 尚和*1

常盤 大樹*1

高木 朗*2

麻生 英樹*3森 彰*3

橋本 政朋*3

Naokazu UCHIDA

Hiroki TOKIWA

Akira TAKAGI

Hideki ASOH

Akira MORI

Masatomo HASHIMOTO*1

伊東 幸宏*4

小林 一郎*5

中島 秀之*6

八名 和夫*1

Yukihiro ITOH

Ichiro KOBAYASHI

Hideyuki NAKASHIMA

Kazuo YANA

*2

法政大学工学部
Hosei University*4

静岡大学情報学部
Shizuoka University*3（株）CSK

産業技術総合研究所

CSK Corp.
*5AIST

お茶の水女子大学理学部*6

Ochanomizu University

公立はこだて未来大学

Future University-Hakodate

A dialogue interface for home automation systems using a semantic representation which enables semantic structure mapping isdescribed. In order to cope with the large variety of user’s input sentences, the system interprets them into semantic representations.
Then the representations are mapped on the dialogue context or knowledge of the system. Through the mapping procedure,
information in the inputs, dialogue context, and knowledge are unified to achieve understanding the whole inputs and to continue
natural interaction with users.

1. はじめに

現象概念名
現象属性１
現象属性２……
現象属性ｎ
属性限定句

情報家電をはじめとして、操作が複雑な情報機器を誰もがストレスなく利用できるようにするための手段として、自然言語による自由な入力を許容する対話的インタフェースへのニーズは高い。しかしながら、現在の対話システムの多くは、ユーザ発話中の限定されたキーワードを検出して発話を分類し応答を返すものであり、ユーザの自由な入力を文脈や背景知識を考慮しながら柔軟に解釈して、数ターンに亘る対話を継続することは未だに実現できていない。
われわれは、「ユーザ入力の意味を、文脈・状況・知識上への位置づけによって解釈する」という考え方に基づき、効率的な「意味の位置づけ」を可能にする意味表現とそれを用いた意味解釈手法を提案するとともに[高木 02]、その有効性を検証するためにホテル検索、LAN 構築ヘルプのドメインで対話システムを構築してきた[池ヶ谷 02, 常盤 03]。本発表では、提案手法を情報家電を制御するシステムの対話インタフェースに適用する方法について述べ[内田 04]、有効性を示すとともに、そこでの問題点について考察する。

［知識値ｎ］修飾値ｎ［ＮＩＬ］修飾値ｏ

断定
断定対象
現象属性１……
現象属性ｎ
属性限定句

［ＮＩＬ］断定帰結［知識値１］修飾値１［知識値ｎ］修飾値ｎ［ＮＩＬ］修飾値ｏ

実体概念名
実体＄実体属性 1／現象属性１
実体＄実体属性２／現象属性２……
実体＄実体属性ｎ／現象属性ｎ
実体＄属性限定句
実体＄連体修飾節
属性概念名＃属性＄内包主体
属性＄連体修飾節

2. 意味の位置づけを可能にする意味表現
入力文と、文脈・状況表現、知識表現との相互の位置づけを可能にするために、述語と連用修飾成分、及び、名詞と連体修飾成分に含まれる単語間の依存関係（係り受け関係）を圧縮して属性名の中に繰り込み、さらに、各依存関係をすべて「属性は値である。」という「断定」の形に同義変形することで得られる意味表現[高木 02, 04]を用いる。
図１に各種概念の意味表現の基本形を示す。語の意味表現
は「属性名 値」（ある属性が値である）という｢断定表現｣を束ねて作られるフレームとなる。値部分は“[知識値]修飾値”という構成を持つ。知識値は、その属性に関する知識として、辞書に予め記載されている値である。修飾値は、入力文で指定された値［知識値１］修飾値１［知識値２］修飾値２［知識値１］修飾値１［知識値２］修飾値２［知識値ｎ］修飾値ｎ［ＮＩＬ］ 修飾値 o［ＮＩＬ] 修飾値ｐ

［ＮＩＬ］修飾値１［ＮＩＬ］修飾値２［ＮＩＬ］修飾値３

図１ 意味表現の基本形である。いずれの値も、名詞意味表現へのポインタ又は数値、記号が格納される。述語（現象概念）意味表現は一番上の図で示すように「現象属性 値」を持つ。「属性限定句」属性は、副詞概念意味表現へのポインタを格納するために設けられた属性である。サ変名詞等現象を表す名詞概念の意味も同様な形式で表現する。副詞類（副詞、連用形形容（動）詞）概念意味表現は、
現象属性 ［知識値］修飾値（修飾値には、程度副詞等による限定情報が格納される。）の形式で表す。

連絡先：麻生英樹，産業技術総合研究所情報技術研究部門，〒305-8568 茨城県つくば市梅園 1−1−1 中央第２，h.asoh@aist.go.jp-1-

The 19th Annual Conference of the Japanese Society for Artificial Intelligence, 2005
各依存関係を断定の形に変換して表現していることとの整合性を取るため、「ＡはＢである。」という断定文の「ある」の意味表
現は、通常の述語と少し異なる形を取る。すなわち、「断定」の述語「ある」の主格名詞句を「断定対象」属性、「で」格名詞句を「断定帰結」属性として、これらの格成分の組を断定対象 ［ＮＩＬ］ 断定帰結の形で表現する（２番目の図を参照）。
実体概念（名詞概念）が内包する「色」「形」等の属性を「実体属性」と呼ぶ。実体概念は、実体属性に加えて、「内包」以外の一般の現象概念の意味を含む「存在場所」「製造主体」等の現象属性を持ち得るため、実体＄実体属性又は現象属性 ［知識値］修飾値という形式で「１つの連体修飾成分−名詞」の意味を表す。＄は「内包」の「の」の意味を表す。「実体＄属性限定句」属性は、属性値を指定する属性名詞句（「１ｋｇの重さ」等）意味表現、形容詞類（連体形（動）形容詞、連体詞）意味表現へのポインタを、直接修飾先属性の修飾値に格納することが出来ないために設けられた属性である。属性名詞句意味表現、形容詞類意味表
現へのポインタは、「実体＄属性限定句」属性の修飾値に格納する。「実体＄連体修飾節」属性は、当該実体概念を修飾する
連体修飾節のヘッドの述語概念意味表現へのポインタを修飾値に格納する属性である（３番目の図を参照）「色」のような属性名詞概念意味表現は４番目の図のようになる。「＃」はヘッドの属性概念そのものを表す記号で、「属性値」の形式を維持するためのものである。「属性＄内包主体」属性は、その修飾値に、当該属性を持つ概念として表層で指定された実体／現象／属性概念意味表現へのポインタを格納する。
例えば、「車の色」という名詞句であれば、
色＄内包主体 ［ＮＩＬ］「車」意味表現へのポインタとなる。形容詞類概念意味表現は、
実体属性／現象属性 ［知識値］修飾値（修飾値には、程度副詞等による限定情報が格納される。）の形式で表す。
以上の意味表現形式により、「述語＋各連用成分」あるいは「各連体修飾成分＋名詞」によって指定される情報を、表層の依存構造に依存しない一定の形式で参照出来るようになる。さ
らに、対象問題領域の用例文から出現しうる全ての概念と連用・連体修飾成分を収集し、属性を体系化した概念辞書を作成しておくことにより、その領域に関する任意の表層表現に対して、属性間、名詞句間、節間の意味の位置づけが可能になる。
図２に「テレビの音量を２０に設定する。」という文の意味表現を示す。図には主な属性だけを示している。
設定１
設定１主体 ［NIL］NIL
設定１対象 ［NIL］
設定１設定値［NIL］ ２０
音量１＃［NIL］NIL
音量１＄内包主体 ［NIL］……
テレビ１
テレビ１＄存在場所 ［NIL］NILテレビ１＄設定音量 ［NIL］NIL
テレビ１＄製造主体 ［東芝］ NIL……

図２ 「テレビの音量を２０に設定する。」の意味表現

3. 意味解釈処理
入力文や知識を上記の意味表現に変換することによって、ひとつの依存構造で指定される情報を、属性名によって参照できるようになり、対応づけの候補を容易に見つけることが可能になった。しかし、ここまでのところでは、文脈や知識の中にある多くの対応づけ候補の中から実際に対応付け可能な属性対を定めることはできない。そこで、実際の対応付けを行う手続きとして、上記の意味表現に対する二種類の汎用的な意味解釈処理を用意する。一つ目は、依存関係（係り）の解釈、すなわち、属性の対応づけによるフレーム間のポインタの解釈であり、もう一つは意味表現構造間の対応づけによる解釈である。

3.1 依存関係の解釈
意味表現中で二つのフレームがポインタで接続されていることは、それらのフレームの属性の間になんらかの関係が存在することを示している。そこで、その関係を使って属性値同士を対応づけることができる。たとえば、上で例にあげた意味表現の中の、「音量を２０に設定する。」の部分について考える。この場合、「設定１対象」がポイントしている「音量１」の値（＃の右側）は、「設定１設定値」の値と等価で照合可能のはずである（以後、このような関係を「意味的対応関係」と呼ぶ）。すなわち、「音量１」の＃の右側の知識値に、「設定１設定値」の修飾値である２０を伝播させることができる。これは、「音量１」が「設定１」に対象格で係ることによって引き起こされる二つの語の意味の相互作用であり、以下のように一般化することができる。
一般に、現象概念Ｔ意味表現中の任意の現象属性表現が、Ｔ属性ｉ ［知識値ｉ］[名詞概念Ｕへのポインタ]の形を持つ場合、Ｔ意味表現中の「Ｔ属性ｉ」を除く現象属性表
現の組、｛ Ｔ属性ｊ ［知識値ｊ ］[ 修飾値ｊ ] ｝ ｊ≠ｉは、名詞概念Ｕ意味表現中の属性表現の組、｛ Ｕ＄Ｔ属性ｊ’［知識値ｊ’］[ＮＩＬ] ｝と（そのような表現が記載されていれば）意味的対応関係を持ち、相互に値を伝搬し、照合することが出来る。但し、「属性ｊ’」は、「属性ｊ」と概念的に同一もしくは上位下位関係にある格成分とする。知識値ｊ′と修飾値ｊ とがポインタ値であれば、双方のポイント先意味表現中の対応する属性同士も意味的対応関係を持ち、相互に値を伝播し照合することが出来る。
さらに、名詞句中の連体修飾節意味表現に対する解釈処理
を「テレビ１」と「音量１」の依存関係に適用して「テレビ１＄設定音量」の知識値に「音量１」の値である２０を伝播させることができる。詳細は[高木 2004, 常盤 2004]を参照。

3.2 意味表現構造の対応づけ「テレビをつけて。」「音量を２０にして。」と言った場合、一文目の「テレビ」と、二文目の「する」や「音量」の間には直接の係り受け関係はない。にもかかわらず我々は、二文目が一文目の「テレビ」の「音量」を２０にすることを求めていると理解できる。従来、このような照応関係の処理は、アド・ホックなルールや統計的なルールに基づいて、先行文脈の中から候補を定めるという形で行われていた。これに対して、我々の意味表現を用いれば、より汎用的な手続きで精度の高い意味の対応づけ処理を行うことが可能になる。
具体的には、①入力節意味表現と先行節の意味表現との対応付けを順次試み、全ての節をその上に位置付けることが出来る、最も広い「場面」を与える節を問題枠として同定する。

-2-

The 19th Annual Conference of the Japanese Society for Artificial Intelligence, 2005
②各節を問題枠に対応付け、各節と問題枠に共通に記載されている属性値情報を相互に伝播する。
③位置付けられた各節に対応する問題枠内の部分を、節対応付け時点での「既言及部分」として束ねる。
④「既言及部分」以外の「未言及部分」を束ねる。という対応づけ処理を行う[高木 2004]。
上記の例の場合には、「音量を２０にして。」を、「テレビをつけて。」の上に位置づけようとする中で、「音量」属性と「テレビ」の中の「テレビ＄設定音量」が対応づけられることになる。

4. 情報家電制御対話システム
4.1 情報家電制御対話
現在構築しているシステムの操作対象は、テレビ、エアコン、照明、電動カーテン、等の一般的な家電製品であるが、以下では特に、制御がやや複雑な対象の例として、テレビとエアコンの操作を取り上げる。現状のシステムでは、まず「テレビ」「エアコン」といったキーワードで操作対象のシステムを指定し、その後に、「電源オン」「４チャンネルにして」「設定温度を上げて」といった直接的に解釈可能なコマンドで操作を指定することが多い。
これに対して、ユーザからのより自然な入力としては、「ＮＨＫが見たい。」、「暑い。」といった間接的な操作指示や、「今の設定温度は何度？」というような質問文も考えられる。また、「エアコンつけて。」「温度は 20 度に設定して。」というように、複数の文に分割して操作指示が行われたり、「エアコンの設定温度は何度？」「20 度です」「２度上げて」のように、システムの応答も含めた対話を通じて操作指示が出されることもある。
こうした多様な形のユーザ入力に対処するためには、入力文を、対話の文脈、現在の部屋や機器の状況、機器操作に関する因果的知識と適切に統合して、省略されている情報や必要な情報を補いながら解釈し、適切なコマンドを発行し、対話を継続することが必要になる。以下では、まず対話システムの構成について述べ、前節までで述べた意味表現と意味解釈処理を用いることで、情報の統合処理が汎用的かつ効率的な手続きによって実現できることを示す。

図３ 対話処理部の構成

図４ 状況表現

4.2 対話処理部の構成と動作
図３に対話処理部の構成を示す。音声認識には日本語連続音声認識コンソーシアムの Julian を用いている。家電の制御にはＡＩＳＴで開発された情報家電ネットワークミドルウェアを用いている。以下、対話処理部の各モジュールについて説明する。
(1) 対話制御モジュール
対話制御モジュールは、対話処理部内の各モジュールや音声認識部の実行制御と情報家電制御部との通信を行う。入力の有無、各処理結果の有無、現在実行中の問題解決の有無等をフラグで管理し巡回的に監視し、各モジュールを適宜起動する。
(2) 形態素・構文解析、意味表現生成モジュール
音声認識結果の形態素・構文解析には（株）ＣＳＫの自然言語処理ツール ARGO を用いている．構文解析結果と概念辞書を用いて２節で述べたような意味表現を生成し、文脈バッファに積む。
(3) 状況表現バッファ
状況表現バッファには、家電の設定状態と室温等の環境情報を２節の意味表現を用いて表現したものが置かれる。対話制
御モジュールによって家電の設定情報は変化がある度に更新

図５ 因果関係知識の例され、環境情報は定期的に更新される。図７に具体的な状況表
現を示す。
(4) 因果関係知識バッファ
因果関係知識バッファには、①機器に対する操作とそれが引き起こす状態変化②状態変化が引き起こす次の状態変化③周囲の状況とユーザの感覚的状態を結ぶ因果関係についての知識を、２節の意味表現を用いて記述したものを用意する。 状況表現と因果関係知識は機器毎にまとめられている。 因果関係知識は、１つの状態変化を単-3-

The 19th Annual Conference of the Japanese Society for Artificial Intelligence, 2005
位として、“前前提状態”、“前提状態”、“作用”、“達成”、“帰結状態”の５つの属性から構成される。図８にテレビについての因果関係知識の例を示す。図中では簡単のために「値」部分を文章で表現しているが、実際には意味表現されている。
(5) 意味解析モジュール
意味解析モジュールは、文脈バッファ、状況表現バッファ、因果関係知識バッファの内容を用いて、３節で述べたような入力文の意味解釈処理を行う。新たな入力文が入るたびに、依存構造の解釈が行われ、それを位置づけるための問題枠が検索され、その上に入力文が位置づけられて情報が伝播される。これによって、省略された部分の補完や、因果関係を使った推論が実行される。
(6) 問題解決モジュール
問題解決モジュールは、意味の対応付けの結果に基づいて解くべき問題の種別を決定し、予め用意されている個別の問題解決ルールを展開して実行し、情報家電制御部へのコマンドの発行とユーザへの応答文の生成を行う。問題解決の種別として、①家電に対するコマンドの発行②ユーザの現在状況に対する質問への応答を用意している。①は、既に述べたように、直接コマンドに変換可能なタイプと間接的指示のタイプがある。

4.3 対話例以下では対話例に沿ってシステムの動作について簡単に説明する。汎用の意味解釈処理に基づいて、文脈情報や知識の自然な利用が行われている。また、エアコンの操作とテレビの操作をモード切替無しに自然に行き来できていることがわかる。
ユーザ ：「エアコンの設定温度は、今、何度。」
エアコンの状況表現に対応付けがされる。問題枠を文脈、エアコンの状況表現に設定する。現在状況に対する質問と認識する。対応付いている現在状況の値を取り出し、応答文を生成して終了する。
システム ：「18 度に設定されています。」
ユーザ ：「もっと、暖かくして。」
因果関係「室温が上がると暖かくなる」の“帰結状態”に対応付けられるが、“作用”の値はＮＩＬなので、実行可能な“作用”を探索する。「設定温度を上げる」が見つかり、これをコマンドに変換する。
システム ：「20 度に設定しました。」
ユーザ ：「もっと。」
先行文脈に対応付けることで、「もっと、暖かくして。」と補完する。前述のものと同様の解釈を行い、「設定温度を上げる」をコマンドに変換する。
システム ：「22 度に設定しました。」
ユーザ ：「テレビつけて。」
これまでの文脈、および、エアコンの状況表現・因果関係知識には対応付かない。知識全体を探索すると、テレビの因果関係知識に対応付くので、これを新たな問題枠とする。それまでの問題枠は履歴に保存しておく。コマンドに直接変換できるので、コマンドを出力し終了。
システム ：「テレビをつけました。」
ユーザ ：「７時になったらＮＨＫにして。」
複数節で構成されているので、１節ずつ対応付けを試みる。
現在の問題枠である先行文脈、テレビの状況表現・因果関係知識に「７時になる」の対応付けを行なうと、番組検索、チャンネル設定等の知識の時間指定の部分に対応付く。次に、「ＮＨＫにして。」の対応付けを行なうと、チャンネル設定の知識に対応付く。この知識の時間指定の部分には、前の節がすでに対応付いており、２つの節の対応付け結果から、「７時にチャンネルをＮＨＫに設定する。」とシステムは認識する。これをコマンドに変換して出力する。
システム ：「７時にチャンネルをＮＨＫに設定します。」
ユーザ ：「少しエアコンの温度下げて。」
現在の問題枠である文脈、テレビの状況表現・因果関係知識に対応付けを試みるが、失敗する。そこで、１つ前の問題枠である文脈のエアコン操作対話の部分、エアコンの状況表現・因果関係知識に対応付けを行なうと、エアコンの因果関係知識に対応付く。これにより「エアコンの設定温度」と分かり、「エアコンの設定温度を下げる。」をコマンドに変換し、出力する。
システム ：「20 度に設定しました。」

5. 結論
意味の位置づけを可能にする意味表現を、情報家電制御の対話インタフェースに適用した。操作対象によるモード切替など無しに、ユーザの自由な発話を柔軟に受理し、理解しながら対話を継続できることを示した。今後の課題としては、音声認識、構文解析と、対話処理の統合（全体の処理の統合によるロバスト化、辞書・文法の統合など）があげられる。また、提案した意味表現および意味解釈処理をＨＰＳＧ[Pollard 87]の枠組みで記述し、さらに確率化してゆくことなども検討したい[斉藤 05]。

参考文献
[池ヶ谷 02] 池ヶ谷, 野口, 鈴木, 伊藤,小西, 近藤, 高木, 中島,
伊藤: 文脈への意味の位置付けに基づくホテル予約対話システムの構築, 人工知能学会研究会資料, SIG-SLUDA202-11, pp.63-70, 2002.
[Pollard 87] Pollard, C., Sag, I. A.: Information-based Syntaxand Semantics, Vol.1: Fundamentals, CSLI, 1987. （郡司訳:HPSG 入門 制約にもとづく統語論と意味論, 1994.）[斉藤 05] 斉藤恒太: 確率的ＨＰＳＧの生成モデルと確率パラメータ学習に関する研究, 東京工業大学大学院修士論文,
2005.
[高木 02] 高木, 中島, 伊東, 近藤, 今仁,三宅: 文脈への意味の位置付けを重視した対話意味表現, 人工知能学会研究会
資料 SIG-SLUD-Ａ202-10, pp.55-62, 2002．
[高木 04] 高木, 麻生, 中島, 伊藤, 小林: 意味の位置付けと依存関係の解釈を考慮した対話意味表現, 情報処理学会研究報告, 2004-SLP-54 (49), pp.289-294, 2004.
[常盤 03] 常盤, 内田, 石井, 高木, 中島,伊藤, 八名: 学生ネット
ワーク構築実験支援対話システム, 人工知能学会全国大会
第 17 回大会, 2G2-01, 2003.
[常盤 04] 常盤, 内田, 樋本, 河野, 高木, 麻生, 中島, 伊藤, 小林,
八名: 依存関係の解釈と概念情報の統合処理, 情報処理学会研究報告, Vol.2004, No.131, 2004-SLP-54 (26), pp.151156, 2004.
[内田 04] 内田, 常盤, 西, 高木, 麻生,橋本, 森, 中島, 伊藤, 小林, 八名: 情報家電の操作のための対話インタフェースの開発, 情報処理学会研究報告, 2004-SLP-54 (45), pp.265270, 2004.

-4-