【事件の表示】
　特願２００２−５６３４５９「多モード入力を使用した多モード・フォーカス検出、参照の曖昧性の解決およびムード分類のためのシステムおよび方法」拒絶査定不服審判事件〔平成１４年　８月１５日国際公開、ＷＯ０２／６３５９９、平成１６年１２月２４日国内公表、特表２００４−５３８５４３〕について、次のとおり審決する。
【結　論】
　本件審判の請求は、成り立たない。
【理　由】
第１．手続の経緯
　本願は、２００２年１月３１日（パリ条約による優先権主張外国庁受理２００１年２月５日、アメリカ合衆国）を国際出願日とする出願であって、平成１８年１０月１０日付けで拒絶理由通知がなされ、平成１９年３月２２日付けで意見書が提出されると共に手続補正がなされ、同年５月７日付けで最後の拒絶理由通知がなされ、同年８月３日付けで意見書が提出されると共に手続補正がなされたが、同年９月２０日付けで同年８月３日付けの手続補正は補正却下の決定がなされると共に同年５月７日付けの最後の拒絶理由通知に記載した理由により拒絶査定がなされた。これに対し、同年１２月２０日に審判請求がなされると共に同日付けで手続補正がなされて前置審査に付され、平成２０年２月７日に審査官より前置報告がなされ、平成２１年１０月１５日付けで当審より審尋がなされ、平成２２年１月６日付けで審尋に対する回答書が提出されたものである。
　
第２．本願発明
　本願の請求項１に係る発明（以下、「本願発明」という。）は、平成１９年１２月２０日付け手続補正により補正された特許請求の範囲に請求項１として記載されたとおりの次のものと認められる。
「多モード会話型コンピューティング・システムであって、該システムが、
　ユーザ・インタフェース・サブシステムを備え、該ユーザ・インタフェース・サブシステムが、該ユーザ・インタフェース・サブシステムが配備されている環境から多モード・データを入力するように構成され、前記多モード・データが第１のモードの入力センサに関連付けられたデータと、少なくとも第２のモードの入力センサに関連付けられたデータとを含み、前記環境が１人またはそれ以上のユーザと前記システムによって制御することができる１つまたはそれ以上の装置とを含み、
　前記システムが、さらに、
　少なくとも１つのプロセッサを備え、該少なくとも１つのプロセッサが前記ユーザ・インタフェース・サブシステムに動作できるように結合され、且つ該少なくとも１つのプロセッサが、（ｉ）前記ユーザ・インタフェース・サブシステムから前記多モード入力データの少なくとも一部を受信し、（ｉｉ）前記受信した多モード入力データの少なくとも一部に基づいて、前記１人またはそれ以上のユーザのうちの少なくとも１人の意図、フォーカスおよびムードのうちの少なくとも１つの判定を行い、および（ｉｉｉ）前記判定された意図、前記判定されたフォーカスおよび前記判定されたムードのうちの少なくとも１つに基づいて、前記環境において１つまたはそれ以上のアクションの実行を起こさせるように構成され、
　前記システムが、さらに、
　前記少なくとも１つのプロセッサに動作できるように結合されているメモリを備え、該メモリが、前記プロセッサによって行われた前記意図、フォーカスおよびムードの判定に夫々関連付けられた結果の少なくとも一部を以降の判定において使用することができるようにするために記憶し、
　前記意図の判定が、前記受信した多モード・データの少なくとも一部に基づいて、指示を行ったユーザが誰であるのかを認識する処理及びどの装置に対する指示であるのかを認識する処理を含む、
　前記多モード会話型コンピューティング・システム。」
　
第３．引用発明
　これに対し、原審の拒絶査定に引用された文献である特開２０００−２３１４２７号公報には、図面と共に以下の事項が記載されている。
（ア）「【特許請求の範囲】
【請求項１】 人間が通常のコミュニケーションにおいて利用するジェスチャや視線，表情，音声などの複数のモダリティを入力として、それらの入力モダリティを統合することで解析結果を出力するマルチモーダル解析装置において、
ユーザのジェスチャや視線などから検出された画像認識信号および対象位置蓄積部が蓄積している対象世界における空間的な知識にもとづいてユーザが空間において注目している情報を検出して、これを空間ベース注目情報信号として出力する空間ベース注目情報検出部と、
ユーザの発話音声などから検出された音声認識信号および対象特性蓄積部が蓄積している対象世界における各対象の機能や特性などの知識にもとづいてユーザが発話内容的に注目している情報を検出し、これをコンテキストベース注目情報信号として出力するコンテキストベース注目情報検出部と、
前記空間ベース注目情報信号と前記コンテキストベース注目情報信号と状態管理部が管理する対象世界に含まれる各対象の現在の状態やシステムとの対話状態とを入力として、ユーザが何に対してどのように注目しているかという情報を検出して、これを注目情報統合信号として出力する注目情報統合部と、
前記注目情報統合信号を入力として、その注目情報統合信号の内容に応じて、前記画像認識信号および音声認識信号をそれぞれ出力する画像認識部および前記音声認識部に対して、フィードバック信号を出力するフィードバック生成部と、
前記注目情報統合信号を入力として、実際に実現可能であれば対象世界において実際に操作を実行し、実現不可能な場合にはユーザに応答を返し、ユーザとシステムとの対話部分を管理する対話制御部と、
該対話制御部で実際に操作を実現する場合に、各対象へのコマンドなどの対象知識を蓄積し管理する対象操作内容蓄積部とを備えていることを特徴とするマルチモーダル情報解析装置。
・・・（中略）・・・
【請求項４】 前記注目情報統合部が、前記空間ベース注目情報検出部から出力される空間ベース注目情報信号および前記コンテキストベース注目情報検出部から出力されるコンテキストベース注目情報信号を入力として、これらの各注目情報信号の有効時間区間に関してこれらの各注目情報信号を統合的に組み合わせて解析すればよいのか、またはこれらのいずれかを単独で解析すればよいのかを検証する時間整合性検証部と、該時間整合性検証部から出力される同期検証フラグ付き空間ベース注目情報信号および同期検証フラグ付きコンテキストベース注目情報信号を入力として、各同期検証フラグの内容と前記状態管理部により管理されている現在の対象世界の構成対象の状態やシステムの対話状態を考慮して、ユーザが対象世界の何に対してどのようなことに注目しているかを検証する知識整合性検証部とを有することを特徴とする請求項１に記載のマルチモーダル情報解析装置。
【請求項５】 前記状態管理部が、対象世界内に含まれる、または対象世界を構成する複数の構成対象に関する現在の状態の逐次読み出し，追加，編集，蓄積，管理を行う対象状態管理部と、ユーザとシステムとの間の対話内容，状態の逐次読み出し，追加，編集，蓄積，管理を行うシステム状態管理部とを有することを特徴とする請求項１に記載のマルチモーダル情報解析装置。」
　
（イ）「【００１８】
【発明の実施の形態】以下に、この発明の実施の形態を図について説明する。図１は、この発明のマルチモーダル情報解析装置を示すブロック図であり、同図において、マルチモーダル情報解析装置は、従来技術にもあるような画像入力部１１と、音声入力部１２と、画像認識部１３と、音声認識部１４と、時間管理部１５と、この発明によるところの注目情報検出部２と、対話管理部３とを備えている。これらのうち、画像入力部１１は、カメラなどの画像入力装置から、ユーザのジェスチャや視線などを入力し、画像信号１０１として出力する機能を有する。また、音声入力部１２は、マイクなどの音声入力装置から、ユーザの発話音声を入力し、音声信号１０２として出力する機能を有する。
【００１９】また、画像認識部１３は、前記画像入力部１１から出力される画像信号１０１が持つ画像の濃淡や色彩の差ならびに変化などを利用することにより、ユーザのジェスチャ，視線，位置などの情報を検出する機能を有する。例えば空間中でユーザがある対象を腕などで直接指示した場合に、空間中での指示位置を特定する方式としては、広く一般に使われている画像認識、パターン認識などの手法を利用することで実現する。また、画像認識の一般的な手法である差分法やしきい値選択による２値化法などを利用することで、予め撮影しておいた空間の画像と現在撮影している画像との差分からユーザの位置を特定し、その位置に応じてカメラの撮影位置、撮影角度などを調整し、パターン認識処理で一般に使われるテンプレートマッチング手法などを利用して、予めテンプレートとして用意しておいた人体形状モデルからユーザの胴体部分と腕部分を識別する。そして、例えば三次元情報を取得する一般的な方法であるステレオ法を利用することにより、複数のカメラ間で識別されたモデルの対応を計算し、三次元の奥行き情報などを取得し、ユーザの腕が空間中のどの領域、位置を指し示しているのかを特定することができる。
【００２０】さらに、画像認識部１３は、この画像認識部１３で処理されたことを示すための情報種別識別子と、検出開始時間と検出終了時間、ならびに検出した空間中でのユーザの指示位置を、例えば予め設定しておいた空間内での領域番号などとして情報内容に記述し、画像認識信号１０３として注目情報検出部２内の空間ベース注目情報検出部２１へ出力する。これにより、ユーザが空間中のどの領域、位置に注目しているのかを検出することができ、実際にユーザが何に対して注目しているのかを知る上での重要な情報源として利用することが可能となる。
【００２１】図２は、画像認識部１３から出力される画像認識信号１０３の記述フォーマットの一例を示している。画像認識信号に関する記述フォーマットは、画像認識部の信号であるか否かを識別するための情報種別識別子と、空間領域番号や指示位置座標などの画像認識結果を示した情報内容と、認識開始時間ならびに認識終了時間などを示した時間情報とから構成されている。また、情報内容に含まれる空間領域番号などは単一であるとは限らず、複数の情報を含んだ形式も取りうる。なお、画像認識信号は、固定長もしくは可変長の信号である。また、画像認識信号内での、情報種別識別子，情報内容，および時間情報の配置は、図２の形に限定されることはなく、どのユーザの情報であるかを示すユーザ識別子などの他の情報が画像認識信号内に含まれる構成にしてもよい。」
　
（ウ）「【００２２】一方、前記音声認識部１４は、前記音声入力部１２から出力される音声信号１０２の振幅，周波数などの状態や変化などを利用することにより、例えばユーザの発話音声を文字コードに変換する機能を有する。ユーザの発話音声を文字コードに変換する方式としては、広く一般に知られている連続音声認識手法を利用して、例えば予め用意しておいた認識用の辞書中に含まれる単語の発音モデルと発話音声による入力モデルとをマッチングさせたり、ある単語が連続して出現する確率を定めたモデルを利用することにより、ユーザの発話音声を文字コードとして出力する。
【００２３】また、音声認識部１４は、この音声認識部１４で処理されたことを示すための情報種別識別子と、認識開始時間ならびに認識終了時間と、発話音声から変換された文字コードを、例えばひとまとまりのテキストとして情報内容に記述し、音声認識信号１０４として注目情報検出部２内のコンテキストベース注目情報検出部２２へと出力する。これにより、ユーザが発話している内容を文字として処理することができ、発話内容的に何に注目しているのかを知る上での重要な情報源として利用することが可能となる。
【００２４】図３は、音声認識部１４から出力される音声認識信号１０４の記述フォーマットの一例を示している。音声認識信号に関する記述フォーマットは、音声認識部の信号であるかを識別するための情報種別識別子と、発話音声から獲得されたテキストなどの認識結果を示した情報内容と、認識開始時間ならびに認識終了時間を示した時間情報とから構成されている。なお、音声認識信号は、固定長もしくは可変長の信号である。また、音声認識信号内での、情報種別識別子、情報内容、および時間情報の配置は、図３の形に限定されることはなく、どのユーザの情報であるかを示すユーザ識別子などの他の情報が音声認識信号内に含まれる構成にしてもよい。」
　
（エ）「【００２５】次に、前記時間管理部１５は、画像認識部１３および音声認識部１４に関する時間情報を一元的に管理し、各認識部１４，１３における認識開始時間，認識終了時間などの時間情報を各認識部１４，１３に対して出力する機能を有する。扱う時間情報としては、絶対時間情報とは限らず、相対的な時間情報などを含んでもよい。また、注目情報検出部２は、空間ベース注目情報検出部２１と、コンテキストベース注目情報検出部２２と、対象位置蓄積部２３と、対象特性蓄積部２４と、注目情報統合部２５と、状態管理部２６と、フィードバック生成部２７とを備えている。
【００２６】図４は、図１に示すマルチモーダル情報統合装置の構成の一部である空間ベース注目情報検出部２１の詳細な構成を示す。空間ベース注目情報検出部２１は、画像認識信号管理部２１１と、注目対象特定部２１２とを備えており、これらのうち画像認識信号管理部２１１は、前記画像認識部１３から出力される画像認識信号１０３を入力として受け取り、この画像認識信号１０３を受け取った時間Ｔに対して一定の時間間隔Ｗを設定し、時間間隔Ｗ内に次の画像認識信号が入力された場合には、これらの画像認識信号をひとまとまりの画像認識信号２１０１として出力する機能を有する。もちろん、時間間隔Ｗ内に他の画像認識信号が入力されない場合には、画像認識信号１０３をそのまま出力することになる。
【００２７】一般に、ユーザが一連の操作の中で対象領域などを指示する場合に、常に単一の領域のみを指示するとは限らない。従来、複数領域を指示する場合を考えると、各領域の指示開始時間、指示終了時間を各々別に管理することになり、それぞれの認識信号は全く別のものとして扱われることになる。しかし、ユーザとシステムとの対話の観点からすれば、複数領域を指示する場合を考えると、各領域の指示開始時間、指示終了時間を各々別に管理するのではなく、各領域の指示時間間隔がある一定時間以内であれば連続で複数の領域を指示しているとし、最初にある領域を指示した時間を指示開始時間、最終的にどこの領域も指し示さない、もしくはある領域を指し示したままの状態が一定時間以上続く場合などを指示終了として、その時間を指示終了時間として管理する方が有効である。
【００２８】例えば最初に入力された画像認識信号の認識開始時間がＴ１であり、時間間隔内に入力された最後の画像認識信号の認識終了時間がＥ２である場合、これらをひとまとまりの画像認識信号として扱い、認識開始時間＝Ｔ１、認識終了時間＝Ｅ２として出力することになる。また、各画像認識信号に記されている領域番号が領域１，領域３，領域４であるとし、入力されてきた順番が領域４，領域３，領域１である場合、情報内容は（領域４，領域３，領域１）のように入力された順序を保存した複数領域の指定という形式で出力することになる。
【００２９】これは、例えば「ここからここまで」などの発話音声の入力があった場合に、どこの領域を指し示していたのか、複数の領域をどういう順番で指し示していたのかさえ分かれば、例えば領域１から領域５までを、順番的には領域５から領域１へ指し示しているというような解析結果を導出することが可能となる。このように、複数の領域指定の際にも、例えば発話音声に含まれる指示語詞の数と空間での指示領域の数とが異なったとしても統合的に解析結果を導出することが可能である。このように、画像認識信号管理部２１１は、複数の領域指定にも対応できるように、画像認識信号１０３が画像認識信号管理部２１１へ入力されてくる時間に対して、一定の時間間隔Ｗを設定する機能を有しており、その時間間隔内に新たに画像認識信号の入力があれば、複数の画像認識信号をひとまとまりの画像認識信号として扱うことが可能である。
【００３０】注目対象特定部２１２は、前記画像認識信号管理部２１１から出力される画像認識信号２１０１を入力として受け取り、画像認識信号２１０１の内容と対象位置蓄積部２３内に蓄積されている対象世界知識を利用して、ユーザが実際に何に注目しているのかを特定する機能を有する。ここで、対象世界知識とは、例えば対象世界内に含まれる、もしくは対象世界を構成する複数の構成対象に関する空間内での絶対位置や相対位置，名称，機能，特性などの知識のことである。
【００３１】これらのうち対象位置蓄積部２３内には、絶対位置や相対位置などの空間的な位置情報が蓄積されている。例えば画像認識信号２１０１からユーザの指示領域番号が１であるという情報が得られたとする。この場合、対象位置蓄積部２３に対して領域番号１に存在している対象が何であるのかを問い合わせ、例えば領域番号１の中に存在している対象“テレビ”が検出されたとする。これにより、ユーザが実際の対象世界の何に対して注目しているのかを推定することができ、注目情報内容の対象識別子に“テレビ”というように記述することが可能となる。また、注目対象特定部２１２は、ユーザが実際に何に注目しているのかを特定した後に、情報源が画像認識部１３であることを示す情報種別識別子と、認識時の開始時間と終了時間、注目している対象の識別子を含んだ注目情報内容とを記述し、空間ベース注目情報信号２０１として注目情報統合部２５内の時間整合性検証部２５１へと出力する。
【００３２】図５は、空間ベース注目情報検出部２１から出力される空間ベース注目情報信号２０１、コンテキストベース注目情報検出部２２内の注目内容特定部２２２から出力されるコンテキストベース注目情報信号２０２の各記述フォーマットの一例を示している。各注目情報信号は、情報源がどの認識部であるのかを示す情報種別識別子と、認識部での認識開始時間および終了時間、ユーザが実際に対象世界中の何にどのような注目をしているのかを示す注目情報内容とから構成される。なお、各注目情報信号は、固定長もしくは可変長の信号である。また、各注目情報信号内の、情報種別識別子、認識開始時間および終了時間、ならびに注目情報内容の配置は、図５に限定されることなくどのユーザの情報であるかを示すユーザ識別子など他の情報が注目情報信号内に含まれる構成にしてもよい。
【００３３】図６は、図５の記述フォーマット内に示されている注目情報内容の記述フォーマットの一例を示したものである。注目情報内容は、ユーザが注目している対象である、人や対象物体などの識別子である対象識別子と、ユーザの要求している操作がどのようなものであるのかを示す操作内容識別子、および、操作に伴い何を要求しているのかを示す要求内容識別子から構成される。例えば注目対象が人物Ａであり、その人物Ａの名前を問い合わせしたい場合には、（人物Ａ，問い合わせ，名前）などと記述することになる。なお、注目情報内容は、固定長もしくは可変長である。また、注目情報内容内の、対象識別子，操作内容識別子，要求内容識別子の配置は、図６に限定されることなく、どのユーザの情報であるのかを示すユーザ識別子、操作に伴い必要となる関連人物、対象の識別子など他の情報が注目情報内容内に含まれる構成としてもよい。
【００３４】対象位置蓄積部２３は、対象世界知識の中でも各対象の絶対位置情報や相対位置情報などに関する知識の逐次読み出し，追加，編集，蓄積，管理などの機能を有する。図７は、対象位置蓄積部２３内に蓄積されている対象世界知識の一例を示す図である。この例では、例えばテレビが領域１内に存在しており、しかも、台の上に位置しているということが理解できる。その他にも、領域１にどのような対象が存在しているのか、対象空間内のどこに位置しているのかなどの情報を知ることができる。対象位置蓄積部２３に記述されている対象世界の知識は、予め作成しておいたものを利用すると限定されるものではない。例えば対象とする空間をカメラなどの画像入力装置を利用して撮影し、空間内に含まれる構成要素を画像認識で検出した後に、各構成要素にラベリングをし、各対象毎に獲得される位置情報とラベリングされた対象とを組として管理するなどの方法でも対象位置蓄積部２３内に記述する知識を獲得できる。」
　
（オ）「【００３５】図８は、図１に示すマルチモーダル情報統合装置の構成の一部であるコンテキストベース注目情報検出部２２の詳細な構成を示す。このコンテキストベース注目情報検出部２２は、言語解析部２２１と、注目内容特定部２２２とを備え、これらのうち、言語解析部２２１は、前記音声認識部１４から出力される音声認識信号１０４を入力として受け付け、形態素解析や構文解析など各種の言語処理を施すことによって、音声認識信号中に含まれる、発話音声から取得されたテキストから、各構成単語を抜き出したり、各単語の品詞情報を特定したり、構文情報を解析するなどにより、テキストの意味内容を特定する機能を有する。この言語解析部２２１は、例えば情報源が音声認識部１４であることを示す情報種別識別子と、認識開始時間と終了時間、そして言語解析内容の情報、例えば入力されたテキストを単語毎に区切り、各単語に関する読み、品詞情報などを記述した言語解析信号２２０１として出力する。
【００３６】注目内容特定部２２は、言語解析部２１から出力される言語解析信号２２０１を入力として受け付け、対象特性蓄積部２４に蓄積されている対象世界の知識を基にして、ユーザが実際にどのようなことに対して注目しているのかを特定する機能を有する。例えば「これつけて」というテキストに関する言語解析結果が入力された場合には、“これ：指示代名詞”、“つける：動詞”などの情報が言語解析信号２２０１から得られる。この場合、対象特性蓄積部２４の中に、“つける”という特性を有している対象があるかどうかを問い合わせし、例えば“つける”という特性を有している対象“テレビ”が検出されたとする。これにより、ユーザが実際の対象世界のどのようなことに注目しているのかを推定することができ、注目情報内容として（テレビ，電源，つける）といった形で記述することが可能となる。
【００３７】さらに、この注目内容特定部２２２は、ユーザが実際にどのような内容に注目しているのかを特定した後に、情報源が音声認識部１４であることを示す情報種別識別子と、認識開始時間と終了時間、注目している内容を記述した注目情報内容とを記述し、コンテキストベース注目情報信号２０２として注目情報統合部２５内の後述の時間整合性検証部２５１へと出力する。ここで、前記対象特性蓄積部２４は、対象世界知識の中でも各対象の名称や機能，特性などに関する知識の逐次読み出し，追加，編集，蓄積，管理などの機能を有する。図９は、対象特性蓄積部２４内に蓄積されている対象世界知識の一例を示す図である。この例では、例えばビデオはテープという特性に関して、再生したり、巻き戻ししたり、停止したり、録画したりするなどの各種の特性値を利用して操作することが可能であるということを知ることができる。また、ビデオの出力先としては、テレビやプロジェクタなどの外部出力先が用意されているなどの情報も知ることができる。
【００３８】また、この対象特性蓄積部２４に記述されている対象世界の知識は、予め作成しておいたものを利用すると限定されるものではない。例えば物流倉庫などで各対象に固有の有線もしくは無線により通信可能な管理タグが貼り付けられているとした場合に、その管理タグから発信される有線もしくは無線の信号から、各対象の名称，機能，特性などの情報を抽出し、自動的に対象特性蓄積部２４内の知識を構成することも可能である。」
　
（カ）「【００３９】図１０は、図１に示すマルチモーダル情報統合装置の構成の一部である注目情報統合部２５の詳細な構成を示す。この注目情報統合部２５は、時間整合性検証部２５１と、知識整合性検証部２５２とを備え、これらのうち、時間整合性検証部２５１は、前記空間ベース注目情報検出部２１から出力される空間ベース注目情報信号２０１、および前記コンテキストベース注目情報検出部２２から出力されるコンテキストベース注目情報信号２０２を入力として受け付け、どの注目情報信号を統合的に組み合わせて解析すればよいのか、もしくはある注目情報信号を単独で解析した方がよいのかなどを検証する。
【００４０】例えば空間ベース注目情報信号２０１内に記述されている画像認識部１３での認識開始時間がＴ１、認識終了時間がＥ１であり、他の注目情報信号を待ち受けるために設定する時間枠がＷ１であるとする。ここで、時間Ａと時間Ｂとの間の時間的な区間を［Ａ、Ｂ］と表現すると、時間枠Ｗ１を含んだ時間区間は［Ｔ１、Ｅ１＋Ｗ１］と表現することができる。ここでいう時間枠とは、ある注目情報信号に記されている認識終了時間に加算する形で設定されるものであり、各認識部での認識処理の負荷の違いによる時間ずれを解消したり、各認識部の特性の差、注目情報検出部での処理時間の差を吸収する役割を持っている。この時間枠は、各注目情報信号に応じて自由に設定することが可能である。
【００４１】また、コンテキストベース注目情報信号２０２内に記述されている音声認識部１４での認識開始時間がＴ２、認識終了時間がＥ２であり、時間枠がＷ２である場合には、空間ベース注目情報信号２０１の有効時間区間［Ｔ１、Ｅ１＋Ｗ１］と、コンテキストベース注目情報信号２０２の有効時間区間［Ｔ２、Ｅ２＋Ｗ２］との間で、互いに重複している時間があれば、空間ベース注目情報信号２０１とコンテキストベース注目情報信号２０２とを組み合わせて統合的に解析する必要があると判断し、両注目情報信号の結果が時間的な観点から統合的に解析されるべきであることを示すための、同期検証フラグ、例えば（空間＝１、コンテキスト＝１）を空間ベース注目情報信号２０１ならびにコンテキストベース注目情報信号２０２に付加して、同期検証フラグ付き空間ベース注目情報信号２５０１として、同時に、同期検証フラグ付きコンテキストベース注目情報信号２５０２として、知識整合性検証部２５２へと出力する機能を有する。逆に、両注目情報信号の各有効時間が重複しない場合には、それぞれ単独で解析すべきであることを示す同期検証フラグ、例えば（空間＝１、コンテキスト＝０）もしくは（空間＝０、コンテキスト＝１）を各注目情報信号に付加して出力すればよい。
【００４２】図１１は、注目情報統合部２５内の時間整合性検証部２５１から出力される同期検証フラグ付き注目情報信号の記述フォーマットの一例を示したものである。同期検証フラグ付き注目情報信号は、どの注目情報検出部からの信号であるのかを示す情報種別識別子と、情報内容と、同期検証フラグとから構成される。なお、同期検証フラグ付き注目情報信号は、固定長もしくは可変長の信号である。また、同期検証フラグ付き注目情報信号内の、情報種別識別子，情報内容，同期検証フラグの配置は、図１１に限定されることなくユーザ識別子や各注目情報信号の受付時間など他の情報が同期検証フラグ付き注目情報信号内に含まれる構成としてもよい。
【００４３】ここで、同期検証フラグとは、複数の入力モダリティを統合的に解析する場合に、時間的な整合性の観点から、どの入力モダリティ間，どのモジュール間での情報を統合した上で解析すべきなのか、もしくは単独の入力モダリティ，モジュールで解析するべきなのかなどを示すためのフラグである。例えば統合すべきモジュールの組が空間ベース注目情報検出部とコンテキストベース注目情報検出部であった場合には、前記のように（空間＝１、コンテキスト＝１）などと記述し、空間ベース注目情報検出部のみの場合には、（空間＝１、コンテキスト＝０）などと記述することとする。これにより、最終的な解析の際に、複数モダリティ、モジュールを統合した上で解析を実現するのか、それとも単独モダリティ、モジュールで解析することが可能なのかを知ることが可能となる。
【００４４】知識整合性検証部２５２は、前記時間整合性検証部２５１から出力される同期検証フラグ付き空間ベース注目情報信号２５０１、および同期検証フラグ付きコンテキストベース注目情報信号２５０２を入力として受け付け、同期検証フラグの内容と状態管理部２６によって管理されている現在の対象世界の構成対象の状態やシステムとの対話状態を考慮に入れた上で、ユーザが対象世界の何に対してどのようなことを注目しているのかを特定する機能を有する。例えば同期検証フラグが（空間＝１、コンテキスト＝１）であれば、空間ベースの注目情報とコンテキストベースの注目情報の両者を統合して解析する必要があり、同期検証フラグ付き空間ベース注目情報信号２５０１内の注目情報内容の対象識別子が“プロジェクタ”で、同期検証フラグ付きコンテキストベース注目情報信号２５０２内の注目情報内容が（ビデオ，再生，テープ）であったとする。また、対象世界中には、ビデオの出力先として、テレビとプロジェクタが用意されており、ビデオの再生をどちらに出力すればいいのか分からないということがあり得る。
【００４５】しかし、同期検証フラグ付き空間ベース注目情報信号２５０１から“プロジェクタ”に出力すればいいということを検出することができる。これにより、（（ビデオ，再生，テープ）→プロジェクタ）といったように、ビデオを再生してプロジェクタに出力するというユーザの注目情報を特定することが可能となる。また、知識整合性検証部２５２は、ビデオを再生にしてプロジェクタに出力するというユーザの要求に対しては、状態管理部２６にビデオの電源がついているのかなどを問い合わせる。ここで、ビデオの電源がついていれば、（ビデオ，電源，つける）という作業を省略することも可能となってくる。ビデオの電源が入っていない状態であれば、（ビデオ，電源，つける），（（ビデオ，再生，テープ）→プロジェクタ）という流れで実際の操作を実現すればよいことになる。しかし、ビデオの電源がついているという状態が分かっているのであるから、（（ビデオ，再生，テープ）→プロジェクタ）という情報のみでユーザの要求を満たすことが可能となる。これにより、不必要な操作を省くことなどができるようになり、現在の状態を利用することでユーザに対してより効率的に応答することができ、ユーザにとっては操作感覚の向上を実現することが可能となる。また、注目情報統合部２５は、例えば前記注目情報内容に最終的な出力先を付加した形で記述したものを、注目情報統合信号２０３としてフィードバック生成部２７へ出力し、注目情報特定信号２０３と同一の信号２０４を対話管理部３へと出力する。」
　
（キ）「【００４６】図１２は、図１に示すマルチモーダル情報統合装置の状態管理部２６の詳細な構成を示す。この状態管理部２６は、対象状態管理部２６１とシステム状態管理部２６２とを備えており、これらのうち対象状態管理部２６１は、対象世界内に含まれる、もしくは対象世界を構成する複数の構成対象に関する現在の状態の逐次読み出し，追加，編集，蓄積，管理などの機能を有する。例えばある部屋に人物Ｂ，テレビ，ビデオという対象が存在している場合には、人物Ｂがどのような操作をしているのか、テレビはついているのか、ビデオは再生状態にあるのかなどの状態を管理し、それらの状態を逐次読み出して利用したり、蓄積，管理することなどが可能である。
【００４７】一方、システム状態管理部２６２は、ユーザとシステム間での対話内容や状態の逐次読み出し，追加，編集，蓄積，管理などの機能を有する。例えばシステムとの対話の中で、“つける”という要求内容だけをシステム側が把握しており、実際に“つける”に対応する対象が何であるかが分からない状態であるというような現在のシステム状態を管理し、それらの状態を逐次読み出して利用したり、蓄積，管理することなどが可能である。これにより、例えばユーザから「何歳？」という問い合わせがあり、要求内容は分かっているが、対象が何であるのか不定であるという状況が起こった場合には、発話音声で「Ａさん」と答えるか、もしくは腕などで直接Ａさんを指示することで対象を絞りこむことを可能とすることができる。逆に、不定な状態でなければ、腕などによる直接指示では最終的な絞り込みを行わず、発話音声による操作内容、要求内容の入力に付随する形でしか直接指示を利用しないように設定することなどが可能である。これにより、現在の状態に応じた各入力モダリティの重み付けによる入力モダリティの統合を実現することができ、ユーザにとって自然な感覚での操作を実現することが可能となる。」
　
（ク）「【００４９】例えばユーザがある領域を腕などで直接指示して、その領域内に含まれる対象がテレビであったとする。この場合、注目情報統合信号２０３内に記される注目情報内容としては、例えば（テレビ，操作内容不明，要求内容不明）などと記されることになる。この注目情報内容から、音声認識部１４に対して、例えば、テレビという単語やテレビという単語を含む文章、またテレビに関する特性である電源をつけるなどの単語やそれらの単語が含まれる文章に関して、通常の認識時よりも認識する際の採択率を上げるなどの設定をするように音声認識フィードバック信号１０６を出力することが可能となる。また、ビデオがテレビに接続されていれば、ビデオという単語やビデオという単語を含む文章、ビデオに関する特性であるテープを再生するなどの単語やそれらの単語が含まれる文章などの採択率を上げて認識を安定させるようにも設定することが可能となる。
【００５０】他にも、例えばユーザが「何歳なの？」という発話音声による問い合わせをした場合、注目情報内容として、例えば（対象不明，問い合わせ，年齢）などと記されることになる。この注目情報内容から、画像認識部１３に対して、例えば年齢を問い合わせする対象としては人物が有力候補になるという対象特性蓄積部２４内の知識を利用して、対象位置蓄積部２３内の対象候補から予め認識対象や認識領域を絞り込むような画像認識フィードバック信号１０５を出力することで、認識誤りの可能性を減少させ認識を安定させるといったことも可能となる。これにより、場面に応じたフィードバックを認識部にかけることが可能となり、ユーザとシステムとの対話をより円滑に、かつ、安定に進めることが可能となる。対話管理部３は、対話制御部３１と、対話操作内容蓄積部３２とを備えている。」
　
（ケ）【図１】
「この発明の実施の一形態によるマルチモーダル情報解析装置を示すブロック図である。」との説明の下に、「注目情報検出部」内に「状態管理部」があることが読み取れる。
　
（ａ）上記（ア）の「【請求項１】 人間が通常のコミュニケーションにおいて利用するジェスチャや視線，表情，音声などの複数のモダリティを入力として、それらの入力モダリティを統合することで解析結果を出力するマルチモーダル解析装置において、・・・（中略）・・・実際に実現可能であれば対象世界において実際に操作を実行し、実現不可能な場合にはユーザに応答を返し、ユーザとシステムとの対話部分を管理する対話制御部と、・・・（中略）・・・を備えていることを特徴とするマルチモーダル情報解析装置。」との記載から、引用文献１には、
　ユーザと対話するマルチモーダル情報解析装置
が記載されたものと認められる。
　
（ｂ）上記（イ）の「【００１８】
【発明の実施の形態】以下に、この発明の実施の形態を図について説明する。図１は、この発明のマルチモーダル情報解析装置を示すブロック図であり、同図において、マルチモーダル情報解析装置は、従来技術にもあるような画像入力部１１と、音声入力部１２と、画像認識部１３と、音声認識部１４と、時間管理部１５と、この発明によるところの注目情報検出部２と、対話管理部３とを備えている。これらのうち、画像入力部１１は、カメラなどの画像入力装置から、ユーザのジェスチャや視線などを入力し、画像信号１０１として出力する機能を有する。また、音声入力部１２は、マイクなどの音声入力装置から、ユーザの発話音声を入力し、音声信号１０２として出力する機能を有する。」との記載から、引用文献１に記載されたマルチモーダル情報解析装置は、
　画像入力装置からユーザのジェスチャや視線などを入力し、画像信号として出力する画像入力部を有すると共に、さらに、
　音声入力装置からユーザの発話音声を入力し、音声信号として出力する音声入力部
を有するものと認められる。
　さらに、上記（キ）の
「【００４６】図１２は、図１に示すマルチモーダル情報統合装置の状態管理部２６の詳細な構成を示す。この状態管理部２６は、対象状態管理部２６１とシステム状態管理部２６２とを備えており、これらのうち対象状態管理部２６１は、対象世界内に含まれる、もしくは対象世界を構成する複数の構成対象に関する現在の状態の逐次読み出し，追加，編集，蓄積，管理などの機能を有する。例えばある部屋に人物Ｂ，テレビ，ビデオという対象が存在している場合には、人物Ｂがどのような操作をしているのか、テレビはついているのか、ビデオは再生状態にあるのかなどの状態を管理し、それらの状態を逐次読み出して利用したり、蓄積，管理することなどが可能である。」との記載から、人物Ｂ、テレビ、ビデオが複数の構成対象として対象世界に含まれることが読み取れるが、当該記載における「人物Ｂ」とは、上記（イ）の記載における「ユーザ」に他ならず、また、上記（ア）の「該対話制御部で実際に操作を実現する場合に、各対象へのコマンドなどの対象知識を蓄積し管理する対象操作内容蓄積部とを備えていることを特徴とするマルチモーダル情報解析装置。」との記載を併せると、対象である「テレビ」や「ビデオ」はいずれもマルチモーダル情報解析装置によって操作することができると解される。
　よって、引用文献１に記載のマルチモーダル情報解析装置は、
　音声入力装置から対象世界に含まれるユーザの発話音声を入力し、音声信号として出力する音声入力部と、
　画像入力装置から対象世界に含まれるユーザのジェスチャや視線などを入力し、画像信号として出力する画像入力部とを有すると共に、
　前記対象世界は、ユーザと、いずれも前記マルチモーダル情報解析装置によって操作することができるテレビ及びビデオとを含むものである
ことが記載されたものと認められる。
　
（ｃ）上記（ア）の「ユーザの発話音声などから検出された音声認識信号および対象特性蓄積部が蓄積している対象世界における各対象の機能や特性などの知識にもとづいてユーザが発話内容的に注目している情報を検出し、これをコンテキストベース注目情報信号として出力するコンテキストベース注目情報検出部」との記載において、「ユーザの発話音声などから検出された音声認識信号」とは、上記（ウ）の
「【００２２】一方、前記音声認識部１４は、前記音声入力部１２から出力される音声信号１０２の振幅，周波数などの状態や変化などを利用することにより、例えばユーザの発話音声を文字コードに変換する機能を有する。
・・・（中略）・・・
【００２３】また、音声認識部１４は、この音声認識部１４で処理されたことを示すための情報種別識別子と、認識開始時間ならびに認識終了時間と、発話音声から変換された文字コードを、例えばひとまとまりのテキストとして情報内容に記述し、音声認識信号１０４として注目情報検出部２内のコンテキストベース注目情報検出部２２へと出力する。これにより、ユーザが発話している内容を文字として処理することができ、発話内容的に何に注目しているのかを知る上での重要な情報源として利用することが可能となる。」との記載と併せると、音声入力部から出力される音声信号を音声認識部で処理したものであると解されるから、引用文献１に記載のマルチモーダル情報解析装置は、
　音声入力部から出力される音声信号を音声認識部で処理した音声認識信号及び対話特性蓄積部が蓄積している対象世界における各対象の機能や特性などの知識にもとづいてユーザが発話内容的に注目している情報を検出し、これをコンテキストベース注目情報信号として出力するコンテキストベース注目情報検出部
を備えることが記載されていると認められる。
　
（ｄ）上記（ア）の「ユーザのジェスチャや視線などから検出された画像認識信号および対象位置蓄積部が蓄積している対象世界における空間的な知識にもとづいてユーザが空間において注目している情報を検出して、これを空間ベース注目情報信号として出力する空間ベース注目情報検出部」との記載において、「ユーザのジェスチャや視線などから検出された画像認識信号」とは、上記（イ）の「【００１９】また、画像認識部１３は、前記画像入力部１１から出力される画像信号１０１が持つ画像の濃淡や色彩の差ならびに変化などを利用することにより、ユーザのジェスチャ，視線，位置などの情報を検出する機能を有する。
・・・（中略）・・・
【００２０】さらに、画像認識部１３は、この画像認識部１３で処理されたことを示すための情報種別識別子と、検出開始時間と検出終了時間、ならびに検出した空間中でのユーザの指示位置を、例えば予め設定しておいた空間内での領域番号などとして情報内容に記述し、画像認識信号１０３として注目情報検出部２内の空間ベース注目情報検出部２１へ出力する。これにより、ユーザが空間中のどの領域、位置に注目しているのかを検出することができ、実際にユーザが何に対して注目しているのかを知る上での重要な情報源として利用することが可能となる。」との記載と併せると、画像入力部から出力される画像信号から画像認識部が検出するものと解されるから、引用文献１に記載のマルチモーダル情報解析装置は、
　画像入力部から出力される画像信号から画像認識部で検出された画像識別信号及び対象位置蓄積部が蓄積している対象世界における空間的な知識にもとづいてユーザが空間において注目している情報を検出して、これを空間ベース注目情報信号として出力する空間ベース注目情報検出部
を備えることが記載されていると認められる。
　
（ｅ）上記（ア）の
「前記空間ベース注目情報信号と前記コンテキストベース注目情報信号と状態管理部が管理する対象世界に含まれる各対象の現在の状態やシステムとの対話状態とを入力として、ユーザが何に対してどのように注目しているかという情報を検出して、これを注目情報統合信号として出力する注目情報統合部」との記載、及び、上記（ア）の
「【請求項４】 前記注目情報統合部が、前記空間ベース注目情報検出部から出力される空間ベース注目情報信号および前記コンテキストベース注目情報検出部から出力されるコンテキストベース注目情報信号を入力として、これらの各注目情報信号の有効時間区間に関してこれらの各注目情報信号を統合的に組み合わせて解析すればよいのか、またはこれらのいずれかを単独で解析すればよいのかを検証する時間整合性検証部と、該時間整合性検証部から出力される同期検証フラグ付き空間ベース注目情報信号および同期検証フラグ付きコンテキストベース注目情報信号を入力として、各同期検証フラグの内容と前記状態管理部により管理されている現在の対象世界の構成対象の状態やシステムの対話状態を考慮して、ユーザが対象世界の何に対してどのようなことに注目しているかを検証する知識整合性検証部とを有することを特徴とする請求項１に記載のマルチモーダル情報解析装置。」との記載を併せると、引用文献１に記載のマルチモーダル情報解析装置は、
　空間ベース注目情報信号とコンテキストベース注目情報信号とを入力し、状態管理部により管理されている現在の対象世界の構成対象の状態やシステムの対話状態を考慮して各注目情報信号を統合的に組み合わせて解析あるいは単独で解析し、ユーザが対象世界の何に対してどのようなことに注目しているかという情報を検出して注目情報統合信号として出力する注目情報統合部
を備えているものと解される。
　そして、注目情報統合部において検出される「ユーザが対象世界の何に対してどのようなことに注目しているかという情報」とは、上記（エ）の
「【００３２】図５は、空間ベース注目情報検出部２１から出力される空間ベース注目情報信号２０１、コンテキストベース注目情報検出部２２内の注目内容特定部２２２から出力されるコンテキストベース注目情報信号２０２の各記述フォーマットの一例を示している。各注目情報信号は、情報源がどの認識部であるのかを示す情報種別識別子と、認識部での認識開始時間および終了時間、ユーザが実際に対象世界中の何にどのような注目をしているのかを示す注目情報内容とから構成される。なお、各注目情報信号は、固定長もしくは可変長の信号である。また、各注目情報信号内の、情報種別識別子、認識開始時間および終了時間、ならびに注目情報内容の配置は、図５に限定されることなくどのユーザの情報であるかを示すユーザ識別子など他の情報が注目情報信号内に含まれる構成にしてもよい。
【００３３】図６は、図５の記述フォーマット内に示されている注目情報内容の記述フォーマットの一例を示したものである。注目情報内容は、ユーザが注目している対象である、人や対象物体などの識別子である対象識別子と、ユーザの要求している操作がどのようなものであるのかを示す操作内容識別子、および、操作に伴い何を要求しているのかを示す要求内容識別子から構成される。例えば注目対象が人物Ａであり、その人物Ａの名前を問い合わせしたい場合には、（人物Ａ，問い合わせ，名前）などと記述することになる。なお、注目情報内容は、固定長もしくは可変長である。また、注目情報内容内の、対象識別子，操作内容識別子，要求内容識別子の配置は、図６に限定されることなく、どのユーザの情報であるのかを示すユーザ識別子、操作に伴い必要となる関連人物、対象の識別子など他の情報が注目情報内容内に含まれる構成としてもよい。」との記載を併せると、注目情報内容によって示される情報すなわち、ユーザが注目している対象である、人や対象物体などの識別子である対象識別子と、ユーザの要求している操作がどのようなものであるのかを示す操作内容識別子、及び、操作に伴い何を要求しているのかを示す要求内容識別子、どのユーザの情報であるのかを示すユーザ識別子等で示される情報と解されると共に、出力される「注目情報統合信号」とは、上記（カ）の
「【００４５】・・・（中略）・・・また、注目情報統合部２５は、例えば前記注目情報内容に最終的な出力先を付加した形で記述したものを、注目情報統合信号２０３としてフィードバック生成部２７へ出力し、注目情報特定信号２０３と同一の信号２０４を対話管理部３へと出力する。」との記載からみて、当該注目情報内容を含む情報であると解される。
　よって、引用文献１に記載のマルチモーダル情報解析装置は、
　空間ベース注目情報信号とコンテキストベース注目情報信号とを入力し、状態管理部により管理されている現在の対象世界の構成対象の状態やシステムの対話状態を考慮して各注目情報信号を統合的に組み合わせて解析あるいは単独で解析し、ユーザが注目している対象である、人や対象物体などの識別子である対象識別子と、ユーザの要求している操作がどのようなものであるのかを示す操作内容識別子、及び、操作に伴い何を要求しているのかを示す要求内容識別子、どのユーザの情報であるのかを示すユーザ識別子等を含む注目情報内容を含んだ注目情報統合信号を出力する注目情報統合部
を含むものであることが記載されたものと認められる。
　
（ｆ）上記（ア）の「前記注目情報統合信号を入力として、実際に実現可能であれば対象世界において実際に操作を実行し、実現不可能な場合にはユーザに応答を返し、ユーザとシステムとの対話部分を管理する対話制御部」との記載から、引用文献１に記載のマルチモーダル情報解析装置は、
　前記注目情報統合信号を入力として、対象世界において実際に操作を実行する対話制御部
を有するものと認められる。
　
（ｇ）上記（ケ）の【図１】から、引用文献１に記載のマルチモーダル情報解析装置は、状態管理部を有することが読み取れると共に、上記（ア）の
「【請求項５】 前記状態管理部が、対象世界内に含まれる、または対象世界を構成する複数の構成対象に関する現在の状態の逐次読み出し，追加，編集，蓄積，管理を行う対象状態管理部と、ユーザとシステムとの間の対話内容，状態の逐次読み出し，追加，編集，蓄積，管理を行うシステム状態管理部とを有することを特徴とする請求項１に記載のマルチモーダル情報解析装置。」との記載から、当該状態管理部は、ユーザとシステムとの対話内容、状態の逐次読み出し、追加、編集、蓄積、管理を行うものであることが読み取れる。
　さらに、上記（ア）の
「【請求項４】 前記注目情報統合部が、前記空間ベース注目情報検出部から出力される空間ベース注目情報信号および前記コンテキストベース注目情報検出部から出力されるコンテキストベース注目情報信号を入力として、これらの各注目情報信号の有効時間区間に関してこれらの各注目情報信号を統合的に組み合わせて解析すればよいのか、またはこれらのいずれかを単独で解析すればよいのかを検証する時間整合性検証部と、該時間整合性検証部から出力される同期検証フラグ付き空間ベース注目情報信号および同期検証フラグ付きコンテキストベース注目情報信号を入力として、各同期検証フラグの内容と前記状態管理部により管理されている現在の対象世界の構成対象の状態やシステムの対話状態を考慮して、ユーザが対象世界の何に対してどのようなことに注目しているかを検証する知識整合性検証部とを有することを特徴とする請求項１に記載のマルチモーダル情報解析装置。」と、上記（カ）の
「【００４４】知識整合性検証部２５２は、前記時間整合性検証部２５１から出力される同期検証フラグ付き空間ベース注目情報信号２５０１、および同期検証フラグ付きコンテキストベース注目情報信号２５０２を入力として受け付け、同期検証フラグの内容と状態管理部２６によって管理されている現在の対象世界の構成対象の状態やシステムとの対話状態を考慮に入れた上で、ユーザが対象世界の何に対してどのようなことを注目しているのかを特定する機能を有する。例えば同期検証フラグが（空間＝１、コンテキスト＝１）であれば、空間ベースの注目情報とコンテキストベースの注目情報の両者を統合して解析する必要があり、同期検証フラグ付き空間ベース注目情報信号２５０１内の注目情報内容の対象識別子が“プロジェクタ”で、同期検証フラグ付きコンテキストベース注目情報信号２５０２内の注目情報内容が（ビデオ，再生，テープ）であったとする。また、対象世界中には、ビデオの出力先として、テレビとプロジェクタが用意されており、ビデオの再生をどちらに出力すればいいのか分からないということがあり得る。」との記載からは、当該状態管理部が管理するユーザとシステムとの対話状態（対話内容と状態）は注目情報統合部での処理に使用される状態情報であることも読み取れる。
　加えて、上記（キ）の
「【００４７】一方、システム状態管理部２６２は、ユーザとシステム間での対話内容や状態の逐次読み出し，追加，編集，蓄積，管理などの機能を有する。例えばシステムとの対話の中で、“つける”という要求内容だけをシステム側が把握しており、実際に“つける”に対応する対象が何であるかが分からない状態であるというような現在のシステム状態を管理し、それらの状態を逐次読み出して利用したり、蓄積，管理することなどが可能である。これにより、例えばユーザから「何歳？」という問い合わせがあり、要求内容は分かっているが、対象が何であるのか不定であるという状況が起こった場合には、発話音声で「Ａさん」と答えるか、もしくは腕などで直接Ａさんを指示することで対象を絞りこむことを可能とすることができる。逆に、不定な状態でなければ、腕などによる直接指示では最終的な絞り込みを行わず、発話音声による操作内容、要求内容の入力に付随する形でしか直接指示を利用しないように設定することなどが可能である。これにより、現在の状態に応じた各入力モダリティの重み付けによる入力モダリティの統合を実現することができ、ユーザにとって自然な感覚での操作を実現することが可能となる。」との記載から、当該状態管理部が管理するユーザとシステムとの対話状態とは、「システムとの対話の中で、”つける”という要求内容だけをシステム側が把握しており、実際に”つける”に対応する対象が何であるかが分からない状態」あるいは「ユーザから「何歳？」という問い合わせがあり、要求内容は分かっているが、対象が何であるのか不定であるという状況」であると把握されるが、「システムとの対話の中で、“つける”という要求内容だけをシステム側が把握しており、実際に“つける”に対応する対象が何であるかが分からない状態」あるいは「ユーザから「何歳？」という問い合わせがあり、要求内容は分かっているが、対象が何であるのか不定であるという状況」とは、上記（ク）の
「【００４９】例えばユーザがある領域を腕などで直接指示して、その領域内に含まれる対象がテレビであったとする。この場合、注目情報統合信号２０３内に記される注目情報内容としては、例えば（テレビ，操作内容不明，要求内容不明）などと記されることになる。
・・・（中略）・・・
【００５０】他にも、例えばユーザが「何歳なの？」という発話音声による問い合わせをした場合、注目情報内容として、例えば（対象不明，問い合わせ，年齢）などと記されることになる。」との記載を併せると、注目情報統合部が出力する注目情報統合信号が含む注目情報内容として表現することができるものと解されるから、当該状態管理部が管理するユーザとシステムとの対話状態は、注目情報統合部が出力する注目情報統合信号が含む注目情報内容により表現し得る状態情報でもあると解される。
　よって、引用文献１に記載されたマルチモーダル情報解析装置は、
　注目情報統合部での処理に使用される状態情報であって、注目情報統合部が出力する注目情報統合信号が含む注目情報内容により表現し得る状態情報でもある、ユーザとシステムとの対話状態の逐次読み出し、追加、編集、蓄積、管理を行う状態管理部を含む
ことが記載されたものと認められる。
　
（ｈ）上記（カ）の「【００３９】図１０は、図１に示すマルチモーダル情報統合装置の構成の一部である注目情報統合部２５の詳細な構成を示す。この注目情報統合部２５は、時間整合性検証部２５１と、知識整合性検証部２５２とを備え、これらのうち、時間整合性検証部２５１は、前記空間ベース注目情報検出部２１から出力される空間ベース注目情報信号２０１、および前記コンテキストベース注目情報検出部２２から出力されるコンテキストベース注目情報信号２０２を入力として受け付け、どの注目情報信号を統合的に組み合わせて解析すればよいのか、もしくはある注目情報信号を単独で解析した方がよいのかなどを検証する。
・・・（中略）・・・
【００４４】知識整合性検証部２５２は、前記時間整合性検証部２５１から出力される同期検証フラグ付き空間ベース注目情報信号２５０１、および同期検証フラグ付きコンテキストベース注目情報信号２５０２を入力として受け付け、同期検証フラグの内容と状態管理部２６によって管理されている現在の対象世界の構成対象の状態やシステムとの対話状態を考慮に入れた上で、ユーザが対象世界の何に対してどのようなことを注目しているのかを特定する機能を有する。例えば同期検証フラグが（空間＝１、コンテキスト＝１）であれば、空間ベースの注目情報とコンテキストベースの注目情報の両者を統合して解析する必要があり、同期検証フラグ付き空間ベース注目情報信号２５０１内の注目情報内容の対象識別子が“プロジェクタ”で、同期検証フラグ付きコンテキストベース注目情報信号２５０２内の注目情報内容が（ビデオ，再生，テープ）であったとする。また、対象世界中には、ビデオの出力先として、テレビとプロジェクタが用意されており、ビデオの再生をどちらに出力すればいいのか分からないということがあり得る。
【００４５】しかし、同期検証フラグ付き空間ベース注目情報信号２５０１から“プロジェクタ”に出力すればいいということを検出することができる。これにより、（（ビデオ，再生，テープ）→プロジェクタ）といったように、ビデオを再生してプロジェクタに出力するというユーザの注目情報を特定することが可能となる。」との記載から、引用文献１に記載の注目情報統合部で行われる処理には、空間ベース注目情報信号に基づいてビデオの出力先をプロジェクタに特定する処理が含まれると解される。
　
　以上のことから、引用文献１には、以下の発明（以下、「引用発明」という。）が記載されたものと認められる。
　
　ユーザと対話するマルチモーダル情報解析装置であって、該マルチモーダル情報解析装置が、
　音声入力装置から対象世界に含まれるユーザの発話音声を入力し、音声信号として出力する音声入力部と、
　画像入力装置から対象世界に含まれるユーザのジェスチャや視線などを入力し、画像信号として出力する画像入力部とを含み、
　前記対象世界が、ユーザと、いずれも前記マルチモーダル情報解析装置によって操作することができるテレビ及びビデオとを含み、
　前記マルチモーダル情報解析装置が、さらに、
　前記音声入力部から出力される音声信号を音声認識部で処理した音声認識信号及び対話特性蓄積部が蓄積している対象世界における各対象の機能や特性などの知識にもとづいてユーザが発話内容的に注目している情報を検出し、これをコンテキストベース注目情報信号として出力するコンテキストベース注目情報検出部と、
　前記画像入力部から出力される画像信号から画像認識部で検出された画像識別信号及び対象位置蓄積部が蓄積している対象世界における空間的な知識にもとづいてユーザが空間において注目している情報を検出して、これを空間ベース注目情報信号として出力する空間ベース注目情報検出部と、
　前記空間ベース注目情報信号と前記コンテキストベース注目情報信号とを入力し、状態管理部により管理されている現在の対象世界の構成対象の状態やシステムの対話状態を考慮して各注目情報信号を統合的に組み合わせて解析あるいは単独で解析し、ユーザが注目している対象である、人や対象物体などの識別子である対象識別子と、ユーザの要求している操作がどのようなものであるのかを示す操作内容識別子、操作に伴い何を要求しているのかを示す要求内容識別子、どのユーザの情報であるのかを示すユーザ識別子等を含む注目情報内容を含んだ注目情報統合信号を出力する注目情報統合部と、
　前記注目情報統合信号を入力として、対象世界において実際に操作を実行する対話制御部と、
　前記注目情報統合部での処理に使用される状態情報であって、前記注目情報統合部が出力する前記注目情報統合信号が含む前記注目情報内容により表現し得る状態情報でもある、ユーザとシステムとの対話状態の逐次読み出し、追加、編集、蓄積、管理を行う状態管理部を含み、
　前記注目情報統合部で行われる処理には、空間ベース注目情報信号に基づいてビデオの出力先をプロジェクタに特定する処理が含まれる、
　前記マルチモーダル情報解析装置。
　
第４．対比
　本願発明と、引用発明とを対比する。
　引用発明の「マルチモーダル情報解析装置」、「音声入力装置」、「音声信号」、「画像入力装置」、「画像信号」は、本願発明の「多モード会話型コンピューティング・システム」、「第１のモードの入力センサ」、「第１のモードの入力センサに関連付けられたデータ」、「第２のモードの入力センサ」、「第２のモードの入力センサに関連付けられたデータ」にそれぞれ相当する。
　引用発明の「マルチモーダル情報解析装置によって操作することができるテレビやビデオ」は、本願発明の「前記システムによって制御することができる１つまたはそれ以上の装置」と同じものであるから、引用発明の「ユーザと、いずれも前記マルチモーダル情報解析装置によって操作することができるテレビ及びビデオとを含」む「対象世界」と、本願発明の「１人またはそれ以上のユーザと前記システムによって制御することができる１つまたはそれ以上の装置とを含」む「環境」とは、”少なくとも１人のユーザ及び前記システムによって制御することができる１つまたはそれ以上の装置とを含む空間”である点で一致する。
　そして、引用発明の「音声信号」及び「画像信号」と、本願発明の「多モード・データ」とは、”システムに入力されるデータ”である点で一致し、引用発明の「音声入力部」及び「画像入力部」と、本願発明の「ユーザ・インタフェース・サブシステム」とは、”空間からシステムにデータを入力するインタフェース”である点で一致する。
　したがって、引用発明と本願発明とは
　多モード会話側コンピューティング・システムであって、該システムが
　空間からシステムにデータを入力するインタフェースを備え、該インタフェースが、空間からシステムに入力されるデータを入力するように構成され、前記データが第１のモードの入力センサに関連付けられたデータと、少なくとも第２のモードの入力センサに関連付けられたデータとを含み、前記空間が少なくとも１人のユーザと前記システムによって制御することができる１つまたはそれ以上の装置とを含む
点で一致する。
　
　引用発明における「コンテキストベース注目情報検出部」、「空間ベース注目情報検出部」及び「注目情報統合部」で行われる一連の処理は、音声入力部から入力される音声信号、及び、画像信号部から入力される画像信号に基づいて、ユーザが注目している対象である、人や対象物体などの識別子である対象識別子、ユーザの要求している操作がどのようなものであるのかを示す操作内容識別子、操作に伴い何を要求しているのかを示す要求内容識別子、どのユーザの情報であるのかを示すユーザ識別子等を含む注目情報内容を含んだ注目情報統合信号を出力する処理であると把握される。
　ここで、引用発明における「ユーザが注目している対象」とは、本願発明の「フォーカス」に相当し、ユーザの要求とは、本願発明の「意図」に相当するものであって、また、引用発明における「コンテキストベース注目情報検出部」、「空間ベース注目情報検出部」及び「注目情報統合部」が行う処理は、ユーザが注目している対象やユーザの要求を判定するものと言いうることは明らかであるから、引用発明の「コンテキストベース注目情報検出部」、「空間ベース注目情報検出部」及び「注目情報統合部」と、本願発明の「プロセッサ」とは、
”前記インタフェースから前記システムに入力されるデータの少なくとも一部を受信し、（ｉｉ）前記受信したシステムに入力されるデータの少なくとも一部に基づいて、ユーザの意図、フォーカスのうちの少なくとも１つの判定を行う”点で一致する。
　そして、引用発明における「注目情報統合信号」は、ユーザが注目している対象やユーザの要求を示すものであるから、本願発明の「判定されたフォーカス」及び「判定された意図」に相当するものといえ、引用発明における「対象世界において実際に操作を実行する」とは、対象世界において１つまたはそれ以上のアクションの実行を起こさせるものであることも明らかであるから、引用発明の「対話制御部」と、本願発明の「プロセッサ」とは、
”（ｉｉｉ）判定された意図、判定されたフォーカスの少なくとも１つに基づいて、前記空間において１つまたはそれ以上のアクションの実行を起こさせる”点で一致する。
　よって、引用発明における「前記音声入力部から出力される音声信号を音声認識部で処理した音声認識信号及び対話特性蓄積部が蓄積している対象世界における各対象の機能や特性などの知識にもとづいてユーザが発話内容的に注目している情報を検出し、これをコンテキストベース注目情報信号として出力するコンテキストベース注目情報検出部と、
　前記画像入力部から出力される画像信号から画像認識部で検出された画像識別信号及び対象位置蓄積部が蓄積している対象世界における空間的な知識にもとづいてユーザが空間において注目している情報を検出して、これを空間ベース注目情報信号として出力する空間ベース注目情報検出部と、
　前記空間ベース注目情報信号と前記コンテキストベース注目情報信号とを入力し、状態管理部により管理されている現在の対象世界の構成対象の状態やシステムの対話状態を考慮して各注目情報信号を統合的に組み合わせて解析あるいは単独で解析し、ユーザが注目している対象である、人や対象物体などの識別子である対象識別子と、ユーザの要求している操作がどのようなものであるのかを示す操作内容識別子、操作に伴い何を要求しているのかを示す要求内容識別子、どのユーザの情報であるのかを示すユーザ識別子等を含む注目情報内容を含んだ注目情報統合信号を出力する注目情報統合部と、
　前記注目情報統合信号を入力として、対象世界において実際に操作を実行する対話制御部と・・・を含み」と、本願発明の「少なくとも１つのプロセッサを備え、該少なくとも１つのプロセッサが前記ユーザ・インタフェース・サブシステムに動作できるように結合され、且つ該少なくとも１つのプロセッサが、（ｉ）前記ユーザ・インタフェース・サブシステムから前記多モード入力データの少なくとも一部を受信し、（ｉｉ）前記受信した多モード入力データの少なくとも一部に基づいて、前記１人またはそれ以上のユーザのうちの少なくとも１人の意図、フォーカスおよびムードのうちの少なくとも１つの判定を行い、および（ｉｉｉ）前記判定された意図、前記判定されたフォーカスおよび前記判定されたムードのうちの少なくとも１つに基づいて、前記環境において１つまたはそれ以上のアクションの実行を起こさせるように構成され」とは
”システムが、さらに、
　（ｉ）前記インタフェースから前記空間からシステムに入力されるデータの少なくとも一部を受信し、（ｉｉ）前記受信した前記空間からシステムに入力されるデータの少なくとも一部に基づいて、ユーザの意図、フォーカスのうち少なくとも１つの判定を行い、および（ｉｉｉ）前記判定された意図、前記判定されたフォーカスのうちの少なくとも１つに基づいて、前記空間において１つまたはそれ以上のアクションの実行を起こさせるように構成され”ている点で一致する。
　
　引用発明における「状態管理部」の「ユーザとシステムとの対話状態の逐次読み出し、追加、編集、蓄積、管理を行う」とは、ユーザとシステムとの対話状態を状態管理部が記憶することを含むものであることは明らかであり、当該「状態管理部」が行う「対話状態の逐次読み出し、追加、編集、蓄積、管理」は、「注目情報統合処理部での処理」のため、すなわち、注目情報統合処理部での処理である「判定」に以降使用するためのものであると解されるから、引用発明の
「前記注目情報統合部での処理に使用される状態情報であって、前記注目情報統合部が出力する前記注目情報統合信号が含む前記注目情報内容により表現し得る状態情報でもある、ユーザとシステムとの対話状態の逐次読み出し、追加、編集、蓄積、管理を行う状態管理部」と、本願発明の「前記少なくとも１つのプロセッサに動作できるように結合されているメモリを備え、該メモリが、前記プロセッサによって行われた前記意図、フォーカスおよびムードの判定に夫々関連付けられた結果の少なくとも一部を以降の判定において使用することができるようにするために記憶し」との記載によって特定される「メモリ」とは、
”所定の情報を以降の判定において使用することができるようにするために記憶する記憶手段”
である点で一致する。
　
　引用発明における「空間ベース注目情報信号に基づいてビデオの出力先をプロジェクタに特定する処理」とは、ユーザの要求すなわち意図の判定を行う際、画像信号に基づいてどの装置に対する指示であるのかを認識する処理に他ならないから、引用発明の「前記注目情報統合部で行われる処理には、空間ベース注目情報信号に基づいてビデオの出力先をプロジェクタに特定する処理が含まれる」と、本願発明の「前記意図の判定が、前記受信した多モード・データの少なくとも一部に基づいて、指示を行ったユーザが誰であるのかを認識する処理及びどの装置に対する指示であるのかを認識する処理を含む」とは、
”前記意図の判定が、前記受信した空間から入力されたデータの少なくとも一部に基づいて、どの装置に対する指示であるのかを認識する処理を含む”点で一致する。
　
　以上のことから、本願発明と引用発明とは、以下の一致点で一致し、相違点で相違する。
　
（一致点）
　多モード会話型コンピューティング・システムであって、該システムが
　空間からシステムにデータを入力するインタフェースを備え、該インタフェースが、空間からシステムに入力されるデータを入力するように構成され、前記データが第１のモードの入力センサに関連付けられたデータと、少なくとも第２のモードの入力センサに関連付けられたデータとを含み、前記空間が少なくとも１人のユーザと前記システムによって制御することができる１つまたはそれ以上の装置とを含み、
　前記システムが、さらに、
　（ｉ）前記インタフェースから前記空間からシステムに入力されるデータの少なくとも一部を受信し、（ｉｉ）前記受信した前記空間からシステムに入力されるデータの少なくとも一部に基づいて、ユーザの意図、フォーカスのうち少なくとも１つの判定を行い、および（ｉｉｉ）前記判定された意図、前記判定されたフォーカスのうちの少なくとも１つに基づいて、前記空間において１つまたはそれ以上のアクションの実行を起こさせるように構成され、
　前記システムが、さらに、
　所定の情報を以降の判定において使用することができるようにするために記憶する記憶手段を備え、
　前記意図の判定が、前記受信した空間からシステムに入力されるデータの少なくとも一部に基づいて、どの装置に対する指示であるのかを認識する処理を含む、
前記多モード会話型コンピューティング・システム
　
（相違点）
（相違点１）
　システムが対象とする空間に関し、本願発明の「環境」は「１人またはそれ以上のユーザと前記システムによって制御することができる１つまたはそれ以上の装置を含」み、さらに「ユーザ・インタフェース・サブシステム」が配備されているのに対して、引用発明の「対象空間」は、複数のユーザを含むことは明示されておらず、また、「音声入力部」や「画像入力部」が、当該対象空間に配備されていることも引用発明には明示されていない点。
　
（相違点２）
　空間からシステムにデータを入力するインタフェース及び空間からシステムに入力されるデータに関し、本願発明は、「ユーザ・インタフェース・サブシステム」が、「多モードデータ」を入力するように構成されているのに対して、引用発明は、「音声入力部」が「音声信号」を、「画像入力部」が「画像信号」をそれぞれ入力するように構成されている点。
　
（相違点３）
　インタフェースからのデータの受信、判定及びアクションの実行に関し、本願発明は「メモリ」と「ユーザ・メモリ・インタフェース」に動作できるように結合されている「プロセッサ」が行うよう構成されているのに対して、引用発明は、「コンテキストベース注目情報検出部」、「空間ベース注目情報検出部」、「注目情報統合部」及び「対話制御部」によって実現されている点。
　
（相違点４）
　データの少なくとも一部に基づく判定として、本願発明は、ユーザの「ムード」を判定することも含むのに対して、引用発明は、ユーザの「ムード」を判定することは明示されていない点。
　
（相違点５）
　記憶手段に記憶される所定の情報に関し、本願発明のメモリは「プロセッサによって行われた前記意図、フォーカスおよびムードの判定に夫々関連付けられた結果の少なくとも一部」が記憶されるのに対して、引用発明の状態管理部が記憶するのは、ユーザとシステムとの対話状態である点。
　
（相違点６）
　意図の判定に関し、本願発明は「受信した多モード・データの少なくとも一部に基づいて、指示を行ったユーザが誰であるのかを認識する処理」を含むのに対して、引用発明は、ユーザの要求の判定において、受信したデータに基づいて指示を行ったユーザが誰であるのかを認識する処理を行うことは明示されていない点。
　
第５．判断
　上記相違点について判断する。
　
相違点１及び６について；
　引用発明では、注目情報統合部が出力する注目情報内容が「どのユーザの情報であるのかを示すユーザ識別子」をも含むものであることからすれば、引用発明の「対象空間」には、複数のユーザが存在すること、及び、ユーザが誰であるのかが認識されていることは示唆されたものといえる。
　そして、多モード会話型コンピューティング・システムにおいて、当該システムが対象とする空間を、複数のユーザが存在し、当該システム全体が配備された空間とすることは、本願の優先権主張の基となる出願の出願日前に周知の技術事項（例、特開２００１−２２４８８号公報には、【図４】に、マイクやカメラと同じ空間にユーザインタフェース制御装置が存在する例が示されると共に、当該ユーザインタフェース制御装置は複数のユーザに使用されるものであることが【０００２】段落に記載されている。）である。
　また、多モード会話型コンピューティング・システムにおいて、受信したデータの一部に基づいて、ユーザの意図を判定することに加え、指示を行ったユーザが誰であるのかを認識する処理を行うことも、本願の優先権主張の基となる出願の出願日前に周知の技術事項（例、牛田博英・他、「自律的行動決定モデルに基づくインタフェースエージェント」、電子情報通信学会論文誌、Vol.J82-D-II, No.10，１９９９年１０月２５日，p.1655-p.1665　の第１６５８頁右欄下から１０行乃至第１６５９頁左欄第４行には、「３．１．４　顔識別」として、エージェントが顔画像からユーザの顔を識別することが記載され、特開２００１−２２４８８号公報には、ユーザーインタフェース制御装置に関し【００２４】段落にカメラで撮影した利用者の画像から利用者を識別することが、【００２５】段落にマイクで採取した利用者の音声から利用者を識別することがそれぞれ記載されている。）である。
　以上のことから、多モード会話型コンピューティング・システムである引用発明において、対象空間を、複数のユーザが存在し、当該システム全体が配備された空間とする（なお、当該システム全体が対象空間に配備された場合には、音声入力部や画像入力部も対象空間に配備されることになるのは自明である。）こと、及び、該引用発明において、受信したデータである音声信号や画像信号に基づきユーザの要求を判定することに加えて、指示を行ったユーザが誰であるのかを認識するよう構成することは、いずれも本願の優先権主張の基となる出願の出願日前に周知の技術事項に基づいて当業者が容易に想到し得たものといえる。
　したがって、相違点１及び相違点６は、いずれも格別のものではない。
　
相違点２及び３について；
　多モード会話型コンピューティング・システムにおいて、システムに対する音声信号や画像信号の入力を一つのユーザ・インタフェース・サブシステムで行うこと、及び、システムの各機能をメモリや入力インタフェースに結合されたプロセッサにより実現することはいずれも本願の優先権主張の基となる出願の出願日前に周知の実装態様（例、特開２０００−２５０６７７号公報には、マルチモーダルインタフェース装置に関し、【図１】及び【００６４】段落に、「入力部」（ユーザ・インタフェース・サブシステム）がマイク、カメラ等の少なくとも一つのデバイスを通じて得られる利用者からの音声情報・視覚情報等の入力を取り込むことが記載されると共に、【図２】並びに【００７２】段落及び【００７３】段落に、入力インタフェース部及びメモリ部に結合されたＣＰＵ部（プロセッサ）が、ソフトウェアを制御することにより各機能を実現することが記載されている。）である。
　したがって、引用発明においても、音声入力部、画像入力部を一つのユーザ・インタフェース・サブシステムで行うよう実装すると共に、「コンテキストベース注目情報検出部」、「空間ベース注目情報検出部」、「注目情報統合部」及び「対話制御部」の各機能を記憶手段やインタフェースに結合されたプロセッサを用いて実現されるよう実装することは、当業者が容易に想到し得たものといえる。
　したがって、相違点２及び３はいずれも格別のものではない。
　
相違点４について；
　多モード会話型コンピューティング・システムにおいて、入力される音声信号や画像信号からユーザのムードを判定し、当該ムードに応じたアクションを行うことも周知の技術事項（例、特開平９−８１６３２号公報の第１頁要約文には、音声、画像を含む複数の形態のデータを入力し、この入力したデータからユーザの意図と共に感情情報の抽出（本願発明の「ムードの判定」に相当）を行ってユーザに応答する（アクション）ことが記載され、特開２００１−２２４８８号公報の第１頁要約文には、オーディオ・ビデオ操作特性等の入力デバイスから取り込んだ情報に基づいて利用者の感情によって一時的に変化した特質情報を識別（本願発明の「ムードの判定」に相当）してコンピュータのユーザインターフェース特性を変更（アクション）することが記載されている。）であるから、音声信号や画像信号を入力して判定を行う多モード会話型コンピューティング・システムである引用発明において、入力される音声信号や画像信号に基づく判定として、ユーザのムードの判定も行うよう構成することは当業者が容易に想到し得たものといえる。
　したがって、相違点４は格別のものではない。
　
相違点５について；
　引用発明において、「ユーザとシステムとの対話状態」とは、「注目情報統合部が出力する前注目情報統合信号が含む前記注目情報内容により表現し得る状態情報」であるから、引用発明において「ユーザとシステムとの対話状態」の内容として「注目情報内容」を用いることは当業者が通常想定するものにすぎない。
　そして、「注目情報内容」とは、注目情報統合部等によりユーザの注目対象や要求の判定に各々関連付けられた結果に他ならないことからすれば、引用発明において、「状態管理部」に記憶される「ユーザとシステムとの対話状態」の内容として、注目情報統合部等による判定に各々関連付けられた結果である注目情報内容を用いることにより、「状態管理部」を、判定に各々関連付けられた結果を以降の判定において使用することができるようにするために記憶するものとすることも、当業者が容易に想到し得たものといえる。
　したがって、相違点５は格別のものではない。
　
　そして、本願発明の奏する効果について検討しても、引用発明及び周知の技術事項から当業者が予測し得た程度のものにすぎない。
　
　以上のとおりであるから、本願発明は、引用発明及び周知の技術事項に基づいて当業者が容易に発明をすることができたものであるので、特許法第２９条第２項の規定により特許を受けることができないものである。
　
第６．むすび
　以上のとおり、本願発明は、引用発明及び周知の技術事項に基いて当業者が容易に発明をすることができたものであるから、特許法第２９条第２項の規定により特許を受けることができない。  
　よって、上記結論のとおり、審決する。  
　
第７．平成２２年１月６日付け回答書に記載の補正案について 
 　平成２１年１０月１５日付け審尋に対する平成２２年１月６日付け回答書に補正案が記載されているので、当該補正案について予備的に検討する。
　当該補正案に請求項１として記載された事項によって特定される発明（以下「補正案発明」という。）は、本願発明に対して、フォーカスの判定について「前記フォーカスの判定が、前記ユーザがアプリケーションにおいてアクティブにフォーカスされているかどうかを判断する処理を含」むものであると限定し、ムードの判定について「前記ムードの判定が、当該ムードに影響することができる関連装置の制御を実行するかどうかの判定をする処理を含む」ものであると限定するものであると認められる。
　そこで、補正案発明と引用発明とを対比すると、補正案発明の「フォーカスの判定が、前記ユーザがアプリケーションにおいてアクティブにフォーカスされているかどうかを判断する処理を含む」ことと、引用発明のユーザの注目対象の判定とは格別相違するものとはいえないから、補正案発明と引用発明とは、「第４．対比」の項中に記載し、「第５．判断」の項中で既に検討した相違点に加え、補正案発明は、「ムードに影響することができる関連装置の制御を実行するかどうかの判定をする処理を含む」ムードの判定を行うのに対して、引用発明はムードの判定を行うことが明示されていない点で相違するものといえる。
　しかし、ユーザとシステムとが会話する技術分野において、システムに入力されたデータから、ムードを判定することでムードに影響することができる関連装置の制御を実行するかどうかの判定をすることも、例えば特開平１１−１１９７９１号公報の【００７０】段落乃至【００７３】段落及び【図６】に記載の、話者が発生した音声入力「暑い」を音声感情認識システムが認識し、感情レベルを判定すると共に感情レベルが５のときに車内の温度を２５度に設定する例のように周知の技術事項といえるから、引用発明において当該周知の技術事項を適用し、ムードに影響することができる関連装置の制御を実行するかどうかの判定を含むムードの判定を実行させるように構成することも当業者が容易に想到し得たものといえる。
　よって、補正案発明も、引用発明及び周知の技術事項に基づいて当業者が容易に発明をすることができたものであるので、特許法第２９条第２項の規定により特許を受けることができないものである。