(57)【要約】【課題】曖昧な入力情報についても意味を認識可能とする。【解決手段】類似度計算装置１により複数の入力信号と標準パタンとの類似度を計算し、見出語割り当て装置２により標準パタン対見出語対応表を用いてこの類似度を入力信号と見出語との関係強度へ変換し、意味関連度計算装置３により概念間関係表を用いてこの関係強度を入力信号と概念との関連度へ変換する。これにより、複数の入力信号に基いて概念との関連度の算出を可能にし、単一の入力装置からでは概念の抽出が困難な曖昧な入力信号についても有効な意味認識を実現する。【選択図】図１
2007018425.tif 000002
【特許請求の範囲】
【請求項１】
入力信号に関する複数の標準パタンを記憶しておく第１記憶装置と、
複数の入力装置から入力信号を受け取るとともに第１記憶装置から標準パタンを読み出し、各入力信号について各標準パタンに対する類似度を計算する類似度計算装置と、
標準パタンと見出語との関係強度を示す関係強度情報を記憶しておく第２記憶装置と、
類似度計算装置から入力信号と標準パタンとの類似度を受け取るとともに第２記憶装置から関係強度情報を読み出し、当該類似度を関係強度情報に従って入力信号と見出語との関係強度に変換する見出語割り当て装置と、
見出語と概念間との関連度を示す関連度情報を記憶しておく第３記憶装置と、
見出語割り当て装置から入力信号と見出語との関係強度を受け取るとともに第３記憶装置から関連度情報を読み出し、当該関係強度を関連度情報に従って入力信号と概念との関連度に変換する意味関連度計算装置と、
を有することを特徴とする意味認識装置。
【請求項２】
前記見出語割り当て装置は、入力信号と見出語との関係強度を、入力信号と標準パタンとの類似度に当該標準パタンと見出語との関係強度を乗じたものを当該見出語について合計した値とすることを特徴とする請求項１記載の意味認識装置。
【請求項３】
前記意味関連度計算装置は、入力信号と概念との関連度を、入力信号と見出語との関係強度に当該見出語と概念との関連度を乗じたものを当該概念について合計した値とすることを特徴とする請求項１又は２記載の意味認識装置。
【請求項４】
前記意味関連度計算装置は、入力信号との関連度を求める概念間の範囲として、見出語から当該概念に到達するまでのリンク数が規定値以下の範囲を対象とすることを特徴とする請求項１乃至３のいずれかに記載の意味認識装置。
【請求項５】
使用主体の背景に関する背景情報および回答規則を記憶しておく背景情報蓄積装置と、
概念と背景情報とを突合させて行動案を出力する突合装置と、
関連度との比較のための所定値および概念毎に分類された突合装置の起動契機の指定を記憶しておく第４記憶装置と、
第４記憶装置から所定値を読み出し、意味関連度計算装置により計算された入力信号と概念との関連度が所定値以上か否かを判定する判定装置と、
概念毎に背景情報の検索規則を記憶しておく第５記憶装置と、を有し、
前記突合装置は、前記起動契機として指定されている概念について前記判定装置により関連度が所定値以上と判定された場合に、当該概念について第５記憶装置から検索規則を読み出し、当該検索規則に従った検索を背景情報蓄積装置に対して実行させ、当該背景情報蓄積装置から回答規則に従った行動案の元となる情報を受け取り、当該情報に基づいて行動案を選択し出力することを特徴とする請求項１乃至４のいずれかに記載の意味認識装置。
【請求項６】
追加規則及び更新規則を記憶しておく第６記憶装置を有し、
前記起動契機として指定されていない概念について前記判定装置により関連度が所定値以上と判定された場合に、前記背景情報蓄積装置は、第６記憶装置から追加規則又は更新規則の少なくとも一方を読み出し、当該概念について予め指定されている背景情報を追加規則又は更新規則の少なくとも一方に従って編集することを特徴とする請求項５記載の意味認識装置。
【請求項７】
行動案を受け取った使用主体がとった行動に関する情報に基いて行動案が利用されたか否かを判定し、利用されたと判定した場合に、その利用確認の結果を背景情報蓄積装置に通知する利用確認装置をさらに有し、
前記背景情報蓄積装置は、行動案の利用確認の結果を背景情報として蓄積することを特徴とする請求項５又は６記載の意味認識装置。
【請求項８】
前記背景情報蓄積装置は、入力信号の種別が概念に直結しているものについては、入力信号に基いて直接的に計算された当該入力信号と概念との関連度を蓄積することを特徴とする請求項５乃至７のいずれかに記載の意味認識装置。
【請求項９】
前記意味関連度計算装置は、背景情報蓄積装置から前記関連度を読み出して複数の入力信号と概念間との関連度の計算に用いることを特徴とする請求項８記載の意味認識装置。
【請求項１０】
前記複数の入力装置のうちの少なくとも１つは音声入力装置であって、
前記標準パタンは、音声をディジタイズしたデータであることを特徴とする請求項１乃至９のいずれかに記載の意味認識装置。
【請求項１１】
前記複数の入力装置のうちの少なくとも１つは悲鳴、衝突音、爆発音、銃声、機械音のうちの少なくとも１つを含む音を収集する集音装置であって、
前記標準パタンは、当該音をディジタイズしたデータであることを特徴とする請求項１乃至１０のいずれかに記載の意味認識装置。
【請求項１２】
前記複数の入力装置のうちの少なくとも１つは運動検出装置であって、
前記標準パタンは、運動をディジタイズして時系列的に格納したデータであることを特徴とする請求項１乃至１０のいずれかに記載の意味認識装置。
【請求項１３】
前記複数の入力装置のうちの少なくとも１つは使用者が接触する操作部分に組み込まれた湿度計測器であって、
湿度計測器から出力された使用者による発汗の検出結果を、精神状態を示す概念についての所定値と比較することにより当該発汗の検出結果と精神状態を示す概念との関連度を求め、背景情報蓄積装置に蓄積させる装置を有することを特徴とする請求項５記載の意味認識装置。
【請求項１４】
前記複数の入力装置のうちの少なくとも１つは使用者の位置を検出可能な位置検出装置であって、
位置検出装置から出力された使用者の位置データに基いて当該位置データと活動状態を示す概念との関連度を求め、背景情報蓄積装置に蓄積させる装置を有することを特徴とする請求項５記載の意味認識装置。
【請求項１５】
前記複数の入力装置のうちの少なくとも１つは使用者を撮影する撮影装置であって、
撮影装置から出力された撮影データに基いて当該撮影データと人物を特定するための概念との関連度を求め、背景情報蓄積装置に蓄積させる装置を有することを特徴とする請求項５記載の意味認識装置。
【請求項１６】
前記複数の入力装置のうちの少なくとも１つは使用者が接触する操作部分に組み込まれた皮膚抵抗測定器であって、
皮膚抵抗測定器から出力された使用者の皮膚抵抗値を、精神状態を示す概念についての所定値と比較することにより当該皮膚抵抗値と精神状態を示す概念との関連度を求め、背景情報蓄積装置に蓄積させる装置を有することを特徴とする請求項５記載の意味認識装置。
【請求項１７】
ネットワークを介して情報を収集する情報収集装置を更に備え、
前記背景情報蓄積装置は、情報収集装置により収集された情報を背景情報として蓄積することを特徴とする請求項１乃至１６のいずれかに記載の意味認識装置。
【請求項１８】
背景情報として使用者のスケジュール情報を含み、突合装置の起動契機として所定の概念が指定されたものであって、
前記突合装置は、新たな要請を含む情報が受信された後に、入力された入力信号が前記所定の概念に関連する場合に、スケジュール情報の修正案を行動案として出力することを特徴とする請求項６記載の意味認識装置。
【請求項１９】
背景情報として使用者の従事中の作業に関する情報および対策情報を含み、起動情報として特長的な音声及び音についての概念が指定されたものであって、
前記突合装置は、作業中に入力された入力信号が前記音声及び音についての概念に関連する場合に、対策情報を行動案として出力することを特徴とする請求項６記載の意味認識装置。
【請求項２０】
類似度計算装置により、複数の入力装置から入力信号を受け取るとともに、入力信号に関する複数の標準パタンを記憶している第１記憶装置から標準パタンを読み出し、各入力信号について各標準パタンに対する類似度を計算するステップと、
見出語割り当て装置により、類似度計算装置から入力信号と標準パタンとの類似度を受け取るとともに、標準パタンと見出語との関係強度を示す関係強度情報を記憶している第２記憶装置から関係強度情報を読み出し、当該類似度を関係強度情報に従って入力信号と見出語との関係強度に変換するステップと、
意味関連度計算装置により、見出語割り当て装置から入力信号と見出語との関係強度を受け取るとともに、見出語と概念との関連度を示す関連度情報を記憶している第３記憶装置から関連度情報を読み出し、当該関係強度を関連度情報に従って入力信号と概念との関連度に変換するステップと、
を有することを特徴とする意味認識方法。
【請求項２１】
コンピュータに対して、
複数の入力装置から入力信号を受け取るとともに、入力信号に関する複数の標準パタンを記憶している第１記憶装置から標準パタンを読み出し、各入力信号について各標準パタンに対する類似度を計算する処理と、
類似度計算装置から入力信号と標準パタンとの類似度を受け取るとともに、標準パタンと見出語との関係強度を示す関係強度情報を記憶している第２記憶装置から関係強度情報を読み出し、当該類似度を関係強度情報に従って入力信号と見出語との関係強度に変換する処理と、
見出語割り当て装置から入力信号と見出語との関係強度を受け取るとともに、見出語と概念との関連度を示す関連度情報を記憶している第３記憶装置から関連度情報を読み出し、当該関係強度を関連度情報に従って入力信号と概念との関連度に変換する処理と、
を実行させることを特徴とする意味認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の情報源に基づいて意味を認識する技術に関する。
【背景技術】
【０００２】
従来の認識装置は、音声、映像、キー操作等の入力情報種毎に独立した意味認識機構を備えている。例えば、音声入力装置は、通常の発話を対象とし、主に単語単位での認識を行う。最近は、曖昧な意味の音声入力に対しても学習機能を用いて文法に沿った判定を行う等の手法により、意味認識が可能な入力データの拡大が図られている。しかし、悲鳴や衝突音に対しては、発音のばらつきが大きいため、単語として認識することが難しく、また仮に単語として認識ができても文法的な構造を持たないため、意味を特定できないことが多い。また、感情的な発声を認識する技術としては、犬猫用の翻訳機が商品化されているが、これは人間の複雑な意志を対象とする技術ではない。また、防犯用の悲鳴認識装置として特許文献１，２に記載のものが知られているが、これらは悲鳴の発生を検出するのみであり、その意味を認識可能としたものではない。
【０００３】
開発が比較的古くから行われている音声についてすらこのような状況であるので、映像から取得される身振りや脳神経信号のように曖昧さが大きく文法的な構造に未知の部分がある情報源から意味を認識する技術は未開発である。
【０００４】
また、インターネット用に端末化された携帯電話、ＰＤＡ（Personal Digital Assistants）、車搭載用ナビゲーション装置に代表される可搬型情報機器は、キーボードやマウスを使えないため様々な簡素化のボタン操作機能が採用されているが、例えば自動車運転中の携帯電話の使用が社会問題化するなど、単純な通話ですら状況によっては危険である。このような用途では、音、映像、加速度等の状態を常時観測し、その特長から意味を認識し、通話その他のプログラムの起動契機の抽出が可能であれば、ほぼ無操作で情報機器を利用でき、安全性の向上を図れるが、現状ではスーパー防犯灯に代表されるごく単純な限られた分野でしか実用化されていない。
【特許文献１】特開２００４−２４１２１７号公報
【特許文献２】特開平９−２５１５８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、上記に鑑みてなされたものであり、その課題とするところは、曖昧な入力情報についても意味を認識可能とすることにある。
【課題を解決するための手段】
【０００６】
第１の本発明に係る意味認識装置は、入力信号に関する複数の標準パタンを記憶しておく第１記憶装置と、複数の入力装置から入力信号を受け取るとともに第１記憶装置から標準パタンを読み出し、各入力信号について各標準パタンに対する類似度を計算する類似度計算装置と、標準パタンと見出語との関係強度を示す関係強度情報を記憶しておく第２記憶装置と、類似度計算装置から入力信号と標準パタンとの類似度を受け取るとともに第２記憶装置から関係強度情報を読み出し、当該類似度を関係強度情報に従って入力信号と見出語との関係強度に変換する見出語割り当て装置と、見出語と概念間との関連度を示す関連度情報を記憶しておく第３記憶装置と、見出語割り当て装置から入力信号と見出語との関係強度を受け取るとともに第３記憶装置から関連度情報を読み出し、当該関係強度を関連度情報に従って入力信号と概念間との関連度に変換する意味関連度計算装置と、を有することを特徴とする。
【０００７】
本発明にあっては、複数の入力信号と標準パタンとの類似度計算、類似度について入力信号と見出語との関係強度への変換、この関係強度について入力信号と概念との関連度への変換を行うことで、複数の入力信号に基いて概念との関連度を算出可能にし、単一の入力情報からでは抽出が困難な概念についても有効な意味認識を実現する。
【０００８】
上記意味認識装置は、使用主体の背景に関する背景情報および回答規則を記憶しておく背景情報蓄積装置と、概念と背景情報とを突合させて行動案を出力するための突合装置と、関連度との比較のための所定値および概念毎に分類された突合装置の起動契機の指定を記憶しておく第４記憶装置と、第４記憶装置から所定値を読み出し、意味関連度計算装置により計算された入力信号と概念との関連度が所定値以上か否かを判定する判定装置と、概念毎に背景情報の検索規則を記憶しておく第５記憶装置と、を有し、前記突合装置は、前記起動契機として指定されている概念について前記判定装置により関連度が所定値以上と判定された場合に、当該概念について第５記憶装置から検索規則を読み出し、当該検索規則に従った検索を背景情報蓄積装置に対して実行させ、当該背景情報蓄積装置から回答規則に従った行動案の元となる情報を受け取り、当該情報に基づいて行動案を選択し出力することを特徴とする。
【０００９】
本発明にあっては、入力信号と指定された概念との関連度が所定値以上の場合に突合装置を起動し、突合装置が背景情報蓄積装置に対して検索規則に従った検索を実行させ、回答規則に従った行動案の元となる情報を受け取り、この情報に基づいて行動案を選択し出力することで、複数の入力信号に応じた行動案を出力でき、従来は使用者の意図が確認できないため何も処理しなかった場合についても有効な行動案を提示することが可能となる。また、複数の入力信号を併用しても単一の行動案を選定できないときには背景情報を援用することで、行動案に優先順位を付与することが可能となる。
【００１０】
第２の本発明に係る意味認識方法は、類似度計算装置により、複数の入力装置から入力信号を受け取るとともに、入力信号に関する複数の標準パタンを記憶している第１記憶装置から標準パタンを読み出し、各入力信号について各標準パタンに対する類似度を計算するステップと、見出語割り当て装置により、類似度計算装置から入力信号と標準パタンとの類似度を受け取るとともに、標準パタンと見出語との関係強度を示す関係強度情報を記憶している第２記憶装置から関係強度情報を読み出し、当該類似度を関係強度情報に従って入力信号と見出語との関係強度に変換するステップと、意味関連度計算装置により、見出語割り当て装置から入力信号と見出語との関係強度を受け取るとともに、見出語と概念との関連度を示す関連度情報を記憶している第３記憶装置から関連度情報を読み出し、当該関係強度を関連度情報に従って入力信号と概念との関連度に変換するステップと、を有することを特徴とする。
【００１１】
第３の本発明に係る意味認識プログラムは、コンピュータに対して、複数の入力装置から入力信号を受け取るとともに、入力信号に関する複数の標準パタンを記憶している第１記憶装置から標準パタンを読み出し、各入力信号について各標準パタンに対する類似度を計算する処理と、類似度計算装置から入力信号と標準パタンとの類似度を受け取るとともに、標準パタンと見出語との関係強度を示す関係強度情報を記憶している第２記憶装置から関係強度情報を読み出し、当該類似度を関係強度情報に従って入力信号と見出語との関係強度に変換する処理と、見出語割り当て装置から入力信号と見出語との関係強度を受け取るとともに、見出語と概念との関連度を示す関連度情報を記憶している第３記憶装置から関連度情報を読み出し、当該関係強度を関連度情報に従って入力信号と概念との関連度に変換する処理と、を実行させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、曖昧な入力情報についても意味を認識することが可能となる。
【発明を実施するための最良の形態】
【００１３】
図１は、一実施の形態における意味認識装置の構成を示すブロック図である。同図の意味認識装置は、類似度計算装置１、見出語割り当て装置２、意味関連度計算装置３、判定装置４、突合装置５、背景情報蓄積装置６、利用確認装置７、収集装置８、記憶装置１１〜１５を備えた構成である。各装置１〜８は、それぞれの用途に必要な通信インタフェースを有するコンピュータによって構成され、その処理はプログラムによって実行される。また、同図においては各装置１〜８は、別体として示してあるが、１台のコンピュータで実現しても構わない。
【００１４】
類似度計算装置１に入力される入力情報は、複数の入力装置からそれぞれ送られてくる情報である。入力装置としては、例えば、音声入力装置、運動検出装置、映像装置、文字情報入力装置等が該当する。
【００１５】
各入力装置では、曖昧な情報の入力を許容している。例えば、音声入力装置において国語辞書にない音声を拾った信号や、運動検出装置において紛らわしい身振りを補足した映像から抽出した信号、あるいは国語辞書に含まれるような文字列であっても複数の意味で用いられる語といった信号等も対象とする。
【００１６】
記憶装置１１は、入力信号に関する複数の標準パタンを記憶している。標準パタンは、例えば図２に示すような入力信号種別に適した書式によるファイルで形成され、記憶装置１１には複数のファイルの集合体が記憶される。音声ならば意味抽出の候補になる音声をディジタイズ化した波形データファイル、運動検出ならば運動をディジタイズして時系列的に格納したデータファイル、光学入力ならば意味抽出の候補になる映像を記録した動画ファイルが用意される。
【００１７】
類似度計算装置１は、複数の入力装置から送られてきた入力信号について標準パタンに対する類似度を計算する。類似度の計算手法は、それぞれの入力に関する個別の認識技術で通常用いられる技術を適用可能である。
【００１８】
記憶装置１２は、標準パタンと見出語との関係強度を示す関係強度情報を記憶している。関係強度情報は、例えば図３に示すような標準パタン対見出語対応表とする。同図では関係強度をパーセント（％）で表している。
【００１９】
見出語割り当て装置２は、類似度計算装置１から送られてきた入力信号と標準パタンとの類似度を標準パタン対見出語対応表に従って入力信号と見出語との関係強度に変換する。
【００２０】
記憶装置１３は、見出語と概念間との関連度を示す関連度情報を記憶している。関連度情報は、例えば図４に示すような概念間関係表とする。同図では、見出語と概念の関連度、概念間の関連度をそれぞれパーセント（％）で示している。
【００２１】
意味関連度計算装置３は、見出語割り当て装置２から送られてきた入力信号と見出語との関係強度を概念間関係表に従って入力信号と概念間との関連度に変換する。
【００２２】
記憶装置１４は、関連度との比較のための所定値および概念毎に分類された突合装置５の起動契機の指定を記憶している。
【００２３】
記憶装置１５は、概念毎に背景情報の検索規則を記憶している。
【００２４】
判定装置４は、意味関連度計算装置３により計算された入力信号と概念との関連度が所定値以上か否かを判定し、突合装置５の起動処理あるいは背景情報蓄積装置６への背景情報の追加・更新処理を実行させる。
【００２５】
突合装置５は、意味関連度計算装置３が求めた概念と背景情報蓄積装置６に蓄積されている背景情報とを突合させて行動案を選択し出力する。
【００２６】
背景情報蓄積装置６は、背景情報、回答規則、追加規則、更新規則等を記憶している。背景情報は、使用主体の背景に関する情報であり、収集装置８において例えばインターネット等のネットワークを用いた検索により得られた公知情報、周知情報、常識情報、あるいは観測情報といった各種情報のほか、後述するように入力信号に関連付けられた概念や、これらを追加・更新した情報を含むものである。
【００２７】
［意味認識装置における処理の概要］
図５は、本意味認識装置における全体的な処理の流れを示すフローチャートである。
【００２８】
ステップ１（同図においてＳ１と示す。以下同じ）で、類似度計算装置１は、複数の入力装置から入力信号を受け取るとともに記憶装置１１から標準パタンを読み出し、各入力信号について各標準パタンに対する類似度を計算する。例えば、閃光や人語でない音ならば振幅幅と時間軸を等化した後に細分化した時間区間毎の振幅と波長のシーケンスについて類似度を取る。人語であれば子音と母音のシーケンスについて類似度を取る。また、誤字脱字を含む文字情報に対しては文字列に示す一致部分の割合を類似度とする。誤りのない文字情報に対しては、既存の形態素解析プログラムを類似度について１００％又は０％の２通りの判断しかしないプログラムとして利用する。
【００２９】
ステップ２で、見出語割り当て装置２は、類似度計算装置１から入力信号と標準パタンとの類似度を受け取るとともに、記憶装置１２から標準パタン対見出語対応表を読み出し、当該類似度を標準パタン対見出語対応表に従って入力信号と見出語との関係強度に変換する。ここで、入力信号と見出語との関係強度は、入力信号と標準パタンとの類似度に当該標準パタンと見出語との関係強度を乗じたものを当該見出語について合計した値とする。具体例については後述する。
【００３０】
ステップ３で、意味関連度計算装置３は、見出語割り当て装置２から入力信号と見出語との関係強度を受け取るとともに、記憶装置１３から概念間関係表を読み出し、当該関係強度を概念間関係表に従って入力信号と概念間との関連度に変換する。ここで、入力信号と概念との関連度は、入力信号と見出語との関係強度に当該見出語と概念との関連度を乗じたものを当該概念について合計した値とする。あるいは、各関連度の逆数を電気抵抗に見立ててオームの法則により得られる入力から各概念までの抵抗の逆数を関連度とする等、人間の直感に矛盾しない任意の定義によってもよい。
【００３１】
このように計算された意味関連度計算装置３の出力は、入力信号の意味を認識した結果であるので、この出力結果そのものを他装置の制御等に直接利用することも可能である。しかし、概念によっては実行すべき動作を直ちに規定しがたいものもある。また、１回の入力における関係強度は小さいが反復する場合もある。また、元来単独では入力装置としての利用が困難だが背景情報の収集には適した観測機器も存在する。これらの入力や観測情報は、累積した結果を以後の入力に対する動作の決定に利用すれば有効な情報となる。そこで、背景情報蓄積装置６では、これらの情報についても背景情報として蓄積する。背景情報蓄積装置６を用いる構成において、意味関連度計算装置３が計算した入力信号と概念との関連度は、その値によって次のように２通りに用いられる。
【００３２】
ステップ４で、判定装置４は、記憶装置１４から所定値を読み出し、意味関連度計算装置３により計算された入力信号と概念との関連度が所定値以上か否かを判定する。そして、突合装置５の起動契機として指定されている概念について関連度が所定値以上と判定した場合には突合装置５を起動してステップ５へ進む。一方、起動契機として指定されていない概念について関連度が所定値以上と判定した場合には、意味関連度計算装置３の出力結果を背景情報蓄積装置６へ送りステップ６へ進む。この所定値を一律とするか概念毎に指定するかは基本的に意味認識結果の用途に依存する。また、背景情報蓄積装置６に与えられる各規則の内容にも依存する。即ち、画一的な基準で突合装置５を起動して背景情報を用いて詳細に制御するか、起動基準を細分化して背景情報を軽減するかは設定者の自由である。
【００３３】
ステップ５で、突合装置５は、意味関連度計算装置３が求めた概念と背景情報蓄積装置６に蓄積されている背景情報とを突合させて行動案を選択し出力する。具体的には、当該概念について記憶装置１５から検索規則を読み出し、この検索規則に従った検索を背景情報蓄積装置６に対して実行させる。そして、背景情報蓄積装置６から回答規則に従った行動案の元となる情報を受け取り、この情報に基づいて行動案を選択し出力する。背景情報蓄積装置６からの回答内容によっては、複数の行動案ができる場合があるので、この場合には背景情報に重み情報を含ませておき、この重み情報に従って優先順位を付与する。また、行動案が単一であっても用途によっては使用者による採否判断のために重み情報を提示してもよい。
【００３４】
ステップ６で、背景情報蓄積装置６は、突合装置の起動原因とならなかった意味関連度計算装置３の出力結果について、追加規則又は更新規則の少なくとも一方を読み出し、これらの規則に従って編集し記憶する。例えば、出力結果がこれまでに蓄積していない概念に関する場合には追加規則に従って編集し記憶する。一方、出力結果が既に記憶している概念に関する場合には更新規則に従って編集し記憶する。これらの編集には、背景情報の一部消去といった処理も含まれる。
【００３５】
ステップ７では、行動案を受け取った使用者がとった行動に関する情報を収集装置８が収集し利用確認装置７へ送る。利用確認装置７は、この情報に基いて行動案が採用されたか否かを判定し、採用されたと判定した場合には、その利用確認の結果を背景情報蓄積装置６に通知する。背景情報蓄積装置６は、行動案の利用確認の結果を背景情報として蓄積する。例えば、背景情報蓄積装置６は、利用確認結果について使用者の個人別または所属集団別に、または背景情報の状態及び検索規則の条件別に次回以降の回答について重みの増減を行う更新規則を用いることによって、利用確認結果を背景情報の一部として蓄積する。
【００３６】
［具体的な処理例］
次に、具体的な入力例を用いて本意味認識装置の処理について詳細に説明する。
【００３７】
ここでは、入力情報として、音声を捉えた入力信号１と運動を捉えた入力信号２が入力されるものとする。他にも入力装置が存在してもよいが、ここではそれらの入力は全て標準パタンに対して類似度が０となる状態であると仮定する。入力信号１としては本装置の使用者による「グェッ」という不明瞭な発声を捉え、入力信号２としては本装置の使用者が背をやや丸めて手を広げかけている運動を捉えたものとする。
【００３８】
図６は、類似度計算装置１による入力信号１，２と標準パタンとの類似度の計算結果の一例を示す図である。同図では、発声が不明瞭なため、入力信号１の標準パタン「グェッ」との類似度は６０％、「グッ」との類似度は５０％、「エッ」との類似度は４０％となっている。また、背の丸め方が中途半端なため、入力信号２の標準パタン「背を丸める」との類似度は５５％となっている。手の広げ方が狭いため、入力信号２の標準パタン「手を広げる」との類似度は１０％となっている。
【００３９】
図７は、見出語割り当て装置２による入力信号１，２と見出語との関係強度の計算結果の一例を示す図である。図３の標準パタン対見出語対応表に示したように、見出語「悲鳴”グェッ”」への標準パタンの関係強度は、音声「グェッ」から９５％、音声「グッ」から１５％、運動「背を丸める」から４５％、音声「エッ」から５％となっている。このため、入力信号１，２から見出語「悲鳴”グェッ”」への関係強度は、９５％×６０％＋１５％×５０％＋４５％×５５％＋５％×４０％＝９１．２５％となる。同様に、見出語「悲鳴”エッ！”」への関係強度は、４４．５％となる。
【００４０】
図８は、意味関連度計算装置３による入力信号１，２と概念間との関連度の計算結果の一例を示す図である。図４の概念間関係表に示したように、見出語「悲鳴”グェッ”」「悲鳴”エッ！”」から直接的に関連度が与えられている概念「苦悶」「無理」「驚愕」への入力信号１，２の関連度がまず求められる。概念「苦悶」への関連度には、入力信号１，２と見出語「悲鳴”グェッ”」との関係強度９１．２５％に５５％を乗じた５０．１８％が付与される。概念「無理」への関連度には、見出語「悲鳴”グェッ”」「悲鳴”エッ！”」の双方からの関係強度が伝播するため、９１．２５％×４５％＋４４．５％×４０％＝５８．８６％が付与される。概念「驚愕」には、見出語「悲鳴”エッ！”」の関係強度４４．５％に４５％を乗じた２６．７％が付与される。見出語から直接的な関連度がない上位概念のうち「危険」は「苦悶」から関連度が伝播され、「困惑」は「苦悶」と「無理」から関連度が伝播する。入力信号１，２と概念「危険」との関連度は、「苦悶」と入力信号１，２との関連度５０．１９％に、「苦悶」「危険」間の関連度５４％を乗じた２７．１０％となる。また、入力信号１，２と概念「困惑」との関連度は、「苦悶」と入力信号１，２との関連度５０．１９％に「苦悶」「困惑」間の関連度４６％を乗じた２７．１０％と、「無理」と入力信号１，２との関連度５８．８６％に「無理」「困惑」間の関連度１００％を乗じた８１．９４％が付与される。
【００４１】
以上の例においては、従来技術のように、個別に入力装置を用いた認識技術では、必ずしも明瞭でない音声入力信号について、標準パタン「グェッ」との類似度が６０％である場合には、それが見出語「悲鳴”グェッ！”」であると断定すべきか、判定不能とすべきか設定者が迷うところであるが、本実施の形態では、複数の入力装置から送られてきた入力信号を用いて見出語との関係強度を求めることによって、見出語候補の信頼性を高めることが可能となる。
【００４２】
また、従来技術であったなら、仮に見出語の第一候補が明瞭に音声認識されたとしても意味が曖昧な悲鳴であるため使用者の意図を汲んで装置を制御するのは難しいところであるが、本実施の形態では、従来は切り捨てられていた第二候補以下の見出語についての関係強度も使用して概念との関連度を求めることによって、第一候補だけからでは強い関連付けが得られない概念も明瞭に認識することが可能となる。
【００４３】
ここで、意味関連度計算装置３は、入力信号との関連度を求める概念間の範囲として、見出語から当該概念に到達するまでのリンク数が規定値以下の範囲を対象に扱うようにする。概念間関係表における概念体系が数百概念程度の小規模であれば、入力信号と全概念との関連度を計算してもよいが、例えば汎用的な概念体系として国語辞典を電子化し、概念間のリンクに関連度を表す数値を与えた場合には、概念間の関連度をリンクの到達可能な全ての概念について計算していたのでは、その処理が膨大なものとなり、また入力信号の種別によって計算結果が得られるまでの時間に大幅な差が生じることにもなる。そこで、計算手数を強制的に制限できる停止条件として、関連度の計算対象とする概念については、当該概念に到達するまでのリンク数が規定値以下のものに制限する。これにより、関連度の計算手数が膨大に増加することを防ぐことができ、関連度の計算結果が一定時間で安定して得られるようになり、入力信号によっては計算結果が得られるまでに時間がかかるといった状態を回避することが可能となる。
【００４４】
図９は、判定装置４、突合装置５、背景情報蓄積装置６、利用確認装置７のそれぞれにおける処理の具体例を説明するための図である。ここでは、入力信号との関連度が付与された概念のうち、例えば「危険」「苦悶」「無理」といった、使用者の安全や健康に関わる概念であって、それを回避するための規則を想定できるものが突合装置５の起動原因に指定されているものとする。また、突合装置５の起動条件は、所定値が一律に関連度５０％で設定されているものとする。
【００４５】
概念「危険」は突合装置５の起動契機になり得るが、今回はその関連度が２７．１％であり所定値に足りないため、検索規則「危険原因・対処を検索」は実行されず、概念名（あるいは概念を示す記号等）、付加情報が背景情報蓄積装置６へ送られる。背景情報蓄積装置６では、その概念に対応する更新規則「２０％につき危険原因の重みを５％加重」等に従って背景情報を更新する。
【００４６】
概念「苦悶」は、突合装置５の起動契機に指定されており、関連度も５０．１８％であり所定値以上であるので、突合装置５が起動される。突合装置５は、この概念に関連する検索規則「怪我・病気の原因・対処を検索」を記憶装置１５から読み出して背景情報蓄積装置６に送る。背景情報蓄積装置６では、この検索規則に従って検索し、回答規則に従って回答する。
【００４７】
概念「無理」は、突合装置５の起動契機に指定されており、関連度も５８．８６％であり所定値の５０％以上であるので、突合装置５が起動される。突合装置５は、この概念に関連する検索規則「無理の原因・対処を検索」を記憶装置１５から読み出して背景情報蓄積装置６に送る。背景情報蓄積装置６では、この検索規則に従って検索し、回答規則に従って回答する。
【００４８】
概念「困惑」は、突合装置５の起動契機に指定されていないが、入力信号との関連度が８１．９４％であり所定値の５０％以上であるので、概念名、付加情報が背景情報蓄積装置６に送られる。背景情報蓄積装置６では、その概念に対応する更新規則「ストレス加算」等が実行される。
【００４９】
突合装置５から概念「苦悶」に対する検索規則「怪我・病気の原因・対処を検索」に従った検索要求があった場合、背景情報蓄積装置６が例えば入退室管理システムから入手した情報により「使用者が危険作業に従事中である」という背景情報を持っているとともに、回答規則に「危険作業に従事中ならば怪我が原因の８０％になる」を備えている場合には、背景情報蓄積装置６は、苦悶の原因について「怪我の可能性８０％」という回答を突合装置５に返信する。
【００５０】
ここで、背景情報蓄積装置６に概念「危険」が送られていて、更新規則「２０％につき危険原因の重みを５％加重」が適用されていた場合には、背景情報蓄積装置６は、回答中の「８０％」を「８５％」にかさ上げする。また、このとき、「怪我のときは直ちに作業停止」という回答規則を持っていれば、これを行動案の元となる情報として突合装置５へ回答する。
【００５１】
また、概念「無理」に対する検索規則「無理の原因・対処を検索」に従った検索要求があった場合、背景情報蓄積装置６が使用者のスケジュール帳情報といった時間的制約情報と時間的制約に余裕が５％以下になっているという情報を背景情報として備えており、回答規則に「時間的余裕が５％以下なら時間的余裕のなさが無理の原因の９０％になる」を備えている場合には、背景情報蓄積装置６は、「無理」の原因について「時間不足の可能性が９０％」という回答を突合装置５に返信する。さらに、スケジュール帳情報に予定の重要度が数値化されており、「時間不足なら重要度の最も低い予定をやめる」という回答規則を持っている場合には、背景情報蓄積装置６は、スケジュール帳の内容情報から最も重要度が低い予定Ａを選び、「予定Ａを中止」という情報を行動案の元となる情報として突合装置５へ送る。また、背景情報蓄積装置６は、予定Ａの詳細に関する情報を保持している場合には、予定Ａと現在従事中の作業が同一か否かも回答に加える。
【００５２】
背景情報蓄積装置６から、回答として「怪我の可能性８５％」「時間不足の可能性が９０％」「予定Ａを中止」等を受け取った突合装置５は、これらの数値を用いて重みを計算し、この重みを用いて優先順位を付け行動案を出力する。回答に予定Ａと現在従事中の危険作業が同一という情報が含まれているときには、重みを合算し行動案を一本化する。
【００５３】
行動案は、使用者に対して表示装置を通じて提示されるとともに、利用確認装置７へ送られる。一方、収集装置８は、使用者がスケジュール帳を修正したという情報や、退室したという情報等、使用者の取った行動に関する情報を収集し、これらの情報を利用確認装置７へ送る。
【００５４】
利用確認装置７は、行動案と使用者がとった行動の情報とを比較することにより、行動案が採用されたか否かを判断し、その結果を背景情報蓄積装置６へ送る。例えば予定Ａが中止されており行動案が採用されたと判断された場合には、背景情報蓄積装置６は、判定結果を背景情報として蓄積するとともに、使用者個人あるいはその所属集団について、例えば「時間不足の判定結果を５％加重」といった更新規則により背景情報を更新し、これを回答に反映させる。もちろん、安全に関わる背景情報のように使用者の好みに左右されてはならない場合には更新規則を設けないことも可能である。なお、利用確認結果を用いる更新規則が全くないときには利用確認装置７を省略することもできる。
【００５５】
なお、上記の説明では、行動案を受け取る主体を使用者と呼び、個人を想定して説明したが、行動案を受け取る主体が組織や自動機械であっても本意味認識装置は使用可能である。例えば、行動案を受け取る主体が自動機械である場合には、個人の好みに相当する反応は存在しないが、機械の性能ばらつき等による癖は存在し、そのような癖が行動案の採否を左右し得るので、利用確認の機能も有効になり得る。図１０，１１は、上記の処理例で用いた各数値をまとめた表である。
【００５６】
［各装置における処理の詳細］
ここでは、判定装置４、突合装置５、背景情報蓄積装置６、利用確認装置７における処理についてフローチャートを用いて詳細に説明する。
【００５７】
図１２は、判定装置４における処理のフローチャートである。
【００５８】
ステップ１１で、判定装置４は、意味関連度計算装置３から入力信号と概念との関連度を取得するとともに、概念の付加情報を取得する。付加情報は、例えば概念間関係表の各ノードに付加される属性情報である。その内容の例としては、起動対象であるか否か、緊急事態に該当するか否か、検索規則の指定、優先順位の指定、背景情報として扱うときの格納先等とする。
【００５９】
ステップ１２で、判定装置４は、入力信号と概念との関連度が所定値以上か否かを判定する。判定対象の概念が突合装置５の起動契機になっており、かつ関連度が所定値以上のときにはステップ１３へ進み、概念が突合装置５の起動契機になっておらず、かつ関連度が所定値以上のときにはステップ１４へ進む。
【００６０】
ステップ１３では、判定装置４は、概念名、その概念の付加情報、起動信号を突合装置５へ送信する。
【００６１】
ステップ１４では、判定装置４は、概念名、付加情報を背景情報蓄積装置６へ送信する。
【００６２】
図１３は、突合装置５における処理を示すフローチャートである。
【００６３】
ステップ２１で、突合装置５は、受け取った付加情報の判別を行う。判別の内容は、例えば、指定された検索規則が単一か複数か、複数のとき優先順位の指定はあるか等とする。
【００６４】
ステップ２２で、突合装置５は、検索規則を選択する。なお、指定された検索規則が単一の場合には、その検索規則を用いるので、この選択の処理は不要である。
【００６５】
ステップ２３で、突合装置５は、検索規則に基く検索要求を背景情報蓄積装置６へ送り、ステップ２４で、背景情報蓄積装置６からの回答を待つ。
【００６６】
ステップ２５で、回答を受け取ると、その回答をメモリに一次保存する。そして、未検索の概念がある場合にはステップ２２へ進んで上記処理を繰り返し、未検索の概念がない場合にはステップ２６へ進む。
【００６７】
ステップ２６で、突合装置５は、回答内容の判別を行う。一定の基準を満たす回答の場合にはステップ２７へ進み、そうでない場合には処理を終了する。判別の内容は、例えば、回答は単一か複数か、全ての回答の重みが小さく実質無回答でないか、行動案の元となる情報はあるか、それは単一か複数か、全ての行動案の元となる情報の重みが小さく実質案なしではないか、指定重要事項（緊急事態等）に該当するか否か、といったことである。
【００６８】
ステップ２７で、突合装置５は、回答に含まれる行動案の元となる情報に基いて行動案を選択し、ステップ２８でこの行動案を出力する。選択の基準は、例えば重みが大きい順、指定重要事項は重みが一定以上なら優先させる、両立する複数の行動案は併記も可能、とする。
【００６９】
図１４は、背景情報蓄積装置６における回答の処理を示すフローチャートである。
【００７０】
ステップ３１で、背景情報蓄積装置６は、受け取った検索要求を分析する。分析は、例えば、特定概念の関係項目、特定人の関係項目、特定数量の突出した項目、特定数量の組、特定書式の表等について行う。
【００７１】
ステップ３２で、背景情報蓄積装置６は、背景情報の検索を実行し、ステップ３３で、検索結果を分析する。この分析では、例えば突合装置の推定原因が発見できたか否かの判断、推定原因は単一か複数かの判断、重みは規定以上あるか否かの判断、行動案の元となる情報はあるかの判断、その情報は単一か複数かの判断、重みは規定以上あるかの判断、複数の場合、両立しない行動の組はあるかの判断、優先付けの理由はあるかの判断等を行う。
【００７２】
ステップ３４で、背景情報蓄積装置６は、行動案の元となる情報を回答規則に従って編集する。編集手法としては、例えば両立しない行動案の組について優先付け理由があるとき非優先案を削除する、優先付け理由がないとき条件付きで併記する、両立する行動案の組は条件無しで併記する等とする。ステップ３５で、背景情報蓄積装置６は、編集後の情報を突合装置５へ送る。
【００７３】
図１５は、背景情報蓄積装置６における背景情報の追加・更新の処理を示すフローチャートである。
【００７４】
ステップ４１で、概念名、付加情報を受け取った背景情報蓄積装置６は、付加情報の判別を行う。例えば分野別、データベース構造別、更新手法別等で判別する。
【００７５】
ステップ４２で、背景情報蓄積装置６は、受け取った情報を種類別にデータベースに振り分ける。既存のデータを更新する場合にはステップ４３へ進み、既存のデータを更新しない場合にはステップ４６へ進む。
【００７６】
ステップ４３で、背景情報蓄積装置６は、既存のデータを読み出し、ステップ４４で、付加情報の指示通りにデータの更新値を計算し、ステップ４５で既存のデータを更新値に入れ替える。例えば、付加情報が「使用者出現−登録者Ａ」との関連度が一定以上という内容の場合には、項目「使用者」をＡに更新する。また「使用者立ち去り」との関連度が一定以上という内容の場合には、項目「使用者」を空白にする。あるいは、「発汗検出」との関連度が一定以上の場合には、項目「緊張度」を一定割合だけ増加する。
【００７７】
ステップ４６では、背景情報蓄積装置６は、参照値を読み出し、ステップ４７で、付加情報の指示通りに値を計算し、ステップ４７で、格納先の空きを確認しそこへ計算値を格納する。
【００７８】
図１６は、利用確認装置７における処理を示すフローチャートである。
【００７９】
ステップ５１で、突合装置５から行動案を受け取ると、収集装置８が使用者の行動の観測を開始する。ステップ５２で、収集装置８、利用確認装置７は、使用者の行動が観測されるのを待つ。収集装置８は、使用者の行動を観測すると、その情報を利用確認装置７へ送る。
【００８０】
ステップ５３で、利用確認装置７は、使用者の行動を分析する。この分析では、例えばタイムアウトまで行動がなかったか否かの判断、行動案が採用されたか否かの判断、行動案と異なる行動が観測されたとき「行動案却下」の概念に観測結果に基く重みを付ける、行動案通りの行動が観測されたが時間がかかったとき「行動ためらい」の概念に所要時間に基く重みを付ける等を行う。
【００８１】
ステップ５４で、利用確認装置７は、背景情報蓄積装置６に対して行動分析結果を送る。背景情報蓄積装置６では、この行動分析結果を他の背景情報と同様に扱い蓄積する。例えば行動案が採用されなかった場合には、使用者の個人情報に、その行動を嫌う意味を持つデータを追加し、あるいはその強度数値を増加する。
【００８２】
［背景情報を収集する付加機構］
背景情報の収集には、付加機構の具体例がいくつか挙げられる。ここでは、入力信号と概念との関連度を直接的に求め、これを背景情報として背景情報蓄積装置６に蓄積させる形態について説明する。その収集手法には大きく２つのやり方がある。
【００８３】
１つは、図１７に示すように、外部機器からの背景情報用の入力情報を、入力装置からの入力信号と同様に類似度計算装置１に入力し、前述したものと同様の処理を行うことにより、概念との関連度を求めた上で背景情報蓄積装置６に蓄積させる手法である。この場合、本意味認識装置は、外部機器を前述した入力装置と特に区別することなく、入力装置として扱う。
【００８４】
もう１つは、図１８に示すように、外部機器からの入力信号の種別が概念に直結しているものについては、入力信号の値に基いて概念との関連度を直接的に求めて背景情報蓄積装置６に蓄積する手法である。外部機器として観測機器類を用いた場合には、その観測項目に直結した概念が存在することが多く、一律に類似度計算、見出し語割り当てを行うと非効率的であるので、この場合には概念との関連度を直接的に求める。
【００８５】
このように、用途に応じて上記の２つの手法を使い分ける。そして、蓄積された関連度は、意味関連度計算装置３により、背景情報蓄積装置６から読み出されて複数の入力信号と概念間との関連度の計算に用いられ、あるいは突合装置５からの要求に対して検索を行う際の背景情報として用いられる。
【００８６】
図１７の例では、収集装置８を入力装置として扱い、収集装置８により、インターネット等のネットワークを介して情報を収集し、これを類似度計算装置１に入力する。この入力情報としては、例えばＷＷＷ収集情報、着信メール等がある。
【００８７】
図１８の例では、３種類の観測機器を例示している。
【００８８】
まず１つめは、使用者が接触する操作部分に組み込まれた湿度計測器である。湿度計測器を例えばパソコン用のマウスに組み込む。この湿度計測器によって使用者の発汗を検出し、緊張感抽出装置２１により、発汗検出の絶対値あるいは増加率といった検出結果と所定値とを比較し、検出結果が所定値を上回ることに基いて、例えば発汗の検出結果と「緊張」や「平常心」といった精神状態を示す概念との関連度を求めて背景情報蓄積装置６に蓄積する。あるいは、操作部分に皮膚抵抗測定器を組み込むようにする。緊張感抽出装置２１では、皮膚抵抗測定器から出力された使用者の皮膚抵抗値を所定値と比較することにより、この皮膚抵抗値と精神状態を示す概念との関連度を求め、背景情報蓄積装置６に蓄積させる。
【００８９】
２つめは、使用者の位置を検出可能な位置検出装置である。位置検出装置から出力された使用者の位置データに基いて、特定区間移動抽出装置２２により当該位置データと活動状態を示す概念との関連度を求め、背景情報蓄積装置６に蓄積させる。位置検出装置は、例えば使用者が携帯する無線端末に組み込んだものとする。無線端末が通信接続に使用している無線ゾーンの位置データ、無線端末に搭載されたＧＰＳ（global positioning system）等からの位置データ、あるいは使用者がオフィスや会議室の入退室に用いるゲートカードの通行履歴によって得られる現在の位置データを用いて、これらのデータと「勤務中」「会議中」「休息中」といった概念との関連度を特定区間移動抽出装置２２により求めて背景情報蓄積装置６に蓄積する。この検出結果は確定的なものであり、無線に起因する誤りがなければ１００％の関連度を付与できる場合が多い。
【００９０】
３つめは、使用者を撮影する撮影装置である。使用者が情報機器の正面に位置する場合には情報機器に撮影装置を取り付けるようにする。この撮影装置によって使用者の顔を撮影し、人物特定装置２３により、撮影データと人物を特定するための概念との関連度を求め、背景情報蓄積装置に蓄積させる。例えば、撮影データが予めデータベース２４に登録されたものであるか、登録されたものであるなら誰かを人物特定装置２３により特定する。この場合、撮影データと概念「人名（ex Ａさん）」との関連度が付与される。関連度は通常１００％となるが、顔が似た複数の人名との関連度を配分する場合も想定される。さらに、人物が特定でき、登録された顔画像データに対して喜怒哀楽を意味する変異が検出された場合には、当該喜怒哀楽の概念との関連度を付与してもよい。
【００９１】
上記の他に、使用者が操作中あるいはウィンドウ選択されているアプリケーションプログラムの種別に対して、「メール閲覧中」「資料編集中」「調査中」等の概念との関連度を付与し背景情報蓄積装置６に蓄積させることも可能である。
【００９２】
［背景情報蓄積装置の詳細な構成例］
図１９は、背景情報蓄積装置６の詳細な構成の一例を示す図である。音声入力装置等からの入力信号に対して関連度が付与された概念、各観測機器等からの入力信号に対して関連度が付与された概念、インターネット検索により収集された情報に対して関連度が付与された概念等は、背景情報蓄積装置６において編集論理機能によって編集される。編集論理機能は、受け取った概念や関連度毎に、ルールデータベース３１に格納された追加規則、更新規則に従って、これらの情報を背景情報として各種のデータベースへの追加、更新する処理を行う。これらの情報の種類としては、最新の状態を収集すべき情報である一時情報と、以前の内容を使用する履歴情報の別がある。
【００９３】
一時情報は、入力装置、付加機構によって収集された情報に関連度が付与された概念によって更新される情報である。例えば、使用者の現在位置、実行中の作業、使用者の精神状態といったものが対象である。
【００９４】
履歴情報は、本意味認識装置の動作が繰り返されることによって累積される情報である。例えば、過去に出力した行動案が採用されたか否かの履歴、この履歴を集計して得られる行動案に対する満足度、インターネットの随時検索を累積して蓄えたある種の常識についての変遷、登録された使用者間や使用者と関係付けられた人物間の人間関係情報といったものが対象である。
【００９５】
一時情報に関する追加規則・更新規則は、例えば「”緊張”の概念に関連度が付与された発汗検出値に対して、一時情報データベース３２における使用者の精神状態の１つを示す”緊張度”の数値を関連度２０％につき１０増加する、以後２０分の間に新たな”緊張”の入力がない場合は復旧する」、「使用者に関する”移動”概念の関連度が付与されたとき、現在位置が第４実験室、第９実験室、第１３実験室のいずれかに移動したならば、一時情報データベース３２における使用者の項目”危険作業中”の論理値を真とする」といった規則とする。これらの規則は、本意味認識装置の設定者により設定される。
【００９６】
履歴情報に関する追加規則・更新規則は、例えば「意味認識の結果、”困惑”または”拒絶”の概念に５０％以上の関連度が付与されたとき、使用者の一時情報たる実行中作業がメール閲覧であり、着信メールの差出人が当該使用者の履歴情報における対人関係の項目に登録されている人物であれば、その人物に対する敵対度数値を５加算して更新する」、「休憩すべしとの行動案を提示したが使用者が採用しなかったときは、当該使用者の履歴情報たる過去実績休息の項目について実績値を５減算して更新する」といった規則とする。
【００９７】
一方、回答規則は、突合装置５が有する検索規則と対をなすように設定される。例えば、前述した入力信号「悲鳴”グェッ”」に関連度５０．６％が付与された概念「苦悶」を受けて、突合装置５が用いた検索規則「怪我・病気の原因・対処を検索」に対して、背景情報蓄積装置６における回答規則は、「怪我・病気の原因・対処の検索要求を受けたら、顔認識によって特定された使用者が危険作業従事中であるか、危険作業従事中であれば危険率および起こり得る事故の種類を示し、危険作業従事中でなければ現在従事中の作業とその繁忙度、使用者のストレス量、既往症を示せ」といった詳細化を行い、個々の要求項目を単純に検索する配下のデータベースを起動する。このとき、背景情報蓄積装置６では、規則設定者の指示に使用される用語の揺らぎを吸収するため、概念間関係表を援用した意訳を行う。別の例を挙げると、検索要求が感情的意味を割り当てられた悲鳴の入力信号に関係付けられた概念「困惑」によって起動された検索規則「対人関係を検索せよ」ならば、回答規則では「使用者が現在実行中の作業を検索し、その作業に関連付けられた人物について対人関係の項目に属する全ての数値を回答する」といった詳細化を行う。
【００９８】
回答規則のデータベースにおける項目のうち論理型あるいは数値型のものの一部には、その値がある条件のときに提示すべき行動案と、その行動案に重み付けするために用いる関連項目リストと、重みの計算式が付与されている。検索結果のうち、その値が条件を満たす行動案の存在するものが、回答において行動案とされる。例えば、ストレス量という項目には「値が８０％以上のとき、休息を推奨する」、あるいは対人関係なら「敵対度７０％以上ならば、依頼の拒絶を推奨する」という条件付きの行動案とする。
【００９９】
行動案に付与される重みは、その行動案が付与されていたデータベースにおける項目の値だけでなく、関連項目の値を用いて、例えば「依頼拒絶の重みを（１００％−時間の余裕度）×敵対度とする」といった計算式に従い算出する。ここで、回答された行動案が突合装置５において優先順位付けされることは前述したものと同様である。
【０１００】
［入力情報の別の例］
本意味認識装置は、複数の入力装置から入力情報を受け取ることを前提としたものであるが、入力装置のうちの少なくとも１つは、悲鳴、衝突音、爆発音、銃声、機械音のうちの少なくとも１つを含む音を収集する集音装置とすることができる。集音装置は、例えば、使用者の所持する携帯情報機器や車両に組み込まれ、意味認識装置とは無線により通信接続される。標準パタンは、これらの音信号をディジタイズしたデータファイルとする。衝突音等の認識にあたっては、これらの音信号をディジタル化し、スペクトル分布、周波数、音圧の変化について数値化し、予め用意された標準パタンとの類似度を計算し、これを基に概念への関連度を算出する。もちろん、衝突音等は、他の入力情報と複合して用いることができ、例えば音声入力装置により得られた使用者の悲鳴を用いるといった異種音声間の複合が考えられる。
【０１０１】
関連度が得られた後は、その概念に付与された所定の規則に従って、突合装置の起動契機となるか否かの分類がなされる。所定の規則とは、例えば概念「破壊」「爆発」との関連度が５０％を超える衝突音等は起動契機とする、といった１つ以上の規則の集まりである。こういった用途では、行動案は、人が判断して用いるものではなく、非常制動装置や自動消火装置等の緊急装置を直接制御するために用いられることが主となる。
【０１０２】
［機械化秘書システムへの適用］
本意味認識装置を用い、背景情報に使用者のスケジュール情報を含め、繁忙時に使用者宛ての新たな要請を含む情報が受信された後に、入力された入力信号が所定の概念に関連する場合に、突合装置を起動してスケジュール情報の修正案を行動案として提示することで、機械化秘書システムを実現できる。その処理の一例について、図２０のフローチャートを用いて説明する。ここでは、突合装置の起動契機として、困惑の概念が指定されているものとする。
【０１０３】
電子メールを閲覧中の使用者が「グェッ」と悲鳴を挙げた場合、音声入力装置がこの悲鳴を検出して、意味認識装置へ送る（ｄ１〜ｄ３）。意味認識装置では、類似度計算装置によりその入力信号と標準パタンと比較することにより、この入力信号が単語「グェッ」であると認識し、見出語割り当て装置、意味関連度計算装置での演算を経て概念「困惑」に関連すると判定し、突合装置を起動する。突合装置は、背景情報として電子メールの文面が蓄積された背景情報蓄積装置に対し、電子メールの文面から危険語を検索させる。ここでは、「期限」という単語が検索されたものとする。背景情報蓄積装置は、この検索結果のほか、使用者のスケジュールを検索し、突合装置に返す。突合装置は、スケジュールの残余空き時間を確認し、予定のキャンセル案を行動案として提案する（ｄ４）。使用者がその行動案に同意する旨を口頭で発した場合、その声を収集装置が収集し、利用確認装置へ送る（ｄ５）。利用確認装置は、行動案が採用されたと判断した場合には、背景情報蓄積装置に対して、そのレベルに応じて疲労度加算、満足度加算等の処理を実行させる。
【０１０４】
［監視システムへの適用］
本意味認識装置を用い、背景情報に使用者の従事中の作業に関する情報および対策情報を含め、起動契機として悲鳴、衝突音、爆発音、機械音といった特長的な音声及び音についての概念を指定しておき、作業中に入力された入力信号が指定された音声及び音についての概念に関連する場合に、突合装置５が対策情報を行動案として出力することで、乗り物の運転中における事故検知、警備活動、救助活動等における行動案を提示可能な監視システムを実現できる。その処理の一例について図２１のフローチャートを用いて説明する。
【０１０５】
戦闘区域において、銃声とその直後の「グェッ」という悲鳴を集音装置が集音し、意味認識装置へ送る（ｄ１１〜ｄ１３）。意味認識装置では、類似度計算装置により、音声入力信号と標準パタンとを比較することにより、この音声が単語「グェッ」であると認識し、銃声については概念「攻撃」へ関連付ける。これらの情報に基づいて意味認識装置では、入力信号と概念「苦悶」との関連度を求める。判定装置では、この関連度と、使用者の携帯する位置検知装置からの位置データに基き、使用者が一定時間移動していないことから異常と判定し、突合装置を起動する。突合装置では背景情報を検索して救助派遣を行動案として提示する（ｄ１４）。この後、収集装置により使用者の反応を収集し、利用確認装置により行動案が採用されたと判断した場合には、背景情報蓄積装置に対して、そのレベルに応じて疲労度加算、満足度加算等の処理を実行させる。
【０１０６】
以上、説明したように、本実施の形態によれば、類似度計算装置１により複数の入力信号と標準パタンとの類似度を計算し、見出語割り当て装置２により標準パタン対見出語対応表を用いて類似度を入力信号と見出語との関係強度へ変換し、意味関連度計算装置３により概念間関係表を用いて関係強度を入力信号と概念との関連度へ変換することで、複数の入力信号に基いて概念との関連度の算出が可能になるので、単一の入力装置からでは概念の抽出が困難な曖昧な入力信号についても有効な意味認識を実現することができる。
【０１０７】
本実施の形態によれば、入力信号と指定された概念との関連度が所定値以上の場合に突合装置５を起動し、突合装置５により、背景情報蓄積装置６に対して検索規則に従った検索を実行させ、背景情報蓄積装置６から回答規則に従った行動案の元となる情報を受け取り、この情報に基づいて行動案を選択し出力することで、複数の入力信号に応じた行動案を出力でき、従来は使用者にとって所望の処理が存在するにも関わらず使用者の意図が確認できないため何もしなかった場合についても有効な行動案を提示することが可能となる。また、複数の入力信号を併用しても単一の行動案を選定できないときには背景情報を援用することで、行動案に優先順位を付与することができる。
【０１０８】
本実施の形態によれば、見出語割り当て装置２において、入力信号と標準パタンとの類似度に標準パタンと見出語との関係強度を乗じたものを当該見出語について合計した値により、入力信号と見出語との関係強度を求めることで、複数の入力信号について見出語との関係強度を正確に求めることができる。
【０１０９】
本実施の形態によれば、意味関連度計算装置３において、入力信号と見出語との関係強度に当該見出語と概念との関連度を乗じたものを当該概念について合計した値により、入力信号と概念との関連度を求めることで、複数の入力信号について概念との関連度を正確に求めることができる。
【０１１０】
本実施の形態によれば、意味関連度計算装置３において、入力信号との関連度を求める概念間の範囲として、見出語から当該概念に到達するまでのリンク数が規定値以下の範囲を対象としたことで、関連度の計算手数が膨大に増加することを防ぎ、関連度の計算結果を一定時間で安定して取得することが可能となる。
【０１１１】
本実施の形態によれば、起動契機として指定されていない概念について判定装置４により関連度が所定値以上と判定された場合に、背景情報蓄積装置６により、当該概念について予め指定されている背景情報を追加規則又は更新規則の少なくとも一方に従って編集することで、起動契機になっていなくとも関連度が所定値以上の概念が検知された場合には、これを背景情報として有効に活用でき、より適切な行動案を提示することが可能となる。
【０１１２】
本実施の形態によれば、利用確認装置７により、行動案を受け取った使用主体がとった行動に関する情報に基いて行動案が利用されたか否かを判定し、利用されたと判定した場合に、その利用確認の結果を背景情報蓄積装置６に通知し、背景情報蓄積装置６により、行動案の利用確認の結果を背景情報として蓄積することで、使用主体がとった行動に関する情報が累積されていくので、次に行動案を提示するときには、より適切な行動案を提示することが可能となる。
【０１１３】
本実施の形態によれば、入力信号の種別が概念に直結しているものについては、入力信号に基いて直接的に計算された当該入力信号と概念との関連度を背景情報蓄積装置６に蓄積することで、類似度計算装置１、見出語割り当て装置２、意味関連度計算装置３での演算を省略し、処理負担の軽減を図ることができる。このようにして蓄積された情報は、突合装置５からの要求により検索する際の背景情報として利用でき、あるいは意味関連度計算装置３における複数の入力信号と概念間との関連度の計算にも利用することができる。
【図面の簡単な説明】
【０１１４】
【図１】一実施の形態における意味認識装置の構成例を示すブロック図である。長方形は装置を、丸みのある長方形は情報を、ドラム記号はデータベースをそれぞれ示す。矢印は情報の流れを示す。
【図２】標準パタンの例を示す模式図である。計算機上における形式は、インデクス部を汎用的な表データ格納形式とし、各標準パタンのデータ実体を個別ファイルとすることを想定している。各標準パタンのデータ実体は、入力信号に標準的な形式が存在すればその形式とし、存在しなければ汎用的な表データ格納形式等によることを想定している。
【図３】標準パタン対見出語対応表の例を示す模式図である。計算機上では汎用的な表データ格納形式等によることを想定している。
【図４】概念間関係表の例を示す模式図である。計算機上では、概念毎に概念名、任意数の関係概念先と関連度の組、突合装置または背景情報蓄積装置における任意数の各規則を並べた表データとなる。
【図５】意味認識装置における概略的な処理を示すフローチャートである。
【図６】類似度の計算結果の例を示す模式図である。
【図７】見出語割り当ての計算結果の例を示す模式図である。
【図８】意味関連度の計算結果の例を示す模式図である。
【図９】判定装置、突合装置、背景情報蓄積装置、利用確認装置のそれぞれにおける処理の具体例を説明するための図である。
【図１０】類似度計算、見出語割り当て、意味関連度計算の結果をまとめた表である。
【図１１】各概念について起動契機、検索条件、背景処理等との関係をまとめた表である。
【図１２】判定装置における処理を示すフローチャートである。
【図１３】突合装置における処理を示すフローチャートである。
【図１４】背景情報蓄積装置における回答の処理を示すフローチャートである。
【図１５】背景情報蓄積装置における背景情報の追加・更新の処理を示すフローチャートである。
【図１６】利用確認装置における処理を示すフローチャートである。
【図１７】背景情報用に入力情報を収集する機構を付加した意味認識装置の構成例を示すブロック図である。
【図１８】概念に直接関連する入力信号を収集する機構を付加した意味認識装置の構成例を示すブロック図である。
【図１９】背景情報蓄積装置の詳細な構成の一例を示す図である。
【図２０】意味認識装置を適用した機械化秘書システムにおける処理の一例を示すフローチャートである。
【図２１】意味認識装置を適用した監視システムにおける処理の一例を示すフローチャートである。
【符号の説明】
【０１１５】
１…類似度計算装置
２…見出語割り当て装置
３…意味関連度計算装置
４…判定装置
５…突合装置
６…背景情報蓄積装置
７…利用確認装置
８…収集装置
１１〜１５…記憶装置
２１…緊張感抽出装置
２２…特定区間移動抽出装置
２３…人物特定装置
２４…データベース
３１…ルールデータベース
３２…一時情報データベース
【図１】
2007018425.tif 000003
【図２】
2007018425.tif 000004
【図３】
2007018425.tif 000005
【図４】
2007018425.tif 000006
【図５】
2007018425.tif 000007
【図６】
2007018425.tif 000008
【図７】
2007018425.tif 000009
【図８】
2007018425.tif 000010
【図９】
2007018425.tif 000011
【図１０】
2007018425.tif 000012
【図１１】
2007018425.tif 000013
【図１２】
2007018425.tif 000014
【図１３】
2007018425.tif 000015
【図１４】
2007018425.tif 000016
【図１５】
2007018425.tif 000017
【図１６】
2007018425.tif 000018
【図１７】
2007018425.tif 000019
【図１８】
2007018425.tif 000020
【図１９】
2007018425.tif 000021
【図２０】
2007018425.tif 000022
【図２１】
2007018425.tif 000023