(57)【要約】【課題】ユーザーの行為の意図を認識し、これに対する反応を選択してユーザーへ出力することにより、ユーザーとの相互作用が可能な玩具およびその玩具のユーザーとの相互作用方法を提供する。【解決手段】本発明によれば、ユーザーとの相互作用が可能な玩具において、ユーザーの行為や音声の意図を２つ以上のセンサーなどの感知手段を用いて一層正確に把握することができるようにし、これによりユーザーに適切な応答が行われるようにすることにより、ユーザーと行為および音声を介して意思疎通し、一層リアルに楽しむことができるようにする、ユーザーとの相互作用が可能な玩具を提供する。【選択図】図１
2016087402.tif 000002
【特許請求の範囲】
【請求項１】
ユーザーとの相互作用が可能な玩具（以下、「ユーザー相互作用玩具」という）が、ユーザー意図を認識し、これに対する反応を表現する方法であって、
（ａ）ユーザーが発生させる刺激（以下、「入力刺激」という）を感知する２つ以上の異なる種類のセンサーの入力によって獲得された情報に基づいて、ユーザーが前記ユーザー相互作用玩具に伝達しようとする意味（以下、「ユーザーの意図」という）を判定する段階と、
（ｂ）判定されたユーザーの意図に基づいて、ユーザーに対して出力すべき反応を選択してユーザーに出力する段階とを含んでなることを特徴とする、ユーザー相互作用玩具のユーザー入力に対する反応表現方法。
【請求項２】
前記段階（ａ）で、前記入力刺激に対する各センサーの入力によって獲得された情報は、視覚情報、聴覚情報、触覚情報、嗅覚情報、味覚情報、運動情報および姿勢情報のうちの一つ以上であることを特徴とする、請求項１に記載のユーザー相互作用玩具のユーザー入力に対する反応表現方法。
【請求項３】
前記段階（ａ）は、
（ａ１１）２つ以上の異なる種類のセンサーでそれぞれ感知されたユーザーの特定の入力刺激に対する入力値を獲得する段階と、
（ａ１２）各センサーで感知された入力値を分析し、該当センサーで感知された前記入力刺激が示す情報（以下、「入力情報」という）の内容を決定する段階と、
（ａ１３）前記段階（ａ１２）で決定された前記入力情報の内容を組み合わせて、前記入力情報によるユーザーの意図を判定する段階とを含んでなることを特徴とする、請求項１に記載のユーザー相互作用玩具のユーザー入力に対する反応表現方法。
【請求項４】
前記段階（ａ）と前記段階（ｂ）との間に、
（ｂ０１）前記段階（ａ）でユーザーの意図が確定されない場合、その確定のためにユーザーに対する音声情報、音響情報、行為情報および映像情報のうちの一つ以上の出力を発生させる段階と、
（ｂ０２）前記段階（ｂ０１）の出力に対するユーザーの反応に基づいてユーザーの意図を判定する段階とをさらに含むことを特徴とする、請求項１に記載のユーザー相互作用玩具のユーザー入力に対する反応表現方法。
【請求項５】
前記段階（ｂ）で、判定されたユーザーの意図に基づいて、ユーザーに対して出力すべき反応を選択してユーザーへ出力する場合、
音声情報、音響情報、行為情報および映像情報のうち、一つ以上の情報を出力することを特徴とする、請求項１に記載のユーザー相互作用玩具のユーザー入力に対する反応表現方法。
【請求項６】
前記段階（ａ）でユーザーの意図が確定された場合、或いは確定されない場合について、ユーザーに対して出力すべき反応を選択してユーザーへ出力する場合、
データベースに既に格納されているシナリオに基づいてその出力内容を決定することを特徴とする、請求項４に記載のユーザー相互作用玩具のユーザー入力に対する反応表現方法。
【請求項７】
ユーザーの意図を認識し、これに対する反応を表現することにより、ユーザーとの相互作用が可能な玩具（以下、「ユーザー相互作用玩具」という）であって、
ユーザーが発生させる刺激（以下、「入力刺激」という）を感知し、その入力刺激に対する入力値を獲得するセンサー入力部と；
ユーザーの入力に対応する出力を発生させる出力部と；
入力刺激を感知する前記センサー入力部の２つ以上の異なる種類のセンサーの入力によって獲得された情報に基づいて、ユーザーが前記ユーザー相互作用玩具に伝達しようとする意味（以下、「ユーザーの意図」という）を判定するユーザー意図判定部と；
前記ユーザー意図判定部によって判定されたユーザーの意図に基づいて、ユーザーに対して出力すべき反応を選択する出力決定部と；
ユーザー意図判定のための基準データを格納する判定基準データベースとを含んでなることを特徴とする、ユーザー相互作用玩具。
【請求項８】
前記入力刺激に対する各センサーの入力によって獲得された情報は、視覚情報、聴覚情報、触覚情報、嗅覚情報、味覚情報、運動情報および姿勢情報のうちの一つ以上であることを特徴とする、請求項７に記載のユーザー相互作用玩具。
【請求項９】
前記センサー入力部の２つ以上の異なる種類のセンサーでそれぞれ獲得された、ユーザーが発生させた特定の入力刺激に対する入力値を分析することにより、該当センサーで感知された前記入力刺激が示す情報（以下、「入力情報」という）の内容を決定する入力情報内容決定部をさらに含み、
前記ユーザー意図判定部は、
各センサーで感知された入力値を用いて前記入力情報内容決定部が決定した前記入力情報の内容を組み合わせて、前記入力刺激に対するユーザーの意図を判定することを特徴とする、請求項７に記載のユーザー相互作用玩具。
【請求項１０】
前記ユーザー意図判定部は、
前記センサー入力部の２つ以上の異なる種類のセンサーの入力によって獲得された情報に基づく判定からユーザーの意図が確定されない場合、その確定のためにユーザーに対する音声情報、音響情報、行為情報および映像情報のうちの一つ以上の出力を発生させるように前記出力決定部を制御し、該当出力に対するユーザーの反応に基づいて、ユーザーの意図を判定する機能をさらに含み、
前記音声情報、音響情報、行為情報および映像情報のうちの一つ以上の情報を格納する出力情報データベースをさらに含むことを特徴とする、請求項６に記載のユーザー相互作用玩具。
【請求項１１】
前記出力決定部が、判定されたユーザーの意図に基づいて、ユーザーに対して出力すべき反応を選択してユーザーへ出力する場合、
音声情報、音響情報、行為情報および映像情報のうちの一つ以上の情報を出力し、
前記音声情報、音響情報、行為情報および映像情報のうちの一つ以上の情報を格納する出力情報データベースをさらに含むことを特徴とする、請求項７に記載のユーザー相互作用玩具。
【請求項１２】
前記ユーザー意図判定部によってユーザーの意図が確定された或いは確定されない場合について、ユーザーに対して出力すべき反応を選択してユーザーへ出力する場合、
その出力内容を決定するシナリオを格納するシナリオデータベースをさらに含むことを特徴とする、請求項１０に記載のユーザー相互作用玩具。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザーとの相互作用が可能な玩具、およびその玩具のユーザーとの相互作用方法に係り、さらに詳しくは、ユーザーの行為の意図を認識し、これに対する反応を選択してユーザーへ出力することで、ユーザーとの相互作用が可能な玩具、およびその玩具のユーザーとの相互作用方法に関する。
【背景技術】
【０００２】
従来の対話型玩具は、ユーザーの音声を認識し、それに対して幾つかの音声で応答する水準に過ぎなかった。これをさらに改善するために、ユーザーのタッチなどの行為を感知し、それに応じて反応する玩具が提案されたこともあるが、この場合も、一つの行為を１種類の感知手段を用いて認識することにより、類似する行為であるがユーザーの異なる感情や意図を表現する行為をより正確に認識することはできず、従ってユーザーとより細かな意思疎通が可能な行動を提供できていないという問題点があった。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明は、かかる問題点を解決するためになされたもので、その目的は、ユーザーとの相互作用が可能な玩具において、ユーザーの意図を２つ以上のセンサーなどの感知手段を用いてより正確に把握することができるようにし、これによりユーザーに適切な応答が行われるようにすることで、ユーザーと音声、音響、行為、映像などを介して意思疎通し、よりリアルに楽しむことができる、ユーザーとの相互作用が可能な玩具を提供することにある。
【課題を解決するための手段】
【０００４】
上記目的を達成するために、本発明に係るユーザーとの相互作用が可能な玩具（以下、「ユーザー相互作用玩具」という）が、ユーザーの意図を認識し、これに対する反応を表現する方法は、（ａ）ユーザーが発生させる刺激（以下、「入力刺激」という）を感知する２つ以上の異なる種類のセンサーの入力によって獲得された情報に基づいて、ユーザーが前記ユーザー相互作用玩具に伝達しようとする意味（以下、「ユーザーの意図」という）を判定する段階と、（ｂ）判定されたユーザーの意図に基づいて、ユーザーに対して出力すべき反応を選択して、ユーザーへ出力する段階とを含んでなる。
【０００５】
前記段階（ａ）で、前記入力刺激に対する各センサーの入力によって獲得された情報は、視覚情報、聴覚情報、触覚情報、嗅覚情報、味覚情報、運動情報および姿勢情報のうちの一つ以上であってもよい。
【０００６】
前記段階（ａ）は、（ａ１１）２つ以上の異なる種類のセンサーでそれぞれ感知されたユーザーの特定の入力刺激に対する入力値を獲得する段階と、（ａ１２）各センサーで感知された入力値を分析し、該当センサーで感知された前記入力刺激が示す情報（以下、「入力情報」という）の内容を決定する段階と、（ａ１３）前記段階（ａ１２）で決定された前記入力情報の内容を組み合わせて、前記入力情報によるユーザーの意図を判定する段階とを含んでもよい。
【０００７】
前記段階（ａ）と前記段階（ｂ）との間に、（ｂ０１）前記段階（ａ）でユーザーの意図が確定されない場合、その確定のためにユーザーに対する音声情報、音響情報、行為情報および映像情報のうち、一つ以上の出力を発生させる段階と、（ｂ０２）前記段階（ｂ０１）の出力に対するユーザーの反応に基づいて、ユーザーの意図を判定する段階とをさらに含んでもよい。
【０００８】
前記段階（ｂ）で、判定されたユーザーの意図に基づいて、ユーザーに対して出力すべき反応を選択してユーザーへ出力する場合、音声情報、音響情報、行為情報および映像情報のうち、一つ以上の情報を出力することができる。
【０００９】
前記段階（ａ）でユーザーの意図が確定された場合、或いは確定されない場合について、ユーザーに対して出力すべき反応を選択してユーザーへ出力する場合、データベースに既に格納されているシナリオに基づいて、その出力内容を決定することができる。
【００１０】
本発明の他の観点によれば、ユーザーの意図を認識し、これに対する反応を表現することによりユーザーとの相互作用が可能な玩具（以下、「ユーザー相互作用玩具」という）は、ユーザーが発生させる刺激（以下、「入力刺激」という）を感知し、その入力刺激に対する入力値を獲得するセンサー入力部と；ユーザーの入力に対応する出力を発生させる出力部と；入力刺激を感知する前記センサー入力部の２つ以上の異なる種類のセンサーの入力によって獲得された情報に基づいて、ユーザーが前記ユーザー相互作用玩具に伝達しようとする意味（以下、「ユーザーの意図」という）を判定するユーザー意図判定部と；前記ユーザー意図判定部で判定されたユーザーの意図に基づいて、ユーザーに対して出力すべき反応を選択する出力決定部と；ユーザー意図判定のための基準データを格納する判定基準データベースと；を含む。
【００１１】
前記入力刺激に対する各センサーの入力によって獲得された情報は、視覚情報、聴覚情報、触覚情報、嗅覚情報、味覚情報、運動情報および姿勢情報のうちの一つ以上であってもよい。
【００１２】
前記ユーザー相互作用玩具は、前記センサー入力部の２つ以上の異なる種類のセンサーでそれぞれ獲得された、ユーザーが発生させた特定の入力刺激に対する入力値を分析することにより、該当センサーで感知された前記入力刺激が示す情報（以下、「入力情報」という）の内容を決定する入力情報内容決定部をさらに含み、前記ユーザー意図判定部は、各センサーで感知された入力値を用いて、前記入力情報内容決定部が決定した前記入力情報の内容を組み合わせて、前記入力刺激に対するユーザーの意図を判定することができる。
【００１３】
前記ユーザー意図判定部は、前記センサー入力部の２つ以上の異なる種類のセンサーの入力によって獲得された情報に基づいた判定からユーザーの意図が確定されない場合、その確定のためにユーザーに対する音声情報、音響情報、行為情報および映像情報のうち、一つ以上の出力を発生させるように前記出力決定部を制御し、該当出力に対するユーザーの反応に基づいてユーザーの意図を判定する機能をさらに含み、前記音声情報、音響情報、行為情報および映像情報のうち一つ以上の情報を格納する出力情報データベースをさらに含んでもよい。
【００１４】
前記出力決定部が、判定されたユーザーの意図に基づいて、ユーザーに対して出力すべき反応を選択してユーザーへ出力する場合、音声情報、音響情報、行為情報および映像情報のうち一つ以上の情報を出力し、前記ユーザー相互作用玩具は、前記音声情報、音響情報、行為情報および映像情報のうちの一つ以上の情報を格納する出力情報データベースをさらに含んでもよい。
【００１５】
前記ユーザー相互作用玩具は、前記ユーザー意図判定部によってユーザーの意図が確定されるか、或いは確定されない場合について、ユーザーに対して出力すべき反応を選択してユーザーへ出力する場合、その出力内容を決定するシナリオを格納するシナリオデータベースをさらに含んでもよい。
【発明の効果】
【００１６】
本発明によれば、ユーザーとの相互作用が可能な玩具において、ユーザーの行為や音声の意図を２つ以上のセンサーなどの感知手段を用いて、より正確に把握することができるようにし、これによりユーザーに適切な応答が行われるようにすることで、ユーザーと行為および音声を介して意思疎通することをよりリアルに楽しむことができるようにする、ユーザーとの相互作用が可能な玩具を提供するという効果がある。
【図面の簡単な説明】
【００１７】
【図１】本発明に係るユーザー相互作用玩具がユーザーの入力に対する反応表現を行うためのフローチャートである。
【図２】ユーザーの特定の行為が様々なセンサーで感知される場合、センサーに基づくユーザー意図判定テーブルの一実施例を示す図である。
【図３】ユーザー意図判定のための方法の他の実施例として、ユーザーから入力できる行為のパターンまたは音声が認識された内容を行と列に全て同一に羅列し、そのマッチングによってユーザーの意図を把握するようにする判定テーブルを示す図である。
【図４】ユーザーが意図する内容を具体的に小分けした実施例を示す図である。
【図５】図４のようにユーザーの意図を区分した場合のユーザー意図判定テーブルの実施例を示す図である。
【図６】ユーザー意図判定のための方法の他の実施例として、ユーザーの行為によってユーザーの意図が把握されない場合、確定のためにユーザーに対して出力した音声に対するユーザーの反応からユーザーの意図を２次判定するための判定テーブルを示す図である。
【図７】本発明に係るユーザー相互作用玩具の構成を示す図である。
【図８】出力決定部で出力することに決定した音声情報、音響情報、行為情報および映像情報の内容の実施例を示す図である。
【図９】ユーザーの意図が確定された場合または確定されない場合の両方に使用する質問と返答のパターンを示す図である。
【図１０】質問と返答からなるシナリオの流れを一実施例として示す図である。
【発明を実施するための形態】
【００１８】
以下、添付図面を参照して本発明の好適な実施例を詳細に説明する。これに先立ち、本明細書及び請求の範囲に使用された用語又は単語は、通常的または辞典的な意味に限定して解釈されてならず、発明者は発明を最善の方法で説明するために用語の概念を適切に定義することができるという原則に立脚して、本発明の技術的思想と一致する意味と概念で解釈されなければならない。よって、本明細書に記載された実施例と図面に示された構成は、本発明の最も好適な一実施例に過ぎず、本発明の技術的思想をすべて代弁するものではない。このため、本出願時点においてこれらを代替することができる様々な均等物及び変形例があり得ることを理解しなければならない。
【００１９】
図１は本発明に係るユーザー相互作用玩具がユーザーの入力に対する反応表現を行うためのフローチャートである。図２はユーザーの特定の行為が様々なセンサーで感知される場合、センサーに基づくユーザー意図判定テーブルの一実施例を示す図、図３はユーザー意図判定のための方法の他の実施例として、ユーザーから入力されうる行為のパターンまたは音声で認識された内容を行と列に全て同一に羅列し、そのマッチングによってユーザーの意図を把握するようにする判定テーブルを示す図である。
【００２０】
以下では、図１のフローチャートに従って、図２および図３の実施例に係るテーブルを参照して本発明の方法を説明する。図２または図３の判定テーブルは、本発明のユーザー相互作用玩具１００（図７参照）の判定基準データベース１６０（図７参照）に格納されていてもよい。
【００２１】
まず、ユーザーは、玩具１００に対して特定の行為、姿勢、音声、音響などを入力し、玩具１００の２つ以上のセンサーでそのような行為、姿勢、音声、音響などに対して感知された入力値を獲得する（Ｓ１１０）。ここで、「行為」とは、ジェスチャー、玩具１００を撫でる、玩具１００と握手する、頭を左右に振る、瞬く、瞳の位置、顔の表情、タッチ、接近、移動などの動き（動作）といった多様な動作を意味する。姿勢はユーザーの静的なポーズなどを意味する。音声とは、人が発する声のうち「言葉」として認識できる音を意味し、「音響」とは、人が発する声のうちで笑え声、泣き声、咳の音、単純な叫び声など、「言葉」として表現され難い音を意味する。また、さらに広くは、ユーザーが発生させる臭いや味なども含むことができ、このような刺激もユーザーが玩具１００に対して入力できるもののうちの一つである。
【００２２】
すなわち、このようなユーザーの行為、姿勢、音声、音響、さらに広くはユーザーが発生させる匂いや味などを「入力」するということは、玩具に備えられた各種センサーによって、このようなユーザーが発生させる行為や姿勢、音声、音響、匂い、味などが感知できるようにすることを意味する。
【００２３】
要するに、ユーザーが玩具の各センサーの入力によって獲得できる情報は視覚情報や、聴覚（音）情報、触覚情報、嗅覚情報、味覚情報、運動情報、姿勢情報などの様々な刺激を含むものといえる。
【００２４】
段階Ｓ１３０で説明するように、ユーザーが発生させる行為や姿勢、音声、音響、匂い、味などが玩具１００のセンサーに入力された後、入力された情報からユーザーの意図を把握することになる。このようにセンサーを介して玩具に入力されるようにして、玩具がユーザーの意図を把握するようにするための要素として作用するもの、すなわち、ユーザーが発生させる行為や姿勢、音声、音響、匂い、味などの多様な刺激を総称して「入力刺激」と呼ぶことにする。
【００２５】
例えば、玩具のセンサー入力部１１０の「音センサー」や「マイク」などは、このような入力刺激の中でも、ユーザーの音声、音響を含む全ての音が入力でき、入力情報内容決定部１２０の音声認識部１２１はこれからユーザーの対話としての「音声」を認識することができる。また、音響認識部１２２は入力された音が前述したような「音響」の内容を認識する。また、行為認識部１２３はユーザーの多様な行為の内容を認識し、姿勢認識部１２４はユーザーの多様な姿勢の内容を認識する。
【００２６】
前述したように、図２はセンサーに基づくユーザー意図判定テーブルの一実施例を示す図である。すなわち、本発明は、ユーザーの特定の入力刺激に対して、このように様々なセンサー（入力デバイス）で感知されて入力されたデータを分析することにより、ユーザーの目的、状況、感情などを含むユーザーの意図を、既存の発明より一層正確に識別する技術的思想である。図２の第１行と第１列はユーザーの様々な入力刺激を感知するセンサーが羅列されており、各行と各列がマッチングするセルには該当センサーによって感知し把握されたユーザーの意図が例示されている。
【００２７】
また、図３の場合は、第１行と第１列に、センサー自体ではなく、ユーザーの特定の入力刺激に対して各センサーで感知し把握された入力刺激の内容が記載されている。すなわち、各センサーで感知された入力値を分析し、該当センサーで感知された前記入力刺激が示す情報（以下、「入力情報」という）の内容を決定した後（Ｓ１２０）、その行為に対して決定された入力情報の内容が第１列と第１行に羅列されているのである。その後、このように決定された前記入力情報の内容を組み合わせて、前記入力情報によるユーザーの意図を判定する（Ｓ１３０）。そのように判定されたユーザーの意図が図３の各行と各列のマッチングするセルに例示されている。
【００２８】
図３の判定テーブル３１０は、ユーザーからの入力刺激に対する２つ以上の異なる種類のセンサーの入力に基づいて、ユーザーの意図を把握するようにした判定テーブルである。このような方法を一つのテーブルで行うことができるように構成したのである。それだけでなく、図３の判定テーブルは、該当入力刺激に対する１つのセンサーの入力に基づいて、ユーザーの意図を把握できる場合まで含んでいる。また、図３の判定テーブル３１０には、「声」の内容のうちの音響要素が行、列に記載されていないが、そのような要素もユーザーの意図を把握するための第１行および第１列の行為の内容に含まれるのは勿論である。
【００２９】
図３の判定テーブル３１０の実施例において、「Ａ＿」は行為センサーまたは姿勢センサーによって感知された行為または姿勢を意味し、「Ｖ＿」は認識されたユーザーの音声内容を意味する。但し、この判定テーブル３１０における行または列に羅列された行為の内容は、前述したようにセンサーの感知した値それ自体ではなく、入力情報内容決定部１２０（図７参照）がセンサーの感知した値から認識した入力刺激の内容を意味する。
【００３０】
判定テーブル３１０において、たとえば、「強くタッチする（Ａ＿ｂ１）」および「弱くタッチする（Ａ＿ｂ２）」は、センサー入力部１１０（図７参照）のタッチセンサーによってそれぞれ異なる値として感知されたタッチ行為値から、行為認識部１２３（図７およびこれについての説明部分を参照）によって認識された行為の内容を意味する。前述したように、行為認識部１２３は、行為センサーで行為に対して感知された値から、入力情報内容パターンデータベース１７０を用いて、その行為パターンを認識するものである。すなわち、判定テーブル３１０で左側の列に記載された「頭を撫でる（Ａ＿ａ）」、「強くタッチする（Ａ＿ｂ１）」、「弱くタッチする（Ａ＿ｂ２）」…などは、いずれも行為認識部１２３によって認識された行為の内容を意味する。
【００３１】
また、同様に、「立つ（Ａ＿ｅ１）」、「座る（Ａ＿ｅ２）」および「横になる（Ａ＿ｅ３）」も、センサー入力部１１０の傾斜センサーでそれぞれ感知された値から、行為認識部１２３または姿勢認識部１２４によって認識された行為の内容を意味し、「Ａ＿ｃ１」および「Ａ＿ｃ２」、「Ａ＿ｄ１」および「Ａ＿ｄ２」などのそれぞれのペア（ｐａｉｒ）も、それぞれ一つのセンサーで、異なる値として感知された行為値から、行為認識部１２３によって認識された行為の内容を意味する。
【００３２】
判定テーブル３１０を参照すると、玩具１００において傾斜センサーで感知された行為値によって横になったと認識され（Ａ＿ｅ３）、加速度センサーで感知された行為値によって玩具１００が弱く揺れていると認識されたならば（Ａ＿ｄ２）、その２つの認識された入力刺激内容（またはパターン）によって現在ユーザーが玩具に対して「寝かせる」という意図を持つ行為をしていると一次的に判定する。
【００３３】
また、例えば、玩具１００を抱きしめる同一の行為であっても、タッチセンサーで感知された入力値の差によってその行為認識も異なり（Ａ＿ｂ１、Ａ＿ｂ２）、そこからユーザーの行為に含まれた意図も「ともて嬉しそうに抱きしめる」または「軽く抱きしめる」などと差別化して一次判定を行うことができる。
【００３４】
また、図３の判定テーブル３１０を参照すると、ユーザーの行為に対する１つ以上のセンサーの入力および入力された音声の認識によって把握された内容に基づいて、ユーザーの意図を判定する場合の例示も示されている。すなわち、加速度センサーで感知された行為値によってユーザーが近づいてきていると認識された場合（Ａ＿ｃ１）にユーザーの音声が「ごきげんよう」と認識されたならば、ユーザーが他の場所から今、玩具１００の方に近付いてきていること、すなわち判定テーブル３１０で「離れていてから出会う」とユーザーの意図が把握できる。また、加速度センサーで感知された行為値によってユーザーが遠ざかっていると認識された場合（Ａ＿ｃ２）に、ユーザーの音声が「ごきげんよう」と認識されたならば、ユーザーが一緒にいて、これから玩具１００から離れていくこと、すなわち判定テーブル３１０で「別れ」であるというユーザーの意図が把握できる。
【００３５】
図３の判定テーブル３１０において例えば行と列の行為が全て「Ａ＿ａ」である場合は、一つのセンサー入力値によって認識された行為からユーザーの意図を把握するものであって、静電気センサーによって頭部の静電気が感知された場合、これを直ちにユーザーが「頭を撫でる」動作をしているとその意図を把握するようにすることもできる。勿論、これを静電気センサー値のみから把握するか或いは静電気センサーとタッチセンサー値を用いて把握するかは、いかに精密にユーザーの意図を把握するかという問題になる。
【００３６】
図４はユーザーの意図の内容を具体的に小分けした実施例４１０を示す図であり、図５は図４のようにユーザーの意図を区分した場合のユーザー意図判定テーブル５１０の実施例を示す図である。
【００３７】
図４はユーザーの意図を「対話目的」、「状況」、「感情」の類型に区分しており、図５の第２行はそのように３つの要素に区分したユーザーの意図を示している。図５の第２行にも例示したように、ユーザーの対話目的／状況／感情のうち３つの要素が全て分析される場合もあり、１つまたは２つの要素のみ分析される場合もある。この際、１つの要素も分析されない場合、或いは分析されたとしてもユーザーの意図を把握するのに不十分である場合も起こりうる。この場合の実施例については図６を参照して後述する。
【００３８】
ユーザーがシステムに先ず意図を提示する場合もあり（視覚、聴覚、触角、その他のセンサー情報の提供）、システムがユーザーの意図を知るためにユーザーに質問する場合もある（視覚、聴覚、触角、その他のセンサー情報の提供）。後者の場合は、センサー入力による判定ではユーザーの意図が確定されない場合である。
【００３９】
テーブル４１０の例示に従って説明すると、ユーザーの行為を１つまたは２つ以上のセンサー入力によって分析したとき、ユーザーの「対話目的」は「対話要請」であり、現在の「状況」は午前に家で休みを取っている状況（家−休み（午前））であり、現在の感情は嬉しさであると判断できる。
【００４０】
また、例えば、ユーザーが顔を顰めながら（視覚センサー）「お腹が痛い」（聴覚センサー）と言うと、玩具１００は、ユーザーの意図が「お助け要請」であり、現在の感情は「苦痛」であると判断することができる。
【００４１】
ユーザーと玩具１００間の対話はシナリオに従って様々に構成できる。シナリオＤＢが予め構築されているため、現在のユーザーの意図（対話目的）、状況、感情に従って異なるシナリオが適用できる。
【００４２】
ユーザーに対して出力した音声へのユーザーの反応から、ユーザーの意図を二次的に判定する実施例については、図６および図４を参照してさらに後述する。
【００４３】
一方、前述したような段階を経てもユーザーの意図が把握されないこともある。図６は、このような場合にユーザー意図判定を行うための方法の実施例として、前述した段階によってユーザーの入力刺激からユーザーの意図が正確に把握されない場合（Ｓ１４０）、確定のためにユーザーに対して出力した音声へのユーザーの反応からユーザーの意図を二次的に判定するための判定テーブルを示す図である。
【００４４】
例えば、図３のテーブル３１０から、タッチセンサーで感知された入力値からユーザーが玩具１００を強くタッチしたと認識され、この際、他のセンサーで感知された内容がなければ、図３のテーブル３１０からユーザーの意図を把握することは難しい。この場合、玩具１００は、その意図を確定するために、ユーザーに対して「叩いたの？」と聞く音声を出力することができる（Ｓ１５０）。その後、ユーザーからの応答音声（ＲＶ、ｒｅｓｐｏｎｓｅ ｖｏｉｃｅ）が「うん」または「そう」などと認識されたならば、ユーザーが叩いたとユーザーの意図を把握し、ユーザーからの応答音声が「ううん」などと認識されたならば、ユーザーが叩いたのではないとユーザーの意図を二次的に判定することができる（Ｓ１６０）。
すなわち、ユーザーの意図が確定されない場合、その確定のためにユーザーに対して前述のように音声情報を出力するか、或いは音声情報以外に音響情報、行為情報および映像情報のうち一つ以上の出力を発生させ、その出力に対するユーザーの反応に基づいて、ユーザーの意図を判定するのである。
【００４５】
どんな音声を出力し、それによるユーザーの反応をどのようにマッチングさせてどんな意図として把握するかは、本発明の技術的思想の範囲内で非常に多様な方法があり得るのはもちろんである。
【００４６】
また、このように確定のためにユーザーに対して出力した音声へのユーザーの反応から、ユーザーの意図を二次的に判定する実施例を図４を参照して説明すると、ユーザーの対話目的／状況／感情のうち、３つの要素が全て分析される場合もあり、１つまたは２つの要素のみ分析される場合もありうる。この際、１つの要素も分析されない場合、或いは分析されたとしてもユーザーの意図を把握するのに不十分である場合、聞き返してユーザーの意図を把握することができる。
【００４７】
もう一つの例を挙げると、ユーザーが「お腹が痛い」（聴覚センサー）と言う場合、玩具１００は「誰が痛いんですか」と問い返す場合もあり、ユーザーが「お父さんがです」と答えると、システムが「ともて痛いなら１１９を呼びます。１１９にお電話を繋ぎましょうか？」と言った後、ユーザーが受け入れると（例えば、「うん」）すると、電話を直接つなぐこともできる。
【００４８】
ユーザーが「パンを食べたい」と言うと、玩具１００が「どんなパンが食べたいんですか」と言いながら、パンの絵を画面に表示（視覚情報を提供）することができ、ユーザーがそこから一つを選択するようにして（指でタッチするか、或いは音声で１番、２番のように選択するか、或いはパンの名前を直接話して）、オンラインで注文することもできる。
【００４９】
今までの段階を経てユーザーの意図が把握できる段階で（Ｓ１４０、Ｓ１６０）ユーザーの意図が把握されたならば、判定されたユーザーの意図に基づいて、それに対して玩具１００がユーザーに出力すべき反応を選択する（Ｓ１７０）。その出力は音声でもあり、玩具の動作でもある。選択された反応を出力することにより（Ｓ１８０）、ユーザーの行為または音声に対する玩具１００の反応表現を行う。
【００５０】
図７は本発明に係るユーザー相互作用玩具１００の構成を示す図である。フローチャートとユーザー意図判定のためのテーブルなどの実施例によって玩具１００の反応過程を詳細に説明したので、以下ではそのような過程を行うユーザー相互作用玩具１００の各構成モジュールの機能についてのみ簡略に説明する。
【００５１】
センサー入力部１１０は、ユーザーの入力刺激を感知してその入力刺激に対する入力値を獲得する。感知される入力刺激に行為、姿勢、音声、音響、匂い、味などの多様な「刺激」が含まれることは、前述したとおりである。
【００５２】
入力情報内容決定部１２０は、センサー入力部１１０の２つ以上の異なる種類のセンサーでそれぞれ獲得された、感知されたユーザーの特定の入力刺激に対する入力値からその行為のパターンを認識して、該当センサーで感知された前記入力刺激によって獲得された情報の内容を決定し、これにより、ユーザー意図判定部１３０は、各センサーで感知された入力値を用いて入力情報内容決定部１２０が決定した行為の内容を組み合わせて、前記入力刺激に対するユーザーの意図を判定する。
【００５３】
入力情報内容決定部１２０は、センサー入力部１１０で感知された入力刺激に対して感知された値から入力情報内容パターンデータベース１７０を用いてその音声、音響、行為、姿勢、匂い、味などを認識してその音声、音響、行為、姿勢、匂い、味などの内容を決定することができる。
【００５４】
このような前記入力情報内容決定部１２０の音声認識部１２１は、これからユーザーの対話としての「音声」を認識する。また、音響認識部１２２は、入力された音が前述のような「音響」である場合、その音響の内容を認識する。また、行為認識部１２３はユーザーの様々な行為の内容を認識し、姿勢認識部１２４はユーザーの様々な姿勢の内容を認識する。また、ユーザーが発生させた匂いを認識する嗅覚認識部１２５、およびユーザーが発生させた味を認識する味覚認識部１２６をさらに含むこともできる。
【００５５】
ユーザー意図判定部１３０は、ユーザーが前記ユーザー相互作用玩具１００に伝達しようとする意味（以下、「ユーザーの意図」という）を、前記センサー入力部１１０の２つ以上の異なる種類のセンサーの入力によって獲得された情報に基づいて判定する。すなわち、センサー入力部１１０で入力刺激を感知し、入力情報内容決定部１２０がそのように感知された入力刺激に対する内容を決定した後、決定された入力情報の内容からユーザー意図判定部１３０がユーザーの意図を判定する。
【００５６】
この際の判定のための判定基準データベース１６０はユーザー意図判定のための基準データを格納する。基準データの実施例は図２〜図５の判定テーブルによって例示して説明した。
【００５７】
出力決定部１４０は、ユーザー意図判定部１３０によって判定されたユーザーの意図に基づいて、ユーザーに対して出力すべき反応を選択する。出力決定部１４０は、ユーザーに対して出力すべき反応を、音声情報、音響情報、行為情報および映像情報のうちの一つ以上の方式で出力させるように決定する。このための出力情報データベース１８０を備える（Ｓ１８０）。
【００５８】
また、前記センサー入力部１１０で感知された入力刺激、および入力情報内容決定部１２０がそのように感知された入力刺激に対する内容決定によっても、ユーザー意図判定部１３０がユーザーの意図を判定することができない場合、出力決定部１４０は、ユーザーにユーザーの意図を把握するためにどんな音声を出力するかも決定する（図１、Ｓ１５０参照）。この際、出力は音声のみに限られず、すなわち音声情報以外にも音響情報、行為情報および映像情報のうち、一つ以上の方式で出力することができる。
【００５９】
すなわち、出力決定部１４０は、ユーザー意図判定部１３０による判定からユーザーの意図が確定された場合、或いは確定されない場合に対しても、ユーザーへの出力を決定する。この際、シナリオデータベース１９０を介してその出力すべき内容を判断することができる。
【００６０】
出力部１５０は、ユーザーの入力に対応して出力決定部１４０が決定した出力を発生させ、出力決定部１４０が決定したように音声情報、音響情報、行為情報および映像情報のうちの一つ以上の方式で出力を発生させる。
【００６１】
図８は出力決定部１４０で出力することに決定した音声情報、音響情報、行為情報および映像情報を格納する出力情報データベース１８０の内容の実施例を示す図であり、図９はユーザーの意図が確定された場合または確定されない場合の両方に使用する質問と、返答のパターンを示す図であり、図１０は質問と返答からなるシナリオの流れを一実施例として示す図である。
【００６２】
シナリオデータベース１９０における［質問１パターン］に該当する対話要請、知識要請、遊び要請などの場合は、ユーザーの意図が明らかに確定された場合である。
【００６３】
［質問１パターン］でユーザーの意図が不明確な場合、［返答１パターン］では「意図確認」または「必要な情報の要請」に該当する返答がユーザーへ出力される。例えば、「電話して」とユーザーが音声を出力すると、ユーザーの意図が不明確であるため、「誰にお電話しましょうか？」と問い返して、質問がユーザーに出力される。
【００６４】
［質問１パターン］でユーザーの意図が確定された場合、［返答１パターン］では「命令実行」、「検索」などユーザーの意図に合う返答が出力される。例えば、「ポロロの歌を聞かせて」とユーザーが「遊び対話」を要請すると、ユーザーの意図が明確であるため、「ポロロの歌を聴かせてあげます。」というセリフと共に、「ポロロ」の歌をローカルから探して流したり、ＹｏｕＴｕｂｅ（登録商標）で検索して動画を出力したりするなどの行動を取ることができる。
【００６５】
すなわち、ユーザーの意図が確定された場合であれ、そうでない場合であれ、シナリオデータベース１９０に基づいて制御が実行できる。シナリオは一種の規則基盤の知能化システムであると言える。シナリオのカテゴリーを超える場合は、統計または確率基盤で計算して次のシナリオを提示することができる。
【符号の説明】
【００６６】
１００    ユーザー相互作用玩具
３１０    １つまたは２つの行為センサー感知からの行為認識または音声認識によって、ユーザーの意図を把握する場合の実施例としての判定テーブル
４１０    ユーザーの意図する内容を具体的に小分けした実施例としてのテーブル
５１０    テーブルのようにユーザーの意図を区分した場合のユーザー意図判定テーブルの実施例
６１０    行為に対する確認質問によるユーザーの応答からユーザーの意図を把握する場合の判定テーブル
【図１】
2016087402.tif 000003
【図２】
2016087402.tif 000004
【図３】
2016087402.tif 000005
【図４】
2016087402.tif 000006
【図５】
2016087402.tif 000007
【図６】
2016087402.tif 000008
【図７】
2016087402.tif 000009
【図８】
2016087402.tif 000010
【図９】
2016087402.tif 000011
【図１０】
2016087402.tif 000012