(57)【特許請求の範囲】
【請求項１】
ユーザの表現を検知する複数のセンサを有し、前記センサからのセンサ入力に応じてインタラクション状態のレベルを変化するぬいぐるみ型音楽コミュニケーション装置同士を通信網を介して接続した音楽コミュニケーションシステムであって、
前記音楽コミュニケーション装置は、前記インタラクション状態のレベルおよびセンサ入力を含む状態情報を他の音楽コミュニケーション装置に送信する送信手段と、前記他の音楽コミュニケーション装置から送信された状態情報を受信する受信手段と、自己のセンサ入力および前記受信手段によって受信した前記状態情報に含まれるセンサ入力の少なくとも一方に応じて音を出力する音出力手段と、前記受信した状態情報に含まれるインタラクション状態のレベルに応じて、前記音出力手段によって出力する音を変更する音変更手段とを備える、音楽コミュニケーションシステム。
【請求項２】
前記音楽コミュニケーション装置は、前記自己のセンサ入力および前記受信した状態情報に含まれるインタラクション状態のレベルの少なくとも一方に基づいて自己のインタラクション状態のレベルを設定する設定手段をさらに備える、請求項１記載の音楽コミュニケーションシステム。
【請求項３】
前記音楽コミュニケーション装置は、前記受信した状態情報に含まれるセンサ入力に応じて出力される音の出力タイミングと前記自己のセンサ入力の入力タイミングとが一致するかどうかを判断する判断手段をさらに備え、
前記設定手段は、前記判断手段の判断結果が一致を示すとき前記自己のインタラクション状態のレベルを上昇させる、請求項２記載の音楽コミュニケーションシステム。
【請求項４】
前記音変更手段は、前記自己のセンサ入力、前記受信した状態情報に含まれるセンサ入力および前記受信した状態情報に含まれるインタラクション状態のレベルに応じて、前記音出力手段によって出力する音の音楽的要素および音量の少なくとも一方を変更する、請求項１ないし３のいずれかに記載の音楽コミュニケーションシステム。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
この発明は音楽コミュニケーションシステムに関し、特にたとえばユーザの表現を検知する複数のセンサを有し、センサからのセンサ入力に応じてインタラクション状態のレベルを変化し、または音を出力するぬいぐるみ型音楽コミュニケーション装置同士を通信網を介して接続した、音楽コミュニケーションシステムに関する。
【０００２】
【従来の技術】
近似する従来技術の一例としては、テレビ電話システムが存在する。テレビ電話システムでは、通話相手の表情をテレビ画面を通して認識して通話することができる。つまり、テレビ電話システムでは、遠隔地に存在する者同士が隣接する部屋に存在するかのように感じながら会話（コミュニケーション）することができるのである。
【０００３】
【発明が解決しようとする課題】
しかし、この従来技術では、互いに相手の様子（行動）を確認してコミュニケーションを取ることができるが、テレビ電話を常時接続した場合には、常に監視し監視されるという不快感を生んでしまう可能性があった。つまり、プライバシーの侵害を引き起こしてしまうという問題があった。
【０００４】
また、テレビ電話システムでは、音声（言葉）や映像（表情）を媒介としてコミュニケーションを行なうものであり、非言語の感覚的な情報を伝えることは困難であった。
【０００５】
それゆえに、この発明の主たる目的は、不快感を排除でき、非言語の感覚的な情報の伝達によるコミュニケーションを実現できる、新規な音楽コミュニケーションシステムを提供することである。
【０００６】
【課題を解決するための手段】
この発明は、ユーザの表現を検知する複数のセンサを有し、センサからのセンサ入力に応じてインタラクション状態のレベルを変化するぬいぐるみ型音楽コミュニケーション装置同士を通信網を介して接続した音楽コミュニケーションシステムであって、音楽コミュニケーション装置は、インタラクション状態のレベルおよびセンサ入力を含む状態情報を他の音楽コミュニケーション装置に送信する送信手段と、他の音楽コミュニケーション装置から送信された状態情報を受信する受信手段と、自己のセンサ入力および受信手段によって受信した状態情報に含まれるセンサ入力の少なくとも一方に応じて音を出力する音出力手段と、受信した状態情報に含まれるインタラクション状態のレベルに応じて、音出力手段によって出力する音を変更する音変更手段とを備える、音楽コミュニケーションシステムである。
【０００７】
【作用】
音楽コミュニケーションシステムでは、ユーザの表現（行為、ふるまい或いは音声）を検知する複数のセンサを有し、そのセンサからのセンサ入力に応じてインタラクション状態のレベルを変化するぬいぐるみ型音楽コミュニケーション装置（以下、単に「音楽コミュニケーション装置」という。）同士が通信網（ネットワーク）を介して接続される。一方の音楽コミュニケーション装置では、送信手段が自己のインタラクション状態のレベルおよびセンサ入力を含む状態情報を他方の音楽コミュニケーション装置に送信する。また、他方の音楽コミュニケーション装置から送信された状態情報が受信手段によって受信される。すると、音出力手段は、受信手段によって受信された状態情報のような非言語な情報に応じた音を出力する。つまり、ユーザは、音楽コミュニケーション装置を通して、他の音楽コミュニケーション装置と他の（それを使用する）ユーザとのコミュニケーションを音で感じることができるつまり、相互に音のやり取りすることができるので、音楽コミュニケーション装置を通して、遠隔地に存在する相手とコミュニケーションすることができるのである。
【０００８】
たとえば、音楽コミュニケーション装置では、音出力手段は、ユーザのセンサ入力に応じた音も出力する。つまり、音楽コミュニケーション装置は、ユーザと音楽コミュニケーション装置とのインタラクションによる音（音楽）および他の音楽コミュニケーション装置の状態情報に応じた音楽を奏でることができる。たとえば、他の音楽コミュニケーション装置からの状態情報に応じて、音楽コミュニケーション装置から出力される音楽（曲）を盛り上げたり、ジャムセッションすることもできる。
【０００９】
また、設定手段が、センサ入力および受信手段によって受信された状態情報の少なくとも一方に基づいてインタラクション状態のレベルを設定するので、設定手段で設定されたインタラクション状態のレベルに応じた音出力処理を実行することができる。たとえば、インタラクション状態のレベルが遷移（上昇）するにつれて、単なる人の声（音声）が和音のような音に変わり、さらに、曲のフレーズに変化するような音出力処理が可能である。
【００１０】
さらに、音楽コミュニケーション装置では、判断手段は、受信手段によって受信された状態情報、すなわち他の音楽コミュニケーション装置の状態情報に応じて出力される音の出力タイミングとセンサ入力の入力タイミングとが一致するかどうかを判断する。そして、判断結果が一致を示すとき、設定手段はインタラクション状態のレベルを上昇させる。つまり、他のユーザと他の音楽コミュニケーション装置とのコミュニケーションに起因して、音楽コミュニケーション装置のインタラクション状態のレベルを設定することもできる。
【００１１】
さらにまた、音変更手段が、センサ入力や他の音楽コミュニケーション装置の状態情報に応じて、音楽的要素（たとえば、音階、コード、リズム、メロディなど）および音量の少なくとも一方を変更するので、出力手段は、単なる音声だけでなく、或る音階に沿った音、和音或いは音楽などの音（楽器音を含む。）を出力することができ、また音量を調整することができる。
【００１２】
【発明の効果】
この発明によれば、他方の音楽コミュニケーション装置の状態情報に応じて、音を出力することができるので、音楽コミュニケーション装置を通して非言語な情報をやり取りすることにより、遠隔地に存在する相手とコミュニケーションできる。また、ユーザのプライバシーが侵害されるようなことはない。
【００１３】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【００１４】
【実施例】
図１を参照して、この実施例の音楽コミュニケーションシステム（以下、単に「システム」という。）１００は、公衆電話網、携帯電話網、インターネット或いはイントラネットのような通信網（ネットワーク）１０２を含む。このネットワーク１０２には、音楽コミュニケーション装置１０ａおよび音楽コミュニケーション装置１０ｂが接続される。また、図１から分かるように、音楽コミュニケーション装置１０ａの所有者（使用者）はユーザＡであり、音楽コミュニケーション装置１０ｂの使用者はユーザＢである。
【００１５】
なお、音楽コミュニケーション装置１０ａおよび音楽コミュニケーション装置１０ｂは、後述するように、無線ＬＡＮによって通信可能（送受信可能）にネットワーク１０２に接続されるが、有線で接続されてもよい。ただし、比較的近い距離に在る場合には、ネットワーク１０２を介さずに、電波等によって通信可能に接続されてもよい。
【００１６】
また、音楽コミュニケーション装置１０ａと音楽コミュニケーション装置１０ｂとの構成は同じである。したがって、以下には、音楽コミュニケーション装置１０ａの構成のみを説明し、音楽コミュニケーション装置１０ｂの構成についての説明は省略することにする。
【００１７】
図２（Ａ）および図２（Ｂ）を参照して、音楽コミュニケーション装置１０ａはぬいぐるみ１２を含み、ぬいぐるみ１２は動物或いはキャラクタを模した形状に形成される。ただし、この実施例では、ぬいぐるみ１２は、たとえば熊を模した形状であり、頭部１２ａ、耳部１２ｂ、鼻部１２ｃ、口部１２ｄ、胴体部１２ｅ、尻尾部１２ｆ、左腕部１２ｇ、右腕部１２ｈ、左脚部１２ｉおよび右脚部１２ｊ等を有している。このような各部位（１２ａ〜１２ｊ）のそれぞれには、後述する複数のセンサが設けられる（内蔵される）。
【００１８】
なお、図２（Ａ）および図２（Ｂ）においては、分かり易くするため、各センサはぬいぐるみ１２の表面（外側）に示してあり、また一部のセンサは省略してある。
【００１９】
具体的に説明すると、ぬいぐるみ１２の頭部１２ａには、ぬいぐるみ１２の表皮の内面に接するように配置された頭部タッチセンサ１４が設けられる。この頭部タッチセンサ１４には、少なくとも接触したかどうかおよび連続的な力の変化（押圧力）を検知できるピエゾ式の圧力センサが適用される。また、頭部１２ａに連続して設けられた耳部１２ｂには、オーディオセンサとしてのマイク１６が設けられる。さらに、鼻部１２ｃには、イメージセンサとしてのＣＣＤカメラ（以下、この実施例において、単に「カメラ」という。）１８および赤外線センサのような頭部近接センサ２０が設けられる。
【００２０】
ただし、赤外線センサの出力は通常オンであり、人物や物等を検知した場合に、出力が停止される。
【００２１】
そして、鼻部１２ｃの下方に配置される口部１２ｄには、上述の頭部タッチセンサ１４と同じ圧力センサからなる口部タッチセンサ２２が設けられる。また、同様に、口部１２ｄには、音階の一音（ド、レ、ミ、ファ、…）或いは音階に沿っていない一音（♯や♭つきの音）、異なる音階に沿ってフィルタをかけた人の声、和音或いは音楽のような音（パーカッションのような楽器音を含む。）を出力するためのスピーカ２４が設けられる。このスピーカ２４もまた、図２（Ａ）においては、分かり易く説明するため、ぬいぐるみ１２の表面に示してあるが、実際にはぬいぐるみ１２の内部に設けられる。
【００２２】
ただし、カメラ１８は、レンズ（図示せず）がぬいぐるみ１２から露出するように配置される。また、頭部近接センサ２０も同様に、図示は省略するが、赤外線センサの検知部（発光部／受光部）がぬいぐるみ１２から露出するように配置される。
【００２３】
また、胴体部１２ｅには、上述の頭部タッチセンサ１４と同じ構成の腹部タッチセンサ２６、ジャイロ（加速度計）２８および内部温度センサ３０が設けられる。図２（Ｂ）から分かるように、胴体部１２ｅにはまた、上述した頭部タッチセンサ１４と同じ背部タッチセンサ３２および上述した頭部近接センサ２０と同じ赤外線センサから構成された背部近接センサ３４が設けられる。また、胴体部１２ｅに含まれる尻部には、頭部近接センサ１６と同じ尻部近接センサ３６が設けられる。
【００２４】
ただし、背部近接センサ３４および尻部近接センサ３６は、赤外線センサの検知部がぬいぐるみ１２から露出するように配置される。
【００２５】
さらに、胴体部１２ｅに連続的に設けられる尻尾部１２ｆには、外部温度センサ３８が設けられる。この外部温度センサ３８は、少なくとも温度検出部（図示せず）が尻尾部１２ｆから露出するように配置される。また、図２（Ａ）および図２（Ｂ）に示すように、左腕部１２ｇ、右腕部１２ｈ、左脚部１２ｉおよび右脚部１２ｊには、各部位（１２ｇ〜１２ｊ）が曲がっているかどうかおよび曲がり角度を検知できるピエゾ式のベンドを用いた左腕ベンド４０、右腕ベンド４２、左脚ベンド４４および右脚ベンド４６のそれぞれが設けられる。
【００２６】
ただし、図２（Ａ）および図２（Ｂ）からよく分かるように、各ベンド（４０〜４６）は、その一方端が胴体部１２ｅまで延びて設けられる。
【００２７】
また、図２（Ａ）に示すように、左腕部１２ｇ、右腕部１２ｈ、左脚部１２ｉおよび右脚部１２ｊには、上述した圧力センサからなる左腕タッチセンサ４８、右腕タッチセンサ５０、左脚タッチセンサ５２および右脚タッチセンサ５４のそれぞれが設けられる。
【００２８】
この音楽コミュニケーション装置１０ａの電気的な構成は、図３のように示される。なお、音楽コミュニケーション装置１０ｂは、電気的な構成についても音楽コミュニケーション装置１０ａと同じであるため、その説明は省略する。
【００２９】
図３を参照して、音楽コミュニケーション装置１０ａはコンピュータ６０を含み、コンピュータ６０には上述したような各センサ（１４〜２２、２６〜５４）およびスピーカ２４が接続される。
【００３０】
また、コンピュータ６０はＣＰＵ６２を含み、ＣＰＵ６２は内部バス６４を介してＲＯＭ６６、ＲＡＭ６８、カウンタ７０、タイマ７２および無線ＬＡＮ７４のそれぞれに接続される。
【００３１】
なお、図３では省略するが、各センサ（マイク１６およびカメラ１８を除く。）はＡ／Ｄ変換器およびインターフェイスを介して内部バス６４に接続される。また、図示は省略するが、マイク１６はアンプ、Ａ／Ｄ変換器およびインターフェイスを介して内部バス６４に接続される。さらに、図示は省略するが、カメラ１８はインターフェイスを介して内部バス６４に接続される。さらにまた、図示は省略するが、スピーカ２４は、アンプ、Ｄ／Ａ変換器およびインターフェイスを介して内部バス６４に接続される。
【００３２】
ＲＯＭ６６にはメモリエリア６６ａ〜６６ｃが含まれており、メモリエリア６６ａには、ぬいぐるみ１２（音楽コミュニケーション装置１０ａ）の相互作用状態（インタラクション状態）のレベルを維持または遷移（レベルの上昇および下降）させるとともに、それぞれのレベルで各センサからの入力に応じた音を生成するためのプログラムが記憶されている。また、このプログラムは、他の音楽コミュニケーション装置１０ｂから送信されるデータ（センサ入力をデータ処理して生成した特徴ベクトル）に応じた音も生成する。
【００３３】
ここで、特徴ベクトルとは、音楽コミュニケーション装置１０ｂ（１０ａ）のセンサ入力を検知した結果をいい、少なくとも各センサへの入力の有無および入力の有るセンサの数を含むデータである。
【００３４】
ただし、タッチセンサやベンドセンサについては、入力の有無に加えて、その入力の度合い（押圧力や曲げ角度の大きさ）もデータに含まれる。
【００３５】
メモリエリア６６ｂには、インタラクション状態のレベルに応じた各センサの役割についてのマッピング（配置）が記憶される。また、他の音楽コミュニケーション装置１０ｂから送信されるインタラクション状態のレベルに対応する音楽コミュニケーション装置１０ａについてのインタラクション状態のレベルの遷移（レベル遷移）および音出力に関する制御情報を定義したマッピング（テーブル）も記憶される。これらのマッピング等については、後で詳細に説明する。
【００３６】
さらに、メモリエリア６６ｃには、予め収録しておいた人の声（音声）に対応する音声信号に対応するデータが記憶されている。この実施例では、音声信号は、異なる音程（音高Ｎ１、音高Ｎ２）に沿ってフィルタをかけられるため、異なる音程の音声信号が同時にスピーカ２４から出力される。したがって、音高Ｎ１および音高Ｎ２のそれぞれを制御することによって、高音から低音までの幅で高い声や低い声を演出することができる。
【００３７】
なお、この実施例では、音声以外の音、すなわち「Software Synthesizer」を音源として用いるようにしており、この音源「Software Synthesizer」はメモリエリア６６ｃに記憶してもよく、音を生成するためのプログラムとともにメモリエリア６６ａに記憶するようにしてもよい。
【００３８】
また、この実施例では、上述したような各センサからの信号（センサ信号）の取り込み処理、センサ信号の特徴ベクトルを抽出する処理、イベント（他の音楽コミュニケーション装置１０ｂのインタラクション状態）の認識処理、音楽マッピング（センサの役割についてのマッピング）処理および音を生成（音楽処理）するための処理（プログラム）をＣ＋＋言語を用いて汎用ＯＳ上で動作するアプリケーションプログラムとしてＰＣ６０上に実装した。
【００３９】
さらに、無線ＬＡＮ７４は、ＣＰＵ６２の指示に従って、ネットワーク１０２に接続される他の音楽コミュニケーション装置１０ｂとの間でやり取りされるデータ（この実施例では、特徴ベクトルおよびインタラクション状態のレベルについてのデータ）等を送受信する。
【００４０】
たとえば、この実施例では、インタラクション状態はレベル０〜レベル４の間で設定（遷移）され、レベル０〜レベル４のそれぞれに応じて各センサの役割が変更される。つまり、インタラクション状態は図４の模式図で示すように遷移される。また、上述したメモリエリア６６ｂには、各レベルに対応して、図５〜図７に示すような各センサについての役割の配置が記憶される。
【００４１】
なお、この実施例では、音楽コミュニケーション装置１０ａおよび音楽コミュニケーション装置１０ｂのそれぞれは、インタラクション状態のレベルの遷移および各センサの役割配置についても同様であるため、音楽コミュニケーション装置１０ａについてのみ説明し、音楽コミュニケーション装置１０ｂについての説明は省略することにする。
【００４２】
具体的には、インタラクション状態がレベル０の場合には、図５の左欄に示すように、各センサの役割が決定される。ただし、横棒を引いている欄については、制御がないことを意味している。以下、この実施例において同じである。
【００４３】
レベル０では、ぬいぐるみ１２（音楽コミュニケーション装置１０ａ）は、単純な、加工を施していない呼吸音を出力し、注意（興味）を引かれた時に呼吸を止める。このような呼吸音のタイミング制御すなわち呼吸音の出力／停止がマイク１６、カメラ１８および頭部近接センサ２０からの入力に応じて実行される。つまり、レベル０では、ぬいぐるみ１２が寝ている状態や人が近づいたときにぬいぐるみ１２が人間を意識するような演出がなされる。
【００４４】
たとえば、ぬいぐるみ１２（スピーカ２４）から常に呼吸音が出力されており、ぬいぐるみ１２（音楽コミュニケーション装置１０ａ）が興味を引かれた場合に、この実施例では、人物（ユーザＡ）が近づいた場合に、呼吸音が停止される。つまり、マイク１６は常に能動化されており、ＣＰＵ６２はマイク１６を介して入力される音声信号の信号レベル（音量）や音高（音楽でいう音符の音の高さ）の変化を検出し、信号レベルや周波数が変化した場合に、人が近づいたと判断する。つまり、人の声がした場合や扉を開閉するなどの物音がした場合に、人が近づいたと判断することができる。
【００４５】
なお、音声信号の周波数を解析して、人の声を判断し、人の声である場合にのみ、人が近づいたと判断するようにしてもよい。
【００４６】
また、カメラ１８は常に能動化されており、ＣＰＵ６２はカメラ１８を介して入力される映像信号から輝度レベルの変化を検出し、輝度レベルが変化した場合に、人が近づいたと判断する。このように、人が近づいたと判断できる具体例としては、ユーザＡが自身の顔や他の部位をぬいぐるみ１２に接近或いは接触した場合やぬいぐるみ１２を置いている部屋の照明装置を明滅させた場合などが考えられる。
【００４７】
さらに、頭部近接センサ２０は、ユーザＡが自身の顔や他の部位をぬいぐるみ１２の頭部１２ａ、特に鼻部１２ｃに接近或いは接触した場合に検出信号を出力する。したがって、ＣＰＵ６２はこれに応じて人が近づいたと判断する。
【００４８】
また、全体のテンポすなわちレベル０における呼吸音のテンポは、内部温度センサ３０および外部温度センサ３８からの入力に応じて変えられる。たとえば、ＣＰＵ６２は、内部温度センサ３０および外部温度センサ３８で検出されるぬいぐるみ１２内部の温度と外部の温度との差分を検出し、差分が小さい場合には、呼吸音を出力するテンポを遅くし、逆に差分が大きい場合には、呼吸音を出力するテンポを速くすることができる。たとえば、テンポ（速さ）を所定の範囲に決定しておけば、温度の差分に応じて連続的な速度変化でテンポを変更することができる。
【００４９】
なお、全体のテンポが変化した場合には、呼吸音、リズムの音、メロディ、コード（和音）の進行およびキー（音階の種類）の変化についてのテンポが変更される。また、上述したように、呼吸音を出力するテンポが変更されるが、呼吸音以外については適宜詳細に説明することとし、ここでは詳細な説明は省略する。
【００５０】
また、図４を参照して、インタラクション状態がレベル０の場合に、ユーザＡがぬいぐるみ１２に触れると、つまり、各タッチセンサ（１４、２２、２６、３２、４８、５０、５２、５４）やジャイロ２８からの入力があると、ＣＰＵ６２はインタラクション状態をレベル１に遷移（設定）する。ただし、センサ入力がない場合や上述のマイク１６、カメラ１８、頭部近接センサ２０、温度センサ３０および温度センサ３８からの入力の場合には、ＣＰＵ６２はレベル０を維持する。
【００５１】
さらに、後で詳細に説明するが、音楽コミュニケーション装置１０ａのインタラクション状態がレベル０の時に、他方の音楽コミュニケーション装置１０ｂのインタラクション状態がレベル２またはレベル３であれば、音楽コミュニケーション装置１０ａのインタラクション状態はレベル１に遷移（上昇）される。
【００５２】
インタラクション状態がレベル１の場合には、ぬいぐるみ１２（音声コミュニケーション装置１０ａ）は、予めＲＯＭ６６のメモリエリア６６ｃに記憶しておいた音声信号をスピーカ２４から出力し、ぬいぐるみ１２を触ったり、ぬいぐるみ１２に話しかけたりするなどのユーザＡの表現に対して返答（返事）する。そして、ユーザＡがぬいぐるみ１２を触る時間が長くなるにつれて、返事の間隔を短くし、人が接触した部位のセンサからの入力回数が増えるにつれて次第に同期していく。つまり、ユーザＡがぬいぐるみ１２に触れる回数が増えると、次第に返事をするまでの時間が短くなる。
【００５３】
ただし、レベル１では、役割が配置されていないセンサからの入力があった場合には、その入力回数をカウンタ７０でカウントするだけであり、出力する音の制御（変更）には利用されない。すなわち、カウント値は、音量や音響の変化に用いられるだけであり、単なる音が和音に変化したり、和音が曲のフレーズに変化したりするような制御には用いられることはない。また、後述する、レベル２およびレベル３についても同様である。
【００５４】
具体的には、各センサの役割は図５の右欄のように示され、各センサからの入力に応じて、会話（返事）速度、応答速度（返事をするまでの時間）および音量などを制御している。たとえば、カウンタ７０によって、各センサからの入力回数がカウントされ、ＣＰＵ６２は、カウンタ７０のカウント値が増加するに従ってスピーカ２４から出力する音声信号の音量を大きくする。つまり、ユーザＡがぬいぐるみ１２に触れる回数が増加すると、ぬいぐるみ１２からの返事の声が大きくなる。
【００５５】
また、左腕ベンド４０からの入力があると、ＣＰＵ６２は、音声信号の音高Ｎ１を変更する。具体的には、左腕部１２ｇの曲がり角度が大きくなるにつれて音高Ｎ１が大きくされ、逆に左腕部１２ｇの曲がり角度が小さくなるにつれて音高Ｎ１が小さくされる。ただし、左腕部１２ｇの上げ下げで音高Ｎ１を大きくしたり、小さくしたりすることもできる。
【００５６】
さらに、右腕ベンド４２からの入力があると、ＣＰＵ６２は、音声信号の音高Ｎ２を変更する。つまり、ユーザＡがぬいぐるみ１２の右腕部１２ｊを曲げるとその曲がり角度に応じて音高Ｎ２の大きさが変化する。音高Ｎ２の大きさの変化については、ユーザＡがぬいぐるみ１２に左腕部１２ｇを曲げた場合と同じであるため、重複した説明は省略する。
【００５７】
つまり、ぬいぐるみ１２が返事する声を低い声から高い声の間で連続的に変化させることができる。ただし、この実施例では、低い声と高い声とは音声信号をフィルタにかけるときの音高Ｎ１および音高Ｎ２によって決定される。
【００５８】
そして、口部タッチセンサ２２から入力があると、ＣＰＵ６２は、会話速度を速くする。つまり、ユーザＡがぬいぐるみ１２の口部１２ｄを触る（撫でる）と、ぬいぐるみ１２が速くしゃべるようになる。
【００５９】
また、少なくとも１つのセンサから入力があると、ＣＰＵ６２は、音声信号の出力タイミングすなわち出力のオン／オフを制御する。具体的には、ユーザＡがぬいぐるみ１２に対して表現を示している間、すなわちぬいぐるみ１２を触ったり、ぬいぐるみ１２に声をかけたりしている間では、音声信号が出力される。一方、ユーザＡがぬいぐるみ１２に対する表現を止めると、音声信号の出力が停止される。
【００６０】
さらに、タイマ７２によって、レベル１が設定されてから現時点までの時間（期間）がカウント（計測）され、ＣＰＵ６２は、タイマ７２のタイマ値に従って遅延時間（応答速度）すなわち返事をするまでの時間や返事を止めるまでの時間を変更する。たとえば、タイマ値が大きくなるにつれて、応答速度が速くなるようにし、ユーザＡの入力に対して次第に同期（シンクロ）するようにすることができる。つまり、この遅延時間によって、上述した音声信号の出力をオン／オフする応答時間が規定される。
【００６１】
このようにして、インタラクション状態とセンサの入力との両方によって、ぬいぐるみ１２（音楽コミュニケーション装置１０ａ）のリアクションすなわち出力する音を生み出している。
【００６２】
また、図４に示すように、インタラクション状態がレベル１の場合に、ぬいぐるみ１２が抱き上げられると、すなわち背部近接センサ３４、尻部近接センサ３６やジャイロ２８からの入力があると、インタラクション状態がレベル２に遷移（設定）される。ただし、センサ入力がない場合には、インタラクション状態はレベル１に維持される。
【００６３】
一方、インタラクション状態がレベル１の場合に、ユーザＡがぬいぐるみに数秒（この実施例では、５秒）触れなければ、つまり数秒間各タッチセンサやジャイロからの入力がなければ、インタラクション状態がレベル０に設定される。
【００６４】
インタラクション状態がレベル２の場合には、ぬいぐるみ１２（音声コミュニケーション装置１０ａ）は、レベル０における呼吸を和音に沿った音高でフィルタをかけて出力する。また、レベル１における音声を音階に沿った音高で出力する。そして、返事を次第に同期させて、さらに音楽を想起させる音を出力するとともに、その音のテンポや他の音楽的要素を変更する。
【００６５】
具体的には、図６の左欄に示すように、各センサの役割が配置され、各センサからの入力に応じて、ＣＰＵ６２は、全体的なテンポ、音声および呼吸音の各要素を変更する。
【００６６】
左腕ベンド４０、右腕ベンド４２、左脚ベンド４４或いは右脚ベンド４６のいずれかから１秒毎の周期で入力があれば、全体のテンポが変更される。つまり、そのような入力が連続するにつれて、テンポが速くなる。つまり、ユーザＡがぬいぐるみ１２の左腕部１２ｇ、右腕部１２ｈ、左足部１２ｉ或いは右足部１２ｊのいずれか１つ或いは２つの部位を掴んで、１秒周期で動かすと、次第に音声および呼吸音の出力間隔が短くされる。
【００６７】
なお、１秒毎に入力があるかどうかは、左腕ベンド４０、右腕ベンド４２、左脚ベンド４４および右腕ベンド４６の出力を検出するとともに、タイマ７２のタイマ値を検出することによって知ることができる。
【００６８】
音声については、上述したように、レベル１の場合とほぼ同じであるため、重複した説明は省略する。つまり、音声の遅延時間は、テンポによって決定される点が、レベル１とは異なる。具体的には、テンポが速ければ、ユーザＡの表現に対して速く返事をし、テンポが遅ければ、ユーザＡの表現に対して少し遅れて返事をする。
【００６９】
また、呼吸音については、ＣＰＵ６２は、左脚ベンド４４および右脚ベンド４６からの入力の平均値を算出し、平均値の大きさに応じて呼吸音の音量を調整する。つまり、ユーザＡがぬいぐるみ１２の左脚部１２ｉおよび右脚部１２ｊを掴んで、それぞれを交差するように動かすとき、左脚部１２ｉと右脚部１２ｊとがなす角度の大きさで音量が変更される。つまり、角度が大きければ、音量が大きくされ、角度が小さければ、音量が小さくされる。さらに、左脚部１２ｉおよび右脚部１２ｊを動かす周期が１秒であれば、上述したように、呼吸音の出力間隔が短くされる。
【００７０】
また、入力されたセンサの数をカウンタ７０でカウントし、ＣＰＵ６２は、カウンタ７０のカウント値に応じて音響が調整される。たとえば、閾値となるカウント値を予め設定しておき、カウンタ７０のカウント値が設定した閾値を下回っている間はモノラルで呼吸音を出力し、カウンタ７０のカウント値が閾値以上になると、ステレオの呼吸音を出力するようにすることができる。
【００７１】
さらに、左腕タッチセンサ４８および右腕タッチセンサ５０の両方から入力があれば、つまりユーザＡがぬいぐるみ１２の両腕を掴むと、ＣＰＵ６２は、ハーモニが構築された呼吸音をスピーカ２４から出力する。また、左腕タッチセンサ４８および右腕タッチセンサ５０の両方から入力がある毎に、つまりユーザＡがぬいぐるみ１２の両腕を掴んだり、離したりする毎に、異なるハーモニを構築することもできる。ただし、頭部近接センサ２０から入力があれば、つまりユーザＡがぬいぐるみ１２の両腕を掴んで、ユーザＡの顔や胴体をぬいぐるみ１２の鼻部１２ｃに近づけた場合には、構築されたハーモニが保持（固定）される。
【００７２】
ただし、レベル２においては、呼吸音や音声に変えて、音源「Software Synthesizer」を用いて、パーカッションの音を出力するようにしてもよい。または、呼吸音や音声の一部をパーカッションの音に変えて出力するようにしてもよい。たとえば、頭部タッチセンサ１４には音声を割り当て、背部タッチセンサ３２にはバスドラムを割り当て、左腕タッチセンサ４８にはスネアドラムを割り当て、そして、右腕タッチセンサ５０にはシンバルを割り当てるようにすれば、ユーザＡの表現に対して音声やパーカッション（バスドラム、スネアドラムまたはシンバル）の音によって返事をすることができる。
【００７３】
このようにすれば、ぬいぐるみ１２（音楽コミュニケーション装置１０ａ）は、ユーザＡの表現に応じて単に返事するだけでなく、リズム楽器として用いられるのである。
【００７４】
また、図４に示すように、インタラクション状態がレベル２の場合に、ユーザＡの表現すなわちセンサ入力がリズミカルな入力であれば、インタラクション状態がレベル３に遷移（設定）される。或いは、後で詳細に説明するように、他方の音楽コミュニケーション装置１０ｂからのセンサ入力（特徴ベクトル）に応じて、音楽コミュニケーション装置１０ａから出力される音とタイミングが一致するような入力をユーザＡが入力した場合にも、インタラクション状態がレベル３に設定される。ただし、前者のようなリズミカルな入力や後者のようなタイミングが一致するような入力がない場合には、インタラクション状態はレベル２に維持される。
【００７５】
一方、インタラクション状態がレベル２の場合に、ぬいぐるみ１２が数秒放置されると、つまりジャイロ２８、背部近接センサ３４や尻部近接センサ３６からの入力があり、この状態が３秒以上続けば、インタラクション状態がレベル１に設定される。
【００７６】
インタラクション状態がレベル３の場合には、ぬいぐるみ１２（音声コミュニケーション装置１０ａ）は音楽的な操作を制御する。具体的には、各センサの役割配置は、図６の右欄のように示され、各センサからの入力に応じて、主として音楽的要素（音階、コード、メロディおよびリズムなど）が変更される。
【００７７】
ただし、この実施例では、コード（和音）の種類は６種類である。また、音階の種類は、ハ長調、ニ長調、ホ長調、…、変ホ長調、変ト長調の１２種類である。さらに、リズムの種類は４種類である。
【００７８】
全体としては、ＣＰＵ６２は、いずれかの（任意の）センサからリズミカルな（規則的な）入力を検知すると、テンポを変更する。つまり、ユーザＡがぬいぐるみ１２を掴んで、ぬいぐるみ１２自体をリズミカルに動かしたり、ぬいぐるみ１２の一部の部位をリズミカルに動かしたり、或いは触ったりすると、全体のテンポが速くなる。ただし、テンポが速くなった後に、不規則な入力があれば、次第にテンポが遅くなる。また、入力がなくなると、テンポが一定の速さに固定（保持）される。
【００７９】
なお、ＣＰＵ６２は、ぬいぐるみ１２自体をリズミカルに動かしたことは、ジャイロ２８からの入力を検出することによって判断できる。
【００８０】
また、左脚ベンド４４からの入力があれば、ＣＰＵ６２は、スピーカ２４から出力する音の音量を大きくする。一方、右脚ベンド４６からの入力があれば、ＣＰＵ６２は、スピーカ２４から出力する音の音量を小さくする。つまり、ユーザＡがぬいぐるみ１２の左脚部１２ｉおよび右脚部１２ｊを曲げると、音量が大きくされたり、小さくされたりする。
【００８１】
さらに、右腕ベンド４２からの入力があれば、ＣＰＵ６２は、スピーカから出力される音のコードを変更する。上述したように、この実施例では、６種類のコードが用意されており、右腕ベンド４２からの入力がある毎に、すなわちユーザＡがぬいぐるみ１２の右腕部１２ｈを曲げ延ばししたり、上げ下げしたりする毎に、コードの種類が更新される。
【００８２】
このとき、コードは、上述したテンポに応じて更新速度を変更される。具体的には、右腕ベンド４２からの入力があると、テンポで規定される速さで、コード(I) からコード（II）に更新される。つまり、テンポが速ければ、右腕ベンド４２からの入力があると、すぐにコードの種類が更新されるが、テンポが遅ければ、入力から少し遅れてコードの種類が更新される。
【００８３】
なお、テンポが速い場合には、右腕ベンド４２からの入力があると、コード(I) からコード（III)のように間のコード（II）を飛ばして更新することもできる。
【００８４】
また、右腕部１２ｈを曲げる角度の大きさや右腕部１２ｈを上げる角度の大きさでコードの種類を更新するようにすることもできる。
【００８５】
また、頭部タッチセンサ１４からの入力がたとえば１秒以上継続すれば、ＣＰＵ６２は、スピーカ２４から出力する音のキー（音階）の種類を変更する。上述したように、この実施例では、１２種類のキーを用いて、入力がある毎にキーが高くされる。つまり、ユーザＡがぬいぐるみ１２の頭部１２ａを１秒以上触り続けると、または撫でると、キーがハ長調からニ長調に変更される。そして、頭部１２ａを触るのを止めると、ニ長調でキーが固定される。さらに、頭部１２ａを１秒以上触ると、キーがニ長調からホ長調に変更される。
【００８６】
ただし、キーが変更される速さは、上述のテンポで規定され、頭部タッチセンサ１４から１秒以上の入力があると、テンポが速い場合には、すぐにキーが変更され、テンポが遅い場合には、１秒以上の入力から少し遅れてキーが変更される。
【００８７】
なお、テンポが速い場合には、キーがハ長調からホ長調のように間のニ長調を飛ばしてキーを変更することもできる。
【００８８】
また、所定のキーが決定されると、音声や呼吸音はそのキーに沿って出力される。つまり、音声や呼吸音がそのキーの音を出力するようにフィルタリングされる。
【００８９】
また、音声については、レベル１で示した場合とほぼ同じであるため、重複した説明は省略する。つまり、音高Ｎ１の変更が異なる点である。具体的には、レベル３が設定されてから３０秒が経過するまでは、左腕タッチセンサ４８が有効にされ、左腕タッチセンサ４８からの入力があると、ＣＰＵ６２は、音声の音高Ｎ１を変更する。つまり、ユーザＡが左腕部１２ｇを触っている時間が長くなるにつれて、音量が大きくされる。また、レベル３が設定されてから３０秒が経過すると、左腕ベンド４０が有効にされ、左腕ベンド４０からの入力があると、ＣＰＵ６２は、後述するように、メロディ音の音高を変更する。
【００９０】
呼吸音については、左腕タッチセンサ４８からの入力があると、つまりユーザＡがぬいぐるみ１２の左腕部１２ｇを触ったり、掴んだりすると、ＣＰＵ６２は、呼吸音の音量を変更する。たとえば、左腕タッチセンサ４８から継続して入力がある場合に音量を大きくしたり、左腕タッチセンサ４８から入力される圧力の大きさが大きくなるにつれて音量を大きくしたりすることができる。逆に、左腕タッチセンサ４８から入力される圧力の大きさが小さくなると、音量を小さくすることもできる。
【００９１】
また、腹部タッチセンサ２６からの入力或いは左脚ベンド４４および右脚ベンド４６からの入力があると、ＣＰＵ６２は、呼吸音の音響を変更する。たとえば、ユーザＡがぬいぐるみ１２の腹部を触ったり、撫でたりすると、腹部タッチセンサ２６から入力があり、その入力がある毎に、呼吸音をモノラルからステレオに或いはステレオからモノラルに変更することができる。また、ユーザＡがぬいぐるみ１２の左脚部１２ｉおよび右脚１２ｊを曲げ延ばししたり、上げ下げしたりすると、左脚ベンド４４および右脚ベンド４６から入力があり、それらの入力の平均値を算出し、平均値が予め設定してある閾値を超えるかどうかでモノラルとステレオとを切り換える（変更する）こともできる。
【００９２】
このように、センサの種類に応じた音響の変更を実行することができる。ただし、センサの種類すなわち左脚ベンド４４および右脚ベンド４６の別に拘わらず音響を変更することもできる。たとえば、腹部タッチセンサ２６からの入力に応じて、モノラルからステレオに変更した後に、左脚ベンド４４および右脚ベンド４６からの入力に応じて、ステレオからモノラルに変更することもできる。逆に、左脚ベンド４４および右脚ベンド４６からの入力に応じて、モノラルからステレオに変更した後に、腹部タッチセンサ４６からの入力に応じて、ステレオからモノラルに変更することもできる。
【００９３】
さらに、背部タッチセンサ３２からの入力があると、ＣＰＵ６２は、ハーモニを構築する。たとえば、ユーザＡがぬいぐるみ１２の背中を触ったり、摩ったりすると、スピーカ２４から出力される音にハーモニが構築される。
【００９４】
メロディについては、左腕ベンド４０からの入力があると、ＣＰＵ６２は、メロディの音高を変更する。たとえば、ユーザＡがぬいぐるみ１２の左腕部１２ｇを曲げると、メロディ音が高くされ、左腕部１２ｇを延ばすとメロディ音が低くされる。ただし、曲げる角度に応じて連続的に音高は変更される。
【００９５】
なお、ユーザＡが左腕部１２ｇを上げたり下げたりしても、その上げ下げの角度で音高を連続的に変化させることもできる。
【００９６】
また、頭部近接センサ２０からの入力があると、つまりユーザＡがぬいぐるみ１２にユーザＡの顔や胴体を近づけると、ＣＰＵ６２は、上述したメロディの音高を固定（保持）される。
【００９７】
さらに、右腕タッチセンサ５０からの入力があると、ＣＰＵ６２は、メロディ音の音量が変更される。たとえば、ユーザＡがぬいぐるみ１２の右腕部１２ｈを触る毎にメロディ音の音量が大きくされたり、右腕部１２ｈを触る時間が長くなるにつれて、メロディ音の音量が大きくされたりする。
【００９８】
ただし、右腕部１２ｈを握る力に応じて音量を上げ下げすることができる。つまり、ＣＰＵ６２は、右腕タッチセンサ５０から入力される圧力の大きさを検出し、圧力が大きくなると、音量を上げ、圧力が小さくなると、音量を下げる。
【００９９】
さらに、リズムについては、上述の全体についてのテンポと同様に、いずれかのセンサからリズミカルな入力があると、ＣＰＵ６２は、予め用意してある４種類のリズムを変更する。たとえば、ユーザＡがぬいぐるみ１２を触ったり、撫でたり、掴んだり、上げ下げしたりして、任意のセンサからリズミカルな入力があると、音がリズム(I) に沿ってスピーカ２４から出力される。さらに、リズミカルな入力があると、音がリズム（II）に沿ってスピーカ２４から出力される。
【０１００】
このようなリズムの変更の速度は、全体のテンポで規定され、テンポが速ければ、リズミカルな入力があると、すぐにリズムが変更されるが、テンポが遅ければ、リズミカルな入力から遅れてリズムが変更される。
【０１０１】
なお、テンポが速い場合には、リズミカルな入力があると、リズム(I) からリズム（III)のように間のリズム（II）を飛ばして変更することもできる。
【０１０２】
つまり、インタラクション状態がレベル３の場合には、ユーザＡの表現に従って、音楽的な要素が操作（制御）され、単なる人の声による返事（音声）や呼吸音から和音のような音に変化され、さらにリズムやメロディに沿った音楽（曲）が奏でられるようになる。したがって、ユーザＡは、ぬいぐるみ１２と楽しいコミュニケーションを図ることができる。
【０１０３】
具体的には、ぬいぐるみ１２は、キーとコード進行を元に、予め定義済みの伴奏を開始します。その伴奏は、ぬいぐるみ１２に対するユーザＡのインタラクションに応じて決定されるテンポや盛り上がり度によって、決定されます。
【０１０４】
ここで、テンポは、上述したように、ユーザＡのリズミカルな入力の間隔から設定される。また、盛り上がり度は、上述したように、ユーザＡの表現（センサ入力）と、後述するリモート・ドール（コミュニケーションの相手）のインタラクション状態がレベル２であるときのリモート・ドールのセンサ入力とによって決定される。また、この実施例では、盛り上がり度は、伴奏の楽器パート数、ボリューム（音量）或いは旋律の複雑さによって、調整（変更）されます。ただし、これらいずれか２つ以上の組み合わせで、盛り上がり度を調整するようにしてもよい。
【０１０５】
また、レベル３においては、呼吸音や音声に変えて、各腕や脚に配置されたセンサにマッピングされた楽器による１〜２小節程度の短い曲のフレーズを再生することもできる。この場合には、呼吸音や音声を出力する場合とは異なり、リズムやメロディに沿った音楽（曲のフレーズ）を楽器音で出力することができるため、コミュニケーションの楽しさをさらに高めることができる。
【０１０６】
さらに、マッピングされる曲のフレーズは、各腕や脚に配置されたセンサに対して複数マッピングされるようにしてもよい。この場合には、センサ入力（センサ値）またはランダムに１つの曲のフレーズが選択され、伴奏のキーとコードとテンポに合わせたフレーズが出力されます。
【０１０７】
つまり、出力される曲のフレーズは固定的はなく、伴奏のキーやコードに対応して、フレーズのキーやコードも変化され、不協和音のような不快な音が出力されるのを防止している。
【０１０８】
また、図４に示すように、インタラクション状態がレベル３の場合に、ユーザＡが不快な入力をすると、つまり各タッチセンサ、各ベンドセンサやジャイロからリズムとずれた入力があると、インタラクション状態がレベル４に遷移（設定）される。
【０１０９】
一方、インタラクション状態がレベル３の場合に、ユーザＡがぬいぐるみ１２に数秒（一定時間）触れない場合には、つまり各タッチセンサや各ベンドセンサからの入力が一定時間（この実施例では、５秒間）なければ、インタラクション状態がレベル２に設定される。
【０１１０】
インタラクション状態がレベル４の場合には、単純にリズムと和音（もとは呼吸音）の音量バランスを調整し、ぬいぐるみ１２（音楽コミュニケーション装置１０ａ）が暴走状態（制御不能状態）にされる。つまり、キーやコードがめちゃくちゃ（でたらめ）に変化し、不協和音のような不快な音が出力される。
【０１１１】
具体的には、図７に示すように、各センサの役割が配置される。なお、図中に×が示されている欄は、制御と無関係であることを示してある。
【０１１２】
全体については、ＣＰＵ６２は、各センサからの入力に拘わらず、予めプログラミングされた所定のアルゴリズムに従ってランダムにキーの種類を変更する。
【０１１３】
また、呼吸音については、左腕タッチセンサ４８からの入力があると、ＣＰＵ６２は、音量を変更する。たとえば、ユーザＡが左腕部１２ｇを触ると、音量が大きくされる。ただし、レベル４では暴走状態であるため、左腕タッチセンサ４８からの入力がない場合に、音量を増大させ、左腕タッチセンサ４８からの入力があると、音量を小さくするようにしてもよい。
【０１１４】
また、上述したキーの種類の変更と同様に、ＣＰＵ６２は、各センサからの入力に拘わらず、予めプログラミングされた所定のアルゴリズムに従ってランダムにハーモニを構築する。たとえば、不協和音のような不快な音を出力することができる。
【０１１５】
さらに、リズムについては、右腕タッチセンサ５０からの入力があると、ＣＰＵ６２は、リズムの音量を大きくする。ただし、レベル４では、暴走状態であるため、右腕タッチセンサ５０からの入力がない場合に、リズムの音量を増大させ、右腕タッチセンサ５０からの入力があると、リズムの音量を下げるようにすることもできる。
【０１１６】
なお、レベル４においても、レベル２およびレベル３と同様に、パーカッションの音で、上述したような不協和音のような不快な音を生成するようにしてもよい。
【０１１７】
ただし、図４に示すように、インタラクション状態がレベル４で、暴走状態になった場合には、ユーザＡがぬいぐるみ１２をなだめたり、あやしたりすると、レベル３に戻り、制御可能となる。また、ユーザＡがぬいぐるみ１２を放置すると、一定時間（この実施例では、１０秒間）が経過したときに、初期の状態（レベル０）に戻る。
【０１１８】
また、図１に戻って、たとえば、ユーザＡは、自己の所有（使用）する音楽コミュニケーション装置１０ａをローカル・ドール（Ｌ−Ｄｏｌｌ）とし、ユーザＢの所有（使用）する音楽コミュニケーション装置１０ｂをリモート・ドール（Ｒ−Ｄｏｌｌ）として考えることができる。Ｌ−Ｄｏｌｌは、上述したように、ユーザＡの表現に対応する音の出力処理だけでなく、Ｒ−Ｄｏｌｌのインタラクション状態のレベル（ＬＶ）に応じてインタラクション状態のレベルを遷移したり、Ｒ−Ｄｏｌｌのセンサ入力に応じて音や音楽の出力（表現）を変更したりすることもできる。
【０１１９】
ただし、ユーザＢにとっては、自己の所有する音楽コミュニケーション装置１０ｂがＬ−Ｄｏｌｌであり、ユーザＡの所有する音楽コミュニケーション装置１０ａがＲ−Ｄｏｌｌである。
【０１２０】
この実施例では、Ｒ−Ｄｏｌｌのレベル（センサ入力も含む）に応じたＬ−Ｄｏｌｌのレベル遷移および音声出力については、図８に示すように、テーブルで定義される。言い換えると、Ｌ−Ｄｏｌｌのインタラクション状態とＲ−Ｄｏｌｌのインタラクション状態とに基づいて、Ｌ−ＤｏｌｌとＲ−Ｄｏｌｌとの（音楽）コミュニケーションについての相互関係によるＬ−Ｄｏｌｌの制御情報がマッピングされる。ただし、テーブルにおいて、“−”で示す欄は、制御なしを意味する。
【０１２１】
なお、テーブルにおいては、制御情報を簡単な表現で示してあるが、実際には、レベル遷移以外については、Ｒ−Ｄｏｌｌのセンサ入力に応じた音出力に関する情報が詳細に記述（定義）されている。
【０１２２】
以下、Ｌ−Ｄｏｌｌのインタラクション状態のレベル毎に説明するが、Ｒ−Ｄｏｌｌのインタラクション状態がレベル１（ＬＶ１）およびＬＶ４の場合には、Ｒ−Ｄｏｌｌのインタラクション状態のレベルに拘わらず、何ら制御されないため、それらの説明については省略することにする。
【０１２３】
また、Ｒ−Ｄｏｌｌのインタラクション状態がＬＶ０であり、Ｌ−Ｄｏｌｌのインタラクション状態がＬＶ１〜ＬＶ４の場合にも、同様に、何ら制御されないため、それらの説明についても省略することにする。
【０１２４】
（１）Ｌ−Ｄｏｌｌのインタラクション状態がＬＶ０の場合：
Ｒ−Ｄｏｌｌのインタラクション状態がＬＶ０であれば、他のカメラ画像の変化に応じてＬ−Ｄｏｌｌは発音する。つまり、Ｒ−Ｄｏｌｌのカメラ画像の輝度が変化すると、その輝度変化の情報がＬ−Ｄｏｌｌに入力され、それに応じてＬ−Ｄｏｌｌは音を出力する。ここで、出力される音は、楽器が奏でる音符で２〜４音からなる短いメロディ音であり、たとえば、チャイム音や風鈴の音のような音である。つまり、このような音を出力することにより、ぬいぐるみ１２（音楽コミュニケーション装置１０ａ）の近傍或いは少し離れた場所に存在するユーザＡに対して、ユーザＢが音楽コミュニケーション装置１０ｂの近傍を通過したこと、または近傍に存在することを報知することができるのである。
【０１２５】
また、Ｒ−Ｄｏｌｌのインタラクション状態がＬＶ２であれば、他から目覚めさせられる。具体的には、Ｌ−Ｄｏｌｌは、自身のインタラクション状態をＬＶ０からＬＶ１に遷移（設定）する。さらに、Ｒ−Ｄｏｌｌのインタラクション状態がＬＶ３も同様に、他から目覚めさせられる。
【０１２６】
（２）Ｌ−Ｄｏｌｌのインタラクション状態がＬＶ１の場合：
Ｒ−Ｄｏｌｌのインタラクション状態がＬＶ２であれば、他のインタラクションが小声で聞こえる。つまり、Ｌ−Ｄｏｌｌでは、ユーザＡとのインタラクションによる音が出力され、また、Ｒ−ＤｏｌｌとユーザＢとのインタラクションによる音すなわちＲ−Ｄｏｌｌの声として、小音量の音声がＬ−Ｄｏｌｌから出力される。
【０１２７】
また、Ｒ−Ｄｏｌｌのインタラクション状態がＬＶ３であれば、他のインタラクションが大声で聞こえる。つまり、Ｌ−Ｄｏｌｌでは、ユーザＡとのインタラクションによる音が出力され、また、Ｒ−Ｄｏｌｌの声として、（比較的）大音量の音声がＬ−Ｄｏｌｌから出力される。
【０１２８】
このように、この実施例では、Ｒ−Ｄｏｌｌの音声をＬ−Ｄｏｌｌから出力するようにしたので、ユーザＡは、Ｒ−Ｄｏｌｌの声（音声）を区別することができ、したがって、Ｒ−ＤｏｌｌとユーザＢとによるインタラクションの存在やインタラクション状態のレベルを音声を通して認識することができるのである。
【０１２９】
また、Ｒ−Ｄｏｌｌのインタラクション状態のレベルの違いによって、音量を変えるようにしたが、出力する音声（声の種類）を変えるようにしてもよい。たとえば、Ｒ−Ｄｏｌｌのインタラクション状態がレベル２の場合には、低音の音声を出力し、レベル３の場合には、高音の音声を出力することができる。さらに音声の音量と種類との両方を変えるようにしてもよい。
【０１３０】
（３）Ｌ−Ｄｏｌｌのインタラクション状態がＬＶ２の場合：
Ｒ−Ｄｏｌｌのインタラクション状態がＬＶ２であれば、Ｌ−ＤｏｌｌとＲ−Ｄｏｌｌとの相互で音をやり取りする。つまり、Ｌ−ＤｏｌｌおよびＲ−Ｄｏｌｌでは、対応するユーザＡおよびユーザＢの表現に応じた音が出力される。つまり、Ｌ−ＤｏｌｌおよびＲ−Ｄｏｌｌでは、互いに他方で出力される音も出力される。
【０１３１】
また、Ｒ−Ｄｏｌｌのインタラクション状態がＬＶ３であれば、Ｌ−Ｄｏｌｌでは、他からの曲のフレーズが聞こえる。つまり、Ｌ−Ｄｏｌｌでは、ユーザＡの表現に応じた音が出力され、また、Ｒ−Ｄｏｌｌのセンサ入力に応じて曲のフレーズも出力される。
【０１３２】
（４）Ｌ−Ｄｏｌｌのインタラクション状態がＬＶ３の場合：
Ｒ−Ｄｏｌｌのインタラクション状態がＬＶ２であれば、Ｌ−Ｄｏｌｌから出力される音の旋律（メロディ）にＲ−ＤｏｌｌとユーザＢとのインタラクションがやや影響する。具体的には、Ｌ−Ｄｏｌｌから出力される音の盛り上がり度が調整される。この盛り上がり度は、上述したように、伴奏の楽器パート数、ボリューム（音量）或いは旋律の複雑さによって、調整（変更）されます。。
【０１３３】
また、Ｒ−Ｄｏｌｌのインタラクション状態がＬＶ３であれば、Ｌ−Ｄｏｌｌから出力される音楽（曲のフレーズ）に、Ｒ−Ｄｏｌｌのセンサ入力に応じて生成された曲のフレーズが付加されることにより、Ｌ−ＤｏｌｌとＲ−Ｄｏｌｌとでジャムセッションが実行される。
【０１３４】
このように、コミュニケーション装置１０ａはユーザＡの表現だけで、インタラクション状態のレベルが遷移したり、音を出力したりするのではなく、ネットワーク１０２を通して入力される、他方の音楽コミュニケーション装置１０ｂのインタラクション状態のレベルおよびセンサ入力、すなわちユーザＢの表現が関与しているのである。言い換えると、ユーザＡとユーザＢとは、互いに所有（使用）する音楽コミュニケーション装置１０ａおよび１０ｂ（ぬいぐるみ１２）を通して、コミュニケーションすることができる。
【０１３５】
上述したような動作を、図２に示したＣＰＵ６２は、図９〜図１７に示すフロー図に従って処理する。ただし、分かり易く説明するために、音楽コミュニケーション装置１０ａをＬ−Ｄｏｌｌ（接続元）とし、音楽コミュニケーション装置１０ｂをＲ−Ｄｏｌｌ（接続先）とすることにする。
【０１３６】
図９を参照して、音楽コミュニケーション装置１０ａの主電源がオンにされると、ＣＰＵ６２は処理を開始し、ステップＳ１で初期化処理を実行する。具体的には、ＣＰＵ６２は、ＲＡＭ６８のワーキングエリア６８ａ〜６８ｄを初期化した後、ＲＯＭ６６のメモリエリア６６ａに記憶されたプログラムをＲＡＭ６８のワーキングエリア６８ａにロードし、メモリエリア６６ｂに記憶されたセンサの役割配置（図５〜図７参照）および制御情報のテーブル（図８参照）をワーキングエリア６８ｂにロードし、そして、メモリエリア６６ｃに記憶された音声信号に対応するデータや音源に対応するデータをワーキングエリア６８ｃにロードする。また、ＣＰＵ６２は、Ｌ−Ｄｏｌｌ（自身）のインタラクション状態をレベル０に設定する。つまり、図４の左欄に示したようなセンサの役割を配置する。また、ＣＰＵ６２は、Ｒ−Ｄｏｌｌのインタラクション状態をレベル０に設定し、このインタラクション状態のレベルをＲＡＭ６８のワークエリア６８ｄに記憶する。さらに、ＣＰＵ６２は、接続先（音楽コミュニケーション装置１０ｂ）に対して、インタラクション状態のレベルおよびデータ（センサ入力の特徴ベクトル）を含む状態情報の送信を要求する。
【０１３７】
なお、この実施例では、簡単のため、接続元と接続先との間でユーザ認証等を実行しないようにしてあるが、実際には、ネットワーク１０２上には、他の複数の端末や他の音楽コミュニケーション装置等が接続されるため、接続先のＩＰアドレス、ユーザＩＤ（ユーザＢの識別情報）およびパスワードを認証することにより、他方の音楽コミュニケーション装置１０ｂを特定してから接続を開始する。
【０１３８】
次に、ＣＰＵ６２は、ステップＳ３で、センサ値を取得する。つまり、コンピュータ６０に接続される各センサからの入力をチェック（検出）する。続いて、ステップＳ５では、Ｒ−Ｄｏｌｌから送信された特徴ベクトル（センサ入力）およびインタラクション状態のレベルをネットワーク１０２に接続される無線ＬＡＮ７４を介して取得（受信）し、ＲＡＭ６８のメモリエリア６８ｄに記憶する。ただし、Ｒ−Ｄｏｌｌにおいて、インタラクション状態のレベルが遷移していない場合には、特徴ベクトルのみが送信されるため、この場合には、特徴ベクトルのみがメモリエリア６８ｄに記憶される。すなわち、特徴ベクトルのみが更新され、インタラクション状態のレベルは直前のレベルがそのまま用いられることになる。
【０１３９】
なお、この実施例においては、図示等は省略するが、Ｒ−Ｄｏｌｌから一定時間（たとえば、３分）以上データ（およびレベル）が送られて来なければ、Ｒ−Ｄｏｌｌが切断されたと判断し、Ｒ−Ｄｏｌｌのインタラクション状態を初期状態（レベル０）に戻す必要がある。
【０１４０】
そして、ステップＳ７では、Ｌ−Ｄｏｌｌ（音楽コミュニケーション装置１０ａ）のインタラクション状態がレベル０かどうかを判断する。ステップＳ７で“ＹＥＳ”であれば、つまりＬ−Ｄｏｌｌのインタラクション状態がレベル０であれば、ステップＳ９でレベル０におけるレベル遷移および音出力処理を実行してからステップＳ２５に進む。
【０１４１】
一方、ステップＳ７で“ＮＯ”であれば、つまりレベル０でなければ、ステップＳ１１でＬ−Ｄｏｌｌのインタラクション状態がレベル１かどうかを判断する。ステップＳ１１で“ＹＥＳ”であれば、つまりレベル１であれば、ステップＳ１３でレベル１におけるレベル遷移および音出力処理を実行してからステップＳ２５に進む。
【０１４２】
また、ステップＳ１１で“ＮＯ”であれば、つまりレベル１でなければ、ステップＳ１５でＬ−Ｄｏｌｌのインタラクション状態がレベル２かどうかを判断する。ステップＳ１５で“ＹＥＳ”であれば、つまりレベル２であれば、ステップＳ１７でレベル２におけるレベル遷移および音出力処理を実行してからステップＳ２５に進む。
【０１４３】
一方、ステップＳ１５で“ＮＯ”であれば、つまりレベル２でなければ、ステップＳ１９でＬ−Ｄｏｌｌのインタラクション状態がレベル３であるかどうかを判断する。ステップＳ１９で“ＹＥＳ”であれば、つまりレベル３であれば、ステップＳ２１でレベル３におけるレベル遷移および音出力処理を実行してからステップＳ２５に進む。
【０１４４】
また、ステップＳ１９で“ＮＯ”であれば、つまりレベル３でなければ、レベル４であると判断し、ステップＳ２３でレベル４におけるレベル遷移および音出力処理を実行してからステップＳ２５に進む。
【０１４５】
ステップＳ２５では、Ｌ−Ｄｏｌｌの特徴ベクトルおよびレベルすなわち状態情報を、無線ＬＡＮ７４からネットワーク１０２を介してＲ−Ｄｏｌｌに送信してからステップＳ３に戻る。つまり、Ｌ−Ｄｏｌｌは、Ｒ−Ｄｏｌｌの特徴ベクトルとレベルとに基づいて、図９に示すような処理およびそれに含まれる各インタラクション状態のレベルに応じた処理（後述する図１０〜図１７の処理）を実行するのである。
【０１４６】
図１０を参照して、図９に示したステップＳ９のレベル０におけるレベル遷移および音出力処理が開始されると、ＣＰＵ６２は、ステップＳ３１で各センサからの入力があるかどうかを判断する。ステップＳ３１で“ＹＥＳ”であれば、つまり入力があれば、ステップＳ３９に進む。
【０１４７】
一方、ステップＳ３１で“ＮＯ”であれば、つまり入力がなければ、ステップＳ３３でＲ−Ｄｏｌｌのインタラクション状態がレベル２またはレベル３かどうかを判断する。ステップＳ３３で“ＹＥＳ”であれば、つまりＲ−Ｄｏｌｌのインタラクション状態がレベル２またはレベル３であれば、ステップＳ４１に進んで、インタラクション状態のレベル（状態レベル）をレベル１に遷移（設定）してからリターンする。
【０１４８】
一方、ステップＳ３３で“ＮＯ”であれば、つまりＲ−Ｄｏｌｌのインタラクション状態がレベル２またはレベル３でなければ、ステップＳ３５でリモートカメラ（この実施例では、音楽コミュニケーション装置１０ｂのカメラ１８）の輝度変化があるかどうかを判断する。
【０１４９】
なお、リモートカメラの輝度変化は、Ｒ−Ｄｏｌｌから送信される特徴ベクトルから知ることができる。
【０１５０】
ステップＳ３５で“ＮＯ”であれば、つまりリモートカメラの輝度変化がなければ、そのままリターンする。一方、ステップＳ３５で“ＹＥＳ”であれば、つまりリモートカメラの輝度変化があれば、これに応じて、ステップＳ３７で音（たとえば、チャイム音や風鈴の音）を出力してからリターンする。
【０１５１】
また、ステップＳ３９では、ステップＳ７で、タッチセンサ（１４，２２，２６，３２，４８，５０，５２，５４）またはジャイロ２８からの入力かどうかを判断する。ステップＳ３９で“ＹＥＳ”であれば、つまりタッチセンサまたはジャイロ２８からの入力であれば、ステップＳ４１に進む。
【０１５２】
一方、ステップＳ３９で“ＮＯ”であれば、つまりタッチセンサまたはジャイロ２８からの入力でなければ、ステップＳ４３でマイク１６、カメラ１８または頭部近接センサ２０からの入力かどうかを判断する。ステップＳ４３で“ＮＯ”であれば、つまりマイク１６、カメラ１８または頭部近接センサ２０からの入力でなければ、タッチセンサ、ジャイロ２８、マイク１６、カメラ１８および頭部近接センサ２０とは異なるセンサからの入力であると判断して、そのままリターンする。
【０１５３】
一方、ステップＳ４３で“ＹＥＳ”であれば、つまりマイク１６、カメラ１８または頭部近接センサ２０からの入力であれば、ステップＳ４５でローカルカメラ（音楽コミュニケーション装置１０ａのカメラ１８）の輝度変化があるかどうかを判断する。ステップＳ４５で“ＹＥＳ”であれば、つまりローカルカメラの輝度変化があれば、呼吸音を出力せずにリターンする。一方、ステップＳ４５で“ＮＯ”であれば、つまりローカルカメラの輝度変化がなければ、ステップＳ４７で、上述したように、テンポに従った呼吸音を出力してからリターンする。
【０１５４】
図１１および図１２を参照して、図９に示したステップＳ１３のレベル１におけるレベル遷移および音出力処理が開始されると、ＣＰＵ６２は、ステップＳ５１で抱き上げられたかどうかを判断する。具体的には、背部近接センサ３４或いは尻部近接センサ３６からの入力が停止したかかどうかを判断する。
【０１５５】
なお、この実施例では、ぬいぐるみ１２を座らせたり、仰向けに寝ころばせたりするように置くことを前提としたため、背部近接センサ３４或いは尻部近接センサ３６を設けて、それぞれの入力をチェックするようにしているが、うつ伏せにぬいぐるみ１２を置く場合も想定して、腹部に近接センサをさらに設けて、その近接センサの入力もチェックするようにしてもよい。
【０１５６】
ステップＳ５１で“ＹＥＳ”であれば、つまり背部近接センサ３４或いは尻部近接センサ３６からの入力が停止すれば、抱き上げられたと判断し、続くステップＳ５３でインタラクション状態をレベル２に遷移（設定）してからリターンする。
【０１５７】
一方、ステップＳ５１で“ＮＯ”であれば、つまり背部近接センサ３４或いは尻部近接センサ３６からの入力があれば、抱き上げられていないと判断し、ステップＳ５５に進んで、頭部タッチセンサ１４、腹部タッチセンサ２６、背部タッチセンサ３２、左腕タッチセンサ４８、右腕タッチセンサ５０、左脚タッチセンサ５２および右脚タッチセンサ５４からの入力があるかどうかを判断する。
【０１５８】
ステップＳ５５で“ＹＥＳ”であれば、つまり口部タッチセンサ２２を除くタッチセンサのいずれかからの入力があれば、タイマ７２とは異なるタイマ（８秒タイマ）をカウント（加算）し、ステップＳ５７でその入力が８秒以上継続するかどうかを判断する。つまり、８秒タイマが８秒をカウントしたかどうかを判断する。ステップＳ５７で“ＹＥＳ”であれば、つまり入力が８秒以上継続すれば、ステップＳ５３に進む。
【０１５９】
なお、図示は省略するが、ステップＳ５１およびＳ５７で“ＹＥＳ”が判断された場合には、ステップＳ５３に移行する前に、８秒タイマはクリアされる。つまり、カウント値が０にされる。
【０１６０】
一方、ステップＳ５７で“ＮＯ”であれば、つまり口部タッチセンサ２２を除くタッチセンサからの入力が８秒に満たない場合には、そのままステップＳ５９に進む。
【０１６１】
また、ステップＳ５５において“ＮＯ”であれば、つまりタッチセンサからの入力がなければ、ステップＳ５９でタッチセンサ（口部タッチセンサ２２の除く）以外のセンサからの入力があるかどうかを判断する。ステップＳ５９で“ＮＯ”であれば、つまり口部タッチセンサ２２を除くタッチセンサ以外のセンサからの入力がなければ、図示は省略するが、タイマ７２や８秒タイマとは異なるタイマ（第１の５秒タイマ）をカウント（加算）してから、図１２に示すステップＳ６３に進む。
【０１６２】
一方、ステップＳ５９で“ＹＥＳ”であれば、つまり口部タッチセンサ２２を除くタッチセンサ以外のセンサからの入力があれば、ステップＳ６１で上述したようなレベル１に対応するセンサの役割に応じた音を出力する処理を実行してから、すなわちユーザの表現に対して返事をしてから、図１２に示すステップＳ６７に進む。
【０１６３】
図１２に示すように、ステップＳ６３では、センサ入力のない状態が５秒経過したかどうかを判断する。つまり、第１の５秒タイマが５秒をカウントしたかどうかを判断する。ステップＳ６３で“ＮＯ”であれば、つまり５秒経過していなければ、そのままステップＳ６７に進む。一方、ステップＳ６３で“ＹＥＳ”であれば、つまり５秒経過すれば、ステップＳ６５でインタラクション状態を０レベルに遷移（設定）してから図１１に示すようにリターンする。
【０１６４】
なお、第１の５秒タイマは、図１１に示したステップＳ５９およびステップＳ６３で“ＹＥＳ”が判断されると、クリアされ、カウント値が０にされる。
【０１６５】
ステップＳ６７では、Ｒ−Ｄｏｌｌのインタラクション状態がレベル２かどうかを判断する。ステップＳ６７で“ＮＯ”であれば、つまりＲ−Ｄｏｌｌのインタラクション状態がレベル２であれば、ステップＳ７３に進む。
【０１６６】
一方、ステップＳ６７で“ＹＥＳ”であれば、つまりＲ−Ｄｏｌｌのインタラクション状態がレベル２であれば、ステップＳ６９でＲ−Ｄｏｌｌにセンサ入力があるかどうかを判断する。
【０１６７】
なお、Ｒ−Ｄｏｌｌにおけるセンサ入力の有無は、受信した特徴ベクトルに基づいて判断することができる。以下、この実施例において同じである。
【０１６８】
ステップＳ６９で“ＮＯ”であれば、つまりＲ−Ｄｏｌｌでセンサ入力がなければ、そのままリターンする。一方、ステップＳ６９で“ＹＥＳ”であれば、つまりＲ−Ｄｏｌｌでセンサ入力があれば、ステップＳ７１において小音量で音声を出力してからリターンする。
【０１６９】
ステップＳ７３では、Ｒ−Ｄｏｌｌのインタラクション状態がレベル３かどうかを判断する。ステップＳ７３で“ＮＯ”であれば、つまりＲ−Ｄｏｌｌのインタラクション状態がレベル３でなければ、そのままリターンする。一方、ステップＳ７３で“ＹＥＳ”であれば、つまりＲ−Ｄｏｌｌのインタラクション状態がレベル３であれば、続くステップＳ７５では、Ｒ−Ｄｏｌｌでセンサ入力があるかどうかを判断する。
【０１７０】
ステップＳ７５で“ＮＯ”であれば、つまりＲ−Ｄｏｌｌでセンサ入力がなければ、そのままリターンする。一方、ステップＳ７１で“ＹＥＳ”であれば、つまりＲ−Ｄｏｌｌでセンサ入力があれば、ステップＳ７３において比較的大音量で音声を出力してからリターンする。
【０１７１】
なお、ステップＳ７１およびＳ７７では、小音量または大音量で音声を出力するようにしたが、その音量は固定的であってもよく、Ｒ−Ｄｏｌｌにおけるセンサ入力の数の大小によって、それぞれの音の大きさを変更するようにしてもよい。つまり、小音量および大音量に幅を持たせることもできる。或いは、ベンドセンサやタッチセンサなどの特定のセンサからの入力に応じてその大小を変更するようにしてもよい。
【０１７２】
図１３および図１４を参照して、図９に示したステップＳ１７のレベル２におけるレベル遷移および音出力の処理が開始されると、ＣＰＵ６２は、ステップＳ８１で、抱き上げられた状態からおろされたかどうかを判断する。ステップＳ８１で“ＹＥＳ”であれば、つまり背部近接センサ３４或いは尻部近接センサ３６からの入力があり、かつ、他のセンサからの入力がなければ、おろされたと判断し、図示は省略するが、上述したタイマ７２等とは異なるタイマ（３秒タイマ）をカウント（加算）し、ステップＳ８３でおろされてから３秒が経過したかどうかを判断する。つまり、３秒タイマが３秒をカウントしたかどうかを判断する。
【０１７３】
ステップＳ８３で“ＮＯ”であれば、つまりおろされてから３秒が経過してなければ、そのままステップＳ８７に進む。一方、ステップＳ８３で“ＹＥＳ”であれば、つまりおろされてから３秒が経過すると、ステップＳ８５でインタラクション状態をレベル１に遷移（設定）してからリターンする。
【０１７４】
また、ステップＳ８１で“ＮＯ”であれば、つまり背部近接センサ３４或いは尻部近接センサ３６からの入力がなく、かつ、他のセンサからの入力があれば、おろされていないと判断し、ステップＳ８７で入力があるかどうかを判断する。ステップＳ８７で“ＮＯ”であれば、つまり入力がなければ、図１４に示すステップＳ９７に進む。
【０１７５】
なお、上述した３秒タイマは、ステップＳ８１で“ＮＯ”が判断されたり、ステップＳ８３で“ＹＥＳ”が判断されたりすると、クリアされ、カウント値が０にされる。
【０１７６】
一方、ステップＳ８７で“ＹＥＳ”であれば、つまり入力があれば、ステップＳ８９で当該入力がＲ−Ｄｏｌｌのレベル（状態レベル）およびデータ（特徴ベクトル）に応じて出力される音とタイミングの一致する入力かどうかを判断する。つまり、インタラクション状態がレベル１またはレベル２において、Ｒ−Ｄｏｌｌのセンサ入力に応じて出力される音、すなわち図１２に示したステップＳ７１或いはＳ７７で出力される音や後述する図１４に示すステップＳ１０１或いはＳ１０７で出力される音とタイミングの一致する入力かどうかを判断するのである。
【０１７７】
ステップＳ８７で“ＹＥＳ”であれば、つまりタイミングが一致すれば、ステップＳ９３に進んで、インタラクション状態をレベル３に遷移（設定）してからリターンする。
【０１７８】
ステップＳ８９で“ＮＯ”であれば、つまりタイミングが一致していなければ、ステップＳ９１でリズミカルな（規則的な）入力かどうかを判断する。ステップＳ９１で“ＮＯ”であれば、つまりリズミカルな入力でなければ、ステップＳ９５では、上述したように、図６の左欄に示したセンサの役割に応じた音を出力してから図１４に示すステップＳ９７に進む。一方、ステップＳ９１で“ＹＥＳ”であれば、つまりリズミカルな入力であれば、ステップＳ９３に進む。
【０１７９】
図１４に示すように、ステップＳ９７では、Ｒ−Ｄｏｌｌのインタラクション状態がレベル２かどうかを判断する。ステップＳ９７で“ＮＯ”であれば、つまりレベル２でなければ、ステップＳ１０３に進む。一方、ステップＳ９７で“ＹＥＳ”であれば、つまりレベル２であれば、ステップＳ９９においてＲ−Ｄｏｌｌでセンサ入力があるかどうかを判断する。
【０１８０】
ステップＳ９９で“ＮＯ”であれば、つまりセンサ入力がなければ、そのままリターンする。一方、ステップＳ９９で“ＹＥＳ”であれば、つまりセンサ入力があれば、センサ入力に応じたパーカッションの音を出力してからリターンする。たとえば、頭部タッチセンサ１４の入力があれば、人の声にエフェクトをかけた声を出力し、背部タッチセンサ３２の入力があれば、バスドラムの音を出力し、左腕タッチセンサ４８に入力があれば、スネアドラムの音を出力し、そして、右腕タッチセンサ５０の入力があれば、シンバルの音を出力する。
【０１８１】
このように、センサ毎に異なるパーカッションをマッピングすることができ、そのマッピングはユーザＡ（ユーザＢ）やプログラマ（設計者）の意図によって自由に改変することができる。
【０１８２】
ステップＳ１０３では、Ｒ−Ｄｏｌｌのインタラクション状態がレベル３かどうかを判断する。ステップＳ１０３で“ＮＯ”であれば、つまりレベル３でなければ、そのままリターンする。一方、ステップＳ１０３で“ＹＥＳ”であれば、つまりレベル３であれば、ステップＳ１０５においてＲ−Ｄｏｌｌでセンサ入力があるかどうかを判断する。
【０１８３】
ステップＳ１０５で“ＮＯ”であれば、つまりセンサ入力がなければ、そのままリターンするが、“ＹＥＳ”であれば、つまりセンサ入力があれば、センサ入力に応じて短い曲のフレーズを出力してからリターンする。つまり、ステップＳ１０１で説明したパーカッションと同様に、センサ（たとえば、ベンドセンサ）毎に異なる曲のフレーズをマッピングしておけば、Ｒ−Ｄｏｌｌのセンサ入力に応じた曲のフレーズを出力することができる。
【０１８４】
図１５および図１６を参照して、図９に示したステップＳ２１のレベル３におけるレベル遷移および音出力の処理が開始されると、ＣＰＵ６２は、ステップＳ１１１で、各センサからの入力があるかどうかを判断する。ステップＳ１１１で“ＮＯ”であれば、つまり各センサからの入力がなければ、図示は省略するが、上述のタイマ７２等とは異なるタイマ（第２の５秒タイマ）を加算（カウント）した後、ステップＳ１１３で入力がない状態が５秒経過したかどうかを判断する。つまり、第２の５秒タイマが５秒をカウントしたかどうかを判断する。
【０１８５】
ステップＳ１１３で“ＮＯ”であれば、つまり５秒が経過してなければ、そのままステップＳ１１７に進む。一方、ステップＳ１１３で“ＹＥＳ”であれば、つまり入力がない状態が５秒経過すれば、ステップＳ１１５でインタラクション状態をレベル２に遷移（設定）する。
【０１８６】
また、ステップＳ１１１において“ＹＥＳ”であれば、つまりいずれかのセンサから入力があれば、ステップＳ１１７で乱暴に扱われたかどうかを判断する。
【０１８７】
具体的には、この実施例では、ユーザＡが不規則なリズムでぬいぐるみ１２のいずれかの部位を叩いたり、触ったりすることにより、乱暴に扱われた判断するようにしてある。
【０１８８】
なお、上述した第２の５秒タイマは、ステップＳ１１１およびＳ１１３で“ＹＥＳが判断されると、クリアされ、カウント値が０にされる。
【０１８９】
ステップＳ１１７で“ＹＥＳ”であれば、つまり乱暴に扱われたと判断すると、ステップＳ１１９でインタラクション状態をレベル４に設定してからリターンする。一方、ステップＳ１１７で“ＮＯ”であれば、ステップＳ１２１で上述したようなレベル３における音出力処理を実行してから、図１６に示すステップＳ１２３に進む。
【０１９０】
つまり、インタラクション状態がレベル３の場合には、ユーザの表現に従って、音楽的な要素が操作（制御）され、単なる人の声による返事から和音のような音に変化され、さらにリズムやメロディに沿った音楽が奏でられるようになる。
【０１９１】
なお、この実施例では、乱暴に扱われたかどうかに応じて、インタラクション状態をレベル４にするかどうかを判断するようにしているが、或る規則（ルール）、確率或いは乱数によって、インタラクション状態をレベル４にするかどうかを判断するようにしてもよい。
【０１９２】
図１６に示すステップＳ１２３では、Ｒ−Ｄｏｌｌのインタラクション状態がレベル２であるかどうかを判断する。ステップＳ１２３で“ＮＯ”であれば、つまりレベル２でなければ、ステップＳ１３１に進む。一方、ステップＳ１２３で“ＹＥＳ”であれば、つまりレベル２であれば、ステップＳ１２５においてＲ−Ｄｏｌｌでセンサ入力があるかどうかを判断する。
【０１９３】
ステップＳ１２５で“ＮＯ”であれば、つまりセンサ入力がなければ、そのままリターンする。一方、ステップＳ１２５で“ＹＥＳ”であれば、つまりセンサ入力があれば、ステップＳ１２７で当該センサ入力に応じて曲の盛り上がりを調整してからリターンする。
【０１９４】
つまり、Ｒ−Ｄｏｌｌのセンサ入力に応じて出力する音が決定されており、ステップＳ１２１で出力される音を盛り上げるための音が出力される。たとえば、Ｒ−Ｄｏｌｌのベンドセンサに異なるパート（楽器音）を割り当てておき、該当するベンドセンサの入力に応じて、その楽器音をＬ−Ｄｏｌｌから出力される音（音楽）に付加することにより、その音楽（曲）を盛り上がけることができるのである。
【０１９５】
また、ステップＳ１２３で“ＮＯ”であれば、つまりレベル２でなければ、ステップＳ１３１でＲ−Ｄｏｌｌのインタラクション状態がレベル３かどうかを判断する。ステップＳ１３１で“ＮＯ”であれば、つまりレベル３でなければ、そのままリターンする。
【０１９６】
一方、ステップＳ１３１で“ＹＥＳ”であれば、つまりレベル３であれば、ステップＳ１３５でＲ−Ｄｏｌｌにセンサ入力があるかどうかを判断する。ステップＳ１３５で“ＮＯ”であれば、つまりセンサ入力がなければ、そのままリターンするが、“ＹＥＳ”であれば、つまりセンサ入力があれば、ステップＳ１３７でセンサ入力に応じて短い曲のフレーズを出力する。
【０１９７】
つまり、Ｒ−Ｄｏｌｌのセンサ入力に応じて出力する曲のフレーズが決定されており、ステップＳ１２１で出力される音（音楽）と同様の曲のフレーズが出力される。たとえば、Ｒ−Ｄｏｌｌのベンドセンサの入力に応じた曲のフレーズを、Ｌ−Ｄｏｌｌから出力される音楽に付加することができる。すなわち、Ｌ−ＤｏｌｌとＲ−Ｄｏｌｌとによって、ジャムセッションすることができるのである。
【０１９８】
ただし、図１５および図１６に示すフロー図から分かるように、Ｌ−Ｄｏｌｌの音出力処理（Ｓ１２１）とＲ−Ｄｏｌｌのセンサ入力による曲のフレーズの出力処理（Ｓ１３７）とでは、時間的に若干のずれがあるため、この実施例では、Ｌ−ＤｏｌｌとＲ−Ｄｏｌｌとのインタラクション状態がともにレベル３である場合には、Ｓ１２１の音出力処理を遅延させて、言い換えると、それぞれの小節の先頭を揃えることにより、ジャムセッションを実行している。
【０１９９】
図１７を参照して、図９に示したステップＳ２３のレベル４におけるレベル遷移および音出力処理が開始されると、ＣＰＵ６２は、ステップＳ１４１でなだめる行為或いはあやす行為かどうかを判断する。たとえば、母親が子供をよしよしと言いながらあやすように、いずれかのセンサからリズミカルな（規則的な）入力があるかどうかを判断する。つまり、レベル２からレベル３に遷移する場合と同様の入力があるかどうかを判断している。
【０２００】
なお、“よしよし”のように、あやしたり、なだめたりするときの音声に対応する音声データを予め記憶しておき、ユーザの声をたとえばＤＰマッチング法やＨＭＭ法によって音声認識し、“よしよし”などの言葉が連続して入力されるかどうかを判断するようにしてもよい。
【０２０１】
また、リズミカルな入力と“よしよし”などの言葉の入力との両方に基づいて判断するようにしてもよい。
【０２０２】
ステップＳ１４１で“ＹＥＳ”であれば、つまりリズミカルな入力であれば、なだめる行為或いはあやす行為であると判断し、ステップＳ１４３でインタラクション状態レベル３に遷移（設定）してリターンする。
【０２０３】
一方、ステップＳ１４１で“ＮＯ”であれば、つまり不規則な入力であれば、なだめる行為或いはあやす行為でないと判断し、ステップＳ１４５で放置されたかどうかを判断する。具体的には、背部近接センサ３４或いは尻部近接センサ３６からの入力があり、他のセンサからの入力がないかどうかを判断する。
【０２０４】
ステップＳ１４５で“ＹＥＳ”であれば、つまり放置されれば、図示は省略するが、上述したタイマ７２等とは異なるタイマ（１０秒タイマ）をカウント８加算）し、ステップＳ１４９で放置されてから１０秒が経過したかどうかを判断する。つまり、１０秒タイマが１０秒をカウントしたかどうかを判断する。
【０２０５】
ステップＳ１４９で“ＮＯ”であれば、つまり放置されてから１０秒が経過してなければ、そのままステップＳ１４７に移行する。一方、ステップＳ１４９で“ＹＥＳ”であれば、つまり放置されてから１０秒が経過すれば、ステップＳ１５１でインタラクション状態をレベル１に設定（遷移）してリターンする。つまり、初期の状態に戻る。
【０２０６】
また、ステップＳ１４５で“ＮＯ”であれば、つまり放置されなければ、ステップＳ１４７で、図７に示したセンサの役割でユーザの表現に応じた音を出力してからリターンする。
【０２０７】
ただし、インタラクション状態がレベル４場合には、制御不能状態であるため、ステップＳ１４７では、でたらめにコードやキーが変化されるため、不協和音のような不快な音が出力される。
【０２０８】
なお、上述した１０秒タイマは、ステップＳ１４５で“ＮＯ”が判断されると、クリアされ、カウント値が０にされる。
【０２０９】
この実施例によれば、通信相手（他のユーザ）の音楽コミュニケーション装置におけるインタラクション状態のレベルおよびセンサ入力すなわち状態情報に応じて、センサの役割が遷移されたり、音が出力されたりするので、ユーザはぬいぐるみ或いはぬいぐるみから出力される音を通して、遠隔地に存在する他のユーザとコミュニケーションすることができる。すなわち、ノンバーバル（非言語）な情報の伝達によるコミュニケーションが可能であるため、プライバシーの侵害などの問題が発生することはない。
【０２１０】
なお、この実施例では、簡単のため、２体のぬいぐるみ型音楽コミュニケーション装置による２人のユーザのコミュニケーションについてのみ説明したが、ユーザ毎に異なる種類の音（楽器の種類）のマッピングを準備するようにすれば、３人以上の複数ユーザによる音楽を使った（媒介とした）感覚をやり取りするグループコミュニケーションを実現できると考えられる。
【０２１１】
また、この実施例では、タッチセンサとして圧力センサを用いるようにしたが、触ったかどうかを判断できる圧力センサ以外の接触センサを用いるようにしてもよい。
【０２１２】
さらに、この実施例で用いたセンサの種類、個数、役割の配置（図５〜図７）或いは制御情報（図８）は単なる例示であり、設計者の意図によって任意に変更することができる。つまり、この実施例によって、限定されるべきではない。
【０２１３】
さらにまた、この実施例では、カメラから入力される映像信号の輝度レベルの変化に従って人が近づいたかどうかのみを判断するようにしたが、映像信号を解析することにより、ぬいぐるみ１２（音楽コミュニケーション装置１０ａ、１０ｂ）が置かれている場所の特定や近づいてきた人物を特定できるようにすることもできる。たとえば、図５〜図７に示したような役割配置を複数種類用意しておき、場所や人物を特定することによって、１種類の役割配置を選択するようにできる。また、人物を特定できるようにした場合には、ぬいぐるみ１２のユーザ（主人）を特定した場合には、他の人物を特定した場合よりもレベル０からレベル３までの状態遷移を速くし、短時間で楽しいコミュニケーションを図れるようにすることもできる。
【図面の簡単な説明】
【図１】この発明の音楽コミュニケーションシステムの一実施例を示す図解図である。
【図２】図１実施例に示す音楽コミュニケーション装置のセンサ配置を示す図解図である。
【図３】図２に示す音楽コミュニケーション装置の電気的な構成を示す図解図である。
【図４】図１実施例で用いられる音楽コミュニケーション装置のインタラクション状態の遷移および維持を説明するための模式図である。
【図５】図２に示す音楽コミュニケーション装置における各センサの役割配置の一例を示す図解図である。
【図６】図２に示す音楽コミュニケーション装置における各センサの役割配置の他の一例を示す図解図である。
【図７】図２に示す音楽コミュニケーション装置における各センサの役割配置（マッピング）のその他の一例を示す図解図である。
【図８】図１実施例に示す２つの音楽コミュニケーション装置において、他方の状態レベルにおける一方の音楽コミュニケーション装置のレベル遷移および音出力（制御情報）のマッピングを示す図解図である。
【図９】図３に示すＣＰＵの処理の全体を示すフロー図である。
【図１０】図３に示すＣＰＵのレベル０における状態遷移および音出力処理を示すフロー図である。
【図１１】図３に示すＣＰＵのレベル１における状態遷移および音出力処理の一部を示すフロー図である。
【図１２】図３に示すＣＰＵのレベル１における状態遷移および音出力処理の他の一部を示すフロー図である。
【図１３】図３に示すＣＰＵのレベル２における状態遷移および音出力処理の一部を示すフロー図である。
【図１４】図３に示すＣＰＵのレベル２における状態遷移および音出力処理の他の一部を示すフロー図である。
【図１５】図３に示すＣＰＵのレベル３における状態遷移および音出力処理の一部を示すフロー図である。
【図１６】図３に示すＣＰＵのレベル３における状態遷移および音出力処理の他の一部を示すフロー図である。
【図１７】図３に示すＣＰＵのレベル４における状態遷移および音出力処理を示すフロー図である。
【符号の説明】
１０ａ、１０ｂ  …音楽コミュニケーション装置
１２  …ぬいぐるみ
１４，２２，２６，３２，４８，５０，５２，５４  …タッチセンサ
１６  …マイク
１８  …カメラ
２０，３４，３６  …近接センサ
２４  …スピーカ
３０，３８  …温度センサ
４０，４２，４４，４６  …ベンド
６０  …コンピュータ
６２  …ＣＰＵ
６６  …ＲＯＭ
６８  …ＲＡＭ
７０  …カウンタ
７２  …タイマ
７４  …無線ＬＡＮ
１００  …音楽コミュニケーションシステム
１０２  …ネットワーク
【図１】
0003819281.tif 000002
【図２】
0003819281.tif 000003
【図３】
0003819281.tif 000004
【図４】
0003819281.tif 000005
【図５】
0003819281.tif 000006
【図６】
0003819281.tif 000007
【図７】
0003819281.tif 000008
【図８】
0003819281.tif 000009
【図９】
0003819281.tif 000010
【図１０】
0003819281.tif 000011
【図１１】
0003819281.tif 000012
【図１２】
0003819281.tif 000013
【図１３】
0003819281.tif 000014
【図１４】
0003819281.tif 000015
【図１５】
0003819281.tif 000016
【図１６】
0003819281.tif 000017
【図１７】
0003819281.tif 000018