(57)【要約】接触及び圧力感知パネルを有するスクリーン（１００）とのインタラクションについてリアルタイムのサウンドフィードバックを生成するインタラクティブシステム（１３０）が記述される。スクリーン上で、指又はペン形オブジェクト（１１２）のようなツールが、スクリーン（１００）の平面における描画のために使用されることができる。異なるサウンドフィードバックをもつ複数の異なるツールが使用されることができる。タッチスクリーン上で指又はツールにより実際に描画する間、複数のオーディオ制御パラメータが、リアルタイムにサウンド再生を制御するために使用される。それぞれのツール（１１２）は、タッチスクリーン上のこのオブジェクトの物理的、仮想的及び対話的な結果に合うように設計されるそれ自体の典型的なインタラクションサウンドをもつ。
2005504374.tif 000002
【特許請求の範囲】
【請求項１】
インタラクティブシステムにデータを入力するための入力装置を有し、前記入力が前記入力装置へのユーザ操作によって生じさせられるインタラクティブシステムであって、
前記ユーザ操作のパラメータを測定するための測定手段と、
前記測定されたパラメータを音響信号に変換するための変換手段と、
を更に有し、前記音響信号が前記ユーザ操作の前記測定されたパラメータに依存することを特徴とするインタラクティブシステム。
【請求項２】
前記ユーザ操作の前記測定されたパラメータは、圧力に関して前記入力が生じさせられる該圧力であり、前記音響信号は前記圧力に依存する、請求項１に記載のインタラクティブシステム。
【請求項３】
前記ユーザ操作の前記測定されたパラメータは、位置に関して前記入力が生じさせられる該位置であり、前記音響信号は前記位置に依存する、請求項１に記載のインタラクティブシステム。
【請求項４】
前記ユーザ操作の前記測定されたパラメータは、向きに関して前記入力が生じさせられる該向きであり、前記音響信号は前記向きに依存する、請求項１に記載のインタラクティブシステム。
【請求項５】
前記入力装置は接触感知パネルである、請求項１に記載のインタラクティブシステム。
【請求項６】
前記入力装置は圧力感知パネルである、請求項１に記載のインタラクティブシステム。
【請求項７】
前記入力装置は、赤外線カメラを有するカメラアレイである、請求項１に記載のインタラクティブシステム。
【請求項８】
前記音響フィードバックは、ピッチ、ボリューム及びビートのうち少なくとも１つである、請求項１に記載のインタラクティブシステム。
【請求項９】
入力装置にデータを入力することを含み、前記入力が前記入力装置へのユーザ操作によって生じさせられるインタラクション方法であって、
前記ユーザ操作のパラメータを測定するステップと、
前記測定されたパラメータを音響信号に変換するステップと、
を更に含み、前記音響信号が前記ユーザ操作の前記測定されたパラメータに依存することを特徴とするインタラクション方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インタラクティブ（対話型）システムにデータを入力するための入力装置を有し、前記入力が前記入力装置へのユーザ操作によって生じさせられるインタラクティブシステムに関する。
【０００２】
本発明は更に、入力装置にデータを入力することを含み、前記入力が前記入力装置へのユーザ操作によって生じさせられるインタラクション（対話）方法に関する。
【背景技術】
【０００３】
上述のようなインタラクティブシステム及び方法の実施例は、一般に、サウンドのボリューム（音量）が制御されうるオーディオシステムから既知である。これらの音量調節器は、多くの場合、スライダ又はタッチキーによって提供される。スライダが使用されるとき、スライダの位置がサウンドのボリュームを決定する。タッチキーが設けられる場合、タッチキーを押すことによってボリュームが増大し又は減少する。オーディオシステムがサウンドのピッチへのアクセスを提供する場合、ピッチ制御器が設けられる。これらのピッチ制御器もまた、多くの場合、対応して操作されることが可能なスライダ又はタッチキーを有するユーザインタフェースによって提供される。
【０００４】
上述のようなインタラクティブシステム及び方法の他の実施例は更に、一般に、スピーカシステムに接続されるパーソナルコンピュータから既知である。ボリューム及びピッチ制御器は、ソフトウェア生成されたユーザインタフェース制御ガジェットを通して、パーソナルコンピュータによるソフトウェア実行によって提供される。このユーザインタフェース制御ガジェットは、キーボード、マウス又はジョイスティックのような入力装置を介して操作されうるスライダ又はボタンガジェットを提供する。ボリューム又はピッチを制御することに関するスライダ及びボタンのインタラクションモデルは、上述したようなオーディオシステムに関するインタラクションモデルと同じである。更に、パーソナルコンピュータがタッチスクリーンを備えるとき、ペン又は指のような他の入力装置が、ソフトウェア生成されたユーザインタフェース制御ガジェットへの操作を行うために使用されることができる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の実施例の各々について、音響（アコースティック）信号とのインタラクションモデルは、使用されるポインティングデバイスとは概して無関係である。
【０００６】
本発明の目的は、インタラクティブシステムを用いたユーザ操作に依存して音響信号とのより直観的なインタラクションモデルを提供するインタラクティブシステムを提供することである。
【課題を解決するための手段】
【０００７】
この目的を達成するため、冒頭部分に記載のインタラクティブシステムは、インタラクティブシステムが更に、ユーザ操作のパラメータを測定するための測定手段と、測定されたパラメータを音響信号に変換するための変換手段とを有し、音響信号がユーザ操作の測定されたパラメータに依存することを特徴とする。
【０００８】
ユーザ操作のパラメータを測定することによって、それぞれ異なるユーザ操作が、それぞれ異なるインタラクション経験を提供する。ユーザ操作は、例えばペン、鉛筆、ブラシ、イレーサによって又は指によっても実施されることができる。実際の生活の中でポインティング「デバイス」を呼ばれるこれらの各々は、それらが使用されるときそれぞれ異なるサウンドを生成する。例えばペンは、鉛筆、ブラシ又はイレーサとは異なるボリュームレベルでノイズを生成する。更に、それぞれのポインティングデバイスは、そのインタラクションモデルに従って操作されることができる。イレーサは、すでに描かれたオブジェクトの一部を消去することができ、ペンは、鉛筆又はブラシによってもたらされる線と比べてほとんどぼやけない線をもたらすことができる。更に、ユーザが経験する音響フィードバックは、ユーザが扱うデータの種類に依存しないが、ユーザが入力装置への操作を実施するやり方に依存する。例えばこれは、同じ描画が、選ばれるポインティングデバイスに依存して及びそのポインティングデバイスがどのように操作されるかに依存して異なる音響フィードバックをもつシミュレートされたペン又はクレヨンのどちらを用いても描かれることができることを意味する。
【０００９】
本発明によるインタラクティブシステムの他の利点は、ユーザがオーディオを制御するための専用のユーザインタフェースを配置させ、処理し、認識する必要を低減することによって達成される。システムとのインタラクションは、例えばオーディオを制御しつつ描画するために使用されうる。ユーザは更に、指又はより実際的な鉛筆を用いた描画のような選ばれたインタラクションの経験を与えるインタラクションを通してリアルタイムにオーディオが制御されることをあまり意識しない。
【００１０】
本発明によるインタラクティブシステムの実施形態は請求項２に記載されている。圧力に音響フィードバックを制御させることによって、入力装置を用いたユーザ操作のユーザの経験はより直観的になる。例えば、より大きい圧力を入力装置に加えることにより、媒体装置のボリュームレベルを増加させる。これは、書き物をしているときに紙の上にペンを押圧することと比較することができる。より大きい圧力が加えられると、紙に接触しているペンのノイズがより大きくなる。
【００１１】
本発明によるインタラクティブシステムの実施形態は請求項３に記載されている。位置に音響フィードバックを制御させることによって、ユーザ経験の付加的な側面が加えられる。例えば、より速い速度で動かされるペンは、より遅い速度で動かされるペンよりも大きいノイズを生成する。更に、ユーザから離れるように動かされるポインティングデバイスは、ユーザに近づくように動かされるポインティングデバイスより小さいノイズを、減少するボリュームレベルで生成する。このようなユーザに近づくように動かされるポインティングデバイスは、一般に、増大するボリュームレベルでより大きいノイズを生成する。
【００１２】
本発明によるインタラクティブシステムの実施形態は請求項４に記載されている。例えばユーザが表面上で描画している該表面に対するクレヨンの向きのような向き（方向）に音響フィードバックへの影響を与えさせることによって、ユーザのリアルタイム経験がより改善される。クレヨンを表面に対し垂直に保ちながらそのクレヨンにより書くことは、クレヨンを表面と平行に保ちながらそのクレヨンにより書くこととは異なるノイズを生成する。
【００１３】
本発明によるインタラクティブシステムの他の実施形態は請求項５乃至請求項８に記載されている。
【００１４】
更に、本発明の目的は、使用されるポインティングデバイスに依存してオーディオ制御器との一層直観的なインタラクションモデルを提供するインタラクション方法を提供することである。この目的を達成するため、インタラクション方法は、その方法が、ユーザ操作のパラメータを測定し、測定されたパラメータを音響信号に変換することを含み、音響信号がユーザ操作の測定されたパラメータに依存することを特徴とする。
【発明を実施するための最良の形態】
【００１５】
本発明は、図面に示される実施例によって記述される。これらの図の中で、同じ参照数字は図の同じ部分に対応する。
【００１６】
図１は、本発明によるインタラクティブシステムの一般的な部分の概略を示している。ここで１００は、圧力センサ（図示せず）を有するＬＣＤタッチスクリーンのようなタッチスクリーンである。スクリーン上のペンのようなオブジェクトの位置及び圧力は、パーソナルコンピュータ１１０に送られる。パーソナルコンピュータ１１０は、位置及び圧力パラメータをインタープリット（解釈）するとともにこれらのパラメータを可聴音（オーディブル）フィードバックに変えることができるソフトウェアを有する。可聴音フィードバックは、スピーカ１０２、１０４、１０６及び１０８に送られる。サラウンディング効果をもたらすためにより多くのスピーカが使用されることもできる。
【００１７】
このインタラクティブシステム１３０により、特に授業、発表及び上演のような説話的なアクティビティが豊かにされる。これは、表面上の物理的オブジェクトのインタラクションに似たリアルタイムのサウンドフィードバックの経験をもたらすからである。例えばユーザがペンで紙に書き物をしたいと思うとき、スクリーン１００は、紙をシミュレートし、ペンのような形の専用のポインティングデバイス１１２はペンをシミュレートする。ユーザが、スクリーン１００の表面上に「書き」始めると、このインタラクションの位置、速度及び圧力が、パーソナルコンピュータ１１０に送られる。ここで、位置パラメータは、サウンドがポインティングデバイス１１２の位置から生じることをユーザが経験するように、スピーカによって囲まれた平面にサウンドを位置付けるために使用される。例えば、インタラクションが左１１４から右１１６に移動する場合、左スピーカ１０６のボリュームが減少する。インタラクションが前１１８から後１２０に移動する場合、下スピーカ１０８のボリュームが減少する。ユーザがポインティングデバイスを自分に近づくように又は自分から離れるように動かすことを経験するような、移動からスピーカの増減への他のマッピングも可能である。
【００１８】
速度パラメータは、フィードバックサウンドのボリューム全体を制御するために使用される。速度がゼロである場合、ボリュームはゼロにセットされる。速度が増加する場合、ボリュームレベルが増加する。
【００１９】
圧力パラメータは、サウンドのピッチを制御するために使用される。より大きい圧力が加えられる場合、ピッチは上がる。
【００２０】
速度及び圧力パラメータの双方がサウンドのボリュームを制御し、又はビートのようなサウンドの他のパラメータが制御されることも可能である。更に、パラメータは、ポインティングデバイスのスクリーンとのインタラクションを同時に制御するために使用されることができる。例えば、鉛筆をシミュレートするポインティングデバイスが使用されるとき、圧力パラメータは、描かれる線の太さにも変換される。より大きい圧力が加えられるとき、これは、パーソナルコンピュータ１１０によってスクリーン上の太線のリアルタイム表現に変換され、より小さい圧力が加えられるとき、より細い線が表現される。これを通して、ユーザは直観的に細線及び太線を生成することができ、これは実際の鉛筆とのインタラクションに似ている。
【００２１】
異なるポインティングデバイスは異なるフィードバックを必要とし、それゆえシステムは、ポインティングデバイス識別能力を具える。これは、それぞれのポインティングデバイスにＲＦタグを備え付けることによって達成される。ＲＦタグは、ＲＦタグリーダ１２２によって読み取られる。ＲＦタグを使用する代わりに、それぞれのポインティングデバイスは、トランスポンダリーダによって読み取られることができるトランスポンダを備えることができる。ＲＦタグリーダは、パーソナルコンピュータ１１０に接続される。トランスポンダリーダが使用される場合、これもまたパーソナルコンピュータ１１０に接続される。それぞれのポインティングデバイスは、それ自体のユニークな識別番号を有し、パーソナルコンピュータ１１０は、ユニークな識別番号から対応するポインティングデバイスのパラメータ設定のサウンドパラメータへのマッピングが維持されるデータベース１１２を有する。ファイル構造のようなより単純なマッピングを使用することも可能である。このようなファイル構造において、それぞれのユニークな識別番号は、寸法、カラー等のそのポインティングデバイスのより多くの特性を含むフォルダである。
【００２２】
しかしながら、ユーザが自分の指を使って「描く」とき、スクリーン１００はなお位置、速度及び圧力パラメータを受け取り、これらをパーソナルコンピュータ１１０に送るが、パーソナルコンピュータはユニークな識別番号を受け取らない。このような場合、紙に触れている指のサウンドをシミュレートするデフォルトのサウンドが選択される。デフォルトのサウンドが使用されることをユーザに示すために、他のデフォルトのサウンドが使用されることもできる。
【００２３】
図２は、本発明によるカメラアレイを有するインタラクティブシステム２３０の実施例の一般的な部分を概略的に示している。ここで、２０２は、ペン形ポインティングデバイス２１６の位置及び向きを読み取ることができる２つの赤外線カメラ２１２、２１４を有するカメラアレイである。このペン形ポインティングデバイス２１６は、ペンの座標及び向きがカメラアレイの赤外線カメラによって読み取られることができるようにペン形ポインティングデバイス２１６上に取り付けられる３つの発光ダイオード（ＬＥＤ）２０４、２０６及び２０８を有する。ポインティングデバイスの位置及び向きの送信をもたらす他の技法が使用されることもできる。カメラアレイ及びペン形ポインティングデバイスの双方はパーソナルコンピュータ１１０に接続される。この接続はワイヤ接続であるが、すべての装置が適当な信号を受け取り伝送するための対応するソフトウェアを備えるという条件で、ワイヤレスも可能である。更に、ペン形ポインティングデバイスは圧力センサ２１０を有する。この実施例の場合、接触感知及び圧力感知のパネルの必要がなく、通常のディスプレイ２１８が使用される。この場合、カメラアレイは、ペン形ポインティングデバイスの位置及び向きを読み取り、この位置及び向きをパーソナルコンピュータ１１０に送る。上述したように、位置は可調音フィードバックに変換され、向きは、描かれた線の太さを変えるために使用される。例えば、クレヨンがディスプレイ２１８に対して垂直に使用されるとき、細線が、ディスプレイ上にリアルタイムに視覚化される。しかしながら、クレヨンがディスプレイ２１８に平行に使用されるとき、クレヨンの幅を近似し更にユーザの経験を改善する線が視覚化される。
【００２４】
ユーザが、メッセージ又は描画を既存の描画に加えたいと思うとき、既存の描画は、通常のやり方で、例えばフロッピー（Ｒ）ディスク、ＣＤ、インターネット等を介してパーソナルコンピュータ１１０にダウンロードされることができる。この既存の描画は、ディスプレイ上に視覚化され、ポインティングデバイスの座標は、この描画の中の座標に変換され、ユーザは、既存の描画への追加又はその描画からの消去が可能になる。
【００２５】
圧力センサは、圧力パラメータをパーソナルコンピュータ１１０に送り、パーソナルコンピュータ１１０は、上述したようにこのパラメータをサウンドに変換する。
【００２６】
例えばパネルが接触感知パネルであり、ポインティングデバイスが圧力センサを有するような上述の実施例の組み合わせが可能である。
【００２７】
イレーサ、スタイログラフィックペン、ブラシ等のようなより多くのポインティングデバイスがシステムに追加され、除去されることができる。この目的のため、パーソナルコンピュータ１１０は、スクリーンを介して動作させられることができるマネジメントソフトウェアを有する。使用されるポインティングデバイスの種類を識別するサウンドを変更し、スクリーンがシミュレートする表面を変更することも可能である。表面は、例えば石、ガラス又はホワイトボードに変更されることができる。更に、位置、速度及び圧力パラメータを通して動作させられる装置も変更されることができる。これらは、例えばそのカラー及び強度のような周囲光を制御するために使用されることができる。
【図面の簡単な説明】
【００２８】
【図１】本発明によるインタラクティブシステムの一般的な部分を示す概略図。
【図２】本発明によるカメラアレイを有するインタラクティブシステムの実施例の一般的な部分を示す概略図。
【国際公開パンフレット】
2005504374.tif 000003
2005504374.tif 000004
2005504374.tif 000005
2005504374.tif 000006
2005504374.tif 000007
2005504374.tif 000008
2005504374.tif 000009
2005504374.tif 000010
2005504374.tif 000011
2005504374.tif 000012
【国際公開パンフレット（コレクトバージョン）】
2005504374.tif 000013
【国際調査報告】
2005504374.tif 000014
2005504374.tif 000015
2005504374.tif 000016