(57)【特許請求の範囲】
【請求項１】
第１の知覚要素および第２の知覚要素に対応する統合信号を取得する取得手段と、
前記第１の知覚要素に対応する第１の信号、および前記第２の知覚要素に対応する第２の信号を生成するか否かを判定する判定手段と、
前記第１の信号および前記第２の信号を生成すると判定された場合、前記統合信号を基に、前記第１の信号および前記第２の信号を生成する生成手段と、
前記第１の信号および前記第２の信号を生成すると判定された場合、前記第１の信号および前記第２の信号を出力し、前記第１の信号および前記第２の信号を生成しないと判定された場合、前記統合信号を前記第１の信号として出力する出力手段と、
取得した前記統合信号、並びに前記第１の信号および前記第２の信号を生成したか否かに対応する課金情報の前記提供装置への送信を制御する第１の送信制御手段と
を含むことを特徴とする情報処理装置。
【請求項２】
前記提供装置への、前記統合信号の要求の送信を制御する第２の送信制御手段
を更に含むことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第１の信号は、映像信号であり、
前記第２の信号は、揺動信号である
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
第１の知覚要素および第２の知覚要素に対応する統合信号を取得する取得ステップと、
前記第１の知覚要素に対応する第１の信号、および前記第２の知覚要素に対応する第２の信号を生成するか否かを判定する判定ステップと、
前記第１の信号および前記第２の信号を生成すると判定された場合、前記統合信号を基に、前記第１の信号および前記第２の信号を生成する生成ステップと、
前記第１の信号および前記第２の信号を生成すると判定された場合、前記第１の信号および前記第２の信号を出力し、前記第１の信号および前記第２の信号を生成しないと判定された場合、前記統合信号を前記第１の信号として出力する出力ステップと、
取得した前記統合信号、並びに前記第１の信号および前記第２の信号を生成したか否かに対応する課金情報の前記提供装置への送信を制御する送信制御ステップと
を含むことを特徴とする情報処理方法。
【請求項５】
提供装置および情報処理装置から成る提示システムにおいて、
前記提供装置は、
課金情報の受信を制御する受信制御手段と、
第１の知覚要素に関する第１の信号、および前記第１の信号に対応する、第２の知覚要素に関する第２の信号を基に、前記第１の知覚要素および前記第２の知覚要素に対応する統合信号を生成する第１の生成手段と、
前記統合信号の送信を制御する第１の送信制御手段と、
前記課金情報に基づいて、課金の処理を実行する課金処理手段と
を含み、
前記情報処理装置は、
前記統合信号を取得する取得手段と、
前記第１の知覚要素に対応する第１の信号、および前記第２の知覚要素に対応する第２の信号を生成するか否かを判定する判定手段と、
前記第１の信号および前記第２の信号を生成すると判定された場合、前記統合信号を基に、前記第１の信号および前記第２の信号を生成する第２の生成手段と、
前記第１の信号および前記第２の信号を生成すると判定された場合、前記第１の信号および前記第２の信号を出力し、前記第１の信号および前記第２の信号を生成しないと判定された場合、前記統合信号を前記第１の信号として出力する出力手段と、
取得した前記統合信号、並びに前記第１の信号および前記第２の信号を生成したか否かに対応する前記課金情報の前記提供装置への送信を制御する第２の送信制御手段と
を含むことを特徴とする提示システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、情報処理装置および方法、並びに提示システムに関し、特に、複数の知覚要素に対応する信号を取り扱う情報処理装置および方法、並びに提示システムに関する。
【０００２】
【従来の技術】
送信装置が画像の信号、および画像に対応する音声の信号を送信し、受信装置が画像の信号、および音声の信号を受信して、復号し、画像を表示すると共に、対応する音声を出力するシステムが広く利用されている。
【０００３】
このような画像の信号および音声の信号など異なる種類の信号は、それぞれに送信されて、受信され、画像の信号に対応する処理と、音声の信号に対応する処理とが、別々に実行される。
【０００４】
【発明が解決しようとする課題】
しかしながら、受信装置が、画像のみを表示し、音声を出力しないとき、受信装置は、画像の信号に対応する画像をそのまま表示するしかなかった。同様に、受信装置が、音声のみを出力し、画像を表示しないとき、受信装置は、音声の信号に対応する音声をそのまま出力するしかなかった。
【０００５】
また、同一の画像の信号および音声の信号を受信した受信装置が、画像のみを表示するとき、音声のみを出力するとき、または画像を表示して音声を出力するとき、それぞれに対応する料金を課金することはできなかった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、画像などの複数の知覚要素に対応する信号を統一的に伝送すると共に、同一の信号を受信しても、知覚要素の提示の態様に対応させて異なる料金を課金できるようにすることを目的とする。
【００１１】
【課題を解決するための手段】
請求項１に記載の情報処理装置は、第１の知覚要素および第２の知覚要素に対応する統合信号を取得する取得手段と、第１の知覚要素に対応する第１の信号、および第２の知覚要素に対応する第２の信号を生成するか否かを判定する判定手段と、第１の信号および第２の信号を生成すると判定された場合、統合信号を基に、第１の信号および第２の信号を生成する生成手段と、第１の信号および第２の信号を生成すると判定された場合、第１の信号および第２の信号を出力し、第１の信号および第２の信号を生成しないと判定された場合、統合信号を第１の信号として出力する出力手段と、取得した統合信号、並びに第１の信号および第２の信号を生成したか否かに対応する課金情報の提供装置への送信を制御する第１の送信制御手段とを含むことを特徴とする。
【００１２】
情報処理装置は、提供装置への、統合信号の要求の送信を制御する第２の送信制御手段を更に設けることができる。
【００１３】
第１の信号は、映像信号とし、第２の信号は、揺動信号とすることができる。
【００１４】
請求項４に記載の情報処理方法は、第１の知覚要素および第２の知覚要素に対応する統合信号を取得する取得ステップと、第１の知覚要素に対応する第１の信号、および第２の知覚要素に対応する第２の信号を生成するか否かを判定する判定ステップと、第１の信号および第２の信号を生成すると判定された場合、統合信号を基に、第１の信号および第２の信号を生成する生成ステップと、第１の信号および第２の信号を生成すると判定された場合、第１の信号および第２の信号を出力し、第１の信号および第２の信号を生成しないと判定された場合、統合信号を第１の信号として出力する出力ステップと、取得した統合信号、並びに第１の信号および第２の信号を生成したか否かに対応する課金情報の提供装置への送信を制御する送信制御ステップとを含むことを特徴とする。
【００１５】
請求項５に記載の提示システムは、提供装置が、課金情報の受信を制御する受信制御手段と、第１の知覚要素に関する第１の信号、および第１の信号に対応する、第２の知覚要素に関する第２の信号を基に、第１の知覚要素および第２の知覚要素に対応する統合信号を生成する第１の生成手段と、統合信号の送信を制御する第１の送信制御手段と、課金情報に基づいて、課金の処理を実行する課金処理手段とを含み、情報処理装置が、統合信号を取得する取得手段と、第１の知覚要素に対応する第１の信号、および第２の知覚要素に対応する第２の信号を生成するか否かを判定する判定手段と、第１の信号および第２の信号を生成すると判定された場合、統合信号を基に、第１の信号および第２の信号を生成する第２の生成手段と、第１の信号および第２の信号を生成すると判定された場合、第１の信号および第２の信号を出力し、第１の信号および第２の信号を生成しないと判定された場合、統合信号を第１の信号として出力する出力手段と、取得した統合信号、並びに第１の信号および第２の信号を生成したか否かに対応する課金情報の提供装置への送信を制御する第２の送信制御手段とを含むことを特徴とする。
【００１７】
請求項１に記載の情報処理装置および請求項４に記載の情報処理方法においては、第１の知覚要素および第２の知覚要素に対応する統合信号が取得され、第１の知覚要素に対応する第１の信号、および第２の知覚要素に対応する第２の信号を生成するか否かが判定され、第１の信号および第２の信号を生成すると判定された場合、統合信号を基に、第１の信号および第２の信号が生成され、第１の信号および第２の信号を生成すると判定された場合、第１の信号および第２の信号が出力され、第１の信号および第２の信号を生成しないと判定された場合、統合信号が第１の信号として出力され、取得した統合信号、並びに第１の信号および第２の信号を生成したか否かに対応する課金情報の提供装置への送信が制御される。
【００１８】
請求項５に記載の提示システムにおいては、課金情報の受信が制御され、第１の知覚要素に関する第１の信号、および第１の信号に対応する、第２の知覚要素に関する第２の信号を基に、第１の知覚要素および第２の知覚要素に対応する統合信号が生成され、統合信号の送信が制御され、課金情報に基づいて、課金の処理が実行され、統合信号が取得され、第１の知覚要素に対応する第１の信号、および第２の知覚要素に対応する第２の信号を生成するか否かが判定され、第１の信号および第２の信号を生成すると判定された場合、統合信号を基に、第１の信号および第２の信号が生成され、第１の信号および第２の信号を生成すると判定された場合、第１の信号および第２の信号が出力され、第１の信号および第２の信号を生成しないと判定された場合、統合信号が第１の信号として出力され、取得した統合信号、並びに第１の信号および第２の信号を生成したか否かに対応する課金情報の提供装置への送信が制御される。
【００１９】
【発明の実施の形態】
図１は、本発明に係る統合提示システムの一実施の形態の構成を示す図である。統合信号生成装置１は、統合信号提示装置２からの要求に対応して、画像、および揺動などの複数の知覚要素（人が５感で認識する刺激を引き起こすもの）の状態を１つの信号で示す統合信号（以下、コンテンツとも称する）を生成する。統合信号生成装置１は、公衆電話回線、ネットワーク、または、衛星通信回線などの伝送経路を介して、生成した統合信号を統合信号提示装置２に送信する。
【００２０】
または、統合信号生成装置１は、生成した統合信号を磁気テープ、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどの媒体に記録する。統合信号が記録された媒体は、郵送、または宅配などの物流システムにより、統合信号提示装置２に供給される。
【００２１】
統合信号生成装置１は、統合信号提示装置２から、要求と共に送信された課金情報を受信して、受信した課金情報を基に、統合信号の供給に対応する課金の処理を実行する。
【００２２】
統合信号提示装置２は、伝送経路または媒体を介して、統合信号生成装置１に課金情報と共に統合信号を要求し、統合信号生成装置１から供給された統合信号を基に、画像、および揺動などの複数の要素のそれぞれの状態を示す提示信号を生成して、生成した提示信号を提示装置３に供給する。
【００２３】
提示装置３は、統合信号提示装置２から供給された提示信号を基に、画像および揺動などの複数の要素を使用者に提示する。
【００２４】
このようにして、提示装置３の使用者は、画像、および揺動などの複数の要素を認識する。
【００２５】
統合信号生成装置１は、映像信号記録部１１、揺動信号記録部１２、統合信号符号化部１３、統合信号送信部１４、統合信号記録部１５、コンテンツ要求受信部１６、コンテンツ選択処理部１７、課金情報受信部１８、および課金処理部１９で構成されている。
【００２６】
映像信号記録部１１は、例えばハードディスクなど、媒体および媒体駆動装置などで構成され、動画像の映像信号を予め記録している。映像信号は、MPEG（Moving Picture Experts Group）2などのデジタルデータに対応する信号、またはアナログ信号など、いずれの方式でもよい。映像信号記録部１１は、コンテンツ選択処理部１７の要求に対応して、記録している映像信号を統合信号符号化部１３に供給する。
【００２７】
揺動信号記録部１２は、映像信号記録部１１が記録している映像信号に対応する揺動信号を予め記録している。揺動信号は、使用者の体の時間的な変位を示す信号であり、例えば、使用者の体の上下動、または回動などを示す。揺動信号記録部１２は、例えばハードディスクなど、媒体および媒体駆動装置などで構成され、コンテンツ選択処理部１７の要求に対応して、映像信号記録部１１が統合信号符号化部１３に供給する映像信号に同期して、映像信号に対応する揺動信号を統合信号符号化部１３に供給する。
【００２８】
図２は、映像信号記録部１１が統合信号符号化部１３に供給する映像信号、および揺動信号記録部１２が統合信号符号化部１３に供給する揺動信号を説明する図である。
【００２９】
図２（Ａ）は、映像信号記録部１１が統合信号符号化部１３に供給する映像信号に対応する画像を示す図である。図２（Ｂ）は、揺動信号記録部１２が統合信号符号化部１３に供給する、例えば、画像に対して上下方向の揺動を示す、揺動信号を示す図である。
【００３０】
映像信号に対応する画像（静止画像）は、例えば、時刻を基に、揺動信号の揺動（振幅）に対応づけられる。
【００３１】
統合信号符号化部１３は、映像信号記録部１１から供給された映像信号、および揺動信号記録部１２から供給された映像信号を基に、統合信号を生成する。
【００３２】
図３は、図２に示す映像信号および揺動信号を基に、統合信号符号化部１３により生成された、統合信号の例を示す図である。図３に示す統合信号は、映像信号に対応する画像を、揺動信号に対応するように上下方向に移動させて、生成される。
【００３３】
また、例えば、揺動信号が画像に対して左右方向の揺動を示すとき、統合信号は、映像信号に対応する画像を、揺動信号に対応するように左右方向に移動させて、生成される。
【００３４】
同様に、他の揺動の成分（いわゆる、roll、yaw、およびpitchなどの回動成分）を有する揺動信号に基づいて、画像を移動させるようにしてもよい。
【００３５】
さらに、例えば、画像に対応する音声に自動車のエンジン音が含まれているとき、統合信号符号化部１３は、自動車に対応する揺動信号を揺動信号記録部１２から読み出して、読み出した揺動信号を基に、画像を移動させることにより統合信号を生成するようにしてもよい。この場合、統合信号に対応する画像は、自動車の振動に対応する揺動を含む。
【００３６】
統合信号符号化部１３は、統合信号の方式にあった符号化方式で、統合信号を符号化するようにしてもよい。
【００３７】
統合信号符号化部１３は、生成した統合信号を統合信号送信部１４および統合信号記録部１５に供給する。
【００３８】
統合信号送信部１４は、統合信号符号化部１３から供給された統合信号を、公衆電話回線、ネットワーク、または、衛星通信回線などの伝送経路を介して、統合信号提示装置２に送信する。
【００３９】
統合信号記録部１５は、統合信号符号化部１３から供給された統合信号を、磁気テープ、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどの媒体に記録する。統合信号が記録された媒体は、統合信号提示装置２に供給される。
【００４０】
コンテンツ要求受信部１６は、伝送路を介して、統合信号提示装置２が送信したコンテンツの要求を受信し、受信したコンテンツの要求をコンテンツ選択処理部１７に出力する。
【００４１】
課金情報受信部１８は、伝送路を介して、統合信号提示装置２がコンテンツの要求と共に送信した課金情報（例えば、銀行口座の番号およびその銀行口座に対応する暗証番号などから構成される）を受信し、受信した課金情報を課金処理部１９に供給する。課金処理部１９は、課金情報を基に、課金の処理、例えば、指定された銀行口座からの料金の引き落としの処理を実行する。課金処理部１９は、課金の処理の結果（処理が正常に終了した、または残高不足により処理することができなかったなどを示す）をコンテンツ選択処理部１７に供給する。
【００４２】
コンテンツ選択処理部１７は、課金の処理が正常に終了したとき、コンテンツ要求受信部１６から供給されたコンテンツの要求、および課金情報処理部１９から供給された課金の処理の結果を基に、映像信号記録部１１および揺動信号記録部１２に要求に対応する映像信号および揺動信号の出力を指示する。
【００４３】
課金の処理が正常に終了しなかったとき、コンテンツ選択処理部１７は、映像信号記録部１１および揺動信号記録部１２に映像信号および揺動信号の出力を指示しない。
【００４４】
統合信号提示装置２は、統合信号受信部２１、パラメータ指示部２２、統合信号復号部２３、コンテンツ選択部２４、コンテンツ要求送信部２５、および課金情報送信部２６で構成されている。
【００４５】
統合信号受信部２１は、統合信号生成装置１が送信した統合信号を受信し、受信した統合信号を統合信号復号部２３に供給する。
【００４６】
図示せぬドライブ装置などにより媒体から読み取られた統合信号は、統合信号復号部２３に供給される。
【００４７】
パラメータ指示部２２は、提示装置３から供給された、例えば、提示装置３の構成を示すパラメータ選択信号を入力し、パラメータ選択信号に対応する復号パラメータを統合信号復号部２３に供給する。
【００４８】
例えば、復号パラメータは、提示装置３が揺動を提示する機能を有しないとき、０であり、提示装置３が揺動を提示する機能を有するとき、１である。
【００４９】
統合信号復号部２３は、パラメータ指示部２２から供給された復号パラメータを基に、統合信号を提示装置３の機器構成に対応する提示信号を提示装置３に供給する。
【００５０】
統合信号提示装置２から出力される提示信号は、映像信号および揺動信号から構成されるか、または映像信号のみで構成される。
【００５１】
コンテンツ選択部２４は、スイッチボックス等で構成され、統合信号提示装置２の使用者の操作に対応した、コンテンツの指定をするための信号をコンテンツ要求送信部２５に供給する。
【００５２】
コンテンツ要求送信部２５は、コンテンツ選択部２４から供給された信号を基に、伝送路を介して、コンテンツの要求を統合信号生成装置１に送信するとともに、コンテンツを要求した旨の信号を課金情報送信部２６に出力する。
【００５３】
課金情報送信部２６は、コンテンツ要求送信部１５から供給されたコンテンツを要求した旨の信号を受信したとき、予め記憶している、銀行口座の番号およびその銀行口座に対応する暗証番号などから構成される課金情報を、伝送路を介して、統合信号生成装置１に送信する。
【００５４】
図４は、統合信号復号部２３の構成を説明する図である。統合信号復号部２３に入力された統合信号および復号パラメータは、処理決定部５１に供給される。
【００５５】
処理決定部５１は、パラメータ指示部２２から供給された復号パラメータを基に、統合信号復号部２３が出力する提示信号を映像信号および揺動信号で構成するか、または映像信号のみで構成するかいずれかを決定する。
【００５６】
処理決定部５１は、図１０を参照して後述するように、提示装置３が映像提示部１１１および揺動提示部１１２で構成されるとき（すなわち、提示装置３が揺動を提示する機能を有するとき）、映像信号および揺動信号を、提示信号として出力させる。
【００５７】
一方、処理決定部５１は、図１４を参照して後述するように、提示装置３が映像提示部１１１のみで構成されるとき（すなわち、提示装置３が揺動を提示する機能を有しないとき）、映像信号のみを提示信号として出力させる。
【００５８】
処理決定部５１は、入力された統合信号を、動きベクトル抽出部５２、画像補正部５３、および映像信号選択部５５に供給する。
【００５９】
動きベクトル抽出部５２は、統合信号の画像から、動きベクトルを生成して、生成した動きベクトルを揺動信号生成部５４に供給する。
【００６０】
揺動信号生成部５４は、動きベクトル抽出部５２から供給された動きベクトルを基に、揺動信号を生成して、生成した揺動信号を、画像補正部５３に供給すると共に、統合信号復号部２３の出力として提示装置３に出力する。
【００６１】
画像補正部５３は、揺動信号生成部５４から供給された揺動信号を基に、処理決定部５１から供給された映像信号である統合信号の画像を揺れを除去するように補正し、補正した画像を含む映像信号を映像信号選択部５５に供給する。
【００６２】
例えば、画像補正部５３は、映像信号である統合信号の画像を、揺動信号に対応させて上下方向に移動させて（統合信号符号化部１３の場合とは逆の方向に移動させて）、画像を補正する。すなわち、画像補正部５３が出力する映像信号は、映像信号記録部１１が記録している映像信号と同様となり、上下動が除去された画像を表示させる。
【００６３】
映像信号選択部５５は、処理決定部５１から供給された選択信号を基に、処理決定部５１から供給された統合信号、または画像補正部５３から供給された映像信号のいずれか一方を選択して、選択した信号を統合信号復号部２３の出力として提示装置３に出力する。
【００６４】
提示装置３が映像提示部１１１および揺動提示部１１２で構成されるとき、映像信号選択部５５は、画像補正部５３から供給された映像信号を選択して、上下動が除去された画像に対応する映像信号を提示信号として出力する。提示装置３が映像提示部１１１のみで構成されるとき、映像信号選択部５５は、処理決定部５１から供給された統合信号を選択して、統合信号をそのまま提示信号として出力する。
【００６５】
図５は、動きベクトル抽出部５２の構成を示すブロック図である。動きベクトル抽出部５２に入力された映像信号は、遅延部７１により１フレーム分遅延された後、フレームバッファ７２−１に供給される。動きベクトル抽出部５２に入力された映像信号は、フレームバッファ７２−２にも供給される。
【００６６】
読み出し部７３−１および７３−２は、メモリ７４に記憶されている所定のパターンに従って、それぞれ対応するフレームバッファ７２−１および７２−２から、映像信号を読み出し、動きベクトル検出部７５に出力する。
【００６７】
動きベクトル検出部７５は、供給された映像信号から動きベクトルを検出し、て検出した動きベクトルを揺動信号生成部５４に出力する。
【００６８】
次に、図５に示した動きベクトル抽出部５２の動作について説明する。時刻ｔにおいて、動きベクトル抽出部５２に入力された映像信号は、遅延部７１とフレームバッファ７２−２に供給される。フレームバッファ７２−２は、入力された１フレーム分の映像信号を記憶する。遅延部７１は、映像信号を１フレーム分だけ遅延するので、時刻ｔにおいて、フレームバッファ７２−１には、時刻ｔより前の時刻ｔ−１における映像信号（時刻ｔより１フレーム前の映像信号）が記憶されている。
【００６９】
フレームバッファ７２−１に記憶された時刻ｔ−１における映像信号は、読み出し部７３−１により、フレームバッファ７２−２に記憶された時刻ｔにおける映像信号は、読み出し部７３−２により、それぞれ読み出される。
【００７０】
読み出し部７３−１および７３−２は、それぞれ対応するフレームバッファ７２−１または７２−２に記憶されている映像信号のうち、メモリ７４に記憶されているパターンに対応する部分の映像信号を読み出す。ここで、メモリ７４に記憶されているパターンについて、図６を参照して説明する。
【００７１】
図６は、メモリ７４に記憶されているパターンの一例を示す図である。１フレームを構成する画素のなかで、揺動に関係のない部分、例えば、図７に示したような、統合信号生成装置１により生成された統合信号の場合、上下方向に画像を移動させるために必要な部分などは揺動に関係のない領域と判断し、その領域を取り除いた領域の中心に位置する画素を収束点Ｐとする。収束点Ｐを中心として上下左右に対称な代表点Ｑ、例えば、２５個（収束点を含む）を設定する。各代表点Ｑ毎に、その代表点Ｑが中心に位置する所定の画素数からなるブロックＢ、例えば、３３×３３画素からなるブロックＢを設定する。メモリ７４には、このようなフレームの画面内における各代表点Ｑの座標と、ブロックＢの大きさが、パターンとして記憶されている。
【００７２】
読み出し部７３−１は、フレームバッファ７２−１に記憶されている時刻ｔ−１における映像信号のうち、メモリ７４に記憶されている上述したようなパターンに対応する画素データ、すなわち、代表点Ｑの座標とブロックＢの大きさをもとに、各ブロックＢ内の画素データを読み出し、動きベクトル検出部７５に、参照ブロックのデータとして出力する。同様に、読み出し部７３−２は、フレームバッファ７２−２に記憶されている時刻ｔにおける映像信号のうち、メモリ７４に記憶されているパターンに対応する画素データを読み出し、動きベクトル検出部７５に探索ブロックのデータとして出力する。
【００７３】
動きベクトル検出部７５は、入力された参照ブロックのデータと探索ブロックのデータとを用いて、ブロックマッチングを行うことにより、各代表点Ｑにおける動きベクトルを検出する。従って、この例の場合、２５個の動きベクトルが検出される。
【００７４】
このように、動きベクトル抽出部５２は、動きベクトルを検出して、検出した動きベクトルを揺動信号生成部５４に供給する。
【００７５】
図８は、揺動信号生成部５４の構成を示すブロック図である。特徴量演算部９１は、入力された動きベクトルから特徴量を演算する。
【００７６】
特徴量演算部９１は、動きベクトル抽出部５２により検出された２５個の動きベクトルを用いて、そのフレーム（画面）の揺動の水平成分ｕ、垂直成分ｖ、拡大成分ｖzoom、および回転成分ｖrotの合計４成分を、以下に示す式に基づいて算出する。
水平成分ｕ＝（１／ｎ）Σｕi  ・・・（１）
垂直成分ｖ＝（１／ｎ）Σｖi  ・・・（２）
拡大成分ｖzoom＝（１／ｎ）Σｖzoomi／ｄi  ・・・（３）
回転成分ｖrot＝（１／ｎ）Σｖroti／ｄi    ・・・（４）
なお、添え字のｉは、代表点Ｑiに付けられた番号を示し、この例では１乃至２５まで変化する。また、ｎは代表点の個数であるので、この例では２５である。式（１）乃至式（４）により求められる値は、２５個の動きベクトルから得られる各成分ｕ、ｖ、ｖzoom、ｖrotの平均値である。
【００７７】
上述した各成分ｕ、ｖ、ｖzoom、ｖrotの関係を図９を参照して説明する。処理対象となっている代表点Ｑiの動きベクトルＴの水平方向の成分をｕiとし、垂直方向の成分をｖiとする。ｄｉは、収束点Ｐから代表点Ｑiまでの距離を表すスカラ量である。また、（Ｐｘ，Ｐｙ）は、収束点Ｐの座標を表し、この座標値を基準として座標（Ｑiｘ，Ｑiｙ）の代表点Ｑiまでの距離が算出される。
【００７８】
この動きベクトルＴの成分（ｕi，ｖi）は、代表点Ｑiを原点としたときの成分である。動きベクトルＴの、収束点Ｐと代表点Ｑiとを結ぶ直線と平行な方向の成分ｖzoomiとし、収束点Ｐと代表点Ｑiとを結ぶ直線と直交する方向の成分をｖrotiとする。また、収束点Ｐと代表点Ｑiとを結ぶ直線と動きベクトルＴとがなす角度をθとする。このとき、ｖzoomiとｖrotiは、次式に従って求められる。
ｖzoomi＝（ｕi2＋ｖi2）(1/2)ＣＯＳθ  ・・・（５）
ｖroti ＝（ｕi2＋ｖi2）(1/2)ＳＩＮθ  ・・・（６）
【００７９】
特徴量演算部９１は、動きベクトル抽出部５２から出力された動きベクトルから、式（１）乃至式（４）を用いて、特徴量として４成分のデータｕ、ｖ、ｖzoom、ｖrotを算出する。算出された４成分のデータｕ、ｖ、ｖzoom、ｖrotは、揺動信号生成部５４の後段に供給される。
【００８０】
ここで、例えば、使用者に対して自動車に乗っている感じを疑似体験させる場合、どのような揺動を使用者が座っている椅子に対して加えればよいのかを考える。自動車の椅子に加えられる揺動には、自動車が坂道などの勾配のある道を走っているときの路面の前後方向の傾き、でこぼこした道の上を走っているときの路面から受ける振動、傾いた路面を走っているときの路面の左右方向の傾きなどがある。
【００８１】
これらの揺動は、揺動信号を生成するセンサが搭載された自動車に対して、実際に加えられた刺激（実刺激）であり、映像を観察する使用者の椅子に対しても、この実刺激と同様な揺動を加えればよい。例えば、実刺激が右方向への傾きであれば、使用者の椅子も右に傾ければよい。これらの揺動は、アクチュエータなどを利用することにより、使用者用の椅子に加えることができる揺動である。
【００８２】
これに対して、自動車がカーブを曲がるときの遠心力、加速や減速のときの慣性力、自動車が曲がる時の自動車首振りに対応する力は、使用者に人工的に引力を加えることは物理的に不可能であるため、代替的な揺動（代替刺激）として使用者に加える必要がある。例えば、加速時の慣性力を表現するために、椅子を加速に対応して前に移動させて使用者に慣性力を加えることはできないので、後ろ方向の傾きなどの代替刺激を使用者の椅子に加える必要がある。
【００８３】
以下に、上述した実刺激と代替刺激に関する揺動、実際に使用者用の椅子に対して加える揺動信号の成分、並びに、上述した特徴量演算部９１により演算された４成分の関係を示す。
実刺激
0004465828.tif 000002
代替刺激
0004465828.tif 000003
【００８４】
揺動信号生成部５４の後段は、上述した関係を用いて、提示装置３に供給する揺動信号を生成する。揺動信号生成部５４が生成する揺動信号は、揺動信号記録部１２から供給された揺動信号に対応する。
【００８５】
特徴量演算部９１から出力された４成分のうち、回転成分ｖrotは、加算器９２−１に、水平成分ｕは、加算器９２−２と符号反転器９３−１に、垂直成分ｖは、加算器９２−３に、拡大成分ｖzoomは、加算器９２−５と遅延器９４−３に、それぞれ入力される。加算器９２−１には、加算器９２−１から出力されたデータが、遅延器９４−１で１クロック分遅延された後、入力される。同様に、加算器９２−３にも、加算器９２−３から出力されたデータが、遅延器９４−２で１クロック分遅延された後、入力される。
【００８６】
遅延器９４−１から出力されたデータは、加算器９２−２に入力される。遅延器９４−２から出力されたデータは、符号反転器９３−２を介してHPF（High Pass Filter）９５に出力されると共に、LPF（Low Pass Filter）９６−１を介して加算器９２−４にも出力される。加算器９２−５に入力された拡大成分ｖzoomは、遅延器９４−３により１クロック分遅延された拡大成分ｖzoomが減算され、LPF９６−２を介して加算器９２−４に入力される。
【００８７】
次に、揺動信号生成部５４の後段が行う揺動信号成分roll、yaw、ｚ、およびpitchの算出について説明する。揺動信号生成部５４の後段に入力された回転成分ｖrotは、加算器９２−１に入力される。加算器９２−１は、時刻ｔにおいて入力された回転成分ｖrotと、遅延器９４−１より出力される１単位時間前の時刻ｔ−１のデータとを加算する。加算器９２−１は、このようにして、回転成分ｖrotを累積加算（積分）していくことにより、路面の左右の傾きを表現する揺動信号成分roll（Σｖrot）を算出する。しかしながら、路面の左右の傾きを表現する揺動信号成分rollは、−Σｖrotなので、加算器９２−２は、遅延器９４−１から入力されたデータの符号を反転したデータを演算に用いる。
【００８８】
揺動信号成分roll（水平成分ｕ）は、カーブ時の遠心力を表現するのにも用いられる。そこで、加算器９２−２は、遅延器９４−１から入力されたデータの符号を反転したデータと、水平成分ｕとを加算する（水平成分ｕから遅延器９４−１の出力を減算する）ことにより、提示装置３に供給する揺動信号成分rollを算出する。
【００８９】
曲がる時の自動車首振りの揺動信号成分yawは、水平成分ｕの値を反転することにより得られるので、揺動信号生成部５４は、入力された水平成分ｕの値を、符号反転器９３−１により、符号を反転させることに揺動信号成分yawを算出する。
【００９０】
加算器９２−３には、時刻ｔにおいて入力された垂直成分ｖと、遅延器９４−２より出力された１単位時間前の時刻ｔ−１の垂直成分ｖを加算する。このようにして、加算器９２−３において、垂直成分ｖが累積加算（積分）される。そして、加算器９２−３とと遅延器９４−２により累積加算されたデータは、符号反転器９３−２に入力され、符号が反転され、さらにHPF９５により、高周波成分のみが取り出される。このようにして、路面から受ける振動を表現する揺動信号成分ｚが算出される。
【００９１】
また、遅延器９４−２から出力されたデータは、LPF９６−１にも出力され、低周波成分が取り出される。このようにして、路面の前後の傾きを表現する揺動信号成分pitchが算出される。揺動信号成分pitchは、加減速による慣性力を表現する揺動信号成分としても用いられる。そのため、LPF９６−１から出力された揺動信号成分pitchは、加算器９２−４により、慣性力を表現する揺動信号成分pitchと加算される。
【００９２】
慣性力を表現する揺動信号成分pitchは、揺動信号生成部５４に入力された拡大成分ｖzoomから算出される。揺動信号生成部５４に入力された拡大成分ｖzoomは、加算器９２−５と遅延器９４−３に入力される。加算器９２−５には、時刻ｔにおいて入力された拡大成分ｖzoomtと、遅延器９４−３により１単位時間遅延された時刻ｔ−１における拡大成分ｖzoomt-1が入力される。加算器９２−５は、入力された時刻ｔにおける拡大成分ｖzoomtから、時刻ｔ−１における拡大成分ｖzoomt-1を減算することで、拡大成分ｖzoomを微分する。そして、加算器９２−５から出力された値から、LPF９６−２により、低周波成分が抽出されることにより、加減速による慣性力を表現する揺動信号成分pitchが算出される。
【００９３】
加算器９２−４により、LPF９６−１から出力された値と、LPF９６−２から出力された値とが加算されることにより、提示装置３に供給される揺動信号成分pitchが算出される。
【００９４】
図１０は、提示装置３の構成の例を示す図である。提示装置３は、映像提示部１１１および揺動提示部１１２により構成されている。
【００９５】
映像提示部１１１は、CRT（Cathode-Ray Tube）または液晶表示装置などで構成され、入力された映像信号に対応する画像を表示する。揺動提示部１１２は、入力された揺動信号に対応する揺動を出力する。
【００９６】
映像提示部１１１および揺動提示部１１２は、提示装置３が映像提示部１１１および揺動提示部１１２を有することを示すパラメータ選択信号を統合信号提示装置２に出力する。
【００９７】
図１１は、映像提示部１１１を構成するスクリーン１３１（図示せぬプロジェクタなどにより画像が投影される）と、揺動提示部１１２を構成する椅子１３２との関係の例を示す図である。
【００９８】
映像提示部１１１は、スクリーン１３１に映像信号に対応する画像を表示する。揺動提示部１１２は、揺動信号に対応して、椅子１３２を揺動させて、椅子１３２に座る使用者に揺動を感じさせる。
【００９９】
この揺動は、上述したように、Ｘ，Ｙ，Ｚの３軸回りの回転成分（roll,pitch,yaw）と３軸方向の並進成分（x,y,z）により構成される。
【０１００】
揺動提示部１１２の構成例を図１２および図１３に示す。図１２は、揺動提示部１１２の側面図であり、図１３は、揺動提示部１１２の上面図である。揺動提示部１１２は、６本のピストン１４１−１乃至１４１−６を備えており、これらのピストンにより台座１４２が支えられている。台座１４２には、椅子１３２が固定されており、この椅子１３２の上に使用者１４３が座るようになされている。
【０１０１】
ピストン１４１−１乃至１４１−６は、エアシリンダまたは油圧シリンダなどで構成され、それぞれの中心軸に沿って伸縮する。ピストン１４１−１乃至１４１−６が伸縮することにより、台座１４２が揺動し、さらに台座１４２に固定されている椅子１３２が揺動する。ピストン１４１−１乃至１４１−６を制御するための信号は、上述したように、統合信号提示装置２により供給される。
【０１０２】
図１４は、提示装置３の構成の他の例を示す図である。図１４に示す提示装置３は、映像提示部１１１により構成され、揺動提示部１１２を有さない。映像提示部１１１は、提示装置３が映像提示部１１１のみを有することを示すパラメータ選択信号を出力する。
【０１０３】
図１５は、提示装置３の構成の更に他の例を示す図である。図１５に示す提示装置３は、映像提示部１１１、揺動提示部１１２、およびスイッチボックス１６１により構成されている。スイッチボックス１６１は、スイッチおよび選択情報出力回路などにより構成され、使用者の操作に対応したパラメータ選択信号を統合信号提示装置２のパラメータ指示部２２に出力する。
【０１０４】
例えば、揺動を含む画像から成る映像信号を統合信号提示装置２に出力させる旨の操作がスイッチボックス１６１に加えられたとき、スイッチボックス１６１は、揺動を含む画像から成る映像信号を出力させるパラメータ選択信号をパラメータ指示部２２に供給する。
【０１０５】
このとき、パラメータ指示部２２は、統合信号をそのまま映像信号として出力させる復号パラメータを統合信号復号部２３に供給する。
【０１０６】
例えば、揺動信号および映像信号を統合信号提示装置２に出力させる旨の操作がスイッチボックス１６１に加えられたとき、スイッチボックス１６１は、揺動信号および映像信号から成る提示信号を出力させるパラメータ選択信号をパラメータ指示部２２に供給する。
【０１０７】
このとき、パラメータ指示部２２は、揺動信号および映像信号から成る提示信号を出力させる復号パラメータを統合信号復号部２３に供給する。
【０１０８】
すなわち、統合信号提示装置２は、スイッチボックス１６１の操作に対応して、後述する、映像信号および揺動信号から成る提示信号、並びに映像信号のみから成る提示信号のいずれか一方を出力する。
【０１０９】
従って、統合信号提示装置２の使用者は、同一の統合信号を受信しても、使用者の好みによって、実際の揺動刺激で揺動を感じるか、または画像の揺れによって揺動を感じるかを選択することができる。
【０１１０】
図１６は、統合提示システムにおける処理の概略を示す図である。統合信号生成装置１は、提供するコンテンツを公開している（例えば、伝送路の一種であるインターネット上のWebページに、提供するコンテンツに関する情報を提示している）。
【０１１１】
統合信号提示装置２−１は、伝送路を介して、課金情報と共に、コンテンツの要求を統合信号生成装置１に送信する。課金情報およびコンテンツの要求を受信した統合信号生成装置１は、課金情報を基に、課金の処理を実行し、正常に課金の処理が実行されたとき、要求に対応するコンテンツを統合信号提示装置２−１に送信する。
【０１１２】
統合信号提示装置２−１は、揺動信号および映像信号から成る提示信号を出力させるパラメータ選択信号が提示装置３から供給されているとき、統合信号生成装置１から供給されたコンテンツを受信し、受信したコンテンツを基に、揺動信号および補正された画像を含む映像信号を生成し、生成された揺動信号および映像信号から成る提示信号を提示装置３に供給する。
【０１１３】
統合信号提示装置２−１に対応する提示装置３は、揺動信号および補正された画像を含む映像信号に基づいて、補正された画像を表示するとともに、揺動を使用者に提示する。
【０１１４】
統合信号提示装置２−２は、伝送路を介して、課金情報と共に、コンテンツの要求を統合信号生成装置１に送信する。課金情報およびコンテンツの要求を受信した統合信号生成装置１は、課金情報を基に、課金の処理を実行し、正常に課金の処理が実行されたとき、要求に対応するコンテンツを統合信号提示装置２−２に送信する。
【０１１５】
統合信号提示装置２−２は、揺動を含む画像の映像信号から成る提示信号（揺動信号を含まない）を出力させるパラメータ選択信号が提示装置３から供給されているとき、統合信号生成装置１から供給されたコンテンツを受信し、受信したコンテンツ（統合信号）をそのまま提示信号として、提示装置３に供給する。
【０１１６】
統合信号提示装置２−２に対応する提示装置３は、揺動を含む画像の映像信号から成る提示信号に基づいて、揺動を含む画像を表示する。
【０１１７】
図１７は、揺動信号および映像信号から成る提示信号を出力させるパラメータ選択信号が提示装置３から供給されているとき、統合信号提示装置２が出力する提示信号を説明する図である。
【０１１８】
図１７（Ａ）に示す統合信号が入力された統合信号提示装置２は、揺動信号および映像信号から成る提示信号を出力させるパラメータ選択信号が提示装置３から供給されているとき、統合信号から図１７（Ｂ）に示すように、揺動信号を生成して、提示信号として揺動信号を提示装置３に出力するとともに、図１７（Ｃ）に示すように、画像信号である統合信号の画像を補正して（揺動成分を除去して）、補正した画像に対応する映像信号を提示信号として提示装置３に出力する。
【０１１９】
従って、揺動信号および映像信号から成る提示信号を出力させるパラメータ選択信号が提示装置３から統合信号提示装置２に供給されているとき、統合信号提示装置２から提示装置３に供給される提示信号は、図１８に示すように、映像信号および揺動信号から成る。映像信号は、図１８（Ａ）に示すように、揺動成分を除去するように画像が補正されている。揺動信号は、図１８（Ｂ）に示すように、統合信号から生成され、映像信号に対応している。
【０１２０】
一方、揺動を含む画像の映像信号から成る提示信号（揺動信号を含まない）を出力させるパラメータ選択信号が提示装置３から供給されているとき、統合信号提示装置２から提示装置３に供給される提示信号は、図１９に示すように、映像信号のみから成り、揺動信号を含まない。統合信号は、揺動成分を含んだままで、映像信号として、提示装置３に出力される。すなわち、統合信号は、画像が補正されることなく、映像信号として提示装置３に供給される。
【０１２１】
このようにすることによって、統合信号提示装置２および提示装置３の使用者は、揺動を含む画像の映像信号から成る提示信号（揺動信号を含まない）を出力させるパラメータ選択信号が提示装置３から統合信号提示装置２に供給されているとき、画像の揺れによって視覚的に揺動を感じ、揺動信号および映像信号から成る提示信号を出力させるパラメータ選択信号が提示装置３から統合信号提示装置２に供給されているとき、表示される画像が揺れることなく、揺動提示装置１１２により実際の揺動刺激で揺動を感じることができる。
【０１２２】
すなわち、全く同一の統合信号を受信しても、統合信号提示装置２は、提示装置３の機器構成またはスイッチボックス１６１の操作に対応した、最適な刺激を提供する画像信号または揺動信号を出力することができる。
【０１２３】
次に、図２０のフローチャートを参照して、統合提示システムによるコンテンツの提示の処理を説明する。ステップＳ１０１において、統合信号生成装置１は、例えば、伝送路の一種であるインターネット上のWebページに、提供するコンテンツに関する情報を提示することにより、コンテンツを公開する。
【０１２４】
ステップＳ２０１において、統合信号提示装置２は、統合信号生成装置１から供給されたデータ（例えば、公開しているコンテンツに対応するHTML（Hypertext Markup Language）ファイル）を基に、コンテンツの選択画面を提示装置３に表示させる。
【０１２５】
ステップＳ２０２において、統合信号提示装置２のコンテンツ要求送信部２５は、伝送路を介して、コンテンツの指定（例えば、コンテンツのID番号等）と共に、コンテンツの要求を統合信号生成装置１に送信する。統合信号提示装置２の課金情報送信部２６は、伝送路を介して、課金情報を統合信号生成装置１に送信する。
【０１２６】
ステップＳ１０２において、統合信号生成装置１のコンテンツ要求受信部１６は、統合信号提示装置２から送信されたコンテンツの指定およびコンテンツの要求を受信する。受信したコンテンツの指定およびコンテンツの要求は、コンテンツ選択処理部１７に供給される。統合信号生成装置１の課金情報受信部１８は、統合信号提示装置２から送信された課金情報を受信する。受信した課金情報は、課金処理部１９に供給される。
【０１２７】
ステップＳ１０３において、統合信号生成装置１の課金処理部１９は、課金情報に基づいて、課金の処理を実行し、その結果に対応する信号をコンテンツ選択処理部１７に出力する。課金の処理が正常に実行されたとき（コンテンツに対応する料金が支払われたとき）、ステップＳ１０４以降の処理が実行される。課金の処理が正常に実行されなかったとき（コンテンツに対応する料金が支払われなかったとき）、コンテンツの提供の処理が実行されることなく、処理は終了する。
【０１２８】
ステップＳ１０４において、統合信号符号化部１３は、統合信号を生成する。統合信号を生成する処理の詳細は、図２１のフローチャートを参照して、後述する。
【０１２９】
ステップＳ１０５において、統合信号生成装置１の統合信号送信部１４は、ステップＳ１０４の処理で生成された統合信号（すなわち、コンテンツ）を、伝送路を介して、統合信号提示装置２に送信する。
【０１３０】
ステップＳ２０３において、統合信号提示装置２の統合信号受信部２１は、統合信号生成装置１から送信された統合信号を受信する。受信した統合信号は、統合信号復号部２３に供給される。
【０１３１】
ステップＳ２０４において、統合信号復号部２３は、パラメータ指示部２２から供給される復号パラメータに対応して、統合信号を復号して、処理は終了する。統合信号の復号の処理の詳細は、図２２のフローチャートを参照して、説明する。
【０１３２】
このように、統合信号提示装置２は、統合信号生成装置１に課金情報と共に所望のコンテンツの送信を要求し、要求に対応したコンテンツである統合信号を受信して、統合信号を復号することができる。
【０１３３】
統合信号提示装置２の使用者は、コンテンツに揺動信号が含まれているか否かなどを選択する必要がない。
【０１３４】
次に、図２１のフローチャートを参照して、統合信号生成装置１による、図２０のステップＳ１０４の処理に対応する統合信号の生成の処理を説明する。ステップＳ１１において、コンテンツ選択処理部１７は、統合信号提示装置２からのコンテンツの指定に対応する映像信号の出力を映像信号記録部１１に指示する。映像信号記録部１１は、コンテンツの指定に対応する映像信号（予め記録している）を統合信号符号化部１３に供給する。統合信号符号化部１３は、映像信号記録部１１から供給された映像信号を取得する。
【０１３５】
ステップＳ１２において、コンテンツ選択処理部１７は、統合信号提示装置２からのコンテンツの指定に対応する揺動信号の出力を揺動信号記録部１２に指示する。揺動信号記録部１２は、コンテンツの指定に対応する揺動信号（予め記録している）を統合信号符号化部１３に供給する。統合信号符号化部１３は、揺動信号記録部１２から供給された揺動信号を取得する。揺動信号は、ステップＳ１１の処理で取得される映像信号に対応している。
【０１３６】
ステップＳ１３において、統合信号符号化部１３は、揺動信号に基づいて、映像信号を補正する。例えば、揺動信号が画像に対して上下方向の揺動を示すとき、映像信号は、画像の表示位置が上下方向に移動するように補正される。
【０１３７】
ステップＳ１４において、統合信号符号化部１３は、補正された映像信号を、統合信号として、統合信号送信部１４に出力して、処理は終了する。
【０１３８】
このように、統合信号符号化部１３は、映像信号および揺動信号を基に、統合信号を生成して、出力することができる。
【０１３９】
次に、図２２のフローチャートを参照して、統合信号提示装置２による、図２０のステップＳ２０４の処理に対応する統合信号の復号の処理を説明する。
【０１４０】
ステップＳ３１において、統合信号提示装置２のパラメータ指示部２２は、提示装置３から供給されたパラメータ選択信号を取得する。パラメータ指示部２２は、取得されたパラメータ選択信号に対応する復号パラメータを生成して、生成した復号パラメータを統合信号復号部２３に供給する。
【０１４１】
ステップＳ３２において、統合信号復号部２３は、復号パラメータを基に、揺動信号を出力するか否かを判定し、揺動信号を出力すると判定された場合、ステップＳ３３に進む。ステップＳ３３おいて、統合信号復号部２３の動きベクトル抽出部５２は、統合信号受信部２１から供給された統合信号から、動きベクトルを抽出する。抽出された動きベクトルは、揺動信号生成部５４に供給される。
【０１４２】
ステップＳ３４において、統合信号復号部２３の揺動信号生成部５４は、動きベクトルを基に、揺動信号を生成する。生成された揺動信号は、提示信号として出力されると共に、画像補正部５３に供給される。
【０１４３】
ステップＳ３５において、統合信号復号部２３の画像補正部５３は、揺動信号を基に、統合信号の画像を揺動を取り除くように補正し、補正した画像を含む映像信号を映像信号選択部に供給して、ステップＳ３６に進む。
【０１４４】
ステップＳ３６において、統合信号復号部２３の映像信号選択部５５は、揺動信号を出力すると判定された場合、処理決定部５１から供給される信号を基に、画像補正部５３から供給される映像信号を選択して、選択した映像信号を提示信号として出力して、処理は終了する。
【０１４５】
ステップＳ３２において、揺動信号を出力しないと判定された場合、揺動信号を生成する必要がなく、画像を補正する必要がないので、ステップＳ３３乃至ステップＳ３５の処理はスキップされ、手続きは、ステップＳ３６に進む。
【０１４６】
ステップＳ３６において、統合信号復号部２３の映像信号選択部５５は、揺動信号を出力しないと判定された場合、処理決定部５１から供給される信号を基に、処理決定部５１から供給される統合信号を選択して、選択した映像信号である統合信号を提示信号として出力して、処理は終了する。
【０１４７】
このように、統合信号提示装置２は、提示装置３から供給されるパラメータ選択信号を基に、揺動信号を出力するとき、揺動信号および補正した映像信号を提示装置３に出力し、揺動信号を出力しないとき、映像信号である統合信号を提示信号として提示装置３に出力する。
【０１４８】
次に、本発明に係る統合提示システムの第２の実施の形態について説明する。
【０１４９】
図２３は、本発明に係る統合提示システムの第２の実施の形態の構成を示す図である。図１に示す場合と同様の部分には、同一の番号を付してあり、その説明は省略する。
【０１５０】
統合信号生成装置２０１は、映像信号記録部１１、揺動信号記録部１２、統合信号符号化部１３、統合信号送信部１４、統合信号記録部１５、コンテンツ要求受信部１６、コンテンツ選択処理部２１１、課金情報受信部２１２、および課金処理部２１３から構成されている。
【０１５１】
コンテンツ選択処理部２１１は、コンテンツ要求受信部１６から供給されたコンテンツの要求を基に、映像信号記録部１１および揺動信号記録部１２に、要求に対応する映像信号および揺動信号の出力を指示する。
【０１５２】
課金情報受信部２１２は、伝送路を介して、統合信号提示装置２０２が送信した課金情報（例えば、銀行口座の番号およびその銀行口座に対応する暗証番号などから構成される）を受信し、受信した課金情報を課金処理部２１３に供給する。課金処理部２１３は、課金情報を基に、課金の処理、例えば、指定された銀行口座からの料金の引き落としの処理を実行する。
【０１５３】
統合信号提示装置２０２は、統合信号受信部２１、統合信号復号部２３、コンテンツ選択部２４、コンテンツ要求送信部２２１、パラメータ指示部２２２、および課金情報送信部２２３で構成されている。
【０１５４】
コンテンツ要求送信部２２１は、コンテンツ選択部２４から供給された信号を基に、伝送路を介して、コンテンツの指定と共に、コンテンツの要求を統合信号生成装置２０１に送信する。
【０１５５】
パラメータ指示部２２２は、提示装置３から供給された、パラメータ選択信号を入力し、パラメータ選択信号に対応する復号パラメータを統合信号復号部２３および課金情報送信部２２３に供給する。
【０１５６】
課金情報送信部２２３は、統合信号提示装置２０２が統合信号を受信したとき、パラメータ指示部２２２から供給された復号パラメータを基に、予め記憶している、銀行口座の番号、その銀行口座に対応する暗証番号、および支払い金額などから構成される課金情報を、伝送路を介して、統合信号生成装置２０１に送信する。
【０１５７】
このように、統合信号提示装置２０２の使用者は、同一の統合信号を受信しても、使用者の好みによって、実際の揺動刺激で揺動を感じるか、または画像の揺れによって揺動を感じるかを選択し、その選択に対応した料金を支払うことができる。
【０１５８】
図２４は、第２の実施の形態の統合提示システムにおける処理の概略を示す図である。統合信号生成装置２０１は、提供するコンテンツを公開している。
【０１５９】
統合信号提示装置２０２−１は、伝送路を介して、所望するコンテンツの要求を統合信号生成装置２０１に送信する。コンテンツの要求を受信した統合信号生成装置２０１は、要求に対応するコンテンツを統合信号提示装置２０２−１に送信する。
【０１６０】
統合信号提示装置２０２−１は、揺動信号および映像信号から成る提示信号を出力させるパラメータ選択信号が提示装置３から供給されているとき、統合信号生成装置２０１から供給されたコンテンツを受信し、受信したコンテンツを基に揺動信号および補正された画像を含む映像信号を生成し、生成された揺動信号および映像信号から成る提示信号を提示装置３に供給する。
【０１６１】
統合信号提示装置２０２−１に対応する提示装置３は、揺動信号および補正された画像を含む映像信号に基づいて、補正された画像を表示するとともに、揺動を使用者に提示する。
【０１６２】
統合信号提示装置２０２−１は、伝送路を介して、受信したコンテンツ並びに揺動信号および映像信号の出力に対応した課金情報を統合信号生成装置２０１に送信する。課金情報を受信した統合信号生成装置２０１は、課金情報を基に、課金の処理を実行する。
【０１６３】
統合信号提示装置２０２−２は、伝送路を介して、所望するコンテンツの要求を統合信号生成装置２０１に送信する。コンテンツの要求を受信した統合信号生成装置２０１は、要求に対応するコンテンツを統合信号提示装置２０２−２に送信する。
【０１６４】
統合信号提示装置２０２−２は、映像信号のみから成る提示信号を出力させるパラメータ選択信号が提示装置３から供給されているとき、統合信号生成装置２０１から供給されたコンテンツを受信し、受信した統合信号をそのまま映像信号として提示装置３に供給する。
【０１６５】
統合信号提示装置２０２−２に対応する提示装置３は、揺動を含む映像信号に基づいて、画像を表示する。
【０１６６】
統合信号提示装置２０２−２は、伝送路を介して、受信したコンテンツ並びに映像信号のみの出力に対応した課金情報を統合信号生成装置２０１に送信する。課金情報を受信した統合信号生成装置２０１は、課金情報を基に、課金の処理を実行する。
【０１６７】
このように、統合信号生成装置２０１は、統合信号提示装置２０２における統合信号の利用の形態に対応して課金の処理を実行することができる。
【０１６８】
次に、図２５のフローチャートを参照して、第２の実施の形態の統合提示システムによるコンテンツの提示の処理を説明する。ステップＳ１１１において、統合信号生成装置２０１は、例えば、伝送路の一種であるインターネット上のWebページに、提供するコンテンツに関する情報を提示することにより、コンテンツを公開する。
【０１６９】
ステップＳ２１１において、統合信号提示装置２０２は、統合信号生成装置２０１から供給されたデータを基に、コンテンツの選択画面を提示装置３に表示させる。
【０１７０】
ステップＳ２１２において、統合信号提示装置２０２のコンテンツ要求送信部２２１は、伝送路を介して、コンテンツの指定（例えば、コンテンツのID番号等）と共に、コンテンツの要求を統合信号生成装置２０１に送信する。
【０１７１】
ステップＳ１１２において、統合信号生成装置２０１のコンテンツ要求受信部１６は、統合信号提示装置２から送信されたコンテンツの指定およびコンテンツの要求を受信する。受信したコンテンツの指定およびコンテンツの要求は、コンテンツ選択処理部２１１に供給される。
【０１７２】
ステップＳ１１３において、統合信号生成装置２０１の統合信号符号化部１３は、統合信号を生成する。ステップＳ１１３における統合信号を生成する処理の詳細は、ステップＳ１０４の処理と同様なので、その説明は省略する。
【０１７３】
ステップＳ１１４において、統合信号生成装置２０１の統合信号送信部１４は、ステップＳ１１３の処理で生成された統合信号（すなわち、コンテンツ）を、伝送路を介して、統合信号提示装置２０２に送信する。
【０１７４】
ステップＳ２１３において、統合信号提示装置２０２の統合信号受信部２１は、統合信号生成装置２０１から送信された統合信号を受信する。受信した統合信号は、統合信号復号部２３に供給される。
【０１７５】
ステップＳ２１４において、統合信号提示装置２０２の統合信号復号部２３は、パラメータ指示部２２２から供給される復号パラメータに対応して、統合信号を復号する。ステップＳ２１４における、統合信号の復号の処理の詳細は、図２０のステップＳ２０４の処理と同様なので、その説明は省略する。
【０１７６】
ステップＳ２１５において、統合信号提示装置２０２の課金情報送信部２２３は、伝送路を介して、パラメータ指示部２２２から供給された復号パラメータに対応する課金情報を統合信号生成装置２０１に送信する。
【０１７７】
ステップＳ１１５において、統合信号生成装置２０１の課金情報受信部２１２は、統合信号提示装置２０２から送信された課金情報を受信する。受信した課金情報は、課金処理部２１３に供給される。
【０１７８】
ステップＳ１１６において、統合信号生成装置２０１の課金処理部２１３は、課金情報に基づいて、課金の処理を実行し、処理は終了する。
【０１７９】
このように、統合信号生成装置２０１は、統合信号提示装置２０２における統合信号の利用の形態に対応する料金で、課金の処理を実行することができる。例えば、統合信号生成装置２０１は、統合信号提示装置２０２が、提示装置３に揺動信号を出力するときは、より高い料金で課金の処理を実行し、統合信号提示装置２０２が、提示装置３に映像信号のみを出力するときは、より安い料金で課金の処理を実行することができる。
【０１８０】
次に、本発明に係る統合提示システムの第３の実施の形態について説明する。
【０１８１】
図２６は、本発明に係る統合提示システムの第３の実施の形態の構成を示す図である。図１に示す場合と同様の部分には、同一の番号を付してあり、その説明は省略する。
【０１８２】
統合信号生成装置３０１は、統合信号符号化部１３、統合信号送信部１４、映像信号記録部３１１、揺動信号記録部３１２、課金情報受信部３１３、および課金処理部３１４から構成され、伝送路を介して、予め定められているスケジュールに従って、統合信号を統合信号提示装置３０２に送信する。
【０１８３】
映像信号記録部３１１は、例えばハードディスクなど、媒体および媒体駆動装置などで構成され、動画像の映像信号を予め記録している。映像信号記録部３１１は、予め定められたスケジュールに従って、記録している映像信号を統合信号符号化部１３に供給する。
【０１８４】
揺動信号記録部３１２は、例えばハードディスクなど、媒体および媒体駆動装置などで構成され、映像信号記録部３１１が記録している映像信号に対応する揺動信号を予め記録している。揺動信号記録部３１２は、予め定められたスケジュールに従って、映像信号記録部３１１が統合信号符号化部１３に供給する映像信号に同期して、映像信号に対応する揺動信号を統合信号符号化部１３に供給する。
【０１８５】
課金情報受信部３１３は、伝送路を介して、統合信号提示装置３０２が送信した課金情報（例えば、銀行口座の番号およびその銀行口座に対応する暗証番号などから構成される）を受信し、受信した課金情報を課金処理部３１４に供給する。課金処理部３１４は、課金情報を基に、課金の処理、例えば、指定された銀行口座からの料金の引き落としの処理を実行する。
【０１８６】
統合信号提示装置３０２は、統合信号受信部２１、統合信号復号部２３、パラメータ指示部３２１、および課金情報送信部３２２で構成されている。
【０１８７】
パラメータ指示部３２１は、提示装置３から供給された、パラメータ選択信号を入力し、パラメータ選択信号に対応する復号パラメータを統合信号復号部２３および課金情報送信部３２２に供給する。
【０１８８】
課金情報送信部３２２は、統合信号提示装置３０２が統合信号を受信したとき、パラメータ指示部３２１から供給された復号パラメータを基に、予め記憶している、銀行口座の番号、その銀行口座に対応する暗証番号、および支払い金額などから構成される課金情報を、伝送路を介して、統合信号生成装置３０１に送信する。
【０１８９】
図２７は、第３の実施の形態の統合提示システムにおける処理の概略を示す図である。統合信号生成装置３０１は、提供するコンテンツを公開している。
【０１９０】
統合信号生成装置３０１は、予め定めたスケジュールに対応してコンテンツを統合信号提示装置３０２−１および３０２−２に送信する（放送する）。
【０１９１】
統合信号提示装置３０２−１は、揺動信号および映像信号から成る提示信号を出力させるパラメータ選択信号が提示装置３から供給されているとき、統合信号生成装置３０１から供給されたコンテンツを受信し、受信したコンテンツを基に揺動信号および補正された画像を含む映像信号を生成し、生成された揺動信号および映像信号から成る提示信号を提示装置３に供給する。
【０１９２】
統合信号提示装置３０２−１に対応する提示装置３は、揺動信号および補正された画像を含む映像信号に基づいて、補正された画像を表示するとともに、揺動を使用者に提示する。
【０１９３】
統合信号提示装置３０２−１は、伝送路を介して、受信したコンテンツ並びに揺動信号および映像信号の出力に対応した課金情報を統合信号生成装置３０１に送信する。課金情報を受信した統合信号生成装置３０１は、課金情報を基に、課金の処理を実行する。
【０１９４】
統合信号提示装置３０２−２は、映像信号のみから成る提示信号を出力させるパラメータ選択信号が提示装置３から供給されているとき、統合信号生成装置２０１から供給されたコンテンツを受信し、受信した統合信号をそのまま映像信号として提示装置３に供給する。
【０１９５】
統合信号提示装置３０２−２に対応する提示装置３は、揺動を含む映像信号に基づいて、画像を表示する。
【０１９６】
統合信号提示装置３０２−２は、伝送路を介して、受信したコンテンツ並びに映像信号のみの出力に対応した課金情報を統合信号生成装置３０１に送信する。課金情報を受信した統合信号生成装置３０１は、課金情報を基に、課金の処理を実行する。
【０１９７】
このように、統合信号生成装置３０１は、コンテンツを放送して、コンテンツを受信した統合信号提示装置２０２におけるコンテンツ（統合信号）の利用の形態に対応して課金の処理を実行することができる。
【０１９８】
次に、図２８のフローチャートを参照して、第３の実施の形態の統合提示システムによるコンテンツの提示の処理を説明する。
【０１９９】
ステップＳ１２１において、統合信号生成装置３０１の統合信号符号化部１３は、予め定められたスケジュールに従って、映像信号記録部３１１から供給される映像信号、および揺動信号記録部３１２から供給される揺動信号を基に、統合信号を生成する。ステップＳ１２１における統合信号を生成する処理の詳細は、ステップＳ１０４の処理と同様なので、その説明は省略する。
【０２００】
ステップＳ１２２において、統合信号生成装置３０１の統合信号送信部１４は、ステップＳ１２１の処理で生成された統合信号（すなわち、コンテンツ）を、伝送路を介して、統合信号提示装置３０２に送信する。
【０２０１】
ステップＳ２２１において、統合信号提示装置３０２の統合信号受信部２１は、統合信号生成装置３０１から送信された統合信号を受信する。受信した統合信号は、統合信号復号部２３に供給される。
【０２０２】
ステップＳ２２２において、統合信号提示装置３０２の統合信号復号部２３は、パラメータ指示部３２１から供給される復号パラメータに対応して、統合信号を復号する。ステップＳ２２２における、統合信号の復号の処理の詳細は、図２０のステップＳ２０４の処理と同様なので、その説明は省略する。
【０２０３】
ステップＳ２２３において、統合信号提示装置３０２の課金情報送信部３２２は、伝送路を介して、パラメータ指示部３２１から供給された復号パラメータに対応する課金情報を統合信号生成装置３０１に送信する。
【０２０４】
ステップＳ２２３の処理は、統合信号を受信してから、予め定めた時間が経過したとき、実行されるようにしてもよい。
【０２０５】
ステップＳ１２３において、統合信号生成装置３０１の課金情報受信部３１３は、統合信号提示装置３０２から送信された課金情報を受信する。受信した課金情報は、課金処理部３１４に供給される。
【０２０６】
ステップＳ１２４において、統合信号生成装置３０１の課金処理部３１４は、課金情報に基づいて、課金の処理を実行し、処理は終了する。
【０２０７】
このように、統合信号生成装置３０１は、予め定めたスケジュールの基にコンテンツを放送し、統合信号提示装置３０２におけるコンテンツ（統合信号）の利用の形態に対応する料金で、課金の処理を実行することができる。
【０２０８】
なお、統合提示システムは、画像および揺動に限らず、音声、風、温度、臭い、圧力（使用者の皮膚を押す力）、または形状（触覚により認識される物の形状）などの複数の要素（人が五感で認識できるもの）の状態を１つの信号で示す統合信号を生成して、統合信号を基に、画像、音声、風、温度、臭い、圧力、または形状などの複数の要素を使用者に提示するようにしてもよい。
【０２０９】
例えば、提示装置３は、画像を液晶表示装置、またはCRT（Cathode Ray Tube）などにより表示し、音声をラウドスピーカにより出力する。
【０２１０】
また、提示装置３は、風切り音、太陽が照りつける効果音、または木枯らしの効果音などが混合された音声信号である統合信号を基に生成された、風、または温度に対応する提示信号を受信し、送風ファンなどの送風装置により風をおこし、電熱装置などにより使用者の所定部位（例えば、手）などを加熱し、冷却装置などにより使用者の所定の部位を冷却する。
【０２１１】
更に、例えば、提示装置３は、所定の臭いに対応する画像（例えば、キンモクセイの花の画像）が重畳された映像信号である統合信号を基に生成された提示信号を受信し、予め、香料がそれぞれ格納されている複数の容器を有し、提示信号に対応して、いずれかの容器（例えば、キンモクセイの香りの香料が格納されている容器）を加熱することで、提示信号に対応する臭いを発生させる。
【０２１２】
また、複数のアクチュエータが内蔵されている手袋である提示装置３は、統合信号により表示されている画像に表示されている物の形状（例えば、円柱など）に対応する提示信号に対応して、使用者の手の所定の部分を押すことで、圧力または形状（例えば、円柱）を使用者に感じさせる。
【０２１３】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０２１４】
図２９は、上述した一連の処理を実行するパーソナルコンピュータの構成の例を説明する図である。ＣＰＵ（Central Processing Unit）４０１は、図２０乃至図２２、図２５、および図２８のフローチャートを参照して説明した処理を実行するアプリケーションプログラムや、ＯＳ（Operating System)を実際に実行する。ＲＯＭ（Read-only Memory）４０２は、一般的には、ＣＰＵ４０１が使用するプログラムや演算用のパラメータのうちの基本的に固定のデータを格納する。ＲＡＭ（Random-Access Memory）４０３は、ＣＰＵ４０１の実行において使用するプログラムや、その実行において適宜変化するパラメータを格納する。これらはＣＰＵバスなどから構成されるホストバス４０４により相互に接続されている。
【０２１５】
ホストバス４０４は、ブリッジ４０５を介して、ＰＣＩ(Peripheral Component Interconnect/Interface)バスなどの外部バス４０６に接続されている。
【０２１６】
キーボード４０８は、ＣＰＵ４０１に各種の指令を入力するとき、使用者により操作される。ポインティングデバイス４０９は、マウス、トラックボール、またはデジタイザなどから構成され、ディスプレイ４１０の画面上のポイントの指示や選択を行うとき、使用者により操作される。ディスプレイ４１０は、液晶表示装置またはＣＲＴ（Cathode Ray Tube）などから成り、各種情報をテキストやイメージで表示する。ＨＤＤ（Hard Disk Drive）４１１は、ハードディスクを駆動し、それらにＣＰＵ４０１によって実行するプログラムや情報を記録または再生させる。
【０２１７】
ドライブ４１２は、装着されている磁気ディスク４５１、光ディスク４５２、光磁気ディスク４５３、または半導体メモリ４５４に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インターフェース４０７、外部バス４０６、ブリッジ４０５、およびホストバス４０４を介して接続されているＲＡＭ４０３に供給する。これらのキーボード４０８乃至ドライブ４１２は、インターフェース４０７に接続されており、インターフェース４０７は、外部バス４０６、ブリッジ４０５、およびホストバス４０４を介してＣＰＵ４０１に接続されている。
【０２１８】
通信部４１３は、モデムまたはNIC（Network Interface Card）などから構成され、公衆電話回線、ネットワーク、または衛星通信回線などの伝送路が接続される。通信部４１３は、ＣＰＵ４０１、またはＨＤＤ４１１から供給されたデータを、所定の方式のパケットに格納して、伝送路を介して、送信するとともに、伝送路を介して、受信したパケットに格納されているデータをＣＰＵ４０１、ＲＡＭ４０３、またはＨＤＤ４１１に出力する。
【０２１９】
通信部４１３は、外部バス４０６、ブリッジ４０５、およびホストバス４０４を介してＣＰＵ４０１に接続されている。
【０２２０】
一連の処理を実行させるプログラムが格納されている記録媒体は、図２９に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク４５１（フロッピディスクを含む）、光ディスク４５２（CD-ROM(Compact Disc-Read Only Memory)、ＤＶＤ(Digital Versatile Disc)を含む）、光磁気ディスク４５３（ＭＤ(Mini-Disc)を含む）、若しくは半導体メモリ４５４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM４０２や、ＨＤＤ４１１などで構成される。
【０２２１】
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２２２】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２２４】
【発明の効果】
請求項１に記載の情報処理装置および請求項４に記載の情報処理方法によれば、第１の知覚要素および第２の知覚要素に対応する統合信号が取得され、第１の知覚要素に対応する第１の信号、および第２の知覚要素に対応する第２の信号を生成するか否かが判定され、第１の信号および第２の信号を生成すると判定された場合、統合信号を基に、第１の信号および第２の信号が生成され、第１の信号および第２の信号を生成すると判定された場合、第１の信号および第２の信号が出力され、第１の信号および第２の信号を生成しないと判定された場合、統合信号が第１の信号として出力され、取得した統合信号、並びに第１の信号および第２の信号を生成したか否かに対応する課金情報の提供装置への送信が制御されるようにしたので、複数の知覚要素に対応する信号を統一的に伝送すると共に、知覚要素の提示の態様に対応させて料金を課金できるようになる。
【０２２５】
請求項５に記載の提示システムによれば、課金情報の受信が制御され、第１の知覚要素に関する第１の信号、および第１の信号に対応する、第２の知覚要素に関する第２の信号を基に、第１の知覚要素および第２の知覚要素に対応する統合信号が生成され、統合信号の送信が制御され、課金情報に基づいて、課金の処理が実行され、統合信号が取得され、第１の知覚要素に対応する第１の信号、および第２の知覚要素に対応する第２の信号を生成するか否かが判定され、第１の信号および第２の信号を生成すると判定された場合、統合信号を基に、第１の信号および第２の信号が生成され、第１の信号および第２の信号を生成すると判定された場合、第１の信号および第２の信号が出力され、第１の信号および第２の信号を生成しないと判定された場合、統合信号が第１の信号として出力され、取得した統合信号、並びに第１の信号および第２の信号を生成したか否かに対応する課金情報の提供装置への送信が制御されるようにしたので、複数の知覚要素に対応する信号を統一的に伝送すると共に、知覚要素の提示の態様に対応させて異なる料金を課金できるようになる。
【図面の簡単な説明】
【図１】本発明に係る統合提示システムの一実施の形態の構成を示す図である。
【図２】映像信号、および揺動信号を説明する図である。
【図３】統合信号の例を示す図である。
【図４】統合信号復号部２３の構成を説明する図である。
【図５】動きベクトル抽出部５２の構成を示すブロック図である。
【図６】メモリ７４に記憶されているパターンを説明する図である。
【図７】統合信号の画像の例を示す図である。
【図８】揺動信号生成部５４の構成を示すブロック図である。
【図９】動きベクトルの成分ｕ、ｖ、ｖzoom、ｖrotの関係を説明する図である。
【図１０】提示装置３の構成の例を示す図である。
【図１１】映像提示部１１１を構成するスクリーン１３１と、揺動提示部１１２を構成する椅子１３２との関係の例を示す図である。
【図１２】揺動提示部１１２の構成例を示す図である。
【図１３】揺動提示部１１２の構成例を示す図である。
【図１４】提示装置３の構成の他の例を示す図である。
【図１５】提示装置３の構成の更に他の例を示す図である。
【図１６】統合提示システムにおける処理の概略を示す図である。
【図１７】統合信号提示装置２が出力する提示信号を説明する図である。
【図１８】統合信号提示装置２が出力する提示信号を説明する図である。
【図１９】統合信号提示装置２が出力する提示信号を説明する図である。
【図２０】統合提示システムによるコンテンツの提示の処理を説明するフローチャートである。
【図２１】統合信号の生成の処理を説明するフローチャートである。
【図２２】統合信号の復号の処理を説明するフローチャートである。
【図２３】本発明に係る統合提示システムの第２の実施の形態の構成を示す図である。
【図２４】第２の実施の形態の統合提示システムにおける処理の概略を示す図である。
【図２５】第２の実施の形態の統合提示システムによるコンテンツの提示の処理を説明するフローチャートである。
【図２６】本発明に係る統合提示システムの第３の実施の形態の構成を示す図である。
【図２７】第３の実施の形態の統合提示システムにおける処理の概略を示す図である。
【図２８】第３の実施の形態の統合提示システムによるコンテンツの提示の処理を説明するフローチャートである。
【図２９】パーソナルコンピュータの構成の例を説明する図である。
【符号の説明】
１  統合信号生成装置，  ２  統合信号提示装置，  ３  提示装置，  １１  映像信号記録部，  １２  揺動信号記録部，  １３  統合信号符号化部，  １４統合信号送信部，  １５  統合信号記録部，  １６  コンテンツ要求受信部，１７  コンテンツ選択処理部，  １８  課金情報受信部，  １９  課金処理部，  ２１  統合信号受信部，  ２２  パラメータ指示部，  ２３  統合信号復号部，  ２４  コンテンツ選択部，  ２５  コンテンツ要求送信部，  ２６  課金情報送信部，  ５１  処理決定部，  ５２  動きベクトル抽出部，  ５３  画像補正部，  ５４  揺動信号生成部，  ５５  映像信号選択部，  １１１  映像提示部，  １１２  揺動提示部，  １６１  スイッチボックス，  ２０１  統合信号生成装置，  ２０２  統合信号提示装置，  ２１１  コンテンツ選択処理部，２１２  課金情報受信部，  ２１３  課金処理部，  ２２１  コンテンツ要求送信部，  ２２２  パラメータ指示部，  ２２３  課金情報送信部，  ３０１  統合信号生成装置，  ３０２  統合信号提示装置，  ３１１  映像信号記録部，３１２  揺動信号記録部，  ３１３  課金情報受信部，  ３１４  課金処理部，  ３２１  パラメータ指示部，  ３２２  課金情報送信部，  ４０１  ＣＰＵ，  ４０２  ＲＯＭ，  ４０３  ＲＡＭ，  ４１１  ＨＤＤ，  ４５１  磁気ディスク，  ４５２  光ディスク，  ４５３  光磁気ディスク，  ４５４  半導体メモリ
【図１】
0004465828.tif 000004
【図２】
0004465828.tif 000005
【図３】
0004465828.tif 000006
【図４】
0004465828.tif 000007
【図５】
0004465828.tif 000008
【図６】
0004465828.tif 000009
【図７】
0004465828.tif 000010
【図８】
0004465828.tif 000011
【図９】
0004465828.tif 000012
【図１０】
0004465828.tif 000013
【図１１】
0004465828.tif 000014
【図１２】
0004465828.tif 000015
【図１３】
0004465828.tif 000016
【図１４】
0004465828.tif 000017
【図１５】
0004465828.tif 000018
【図１６】
0004465828.tif 000019
【図１７】
0004465828.tif 000020
【図１８】
0004465828.tif 000021
【図１９】
0004465828.tif 000022
【図２０】
0004465828.tif 000023
【図２１】
0004465828.tif 000024
【図２２】
0004465828.tif 000025
【図２３】
0004465828.tif 000026
【図２４】
0004465828.tif 000027
【図２５】
0004465828.tif 000028
【図２６】
0004465828.tif 000029
【図２７】
0004465828.tif 000030
【図２８】
0004465828.tif 000031
【図２９】
0004465828.tif 000032