(57)【要約】【課題】参加者が、現実のイベントには参加していなくても、当該イベントに実際に参加したような感覚を得ることができるようにするイベント参加支援システムを提供する。【解決手段】支援サーバ２と参加者側装置１とが通信ネットワークを通じて接続されるシステムである。支援サーバ２は、参加者側装置１に、イベントの少なくとも画像情報を送信する。イベントにおける参加者の所定の仮想的な参加を支援するための支援画像の画像情報を、イベントの画像情報に代えて、あるいはイベントの画像情報に重畳して、参加者側装置１に送信する。参加者側装置１は、表示手段１１に表示された支援画像に対応して参加者により入力された入力情報を受け付け、支援サーバ２に送信する。支援サーバ２は、参加者により入力された入力情報を受信して、その入力情報に応じた処理を実行する。【選択図】図１
2011215701.tif 000002
【特許請求の範囲】
【請求項１】
イベント参加支援サーバと、イベントに仮想的に参加する参加者の側に設けられ、前記イベント参加支援サーバと通信ネットワークを通じて接続される参加者側装置とを備えるイベント参加支援システムであって、
前記イベント参加支援サーバは、
前記参加者側装置に、前記イベントの少なくとも画像情報を、前記通信ネットワークを通じて送信するイベント画像送信手段と、
前記イベントにおける前記参加者の所定の仮想的な参加を支援するための支援画像の画像情報を生成する支援画像情報生成手段と、
前記イベントの画像情報に代えて、あるいは前記イベントの画像情報に重畳して、前記支援画像の画像情報を、前記参加者側装置に前記通信ネットワークを通じて送信する支援画像送信手段と、
前記参加者側装置から、前記支援画像に対応して前記参加者により入力された入力情報を受信して、前記入力情報に応じた処理を実行する対応処理手段と、
を備え、
前記参加者側装置は、
前記通信ネットワークを通じて受信した前記イベントの画像情報および前記支援画像情報による画像を、前記参加者に観視させるために表示する表示手段と、
前記表示手段に表示された前記支援画像に対応して前記参加者により入力された前記入力情報を受け付ける受付手段と、
前記受付手段で受け付けた前記入力情報を、前記通信ネットワークを通じて前記イベント参加支援サーバに送信する入力情報送信手段と、
を備えるイベント参加支援システム。
【請求項２】
請求項１に記載のイベント参加支援システムにおいて、
イベント会場に設置されると共に、前記通信ネットワークを通じて前記イベント参加支援サーバに接続される会場側装置をさらに備え、
会場側装置は、前記イベント会場において実際に行われている撮像する撮像手段と、
前記撮像手段で撮像した撮像画像情報を、前記通信ネットワークを通じて前記イベント参加支援サーバに送信する手段と
を備え、
前記イベント参加支援サーバの前記イベント画像送信手段は、前記会場側装置から受信した前記画像情報を、前記通信ネットワークを通じて前記参加者側装置に送信する
イベント参加支援システム。
【請求項３】
請求項１または請求項２に記載のイベント参加支援システムにおいて、
前記イベント参加支援サーバは、仮想的なイベントの画像情報のイベント画像情報生成手段を備え、
前記イベント参加支援サーバの前記イベント画像送信手段は、前記イベント画像情報生成手段で生成した前記仮想的なイベントの画像情報を、前記通信ネットワークを通じて前記参加者側装置に送信する
イベント参加支援システム。
【請求項４】
請求項１〜請求項３のいずれかに記載のイベント参加支援システムにおいて、
前記参加者により入力された前記入力情報は、イベントにおける金銭の仮想的な受け渡しについて情報を含み、
前記イベント参加支援サーバの前記対応処理手段は、前記入力情報に基づいて、前記金銭の仮想的な受け渡しにおける金銭の前記参加者への課金のための処理を行う
イベント参加支援システム。
【請求項５】
請求項１〜請求項４のいずれかに記載のイベント参加支援システムにおいて、
前記参加者により入力された入力情報は、前記参加者の所作を表わす操作入力情報であり、
前記イベント参加支援サーバの前記対応処理手段は、前記支援画像において、前記参加者の分身となる人物像を表示すると共に、前記参加者側装置から受信した前記操作入力情報に応じて前記参加者の分身となる人物像を動かすようにする
イベント参加支援システム。
【請求項６】
請求項２〜５のいずれかに記載のイベント参加支援システムにおいて、
前記参加者側装置の前記受付手段は、前記入力情報として前記参加者の発声音声の音声信号を取得する収音手段からなり、
前記イベント支援サーバの前記対応処理手段は、前記参加者側装置からの前記音声信号を、前記会場側装置に前記通信ネットワークを通じて送信する処理をし、
前記会場側装置は、前記イベント支援サーバから送信されてくる前記音声信号を音響再生する手段を備える
イベント参加支援システム。
【請求項７】
請求項１〜６のいずれかに記載のイベント参加支援システムにおいて、
前記参加者側装置の前記受付手段は、前記入力情報として前記参加者の発声音声の音声信号を取得する収音手段からなり、
前記イベント支援サーバの前記対応処理手段は、前記参加者側装置からの前記音声信号を受信して、記憶保持する
イベント参加支援システム。
【請求項８】
イベントに仮想的に参加する参加者の側に設けられる参加者側装置と通信ネットワークを通じて接続されるイベント参加支援サーバであって、
前記参加者側装置に、前記イベントの少なくとも画像情報を、前記通信ネットワークを通じて送信するイベント画像送信手段と、
前記イベントにおける前記参加者の所定の仮想的な参加を支援するための支援画像の画像情報を生成する支援画像情報生成手段と、
前記イベントの画像情報に代えて、あるいは前記イベントの画像情報に重畳して、前記支援画像の画像情報を、前記参加者側装置に前記通信ネットワークを通じて送信する支援画像送信手段と、
前記参加者側装置から、前記支援画像に対応して前記参加者により入力された入力情報を受信して、前記入力情報に応じた処理を実行する対応処理手段と、
を備えるイベント参加支援サーバ。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば冠婚葬祭、式典、会議、コンサートなどのイベントへの仮想的な参加を支援するイベント参加支援システムに関する。また、このイベント参加支援システムにおいて用いられるイベント参加支援サーバに関する。
【背景技術】
【０００２】
冠婚葬祭、式典、会議、コンサートなどのイベントが開催される場所が参加予定者の居住地から非常に離れている場合、参加予定者はそのイベントへの参加を躊躇してしまうことがある。また、例えば病気にかかってしまった、などの参加予定者側の事情で、開催されるイベントには直接には参加できなくなる場合がある。
【０００３】
このようなイベント参加が不能である事情があるにも拘らず、イベント参加予定者が、例えば結婚式を行う花嫁の祖母などの場合、当該イベント参加予定者は、是非、そのイベントをリアルタイムに見てみたいという要求がある。
【０００４】
例えばテレビ電話のように、遠隔地から画像を送ってもらい、その画像を見ることが可能となっている。また、例えば特許文献１（特開２００９−２７２７１７号公報）に記載されているように、遠隔会議システムも知られている。
【０００５】
そこで、このような画像伝送の技術を用いて、イベントの画像を、イベントに参加できなくなった参加予定者がリアルタイムに受信してディスプレイ画面でモニターするようにして、イベントをリアルタイムに見るようにすることは可能である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２７２７１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、単に、イベントのリアルタイム画像を観るというだけでは、イベントへ仮想的にであっても自分が参加しているという気分を味わうことができない。
【０００８】
また、イベントが儀礼的な冠婚葬祭などの儀礼的なものである場合、当該イベントへの参加には人間関係を維持していく、社会組織の一員としての義務を果たすという側面がある。このような側面の一つとして、冠婚葬祭などのイベントの場合、受付での参加者の住所や氏名の記帳行為、祝儀袋や不祝儀袋の受け渡し行為、葬儀における焼香する行為などがある。これらの行為により、参加者は、イベントへの参加義務を果たしたという感覚を得ることができる。
【０００９】
この発明は、以上の点にかんがみ、参加者が、現実のイベントには参加していなくても、当該イベントに実際に参加したような感覚を得ることができるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
上記の課題を解決するために、この発明は、
イベント参加支援サーバと、イベントに仮想的に参加する参加者の側に設けられ、前記イベント参加支援サーバと通信ネットワークを通じて接続される参加者側装置とを備えるイベント参加支援システムであって、
前記イベント参加支援サーバは、
前記参加者側装置に、前記イベントの少なくとも画像情報を、前記通信ネットワークを通じて送信するイベント画像送信手段と、
前記イベントにおける前記参加者の所定の仮想的な参加を支援するための支援画像の画像情報を生成する支援画像情報生成手段と、
前記イベントの画像情報に代えて、あるいは前記イベントの画像情報に重畳して、前記支援画像の画像情報を、前記参加者側装置に前記通信ネットワークを通じて送信する支援画像送信手段と、
前記参加者側装置から、前記支援画像に対応して前記参加者により入力された入力情報を受信して、前記入力情報に応じた処理を実行する対応処理手段と、
を備え、
前記参加者側装置は、
前記通信ネットワークを通じて受信した前記イベントの画像情報および前記支援画像情報による画像を、前記参加者に観視させるために表示する表示手段と、
前記表示手段に表示された前記支援画像に対応して前記参加者により入力された前記入力情報を受け付ける受付手段と、
前記受付手段で受け付けた前記入力情報を、前記通信ネットワークを通じて前記イベント参加支援サーバに送信する入力情報送信手段と、
を備えるイベント参加支援システムを提供する。
【００１１】
上述の構成のこの発明によれば、イベント参加支援サーバからは、開催されるイベントの少なくとも画像情報が通信ネットワークを通じて参加者側装置に送信され、参加者側装置の表示手段に、当該イベントの画像が表示される。これにより、参加者は、イベントの画像を、例えばリアルタイムに観ることが可能になる。
【００１２】
そして、イベント参加支援サーバは、イベントにおける参加者の所定の仮想的な参加を支援するための支援画像の画像情報を、イベントの画像情報に代えて、あるいはイベントの画像情報に重畳して、参加者側装置に、通信ネットワークを通じて送信する。
【００１３】
参加者側装置では、受付手段において、表示手段に表示された支援画像に対応して参加者により入力された入力情報が受け付ける。そして、参加者側装置は、受付手段で受け付けた入力情報を、通信ネットワークを通じてイベント参加支援サーバに送信する。
【００１４】
イベント参加支援サーバは、参加者側装置からの入力情報を受信し、その入力情報に応じた処理を実行する。
【００１５】
例えば、支援画像として、冠婚葬祭の際の受付の画像が、イベント参加支援サーバから参加者側装置に送られた場合を例に取ると、参加者の受付手段で受け付けられる入力情報およびイベント参加支援サーバの対応処理手段での対応処理は以下のようなものとすることができる。
【００１６】
参加者は、受信した支援画像を見ながら、受付での自分の氏名、住所の記帳（入力行為）を行うと共に、例えば金額が明記された祝儀袋や不祝儀袋を受付に手渡す操作を仮想的に行う。参加者側装置は、参加者が入力した氏名や住所の情報をイベント参加支援サーバに入力情報の一部として送る。また、参加者側装置は、仮想的に祝儀袋や不祝儀袋を受付に手渡した画像の選択操作などの情報を、入力情報の一部として、イベント参加支援サーバに送る。
【００１７】
イベント参加支援サーバは、この参加者側装置からの入力情報としての参加者の氏名、住所を記憶保持すると共に、仮想的に祝儀袋や不祝儀袋が受付に手渡された操作情報に応じて、参加者の課金のための処理を行う。
【００１８】
こうして、イベント参加支援サーバからの支援画像の参加者側装置への提供と、参加者側装置からの入力情報のイベント参加支援サーバへの送信というインタラクティブ（対話型）な動作により、参加者は、イベントに対して実際に参加したような感覚を得られると期待できる。
【発明の効果】
【００１９】
この発明によれば、参加者は、現実のイベントには参加していなくても、当該イベントに実際に参加したような感覚を得ることができる。
【図面の簡単な説明】
【００２０】
【図１】この発明によるイベント参加支援システムの第１の実施形態の構成例を示す図である。
【図２】この発明によるイベント参加支援システムの第１の実施形態における参加者側装置の構成例のブロック図である。
【図３】この発明によるイベント参加支援システムの第１の実施形態における会場側装置の構成例のブロック図である。
【図４】この発明によるイベント参加支援システムの第１の実施形態におけるイベント参加支援サーバの構成例のブロック図である。
【図５】この発明によるイベント参加支援システムの第１の実施形態における処理動作の要部を説明するために用いる図である。
【図６】図２の参加者側装置における処理動作例を説明するためのフローチャートの一部を示す図である。
【図７】図２の参加者側装置における処理動作例を説明するためのフローチャートの一部を示す図である。
【図８】図４のイベント参加支援サーバにおける処理動作例を説明するためのフローチャートの一部を示す図である。
【図９】図４のイベント参加支援サーバにおける処理動作例を説明するためのフローチャートの一部を示す図である。
【図１０】図４のイベント参加支援サーバにおける処理動作例を説明するためのフローチャートの一部を示す図である。
【図１１】図３の会場側装置における処理動作例を説明するためのフローチャートを示す図である。
【図１２】この発明によるイベント参加支援システムの第２の実施形態の構成例を示す図である。
【図１３】この発明によるイベント参加支援システムの第２の実施形態におけるイベント参加支援サーバの構成例のブロック図である。
【図１４】この発明によるイベント参加支援システムの第２の実施形態における処理動作の要部を説明するために用いる図である。
【図１５】図１３のイベント参加支援サーバにおける処理動作例を説明するためのフローチャートの一部を示す図である。
【図１６】図１３のイベント参加支援サーバにおける処理動作例を説明するためのフローチャートの一部を示す図である。
【図１７】図１３のイベント参加支援サーバにおける処理動作例を説明するためのフローチャートの一部を示す図である。
【発明を実施するための形態】
【００２１】
以下、この発明によるイベント参加支援システムおよびイベント参加支援サーバの実施形態について、図を参照しながら説明する。
【００２２】
［第１の実施形態］
図１は、イベント参加支援システムの第１の実施形態の概要を説明するための図である。この第１の実施形態のイベント参加支援システムにおいては、例えば開催されるイベントが結婚式であって、諸般の事情により参加できなかった参加者（以下、バーチャル参加者という）が、ライブでその結婚式を視聴することができるようにしている。
【００２３】
そして、この第１の実施形態では、現実のイベント会場では、この例では、ホログラムとして映出されるように構成されている。また、バーチャル参加者は、あたかも、当該イベント会場に出向き、受け付けで記帳を行い、祝儀袋を手渡す行為を実際に行ったような感覚を得られるように構成されている。
【００２４】
図１に示すように、第１の実施形態のイベント参加支援システムは、バーチャル参加者７の居場所５に設けられる参加者側装置１と、イベント参加支援サーバ２と、イベント会場６に設けられる会場側装置３とからなる。参加者側装置１、イベント参加支援サーバ２および会場側装置３は、通信ネットワーク４に接続されている。通信ネットワーク４は、インターネット、光ケーブル網、公衆電話網などを含むものである。
【００２５】
この例では、参加者側装置１からイベント参加支援サーバ（以下、支援サーバと略称する）２にアクセスすることにより、参加者側装置１と支援サーバ２とは、通信ネットワーク４を通じて接続される。また、支援サーバ２と会場側装置３とのいずれか一方から他方にアクセスすることにより、支援サーバ２と会場側装置３とは、通信ネットワーク４を通じて接続される。
【００２６】
参加者側装置１は、参加者側処理装置１０と、ディスプレイ装置１１と、操作部１２と、マイクロホン１３とを備えて構成されている。参加者側処理装置１０は、支援サーバ２とのやり取りをするために通信ネットワーク４に接続されている。ディスプレイ装置１１は、参加者側処理装置１０に接続され、支援サーバ２から送られてくる画像情報による表示画像をその表示画面に表示する。なお、このディスプレイ装置１１は、音声再生用のスピーカを内蔵しており、この例では、マルチサラウンド音声、例えば５．１チャンネルのサラウンド音声を音響再生することができるものとされている。
【００２７】
操作部１２は、参加者側処理装置１０に接続され、バーチャル参加者７からの操作入力を受け付け、その操作入力情報を参加者側処理装置１０に供給する。この例では、操作部１２は、タッチパネルを具備しており、バーチャル参加者７によるタッチペンを使用した文字入力操作を受け付け、参加者側処理装置１０にその操作入力情報を供給する機能を備える。また、この例では、操作部１２は、ジャイロを備え、バーチャル参加者７が当該操作部１２を持ちながらの動き（バーチャル参加者７の所作）を検出して、その検出情報を参加者側処理装置１０に供給する機能も備えている。
【００２８】
マイクロホン１３は、参加者側処理装置１０に接続され、バーチャル参加者７が発声する音声を収音して音声信号に変換し、その音声信号を参加者側処理装置１０に供給する。なお、この例では、マイクロホン１３は、その音声収音動作をオン・オフするスイッチを備え、バーチャル参加者７が当該スイッチをオン状態にしたときに、音声の収音動作をする。
【００２９】
会場側装置３は、会場側処理装置３０と、撮像装置３１と、マイクロホン３２と、ホログラム映出装置３３と、スピーカ３４とを備えて構成されている。会場側処理装置３０は、支援サーバ２とのやり取りをするために通信ネットワーク４に接続されている。撮像装置３１は、この例では、３Ｄカメラ（３次元立体画像カメラ）からなり、イベント会場６での結婚式イベントを撮像して、その３Ｄ撮像画像を会場側処理装置３０に供給する。マイクロホン３２は、イベント会場６での結婚式イベントの音声を収音して音声信号に変換し、その音声信号を会場側処理装置３０に供給する。図１では、１本のマイクロホン３２のみを示しているが、イベント会場６の音声を臨場感のあるものとして、例えば５．１チャンネルのサラウンド音声を収音するため、マイクロホン３２は６本のマイクロホンからなる。
【００３０】
ホログラム映出装置３３は、支援サーバ２から送られてくるホログラム映出用の画像情報に基づいて、バーチャル参加者７のホログラム３５を映出する装置である。スピーカ３４は、支援サーバ２から送られてくるバーチャル参加者７の音声信号を音響再生するための音響再生手段を構成する。スピーカ３４は、バーチャル参加者７のホログラム３５の近傍に配設されている。
【００３１】
次に、参加者側装置１、支援サーバ２および会場側装置３の詳細構成例について説明する。
【００３２】
＜参加者側装置１の構成例＞
図２は、参加者側装置１の参加者側処理装置１０の具体構成例を説明するためのブロック図である。この例の参加者側処理装置１０は、例えばパーソナルコンピュータで構成されており、システムバス１００に対してＣＰＵ（Central  Processing  Unit）１０１と、プログラム等を格納するＲＯＭ（Read  Only  Memory）１０２と、ワークエリアとして働くＲＡＭ（Random  Access  Memory）１０３とが接続されている。
【００３３】
また、システムバス１００には、さらに、通信インターフェース１０４、受信処理部１０５、送信処理部１０６、画像・音声処理部１０７、操作部インターフェース１０８、音声入力インターフェース１０９、が接続されている。
【００３４】
ＣＰＵ１０１は、この参加者側処理装置１０の全体の動作を制御するものである。ＲＯＭ１０２には、この参加者側処理装置１０における後述するようなバーチャル参加者によるイベントへの仮想的な参加（バーチャル参加）を支援するためのプログラムが予め記憶されている。例えば、ＲＯＭ２には、操作部１２からのタッチパネルを通じて入力された文字をディスプレイ装置１１の画面に表示するためのプログラムや、入力された文字をテキストデータに変換して、支援サーバ２に送信するためのプログラムなどが記憶されている。ＣＰＵ１０１は、ＲＡＭ１０３をワークエリア用のメモリとして用いて、このＲＯＭ１０２のプログラムにしたがった制御処理を実行する。
【００３５】
通信インターフェース１０４は、通信ネットワーク４と接続して、支援サーバ２と通信を行うためのものである。受信処理部１０５は、通信インターフェース１０４を通じて支援サーバ２から受け取った情報から、画像情報や音声情報を抽出して、画像・音声処理部１０７に供給する機能を備える。送信処理部６は、支援サーバ２に送信する情報を生成して、通信インターフェース１０４を通じて送出する機能を有する。なお、受信処理部１０５および送信処理部１０６は、ＣＰＵ１０１が、ＲＯＭ１０２のプログラムに基づいて処理を実行するソフトウエア機能処理部とすることもできる。
【００３６】
画像・音声処理部１０７は、受信処理部１０５から受け取った画像情報および音声情報をディスプレイ装置１１に送出する。この例では、前述したように、会場側装置３からの画像情報は、３Ｄ画像情報であり、バーチャル参加者７は、いわゆる３Ｄ用メガネ８を装着して、ディスプレイ装置１１の表示画面を見ることにより、イベント会場の画像を立体画像として観視できる。また、音声情報は、５．１チャンネルサラウンド音声などのマルチチャンネルサラウンド音声なので、バーチャル参加者７は、イベント会場の音声を臨場感豊に、聴取することができる。
【００３７】
操作部インターフェース１０８には、操作部１２が接続され、バーチャル参加者７による操作入力情報（操作部１２の動きの情報を含む）が、この操作部インターフェース１０８を通じてシステムバス１００に送出される。ＣＰＵ１０１は、操作部インターフェース１０８を通じて入力される操作入力情報を監視し、タッチパネルを通じた文字入力や、ジャイロにより検知されたバーチャル参加者の動きに応じた操作部１２の動きなどを検出する。
【００３８】
音声入力インターフェース１０９には、マイクロホン１３が接続されている。この例のマイクロホン１３は、前述したように、音声収音動作のオン・オフスイッチがオンとされたときにのみ、バーチャル参加者７が発声する音声を収音して、その収音音声信号を、音声入力インターフェース１０９を通じてシステムバス１００に入力する。入力された音声信号は、送信処理部１０６で送信信号とされ、通信インターフェース１０４を通じて支援サーバ２に送信される。
【００３９】
＜会場側装置３の構成例＞
図３は、会場側装置３の会場側処理装置３０の具体構成例を説明するためのブロック図である。この例の会場側処理装置３０は、例えばパーソナルコンピュータで構成されており、システムバス３００に対してＣＰＵ３０１と、プログラム等を格納するＲＯＭ３０２と、ワークエリアとして働くＲＡＭ３０３とが接続されている。
【００４０】
また、システムバス３００には、さらに、通信インターフェース３０４、受信処理部３０５、送信処理部３０６、撮像装置インターフェース３０７、音声入力インターフェース１０８、音声出力インターフェース１０９、ホログラム用画像データ格納部３１０、ホログラム映出装置インターフェース３１１、が接続されている。
【００４１】
ＣＰＵ３０１は、この会場側処理装置３０の全体の動作を制御するものである。ＲＯＭ３０２には、この会場側処理装置３０における後述するようなイベント会場のリアルタイム画像や音声（ライブ画像・音声）を支援サーバ２に送信する処理、支援サーバ２から受信したバーチャル参加者のホログラムを映出する処理、支援サーバ２から受信したバーチャル参加者の音声をスピーカ３４で音響再生する処理等のプログラムが予め記憶されている。ＣＰＵ３０１は、ＲＡＭ３０３をワークエリア用のメモリとして用いて、このＲＯＭ３０２のプログラムにしたがった制御処理を実行する。
【００４２】
通信インターフェース３０４は、通信ネットワーク４と接続して、支援サーバ２と通信を行うためのものである。受信処理部３０５は、通信インターフェース３０４を通じて支援サーバ２から受け取った情報を、撮像装置インターフェース３０７、ホログラム用画像データ格納部３１０および音声出力インターフェース３０９に供給する機能を有する。送信処理部６は、撮像装置３１からの撮像画像情報（ライブ画像情報）およびマイクロホン３２からの音声情報（ライブ音声情報）を、支援サーバ２に送信する形態に変換して、通信インターフェース１０４を通じて送出する機能を備える。なお、受信処理部３０５および送信処理部３０６は、ＣＰＵ３０１が、ＲＯＭ３０２のプログラムに基づいて処理を実行するソフトウエア機能処理部とすることもできる。
【００４３】
撮像装置インターフェース３０７は撮像装置３１に接続され、ＣＰＵ３０１の制御に従い、撮像装置３１で撮像されて得られる３Ｄ撮像画像情報を送信処理部３０６に転送する。また、撮像装置インターフェース３０７は、ＣＰＵ３０１の制御に従い、受信処理部３０５で受信された撮像方向やズームの変更制御信号を、撮像装置３１に供給する。
【００４４】
音声入力インターフェース３０８はマイクロホン３２に接続され、ＣＰＵ３０１の制御に従い、マイクロホン３２で収音されて得られる音声情報（マルチサラウンド音声情報）を送信処理部３０６に転送する。
【００４５】
ホログラム用画像データ格納部３１０は、支援サーバ２から送られてくるバーチャル参加者のホログラム用画像データを格納する。そして、ＣＰＵ３０１は、イベントが実行されている間は、このホログラム用画像データ格納部３１０からバーチャル参加者のホログラム用画像データを読み出して、ホログラム映出装置インターフェース３１１に供給するように制御する。
【００４６】
ホログラム映出装置インターフェース３１１には、ホログラム映出装置３３が接続されており、バーチャル参加者のホログラム用画像データを、このホログラム映出装置３３に送出する。ホログラム映出装置３３は、この画像データを受けて、バーチャル参加者のホログラムを、イベント会場６において予め設定された位置に映出する。
【００４７】
＜支援サーバ２の構成例＞
図４は、支援サーバ２の具体構成例を説明するためのブロック図である。この例の支援サーバ２は、例えばパーソナルコンピュータで構成されており、システムバス２００に対してＣＰＵ２０１と、プログラム等を格納するＲＯＭ２０２と、ワークエリアとして働くＲＡＭ２０３とが接続されている。
【００４８】
また、システムバス２００には、さらに、通信インターフェース２０４、バーチャル参加者情報記憶部２０５、受信情報分配部２０６、受信画像・音声情報処理部２０７、モニターインターフェース２０８、支援画像・音声情報生成部２０９、参加者向送信情報生成部２１０、会場向送信情報生成部２１１、バーチャル参加者操作解析部２１２、バーチャル参加者決済処理部２１３、操作部インターフェース２１４、が接続されている。
【００４９】
ＣＰＵ２０１は、この支援サーバ２の全体の動作を制御するものである。ＲＯＭ２０２には、この支援サーバ２における後述するようなバーチャル参加者によるイベントへの仮想的な参加（バーチャル参加）を支援するためのプログラムが予め記憶されている。例えば、ＲＯＭ２には、会場側装置３から送られてくるイベント会場６におけるイベントのライブ画像および音声を、参加者側装置１に送信するプログラム、支援画像・音声情報を生成して参加者側装置１に対して送信するためのプログラム、参加者側装置１からの情報を会場側装置３に送信するプログラムなどが記憶されている。ＣＰＵ２０１は、ＲＡＭ２０３をワークエリア用のメモリとして用いて、このＲＯＭ２０２のプログラムにしたがった制御処理を実行する。
【００５０】
通信インターフェース２０４は、通信ネットワーク４と接続して、参加者側装置１や会場側装置３と通信を行うためのものである。
【００５１】
バーチャル参加者情報記憶部２０５は、予め、イベントに対してバーチャル参加する参加者についての情報を記憶する。バーチャル参加者情報は、この例では、イベント識別子とバーチャル参加者識別子との対応情報と、バーチャル参加者７のホログラム用画像データと、バーチャル参加者７の金銭についての決済処理のための情報とを含む。
【００５２】
イベント識別子とバーチャル参加者識別子とは、バーチャル参加者７によるバーチャル参加の申し込みが支援サーバ２に対してなされたとき、支援サーバ２の運営サービス事業者から、バーチャル参加者７に対して予め通知される。これらの識別子は、いずれのバーチャル参加者がいずれのイベントに参加するかを特定するための情報であり、バーチャル参加者７が、イベントにバーチャル参加するために支援サーバ２にアクセスする際に必要となる。
【００５３】
バーチャル参加者７のホログラム用画像データは、支援サーバ２の運営サービス事業者により作成される。すなわち、バーチャル参加者７によるバーチャル参加の申し込みが支援サーバ２に対してなされたとき、支援サーバ２の運営サービス事業者は、バーチャル参加者７を撮影し、ホログラム用画像データを予め作成して、このバーチャル参加者情報記憶部２０５に記憶保持しておく。そして、イベントの開始時に、支援サーバ２は、このバーチャル参加者情報記憶部２０５に記憶保持されているホログラム用画像データを、会場側処理装置３０に通信ネットワーク４を通じて送信する。会場側処理装置３０は、受信したホログラム用画像データをホログラム用画像データ格納部３１０に格納して、イベント開催中は、それを読み出してホログラムとして映出する。
【００５４】
バーチャル参加者７の金銭についての決済処理のための情報は、支払い方法と、それに付随する情報であり、クレジット払いの時にはクレジット番号が含まれ、振込み払い等のときには、請求書の宛先情報が含まれている。
【００５５】
受信情報分配部２０６は、通信インターフェース１０４を通じて参加者側処理装置１０や会場側処理装置３０から受け取った情報を仕分けして、対応する各部に分配する。すなわち、受信情報分配部２０６は、会場側処理装置３０から受信した撮像画像情報および音声情報は、受信画像・音声情報処理部２０７に供給する。また、受信情報分配部２０６は、参加者側処理装置１０から受け取ったバーチャル参加者７の操作入力情報は、バーチャル参加者操作解析部２１２に供給する。さらに、受信情報分配部２０６は、参加者側処理装置１０から受け取ったバーチャル参加者７の音声信号は、会場向送信情報生成部２１１に供給する。
【００５６】
受信画像・音声情報処理部２０７は、会場側処理装置３０からのライブ画像情報およびライブ音声情報を、参加者向送信情報生成部２１０に供給すると共に、モニター装置２１５で、再生モニターできる形式の情報に変換して、モニターインターフェース２０８に供給する。
【００５７】
モニターインターフェース２０８には、モニター装置２１５が接続されている。モニターインターフェース２０８は、受信画像・音声情報処理部２０７からのライブ画像情報およびライブ音声情報をモニター装置２１５に供給する。モニター装置２１５は、受け取ったライブ画像情報およびライブ音声情報による画像および音声をモニター再生する。これにより、支援サーバ２のオペレータは、イベント会場の様子をリアルタイムにチェックすることができる。
【００５８】
支援画像・音声情報生成部２０９は、バーチャル参加者７が、イベント会場で行われているイベントに、擬似的に参加しているような感覚を持つことができるようにするための支援画像・音声情報を生成する。そして、支援画像・音声情報生成部２０９は、操作部２１６を通じたオペレータの指示に基づいて、生成した支援画像・音声情報を参加者向送信情報生成部２１０に供給する。
【００５９】
支援画像・音声情報生成部２０９は、この例では、イベント会場である結婚式場の受付におけるバーチャル参加者７の仮想的なイベント参加操作を支援する支援画像・音声情報を生成する。この受付の支援画像・音声情報は、イベント会場６での実際の受付を撮影した画像を含むものとして生成されるとリアルなものとなるが、全て、仮想的な画像として生成しても勿論よい。支援画像・音声情報生成部２０９は、この例では、支援画像情報による画像中に、バーチャル参加者７の分身となる人物キャラクター像（以下、アバターという）を登場させ、そのアバターがバーチャル参加者７の操作部１２を用いた所作に応じた所作をするように、支援画像情報を生成する。
【００６０】
なお、アバターとして用いられるキャラクター像は、２次元画像あるいは３次元画像のアニメーション画像として生成することができる。その場合に、バーチャル参加者７の撮像画像などが支援サーバ２に提供されれば、支援サーバ２は、その撮像画像をアバターに反映させることで、バーチャル参加者７本人に似せたアバターを生成することもできる。
【００６１】
また、この例では、バーチャル参加者７が、お祝いのスピーチをすることができるように構成されている。バーチャル参加者７のスピーチ音声は、マイクロホン１３で収音されて、支援サーバ２を通じて会場側処理装置３０に供給され、スピーカで音響再生される。このバーチャル参加者７のスピーチの際にも、支援画像・音声情報生成部２０９は、イベント会場の画像情報に重畳して表示するアバターを生成するようにする。
【００６２】
参加者向送信情報生成部２１０は、操作部２１６を通じたオペレータの指示に従い、受信画像・音声情報処理部２０７からのイベント会場のライブ画像情報およびライブ音声情報と、支援画像・音声情報生成部２０９からの支援画像・音声情報とから参加者側処理装置１０に送る参加者向送信情報を生成する。
【００６３】
すなわち、操作部２１６からのオペレータの指示が、「ライブ画像・音声送信」であるときには、参加者向送信情報生成部２１０は、受信画像・音声情報処理部２０７からのイベント会場のライブ画像情報およびライブ音声情報のみを、参加者向送信情報として生成する。
【００６４】
また、操作部２１６からのオペレータの指示が、「受付支援」であるときには、参加者向送信情報生成部２１０は、その「受付支援」の指示期間の間は、ライブ画像情報およびライブ音声情報に代えて、支援画像・音声情報生成部２０９からの受付の支援画像・音声情報を、参加者向送信情報として生成する。さらに、操作部２１６からのオペレータの指示が、「スピーチ支援」であるときには、参加者向送信情報生成部２１０は、その「スピーチ支援」の指示期間の間は、ライブ画像情報に支援画像・音声情報生成部２０９からのアバターの画像情報を重畳した画像情報とライブ音声信号とを、参加者向送信情報として生成する。なお、バーチャル参加者７のスピーチの際には、参加者側装置１におけるバーチャル参加者７は、音声のハウリングを防ぐため、ライブ音声は、ヘッドホンで聴取するようにする。
【００６５】
参加者向送信情報生成部２１０は、以上のようにして生成した参加者向送信情報を、参加者側処理装置１０を送信先として、通信インターフェース２０４を通じて通信ネットワーク４に送出するようにする。
【００６６】
会場向送信情報生成部２１１は、受信情報分配部２０６からのバーチャル参加者７の音声情報を会場向情報として生成する。会場向送信情報生成部２１１は、また、バーチャル参加者操作解析部２１２からの撮像装置３１の向き（パンやチルトなどの撮像方向）やズームの制御信号を会場向情報として生成する。
【００６７】
そして、会場向送信情報生成部２１１は、以上のようにして生成した会場向送信情報を、会場側処理装置３０を送信先として、通信インターフェース２０４を通じて通信ネットワーク４に送出するようにする。
【００６８】
バーチャル参加者操作解析部２１２は、参加者側処理装置１０からのバーチャル参加者７の操作部１２の操作入力情報を解析し、バーチャル参加者７による受付での記帳操作の情報は、支援画像・音声情報生成部２０９に送る。これを受けた支援画像・音声情報生成部２０９は、アバターが記帳動作をしているように、受付の支援画像を生成する。また、バーチャル参加者７の操作部１２の操作入力情報が、祝儀袋に入れる金額の指定情報であり、かつ、祝儀袋を受け渡しする所作を示すものであるときには、バーチャル参加者操作解析部２１２は、金額情報をバーチャル参加者決済処理部２１３に供給すると共に、祝儀袋を受け渡しする所作を示す情報を支援画像・音声情報生成部２０９に送る。
【００６９】
バーチャル参加者決済処理部２１３は、バーチャル参加者操作解析部２１２から受け取った金額情報で示される金額を、バーチャル参加者情報記憶部２０５から取得した決済処理のための情報に基づいて、決済処理する。
【００７０】
また、支援画像・音声情報生成部２０９は、バーチャル参加者操作解析部２１２から受け取った祝儀袋の受け渡し所作の情報に従い、アバターが、祝儀袋を受け渡しする所作をしているように、受付の支援画像を生成する。
【００７１】
操作部インターフェース２１４は、操作部２１６に接続されており、前述した支援サーバ２のオペレータの操作部２１６を通じた操作入力を、システムバス２００を通じてＣＰＵ２０１に伝達する。
【００７２】
なお、図４において、受信情報分配部２０６、受信画像・音声情報処理部２０７、支援画像・音声情報生成部２０９、参加者向送信情報生成部２１０、会場向送信情報生成部２１１、バーチャル参加者操作解析部２１２、バーチャル参加者決済処理部２１３、などの各部は、ＣＰＵ１０１が、ＲＯＭ１０２のプログラムに基づいて処理を実行するソフトウエア機能処理部とすることもできる。
【００７３】
＜イベント参加支援システムにおける動作の概要＞
バーチャル参加者７は、支援サーバ２の運営者にバーチャル参加を申し込み、イベント識別子と、バーチャル参加者識別子を取得すると共に、自分のホログラム用画像データを作成してもらう。支援サーバ２は、イベント識別子とバーチャル参加者識別子と、ホログラム用画像データをバーチャル参加者情報記憶部２０５に保持する。
【００７４】
支援サーバ２の運営サービス事業者は、イベント会場６に会場側装置３を設置し、イベントのライブ情報の送信が可能となったら、準備ＯＫを支援サーバ２に通知しておく。
【００７５】
このような環境において、イベント開催時刻に合わせてバーチャル参加者７が、参加者側処理装置１０を通じて支援サーバ２にアクセスすると、支援サーバ２は、バーチャル参加者識別子、イベント識別子を確認した後、バーチャル参加者７に対するイベント支援処理を開始する。
【００７６】
先ず、支援サーバ２のオペレータは、操作部２１６を通じて「受付支援」を指示入力する。支援サーバ２は、この指示入力に応じて、支援画像・音声情報生成部２０９で、例えばイベント会場６の受付を予め撮影した画像を含む受付の支援画像・音声情報を生成し、参加者側処理装置１０に、通信ネットワーク４を通じて送信する。参加者側処理装置１０は、受信した支援画像・音声情報をディスプレイ装置１１に供給して、その支援画像および音声を再生する。
【００７７】
この受付の支援画像の例を図５に示す。支援サーバ２は、この例では、支援画像・音声情報生成部２０９で、会場側装置３の撮像装置３１およびマイクロホン３２で取得された受付の画像および音声情報を支援画像・音声情報として生成する（図５（Ａ）参照）。
【００７８】
次に、支援画像・音声情報生成部２０９は、受付での参加者の記帳画面を生成すると共に、「本日は、ご列席ありがとうございます。記帳をお願いします。」という内容の音声情報（図５（Ｂ）参照）を生成する。参加者向送信情報生成部２１０は、この支援画像・音声情報を、ネットワーク４を通じて参加者側処理装置１０に送る。
【００７９】
バーチャル参加者７が、これに対応して、操作部１２を通じて記帳操作を行うと、参加者側処理装置１０は、その記帳操作の情報を支援サーバ２に送る。支援サーバ２の支援画像・音声情報生成部２０９は、この操作入力情報を、バーチャル参加者操作解析部２１２を通じて受け取ると、アバターがその操作入力に応じて記帳をしているような動作をするように動く支援画像（図５（Ｃ）参照）を生成する。参加者向送信情報生成部２１０は、生成された支援画像・音声情報を、ネットワーク４を通じて参加者側処理装置１０に送る。なお、バーチャル参加者７に実際に入力された記帳文字情報は、参加者側処理装置１０で判別されて、テキスト情報に変換されて、支援サーバ２に送られる。支援サーバ２は、このテキスト情報を、バーチャル参加者情報記憶部２０５に記憶保持するようにする。
【００８０】
次に、支援画像・音声情報生成部２０９は、祝儀袋を表示すると共に、バーチャル参加者７が金額を入力するための画像を生成する（図５（Ｄ）参照）。この画像には、併せて「金額を入力して下さい」というメッセージを表示する。バーチャル参加者７が、これに対応して、操作部１２を通じて金額の入力操作を行うと、その操作入力情報が、支援サーバ２に送られる。
【００８１】
支援サーバ２では、この金額の操作入力がバーチャル参加者操作解析部２１２で判別され、金額情報がバーチャル参加者決済処理部２１３に送られる。
【００８２】
次に、バーチャル参加者７が、受付に祝儀袋を提出する所作を、操作部１２を用いて行うと、その所作の操作入力情報が、参加者側処理装置１０から支援サーバ２に送られる。
【００８３】
支援サーバ２の支援画像・音声情報生成部２０９は、この操作入力情報を、バーチャル参加者操作解析部２１２を通じて受け取り、支援画像のアバターの動きに反映させる（図５（Ｅ）参照）。そして、支援サーバ２のバーチャル参加者操作解析部２１２は、この祝儀袋の受付への提出動作を、金銭の受け渡し完了と判断し、その判断結果をバーチャル参加者決済処理部２１３に通知する。
【００８４】
支援サーバ２のバーチャル参加者決済処理部２１３は、バーチャル参加者情報記憶部２０５の当該バーチャル参加者７の決済方法を参照して、その決済方法に応じた決済を実行するようにする。
【００８５】
次に、支援画像・音声情報生成部２０９は、記帳および祝儀袋の受け渡しの完了したバーチャル参加者に対する応答の画像を生成し（図５（Ｆ）参照）、さらに、イベント会場内に案内する画像を生成する（図５（Ｇ）参照）。これらが、参加者向送信情報生成部２１０から、通信インターフェース２０４および通信ネットワーク４を通じて参加者側処理装置１０に送信される。
【００８６】
そして、支援サーバ２の参加者向送信情報生成部２１０は、図５（Ｇ）のイベント会場内に案内する支援画像の後には、受信画像・音声情報処理部２０７からのライブ画像情報（図５（Ｈ）参照）およびライブ音声情報を、通信ネットワーク４を通じて参加者側処理装置１０に供給するようにする。
【００８７】
以上のような受付の支援画像・音声により、バーチャル参加者７は、あたかもイベント会場で受付を済ませたような感覚を得ることができる。
【００８８】
この受付の支援画像が終了すると、オペレータは、操作部２１６を通じて「ライブ画像・音声送信」を指示入力する。この指示入力に応じて、支援サーバ２は、その後は、バーチャル参加者７のスピーチの順番になるまで、イベント会場６のライブ画像情報およびライブ音声情報を、参加者側処理装置１０に送信する。
【００８９】
そして、バーチャル参加者７のスピーチの順番になると、イベント会場の司会者から、バーチャル参加者７のスピーチがあることが伝えられると共に、オペレータにより操作部２１６を通じて「スピーチ支援」が指示入力される。この指示入力に応じて、支援サーバ２は、支援画像・音声情報生成部２０９により、「マイクロホンをオンにして、スピーチしてください」などのように、バーチャル参加者７にスピーチを実行するように促すメッセージ画像および音声を生成させ、そのメッセージ画像および音声を、ライブ画像およびライブ音声に重畳して、参加者側処理装置１０に送信する。
【００９０】
参加者側処理装置１０は、これを受けて、ディスプレイ装置１１において、前記メッセージを画像表示および音響再生する。このメッセージに応じてバーチャル参加者７が、マイクロホン１３を通じてスピーチを行うと、参加者側処理装置１０は、その音声情報を支援サーバ２に送る。
【００９１】
支援サーバ２では、この音声情報を受信し、会場向送信情報生成部２１１が、そのバーチャル参加者７の音声信号を、通信インターフェース２０４を通じて会場側処理装置３０に送信する。
【００９２】
会場側処理装置３０は、受信した音声情報をスピーカ３４により音響再生する。このスピーカ３４は、バーチャル参加者７のホログラムの近傍に配設されているので、バーチャル参加者７が、あたかもスピーチを述べているようになる。
【００９３】
このとき支援画像・音声情報生成部２０９は、アバターがスピーチを行っているように振舞う支援画像を生成して、それを参加者向送信情報生成部２１０に供給する。参加者向送信情報生成部２１０は、ライブ画像に、支援画像・音声情報生成部２０９で生成されたアバターを重畳して表示する画像を生成し、それを参加者側処理装置１０に送る。
【００９４】
参加者側処理装置１０のディスプレイ１１には、アバターがスピーチをしているように振舞っている画像が表示される。これにより、バーチャル参加者７は、自分がイベント会場であたかもスピーチしているような感覚を得ることができる。
【００９５】
そして、イベントが終了すれば、支援サーバ２から参加者側処理装置１０へのライブ画像情報およびライブ音声情報の送信が停止し、支援サーバ２によるイベント参加支援サービスが終了となる。
【００９６】
＜イベント参加支援システムの各部の処理動作例＞
〔参加者側処理装置１０における処理動作例〕
図６および図７に、以上のようなシステム動作を実現するためになされる参加者側処理装置１０での処理動作例のフローチャートを示す。この図６および図７の各ステップの処理は、ＣＰＵ１０１がＲＯＭ１０２のプログラムにしたがって実行するものである。
【００９７】
ＣＰＵ１０１は、バーチャル参加者７により、操作部１２を通じた支援サーバ２へのアクセス指示がなされるのを待ち（ステップＳ１０１）、アクセス指示がなされたと判別したときには、支援サーバ２から送られてくるイベント識別子およびバーチャル参加者識別子の入力画面を受信する（ステップＳ１０２）。
【００９８】
そして、ＣＰＵ１０１は、バーチャル参加者７による操作部１２を通じたイベント識別子およびバーチャル参加者識別子の入力完了を待ち（ステップＳ１０３）、識別子の入力が完了したと判別したときには、入力されたイベント識別子およびバーチャル参加者識別子を支援サーバ２に送る（ステップＳ１０４）。
【００９９】
イベント識別子およびバーチャル参加者識別子が正しければ、支援サーバ２からはイベント開始準備がＯＫであるかＮＧであるかのいずれかが送られてくる。そこで、ＣＰＵ１０１は、イベント開始準備ＯＫを受信したか否か判別し（ステップＳ１０５）、イベント開始準備ＯＫを受信してはいないと判別したときには、「しばらくお待ちください」をディスプレイ画面に表示して、ステップＳ１０５に戻る。
【０１００】
そして、ステップＳ１０５で、イベント開始準備ＯＫを受信したと判別したときには、ＣＰＵ１０１は、イベントの受付のための手続の支援画像・音声情報を受信する（ステップＳ１０７）。そして、ＣＰＵ１０１は、操作部１２を通じてバーチャル参加者７による操作入力情報を受け付けたか否か判別する（ステップＳ１０８）。
【０１０１】
ステップＳ１０８で、操作部１２を通じてバーチャル参加者７による操作入力情報を受け付けたと判別したときには、ＣＰＵ１０１は、バーチャル参加者７の操作入力情報を、通信ネットワーク４を通じて支援サーバ２に送信する（ステップＳ１０９）。そして、次に、ＣＰＵ１０１は、支援サーバ２からの通知情報により、支援画像・音声情報が終了したか否か判別し（ステップＳ１１０）、終了していないと判別したときには、ステップＳ１０７に戻り、このステップＳ１０７以降の処理を繰り返す。また、ステップＳ１０８で、操作部１２を通じてバーチャル参加者７による操作入力情報を受け付けていないと判別したときには、ステップＳ１０９をバイパスして、ステップＳ１１０に進み、このステップＳ１１０以降の処理を繰り返す。
【０１０２】
ステップＳ１０９で、支援画像・音声情報が終了したと判別したときには、ＣＰＵ１０１は、支援サーバ２からのライブ画像情報およびライブ音声情報を受信して、イベント会場６のライブ画像（３Ｄ画像）および音声（マルチサラウンド音声）のモニター再生を開始する（図７のステップＳ１２１）。
【０１０３】
そして、ＣＰＵ１０１は、バーチャル参加者７から、操作部１２を通じた撮像装置３１の向きやズームの変更指示を受け付けたか否か判別し（ステップＳ１２２）、受け付けたと判別したときには、支援サーバ２に、撮像装置３１の向きやズームの変更指示情報を送信する（ステップＳ１２３）。
【０１０４】
ステップＳ１２２で、バーチャル参加者７から、操作部１２を通じた撮像装置３１の向きやズームの変更指示を受け付けてはいないと判別したとき、また、ステップＳ１２３の次には、ＣＰＵ１０１は、マイクロホン１３がオンとされて、音声信号が入力されたか否か判別する（ステップＳ１２４）。
【０１０５】
すなわち、ライブ画像およびライブ音声には、バーチャル参加者７がスピーチを行う場面になると、前述したように、オペレータの「スピーチ支援」の指示入力に応じて、バーチャル参加者７に対してスピーチを実行するように促すメッセージが重畳されて送られてくる。これに応じて、バーチャル参加者７は、マイクロホン１３をオンにして、スピーチ入力を実行する。そして、マイクロホン１３からの音声信号の入力が検知されたときには、ＣＰＵ１０１は、支援サーバ２に、当該マイクロホン１３で収音されたバーチャル参加者７の音声信号を送信する（ステップＳ１２５）。
【０１０６】
次に、ＣＰＵ１０１は、イベントが終了したか否かを支援サーバ２からの終了通知があったか否かにより判別する（ステップＳ１２６）。ステップＳ１２６で、イベントが終了してはいないと判別したときには、ＣＰＵ１０１は、ステップＳ１２２に戻り、このステップＳ１２２以降の処理を繰り返す。
【０１０７】
ステップＳ１２６で、イベントが終了したと判別したときには、ＣＰＵ１０１は、支援サーバ２からの情報の受信を停止して、イベント終了をディスプレイ表示や音声報知によりバーチャル参加者７に報知する（ステップＳ１２７）。そして、ＣＰＵ１０１は、支援サーバ２との通信路を切断し（ステップＳ１２８）、この処理ルーチンを終了する。
【０１０８】
〔支援サーバ２における処理動作例〕
図８〜図１０に、上述のようなシステム動作を実現するためになされる支援サーバ２での処理動作例のフローチャートを示す。この図８〜図１０の各ステップの処理は、ＲＯＭ２０２のプログラムにしたがってＣＰＵ２０１が各部を制御して実行するものである。
【０１０９】
支援サーバ２のＣＰＵ２０１は、参加者側処理装置１０からのアクセスの受信を待ち（ステップＳ２０１）、参加者側処理装置１０からのアクセスを受信したと判別したときには、イベント識別子およびバーチャル参加者識別子の入力画面を、参加者向送信情報生成部２１０に生成させて、参加者側処理装置１０に送信させる（ステップＳ２０２）。
【０１１０】
そして、ＣＰＵ２０１は、参加者側処理装置１０から送られてくるイベント識別子およびバーチャル参加者識別子を受信し（ステップＳ２０３）、対応するイベントを判定し、当該イベントの開始準備ができているかどうかをチェックする（ステップＳ２０４）。そして、ＣＰＵ２０１は、そのチェックの結果、イベント開始準備がＯＫであるか否か判別し（ステップＳ２０５）、イベント開始準備がＯＫではないと判別したときには、参加者側処理装置１０にイベント開始準備ＮＧを送信し（ステップＳ２０６）、ステップＳ２０４に戻る。
【０１１１】
ステップＳ２０５で、イベント開始準備がＯＫであると判別したときには、ＣＰＵ２０１は、オペレータの「受付支援」の指示入力に応じて、支援画像・音声情報生成部２０９および参加者向送信情報生成部２１０を制御して、イベント会場の受付のための支援画像・音声情報を生成させると共に、生成させた支援画像・音声情報を参加者処理装置１０に送信させる（ステップＳ２０７）。
【０１１２】
次に、ＣＰＵ２０１は、参加者側処理装置１０からの受信を監視し、受信があったときには、受信情報分配部２０６を制御し、その受信情報がバーチャル参加者７の操作入力情報であるか否か判別させる（ステップＳ２０８）。
【０１１３】
ステップＳ２０８で、受信情報がバーチャル参加者７の操作入力情報であると判別されたときには、ＣＰＵ２０１は、受信した操作入力情報をバーチャル参加者操作解析部２１２で解析させる。バーチャル参加者操作解析部２１２は、その解析結果を支援画像・音声情報生成部２０９やバーチャル参加者情報記憶部２０５に供給する。支援画像・音声情報生成部２０９は、バーチャル参加者７の操作入力情報に応じてアバターの動きを制御するなど、バーチャル参加者７の操作入力情報を支援画像に反映する。また、バーチャル参加者情報記憶部２０５は、バーチャル参加者７により入力された記帳情報などを記憶する（ステップＳ２０９）。
【０１１４】
ステップＳ２０８で、受信情報がバーチャル参加者７の操作入力情報ではないと判別したとき、また、ステップＳ２０９の次には、ＣＰＵ２０１は、支援画像・音声情報生成部２０９での支援画像・音声情報の生成処理が終了したか否か判別し（ステップＳ２１０）、終了していないと判別したときには、ステップＳ２０７に戻って、このステップＳ２０７以降の処理を繰り返す。
【０１１５】
そして、ステップＳ２１０で、オペレータの操作部２１６を通じて「ライブ画像・ライブ音声」の指示入力に応じて、支援画像・音声情報の生成処理を終了したと判別したときには、ＣＰＵ２０１は、バーチャル参加者操作解析部２１２の解析結果から、支援画像・音声情報による処理の間にバーチャル参加者７による仮想の金銭の受け渡し行為があったか否か判別する（ステップＳ２２１）。このステップＳ２２１において、バーチャル参加者７による仮想の金銭の受け渡し行為があったと判別したときには、ＣＰＵ２０１は、バーチャル参加者決済処理部２１３に、当該バーチャル参加者７についての金銭の受け渡しの決済処理をするように制御指示する（ステップＳ２２２）。
【０１１６】
次に、ＣＰＵ２０１は、会場側処理装置３０に通信ネットワーク４を通じてアクセスし、通信路を生成する（ステップＳ２２３）。そして、ＣＰＵ２０１は、会場側処理装置３０から送られてくるライブ撮像画像情報およびライブ音声情報の参加者側処理装置１０への送信を開始させるように、受信情報分配部２０６、受信画像・音声情報処理部２０７および参加者向送信情報処理部２１０を制御する（ステップＳ２２４）
そして、ＣＰＵ２０１は、バーチャル参加者情報記憶部２０５からバーチャル参加者７のホログラム用画像データを読み出して、会場側処理装置３０に送信するように会場向送信情報生成部２１１および通信インターフェース２０４を制御する（ステップＳ２２５）。
【０１１７】
そして、ＣＰＵ２０１は、受信情報分配部２０６で参加者側処理装置１０からの情報を受信したかどうかチェックし、受信したときには、バーチャル参加者操作解析部２１２の解析結果から、受信した情報が、撮像装置３１の向きやズームなどの変更指示情報か否か判別する（ステップＳ２２６）。このステップＳ２２６で、受信した情報が、撮像装置３１の向きやズームなどの変更指示情報であると判別したときには、ＣＰＵ２０１は、会場向送信情報生成部２１１を制御して、撮像装置３１の向きやズームなどの変更指示情報を会場側処理装置３０に送信させるようにする（ステップＳ２２７）。
【０１１８】
ステップＳ２２６で、受信した情報が、撮像装置３１の向きやズームなどの変更指示情報ではないと判別したとき、また、ステップＳ２２７の次には、ＣＰＵ２０１は、参加者側処理装置１０から音声信号を受信したか否か判別する（ステップＳ２２８）。
【０１１９】
このステップＳ２２８で、参加者側処理装置１０から音声信号を受信したと判別したときには、ＣＰＵ２０１は、会場側処理装置３０に、参加者側処理装置１０からの音声信号を送信するように会場向送信情報生成部２１１および通信インターフェース２０４を制御する（ステップＳ２２９）。
【０１２０】
ステップＳ２２８で、参加者側処理装置１０から音声信号を受信してはいないと判別したとき、また、ステップＳ２２９の処理の後には、ＣＰＵ２０１は、イベントが終了したか否か判別する（図１０のステップＳ２３１）。このイベント終了判別は、イベント終了時刻を判別することで、自動的に行ってよいし、モニター装置２１５でイベントをモニターしているオペレータによるイベント終了入力操作を判別する処理であっても良い。さらには、イベント会場６の会場側装置３からの終了指示を判別する処理であっても良い。
【０１２１】
このステップＳ２３１で、イベント終了ではないと判別したときには、ＣＰＵ２０１は、ステップＳ２２６に戻り、このステップＳ２２６以降の処理を繰り返す。また、ステップＳ２３１で、イベント終了である判別したときには、ＣＰＵ２０１は、会場側処理装置３０からの撮像情報および音声情報の受信を停止し、イベント終了を参加者側処理装置１０に通知する（ステップＳ２３２）。
【０１２２】
そして、ＣＰＵ２０１は、参加者側処理装置１０および会場側処理装置３０との通信路が切断を待って（ステップＳ２３３）、この処理ルーチンを終了する。
【０１２３】
〔会場側処理装置３０での処理動作例〕
図１１に、上述のようなシステム動作を実現するためになされる会場側処理装置３０での処理動作例のフローチャートを示す。この図１１の各ステップの処理は、ＲＯＭ３０２のプログラムにしたがってＣＰＵ３０１が各部を制御して実行するものである。
【０１２４】
ＣＰＵ３０１は、先ず、撮像装置３１による撮像画像およびマイクロホン３２による収音音声の送信準備を行う（ステップＳ３０１）。そして、ＣＰＵ３０１は、支援サーバ２と、通信ネットワーク４を通じて接続されるのを待ち（ステップＳ３０２）、支援サーバ２と接続されたと判別したときには、撮像装置３１による撮像画像およびマイクロホン３２による収音音声の支援サーバ２への送信を開始するように各部を制御する（ステップＳ３０３）。
【０１２５】
次に、ＣＰＵ３０１は、支援サーバ２から送られてくるバーチャル参加者７のホログラム用画像データを受信して、ホログラム用画像データ格納部３１０に格納し、そのホログラム用画像データをホログラム映出装置３３に送って、ホログラムの再生を開始する（ステップＳ３０３）。
【０１２６】
次に、ＣＰＵ３０１は、支援サーバ２から送られてくる情報を監視して、撮像装置３１の向きやズームの変更指示情報を受信したか否か判別する（ステップＳ３０５）。そして、ステップＳ３０５で、撮像装置３１の向きやズームの変更指示情報を受信したと判別したときには、ＣＰＵ３０１は、撮像装置３１の向きやズームを受信した変更指示情報に応じて変更制御する（ステップＳ３０６）。
【０１２７】
ステップＳ３０５で、撮像装置３１の向きやズームの変更指示情報を受信してはいないと判別したとき、また、ステップＳ３０６の次には、ＣＰＵ３０１は、支援サーバ２から音声情報を受信したか否か判別する（ステップＳ３０７）。そして、ステップＳ３０７で、支援サーバ２から音声情報を受信したと判別したときには、ＣＰＵ３０１は、受信した音声信号をスピーカ３４で音響再生する（ステップＳ３０８）。
【０１２８】
ステップＳ３０７で、支援サーバ２から音声情報を受信してはいないと判別したとき、また、ステップＳ３０８の次には、ＣＰＵ３０１は、イベントが終了したか否か判別する（ステップＳ３０９）。そして、ステップＳ３０９で、イベントが終了してはいないと判別したときには、ＣＰＵ３０１は、ステップＳ３０５に戻り、このステップＳ３０５以降の処理を繰り返す。また、ステップＳ３０９で、イベントが終了したと判別したときには、ＣＰＵ３０１は、支援サーバ２との接続を切断するなどの、イベント終了処理をし（ステップＳ３１０）、この処理ルーチンを終了する。
【０１２９】
以上のようにして、この実施形態においては、バーチャル参加者７は、イベント会場６において行われているイベントの光景をディスプレイ装置１１で３Ｄ立体画像として観視できると共に、イベントの音声をマルチサラウンド音声として聴取できる。したがって、バーチャル参加者７は、臨場感豊にイベントの光景を視聴することができ、仮想的にイベントに参加している感覚を持つことができる。
【０１３０】
その上、この実施形態では、支援画像・音声情報により、イベントの画像や音声を視聴するのみではなく、あたかも実際にイベント会場に行って、受付を行い、また、スピーチなどイベントにあたかも実際に参加したような感覚を得ることができる。
【０１３１】
また、イベント会場６の会場側装置においては、バーチャル参加者がホログラムとして映出されるので、イベント会場６のイベント参加者は、バーチャル参加者の当該イベントへのバーチャル参加を確実に認識することができる。
【０１３２】
なお、上述の第１の実施形態では、バーチャル参加者７のホログラムは、予め用意したバーチャル参加者７の静止画像のホログラムとした。しかし、参加者側装置１に撮像装置を配設しておき、この撮像装置で撮像した画像情報を、イベントの開催時間中、常に、支援サーバ２に供給するようにすると共に、支援サーバ２がホログラム用画像データをリアルタイムで生成して、会場側装置１に、リアルタイムで送信するようにしても良い。
【０１３３】
上述の実施形態では、受付の支援画像・音声情報は、オペレータの指示に基づいて、イベント会場のリアルタイム画像・音声情報に代えて、参加者側処理部１０に供給するようにしたが、例えば、イベント開催スケジュールに応じて、時間により自動的に、切り替えるように構成することもできる。
【０１３４】
なお、上述の実施形態は、イベントが結婚式の場合であったが、葬儀やコンサート、会議などにも、この発明は適用することができる。例えば葬儀の場合であれば、支援サーバでは、受付の支援画像・音声情報の他、焼香行為についての支援画像・音声情報を参加者側処理装置に提供することができる。その場合、焼香行為の支援画像においては、アバターがバーチャル参加者の焼香行為に応じた動きをするように、支援サーバは、支援画像を生成する。
【０１３５】
また、イベント会場がコンサート会場である場合には、支援サーバでは、入場受付の支援画像・音声情報の他、休憩時間やコンサート終了後のＣＤやＤＶＤの販売を支援する支援画像・音声情報を生成して、バーチャル参加者に提供することもできる。そして、その場合には、ＣＤやＤＶＤの販売において、バーチャル参加者についての決済処理も、前述の実施形態と同様にして行うことができる。
【０１３６】
［第２の実施形態］
第１の実施形態は、現実空間に設営されたイベント会場で、現実にイベントが行われている場合において、バーチャル参加者の当該イベントへのバーチャル参加を支援するシステムであったが、仮想的に作成されたイベント会場で、仮想的なイベントが行われる場合において、バーチャル参加者のバーチャル参加を支援するシステムとすることもできる。第２の実施形態は、その場合の例である。
【０１３７】
この第２の実施形態のイベント参加支援システムの構成例を図１２に示す。すなわち、この第２の実施形態では、イベント参加支援サーバ２０に対して、複数の参加者側装置１が通信ネットワーク４を通じて接続される。イベントはバーチャルイベントであるので、会場側装置３は、この第２の実施形態では設けられない。
【０１３８】
参加者側装置１は、この第２の実施形態においても、前述した第１の実施形態と全く同様に構成されており、参加者側処理装置１０と、ディスプレイ装置１１と、操作部１２と、マイクロホン１３とを備える。
【０１３９】
支援サーバ２０は、第１の実施形態とは異なり、通信ネットワーク４を通じた会場側装置３との情報通信が不要である。この第２の実施形態における支援サーバ２０の構成例のブロック図を図１３に示す。この図１３において、図４に示した第１の実施形態の支援サーバ２と同一部分には、同一番号を付してある。
【０１４０】
すなわち、支援サーバ２０においては、システムバス２００に対して、第１の実施形態と同一部分として、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、通信インターフェース２０４、バーチャル参加者情報記憶部２０５、支援画像・音声情報生成部２０９、参加者向送信情報生成部、バーチャル参加者操作解析部２１２、バーチャル参加者決済処理部２１３、が接続されている。
【０１４１】
第１の実施形態の受信情報分配部２０６、受信画像・音声情報処理部２０７、モニターインターフェース２０８、会場向送信情報生成部２１１、操作部インターフェース２１４、モニター装置２１５、操作部２１６は、この第２の実施形態では設けられない。そして、その代わりに、この第２の実施形態の支援サーバ２０には、バーチャルイベント情報生成保持部２２１、時計部２２２およびバーチャルイベント記録情報生成部２２３が、システムバス２００に接続されて設けられる。
【０１４２】
バーチャルイベント情報生成保持部２２１は、バーチャルイベントの開催依頼者の依頼に応じて作成されたバーチャルイベント情報を生成し、生成したバーチャルイベント情報を格納保持する。ここで、生成されたバーチャルイベント情報は、バーチャル参加者のイベント参加ポイントの情報が含まれている。バーチャルイベント参加ポイントには、バーチャルイベント情報から支援画像・音声情報に切り替えられる切り替えポイントと、支援画像・音声情報がバーチャルイベント情報に重畳される重畳ポイントとがある。この第２の実施形態では、参加者向送信情報生成部２１０は、ＣＰＵ２０１の制御にしたがって、切り替えポイントではバーチャルイベント情報と支援画像・音声情報とを切り替え、重畳ポイントではバーチャルイベント情報に支援画像・音声情報を重畳する。
【０１４３】
時計部２２２は、年、月、日、時、分、秒の時間情報を提供するためのものである。バーチャルイベント記録情報生成部２２３は、バーチャル参加者のバーチャルイベントへの参加日時の情報、バーチャル参加者がバーチャルイベントにおいて入力した情報などを、バーチャルイベント識別子およびバーチャル参加者の識別子に対応付けて記録する。そして、バーチャルイベント記録情報生成部２２３は、各バーチャルイベントの開催期間が終了した後、各バーチャルイベント情報と、バーチャル参加者の入力情報とを含めた記録情報を生成する。そして、このバーチャルイベント記録情報生成部２２３で生成された記録情報は、バーチャルイベントの開催依頼者に提供される。
【０１４４】
＜支援サーバ２０におけるバーチャルイベント生成および提供手順＞
理解を容易にするため、図１４を参照して、この第２の実施形態におけるバーチャルイベントの作成から、提供終了までの手順を説明する。
【０１４５】
バーチャルイベントの開催依頼者（以下、単に依頼者という）は、支援サーバ２０の運営サービス事業者に対して、バーチャルイベントの作成依頼の申し込みを行う（手順Ｔ１）。次に、依頼者は、結婚式、葬儀、法事、還暦祝いなど、どのような種類のバーチャルイベントの開催を希望するかについて、支援サーバ２０の運営サービス事業者に伝える（手順Ｔ２）。
【０１４６】
次に、支援サーバ２０の運営サービス事業者は、バーチャルイベントの開催条件についての依頼者の希望を聴取して開催条件を決定する（手順Ｔ３）。この例では、依頼者は、例えば結婚式であれば、神前、仏前、人前、キリスト教会などの形式、あるいは、「ハワイで」、「エベレスト山の頂上で」、「地中海で」、などの開催地などを選定依頼することができる。また、イベント参加者は何人にするか、そのうちボットを何人分用意するか、なども依頼者は選定することができる。支援サーバ２０の運営サービス事業者は、依頼者のこれらの条件の選定を受け付け、さらに、アバターは、本人の画像を反映したものにするか、衣装はどのようにするかなど、詳細条件について依頼者の意向に沿って、開催条件を決定する。
【０１４７】
以上のようにして、バーチャルイベントを生成するための開催条件が定まったら、支援サーバ２０の運営サービス事業者は、例えば支援サーバ２０において、バーチャルイベント情報を生成する。なお、バーチャルイベント情報は、支援サーバ２０以外の専用装置で作成しても勿論良い。そして、支援サーバ２０の運営サービス事業者は、生成したバーチャルイベント情報を、その識別子と対応付けて、支援サーバ２０のバーチャルイベント情報生成保持部２２１に格納保持する（手順Ｔ４）。なお、バーチャルイベント情報生成保持部２２１に格納された各バーチャルイベント情報には、依頼者により指定された各バーチャルイベントの開催期間の情報も含まれている。
【０１４８】
次に、支援サーバ２０の運営サービス事業者は、依頼者からのイベント参加予定者リストに基づき、それらのイベント参加予定者に対して、バーチャルイベントの開催通知を、メールや郵送などで通知する（手順Ｔ５）。このバーチャルイベントの開催通知には、バーチャルイベント識別子と、各イベント参加予定者のバーチャル参加者識別子とが含まれている。イベント参加予定者は、参加者側装置１から支援サーバ２０にアクセスしたときに、これらの識別子を支援サーバ２０に送ることで、対応するバーチャルイベントへのバーチャル参加が可能となる。
【０１４９】
次に、支援サーバ２０は、バーチャルイベント情報生成保持部２２１の各バーチャルイベント開催期間の情報を監視して、開催期間になったかどうか判別する（手順Ｔ６）。そして、開催期間になったと判別したときには、支援サーバ２０は、通知したバーチャル参加予定者からのアクセスを受け付けたか否か判別する（手順Ｔ７）。
【０１５０】
そして、バーチャル参加予定者からのアクセスを受け付けたと判別したときには、支援サーバ２０は、バーチャル参加予定者により識別子が指定されたバーチャルイベント情報を、バーチャル参加予定者に提供すると共に、バーチャル参加予定者が当該バーチャルイベントにおいて入力した情報を、そのバーチャル参加者識別子に対応して記録保持する（手順Ｔ８）。
【０１５１】
手順Ｔ７でバーチャル参加予定者からのアクセスを受け付けていないと判別したとき、また、手順Ｔ８で、バーチャル参加予定者にバーチャルイベント情報を提供した後には、支援サーバ２０は、バーチャルイベント開催期間が終了したか否か判別する（手順Ｔ９）。
【０１５２】
そして、手順Ｔ９でバーチャルイベント開催期間が終了してはいないと判別したときには、支援サーバ２０は、手順Ｔ７に戻って、他のバーチャル参加予定者によるアクセスを監視する。また、手順Ｔ９でバーチャルイベント開催期間が終了したと判別したときには、支援サーバ２０は、バーチャルイベント情報と、当該バーチャルイベントに参加した全てのバーチャル参加者の入力情報とを含めた記録情報を生成し、イベント開催依頼者に提供する（手順Ｔ１０）。
【０１５３】
なお、バーチャル参加予定者は、バーチャルイベントの開催期間前に、支援サーバ２０の運営サービス事業者と接触し、バーチャルイベントに参加したときに登場する自分のアバターを、自分の画像にできるだけ似せるように依頼することができる。支援サーバ２０は、バーチャル参加者から、アバターについて前記のような依頼があった場合には、当該バーチャル参加者の画像を取得して、予め当該バーチャル参加者のアバターを、バーチャル参加者識別子に対応付けて保存しておく。そして、支援サーバ２は、当該バーチャル参加者からのバーチャルイベントへの参加のための支援サーバ２０へのアクセスがあったときには、その保存されているアバターをバーチャルイベントに登場させるようにする。
【０１５４】
＜支援サーバ２０における処理動作例＞
図１５〜図１７は、この第２の実施形態の支援サーバ２０における処理動作例のフローチャートである。この図１５〜図１７の各ステップは、ＲＯＭ２０２のプログラムにしたがってＣＰＵ２０１が各部を制御して実行するものである。
【０１５５】
支援サーバ２０のＣＰＵ２０１は、参加者側処理装置１０からのアクセスの受信を待ち（ステップＳ４０１）、参加者側処理装置１０からのアクセスを受信したと判別したときには、バーチャルイベント識別子およびバーチャル参加者識別子の入力画面を、参加者向送信情報生成部２１０に生成させて、参加者側処理装置１０に送信させる（ステップＳ４０２）。
【０１５６】
そして、ＣＰＵ２０１は、参加者側処理装置１０から送られてくるバーチャルイベント識別子およびバーチャル参加者識別子を受信し（ステップＳ４０３）、対応するバーチャルイベントを判定する。そして、この例では、ＣＰＵ２０１は、支援画像・音声情報生成部２０９および参加者向送信情報生成部２１０を制御して、イベント会場の受付のための支援画像・音声情報を生成させると共に、生成させた支援画像・音声情報を参加者処理装置１０に送信させる（ステップＳ４０４）。
【０１５７】
次に、ＣＰＵ２０１は、参加者側処理装置１０から、バーチャル参加者７の操作入力情報を受信したか否か判別する（ステップＳ４０５）。
【０１５８】
ステップＳ４０５で、バーチャル参加者７の操作入力情報を受信したと判別したときには、ＣＰＵ２０１は、受信した操作入力情報をバーチャル参加者操作解析部２１２で解析させる。バーチャル参加者操作解析部２１２は、その解析結果を支援画像・音声情報生成部２０９やバーチャルイベント記録情報生成部２２３に供給する。支援画像・音声情報生成部２０９は、バーチャル参加者７の操作入力情報に応じてアバターの動きを制御するなど、バーチャル参加者７の操作入力情報を支援画像に反映する。また、バーチャルイベント記録情報生成部２２３は、バーチャル参加者７の参加日時情報、バーチャル参加者７により入力された記帳情報などを、バーチャル参加者識別子に対応付けて記憶する（ステップＳ４０６）。
【０１５９】
ステップＳ４０５で、受信情報がバーチャル参加者７の操作入力情報ではないと判別したとき、また、ステップＳ４０６の次には、ＣＰＵ２０１は、支援画像・音声情報生成部２０９での支援画像・音声情報の生成処理が終了したか否か判別し（ステップＳ４０７）、終了していないと判別したときには、ステップＳ４０４に戻って、このステップＳ４０４以降の処理を繰り返す。
【０１６０】
そして、ステップＳ４０７で、支援画像・音声情報の生成処理が終了したと判別したときには、ＣＰＵ２０１は、バーチャル参加者操作解析部２１２の解析結果から、支援画像・音声情報による処理の間にバーチャル参加者７による仮想の金銭の受け渡し行為があったか否か判別する（図１６のステップＳ４１１）。このステップＳ４１１において、バーチャル参加者７による仮想の金銭の受け渡し行為があったと判別したときには、ＣＰＵ２０１は、バーチャル参加者決済処理部２１３に、当該バーチャル参加者７についての金銭の受け渡しの決済処理をするように制御指示する（ステップＳ４１２）。
【０１６１】
次に、ＣＰＵ２０１は、バーチャルイベント情報生成保持部２２１から、バーチャル参加者により入力指示されたバーチャルイベント識別子のバーチャルイベント情報を読み出して、参加者側処理装置１０に通信ネットワーク４を通じて送信する処理を開始する（ステップＳ４１３）。
【０１６２】
そして、ＣＰＵ２０１は、送信中のバーチャルイベント情報において、バーチャル参加者のイベント参加ポイントになるのを待つ（ステップＳ４１４）。
【０１６３】
このステップＳ４１４で、バーチャル参加者のイベント参加ポイントになってはいないと判別したときには、ＣＰＵ２０１は、バーチャルイベントが最後まで実行されて終了したか否か判別する（図１７のステップＳ４２４）。このステップＳ４２４で、バーチャルイベントが終了したと判別したときには、ＣＰＵ２０１は、バーチャルイベント情報の参加者側処理装置１０への送信を停止し（ステップＳ４２５）、この処理ルーチンを終了する。また、ステップＳ４２４で、バーチャルイベントが終了してはいないと判別したときには、ＣＰＵ２０１は、ステップＳ４１４に戻る。
【０１６４】
そして、ステップＳ４１４で、イベント参加ポイントになったと判別したときには、ＣＰＵ２０１は、切り替えポイントではバーチャルイベント情報に代えて支援画像・音声情報を参加者側処理装置１０に送信し、重畳ポイントではバーチャルイベント情報に支援画像・音声情報を重畳し、支援画像・音声情報と、参加者側処理装置１０に送信する（ステップＳ４１５）。
【０１６５】
次に、ＣＰＵ２０１は、参加者側処理装置１０から、バーチャル参加者７の操作入力情報を受信したか否か判別する（ステップＳ４１６）。
【０１６６】
ステップＳ４１６で、バーチャル参加者７の操作入力情報を受信したと判別したときには、ＣＰＵ２０１は、受信した操作入力情報をバーチャル参加者操作解析部２１２で解析させる。バーチャル参加者操作解析部２１２は、その解析結果を支援画像・音声情報生成部２０９やバーチャルイベント記録情報生成部２２３に供給する。支援画像・音声情報生成部２０９は、バーチャル参加者７の操作入力情報に応じてアバターの動きを制御するなど、バーチャル参加者７の操作入力情報を支援画像に反映する。また、バーチャルイベント記録情報生成部２２３は、バーチャル参加者７により入力された記帳情報などを、バーチャル参加者識別子に対応付けて記憶する（ステップＳ４１７）。
【０１６７】
ステップＳ４１６で、受信情報がバーチャル参加者７の操作入力情報ではないと判別したとき、また、ステップＳ４１７の次には、ＣＰＵ２０１は、支援画像・音声情報生成部２０９での支援画像・音声情報の生成処理が終了したか否か判別し（ステップＳ４１８）、終了していないと判別したときには、ステップＳ４１５に戻って、このステップＳ４１５以降の処理を繰り返す。
【０１６８】
そして、ステップＳ４１８で、支援画像・音声情報の生成処理が終了したと判別したときには、ＣＰＵ２０１は、バーチャル参加者操作解析部２１２の解析結果から、支援画像・音声情報による処理の間にバーチャル参加者７による仮想の金銭の受け渡し行為があったか否か判別する（図１７のステップＳ４２１）。このステップＳ４２１において、バーチャル参加者７による仮想の金銭の受け渡し行為があったと判別したときには、ＣＰＵ２０１は、バーチャル参加者決済処理部２１３に、当該バーチャル参加者７についての金銭の受け渡しの決済処理をするように制御指示する（ステップＳ４２２）。
【０１６９】
例えばバーチャルイベントがコンサートである場合には、前述したように、支援サーバでは、入場受付の支援画像・音声情報の他、休憩時間やコンサート終了後のＣＤやＤＶＤの販売を支援する支援画像・音声情報を生成して、バーチャル参加者に提供する。その場合には、バーチャル参加者がＣＤやＤＶＤを購入した場合には、当該バーチャル参加者についての決済処理が生じるので、このステップＳ４２１およびステップＳ４２２において、決済処理をする。
【０１７０】
次に、ＣＰＵ２０１は、支援画像・音声情報生成部２２９からの支援画像・音声情報の読み出しを停止する。そして、バーチャルイベント情報生成保持部２２１からのバーチャルイベント情報を、参加者側処理装置１０に通信ネットワーク４を通じて送信する（ステップＳ４２３）。
【０１７１】
次に、ＣＰＵ２０１は、バーチャルイベントが最後まで実行されて終了したか否か判別し（ステップＳ４２４）、バーチャルイベントが終了してはいないと判別したときには、ＣＰＵ２０１は、ステップＳ４１４に戻る。また、ステップＳ４２４で、バーチャルイベントが終了したと判別したときには、バーチャルイベント情報の参加者側処理装置１０への送信を停止し（ステップＳ４２５）、この処理ルーチンを終了する。
【０１７２】
＜参加者側処理装置１０の処理動作例＞
手順Ｔ８における支援サーバ２０からのバーチャルイベントの提供を受けたときの参加者側処理装置１０の処理動作は、支援サーバ２０から受け取るイベント情報がバーチャルイベント情報である点が異なるのみで、図６および図７を用いて説明した第１の実施形態と同様である。そこで、この第２の実施形態では、参加者側処理装置１０における処理動作については説明を省略する。
【０１７３】
以上説明した第２の実施形態によれば、バーチャル参加者は、バーチャルイベント会場に行って、受付を行い、また、スピーチなどバーチャルイベントにあたかも実際に参加したような感覚を得ることができる。
【０１７４】
［その他の実施形態または変形例］
上述の第１および第２の実施形態では、参加者側装置１は、パーソナルコンピュータを用いた構成としたが、携帯電話端末などの携帯装置を参加者側装置として用いることもできる。
【０１７５】
また、第１の実施形態において、会場側装置３に設けられる撮像装置は、よりイベント会場の臨場感をバーチャル参加者が味わえるようにするため３Ｄカメラを用いるようにしたが、これに限られるものではなく、通常の２Ｄのカメラであっても勿論よい。
【０１７６】
また、第１の実施形態におけるイベント会場の音声も、マルチサラウンド音声に限られるものではなく、２チャンネルステレオ音声やモノーラル音声であっても差し支えない。
【０１７７】
また、第１の実施形態において、現実空間でのイベントの情報は、ライブイベント情報として参加者側装置に提供するようにしたが、現実空間でのイベントを録画したものを、参加者側装置に提供するようにしても良い。
【０１７８】
なお、上述の実施形態では、イベント情報としては、画像情報と音声情報との両方を含むものとしたが、画像情報のみであっても良い。
【符号の説明】
【０１７９】
１…参加者側装置、２，２０…イベント参加支援サーバ、３…会場側装置、４…通信ネットワーク、１０…参加者側処理装置、１１…ディスプレイ装置、１２…マイクロホン、１３…操作部、３０…会場側処理装置、３１…撮像装置、３２…マイクロホン、３３…ホログラム映出装置、３４…スピーカ、３５…ホログラム
【図１】
2011215701.tif 000003
【図２】
2011215701.tif 000004
【図３】
2011215701.tif 000005
【図４】
2011215701.tif 000006
【図５】
2011215701.tif 000007
【図６】
2011215701.tif 000008
【図７】
2011215701.tif 000009
【図８】
2011215701.tif 000010
【図９】
2011215701.tif 000011
【図１０】
2011215701.tif 000012
【図１１】
2011215701.tif 000013
【図１２】
2011215701.tif 000014
【図１３】
2011215701.tif 000015
【図１４】
2011215701.tif 000016
【図１５】
2011215701.tif 000017
【図１６】
2011215701.tif 000018
【図１７】
2011215701.tif 000019