(57)【特許請求の範囲】
【請求項１】
コンピュータ・ネットワークを利用した仮想空間における撮影画像を送信する仮想空間放送装置であって、
携帯情報端末からユーザの指示を受け付ける指示受信部と、
前記仮想空間内における前記ユーザの分身であるアバターを前記仮想空間内において予め定めた行動パターンによって移動させるアバター自動移動制御部と、
前記仮想空間内における任意の地点の画像を取得するための複数のカメラを前記ユーザの指示によって、前記仮想空間内の複数の位置に配置するカメラ位置決定部と、
前記複数のカメラによって撮影された画像を取得し、前記ユーザのアバターの行動記録として行動動画ファイルを作成する行動画像生成部と、
前記仮想空間内において遭遇した他のユーザのアバターとの会話に自動応答する会話制御部と、
前記行動動画ファイルを送信する放送配信部と、
を備えた仮想空間放送装置。
【請求項２】
前記仮想空間内において遭遇した他のユーザのアバターとの会話において、自動応答する会話制御部と、
前記他のユーザのアバターとの会話の内容を前記ユーザのアバターの行動情報と結合する会話行動情報結合部と、
を更に備えた、請求項１に記載の仮想空間情報要約作成装置。
【請求項３】
前記複数のカメラのうち少なくとも１つは前記アバターの目線位置に設置される、請求項１に記載の仮想空間放送装置。
【請求項４】
前記ユーザの指示によって、前記複数のカメラの撮影の切り替えを可能とする、請求項１乃至請求項３に記載の仮想空間放送装置。
【請求項５】
前記ユーザの指示は、前記仮想空間内の所定の位置及び時間を予め定めたシナリオを基に行われる、請求項１に記載の仮想空間放送装置。
【請求項６】
前記撮影された動画ファイルの該当情報を検出し、前記他のユーザの端末に対して送信する会話行動情報送信部を更に備えた、請求項１に記載の仮想空間放送装置。
【請求項７】
前記放送配信部は、前記撮影された動画ファイルを前記ユーザのブログを格納したブログサーバに送信する、請求項１に記載の仮想空間放送装置。
【請求項８】
コンピュータ・ネットワークを利用した仮想空間における撮影画像を送信するためのコンピュータ・プログラムであって、
携帯情報端末からユーザの指示を受け付けるステップと、
前記仮想空間内における前記ユーザの分身であるアバターを前記仮想空間内において予め定めた行動パターンによって移動させるステップと、
前記仮想空間内における任意の地点の画像を取得するための複数のカメラを前記仮想空間内の複数の位置に配置するステップと、
前記複数のカメラによって撮影された画像を取得し、前記ユーザのアバターの行動記録として行動動画ファイルを作成するステップと、
前記仮想空間内において遭遇した他のユーザのアバターとの会話に自動応答するステップと、
前記会話の内容を前記ユーザのアバターの行動情報と結合するステップと、
前記行動動画ファイルを送信するステップと、
をコンピュータに実行させる、コンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワーク上の仮想空間での画像情報をリモートで得るための装置に関する。特に、携帯情報端末を用い、ユーザが仮想空間内で撮影した画像に関する情報と仮想空間内でのユーザ行動情報を得るための装置及びプログラムに関する。
【背景技術】
【０００２】
昨今、インターネット上に仮想空間を構築し、現実世界の空間と類似の、あるいは仮想空間ならではの特徴を生かした様々なサービスを提供することが始まっている（例えば、非特許文献１参照）。
【０００３】
非特許文献１に示された仮想空間は、ユーザが創造し発展させてゆく永続的な３Ｄオンライン・スペースであり、３Ｄコンテンツを設計し販売する能力と、土地とマイクロ通貨（実際の現金に交換可能)を所有し開発する能力とを組み合わせ、仮想空間に本物のビジネスを構築することができる。
【０００４】
このような仮想空間においては、ユーザの仮想空間における情報取得やまたはユーザ間の意思疎通の方法が重要である。例えば、ユーザは仮想空間において、現実の世界と同じように、仮想空間上で情報を得て行動する。そのため、例えば、特許文献１には、インターネットを介して各端末の利用者が同一の仮想空間を共有し、ユーザ相互の間で文字によるチャット、音声による会話等の情報交換を行いうる技術が開示されている。また、仮想空間において、ユーザは自分の分身であるアバターを用いて他のユーザとの意思疎通を行い、このアバターはユーザ自身によって外見等を編集できることが開示されている（例えば、特許文献２参照）。
【０００５】
【非特許文献１】マイケル・リマズイスキー（他）著  中川  蘭丸  訳、セカンドライフ公式ガイド、インプレスＲ＆Ｄ版、２００７年０５月
【特許文献１】特開２００１−１５４９６６号公報
【特許文献２】特開平９−２４４８４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上記の文献に記載された方法においては、ユーザが仮想空間上で様々な情報を得るためには、仮想空間自体が高度なコンピュータ・グラフィックスを駆使して構築されているという特徴があり、ゲーム装置のような高性能な３Ｄグラフィックス機能を備えたパーソナル・コンピュータ等を用いる必要があり、ユーザが仮想空間で行う操作は、室内のパーソナル・コンピュータ等でしか行いずらいという課題があった。
【０００７】
現在では、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙ−ｐｈｏｎｅ  Ｓｙｓｔｅｍ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）等の携帯情報端末は急速に普及しており、日常の生活において不可欠なものになっている。れらの携帯情報端末を用いて自宅のパーソナル・コンピュータと情報をやりとりすることも広く行われるようになってきた。したがって、携帯電話等の携帯情報端末と自宅等におけるパーソナル・コンピュータとの両者において連続性を保ったまま仮想空間を利用することができれば、ユーザは上記のような制約を受けることなくより広く仮想空間を介するサービスを楽しむことができる。
【０００８】
本発明は、上記課題に鑑み、現実空間におけるユーザの行動範囲が屋内でのパーソナル・コンピュータ等の近傍に制約されないように、また、仮想空間の内容を、モバイル環境、例えば携帯電話等で仮想空間内の画像情報を閲覧することにより、電車での移動等のユーザの空いた時間に仮想空間サービスを利用することができるような手段を提供することを目的とする。また、仮想空間を介するサービスを更に加速させるために、ユーザが利用手段をパーソナル・コンピュータ等から携帯情報端末に、また逆に携帯情報端末からパーソナル・コンピュータ等に変更することにおいて、同一仮想空間へのアクセスの連続性が維持できるモバイル環境での仮想空間アクセス手段を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明では、以下のような解決手段を提供する。
【００１０】
（１）  コンピュータ・ネットワークを利用した仮想空間における撮影画像を送信する仮想空間放送装置であって、
携帯情報端末からユーザの指示を受け付ける指示受信部と、
前記仮想空間内における前記ユーザの分身であるアバターを前記仮想空間内において予め定めた行動パターンによって移動させるアバター自動移動制御部と、
前記仮想空間内における任意の地点の画像を取得するための複数のカメラを前記ユーザの指示によって、前記仮想空間内の複数の位置に配置するカメラ位置決定部と、
前記複数のカメラによって撮影された画像を取得し、前記ユーザのアバターの行動記録として行動動画ファイルを作成する行動画像生成部と、
前記行動動画ファイルを送信する放送配信部と、
を備えた仮想空間放送装置。
【００１１】
このような構成によれば、本発明の仮想空間放送装置を用いることによって、ユーザは携帯情報端末からリモートで仮想空間のサービスにアクセスし、ユーザの分身であるアバターに指令を与えることができる。指令を与えられたアバターが行動する際に、仮想空間内の任意の位置からの画像が複数のカメラによって撮影される。撮影された複数の画像からユーザの行動記録として、行動動画ファイルが作成され、ユーザの携帯情報端末や仮想空間の他のユーザ端末に送信する。
【００１２】
（２）  前記仮想空間内において遭遇した他のユーザのアバターとの会話において、自動応答する会話制御部と、
前記他のユーザのアバターとの会話の内容を前記ユーザのアバターの行動情報と結合する会話行動情報結合部と、
を更に備えた、（１）に記載の仮想空間情報要約作成装置。
【００１３】
このような構成によれば、仮想空間上で他のユーザのアバターに遭遇した場合は、ユーザが与えた行動パターンに従って、その他のアバターと会話（チャット）を楽しむことができる。会話は予め登録された応答パターンに従って自動的に行われる。例えば、他のアバターから「こんにちは」と話しかけれたら、「こんにちは、お元気そうですね」というような会話がユーザの指示なしに自動的に行われる。想定されていない会話の場合でも差しさわりのない返答をする。このような会話の記録も行動情報に結合して記録される。この結果から得られた行動情報はユーザの携帯情報端末や他のユーザ端末にアバターの行動結果としての動画ファイルと共に送信される。
【００１４】
（３）  前記複数のカメラのうち少なくとも１つは前記アバターの目線位置に設置される、（１）に記載の仮想空間放送装置。
【００１５】
（４）  前記ユーザの指示によって、前記複数のカメラの撮影を切り替えを可能とする、（１）乃至（３）に記載の仮想空間放送装置。
【００１６】
（３）または（４）の構成によれば、カメラ位置の１つはユーザのアバターの目線位置に提供され、他の位置に設置された画像を随時切り替えることによって、携帯情報端末からであっても臨場感ある画像を楽しむことができる。
【００１７】
（５）  前記ユーザの指示は、前記仮想空間内の所定の位置及び時間を予め定めたシナリオを基に行われる、（１）に記載の仮想空間放送装置。
【００１８】
（６）  前記撮影された動画ファイルの該当情報を検出し、前記他のユーザの端末に対して送信する会話行動情報送信部を更に備えた、（１）に記載の仮想空間放送装置。
【００１９】
このような構成によれば、ユーザからアバターに与える指令はその都度コマンドとして与える代わりに、予め定めた行動パターン（シナリオ）で与えておくことができる。こうすることで、ユーザは、そのシナリオに従ってアバターが行動する間は指令を与える必要がなく、後でそのシナリオの行動結果だけを受信することができる。
【００２０】
（７）  前記放送配信部は、前記撮影された動画ファイルを前記ユーザのブログを格納したブログサーバに送信する、（１）に記載の仮想空間放送装置。
【００２１】
このような構成によれば、動画ファイルをユーザの携帯情報端末に送信するだけでなく、ユーザ自身が作成したブログにも掲載できるので、他のユーザからも閲覧できる。
【００２２】
（８）  コンピュータ・ネットワークを利用した仮想空間における撮影画像を送信するためのコンピュータ・プログラムであって、
携帯情報端末からユーザの指示を受け付けるステップと、
前記仮想空間内における前記ユーザの分身であるアバターを前記仮想空間内において予め定めた行動パターンによって移動させるステップと、
前記仮想空間内における任意の地点の画像を取得するための複数のカメラを前記仮想空間内の複数の位置に配置するステップと、
前記複数のカメラによって撮影された画像を取得し、前記ユーザのアバターの行動記録として行動動画ファイルを作成するステップと、
前記仮想空間内において遭遇した他のユーザのアバターとの会話に自動応答するステップと、
前記会話の内容を前記ユーザのアバターの行動情報と結合するステップと、
前記行動動画ファイルを送信するステップと、
をコンピュータに実行させる、コンピュータ・プログラム。
【００２３】
このような構成によれば、本発明の仮想空間放送装置はコンピュータ・プログラムの形で提供される。したがって、一般的なコンピュータに上記のステップを実行させるプログラムをインストールすることで、専用のハードウェアを開発することなく容易に実現できる。
【発明の効果】
【００２４】
本発明によれば、仮想空間における特に画像情報に対して屋内の利用環境と連続性のあるサービスをモバイル環境に対しても、提供することができる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施形態について図を参照しながら説明する。なお、これらの実施形態はあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
【００２６】
［仮想空間放送装置の機能構成］
図１は、本発明の好適な実施形態の一例に係る仮想空間放送装置１０の機能の概略を示したものである。以下、仮想空間放送装置１０を単に本装置と呼ぶことにする。
【００２７】
本装置は、ユーザの携帯情報端末３０（例えば、携帯電話機）から、指示またはシナリオを受け付けるユーザ指示受信部１１、ユーザがその都度与える指示、またはユーザが予め与えられたシナリオデータ２１に従ってアバターを仮想空間内で自動的に行動させるアバター自動移動制御部１２、仮想空間サービスを提供する仮想空間提供サーバ４０にアクセスして、仮想空間内の複数のカメラの位置を決定するカメラ位置決定部１３、仮想空間提供サーバ４０から得られた画像データ２２から、ユーザの分身であるアバターの行動した結果を行動情報（行動動画）として作成する行動画像生成部１４、他のアバターとの会話（チャット）を制御する会話制御部１５、得られた会話内容（会話データ２３）を記録し、アバターの行動情報と結合する会話行動情報結合部１６、会話の相手の他のユーザ端末５０に送信する会話行動情報送信部１７、及び会話内容を含む行動動画をユーザの携帯情報端末３０やブログサーバ６０へ送信する、放送配信部１８を備えている。
【００２８】
図示するように、仮想空間サービスを提供する機能自体は外部の一または複数の仮想空間提供サーバによって構築される。本装置内部の各機能ブロックの詳細については後述する。なお、このような構成は、あくまで一例であり、機能的に同等な他のバリエーションの構成を排除するものでないことはいうまでもない。
【００２９】
［仮想空間放送装置のハードウェア構成］
図２は、本発明の好適な実施形態の一例に係る仮想空間放送装置１０のハードウェア構成を示す図である。
【００３０】
本装置は、典型的なサーバのようなコンピュータ装置であってよく、制御部１０８を構成するＣＰＵ１１０（マルチプロセッサ構成ではＣＰＵ１２０等複数のＣＰＵが追加されてもよい）、バスライン１０７、通信Ｉ／Ｆ１４０、メインメモリ１５０、ＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）１６０、ＵＳＢポート１９０、グラフィックコントローラ１３０、Ｉ／Ｏコントローラ１７０、並びにキーボード及びマウス１８０等の入力手段や表示装置１２２を備える。グラフィックコントローラ１３０は、仮想空間の画像を処理するために主に使用される。Ｉ／Ｏコントローラ１７０には、テープドライブ１７２、ハードディスク１７４、光ディスクドライブ１７６、半導体メモリ１７８、等の記憶部１０９を接続することができる。ＢＩＯＳ１６０は、本装置の起動時にＣＰＵ１１０が実行するブートプログラムや、本装置のハードウェアに依存するプログラム等を格納する。ハードディスク１７４は、本装置として機能するための各種プログラム及び本発明の機能を実行するプログラムを記憶する。光ディスクドライブ１７６としては、例えば、ＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＡＭドライブ、ＣＤ−ＲＡＭドライブ等を使用することができる。この場合は各ドライブに対応した光ディスク１７７を使用する。光ディスク１７７から光ディスクドライブ１７６によりプログラムまたはデータを読み取り、Ｉ／Ｏコントローラ１７０を介してメインメモリ１５０またはハードディスク１７４に提供することもできる。また、同様にテープドライブ１７２に対応したテープメディア１７１を主としてバックアップのために使用することもできる。
【００３１】
本装置に提供されるプログラムは、ハードディスク１７４、光ディスク１７７、またはメモリカード等の記録媒体に格納されて提供される。このプログラムは、Ｉ／Ｏコントローラ１７０を介して、記録媒体から読み出され、または通信Ｉ／Ｆ１４０を介してダウンロードされることによって、本装置にインストールされ実行されてもよい。
【００３２】
上述のプログラムは、内部または外部の記憶媒体に格納されてもよい。ここで、記憶媒体としては、磁気記録媒体、光磁気記録媒体、光学記録媒体、電子媒体を含むが、これらに限定されない。前記磁気記録媒体には、磁気テープ、フレキシブルディスク、ハードディスク１７４、磁気ランダムアクセスメモリ（ＭＲＡＭ）等を含み、光磁気記録媒体には光磁気ディスク（ＭＯ及びＭＤ）等を含み、光学記録媒体には追記型コンパクトディスク（ＣＤ）、追記型デジタル多目的ディスク（ＤＶＤ）、追記型ブルーレイディスク、追記型ホログラフィック・ディスク等を含み、電子媒体には電気書き込み可能読み出し専用メモリ、ランダムアクセスメモリ、フラッシュメモリ、シリコン・ストレージ・ディスク等を含む。また、専用通信回線やインターネット等の通信回線に接続されたサーバシステムに設けたハードディスク１７４または光ディスクライブラリ等の記憶装置を記録媒体として使用し、通信回線を介してプログラムを本装置に提供してもよい。
【００３３】
ここで、表示装置１２２は、本装置の管理者によるデータの入力を受け付ける画面を表示したり、演算処理結果の画面を表示したりするものであり、ブラウン管表示装置（ＣＲＴ）、液晶表示装置（ＬＣＤ）等のディスプレイ装置を含む。入力手段は、ユーザによる入力の受け付けを行うものであり、キーボード及びマウス１８０等により構成してもよい。通信Ｉ／Ｆ１４０は、本装置を専用ネットワークまたは公共ネットワークを介して端末と接続できるようにするためのネットワーク・アダプタである。通信Ｉ／Ｆ１４０は、モデム、ケーブル・モデム及びイーサネット（登録商標）・アダプタを含んでよい。
【００３４】
以上の例は、ハードウェア構成について説明したが、一般的なコンピュータに、上記の機能を実行させるプログラムをインストールして、そのコンピュータを本装置として動作させることにより実現することもできる。
【００３５】
［処理フロー］
図３は、本装置の処理フローを示したものである。まず、ステップＳ１０において、ユーザの携帯情報端末３０から指示（コマンド）またはシナリオを受信する。シナリオは携帯情報端末３０から与えてもよいが、ユーザの自宅のパーソナル・コンピュータ等から本装置に予め与えておいてもよい。このシナリオデータは、コマンドの列であってもよいが、後述の例に示すような自然言語であってもよく、ステップＳ１１において、解析され、行動パターンとして取得する。
【００３６】
次に、ステップＳ１２において、指令または行動パターンによってアバターを移動させる。指令の場合は、一の行動パターンのみが与えられたと考えてもよい。また、行動パターンとは、例えば、「１２時になったらアバターがＡ地点からＢ地点に移動する」のような単一動作及びその単一動作の集合であってもよい。アバターが移動する際、ステップＳ１３において、アバター周辺の画像を取得する。画像を取得するタイミングは一定時間毎であってもよいが、アバターの目線位置のカメラだけでなく、仮想空間内に定点カメラを複数台設置し、アバターがその位置に来た場合に、その定点カメラからの画像を取得するようにしてもよい。カメラの機能や撮影画像自体は仮想空間提供サーバ４０から得られるものとする。
【００３７】
次に、ステップＳ１４において、カメラ画像を所得する。ステップＳ１５において、その画像から動画ファイル（例えば、Ｆｌａｓｈ、ＭＰＥＧ、ＡＶＩ、ＭＯＶ形式等）を作成する。例えば、撮影された画像が、３台のカメラから撮影された画像であれば、予め定めれた編集パターン（例えば、２〜３秒毎にカメラ画像を切り替える等）によって動画を作成してもよい。また、撮影された画像全体からエッジ処理によって部分画像を切り出し、その部分画像と類似する画像を検索し、類似画像情報からその画像の特徴量を抽出するようにしてもよい。このような技術は公知であり、（例えば、特開２００６−１１４０５３参照）、このようにすることによって、画像に写った建物が、例えばショッピングモールであることが認識できる。この画像の特徴量はテキストとして送信可能なので画像そのものを送信することに比べてデータ量が大幅に減少できる。
【００３８】
もちろん、仮想空間内の建物や構造物はすべてその位置がデータで管理されているのでアバターの現在位置から、周辺画像の建造物を認識することは容易である。しかし、例えば、アバターの目線から撮影された画像を解析することによって、より詳細な画像の特徴量を得ることができる。例えば、ショッピングモール内のある店の前に立った場合、そのショーウィンドーを撮影すると陳列物が何であるのかといった情報も得ることができる。たとえ陳列物が複数であっても部分画像を抽出すれば、例えば、「洋服」や「椅子」等のオブジェクトも認識することができ、それを文字情報として「要約」することでユーザに簡潔に伝えることができる。
【００３９】
更に、ステップＳ１６では、他のアバターと遭遇したかどうかが判断される。そして、ステップＳ１７〜Ｓ１９では、他のユーザのアバターに遭遇した場合の処理を行う。ここで、「遭遇」とは、一定距離内（例えば１メートル以内）にアバターどうしが接近した場合と定義してもよいし、アバターどうしが接触した場合と定義してもよい。通常は、アバターに対して「会話する」のようなコマンドを与えて、相手が応答すれば会話が開始するが、本装置ではアバターに対して、会話を自動的に開始するようにシナリオデータで与えておくことができる。例えば、ショッピングモールの○○店に入った場合、そこの「店員」アバターに話しかけ、自動的に買い物までを済ますことができるようなシナリオ、あるいはプログラムを与えることができる。このような自動会話応答は、公知の技術を利用して行うことができるが、後述するようなチャットボットシステムを利用することで複数の会話相手に対しても同時に会話自動応答することが実現できる（ステップＳ１７）。
【００４０】
ここで、ステップＳ１８では、この会話内容をアバターの行動情報に結合する。例えば、会話の内容の記録にアバター内の行動情報（空間位置情報、時間情報等）を含ませるようにする。そして、ステップＳ１９では、このような会話内容と行動情報を結合した会話情報を送信する。送信先はユーザの端末であってもよいが、他のアバターのユーザの端末であってもよい。
【００４１】
以上のステップＳ１０〜Ｓ１９の処理をすべての行動パターン（ここでは行動パターンは、単一動作を仮定している）が終了するまで繰り返す（ステップＳ２０）。このようにして最後に、ステップＳ２１において、すべての行動パターンが終了すると、それらの行動記録とさしての動画ファイルが作成され、ユーザの携帯情報端末にメール等で送信される。ユーザはこの動画ファイルを、モバイル環境、例えば電車内で見ることによって、仮想空間内のサービスを利用することができる。すなわち、本発明の装置を使用することで、外出先からでも仮想空間のサービスを臨場間を保ちつつ連続的（シームレス）に楽しむことができる。
【００４２】
［行動パターンの具体例］
図４は、行動パターン（シナリオ）の概念的な具体例を示したものである。図４（ａ）では、行動パターン（シナリオ１）として、１２時に自宅から○○ショッピングモールに歩いて行くという行動パターンと、１４時に○○ショッピングモールからＸＸ公園に行くという行動パターンが示されている。
【００４３】
図４（ｂ）では、○○ショッピングモール内での更に詳細な行動パターンとして、他のユーザとの会話パターン（シナリオ２）が示されている。例えば、○○店では、行動としては「見るだけ」がセットされているので、店員が話しかけてきても無視するか、「見てるだけです」とかのみを応答する。一方、△△店では、行動として、「気に入ったものがあると買い物する」がセットされているので、アバター視線からのカメラ映像が頻繁に撮影され、商品の特徴の識別を行う。予め定められた気に入った条件を満たせば店員を呼ぶこともできる。店員が話しかけてきた場合は、予め想定される受け答えをするようにする。このような自動受け答えは、限られたシチュエーションでは十分可能である。例えば、インターネット上のホームページにおいて、閲覧者からの商品に対する自然言語での問い合わせに自動応答するチャットボットシステムが既に実用化されている。図４（ｃ）では、同様に、ＸＸ公園での会話パターン（シナリオ３）が示されている。
【００４４】
［会話制御部（チャットボットシステム）］
図５は、図１の会話制御部１５のより詳細な機能ブロックを示したものである。
【００４５】
会話制御部１５は、複数のチャンネルを備えた通信部２１１、応答メッセージ生成部２１２、応答メッセージキューイング部２１３、応答メッセージ提示部２１６を備える。また、バッファ制御部２１５は、質問と応答を対応させて記憶するキュー構造のバッファを制御し、記憶部２１４には、そのキューバッファとして、アクティブ・キャッシュバッファ２１７とインアクティブ・キャッシュバッファ２１８の２本を備える。ここで、通信部２１１が複数のチャンネルを備えるのは、一度に複数のユーザ（対話相手）に応答可能とするためである。また、記憶部２１４にバッファを２本備えるのは処理の高速化のためである。
【００４６】
複数のユーザが発した発話（質問）はバッファ制御部２１５によって、発話要素ごと分解されてキューイングされ、そのキューに含まれた発話要素それぞれに対して応答（回答）である応答要素が作成される。応答メッセージキューイング部２１３によって、発話要素と応答要素がアクティブ・キャッシュバッファ２１７とインアクティブ・キャッシュバッファ２１８とにキューイングされる。更に、応答メッセージ提示部２１６によって、応答要素が適切なタイミング（一定時間の間をおく等）で対話相手に自然なスピードで提示される。このようにすることで、質問者（発話者）の発言が、数行にわたるような長文の質問であっても、その長文を発話要素に分解し、発話要素毎に応答要素を作成して発話者が理解できるような自然なタイミングで提示することができる。
【００４７】
なお、上述の例では、複数のユーザと同時応答を可能とするチャットボットシステムを示したが、単一のユーザのみを想定した公知のチャットボットシステムを利用してもよい。
【００４８】
［カメラ位置決定部］
図６は、図１のカメラ位置決定部１３の概念を示した図である。図示するように、この例では３台のカメラ１００〜１０２を例示している。カメラ１００は、ユーザ（アバターＡとする）の目線位置に備えられ、カメラ１０１は、上空からの空間センシングを行うためのカメラである。また、カメラ１０２は、鳥や電柱等からの斜め俯瞰位置からの空間センシングを行うカメラである。実際には、カメラ１０１やカメラ１０２は１台である必要はなく、仮想空間上の任意の位置に設置でき、それぞれカメラのＩＤを指定することによって、撮影画像の切り替えがユーザからの指示またはシナリオによって容易に行えるようにする。また、他のユーザのアバターと会話する時など、自分の目線だけでなく相手の目線から自分を撮影する等、相手に自分がどう見えるかを知るために相手目線のカメラを備えるようにしてもよい。
【００４９】
［カメラ画像テキスト部］
図７は、図１には図示していないが、行動画像生成部１４のオプションとして使用可能な、カメラ画像テキスト部（テキストカメラ）の機能ブロックを示したものである。カメラで撮影した画像からその画像の特徴量を表すテキストを生成するのがカメラ画像テキスト部の役割である。カメラ画像テキスト部は、公知の類似画像検索技術（前述の特開２００６−１１４０５３等）を利用し、更に次の図で説明するような画像に含まれる部分画像の共起情報を用いてもよい。
【００５０】
図７は、カメラ画像テキスト部が有する機能部分、当該機能を果たす上で利用するデータベース３０９〜３１１、及びカメラ画像テキスト部への入力と出力との関係を示した全体図である。カメラ画像テキスト部は、空間画像情報の入力を受け付ける空間画像入力部３０２と、空間画像入力部３０２によって入力を受け付けた画像から部分画像を取得する部分画像取得部３０３と、部分画像取得部３０３によって取得された部分画像から特徴情報を抽出する特徴情報抽出部３０４と、特徴情報抽出部３０４によって抽出された特徴情報に基づき画像辞書ＤＢ３０９に記録された画像辞書を検索し、当該部分画像に係るアイテム候補名を取得する候補アイテム取得部３０５と、候補アイテム取得部３０５により取得されたアイテム候補名について、アイテム共起辞書ＤＢ３１０に記録されたアイテム共起辞書を参照してアイテム名を決定するアイテム決定部３０６と、アイテム決定部３０６で決定されたアイテム名に基づきタイトル／アイテム相関辞書ＤＢ３１１に記録されたタイトル／アイテム相関辞書を参照してタイトル名を決定するタイトル名決定部３０７と、それぞれ決定されたタイトル名とアイテム名を出力するタイトル名／アイテム名出力部３０８とを備える。なお、カメラ画像テキスト部には、空間画像情報３１２が２次元の画像データとして入力され、タイトル名／アイテム名情報３１３がテキストデータとして出力される。
【００５１】
候補アイテム取得部３０５は参照する画像辞書を備える。この画像辞書には、部分画像の特徴情報を記録した検索用タグと、当該特徴情報を有するアイテムのアイテム名やアイテム番号等のコンテンツが対応付けられて記録されている。特徴情報としては、例えば、アイテムの輪郭やアイテムを構成する色数等がある。画像辞書は、画像辞書ＤＢ３０９上に記録されている。
【００５２】
更に、異なるアイテム間の共起関係を表すアイテム別共起度テーブルを備え、アイテム共起辞書の一部を構成する。ここで、共起度とは、異なる２つのアイテムが同一の画像の中に出現する比率をいう。例えば、母親が画像に出現しても赤ちゃんが画像に出現するとは限らないが、赤ちゃんが出現すると母親も出現する比率が高いように、アイテム番号ｉのアイテムｉとアイテム番号ｊのアイテムｊの２つのアイテムがある場合、アイテムｉが出現したときにアイテムｊが一緒に出現する比率ｋｉ＿ｊと、アイテムｊが出現したときにアイテムｉが一緒に出現する比率ｋｊ＿ｉは本来異なるものであるが、これらが異なる場合は、いずれか大きい方に合わせてｋｉ＿ｊ＝ｋｊ＿ｉとすることもできる。そのようにすると簡便な取り扱いが可能となるからである。本実施形態においては、ｋｉ＿ｊ＝ｋｊ＿ｉとすることを前提とする。アイテム別共起度テーブルは、アイテム共起辞書ＤＢ３１０上に記録されている。
【００５３】
また、同一のアイテムが１つの画像に複数存在する場合（例えば、公園における木や花等）、同一のアイテム間の共起関係を表すアイテム別複数共起度テーブルも用意し、アイテム共起辞書の一部を構成する。あるアイテムが１つ出現した場合に同一画像内に２つ目の同一アイテムが出現する比率を第２列目、あるアイテムが２つ出現した場合に同一画像内に３つ目の同一アイテムが出現する比率を第３列目というように、１つの画像内にｎ個の同一アイテムが出現した場合に、同じ画像内に、（ｎ＋１）個目の同一アイテムが出現する比率を（ｎ＋１）列目に表示している。アイテム別複数共起度テーブルは、アイテム共起辞書ＤＢ３１０上に記録されている。
【００５４】
カメラ画像テキスト部の処理フローについて説明する。まず、２次元の空間画像の入力を受け付ける。空間画像は静止画であっても動画であってもよい。画像の入力の受け付けは、静止画像の場合は１枚の静止画像、動画像の場合はその動画像を構成する複数枚の静止画像を１単位として行う。
【００５５】
次に、取得した画像から、エッジ処理により部分画像を切り出す。静止画像であれば、１枚の画像から部分画像が切り出されるが、動画の場合は、１つの動画を構成する複数の静止画像から部分画像が切り出されることになる。そして、切り出した部分画像から特徴情報を抽出する。特徴情報としては、部分画像の輪郭や部分画像の色数等がある。このような技術は前述のように公知であり、このようにすることによって、画像に写った家具が、例えばソファーであることが認識できる。この画像の特徴量はテキストとして送信可能なので画像そのものを送信することに比べてデータ量が大幅に減少できる。
【００５６】
次に、画像辞書を参照し、すでに実用化されている類似画像検索技術に基づき、特徴情報の類似度が高い順にアイテム名とアイテム番号を取得する。その際、可能性の低い候補を排除するために、類似度が一定の基準（例えば２０パーセント）以上のものを選ぶようにしてもよい。通常、複数個の候補アイテムが選ばれる。この基準は、適宜変更して、最適なものにすればよい。類似画像検索では、検索の対象となる画像から視覚的な情報を数百次元の数値列データ（画像特徴量）で示し、データどうしの似ている度合い（類似度）を、画像特徴量ベクトル間の距離、すなわち、この画像特徴量の違いとして評価する。
【００５７】
このようにして、１つの部分画像について候補アイテムが取得されると、類似度が高い順に候補アイテムテーブルに登録し、同一画像に更に別の部分画像があれば、同様の処理を行う。そしてすべての部分画像が切り出されると次の処理に移る。
【００５８】
次に、各部分画像について取得された候補アイテムのうち、それぞれの最上位の類似度（最高類似度）を比較し、高い方から２つの候補アイテムを選ぶ。例えば、部分画像αの最高類似度は０．９２、部分画像βの最高類似度は０．８８、部分画像γの最高類似度は０．７５とすると、部分画像αと部分画像βについて、アイテム別共起度テーブルを参照しながら、アイテム名の決定を行う。
【００５９】
なお、上述のカメラ画像テキスト部の構成はあくまでも一例であり、画像から特徴量を抽出し、それを文字情報で表すことができれば、他の任意の公知技術を用いることができる。また、仮想空間上のオブジェクトは、すべてコンピュータ上のデータであるので、オブジェクトのデータ情報を更に用いることで、仮想空間上での画像の特徴量を抽出することは現実世界の画像情報を解析することよりもはるかに容易である。
【００６０】
このようにカメラ画像テキスト部は、画像データからその特徴をテキストで表すことができるので、これを必要に応じて画像データと共に送信することで、送信量を大幅に減少させることができる。このことは、モバイル端末での通信速度が、動画ファイルの受信には必ずしも十分でないことを考えれば有用である。
【００６１】
［カメラ画像］
図８は、図６で例示した３台のカメラを用いた仮想空間内の風景を撮影した画像の例を示したものである。図８（ａ）は、カメラ１００から撮影したユーザ目線の画像（または映像）である。また、図８（ｂ）は、上空真上からの画像（映像）である。図８（ｃ）は、斜め上空の鳥目線の画像（映像）である。これらの画像（映像）は必ずしも動画でなくても一定時間毎に撮影された静止画であってもよい。この複数の静止画を連続させて擬似的な動画のように見せることも可能だからである。もちろんユーザからの指示またはシナリオデータにより、送信する画像を特定のカメラの映像に選択したり、複数のカメラが撮影した画像を適時編集した編集画像を送信させるようにしてもよい。
【００６２】
［想定場面］
図９は、１つの実施例におけるユーザの利用場面のイメージの一例を示したものである。行動画像生成部１４が作成した動画ファイルを中心に、ユーザの携帯情報端末（ここでは携帯電話）に、仮想空間上でのユーザ（アバター）の記録された行動が携帯電話に表示される。このようにしてユーザは、仮想空間上で自分とは外見も年齢もまったく異なるアバターのイメージの画像を見ることができる。
【００６３】
また、動画だけでなく、ユーザの行動記録を文章でも送信するために、行動記録データのテキスト情報の部分を要約するようにしてもよい。文章を要約する技術については、ＲＳＳ（Ｒｉｃｈ  Ｓｉｔｅ  Ｓｕｍｍａｒｙ）技術等様々な公知技術を利用してもよい。このように、ユーザの行動情報を画像だけでなく、適時文字情報も送信できるので、モバイル端末の通信負荷を過剰にすることなく、ユーザの使用環境の場面場面に応じて、仮想空間サービスを自宅のパーソナル・コンピュータで使用する場合のように連続性を失うことなく利用できる。
【００６４】
以上、本発明に係る実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
【図面の簡単な説明】
【００６５】
【図１】本発明の好適な実施形態の一例に係る仮想空間放送装置１０の機能の概略を示す図である。
【図２】仮想空間放送装置１０のハードウェア構成を示す図である。
【図３】仮想空間放送送置１０の処理フローを示す図である。
【図４】行動パターン（シナリオ）の概念的な具体例を示す図である。
【図５】会話制御部１５のより詳細な機能ブロックを示す図である。
【図６】カメラ位置決定部１３の概念を示す図である。
【図７】オプションのカメラ画像テキスト部の機能ブロックを示す図である。
【図８】３台のカメラを用いた仮想空間内の風景を撮影した画像の例を示す図である。
【図９】ユーザの利用場面のイメージの一例を示す図である。
【符号の説明】
【００６６】
１０  仮想空間放送装置
１１  ユーザ指示受信部
１２  アバター自動移動制御部
１３  カメラ位置決定部
１４  行動画像生成部
１５  会話制御部
１６  会話行動情報結合部
１７  会話行動情報送信部
１８  放送配信部
２１  シナリオデータ
２２  画像データ
３０  携帯情報端末
４０  仮想空間提供サーバ
５０  他ユーザ端末
６０  ブログサーバ
２１１  通信部
２１２  応答メッセージ生成部
２１３  応答メッセージキューイング部
２１４  記憶部
２１５  バッファ制御部
２１６  応答メッセージ提示部
２１７  アクティブ・キャッシュバッファ
２１８  インアクティブ・キャッシュバッファ
３０２  空間画像入力部
３０３  部分画像取得部
３０４  特徴情報抽出部
３０５  候補アイテム取得部
３０６  アイテム決定部
３０７  タイトル名決定部
３０８  タイトル名／アイテム名出力部
３０９  画像辞書ＤＢ
３１０  アイテム共起辞書ＤＢ
３１１  タイトル／アイテム相関辞書ＤＢ
３１２  空間画像情報
３１３  タイトル名／アイテム名情報
【図１】
0004625058.tif 000002
【図２】
0004625058.tif 000003
【図３】
0004625058.tif 000004
【図４】
0004625058.tif 000005
【図５】
0004625058.tif 000006
【図６】
0004625058.tif 000007
【図７】
0004625058.tif 000008
【図８】
0004625058.tif 000009
【図９】
0004625058.tif 000010