(57)【要約】      （修正有）【課題】３次元仮想データを用いて、映像情報の視線方向を自由に変更できるコンテンツを提供する。【解決手段】情報配信装置は、位置センサ３０から、現実空間における動的物体の３次元位置情報を取得する位置取得手段１１Ａと、現実空間における動的物体が発する音声を音声情報として取得する音声取得手段１１Ｂと、３次元位置情報に応じて、仮想空間に配置された３次元部屋モデル内に動的物体を模擬した３次元物体モデルを配置して３次元仮想データを生成し、音声情報と共に記憶部１２に記憶させる仮想データ生成手段１１Ｃと、記憶部１２から読み出された３次元仮想データを所定の投影方向により投影処理することで仮想画像データを映像情報として生成する映像生成手段１１Ｄと、映像情報及び音声情報を配信する配信手段１１Ｅと、を有する。映像生成手段１１Ｄは、要求された映像情報の視線方向の変更に従って、投影処理における所定の投影方向を変更する。【選択図】図３
2019040328.tif 000002
【特許請求の範囲】
【請求項１】
位置センサから、現実空間における動的物体の位置を３次元位置情報として取得する位置取得手段と、
集音装置から、現実空間における前記動的物体が発する音声を音声情報として取得する音声取得手段と、
前記３次元位置情報に応じて、仮想空間に配置された３次元部屋モデル内に前記動的物体を模擬した３次元物体モデルを配置して３次元仮想データを生成し、前記音声情報と共に記憶部に記憶させる仮想データ生成手段と、
前記記憶部から読み出された前記３次元仮想データを所定の投影方向により投影処理することで仮想画像データを映像情報として生成する映像生成手段と、
前記映像情報及び前記音声情報を配信する配信手段と、
を有し、
前記映像生成手段は、要求された映像情報の視線方向の変更に従って、前記投影処理における前記所定の投影方向を変更する、
ことを特徴とする情報配信装置。
【請求項２】
前記位置取得手段は、前記動的物体の前記３次元位置情報として、前記現実空間における人間の３次元位置情報を取得し、
前記仮想データ生成手段は、前記３次元位置情報に応じて、前記３次元物体モデルとしての３次元人間モデルを配置することで、複数時刻の前記３次元仮想データを生成する、
ことを特徴とする請求項１に記載の情報配信装置。
【請求項３】
前記映像生成手段は、前記音声情報の音声をテキストに変換し、前記映像情報に前記テキストが結合された結合映像情報を生成し、
前記配信手段は、前記映像情報及び前記音声情報として、前記結合映像情報を配信する、
ことを特徴とする請求項１又は２に記載の情報配信装置。
【請求項４】
ネットワークを介して相互に通信可能なように接続された情報配信装置及び情報再生装置を備えた情報配信システムであって、
位置センサから、現実空間における動的物体の位置を３次元位置情報として取得する位置取得手段と、
集音装置から、現実空間における前記動的物体が発する音声を音声情報として取得する音声取得手段と、
前記３次元位置情報に応じて、仮想空間に配置された３次元部屋モデル内に前記動的物体を模擬した３次元物体モデルを配置して３次元仮想データを生成し、前記音声情報と共に記憶部に記憶させる仮想データ生成手段と、
前記記憶部から読み出された前記３次元仮想データを所定の投影方向により投影処理することで仮想画像データを映像情報として生成する映像生成手段と、
前記映像情報及び前記音声情報を再生する再生制御手段と、
を有し、
前記映像生成手段は、要求された映像情報の視線方向の変更に従って、前記投影処理における前記所定の投影方向を変更する、
ことを特徴とする情報配信システム。
【請求項５】
前記現実空間に固定されたセンサ、又は、前記現実空間における前記動的物体に付帯された前記位置センサを更に有する、
ことを特徴とする請求項４に記載の情報配信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想空間における複数時刻の３次元仮想データを生成し、任意の投影方向により投影処理した複数時刻の仮想画像データを映像情報として生成して配信する情報配信装置及び情報配信システムに関する。
【背景技術】
【０００２】
近年、コンピュータ等の端末装置である情報再生装置を通じて提供される学習教材（例えば、コンテンツ）を用いて、受講者が学習できるようにした学習システムが注目されている。ネットワークを介して受講者の情報再生装置にコンテンツを提供する形態は、例えば、「ｅラーニング」等と呼ばれる。このような学習システムでは、対面形式でリアルタイムに実施する授業形態や、郵送によって行われていた従来の通信教育よりも手軽に学習が実施できるため、学習システムの受講者数が増加している。
【０００３】
ｅラーニングのコンテンツは、一般的に、現実空間を録画及び録音することで生成されるマルチメディア形態のものが多い。現実空間の映像は、講義中に、カメラにより講師、黒板（又はホワイトボード）、及びＰＣ画面を録画することで生成される。学習者及び講師等の映像の利用者は、講義終了後に、情報再生装置の画面の指示に従って操作を行うことで所望の映像を選択して、それを再生することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−２４３９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のシステムにより利用者が情報再生装置により映像を再生する場合、再生中の映像情報の視線方向を変更することができない。そのため、利用者は、講義の受講者の反応や、講義が行われた会議室及び教室等の部屋全体の様子等を視認することができない。映像の再生中に利用者が映像情報の視線方向を変更可能な構成とするためには、録画のためのカメラの台数を増やしたり、カメラマンを配置したりして複数の方向から録画を行う必要がある。しかしその場合、録画のためのコストが増大すると共に、映像の再生中に映像情報の視線方向を自由に変更することはできない。
【０００６】
また、受講者をグループに分けたグループワークや、発言者が頻繁に変わるディスカッション型の講義や、受講者が部屋内で動き回るようなアクティブラーニング型の講義を録画する場合もある。その場合、多数の受講者の全てを録画するために、録画のためのカメラの台数を増やしたりカメラマンを配置したりすることは困難である。
【０００７】
本発明は、上述した事情を考慮してなされたもので、カメラの台数の増加やカメラマンの配置を要することなく、仮想空間における３次元仮想データを用いて、映像情報の視線方向を自由に変更できるコンテンツを提供できる情報配信装置及び情報配信システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る情報配信装置は、位置センサから、現実空間における動的物体の位置を３次元位置情報として取得する位置取得手段と、集音装置から、現実空間における前記動的物体が発する音声を音声情報として取得する音声取得手段と、前記３次元位置情報に応じて、仮想空間に配置された３次元部屋モデル内に前記動的物体を模擬した３次元物体モデルを配置して３次元仮想データを生成し、前記音声情報と共に記憶部に記憶させる仮想データ生成手段と、前記記憶部から読み出された前記３次元仮想データを所定の投影方向により投影処理することで仮想画像データを映像情報として生成する映像生成手段と、前記映像情報及び前記音声情報を配信する配信手段と、を有する。前記映像生成手段は、要求された映像情報の視線方向の変更に従って、前記投影処理における前記所定の投影方向を変更する。
【発明の効果】
【０００９】
本発明に係る情報配信装置及び情報配信システムによれば、カメラの台数の増加やカメラマンの配置を要することなく、仮想空間における３次元仮想データを用いて、映像情報の視線方向を自由に変更できるコンテンツを提供できる。
【図面の簡単な説明】
【００１０】
【図１】情報配信システムの一構成例を示す概略図。
【図２】（Ａ）は、３次元部屋モデルの一例を示す図であり、（Ｂ）は、３次元人間モデルの一例を示す図。
【図３】情報配信システムの機能を示すブロック図。
【図４】情報配信システムによる複数時刻の３次元仮想データの生成動作をフローチャートとして示す図。
【図５】（Ａ）は、第１時刻の現実空間における部屋内の様子を示す図であり、（Ｂ）は、第２時刻の現実空間における部屋内の様子を示す図であり、（Ｃ）は、（Ａ）に示す部屋に居る人間の３次元位置情報を示す図であり、（Ｄ）は、（Ｂ）に示す部屋に居る人間の３次元位置情報を示す図であり、（Ｅ）は、（Ｃ）に示す部屋に居る人間の３次元位置情報に基づく３次元仮想データを示す図であり、（Ｆ）は、（Ｄ）に示す部屋に居る人間の３次元位置情報に基づく３次元仮想データを示す図。
【図６】情報配信システムによる映像情報の生成及び配信動作をフローチャートとして示す図。
【図７】（Ａ）は、図５（Ｆ）の第２時刻における変更後の投影方向の第１例を示す図であり、（Ｂ）は、（Ａ）に示す変更後の投影方向に基づく第２時刻の仮想画像データの表示例を示す図。
【図８】（Ａ）は、図５（Ｆ）の第２時刻における変更後の投影方向の第２例を示す図であり、（Ｂ）は、（Ａ）に示す変更後の投影方向に基づく第２時刻の仮想画像データの表示例を示す図。
【発明を実施するための形態】
【００１１】
本発明に係る実施の形態について、添付図面を参照して説明する。
【００１２】
図１は、実施形態に係る情報配信システムの一構成例を示す概略図である。
【００１３】
図１は、実施形態に係る情報配信システム１を示す。情報配信システム１は、情報配信装置１０、情報再生装置２０、位置センサ３０、及び集音装置４０を備える。情報配信装置１０及び情報再生装置２０は、有線又は無線ＬＡＮ（Local Area Network）等のネットワークＮを介して相互に通信可能なように接続される。情報配信装置１０としては、例えば、固定型のＰＣ等の情報端末が挙げられる。情報再生装置２０としては、例えば、固定型のＰＣ等の情報端末や、スマートフォン及びタブレット端末等の情報端末が挙げられる。
【００１４】
情報配信装置１０は、制御部１１、記憶部１２、入力部１３、表示部１４、及び通信部１５を備える。制御部１１は、共通信号伝送路としてのバスを介して、情報配信装置１０を構成する各ハードウェア構成要素に相互接続される。制御部１１は、専用のハードウェアで構成されても良いし、内蔵のプロセッサによるソフトウェア処理で各種機能を実現するように構成しても良い。
【００１５】
なお、上記説明におけるプロセッサとは、専用又は汎用のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）を含む。また、専用のハードウェアとは、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）、プログラマブル論理デバイス、及び、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Field Programmable Gate Array）等の回路を含む。上記プログラマブル論理デバイスとしては、例えば、単純プログラマブル論理デバイス（ＳＰＬＤ：Simple Programmable Logic Device）、複合プログラマブル論理デバイス（ＣＰＬＤ：Complex Programmable Logic Device）等が挙げられる。
【００１６】
ここでは一例として、プロセッサによるソフトウェア処理によって制御部１１が各種機能を実現する場合について説明する。制御部１１は、記憶部１２に記憶されたプログラム、又は、制御部１１のプロセッサ内に直接組み込まれたプログラムを読み出し実行することで、図３に示す手段１１Ａ〜１１Ｅを実現する。
【００１７】
なお、制御部１１は、単一のプロセッサによって構成されても良いし、複数の独立したプロセッサの組み合わせによって構成されても良い。後者の場合、複数のプロセッサにそれぞれ対応する複数の記憶部１２が設けられると共に、各プロセッサにより実行されるプログラムが当該プロセッサに対応する記憶回路に記憶される構成でも良い。別の例としては、１個の記憶部１２が複数のプロセッサの各機能に対応するプログラムを一括的に記憶する構成でも良い。
【００１８】
記憶部１２は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、ハードディスク、光ディスク等によって構成される。記憶部１２は、ＵＳＢ（Universal Serial Bus）メモリ及びＤＶＤ（Digital Video Disk）等の可搬型メディアを脱着自在な回路して構成されても良い。記憶部１２は、制御部１１において実行される各種プログラム（アプリケーションプログラムの他、ＯＳ（Operating System）等も含まれる）、プログラムの実行に必要な文字情報、及び画像データを記憶する。また、記憶部１２には、ＯＳを制御するための各種コマンドや、タッチパネル１３からの入力を支援するＧＵＩ（Graphical User Interface）のプログラムを記憶する。
【００１９】
また、記憶部１２は、会議室、研修室、及び教室等の部屋、黒板、ホワイトボード、及びロッカーの他、固定された机や椅子等の静的物体を模擬した３次元モデルと、部屋に居る生徒や研修者等の人間の他、移動可能な机や椅子等の動的物体を模擬した３次元モデルとを記憶する。以下、記憶部１２が、静的物体としての部屋を模擬した３次元物体モデルと、動的物体としての人間を模擬した３次元人間モデルとを記憶する場合について説明するが、その場合に限定されるものではない。
【００２０】
図２（Ａ）は、３次元部屋モデルの一例を示す図である。図２（Ｂ）は、３次元人間モデルの一例を示す図である。
【００２１】
図２（Ａ）は、記憶部１２に予め記憶される、静的物体の３次元モデルとしての３次元部屋モデルＭを示す。なお、形状、サイズ、及び色彩等が異なる複数種類の３次元部屋モデルを記憶部１２に予め記憶させておき、使用時に複数種類の３次元部屋モデルから任意の３次元部屋モデルＭを選択できるようにしても良い。
【００２２】
また、図２（Ｂ）は、記憶部１２に予め記憶される、動的物体の３次元モデルとしての３次元人間モデル（アバター）Ｎを示す。なお、形状、サイズ、及び色彩等が異なる複数種類の３次元人間モデルを記憶部１２に予め記憶させておき、使用時に複数種類の３次元人間モデルから任意の３次元人間モデルＮを選択できるようにしても良い。
【００２３】
図１の説明に戻って、入力部１３は、操作者によって操作が可能なポインティングデバイス等の入力デバイスからの信号を入力するデバイスである。操作者により入力部１３が操作されると、入力部１３はその操作に応じた入力信号を生成して制御部１１に出力する。
【００２４】
表示部１４は、液晶ディスプレイパネル、プラズマディスプレイパネル、及び有機ＥＬ（Electro Luminescence）パネル等の表示デバイスである。表示部１４は、制御部１１の制御に従って画像データを表示する。
【００２５】
通信部１５は、ネットワークＮ上の外部装置と無線で（又は有線で）情報の送受信を行う。例えば、通信部１５は、情報配信装置１０によって生成されたＭＰ４等のファイル形式のデータを情報再生装置２０に送信したりして、情報再生装置２０等の外部装置と通信動作を行う。
【００２６】
情報再生装置２０は、制御部２１、記憶部２２、入力部２３、表示部２４、及び通信部２５を有する。制御部２１は、共通信号伝送路としてのバスを介して、情報再生装置２０を構成する各ハードウェア構成要素に相互接続される。
【００２７】
情報再生装置２０の制御部２１、記憶部２２、入力部２３、表示部２４、及び通信部２５の構成は、情報配信装置１０の制御部１１、記憶部１２、入力部１３、表示部１４、及び通信部１５の構成と同等であるので説明を省略する。
【００２８】
位置センサ３０は、現実空間の部屋内に居る人間の３次元位置情報（Ｘ，Ｙ，Ｚ）を収集して、有線又は無線により情報配信装置１０に送信する機器である。例えば、位置センサ３０としては、例えば、現実空間に固定されるｋｉｎｅｃｔ（登録商標）が用いられる。ｋｉｎｅｃｔは、ＲＧＢカメラ、深度センサ、マルチアレイマイクロフォン、及び専用ソフトウェアを動作させるプロセッサを内蔵したセンサであり、現実空間の部屋内に居る人間の３次元位置情報の他、人間の動き、声、及び顔等を認識することもできる。なお、現実空間の部屋内に居る人間にビーコンセンサを付帯させ、ビーコンセンサの位置情報を人間の３次元位置情報として収集する技術や、ＧＰＳ（Global Positioning System）により人間の３次元位置情報を収集する技術も採用できる。また、３次元位置情報のうち高さ情報、つまり、Ｚ軸座標の収集は必須ではない。
【００２９】
集音装置４０は、動的物体である人間に付帯される。複数の人間を対象とする場合、複数の人間にそれぞれ複数の集音装置４１，４２，４３，…が付帯される。集音装置４０は、マイクにより入力された音声の波形を電気の信号に変換し、音声をデジタル変換して有線又は無線により情報配信装置１０に送信する機器である。
【００３０】
情報再生装置２０は、制御部２１、記憶部２２、入力部２３、表示部２４、及び通信部２５を備える。制御部２１は、共通信号伝送路としてのバスを介して、情報再生装置２０を構成する各ハードウェア構成要素に相互接続される。制御部２１は、専用のハードウェアで構成されても良いし、内蔵のプロセッサによるソフトウェア処理で各種機能を実現するように構成しても良い。
【００３１】
制御部２１は、情報配信装置１０の制御部１１と同様の構成を有する。制御部２１は、記憶部２２に記憶されたプログラム、又は、制御部２１のプロセッサ内に直接組み込まれたプログラムを読み出し実行することで、図３に示す手段２１Ａ，２１Ｂを実現する。
【００３２】
記憶部２２、入力部２３、表示部２４、及び通信部２５は、情報配信装置１０の記憶部１２、入力部１３、表示部１４、及び通信部１５と同様の構成を有する。
【００３３】
図３は、情報配信システム１の機能を示すブロック図である。
【００３４】
情報配信システム１の情報配信装置１０の制御部１１がプログラムを実行することによって、情報配信装置１０は、位置取得手段１１Ａ、音声取得手段１１Ｂ、仮想データ生成手段１１Ｃ、映像生成手段１１Ｄ、及び配信手段１１Ｅとして機能する。なお、手段１１Ａ〜１１Ｅの全部又は一部は、情報配信装置１０にＡＳＩＣ等のハードウェアとして備えられるものであっても良い。
【００３５】
位置取得手段１１Ａは、位置センサ３０から、現実空間における動的物体の位置を３次元位置情報として取得する機能を有する。現実空間における動的物体は、例えば、部屋に居る人間、机、椅子等を意味する。
【００３６】
音声取得手段１１Ｂは、集音装置４０から、現実空間における動的物体が発する音声を音声情報として取得する機能を有する。
【００３７】
仮想データ生成手段１１Ｃは、位置取得手段１１Ａによって取得された３次元位置情報に応じて、仮想空間に配置された３次元部屋モデル（図２（Ａ）に図示）内に３次元物体モデル（図２（Ｂ）に図示）を配置して３次元仮想データを生成する機能を有する。また、仮想データ生成手段１１Ｃは、３次元仮想データを、音声取得手段１１Ｂによって取得された音声情報と共に記憶部１２に記憶させる機能を有する。ここで、仮想データ生成手段１１Ｃは、１時刻に対応する３次元仮想データ（後述する映像情報を１フレームの画像データとする場合）を生成して音声情報と共に記憶部１２に記憶させても良いし、複数時刻に対応する３次元仮想データ（後述する映像情報を複数フレームの動画像データとする場合）を生成して音声情報と共に記憶部１２に記憶させても良い。以下、特に言及しない限り、仮想データ生成手段１１Ｃが、複数時刻に対応する３次元仮想データを生成する場合について説明する。
【００３８】
映像生成手段１１Ｄは、情報再生装置２０からの特定のコンテンツの再生要求に従って、記憶部２２から複数時刻の３次元仮想データ及び音声情報を読み出す機能を有する。また、映像生成手段１１Ｄは、複数時刻の３次元仮想データをそれぞれ所定の投影方向により投影処理することで、複数時刻の仮想画像データを映像情報として生成する機能を有する。また、映像生成手段１１Ｄは、情報再生装置２０から要求された映像情報の視線方向の変更に従って、投影処理における所定の投影方向を変更する機能を有する。
【００３９】
配信手段１１Ｅは、映像生成手段１１Ｄによって生成された映像情報及び音声情報を配信する機能を有する。映像情報は、複数時刻の仮想画像データを含む場合の他、１時刻の仮想画像データのみを含む場合もある。
【００４０】
なお、制御部１１が有する手段１１Ａ〜１１Ｅの詳細については後述する。
【００４１】
また、情報配信システム１の情報再生装置２０の制御部２１がプログラムを実行することによって、情報再生装置２０は、要求手段２１Ａ及び再生制御手段２１Ｂとして機能する。なお、手段２１Ａ，２１Ｂの全部又は一部は、情報再生装置２０にＡＳＩＣ等のハードウェアとして備えられるものであっても良い。
【００４２】
要求手段２１Ａは、情報配信装置１０に対して特定のコンテンツの再生を要求する機能を有する。また、要求手段２１Ａは、特定のコンテンツに対応する映像情報及び音声情報の再生中に、情報配信装置１０に対して、映像情報の視線方向の変更、つまり、投影処理における投影方向の変更を要求する機能を有する。
【００４３】
再生制御手段２１Ｂは、要求手段２１Ａによって要求され情報配信装置１０から配信された映像情報を、表示部２４を介して再生し、配信された音声情報を、スピーカ（図示省略）を介して再生する機能を有する。
【００４４】
なお、制御部２１が有する手段２１Ａ，２１Ｂの詳細については後述する。
【００４５】
図４は、情報配信システム１による複数時刻の３次元仮想データの生成動作をフローチャートとして示す図である。
【００４６】
情報配信装置１０の位置取得手段１１Ａは、位置センサ３０から、現実空間における動的物体の３次元位置情報の取得を開始すると共に、音声取得手段１１Ｂは、集音装置４０から、現実空間における動的物体が発する音声情報を取得する（ステップＳＴ１）。
【００４７】
仮想データ生成手段１１Ｃは、記憶部１２に予め記憶された３次元部屋モデル（図２（Ａ）に図示）及び３次元人間モデル（図２（Ｂ）に図示）を読み出す（ステップＳＴ２）。仮想データ生成手段１１Ｃは、ステップＳＴ１によって取得された３次元位置情報に応じて、仮想空間に配置された３次元部屋モデル内に３次元物体モデルを配置して複数時刻の３次元仮想データを生成する（ステップＳＴ３）。
【００４８】
ここで、ステップＳＴ３による複数時刻の３次元仮想データの生成方法について、図５（Ａ）〜（Ｆ）を用いて説明する。
【００４９】
図５（Ａ）は、第１時刻の現実空間における部屋内の様子を示す図である。図５（Ｂ）は、第２時刻の現実空間における部屋内の様子を示す図である。図５（Ａ），（Ｂ）に示すように、異なる時刻では、現実空間（ＸＹＺ空間）において部屋内に居る人間は異なる位置に居る。なお、異なる時刻であっても、現実空間において部屋内に居る人間は同位置に居ることも有り得ることは言うまでもない。
【００５０】
図５（Ｃ）は、図５（Ａ）に示す部屋に居る人間の３次元位置情報を示す図である。図５（Ｄ）は、図５（Ｂ）に示す部屋に居る人間の３次元位置情報を示す図である。図５（Ｃ）に示すように、左側の人間について第１時刻における３次元位置情報Ｐ［１］が取得され、右側の人間について第１時刻における３次元位置情報Ｑ［１］が取得される。また、図５（Ｄ）に示すように、左側の人間（図５（Ｃ）の左側の人間と同一人）について第２時刻における３次元位置情報Ｐ［２］が取得され、右側の人間（図５（Ｃ）の右側の人間と同一人）について第２時刻における３次元位置情報Ｑ［２］が取得される。図５（Ｃ），（Ｄ）に示すように、異なる時刻では、現実空間（ＸＹＺ空間）において部屋内に居る同一人から異なる３次元位置情報が得られる。なお、３次元位置情報には、部屋内に居る人間の向きを示す向き情報を含んでも良い。向き情報は、位置センサ３０としてのｋｉｎｅｃｔによって収集される顔の向きから求められ得る。
【００５１】
図５（Ｅ）は、図５（Ｃ）に示す部屋に居る人間の３次元位置情報Ｐ［１］，Ｑ［１］に基づく３次元仮想データを示す図である。図５（Ｆ）は、図５（Ｄ）に示す部屋に居る人間の３次元位置情報Ｐ［２］，Ｑ［２］に基づく３次元仮想データを示す図である。
【００５２】
図５（Ｅ），（Ｆ）に示すように、仮想空間（ｘｙｚ空間）に、３次元位置情報に応じて、人間の数に応じた数だけ３次元人間モデルＮが配置される。図５（Ｅ），（Ｆ）に示すように、異なる時刻では、仮想空間（ｘｙｚ空間）の３次元部屋モデルＭ内の異なる位置に、２個の３次元人間モデルＮが配置される。
【００５３】
図４の説明に戻って、仮想データ生成手段１１Ｃは、ステップＳＴ３によって生成された複数時刻の３次元仮想データを、ステップＳＴ１によって取得された音声情報と共に記憶部１２に記憶させる（ステップＳＴ４）。
【００５４】
以上のように、情報配信システム１が図４に示すフローチャートに従って動作することで、仮想空間における３次元人間モデルの動きを表現した複数時刻の３次元仮想データを生成して音声情報と共に情報配信装置１０の記憶部２１に記憶することができる。続いて、情報配信システム１による映像情報（複数時刻の仮想画像データ）の生成及び配信動作について説明する。
【００５５】
図６は、情報配信システム１による映像情報の生成及び配信動作をフローチャートとして示す図である。
【００５６】
情報再生装置２０の要求手段２１Ａは、入力部２３からの入力信号に従って特定のコンテンツを指定し、情報配信装置１０に対して特定のコンテンツの再生要求を行う（ステップＳＴ１１）。
【００５７】
情報配信装置１０の映像生成手段１１Ｄは、ステップＳＴ１１の要求に従った特定のコンテンツに対応する複数時刻の３次元仮想データ及び音声情報を記憶部１２から読み出す（ステップＳＴ１２）。映像生成手段１１Ｄは、ステップＳＴ１２によって読み出された複数時刻の３次元仮想データのうち、第１時刻の３次元仮想データ（図５（Ｅ）に図示）を、初期の投影方向により投影処理することで第１時刻の仮想画像データを生成する（ステップＳＴ１３）。配信手段１１Ｅは、ステップＳＴ１３によって生成された第１時刻の仮想画像データを情報再生装置２０に配信する（ステップＳＴ１４）。情報再生装置２０の再生制御手段２１Ｂは、表示部２４を介して、ステップＳＴ１４によって配信された第１時刻の仮想画像データを再生する（ステップＳＴ１５）。ステップＳＴ１５では、映像情報の視線方向の変更、つまり、投影処理における投影方向の変更があるまで、初期の投影方向に基づいて生成された映像情報が再生される。
【００５８】
情報再生装置２０の要求手段２１Ａは、ステップＳＴ１５による映像情報の再生中に、情報配信装置１０に対して、再生中の映像情報にいて視線方向の変更要求を行う（ステップＳＴ１６）。ステップＳＴ１６によって要求される映像情報の視線方向は、映像上で選択される方向、映像上で選択される注目点を含む方向等により決定される。また、情報再生装置２０が、タッチパネルを備えたマートフォン及びタブレット端末等の情報端末の場合、利用者によりタッチパネル上の映像情報の表示領域がフリック操作（又はスライド操作）されることで、映像情報の視線方向の変更要求が実現され、また、ピンチアウト／ピンチイン操作されることで、映像の視点（又は、画角、視野角）の変更要求、つまり、映像の拡大／縮小の要求が実現される。
【００５９】
情報配信装置１０の映像生成手段１１Ｄは、ステップＳＴ１６による要求以降の第２時刻の３次元仮想データ（図５（Ｆ）に図示）を、ステップＳＴ１６によって要求された視線方向に対応する投影方向により投影処理することで、第２時刻の仮想画像データを生成する（ステップＳＴ１７）。例えば、映像生成手段１１Ｄは、第２時刻の３次元仮想データ（図５（Ｆ）に図示）を、要求された視線方向に対応する投影方向である図８（Ａ）に示す投影方向Ａ´、又は、図８（Ａ）に示す投影方向Ａ´により投影処理する。
【００６０】
配信手段１１Ｅは、ステップＳＴ１７によって生成された第２時刻の仮想画像データを情報再生装置２０に配信する（ステップＳＴ１８）。情報再生装置２０の再生制御手段２１Ｂは、表示部２４を介して、ステップＳＴ１８によって配信された第２時刻の仮想画像データを再生する（ステップＳＴ１９）。ステップＳＴ１９では、映像情報の視線方向の再度の変更、つまり、投影処理における投影方向の再度の変更があるまで、ステップＳＴ１６によって要求された視線方向に対応する投影方向に基づいて生成された映像情報が再生される。
【００６１】
ここで、ステップＳＴ１６により要求される２種類の視線方向に対応する２種類の投影方向と、ステップＳＴＳＴ１９によって再生される仮想画像データについて、図７及び図８を用いて説明する。
【００６２】
図７（Ａ）は、図５（Ｆ）の第２時刻における変更後の投影方向の第１例を示す図である。図７（Ｂ）は、図７（Ａ）に示す変更後の投影方向に基づく第２時刻の仮想画像データの表示例を示す図である。
【００６３】
ステップＳＴ１５による図７（Ａ）に示す再生画面上で、要求手段２１Ａは、入力部２３を介した操作により視線方向（即ち投影方向）Ａを指定する。なお、視点は任意に決められれば良いが、視線方向Ａと共に視点Ｖが指定されても良い。図７（Ａ）に示す視点Ｖ及び視線方向Ａは、部屋を俯瞰した景色を映像として表示する場合に対応する。その場合、映像生成手段１１Ｄは、視点Ｖ及び視線方向Ａに応じて投影処理（例えば、透視投影）することで、映像情報を構成する第２時刻の仮想画像データを生成して情報再生装置２０に配信する。なお、投影処理は、視点を定めない平行投影でも構わない。
【００６４】
図８（Ａ）は、図５（Ｆ）の第２時刻における変更後の投影方向の第２例を示す図である。図８（Ｂ）は、図８（Ａ）に示す変更後の投影方向に基づく第２時刻の仮想画像データの表示例を示す図である。
【００６５】
ステップＳＴ１５による図８（Ａ）に示す再生画面上で、要求手段２１Ａは、入力部２３を介した操作により視線方向（即ち投影方向）Ａ´を指定する。なお、視点は任意に決められれば良いが、視線方向Ａ´と共に視点Ｖ´が指定されても良い。図８（Ａ）に示す視点Ｖ´及び視線方向Ａ´は、ある人間から見た景色を映像として表示する場合に対応する。その場合、映像生成手段１１Ｄは、視点Ｖ´及び視線方向Ａ´に応じて投影処理することで、映像情報を構成する第２時刻の仮想画像データを生成して情報再生装置２０に配信する。なお、投影処理は、視点を定めない平行投影でも構わない。
【００６６】
なお、映像生成手段１１Ｄは、音声情報の音声をテキストに変換し、テキストが結合された結合映像情報を生成しても良い。その場合、配信手段１１Ｅは、映像情報及び音声情報として結合映像情報を配信することで、情報再生装置２０の表示部２４には、図８（Ｂ）に示すように、モデルＭの側にテキスト「こんにちは」が表示される。マイク等の集音装置４１は第１の人間に付帯され、集音装置４２に第２の人間に付帯されるので、集音装置４１が取得した音声に基づくテキストを第１の人間に対応する３次元人間モデルＮの側に配置し、集音装置４２が取得した音声に基づくテキストを第２の人間に対応する３次元人間モデルＮの側に配置することができる。
【００６７】
また、情報配信システム１の変形例として、情報配信システム１が他の情報を取得可能な各種センサを追加的に備え、現実空間の部屋内に居る人間の視線、姿勢、及び手の動きや、生体情報から推定される感情及び活動量や、移動速度等を取得可能に構成しても良い。それにより、表示部２４で再生される３次元人間モデルの動きをより現実の状況に近づけて再現することができる。また、部屋全体が映るように設置したカメラの映像を利用して、部屋内に居る人間の追尾や表情の認識を行うこともできる。
【００６８】
以上説明したように、情報配信装置１０及び情報配信システム１によれば、カメラの台数の増加やカメラマンの配置を要することなく、仮想空間における３次元仮想データを用いて、映像情報の視線方向を自由に変更できるコンテンツを提供できる。情報配信装置１０及び情報配信システム１によれば、現実空間の部屋内で実施された講義の状況を、カメラによって録画された映像を使うことなく、仮想空間内のＣＧ（Computer Graphics）により再現させることで、コンテンツの利用者は、部屋全体の雰囲気を体感しながら、振り返りに利用することができる。また、情報配信装置１０及び情報配信システム１によれば、従来の講義収録システムでは困難であった席を移動してのグループワークや、アクティブラーニング型の講義でも、映像情報の視線方向や着目位置を任意に代えながら部屋全体を把握することができる。
【００６９】
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行なうことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００７０】
例えば、図３に示す情報配信装置１０の一部機能は、情報再生装置２０に備えられても良い。例えば、情報配信装置１０の映像生成手段１１Ｄの一部機能である読み出し部（図示省略）は情報配信装置１０に備えられる一方、映像生成手段１１Ｄの一部機能である映像生成部（図示省略）は情報再生装置２０に備えられる。その場合、情報配信装置１０の読み出し部は、情報再生装置２０からの特定のコンテンツの再生要求に従って、記憶部２２から複数時刻の３次元仮想データ及び音声情報を読み出し、配信手段１１Ｅは、読み出し部によって読み出された複数時刻の３次元仮想データ及び音声情報を情報再生装置２０に配信する。
【００７１】
そして、情報再生装置２０の映像生成部は、情報配信装置１０から配信された複数時刻の３次元仮想データをそれぞれ所定の投影方向により投影処理することで、複数時刻の仮想画像データを映像情報として生成する。再生制御手段２１Ｂは、情報再生装置２０の映像生成部によって生成された映像情報を、表示部２４を介して再生し、配信された音声情報を、スピーカ（図示省略）を介して再生する。また、情報再生装置２０の映像生成部は、要求手段２１Ａから要求された映像情報の視線方向の変更に従って、投影処理における所定の投影方向を変更することもできる。
【符号の説明】
【００７２】
１…情報配信システム
１０…情報配信装置
１１…制御部
１１Ａ…位置取得手段
１１Ｂ…音声取得手段
１１Ｃ…仮想データ生成手段
１１Ｄ…映像生成手段
１１Ｅ…配信手段
２０…情報再生装置
２１…制御部
２１Ａ…要求手段
２１Ｂ…再生制御手段
【図１】
2019040328.tif 000003
【図２】
2019040328.tif 000004
【図３】
2019040328.tif 000005
【図４】
2019040328.tif 000006
【図５】
2019040328.tif 000007
【図６】
2019040328.tif 000008
【図７】
2019040328.tif 000009
【図８】
2019040328.tif 000010