(57)【特許請求の範囲】
【請求項１】
第１端末と第２端末との接続を管理する接続管理装置と、
前記接続管理装置により接続が管理された前記第１端末及び前記第２端末の少なくとも一方に対して、双方で撮影された映像を合成した合成動画データを送信するＡＲ（Augmented Reality）動画生成装置とを有し、
前記接続管理装置は、
前記第１端末と前記第２端末とを接続する通信回線に関する回線情報を前記ＡＲ動画生成装置に供給し、
前記ＡＲ動画生成装置は、
前記第１端末及び前記第２端末の一方から、所定のオブジェクトを含む被写体を撮影した第１動画データであって、当該被写体の画素毎の距離情報を含んだ第１動画データを受信する第１受信部と、
前記第１端末及び前記第２端末の他方から、所定の形状のマーカを含む背景を撮影した第２動画データを受信する第２受信部と、
前記第１受信部により受信された第１動画データの前記距離情報に基づき、前記被写体から前記所定のオブジェクトに相当する画素を抽出する抽出部と、
前記第２受信部により受信された第２動画データが表す背景中の前記マーカに基づいて定義される当該背景の３次元の座標系を特定し、前記抽出部により抽出された画素に応じた画像を当該座標系に対応するようにして当該背景に合成した合成動画データを生成する生成部と、
前記生成部により生成された合成動画データを前記他方の端末に送信する送信部と
を備え、
前記接続管理装置により供給された回線情報に応じて、前記合成動画データが表す映像を異ならせる画像コミュニケーションシステム。
【請求項２】
第１端末と第２端末との接続を管理する接続管理装置と、
前記接続管理装置により接続が管理された前記第１端末及び前記第２端末の少なくとも一方に対して、双方で撮影された映像を合成した合成動画データを送信するＡＲ（Augmented Reality）動画生成装置とを有し、
前記接続管理装置は、
前記第１端末と前記第２端末とにおけるハードウェア又はソフトウェアのリソースに関するリソース情報を前記ＡＲ動画生成装置に供給し、
前記ＡＲ動画生成装置は、
前記第１端末及び前記第２端末の一方から、所定のオブジェクトを含む被写体を撮影した第１動画データであって、当該被写体の画素毎の距離情報を含んだ第１動画データを受信する第１受信部と、
前記第１端末及び前記第２端末の他方から、所定の形状のマーカを含む背景を撮影した第２動画データを受信する第２受信部と、
前記第１受信部により受信された第１動画データの前記距離情報に基づき、前記被写体から前記所定のオブジェクトに相当する画素を抽出する抽出部と、
前記第２受信部により受信された第２動画データが表す背景中の前記マーカに基づいて定義される当該背景の３次元の座標系を特定し、前記抽出部により抽出された画素に応じた画像を当該座標系に対応するようにして当該背景に合成した合成動画データを生成する生成部と、
前記生成部により生成された合成動画データを前記他方の端末に送信する送信部と
を備え、
前記接続管理装置により供給されたリソース情報に応じて、前記合成動画データが表す映像を異ならせる画像コミュニケーションシステム。
【請求項３】
前記ＡＲ動画生成装置は、
前記回線情報に基づいて、前記合成動画データによるコミュニケーションが可能であるか否かを前記第１端末と前記第２端末のそれぞれについて判断する判断部を備え、
前記判断部により前記合成動画データによるコミュニケーションが可能であると判断された端末について、前記合成動画データを生成及び送信する
請求項１に記載の画像コミュニケーションシステム。
【請求項４】
前記ＡＲ動画生成装置は、
前記リソース情報に基づいて、前記合成動画データによるコミュニケーションが可能であるか否かを前記第１端末と前記第２端末のそれぞれについて判断する判断部を備え、
前記判断部により前記合成動画データによるコミュニケーションが可能であると判断された端末について、前記合成動画データを生成及び送信する
請求項２に記載の画像コミュニケーションシステム。
【請求項５】
第１端末と第２端末との接続を管理する接続管理装置と、
前記接続管理装置により接続が管理された前記第１端末及び前記第２端末の少なくとも一方に対して、双方で撮影された映像を合成した合成動画データを送信するＡＲ（Augmented Reality）動画生成装置とを有し、
前記接続管理装置は、
前記第１端末と前記第２端末との間で音声メッセージを送受信する送受信部を備えるとともに、前記送受信部により送受信される音声メッセージの音量又は音質の変化を表す情報を前記ＡＲ動画生成装置に供給し、
前記ＡＲ動画生成装置は、
前記第１端末及び前記第２端末の一方から、所定のオブジェクトを含む被写体を撮影した第１動画データであって、当該被写体の画素毎の距離情報を含んだ第１動画データを受信する第１受信部と、
前記第１端末及び前記第２端末の他方から、所定の形状のマーカを含む背景を撮影した第２動画データを受信する第２受信部と、
前記第１受信部により受信された第１動画データの前記距離情報に基づき、前記被写体から前記所定のオブジェクトに相当する画素を抽出する抽出部と、
前記第２受信部により受信された第２動画データが表す背景中の前記マーカに基づいて定義される当該背景の３次元の座標系を特定し、前記抽出部により抽出された画素に応じた画像を当該座標系に対応するようにして当該背景に合成した合成動画データを生成する生成部と、
前記生成部により生成された合成動画データを前記他方の端末に送信する送信部と
を備え、
前記接続管理装置により供給された音量又は音質の変化を表す情報に応じて、前記合成動画データが表す映像を異ならせる画像コミュニケーションシステム。
【請求項６】
第１端末と第２端末との接続を管理する接続管理装置と、
前記接続管理装置により接続が管理された前記第１端末及び前記第２端末の少なくとも一方に対して、双方で撮影された映像を合成した合成動画データを送信するＡＲ（Augmented Reality）動画生成装置とを有し、
前記ＡＲ動画生成装置は、
前記第１端末及び前記第２端末の一方から、所定のオブジェクトを含む被写体を撮影した第１動画データであって、当該被写体の画素毎の距離情報を含んだ第１動画データを受信する第１受信部と、
前記第１端末及び前記第２端末の他方から、所定の形状のマーカを含む背景を撮影した第２動画データを受信する第２受信部と、
前記第１受信部により受信された第１動画データの前記距離情報に基づき、前記被写体から前記所定のオブジェクトに相当する画素を抽出する抽出部と、
前記第２受信部により受信された第２動画データが表す背景中の前記マーカに基づいて定義される当該背景の３次元の座標系を特定し、前記抽出部により抽出された画素に応じた画像を当該座標系に対応するようにして当該背景に合成した合成動画データを生成する生成部と、
前記生成部により生成された合成動画データを前記他方の端末に送信する送信部と、
前記第１受信部により受信された第１動画データにおける前記被写体の変化を解析する解析部を備え、
前記解析部により解析された前記被写体の変化を表す情報を前記接続管理装置に供給し、
前記接続管理装置は、
前記第１端末と前記第２端末との間で音声メッセージを送受信する送受信部であって、前記ＡＲ動画生成装置により供給された前記被写体の変化を表す情報に応じて、送受信する前記音声メッセージの音量又は音質を異ならせる送受信部
を備える画像コミュニケーションシステム。
【請求項７】
前記ＡＲ動画生成装置は、
前記第２受信部により受信された第２動画データを解析し、前記座標系を算出する算出部を備え、
前記生成部は、
前記算出部により算出された座標系に基づいて、前記合成動画データを生成する
請求項１ないし６のいずれか１項に記載の画像コミュニケーションシステム。
【請求項８】
所定のオブジェクトを含む被写体を撮影した第１動画データであって、当該被写体の画素毎の距離情報を含んだ第１動画データを受信する第１受信部と、
所定の形状のマーカを含む背景を撮影した第２動画データであって、当該マーカに基づいて３次元の座標系が定義される第２動画データを受信する第２受信部と、
前記第１受信部により受信された第１動画データの前記距離情報に基づき、前記被写体から前記所定のオブジェクトに相当する画素を抽出する抽出部と、
前記抽出部により抽出された画素に応じた画像を、前記第２受信部により受信された第２動画データに定義される座標系に対応するようにして当該背景に合成した合成動画データを生成する生成部と、
前記生成部により生成された合成動画データを送信する送信部と
を備え、
前記第１動画データを送信した端末と前記第２動画データを送信した端末との接続を管理する接続管理装置から、前記第１動画データを送信した端末と前記第２動画データを送信した端末とを接続する通信回線に関する回線情報が供給され、供給された前記回線情報に応じて、前記合成動画データが表す映像を異ならせるＡＲ動画生成装置。
【請求項９】
所定のオブジェクトを含む被写体を撮影した第１動画データであって、当該被写体の画素毎の距離情報を含んだ第１動画データを受信する第１受信部と、
所定の形状のマーカを含む背景を撮影した第２動画データであって、当該マーカに基づいて３次元の座標系が定義される第２動画データを受信する第２受信部と、
前記第１受信部により受信された第１動画データの前記距離情報に基づき、前記被写体から前記所定のオブジェクトに相当する画素を抽出する抽出部と、
前記抽出部により抽出された画素に応じた画像を、前記第２受信部により受信された第２動画データに定義される座標系に対応するようにして当該背景に合成した合成動画データを生成する生成部と、
前記生成部により生成された合成動画データを送信する送信部と
を備え、
前記第１動画データを送信した端末と前記第２動画データを送信した端末とを接続する接続管理装置から、前記端末におけるハードウェア又はソフトウェアのリソースに関するリソース情報が供給され、供給された前記リソース情報に応じて、前記合成動画データが表す映像を異ならせるＡＲ動画生成装置。
【請求項１０】
所定のオブジェクトを含む被写体を撮影した第１動画データであって、当該被写体の画素毎の距離情報を含んだ第１動画データを受信する第１受信部と、
所定の形状のマーカを含む背景を撮影した第２動画データであって、当該マーカに基づいて３次元の座標系が定義される第２動画データを受信する第２受信部と、
前記第１受信部により受信された第１動画データの前記距離情報に基づき、前記被写体から前記所定のオブジェクトに相当する画素を抽出する抽出部と、
前記抽出部により抽出された画素に応じた画像を、前記第２受信部により受信された第２動画データに定義される座標系に対応するようにして当該背景に合成した合成動画データを生成する生成部と、
前記生成部により生成された合成動画データを送信する送信部と
を備え、
前記第１動画データを送信した端末と前記第２動画データを送信した端末との間で音声メッセージを送受信する送受信部を備えるとともに、前記送受信部により送受信される音声メッセージの音量又は音質の変化を表す情報を供給する接続管理装置から、前記送受信部により送受信される音声メッセージの音量又は音質の変化を表す情報が供給され、供給された情報に応じて、前記合成動画データが表す映像を異ならせるＡＲ動画生成装置。
【請求項１１】
所定のオブジェクトを含む被写体を撮影した第１動画データであって、当該被写体の画素毎の距離情報を含んだ第１動画データを受信する第１受信部と、
所定の形状のマーカを含む背景を撮影した第２動画データであって、当該マーカに基づいて３次元の座標系が定義される第２動画データを受信する第２受信部と、
前記第１受信部により受信された第１動画データの前記距離情報に基づき、前記被写体から前記所定のオブジェクトに相当する画素を抽出する抽出部と、
前記抽出部により抽出された画素に応じた画像を、前記第２受信部により受信された第２動画データに定義される座標系に対応するようにして当該背景に合成した合成動画データを生成する生成部と、
前記生成部により生成された合成動画データを送信する送信部と、
前記第１受信部により受信された第１動画データにおける前記被写体の変化を解析する解析部を備え、
前記第１動画データを送信した端末と前記第２動画データを送信した端末との間で音声メッセージを送受信する送受信部であって、供給される前記被写体の変化を表す情報に応じて、送受信する前記音声メッセージの音量又は音質を異ならせる送受信部を備える接続管理装置へ、前記解析部により解析された前記被写体の変化を表す情報を供給する
ＡＲ動画生成装置。
【請求項１２】
コンピュータに、
所定のオブジェクトを含む被写体を撮影した第１動画データであって、当該被写体の画素毎の距離情報を含んだ第１動画データを受信する第１ステップと、
所定の形状のマーカを含む背景を撮影した第２動画データであって、当該マーカに基づいて３次元の座標系が定義される第２動画データを受信する第２ステップと、
前記第１ステップにより受信された第１動画データの前記距離情報に基づき、前記被写体から前記所定のオブジェクトに相当する画素を抽出する第３ステップと、
前記第３ステップにより抽出された画素に応じた画像を、前記第２ステップにより受信された第２動画データに定義される座標系に対応するようにして当該背景に合成した合成動画データを生成する第４ステップと、
前記第４ステップにより生成された合成動画データを送信する第５ステップと、
前記第１動画データを送信した端末と前記第２動画データを送信した端末との接続を管理する接続管理装置から、前記第１動画データを送信した端末と前記第２動画データを送信した端末とを接続する通信回線に関する回線情報が供給され、供給された前記回線情報に応じて、前記合成動画データが表す映像を異ならせる第６ステップと
を実行させるためのプログラム。
【請求項１３】
コンピュータに、
所定のオブジェクトを含む被写体を撮影した第１動画データであって、当該被写体の画素毎の距離情報を含んだ第１動画データを受信する第１ステップと、
所定の形状のマーカを含む背景を撮影した第２動画データであって、当該マーカに基づいて３次元の座標系が定義される第２動画データを受信する第２ステップと、
前記第１ステップにより受信された第１動画データの前記距離情報に基づき、前記被写体から前記所定のオブジェクトに相当する画素を抽出する第３ステップと、
前記第３ステップにより抽出された画素に応じた画像を、前記第２ステップにより受信された第２動画データに定義される座標系に対応するようにして当該背景に合成した合成動画データを生成する第４ステップと、
前記第４ステップにより生成された合成動画データを送信する第５ステップと、
前記第１動画データを送信した端末と前記第２動画データを送信した端末とを接続する接続管理装置から、前記端末におけるハードウェア又はソフトウェアのリソースに関するリソース情報が供給され、供給された前記リソース情報に応じて、前記合成動画データが表す映像を異ならせる第６ステップと
を実行させるためのプログラム。
【請求項１４】
コンピュータに、
所定のオブジェクトを含む被写体を撮影した第１動画データであって、当該被写体の画素毎の距離情報を含んだ第１動画データを受信する第１ステップと、
所定の形状のマーカを含む背景を撮影した第２動画データであって、当該マーカに基づいて３次元の座標系が定義される第２動画データを受信する第２ステップと、
前記第１ステップにより受信された第１動画データの前記距離情報に基づき、前記被写体から前記所定のオブジェクトに相当する画素を抽出する第３ステップと、
前記第３ステップにより抽出された画素に応じた画像を、前記第２ステップにより受信された第２動画データに定義される座標系に対応するようにして当該背景に合成した合成動画データを生成する第４ステップと、
前記第４ステップにより生成された合成動画データを送信する第５ステップと、
前記第１動画データを送信した端末と前記第２動画データを送信した端末との間で音声メッセージを送受信する送受信部を備えるとともに、前記送受信部により送受信される音声メッセージの音量又は音質の変化を表す情報を供給する接続管理装置から、前記送受信部により送受信される音声メッセージの音量又は音質の変化を表す情報が供給され、供給された情報に応じて、前記合成動画データが表す映像を異ならせる第６ステップと
を実行させるためのプログラム。
【請求項１５】
コンピュータに、
所定のオブジェクトを含む被写体を撮影した第１動画データであって、当該被写体の画素毎の距離情報を含んだ第１動画データを受信する第１ステップと、
所定の形状のマーカを含む背景を撮影した第２動画データであって、当該マーカに基づいて３次元の座標系が定義される第２動画データを受信する第２ステップと、
前記第１ステップにより受信された第１動画データの前記距離情報に基づき、前記被写体から前記所定のオブジェクトに相当する画素を抽出する第３ステップと、
前記第３ステップにより抽出された画素に応じた画像を、前記第２ステップにより受信された第２動画データに定義される座標系に対応するようにして当該背景に合成した合成動画データを生成する第４ステップと、
前記第４ステップにより生成された合成動画データを送信する第５ステップと、
前記第１ステップにより受信された第１動画データにおける前記被写体の変化を解析する第６ステップと、
前記第１動画データを送信した端末と前記第２動画データを送信した端末との間で音声メッセージを送受信する送受信部であって、供給される前記被写体の変化を表す情報に応じて、送受信する前記音声メッセージの音量又は音質を異ならせる送受信部を備える接続管理装置へ、前記第６ステップにより解析された前記被写体の変化を表す情報を供給する第７ステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、拡張現実（ＡＲ）を用いたコミュニケーションに関する。
【背景技術】
【０００２】
ＡＲ技術による合成画像を通信ネットワークを介して配信する技術がある（例えば、特許文献１参照）。合成画像を得るための方法としては、クロマキー合成（ブルーバック合成）のように特定色の背景を利用して撮影を行うものや、ＣＧ（Computer Graphics）によって得られた実在しない画像（アバタなど）を合成するものなどが知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３４１６４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、ＡＲ技術を利用した従来の合成画像は、ユーザが撮影した映像に対して、あらかじめ用意された画像を重ね合わせるものが一般的であった。したがって、いわゆるテレビ電話のような、ユーザ同士の実際の映像（すなわち、あらかじめ用意されたものではない画像）を利用したリアルタイムなコミュニケーションにそのまま適用することはできなかった。
そこで、本発明は、相互のユーザによって撮影された映像に基づいて合成された動画を用いたリアルタイムなコミュニケーションを可能にする技術を提供する。
【課題を解決するための手段】
【０００５】
本発明の一態様に係る画像コミュニケーションシステムは、第１端末と第２端末との接続を管理する接続管理装置と、前記接続管理装置により接続が管理された前記第１端末及び前記第２端末の少なくとも一方に対して、双方で撮影された映像を合成した合成動画データを送信するＡＲ（Augmented Reality）動画生成装置とを有し、前記接続管理装置は、前記第１端末と前記第２端末とを接続する通信回線に関する回線情報を前記ＡＲ動画生成装置に供給し、前記ＡＲ動画生成装置は、前記第１端末及び前記第２端末の一方から、所定のオブジェクトを含む被写体を撮影した第１動画データであって、当該被写体の画素毎の距離情報を含んだ第１動画データを受信する第１受信部と、前記第１端末及び前記第２端末の他方から、所定の形状のマーカを含む背景を撮影した第２動画データを受信する第２受信部と、前記第１受信部により受信された第１動画データの前記距離情報に基づき、前記被写体から前記所定のオブジェクトに相当する画素を抽出する抽出部と、前記第２受信部により受信された第２動画データが表す背景中の前記マーカに基づいて定義される当該背景の３次元の座標系を特定し、前記抽出部により抽出された画素に応じた画像を当該座標系に対応するようにして当該背景に合成した合成動画データを生成する生成部と、前記生成部により生成された合成動画データを前記他方の端末に送信する送信部とを備え、前記接続管理装置により供給された回線情報に応じて、前記合成動画データが表す映像を異ならせる。
好ましい態様において、前記ＡＲ動画生成装置は、前記回線情報に基づいて、前記合成動画データによるコミュニケーションが可能であるか否かを前記第１端末と前記第２端末のそれぞれについて判断する判断部を備え、前記判断部により前記合成動画データによるコミュニケーションが可能であると判断された端末について、前記合成動画データを生成及び送信する。
また、本発明の一態様に係る画像コミュニケーションシステムは、第１端末と第２端末との接続を管理する接続管理装置と、前記接続管理装置により接続が管理された前記第１端末及び前記第２端末の少なくとも一方に対して、双方で撮影された映像を合成した合成動画データを送信するＡＲ（Augmented Reality）動画生成装置とを有し、前記接続管理装置は、前記第１端末と前記第２端末とにおけるハードウェア又はソフトウェアのリソースに関するリソース情報を前記ＡＲ動画生成装置に供給し、前記ＡＲ動画生成装置は、前記第１端末及び前記第２端末の一方から、所定のオブジェクトを含む被写体を撮影した第１動画データであって、当該被写体の画素毎の距離情報を含んだ第１動画データを受信する第１受信部と、前記第１端末及び前記第２端末の他方から、所定の形状のマーカを含む背景を撮影した第２動画データを受信する第２受信部と、前記第１受信部により受信された第１動画データの前記距離情報に基づき、前記被写体から前記所定のオブジェクトに相当する画素を抽出する抽出部と、前記第２受信部により受信された第２動画データが表す背景中の前記マーカに基づいて定義される当該背景の３次元の座標系を特定し、前記抽出部により抽出された画素に応じた画像を当該座標系に対応するようにして当該背景に合成した合成動画データを生成する生成部と、前記生成部により生成された合成動画データを前記他方の端末に送信する送信部とを備え、前記接続管理装置により供給されたリソース情報に応じて、前記合成動画データが表す映像を異ならせる。
好ましい態様において、前記ＡＲ動画生成装置は、前記リソース情報に基づいて、前記合成動画データによるコミュニケーションが可能であるか否かを前記第１端末と前記第２端末のそれぞれについて判断する判断部を備え、前記判断部により前記合成動画データによるコミュニケーションが可能であると判断された端末について、前記合成動画データを生成及び送信する。
また、本発明の一態様に係る画像コミュニケーションシステムは、第１端末と第２端末との接続を管理する接続管理装置と、前記接続管理装置により接続が管理された前記第１端末及び前記第２端末の少なくとも一方に対して、双方で撮影された映像を合成した合成動画データを送信するＡＲ（Augmented Reality）動画生成装置とを有し、前記接続管理装置は、前記第１端末と前記第２端末との間で音声メッセージを送受信する送受信部を備えるとともに、前記送受信部により送受信される音声メッセージの音量又は音質の変化を表す情報を前記ＡＲ動画生成装置に供給し、前記ＡＲ動画生成装置は、前記第１端末及び前記第２端末の一方から、所定のオブジェクトを含む被写体を撮影した第１動画データであって、当該被写体の画素毎の距離情報を含んだ第１動画データを受信する第１受信部と、前記第１端末及び前記第２端末の他方から、所定の形状のマーカを含む背景を撮影した第２動画データを受信する第２受信部と、前記第１受信部により受信された第１動画データの前記距離情報に基づき、前記被写体から前記所定のオブジェクトに相当する画素を抽出する抽出部と、前記第２受信部により受信された第２動画データが表す背景中の前記マーカに基づいて定義される当該背景の３次元の座標系を特定し、前記抽出部により抽出された画素に応じた画像を当該座標系に対応するようにして当該背景に合成した合成動画データを生成する生成部と、前記生成部により生成された合成動画データを前記他方の端末に送信する送信部とを備え、前記接続管理装置により供給された音量又は音質の変化を表す情報に応じて、前記合成動画データが表す映像を異ならせる。
また、本発明の一態様に係る画像コミュニケーションシステムは、第１端末と第２端末との接続を管理する接続管理装置と、前記接続管理装置により接続が管理された前記第１端末及び前記第２端末の少なくとも一方に対して、双方で撮影された映像を合成した合成動画データを送信するＡＲ（Augmented Reality）動画生成装置とを有し、前記ＡＲ動画生成装置は、前記第１端末及び前記第２端末の一方から、所定のオブジェクトを含む被写体を撮影した第１動画データであって、当該被写体の画素毎の距離情報を含んだ第１動画データを受信する第１受信部と、前記第１端末及び前記第２端末の他方から、所定の形状のマーカを含む背景を撮影した第２動画データを受信する第２受信部と、前記第１受信部により受信された第１動画データの前記距離情報に基づき、前記被写体から前記所定のオブジェクトに相当する画素を抽出する抽出部と、前記第２受信部により受信された第２動画データが表す背景中の前記マーカに基づいて定義される当該背景の３次元の座標系を特定し、前記抽出部により抽出された画素に応じた画像を当該座標系に対応するようにして当該背景に合成した合成動画データを生成する生成部と、前記生成部により生成された合成動画データを前記他方の端末に送信する送信部と、前記第１受信部により受信された第１動画データにおける前記被写体の変化を解析する解析部を備え、前記解析部により解析された前記被写体の変化を表す情報を前記接続管理装置に供給し、前記接続管理装置は、前記第１端末と前記第２端末との間で音声メッセージを送受信する送受信部であって、前記ＡＲ動画生成装置により供給された前記被写体の変化を表す情報に応じて、送受信する前記音声メッセージの音量又は音質を異ならせる送受信部を備える。
【０００６】
好ましい態様において、前記ＡＲ動画生成装置は、前記第２受信部により受信された第２動画データを解析し、前記座標系を算出する算出部を備え、前記生成部は、前記算出部により算出された座標系に基づいて、前記合成動画データを生成する。
【０００７】
本発明の他の態様に係るＡＲ動画生成装置は、所定のオブジェクトを含む被写体を撮影した第１動画データであって、当該被写体の画素毎の距離情報を含んだ第１動画データを受信する第１受信部と、所定の形状のマーカを含む背景を撮影した第２動画データであって、当該マーカに基づいて３次元の座標系が定義される第２動画データを受信する第２受信部と、前記第１受信部により受信された第１動画データの前記距離情報に基づき、前記被写体から前記所定のオブジェクトに相当する画素を抽出する抽出部と、前記抽出部により抽出された画素に応じた画像を、前記第２受信部により受信された第２動画データに定義される座標系に対応するようにして当該背景に合成した合成動画データを生成する生成部と、前記生成部により生成された合成動画データを送信する送信部とを備え、前記第１動画データを送信した端末と前記第２動画データを送信した端末との接続を管理する接続管理装置から、前記第１動画データを送信した端末と前記第２動画データを送信した端末とを接続する通信回線に関する回線情報が供給され、供給された前記回線情報に応じて、前記合成動画データが表す映像を異ならせる。
また、本発明の他の態様に係るＡＲ動画生成装置は、所定のオブジェクトを含む被写体を撮影した第１動画データであって、当該被写体の画素毎の距離情報を含んだ第１動画データを受信する第１受信部と、所定の形状のマーカを含む背景を撮影した第２動画データであって、当該マーカに基づいて３次元の座標系が定義される第２動画データを受信する第２受信部と、前記第１受信部により受信された第１動画データの前記距離情報に基づき、前記被写体から前記所定のオブジェクトに相当する画素を抽出する抽出部と、前記抽出部により抽出された画素に応じた画像を、前記第２受信部により受信された第２動画データに定義される座標系に対応するようにして当該背景に合成した合成動画データを生成する生成部と、前記生成部により生成された合成動画データを送信する送信部とを備え、前記第１動画データを送信した端末と前記第２動画データを送信した端末とを接続する接続管理装置から、前記端末におけるハードウェア又はソフトウェアのリソースに関するリソース情報が供給され、供給された前記リソース情報に応じて、前記合成動画データが表す映像を異ならせる。
また、本発明の他の態様に係るＡＲ動画生成装置は、所定のオブジェクトを含む被写体を撮影した第１動画データであって、当該被写体の画素毎の距離情報を含んだ第１動画データを受信する第１受信部と、所定の形状のマーカを含む背景を撮影した第２動画データであって、当該マーカに基づいて３次元の座標系が定義される第２動画データを受信する第２受信部と、前記第１受信部により受信された第１動画データの前記距離情報に基づき、前記被写体から前記所定のオブジェクトに相当する画素を抽出する抽出部と、前記抽出部により抽出された画素に応じた画像を、前記第２受信部により受信された第２動画データに定義される座標系に対応するようにして当該背景に合成した合成動画データを生成する生成部と、前記生成部により生成された合成動画データを送信する送信部とを備え、前記第１動画データを送信した端末と前記第２動画データを送信した端末との間で音声メッセージを送受信する送受信部を備えるとともに、前記送受信部により送受信される音声メッセージの音量又は音質の変化を表す情報を供給する接続管理装置から、前記送受信部により送受信される音声メッセージの音量又は音質の変化を表す情報が供給され、供給された情報に応じて、前記合成動画データが表す映像を異ならせる。
また、本発明の他の態様に係るＡＲ動画生成装置は、所定のオブジェクトを含む被写体を撮影した第１動画データであって、当該被写体の画素毎の距離情報を含んだ第１動画データを受信する第１受信部と、所定の形状のマーカを含む背景を撮影した第２動画データであって、当該マーカに基づいて３次元の座標系が定義される第２動画データを受信する第２受信部と、前記第１受信部により受信された第１動画データの前記距離情報に基づき、前記被写体から前記所定のオブジェクトに相当する画素を抽出する抽出部と、前記抽出部により抽出された画素に応じた画像を、前記第２受信部により受信された第２動画データに定義される座標系に対応するようにして当該背景に合成した合成動画データを生成する生成部と、前記生成部により生成された合成動画データを送信する送信部と、前記第１受信部により受信された第１動画データにおける前記被写体の変化を解析する解析部を備え、前記第１動画データを送信した端末と前記第２動画データを送信した端末との間で音声メッセージを送受信する送受信部であって、供給される前記被写体の変化を表す情報に応じて、送受信する前記音声メッセージの音量又は音質を異ならせる送受信部を備える接続管理装置へ、前記解析部により解析された前記被写体の変化を表す情報を供給する。
【０００８】
本発明の他の態様に係るプログラムは、コンピュータに、所定のオブジェクトを含む被写体を撮影した第１動画データであって、当該被写体の画素毎の距離情報を含んだ第１動画データを受信する第１ステップと、所定の形状のマーカを含む背景を撮影した第２動画データであって、当該マーカに基づいて３次元の座標系が定義される第２動画データを受信する第２ステップと、前記第１ステップにより受信された第１動画データの前記距離情報に基づき、前記被写体から前記所定のオブジェクトに相当する画素を抽出する第３ステップと、前記第３ステップにより抽出された画素に応じた画像を、前記第２ステップにより受信された第２動画データに定義される座標系に対応するようにして当該背景に合成した合成動画データを生成する第４ステップと、前記第４ステップにより生成された合成動画データを送信する第５ステップと、前記第１動画データを送信した端末と前記第２動画データを送信した端末との接続を管理する接続管理装置から、前記第１動画データを送信した端末と前記第２動画データを送信した端末とを接続する通信回線に関する回線情報が供給され、供給された前記回線情報に応じて、前記合成動画データが表す映像を異ならせる第６ステップとを実行させるためのプログラムである。
また、本発明の他の態様に係るプログラムは、コンピュータに、所定のオブジェクトを含む被写体を撮影した第１動画データであって、当該被写体の画素毎の距離情報を含んだ第１動画データを受信する第１ステップと、所定の形状のマーカを含む背景を撮影した第２動画データであって、当該マーカに基づいて３次元の座標系が定義される第２動画データを受信する第２ステップと、前記第１ステップにより受信された第１動画データの前記距離情報に基づき、前記被写体から前記所定のオブジェクトに相当する画素を抽出する第３ステップと、前記第３ステップにより抽出された画素に応じた画像を、前記第２ステップにより受信された第２動画データに定義される座標系に対応するようにして当該背景に合成した合成動画データを生成する第４ステップと、前記第４ステップにより生成された合成動画データを送信する第５ステップと、前記第１動画データを送信した端末と前記第２動画データを送信した端末とを接続する接続管理装置から、前記端末におけるハードウェア又はソフトウェアのリソースに関するリソース情報が供給され、供給された前記リソース情報に応じて、前記合成動画データが表す映像を異ならせる第６ステップとを実行させるためのプログラムである。
また、本発明の他の態様に係るプログラムは、コンピュータに、所定のオブジェクトを含む被写体を撮影した第１動画データであって、当該被写体の画素毎の距離情報を含んだ第１動画データを受信する第１ステップと、所定の形状のマーカを含む背景を撮影した第２動画データであって、当該マーカに基づいて３次元の座標系が定義される第２動画データを受信する第２ステップと、前記第１ステップにより受信された第１動画データの前記距離情報に基づき、前記被写体から前記所定のオブジェクトに相当する画素を抽出する第３ステップと、前記第３ステップにより抽出された画素に応じた画像を、前記第２ステップにより受信された第２動画データに定義される座標系に対応するようにして当該背景に合成した合成動画データを生成する第４ステップと、前記第４ステップにより生成された合成動画データを送信する第５ステップと、前記第１動画データを送信した端末と前記第２動画データを送信した端末との間で音声メッセージを送受信する送受信部を備えるとともに、前記送受信部により送受信される音声メッセージの音量又は音質の変化を表す情報を供給する接続管理装置から、前記送受信部により送受信される音声メッセージの音量又は音質の変化を表す情報が供給され、供給された情報に応じて、前記合成動画データが表す映像を異ならせる第６ステップとを実行させるためのプログラムである。
また、本発明の他の態様に係るプログラムは、コンピュータに、所定のオブジェクトを含む被写体を撮影した第１動画データであって、当該被写体の画素毎の距離情報を含んだ第１動画データを受信する第１ステップと、所定の形状のマーカを含む背景を撮影した第２動画データであって、当該マーカに基づいて３次元の座標系が定義される第２動画データを受信する第２ステップと、前記第１ステップにより受信された第１動画データの前記距離情報に基づき、前記被写体から前記所定のオブジェクトに相当する画素を抽出する第３ステップと、前記第３ステップにより抽出された画素に応じた画像を、前記第２ステップにより受信された第２動画データに定義される座標系に対応するようにして当該背景に合成した合成動画データを生成する第４ステップと、前記第４ステップにより生成された合成動画データを送信する第５ステップと、前記第１ステップにより受信された第１動画データにおける前記被写体の変化を解析する第６ステップと、前記第１動画データを送信した端末と前記第２動画データを送信した端末との間で音声メッセージを送受信する送受信部であって、供給される前記被写体の変化を表す情報に応じて、送受信する前記音声メッセージの音量又は音質を異ならせる送受信部を備える接続管理装置へ、前記第６ステップにより解析された前記被写体の変化を表す情報を供給する第７ステップとを実行させるためのプログラムである。
【発明の効果】
【０００９】
本発明によれば、相互のユーザによって撮影された映像に基づいて合成された動画を用いたリアルタイムなコミュニケーションが可能である。
【図面の簡単な説明】
【００１０】
【図１】通信システムの全体構成を示すブロック図
【図２】ユーザ端末のハードウェア構成を示すブロック図
【図３】ＡＲ動画生成装置及び接続管理装置のハードウェア構成を示すブロック図
【図４】ＡＲ動画生成装置及び接続管理装置の機能構成を示すブロック図
【図５】動画データが表す映像を説明するための模式図
【図６】オブジェクトの抽出原理を説明するための図
【図７】ＡＲ動画生成装置が実行する処理を示すフローチャート
【図８】通信システムの各装置における処理を示すシーケンスチャート
【発明を実施するための形態】
【００１１】
［実施形態］
図１は、本発明の一実施形態である通信システム１０の全体構成を示すブロック図である。通信システム１０は、ユーザ間で音声とＡＲ動画によるリアルタイムなコミュニケーションを実現するための情報処理システムであり、本発明に係る画像コミュニケーションシステムの一例である。ここにおいて、ＡＲ動画とは、複数のユーザによって撮影された映像を互いに合成した動画をいい、ＡＲ技術を用いて生成されるものである。なお、ここでいうリアルタイムとは、目的とする処理があらかじめ決められた時間までに終了することを意味し、当該時間が比較的短時間であるものを意味する。通信システム１０は、ＡＲ動画生成装置１００と、接続管理装置２００と、ユーザ端末３００と、ネットワーク４００とを備える。
【００１２】
ＡＲ動画生成装置１００は、複数のユーザ端末３００から動画データを受信し、これらを合成した合成動画データを生成及び送信するサーバ装置である。接続管理装置２００は、ユーザ端末３００間の接続（ここでは呼接続）を管理し、発話や終話を制御するサーバ装置である。接続管理装置２００による管理には、コミュニケーションのリアルタイム性を確保するための処理が含まれる。なお、ＡＲ動画生成装置１００と接続管理装置２００とは、ネットワーク４００によらずに、これとは異なる通信回線で互いに接続されていてもよい。
【００１３】
ユーザ端末３００は、通信システム１０によってコミュニケーションを行うユーザが使用する通信端末である。ユーザ端末３００は、通信システム１０のための専用の通信端末であってもよいし、本実施形態のコミュニケーションを行うために必要な周辺機器をスマートフォンやパーソナルコンピュータに取り付けたものであってもよい。なお、ユーザ端末３００は、実際にはネットワーク４００に多数接続されていてもよいが、図１ではコミュニケーションを行う二者の端末のみが図示されている。以下においては、これらの端末を区別する必要がある場合には、「ユーザ端末３００ａ」、「ユーザ端末３００ｂ」と表記するものとする。
【００１４】
ネットワーク４００は、音声や動画などのデータを送受信するためのネットワークである。ネットワーク４００は、音声を送受信するための通信回線と動画を送受信するための通信回線を別異に構成したものであってもよいが、そうでなくともよい。また、ネットワーク４００は、パケット交換方式と回線交換方式のいずれの通信回線のいずれを用いたものであってもよい。
【００１５】
図２は、ユーザ端末３００のハードウェア構成を示すブロック図である。ユーザ端末３００は、制御部３１０と、記憶部３２０と、通信部３３０と、第１撮影部３４０と、第２撮影部３５０と、表示部３６０と、音声入出力部３７０と、操作部３８０とを備える。図２に示す構成のことを、以下においては「標準構成」という。
【００１６】
制御部３１０は、ユーザ端末３００の動作を制御する手段である。制御部３１０は、ＣＰＵ（Central Processing Unit）などの演算処理装置やメモリを備え、所定のプログラムを実行することによって動画の撮影やデータ通信などを制御する。また、制御部３１０は、後述する３次元の座標系を算出する算出部３１１を備える。なお、算出部３１１による座標系の算出方法は、周知の方法と同様であってよい。例えば、算出部３１１は、撮影された映像の中から所定の形状のマーカを認識し、当該認識された形状と実際の形状の相違（すなわち歪み）に基づいて傾きを特定して傾き情報を算出するとともに、特定した傾きとマーカの位置とに基づいて３次元の直交座標系を定義し、座標を表す座標情報を算出する。
【００１７】
記憶部３２０は、データを記憶する手段である。記憶部３２０は、補助記憶装置に相当し、例えば、ハードディスクやフラッシュメモリを含んで構成される。記憶部３２０は、ユーザ端末３００（自装置）のリソースに関するリソース情報を記憶している。ここにおいて、リソース情報とは、ユーザ端末３００がどのようなリソースを有しているかを示すデータをいう。ここでいうリソースは、ハードウェア的なリソースとソフトウェア的なリソースの双方を含み得る。リソース情報は、例えば、ユーザ端末３００の識別情報（機種名など）、ＣＰＵの処理能力、第１撮影部３４０や第２撮影部３５０の性能（画素数など）、表示部３６０の性能（表示解像度など）、対応しているコーデック、コミュニケーションに必要なソフトウェアのバージョン情報などを示す。
【００１８】
通信部３３０は、ネットワーク４００を介してデータを送受信する手段である。通信部３３０による通信は、無線・有線のいずれであってもよい。また、通信部３３０は、ユーザ端末３００の一部が外付けの周辺機器によって構成される場合に当該周辺機器と通信を行う構成を含んでもよい。
【００１９】
第１撮影部３４０及び第２撮影部３５０は、いずれも被写体を撮影して動画データを出力する手段である。第１撮影部３４０及び第２撮影部３５０により出力される動画データは、被写体の各画素の色を表す色情報を少なくとも含んでいる。また、第１撮影部３４０は、ユーザを含む被写体を撮影するために用いられ、第２撮影部３５０は、マーカ（ＡＲマーカ）を含む被写体を撮影するために用いられる。さらに、第１撮影部３４０は、距離画像センサを含んで構成される。一方、第２撮影部３５０は、通常のイメージセンサ、すなわち距離情報を出力しないイメージセンサであってもよい。
【００２０】
距離画像センサとは、各画素の距離情報を出力することができるイメージセンサである。距離画像センサには、あらかじめ決められたパターンの光を照射し、その反射光の歪みによってセンサと被写体との距離を測定する「パターン照射方式」と、被写体に対して光を照射し、光が被写体に反射して戻ってくるまでの所要時間によってセンサと被写体との距離を測定する「ＴＯＦ（Time of Flight）方式」とがあるが、第１撮影部３４０にはいずれの方式が用いられてもよい。
【００２１】
第１撮影部３４０は、このような距離画像センサと通常のイメージセンサとを備え、色情報と距離情報とを出力する。距離画像センサとイメージセンサは、同じ方向を撮影し、距離画像センサの画素とイメージセンサの画素との対応付けがあらかじめ得られているものとする。
【００２２】
表示部３６０は、画像を表示する手段である。表示部３６０は、ユーザ端末３００に備わる液晶等のディスプレイであってもよいし、ユーザ端末３００とは別体のテレビのようなディスプレイであってもよい。また、表示部３６０は、ＨＭＤ（Head Mounted Display）のようにユーザに装着される構成であってもよい。
【００２３】
音声入出力部３７０は、音声を入力及び出力する手段である。音声入出力部３７０は、スピーカやマイクロホンを備える。音声入出力部３７０は、音声の入出力をステレオ・モノラルのいずれで行ってもよい。
操作部３８０は、ユーザの操作を受け付ける手段である。操作部３８０は、キーパッド（キーボード）や、表示部３６０のディスプレイに重ねて設けられるタッチスクリーンを備える。
【００２４】
なお、ユーザ端末３００は、これらの構成を全て備えるものを標準構成とするが、後述するように、当該構成の一部を有しない端末であっても、本実施形態のコミュニケーションを（制限付きで）行うことが可能である。また、ユーザ端末３００は、表示解像度などの個々のリソースが一致していなくてもよい。
【００２５】
図３は、ＡＲ動画生成装置１００及び接続管理装置２００のハードウェア構成を示すブロック図である。ＡＲ動画生成装置１００は、制御部１１０と、記憶部１２０と、通信部１３０とを備える。また、接続管理装置２００は、制御部２１０と、記憶部２２０と、通信部１３０とを備える。制御部１１０、１２０は、自装置（ＡＲ動画生成装置１００又は接続管理装置２００）の動作を制御する手段である。また、記憶部１２０、２２０は、データを記憶する手段であり、通信部１３０、２３０は、データを送受信する手段である。通信部１３０、２３０は、ネットワーク４００と通信するほか、ネットワーク４００を介さずに互いに通信することも可能である。
【００２６】
図４は、ＡＲ動画生成装置１００及び接続管理装置２００の機能構成を示すブロック図である。ＡＲ動画生成装置１００及び接続管理装置２００は、所定のプログラムを実行することにより、図４に示す機能を実現させる。接続管理装置２００の制御部２１０は、送受信部２１１及びデータ授受部２１２として機能する。また、ＡＲ動画生成装置１００の制御部１１０は、合成制御部１１０ａ及び同期制御部１１０ｂとして機能する。
【００２７】
送受信部２１１は、音声メッセージを送受信する手段である。送受信部２１１は、ユーザ端末３００ａから送信された音声メッセージをユーザ端末３００ｂに送信し、ユーザ端末３００ｂから送信された音声メッセージをユーザ端末３００ａに送信する。また、送受信部２１１は、音声メッセージを送受信するために必要な接続管理を行い、必要に応じて、音量や音質の制御を行う。
【００２８】
データ授受部２１２は、ＡＲ動画生成装置１００との間でデータを授受する手段である。データ授受部２１２は、ＡＲ動画生成装置１００からリソース情報を取得し、ＡＲ動画生成装置１００に回線情報を供給する。回線情報は、ユーザ端末３００ａ、３００ｂのそれぞれが使用している通信回線に関する情報であって、通信回線の伝達能力（転送帯域など）を示す。回線情報は、ユーザの通信事業者との契約内容によって異なる場合もあるし、通信回線の実際の利用状況（混雑の度合い）などによっても異なり得る。
【００２９】
合成制御部１１０ａは、映像の合成を制御する手段である。合成制御部１１０ａは、より詳細には、第１受信部１１１ａ、１１１ｂと、第２受信部１１２ａ、１１２ｂと、抽出部１１３ａ、１１３ｂと、生成部１１４ａ、１１４ｂと、送信部１１５ａ、１１５ｂとを備える。
【００３０】
なお、第１受信部１１１ａ、第２受信部１１２ａ、抽出部１１３ａ、生成部１１４ａ及び送信部１１５ａは、それぞれ、ユーザ端末３００ａに合成動画データを送信するための構成である。一方、第１受信部１１１ｂ、第２受信部１１２ｂ、抽出部１１３ｂ、生成部１１４ｂ及び送信部１１５ｂは、それぞれ、ユーザ端末３００ｂに合成動画データを送信するための構成である。例えば、第１受信部１１１ａと第１受信部１１１ｂとは、動画データを受信する端末が異なるだけであって、実行する動作自体には相違がない。同様に、第２受信部１１２ａ、１１２ｂ、抽出部１１３ａ、１１３ｂ、生成部１１４ａ、１１４ｂ及び送信部１１５ａ、１１５ｂの各組み合わせも、処理対象とするデータが異なるだけで、実行可能な処理には相違がないものである。
【００３１】
第１受信部１１１ａ、１１１ｂは、第１撮影部３４０により撮影された動画データを受信する手段である。すなわち、第１受信部１１１ａ、１１１ｂは、通信部１３０を介して受信されるデータのうち、第１撮影部３４０により撮影された動画データを選択的に取得する。第１受信部１１１ａは、この動画データをユーザ端末３００ｂから取得し、第１受信部１１１ｂは、この動画データをユーザ端末３００ａから取得する。第１受信部１１１ａ、１１１ｂが受信する動画データは、距離情報を含む動画データである。
【００３２】
第２受信部１１２ａ、１１２ｂは、第２撮影部３５０により撮影された動画データを受信する手段である。すなわち、第２受信部１１２ａ、１１２ｂは、通信部１３０を介して受信されるデータのうち、第２撮影部３５０により撮影された動画データを選択的に取得する。第２受信部１１２ａは、この動画データをユーザ端末３００ａから取得し、第２受信部１１２ｂは、この動画データをユーザ端末３００ｂから取得する。第２受信部１１２ａ、１１２ｂが受信する動画データは、その映像中にマーカを少なくとも含み、当該マーカによって定義される３次元の座標系の情報を含む動画データである。
【００３３】
以下においては、説明の便宜上、第１撮影部３４０により撮影された動画データを「第１動画データ」といい、第２撮影部３５０により撮影された動画データを「第２動画データ」という。つまり、第１動画データは距離情報を含み、第２動画データは（座標系を特定可能な）マーカの画像を含む。
【００３４】
抽出部１１３ａ、１１３ｂは、第１受信部１１１ａ、１１１ｂにより受信された第１動画データから、所定のオブジェクトに相当する画素を抽出する手段である。抽出部１１３ａ、１１３ｂは、第１動画データの距離情報に基づき、センサとの距離が所定の条件を満たす画素を抽出し、当該画素の色情報と距離情報を特定する。ここにおいて、所定の条件は、センサとの距離について設定された閾値によって定まる。閾値は、距離の上限のみが設定されていてもよいし、上限と下限の双方が設定されていてもよい。
【００３５】
生成部１１４ａ、１１４ｂは、第１受信部１１１ａ、１１１ｂにより受信された第１動画データと第２受信部１１２ａ、１１２ｂにより受信された第２動画データとに基づいて、合成動画データを生成する手段である。生成部１１４ａ、１１４ｂは、第２受信部１１２ａ、１１２ｂにより受信された第２動画データが表す映像から背景中にあるマーカを検出し、検出したマーカに基づいて当該背景の３次元の座標系を特定し、抽出部１１３ａ、１１３ｂにより抽出された画素に応じた画像を当該座標系に対応するようにして当該背景に合成する。本実施形態において、生成部１１４ａ、１１４ｂは、ユーザ端末３００の算出部３１１により算出された座標系を用いて合成動画データを生成する。
【００３６】
生成部１１４ａ、１１４ｂは、第１動画データが表す映像の座標系と第２動画データが表す映像の座標系を対応するようにして合成動画データを生成する。具体的には、生成部１１４ａ、１１４ｂは、第１動画データについて、画素の配列に基づいてｘ軸とｙ軸を定義し、距離情報の方向にｚ軸を定義すると、３次元の直交座標系を定義することができる。そして、生成部１１４ａ、１１４ｂは、第２動画データについてマーカによって定義される座標系と第１動画データに定義された座標系とを対応付けるようにしてこれらの映像を合成する。生成部１１４ａ、１１４ｂは、いったん両者の座標系を対応付けたら、その後はその対応付けが維持されるようにして映像の合成を続ける。このとき、生成部１１４ａ、１１４ｂは、一方の座標系のある座標と他方の座標系のある座標とが一致するように合成を行うなどして、これらの映像の位置合わせを行う。
【００３７】
また、生成部１１４ａ、１１４ｂは、これらの映像を合成するときに、タイミングの調整やエフェクト等の画像処理を行ってもよい。例えば、生成部１１４ａ、１１４ｂは、第１動画データと第２動画データの受信タイミングに時間差がある場合に、その時間差が少なくなるように合成時のタイミングを調整する。また、ここでいう画像処理は、映像に対して何らかの画像を重畳する処理であってもよいし、合成する２つの映像の明るさや色合いを合わせる処理であってもよい。
【００３８】
送信部１１５ａ、１１５ｂは、生成部１１４ａ、１１４ｂにより生成された合成動画データをユーザ端末３００ａ、３００ｂに送信する手段である。送信部１１５ａは、合成動画データをユーザ端末３００ａに送信し、送信部１１５ｂは、合成動画データをユーザ端末３００ｂに送信する。このようにすることで、ユーザ端末３００ａ、３００ｂのユーザは、自身が送信した第２動画データ（マーカを撮影した動画データ）に対して相手方のユーザのオブジェクト（顔、上半身など）が合成された動画を見ることができるようになる。
【００３９】
同期制御部１１０ｂは、合成動画データの再生と音声メッセージの再生とを同期させるための処理を実行する手段である。例えば、同期制御部１１０ｂは、回線情報の変化に追従するように、合成動画データの圧縮方式を異ならせることができる。また、同期制御部１１０ｂは、送受信部２１１が音声メッセージを合成動画データに合わせて再生するために必要なデータを接続管理装置２００に供給することもできる。同期制御部１１０ｂは、より詳細には、データ授受部１１６と、判断部１１７と、解析部１１８とを含んで構成される。
【００４０】
データ授受部１１６は、接続管理装置２００との間でデータを授受する手段である。データ授受部１１６は、接続管理装置２００から回線情報を取得し、接続管理装置２００にリソース情報を供給する。
【００４１】
判断部１１７は、回線情報又はリソース情報に基づいて、ユーザ端末３００ａとユーザ端末３００ｂとが合成動画データによるコミュニケーションを行うことができるか否かを端末毎に判断する手段である。例えば、合成制御部１１０ａは、ユーザ端末３００ａとユーザ端末３００ｂの一方の通信回線が合成動画データのリアルタイムな再生に必要な品質を満たしていない場合には、当該一方についての合成動画データを生成せずに、他方の合成動画データのみを生成及び送信する、といった処理を、判断部１１７による判断結果に基づいて行うことができる。また、合成制御部１１０ａは、リソース情報による判断結果に基づき、ユーザ端末３００が第１撮影部３４０を備えていない場合には合成動画データの生成を行わないようにすることも可能である。
【００４２】
解析部１１８は、第１受信部１１１ａ、１１１ｂにより受信された第１動画データにおける被写体の変化を解析し、その解析結果を表す情報を生成する手段である。同期制御部１１０ｂは、解析部１１８により生成された情報を接続管理装置２００に供給する。解析部１１８は、例えば、被写体であるユーザの移動を解析する。あるいは、解析部１１８は、周知の顔認識技術（例えば、笑顔を検出する技術）を用いて、被写体であるユーザの表情の変化を解析してもよい。また、解析部１１８は、ユーザの変化に限らず、被写体全体の変化（例えば、明るさの変化）を解析により求めてもよい。
【００４３】
通信システム１０の構成は、以上のとおりである。この構成のもと、ユーザは、ユーザ端末３００を用いて他のユーザとリアルタイムなコミュニケーションを行う。ここでいうコミュニケーションは、音声と映像とを用いたものであり、例えば、いわゆるテレビ電話のようなものである。ただし、本実施形態のコミュニケーションは、ＡＲ技術によって合成された映像を利用可能である点において従来のテレビ電話と異なっている。
【００４４】
このようなコミュニケーションを実現するために、ユーザ端末３００においては、被写体が異なる２種類の動画データが撮影及び送信される。動画データの一つは、上述した第１動画データであり、ユーザが自身を撮影して得られるものである。また、もう一つの動画データは、上述した第２動画データであり、ユーザがマーカを撮影して得られるものである。
【００４５】
ＡＲ動画生成装置１００は、これらの動画データを受信し、合成動画データを生成及び送信する。ＡＲ動画生成装置１００は、一方のユーザ端末３００から送信され、ユーザを被写体に含む第２動画データと、他方のユーザ端末３００から送信され、マーカを被写体に含む第１動画データとを用いて合成動画データを生成し、これを当該一方のユーザ端末３００に送信する。すなわち、ＡＲ動画生成装置１００は、マーカを映した動画をあるユーザから受信し、これを背景に用いて、他のユーザを映した映像をここに合成する。このとき、ＡＲ動画生成装置１００は、第２動画データの映像からユーザに相当する所定のオブジェクトを抽出し、これを背景に重ね合わせる。
【００４６】
図５は、本実施形態において送受信される動画データが表す映像を説明するための模式図である。ここにおいて、映像Ｖ１ａ、Ｖ２ａ、Ｖ３ａは、それぞれ、ユーザ端末３００ａにより送受信される動画データが表す映像であり、映像Ｖ１ｂ、Ｖ２ｂ、Ｖ３ｂは、それぞれ、ユーザ端末３００ｂにより送受信される動画データが表す映像であるとする。また、映像Ｖ１ａ、Ｖ１ｂが第１動画データ、映像Ｖ２ａ、Ｖ２ｂが第２動画データ、映像Ｖ３ａ、Ｖ３ｂが合成動画データに、それぞれ相当する。
【００４７】
なお、図５において、Ｍａ、Ｍｂは、それぞれマーカを示している。マーカＭａ、Ｍｂは、あらかじめ決められた形状の画像を印刷等によって形成した小片であり、ユーザが好きな場所に配置することが可能である。マーカＭａ、Ｍｂに形成された画像は、他の背景部分との識別が容易であり、かつ、座標系や傾きの特定が容易なように構成されていれば、どのようなパターンの画像であってもよい。
【００４８】
図５に示すように、ユーザ端末３００ａにおいて表示される映像Ｖ３ａは、ユーザ端末３００ｂからの第１動画データ（Ｖ１ｂ）とユーザ端末３００ａからの第２動画データ（Ｖ２ａ）とを合成して得られる映像である。一方、ユーザ端末３００ｂにおいて表示される映像Ｖ３ｂは、ユーザ端末３００ａからの第１動画データ（Ｖ１ａ）とユーザ端末３００ｂからの第２動画データ（Ｖ２ｂ）とを合成して得られる映像である。
【００４９】
なお、図５に示すように、映像Ｖ３ａ、Ｖ３ｂに合成されるオブジェクト（この場合、ユーザの上半身）は、映像Ｖ１ａ、Ｖ１ｂに含まれるオブジェクトと等しい倍率である必要はなく、拡大・縮小などを適宜に行ってよい。また、映像Ｖ３ａ、Ｖ３ｂに合成されるオブジェクトは、距離情報に基づいて凹凸が表現され、色情報に基づいて着色された立体的な画像（ポリゴン）であるとするが、平面的な画像であってもよい。
【００５０】
図６は、オブジェクトの抽出原理を説明するための図である。距離画像センサによって得られる距離情報は、図中の破線の矢印によって示すように、各画素について得られる。ここにおいて、図中のＴｈで示した閾値を設定し、距離情報により表される距離がこの閾値よりも小さい画素を抽出するようにすれば、被写体のうちのユーザに相当する部分の画素が選択され、ユーザ以外の部分（ユーザの背後の壁など）が除外されたオブジェクトが得られる。
【００５１】
なお、この閾値は、あらかじめ設定されており、例えばユーザが距離画像センサから１ｍ以内の場所で会話するようにしてもよいし、複数の選択肢の中からユーザが選択できるようになっていてもよい。あるいは、閾値は、ユーザ端末３００によって動的に設定されてもよい。例えば、ユーザ端末３００は、色情報に基づいてユーザの位置（顔など）を推定し、この推定結果に基づいて閾値を設定することも可能である。
【００５２】
ユーザは、このようにして合成された映像を見ながら相手と会話することで、あたかも自分のそば（背景として撮影している位置）に相手がいるような感覚でコミュニケーションを行うことができる。これにより、ユーザは、リアリティのあるコミュニケーションをリアルタイムに行うことが可能になる。
【００５３】
通信システム１０においては、このような映像をユーザ端末３００に表示可能にするために、ＡＲ動画生成装置１００が合成動画データを生成及び送信する。ＡＲ動画生成装置１００は、リソース情報や回線情報を参照し、必要な合成動画データを生成する。例えば、ＡＲ動画生成装置１００は、ユーザ端末３００のリソースや通信回線の状況に応じて、合成動画データの圧縮方式や転送レートを決定する。また、ＡＲ動画生成装置１００は、リソース情報や回線情報に基づいて、合成動画データを生成するか否かを判断することも可能である。例えば、ＡＲ動画生成装置１００は、合成動画データの送信に十分な転送帯域が確保されていない場合や、そもそもユーザ端末３００が合成動画データを再生する機能を有しない場合などには、合成動画データを送信しないか、合成動画データよりもデータ量が少ない代替的なデータを送信する、といったことが可能である。
【００５４】
図７は、ＡＲ動画生成装置１００が合成動画データを生成するときに実行する処理を示すフローチャートである。ＡＲ動画生成装置１００の制御部１１０は、まず最初に、リソース情報と回線情報の少なくともいずれかを用いて、合成動画データの生成態様を判定する（ステップＳａ１）。このとき、制御部１１０は、合成動画データの生成の可否や、合成動画データを生成するときの圧縮方式や転送レートなどを、合成動画データの送信対象であるユーザ端末３００のそれぞれについて判定する。
【００５５】
その後、制御部１１０は、ステップＳａ１の判定結果に応じた処理を実行する。制御部１１０は、一方のユーザ端末３００であるユーザ端末３００ａについて、合成動画データを生成するか否か判断し（ステップＳａ２）、合成動画データを生成すると判定した場合には合成動画データを生成する一方、そうでなければ生成を行わない（ステップＳａ３）。また、合成動画データを生成する場合、制御部１１０は、ステップＳａ１の判定結果に応じて（すなわち回線情報やリソース情報に応じて）、合成動画データの圧縮方式や転送レートなどを異ならせる。
【００５６】
続いて、制御部１１０は、他方のユーザ端末３００であるユーザ端末３００ｂについても同様に、合成動画データを生成するか否かの判断（ステップＳａ４）と合成動画データの生成（ステップＳａ５）とを実行する。そして、制御部１１０は、生成した合成動画データを通信部１３０に供給することにより、合成動画データをユーザ端末３００ａ、３００ｂのそれぞれに送信する（ステップＳａ６）。
【００５７】
ＡＲ動画生成装置１００は、このような処理を実行することで、ユーザ端末３００ａとユーザ端末３００ｂのそれぞれに応じた品質の合成動画データを生成することが可能である。また、ＡＲ動画生成装置１００は、送信する必要がない合成動画データの生成を省略することが可能であり、自装置のリソースを効率的に使用して処理を進めることができる。
【００５８】
図８は、通信システム１０の各装置における処理を示すシーケンスチャートである。なお、図８に示す例は、ユーザ端末３００ａ、３００ｂの双方に合成動画データを送信する場合、すなわち、図７のステップＳａ２、Ｓａ４のいずれの判断も「ＹＥＳ」となる場合のものである。また、図８においては、図示の便宜上、ＡＲ動画生成装置１００を２つ示し、ユーザ端末３００ａに合成動画データを送信するための構成とユーザ端末３００ｂに合成動画データを送信するための構成とを分けているが、実際には同一の装置で同時並行的に処理が行われてもよい。
【００５９】
まず、ユーザ端末３００ａとユーザ端末３００ｂとは、接続管理装置２０を介して、呼接続を確立する（ステップＳｂ１）。例えば、ユーザは、電話番号やこれに代替するもの（ユーザアカウントなど）を用いてコミュニケーションの相手を指定し、発話を開始することができる。
【００６０】
呼接続が確立すると、接続管理装置２０は、ユーザ端末３００ａ、３００ｂに接続情報を送信する（ステップＳｂ２）。接続情報は、ユーザ端末３００ａとユーザ端末３００ｂとが接続されたときに送信される情報であって、コミュニケーションの相手に関する情報などを含んでいる。例えば、接続情報には、呼接続以降にシステム内部で呼を識別するために用いられる呼識別情報などが含まれる。また、接続情報は、上述した回線情報やリソース情報を含んでもよい。なお、回線情報やリソース情報を接続情報に含む場合、ユーザ端末３００は、第１動画データや第２動画データを送信するか否かを接続情報に基づいて判断してもよい。このようにすれば、図７に示した判定の一部をユーザ端末３００で行うことが可能になる。
【００６１】
また、ユーザ端末３００ａ、３００ｂは、呼接続が確立すると、映像の撮影を開始する（ステップＳｂ３）。すなわち、ユーザ端末３００ａ、３００ｂは、第１撮影部３４０及び第２撮影部３５０を起動し、動画データを送信できる状態にする。そして、ユーザ端末３００ａ、３００ｂは、第１動画データと第２動画データを、ＡＲ動画生成装置１００にそれぞれ送信する（ステップＳｂ４、Ｓｂ５）。ＡＲ動画生成装置１００は、第１動画データお第２動画データを受信すると、合成動画データを生成し（ステップＳｂ６）、ユーザ端末３００ａ、３００ｂに送信する（ステップＳｂ７）。
【００６２】
以上のとおり、本実施形態によれば、一方のユーザが撮影した背景に対して他方のユーザの映像を合成し、合成した映像を用いながら音声メッセージをやり取りすることが可能になる。また、本実施形態においては、動画データの合成をＡＲ動画生成装置１００が行うため、ユーザ端末３００においてポリゴンデータのレンダリングのような比較的負荷が高い処理を実行する必要がない。
【００６３】
また、本実施形態において、ＡＲ動画生成装置１００は、合成動画データの生成態様をリソース情報や回線情報に応じて異ならせることができる。これにより、ＡＲ動画生成装置１００は、遅延するおそれがより少ない態様でデータ転送を行ったり、無駄な処理の実行を省略したりすることが可能である。また、ＡＲ動画生成装置１００は、一方のユーザ端末３００のみが距離画像センサを備え、他方のユーザ端末３００には距離画像センサが備わっていない場合であれば、当該他方のユーザ端末３００に送信する合成動画データのみを生成することができ、このような態様でのコミュニケーションも実現可能である。
【００６４】
［変形例］
本発明は、上述した実施形態の態様に限らず、他の態様でも実施することができる。以下に示すのは、本発明の他の態様の一例である。なお、これらの変形例は、必要に応じて、各々を適宜組み合わせてもよい。
【００６５】
（１）本発明は、二者に限らず、三者以上のコミュニケーションにも適用可能である。この場合において、各ユーザのユーザ端末３００が距離画像センサを備えていてもよいが、特定の一のユーザのみが距離画像センサで自身を撮影する態様も可能である。例えば、第１ユーザ、第２ユーザ、第３ユーザという３名のユーザがコミュニケーションを行う場合において、第１ユーザのみが距離画像センサで自身を撮影し、第２ユーザと第３ユーザは背景のみを撮影する、といった態様でコミュニケーションを行うことも可能である。この場合、ＡＲ動画生成装置１００は、撮影された第１ユーザに相当する画像を抽出し、これを第２ユーザ側で撮影された第２動画データに合成する処理と、第３ユーザ側で撮影された第２動画データに合成する処理とを実行し、第２ユーザと第３ユーザのそれぞれに応じた合成動画データを生成する。
【００６６】
このようにすれば、第２ユーザにあっては、自身が撮影している背景に第１ユーザの映像が重畳された映像を視聴可能である一方、第３ユーザにあっては、自身が撮影している背景に第１ユーザの映像が重畳された映像（すなわち、第１ユーザの映像は重畳されているが、第２ユーザが視聴している映像とは異なる映像）を視聴可能である。
なお、このような態様においては、第１ユーザのユーザ端末３００は第２撮影部３５０を備えていなくてもよく、また、第２ユーザ及び第３ユーザのユーザ端末３００は第１撮影部３４０を備えていなくてもよい。
【００６７】
（２）上述したように、通信システム１０においては、音声メッセージの音量又は音質の変化に応じて合成動画データの映像を変化させたり、あるいは第１動画データの映像の変化に応じて音声メッセージの音量又は音質を変化させることが可能である。具体的な例としては、以下のようなものがある。
【００６８】
例えば、ＡＲ動画生成装置１００は、ユーザ端末３００ａに対して送信する合成動画データに関して、抽出されたオブジェクトを合成する場合において、ユーザ端末３００ｂから送信された音声メッセージの音量が大きくなったときには、当該オブジェクトを拡大する一方、当該音声メッセージの音量が小さくなったときには、当該オブジェクトを縮小するようにしてもよい。また、ＡＲ動画生成装置１００は、音声メッセージにノイズが生じるなどして音質が悪化した場合に、合成動画データが表す映像にも（意図的な）ノイズを付加したり、あるいは画質を劣化させたりしてもよい。このようにすれば、合成される映像と音声との間に感覚的な連動性を与えることが可能である。
【００６９】
また、接続管理装置２００は、ＡＲ動画生成装置１００から被写体の変化を表す情報に基づいて、抽出されたオブジェクトの大きさの変化や、距離情報の変化や、あるいは被写体全体の明るさの変化などを認識することが可能である。接続管理装置２００は、このようにして認識された映像の変化に応じて、例えば、オブジェクトの大きさやその距離の変化に合わせて音量を変化させたり、被写体が明るいときと暗いときとで音質を異ならせたりしてもよい。また、接続管理装置２００は、被写体であるユーザの表情の変化に応じて音質や音量を異ならせてもよい。さらに、接続管理装置２００は、音声メッセージがマルチチャネル（例えばステレオ）のデータの場合であれば、所定のオブジェクトが抽出された位置の変化に応じて音像定位を制御し、例えば、被写体であるユーザの移動に追従するように音量やディレイを調整してもよい。
【００７０】
（３）算出部３１１に相当する機能は、ユーザ端末３００ではなく、ＡＲ動画生成装置１００に備わっていてもよい。すなわち、ＡＲ動画生成装置１００は、ユーザ端末３００から送信された動画データに基づいて座標系を算出するように構成されてもよい。算出部３１１に相当する機能は、例えば、第２受信部１１２ａ、１１２ｂが有していてもよい。
【００７１】
（４）ＡＲ動画生成装置１００は、ユーザ端末３００の動き（より詳細には、第２撮影部３５０の動き）に応じて、抽出したオブジェクトを回転させて合成することが可能である。しかし、距離画像センサで撮影ができるのは、ユーザが当該センサに向けている側（正面側）のみであって、反対側（背面側）を撮影することはできない。したがって、抽出されたオブジェクトのうち、距離画像センサで撮影できない部分については、これを表示させないか、あるいはあらかじめ決められた適当な代替的な映像を表示させるようにすればよい。
【００７２】
なお、オブジェクトの回転は、ユーザの操作によって行われてもよい。すなわち、ＡＲ動画生成装置１００は、ユーザの操作を受け付け、受け付けた操作に応じてオブジェクトを回転させてから、これを背景の映像に合成して合成動画データを生成することが可能である。
【００７３】
（５）ＡＲ動画生成装置１００は、抽出したオブジェクトに所定の画像を付加し、これを背景に合成することも可能である。ここでいう所定の画像とは、例えば、ユーザの顔や身体に装着する装飾品を模した画像（サングラス、洋服など）である。このようにすれば、ユーザの顔や身体の一部を隠した映像を表示することが可能になる。あるいは、ＡＲ動画生成装置１００は、抽出したオブジェクトを所定の画像（アバタなど）に置き換えて合成を行ってもよい。ＡＲ動画生成装置１００は、第２動画データが送信されてこなかった場合や、第２動画データの転送に遅延が生じている場合を判断し、このような場合に置き換えを行うようにしてもよい。なお、これらの画像を表示するための画像データは、あらかじめＡＲ動画生成装置１００や接続管理装置２００に記憶されていてもよいし、ユーザ端末３００がコミュニケーションを開始するときに接続管理装置２００に送信してもよい。
【００７４】
（６）接続情報には、上述した変形例（４）に示した画像データが含まれてもよい。また、接続情報は、このほかにも、ユーザがあらかじめ設定した属性情報（性別、趣味）などを含み得る。変形例（４）において、ＡＲ動画生成装置１００は、抽出したオブジェクトを所定の画像に置き換え、又は当該オブジェクトに所定の画像を付加する場合に、表示すべき画像を属性情報に基づいて決定してもよい。
【００７５】
（７）色情報の画素のサイズと距離情報の画素のサイズ、すなわち両者の解像度は、必ずしも一致していなくてもよい。例えば、距離情報の１画素は、色情報の４画素（縦２画素×横２画素）に相当していてもよい。この場合の距離情報は、色情報の４画素分について同一の値であるとしてもよいが、隣り合う画素の距離情報を参照して適当な補間処理を実行して算出されてもよい。
【００７６】
（８）本発明において抽出されるオブジェクトは、距離情報が所定の条件を満たすものであればどのようなものであってもよく、必ずしもユーザである必要はない。例えば、ユーザは、自身に代えて、人形や、飼育しているペットを撮影し、これを合成対象の映像とすることも可能である。
【００７７】
（９）ＡＲ動画生成装置１００及び接続管理装置２００は、別体の装置として構成されるのではなく、一体に構成されてもよい。また、本発明は、音声メッセージに代えて、テキストメッセージを交換するものであってもよい。このようにすれば、チャットのようなコミュニケーションにも本発明を適用することが可能である。この場合において、ＡＲ動画生成装置１００は、音量や音質に代えて、文字のサイズや文字装飾（フォント、下線、色など）に応じて、あるいは特定の文字（感嘆符など）の有無に応じて映像を異ならせることも可能である。
【００７８】
（１０）本発明は、ＡＲ動画生成装置やこれを備える画像コミュニケーションシステムとしてだけではなく、ＡＲ動画生成装置が実行するプログラムや、合成した動画を用いたコミュニケーション方法として把握することも可能である。また、このプログラムは、光ディスクなどの記録媒体に記録した形態や、インターネットなどのネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にする形態などでも提供することができる。
【符号の説明】
【００７９】
１０…通信システム、１００…ＡＲ動画生成装置、１１０…制御部、１１１ａ、１１１ｂ…第１受信部、１１２ａ、１１２ｂ…第２受信部、１１３ａ、１１３ｂ…抽出部、１１４ａ、１１４ｂ…生成部、１１５ａ、１１５ｂ…送信部、１１６…データ授受部、１１７…判断部、１１８…解析部、記憶部…１２０、通信部…１３０、２００…接続管理装置、２１０…制御部、２１１…送受信部、２１２…データ授受部、２２０…記憶部、１３０…通信部、３００、３００ａ、３００ｂ…ユーザ端末、３１０…制御部、３２０…記憶部、３３０…通信部、３４０…第１撮影部、３５０…第２撮影部、３６０…表示部、３７０…音声入出力部、３８０…操作部、４００…ネットワーク
【図１】
0005813542.tif 000002
【図２】
0005813542.tif 000003
【図３】
0005813542.tif 000004
【図４】
0005813542.tif 000005
【図５】
0005813542.tif 000006
【図６】
0005813542.tif 000007
【図７】
0005813542.tif 000008
【図８】
0005813542.tif 000009