(57)【要約】【課題】  複数の利用者が、自身から遠隔した場所に存在する対象をリアルタイムで同時に観察しながら、遠隔地に一緒にいるような臨場感をもって相互に対話や会話を行うことができるライブ映像・音声送信システムを提供することを目的とする。【解決手段】  複数の端末装置ｉ（ｉ＝１〜Ｎｉ）に対して、該端末装置ｉから遠隔した場所に存在する対象を撮像した結果に基づくライブ映像を送信する機能と；前記複数の端末装置ｉ（ｉ＝１〜Ｎｉ）から、該端末装置ｉが該端末装置ｉの利用者が発する音声を集音した結果に基づいて生成した音声信号ｉを受信し、該複数の音声信号ｉ（ｉ＝１〜Ｎｉ）のすべて又は一部を重畳して重畳音声信号を生成する機能と；前記重畳音声信号を前記複数の端末装置ｉ（ｉ＝１〜Ｎｉ）のすべて宛又は一部宛に送信する機能と；を有する、ように構成する。【選択図】図１
2020191619.tif 000002
【特許請求の範囲】
【請求項１】
複数の端末装置ｉ（ｉ＝１〜Ｎｉ）に対して、該端末装置ｉから遠隔した場所に存在する対象を撮像した結果に基づくライブ映像を送信する機能と、
前記複数の端末装置ｉ（ｉ＝１〜Ｎｉ）から、該端末装置ｉが該端末装置ｉの利用者（以下、「利用者ｉ」と略記する）が発する音声を集音した結果に基づいて生成した音声信号ｉを受信し、該複数の音声信号ｉ（ｉ＝１〜Ｎｉ）のすべて又は一部を重畳して重畳音声信号を生成する機能と、
前記重畳音声信号を前記複数の端末装置ｉ（ｉ＝１〜Ｎｉ）のすべて宛又は一部宛に送信する機能と、
を有する、
ことを特徴とする、ライブ映像・音声送信システム。
【請求項２】
前記ライブ映像・音声送信システムは、
前記端末装置ｉに対して、該端末装置ｉ以外の端末装置から受信した音声信号だけを重畳して生成した重畳音声信号を送信する、
ことを特徴とする、請求項１に記載のライブ映像・音声送信システム。
【請求項３】
前記ライブ映像・音声送信システムは、
特定エリア内にある対象を撮像した結果に基づいて、「表示範囲が異なる複数系統の映像信号」を生成し、各々の系統の映像信号を複数の端末装置ｉ宛に同時に送信する、
ことを特徴とする、請求項１又は２に記載のライブ映像・音声送信システム。
【請求項４】
前記ライブ映像・音声送信システムは、
前記特定エリア内に配置され、該特定エリア内にある対象を撮像する撮像手段と；該撮像手段が撮像した結果に基づいて映像信号を生成・送信する映像信号送信手段と；を備える複数の映像信号生成・送信装置ｊ（ｊ＝１〜Ｎｊ）から映像信号を受信し、
該映像信号に基づいて、前記「表示範囲が異なる複数系統の映像信号」を生成する、
ことを特徴とする、請求項３に記載のライブ映像・音声送信システム。
【請求項５】
前記映像信号生成・送信装置ｊは、周囲の音声を集音する集音手段と；該集音手段が集音した結果に基づいて音声信号を生成・送信する音声信号送信手段と；を備え、
前記ライブ映像・音声送信システムは、
複数の映像信号生成・送信装置ｊ（ｊ＝１〜Ｎｊ）から音声信号ｊを受信し、
該複数の音声信号ｊ（ｊ＝１〜Ｎｊ）のすべて又は一部を前記重畳音声信号にさらに重畳し、該重畳後の音声信号を前記複数の端末装置ｉ（ｉ＝１〜Ｎｉ）のすべて宛又は一部宛に送信する機能を有する、
ことを特徴とする、請求項４に記載のライブ映像・音声送信システム。
【請求項６】
前記ライブ映像・音声送信システムは、
前記複数の端末装置ｉ（ｉ＝１〜Ｎｉ）から、該端末装置ｉが利用者ｉの外観を撮影した結果に基づいて生成した映像信号（以下、「端末装置の利用者の外観を撮影した結果に基づいて生成した映像信号」を「外観像信号」と略記し、「利用者ｉの外観を撮影した結果に基づいて生成した映像信号」を「外観像信号ｉ」と略記する）を受信し、そのままで又は必要な変換を行った上で、前記複数の端末装置ｉのすべて宛又は一部宛に送信する、
ことを特徴とする、請求項１又は２に記載のライブ映像・音声送信システム。
【請求項７】
前記ライブ映像・音声送信システムは、
前記端末装置ｉに対して、外観像信号ｉ以外の外観像信号だけを送信する、
ことを特徴とする、請求項６に記載のライブ映像・音声送信システム。
【請求項８】
前記ライブ映像・音声送信システムは、
前記外観像信号ｉ（ｉ＝１〜Ｎｉ）に基づいて、複数の利用者の外観像を含む映像を合成し、該合成した映像を伝達する信号を、前記複数の端末装置ｉ（ｉ＝１〜Ｎｉ）のすべて宛又は一部宛に送信する、
ことを特徴とする、請求項６に記載のライブ映像・音声送信システム。
【請求項９】
前記ライブ映像・音声送信システムは、
利用者ｉ以外の利用者の外観像だけを含む映像を合成し、該合成した映像を伝達する信号を、前記端末装置ｉ宛に送信する、
ことを特徴とする、請求項８に記載のライブ映像・音声送信システム。
【請求項１０】
前記複数の端末装置ｉ（ｉ＝１〜Ｎｉ）のうちの少なくとも一つは、
前記ライブ映像・音声送信システムから受信した映像信号に基づいて映像を表示する３Ｄ-ＨＭＤ（3-dimensional Head Mounted Display）と；利用者の外観を撮像する外観撮像手段と；を備えた上で、
外観像信号ｉを前記ライブ映像・音声送信システム宛に送信する機能を有し、
前記ライブ映像・音声送信システムは、
前記３Ｄ-ＨＭＤを備える端末装置ｉに対して、利用者の外観像を含む３次元映像信号を送信する、
ことを特徴とする、請求項６乃至９のいずれか一項に記載のライブ映像・音声システム。
【請求項１１】
前記端末装置ｉは、
「前記外観撮像手段が３Ｄ-ＨＭＤを装着している状態での利用者ｉの外観を撮影した結果に基づいて生成した映像信号（以下、「ＨＭＤ装着外観像信号ｉ」）」と、「前記外観撮像手段が３Ｄ-ＨＭＤを装着する以前の状態での利用者ｉの外観を撮影した結果に基づいて生成した画像信号（以下、「ＨＭＤ未装着外観像信号ｉ」と略記する）」とを前記ライブ映像・音声送信システム宛に送信する機能を有し、
前記ライブ映像・音声送信システムは、
前記端末装置ｉ（ｉ＝１〜Ｎｉ）からＨＭＤ装着外観像信号ｉを受信している状態でも、ＨＭＤ装着外観像信号ｉとそれ以前に受信しているＨＭＤ未装着外観像信号ｉとに基づいて、前記端末装置ｉの利用者が３Ｄ-ＨＭＤを装着していない外観像を含む映像を合成し、該合成した映像を伝達する信号を、前記複数の端末装置ｉ（ｉ＝１〜Ｎｉ）のすべて宛又は一部宛に送信するする機能を有する、
ことを特徴とする、請求項１０に記載のライブ映像・音声システム。
【請求項１２】
請求項６又は７に記載のライブ映像・音声システムとともに使用される端末装置ｉであって、
該端末装置ｉは、前記前記ライブ映像・音声送信システムから受信した外観像信号に基づいて、複数の利用者の外観像を含む映像を合成し、該合成した映像を表示する機能を有する、
ことを特徴とする端末装置ｉ。
【請求項１３】
前記端末装置ｉは、利用者ｉ以外の利用者の外観像だけを含む映像を合成する、
ことを特徴とする、請求項１２に記載の端末装置ｉ端末装置ｉ。
【請求項１４】
請求項１０に記載のライブ映像・音声システムとともに使用される端末装置ｉであって、
該端末装置ｉは、
前記ライブ映像・音声送信システムから受信した映像信号に基づいて映像を表示する３Ｄ-ＨＭＤと；利用者の外観を撮像する外観撮像手段と；を備えた上で、
前記外観撮像手段が前記端末装置ｉの利用者ｉが３Ｄ-ＨＭＤを装着している状態での外観を撮影した結果（以下、「ＨＭＤ装着外観撮影結果」と略記する）と、前記外観撮像手段が前記端末装置ｉの利用者が３Ｄ-ＨＭＤを装着する以前の状態での外観を撮影した結果（以下、「ＨＭＤ未装着外観撮影結果」と略記する）とに基づいて、該端末装置の利用者が３Ｄ-ＨＭＤを装着している状態でも、前記端末装置ｉの利用者ｉが３Ｄ-ＨＭＤを装着していない外観像を含む映像を合成し、該合成した映像を伝達する信号を、前記ライブ映像・音声送信システム宛に送信する機能を有する、
ことを特徴とする端末装置ｉ。
【請求項１５】
前記３Ｄ-ＨＭＤは、前記端末装置ｉの利用者ｉの眼の周辺を撮影する眼周辺撮像手段を備え、
前記端末装置は、前記ＨＭＤ装着外観撮影結果、前記ＨＭＤ未装着外観撮影結果、及び、前記眼周辺撮像手段が撮影した結果に基づいて、該端末装置の利用者が３Ｄ-ＨＭＤを装着している状態でも、前記端末装置ｉの利用者ｉが３Ｄ-ＨＭＤを装着していない外観像を含む映像を合成する機能を有する、
ことを特徴とする、請求項１４に記載の端末装置ｉ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の利用者に対して、映像信号と音声信号を同時にリアルタイムで送信するライブ映像・音声送信システムに関し、特に、複数の利用者が、自身から遠隔した場所に存在する対象をリアルタイムで同時に観察しながら、相互に対話や会話を行うことができるライブ映像・音声送信システムに関する。就中、特に、あたかも遠隔した観光地など（秘境、及び、宇宙空間や海中などのフロンティア空間を含む）に一緒にいるような臨場感をもって対話や会話を楽しむことができるライブ映像・音声送信システムに関する。また、就中、特に、互いに遠隔した場所にいる複数の利用者が会議を行うことができるライブ映像・音声送信システムに関する。
【背景技術】
【０００２】
利用者が、自身から遠隔した観光地などに存在する対象をリアルタイムで同時に観察できるようにすることで、利用者に対して「疑似的な観光体験」を提供するライブ映像送信システムは既に開発されている。
【０００３】
しかし、従来のライブ映像送信システムでは、各々の利用者は、単独で現地の映像や音声を楽しむだけで、グループでの観光旅行のように、複数の利用者が互いに感想を述べ合ったり、他の利用者に対して自身が観察している対象に注意を促したりすることができないため、「観光体験」の楽しみが十分に高まらないという問題があった。
【０００４】
また、互いに遠隔した場所にいる複数の利用者が会議を行うためのライブ映像送信システムは開発されている。
【０００５】
しかし、従来の遠隔会議用ライブ映像送信システムでは、自分以外の会議参加者が発する音声をすべて聞こうとすると、自分以外の会議参加者の人数分だけの放音手段を設ける必要があるため、会議参加者の人数が増えると、設備が複雑になるという問題があった。
【０００６】
また、利用者の視野の大部分を覆って周囲の視覚情報を遮断した上で、左右の投射部から遠隔地の映像を投射することで、利用者があたかもその場に存在しているような没入感をもって遠隔地の情景を見ることができる表示手段として３Ｄ-ＨＭＤ（Head Mounted Display）が実用化されている。しかし、遠隔会議において、会議のある参加者Ａが３Ｄ-ＨＭＤを使用すると、従来の遠隔会議用ライブ映像送信システムでは、他の参加者は、参加者Ａの「３Ｄ-ＨＭＤを装着している状態での外観像」しか見えないため、参加者Ａが発言している際の表情が読み取れず、意思の疎通が円滑に進まないという問題があった。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許６０８９２５６号公報
【特許文献２】特許６２５２９６６号公報
【特許文献３】特許６３６２２３１号公報
【特許文献４】特許６４７８１６９号公報
【特許文献５】特許６４７８１７０号公報
【特許文献６】特開平０７−０５８８５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、このような事情に鑑みてなされたものであり、複数の利用者が、自身から遠隔した観光地などに存在する対象をリアルタイムで同時に観察しながら、遠隔した観光地などに一緒にいるような臨場感をもって相互に対話や会話を行うことができるライブ映像・音声送信システムを提供することを目的とする。
【０００９】
また、本発明は、互いに遠隔した場所にいる複数の利用者が、自分以外の会議の参加者の人数分だけの放音手段を要することなく、遠隔会議を行うことができるライブ映像・音声送信システムを提供することを目的とする。
【００１０】
また、本発明は、会議の参加者が３Ｄ-ＨＭＤを使用することで、会議の参加者が同じ会議場に一緒に存在しているような没入感をもって会議を行うとともに、発言者の表情も観察できるライブ映像・音声送信システムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、ライブ映像・音声送信システムに係る本発明の第１の様態は、
複数の端末装置ｉ（ｉ＝１〜Ｎｉ）に対して、該端末装置ｉから遠隔した場所に存在する対象を撮像した結果に基づくライブ映像を送信する機能と、
前記複数の端末装置ｉ（ｉ＝１〜Ｎｉ）から、該端末装置ｉが該端末装置ｉの利用者（以下、「利用者ｉ」と略記する）が発する音声を集音した結果に基づいて生成した音声信号ｉを受信し、該複数の音声信号ｉ（ｉ＝１〜Ｎｉ）のすべて又は一部を重畳して重畳音声信号を生成する機能と、
前記重畳音声信号を前記複数の端末装置ｉ（ｉ＝１〜Ｎｉ）のすべて宛又は一部宛に送信する機能と、
を有する、
ように構成した。
【００１２】
また、上記目的を達成するために、ライブ映像・音声送信システムに係る本発明の第２の様態は、
第１の様態のライブ映像・音声送信システムにおいて、
前記ライブ映像・音声送信システムは、
前記端末装置ｉに対して、該端末装置ｉ以外の端末装置から受信した音声信号だけを重畳して生成した重畳音声信号を送信する、
ように構成した。
【００１３】
また、上記目的を達成するために、ライブ映像・音声送信システムに係る本発明の第３の様態は、
第１又は第２の様態のライブ映像・音声送信システムにおいて、
前記ライブ映像・音声送信システムは、
特定エリア内にある対象を撮像した結果に基づいて、「表示範囲が異なる複数系統の映像信号」を生成し、各々の系統の映像信号を複数の端末装置ｉ宛に同時に送信する、
ように構成した。
【００１４】
また、上記目的を達成するために、ライブ映像・音声送信システムに係る本発明の第４の様態は、
第３の様態のライブ映像・音声送信システムにおいて、
前記ライブ映像・音声送信システムは、
前記特定エリア内に配置され、該特定エリア内にある対象を撮像する撮像手段と；該撮像手段が撮像した結果に基づいて映像信号を生成・送信する映像信号送信手段と；を備える複数の映像信号生成・送信装置ｊ（ｊ＝１〜Ｎｊ）から映像信号を受信し、
該映像信号に基づいて、前記「表示範囲が異なる複数系統の映像信号」を生成する、
ように構成した。
【００１５】
また、上記目的を達成するために、ライブ映像・音声送信システムに係る本発明の第５の様態は、
第４の様態のライブ映像・音声送信システムにおいて、
前記映像信号生成・送信装置ｊは、周囲の音声を集音する集音手段と；該集音手段が集音した結果に基づいて音声信号を生成・送信する音声信号送信手段と；を備え、
前記ライブ映像・音声送信システムは、
複数の映像信号生成・送信装置ｊ（ｊ＝１〜Ｎｊ）から音声信号ｊを受信し、
該複数の音声信号ｊ（ｊ＝１〜Ｎｊ）のすべて又は一部を前記重畳音声信号にさらに重畳し、該重畳後の音声信号を前記複数の端末装置ｉ（ｉ＝１〜Ｎｉ）のすべて宛又は一部宛に送信する機能を有する、
ように構成した。
【００１６】
また、上記目的を達成するために、ライブ映像・音声送信システムに係る本発明の第６の様態は、
第１又は第２の様態のライブ映像・音声送信システムにおいて、
前記ライブ映像・音声送信システムは、
前記複数の端末装置ｉ（ｉ＝１〜Ｎｉ）から、該端末装置ｉが利用者ｉの外観を撮影した結果に基づいて生成した映像信号（以下、「端末装置の利用者の外観を撮影した結果に基づいて生成した映像信号」を「外観像信号」と略記し、「利用者ｉの外観を撮影した結果に基づいて生成した映像信号」を「外観像信号ｉ」と略記する）を受信し、そのままで又は必要な変換を行った上で、前記複数の端末装置ｉのすべて宛又は一部宛に送信する、
ように構成した。
【００１７】
また、上記目的を達成するために、ライブ映像・音声送信システムに係る本発明の第７の様態は、
第６の様態のライブ映像・音声送信システムにおいて、
前記ライブ映像・音声送信システムは、
前記端末装置ｉに対して、外観像信号ｉ以外の外観像信号だけを送信する、
ように構成した。
【００１８】
また、上記目的を達成するために、ライブ映像・音声送信システムに係る本発明の第８の様態は、
第６の様態のライブ映像・音声送信システムにおいて、
前記ライブ映像・音声送信システムは、
前記外観像信号ｉ（ｉ＝１〜Ｎｉ）に基づいて、複数の利用者の外観像を含む映像を合成し、該合成した映像を伝達する信号を、前記複数の端末装置ｉ（ｉ＝１〜Ｎｉ）のすべて宛又は一部宛に送信する、
ように構成した。
【００１９】
また、上記目的を達成するために、ライブ映像・音声送信システムに係る本発明の第９の様態は、
第８の様態のライブ映像・音声送信システムにおいて、
前記ライブ映像・音声送信システムは、
利用者ｉ以外の利用者の外観像だけを含む映像を合成し、該合成した映像を伝達する信号を、前記端末装置ｉ宛に送信する、
ように構成した。
【００２０】
また、上記目的を達成するために、ライブ映像・音声送信システムに係る本発明の第１０の様態は、
第６乃至第９のいずれか一つの様態のライブ映像・音声送信システムにおいて、
前記複数の端末装置ｉ（ｉ＝１〜Ｎｉ）のうちの少なくとも一つは、
前記ライブ映像・音声送信システムから受信した映像信号に基づいて映像を表示する３Ｄ-ＨＭＤ（3-dimensional Head Mounted Display）と；利用者の外観を撮像する外観撮像手段と；を備えた上で、
外観像信号ｉを前記ライブ映像・音声送信システム宛に送信する機能を有し、
前記ライブ映像・音声送信システムは、
前記３Ｄ-ＨＭＤを備える端末装置ｉに対して、利用者の外観像を含む３次元映像信号を送信する、
ように構成した。
【００２１】
また、上記目的を達成するために、ライブ映像・音声送信システムに係る本発明の第１１の様態は、
第１０の様態のライブ映像・音声送信システムにおいて、
前記端末装置ｉは、
「前記外観撮像手段が３Ｄ-ＨＭＤを装着している状態での利用者ｉの外観を撮影した結果に基づいて生成した映像信号（以下、「ＨＭＤ装着外観像信号ｉ」）」と、「前記外観撮像手段が３Ｄ-ＨＭＤを装着する以前の状態での利用者ｉの外観を撮影した結果に基づいて生成した画像信号（以下、「ＨＭＤ未装着外観像信号ｉ」と略記する）」とを前記ライブ映像・音声送信システム宛に送信する機能を有し、
前記ライブ映像・音声送信システムは、
前記端末装置ｉ（ｉ＝１〜Ｎｉ）からＨＭＤ装着外観像信号ｉを受信している状態でも、ＨＭＤ装着外観像信号ｉとそれ以前に受信しているＨＭＤ未装着外観像信号ｉとに基づいて、前記端末装置ｉの利用者が３Ｄ-ＨＭＤを装着していない外観像を含む映像を合成し、該合成した映像を伝達する信号を、前記複数の端末装置ｉ（ｉ＝１〜Ｎｉ）のすべて宛又は一部宛に送信するする機能を有する、
ように構成した。
【００２２】
また、上記目的を達成するために、ライブ映像・音声送信システムとともに使用される端末装置に係る本発明の第１２の様態は、
第６又は第７の様態のライブ映像・音声システムとともに使用される端末装置であって、
該端末装置ｉは、前記前記ライブ映像・音声送信システムから受信した外観像信号に基づいて、複数の利用者の外観像を含む映像を合成し、該合成した映像を表示する機能を有する、
ように構成した。
【００２３】
また、上記目的を達成するために、ライブ映像・音声送信システムとともに使用される端末装置に係る本発明の第１３の様態は、
第１２の様態の端末装置ｉにおいて、
前記端末装置ｉは、利用者ｉ以外の利用者の外観像だけを含む映像を合成する、
ように構成した。
【００２４】
また、上記目的を達成するために、ライブ映像・音声送信システムとともに使用される端末装置に係る本発明の第１４の様態は、
請求項１０に記載のライブ映像・音声システムとともに使用される端末装置ｉであって、
該端末装置ｉは、
前記ライブ映像・音声送信システムから受信した映像信号に基づいて映像を表示する３Ｄ-ＨＭＤと；利用者の外観を撮像する外観撮像手段と；を備えた上で、
前記外観撮像手段が前記端末装置ｉの利用者ｉが３Ｄ-ＨＭＤを装着している状態での外観を撮影した結果（以下、「ＨＭＤ装着外観撮影結果」と略記する）と、前記外観撮像手段が前記端末装置ｉの利用者が３Ｄ-ＨＭＤを装着する以前の状態での外観を撮影した結果（以下、「ＨＭＤ未装着外観撮影結果」と略記する）とに基づいて、該端末装置の利用者が３Ｄ-ＨＭＤを装着している状態でも、前記端末装置ｉの利用者ｉが３Ｄ-ＨＭＤを装着していない外観像を含む映像を合成し、該合成した映像を伝達する信号を、前記ライブ映像・音声送信システム宛に送信する機能を有する、
ように構成した。
【００２５】
また、上記目的を達成するために、ライブ映像・音声送信システムとともに使用される端末装置に係る本発明の第１５の様態は、
第１４の様態の端末装置ｉにおいて、
前記３Ｄ-ＨＭＤは、前記端末装置ｉの利用者ｉの眼の周辺を撮影する眼周辺撮像手段を備え、
前記端末装置は、前記ＨＭＤ装着外観撮影結果、前記ＨＭＤ未装着外観撮影結果、及び、前記眼周辺撮像手段が撮影した結果に基づいて、該端末装置の利用者が３Ｄ-ＨＭＤを装着している状態でも、前記端末装置ｉの利用者ｉが３Ｄ-ＨＭＤを装着していない外観像を含む映像を合成する機能を有する、
ように構成した。
【発明の効果】
【００２６】
本発明のライブ映像・音声送信システムによれば、複数の利用者が、自身から遠隔した場所に存在する対象をリアルタイム観察しながら、相互に対話や会話を行うことができる。
【００２７】
特に、本発明の第２の様態のライブ映像・音声送信システムによれば、「端末装置ｉが受信する重畳音声信号が伝達する音声」には端末装置ｉの利用者が発する音声が含まれないため、端末装置ｉの利用者が、「自分自身が発する音声を外部音声として聞く」ことに伴う不快な感覚を回避することができる。
【００２８】
また、特に、本発明の第３乃至第５のいずれかの様態のライブ映像・音声送信システムによれば、複数の利用者が、遠隔した観光地など（秘境、及び、宇宙空間や海中などのフロンティア空間を含む）にある対象をリアルタイムで同時に観察しながら、当該遠隔した観光地などに一緒にいるような臨場感をもって相互に対話や会話を行うことができる。
【００２９】
就中、特に、本発明の第５の様態のライブ映像・音声送信システムによれば、端末装置ｉの利用者は、「自分たち自身が音声」と「観察している対象が存在する特定エリアにおける音声」を重畳した音声を聞くことができるので、自分たちが「あたかも当該特定エリアに一緒にいるような臨場感」を一層強く感じることができる。
【００３０】
また、特に、本発明の第６乃至第１１の様態のライブ映像・音声送信システムによれば、互いに遠隔した場所にいる複数の利用者が、自分以外の会議の参加者の人数分だけの放音手段を要することなく、遠隔会議を行うことができる。
【００３１】
就中、特に、本発明の第７の様態のライブ映像・音声送信システムによれば、端末装置ｉでは、受信した映像信号を合成することで、端末装置ｉ以外の端末装置の利用者の外観像だけを含むような映像を表示することができる。
【００３２】
また、就中、特に、本発明の第８又は第９の様態のライブ映像・音声送信システムによれば、端末装置ｉでは、該端末装置ｉ自身が映像信号を合成する機能を有さないでも、会議の参加者（＝複数の端末装置ｉ（ｉ＝１〜Ｎｉ）の利用者）のすべて又は一部の外観像を含むような映像を表示することができる。
【００３３】
また、就中、特に、本発明の第９の様態のライブ映像・音声送信システムによれば、端末装置ｉでは、該端末装置ｉ自身が映像信号を合成する機能を有さないでも、端末装置ｉ以外の端末装置の利用者の外観像だけを含むような映像を表示することができる。
【００３４】
また、就中、特に、本発明の第１０又は第１１の様態のライブ映像・音声送信システムによれば、３Ｄ-ＨＭＤを備える端末装置ｉの利用者ｉは、会議の参加者（＝複数の端末装置ｉ（ｉ＝１〜Ｎｉ）の利用者）のすべて又は一部があたかも眼前に存在しているような没入感をもって会議を行うことができる。
【００３５】
また、就中、特に、本発明の第１１の様態のライブ映像・音声送信システムによれば、利用者ｉが３Ｄ-ＨＭＤを装着している状態でも、３Ｄ-ＨＭＤを装着していない外観像の映像を伝達する信号が送信されるため、利用者ｉ以外の会議の参加者は、利用者ｉの表情を読み取ることができるため、意思の疎通を円滑に進めることができる。
【００３６】
また、第８又は第９の様態のライブ映像・音声送信システムにおいては、利用者の数が増えたり、合成した映像にその外観像が含まれる利用者の組み合わせのパターンが増えたりすると、ライブ映像・音声送信システムが複数の利用者の外観像を含む映像を合成するための情報処理の負荷が著しく増大するという問題がある。
これに対して、ライブ映像・音声送信システムとともに使用される本発明の第１２又は１３の様態の端末装置ｉによれば、複数の利用者の外観像を含む映像の合成は各端末装置ｉ（ｉ＝１〜Ｎｉ）において行われるため、利用者の数が増えたり、合成した映像にその外観像が含まれる利用者の組み合わせのパターンが増えたりしても、ライブ映像・音声送信システムの情報処理の負荷が増大することはない。
【００３７】
また、第１０の様態のライブ映像・音声送信システムにおいては、３Ｄ-ＨＭＤを備える端末装置の利用者の数が増えると、ライブ映像・音声送信システムが、利用者が３Ｄ-ＨＭＤを装着していない外観像を含む映像を合成するための情報処理の負荷が著しく増大するという問題がある。
これに対して、ライブ映像・音声送信システムとともに使用される本発明の第１４又は１５の様態の端末装置ｉによれば、利用者が３Ｄ-ＨＭＤを装着していない外観像を含む映像の合成は各端末装置ｉ（ｉ＝１〜Ｎｉ）において行われるため、利用者の数が増えても、ライブ映像・音声送信システムの情報処理の負荷が増大することはない。
【００３８】
また、特に、本発明の第１５の様態の端末装置ｉによれば、利用者が３Ｄ-ＨＭＤを装着していない外観像の合成は、ＨＭＤ装着外観撮影結果とＨＭＤ未装着外観撮影結果だけではなく、眼周辺撮像手段が撮影した結果も活用して行われるため、合成された「利用者が３Ｄ-ＨＭＤを装着していない外観像」は、実際の外観像と近いものとすることができる。
【図面の簡単な説明】
【００３９】
【図１】本発明の実施例１に係るライブ映像・音声送信システムの構成及び機能を説明するためのブロック図である。
【図２】本発明の実施例２に係るライブ映像・音声送信システムの構成及び機能を説明するためのブロック図である。
【図３】本発明の実施例２に係るライブ映像・音声送信システムとともに使用される端末装置の構成及び機能を説明するための外観図である。
【図４】本発明の実施例２に係るライブ映像・音声送信システムとともに使用される端末装置の構成及び機能を説明するための外観図である。
【図５】本発明の実施例２に係るライブ映像・音声送信システムとともに使用される端末装置の構成及び機能を説明するための外観図である。
【図６】本発明の実施例２に係るライブ映像・音声送信システムとともに使用される端末装置の構成及び機能を説明するための外観図である。
【図７】本発明の実施例２に係るライブ映像・音声送信システムとともに使用される端末装置の構成及び機能を説明するための外観図である。
【図８】本発明の実施例２に係るライブ映像・音声送信システム及びライブ映像・音声送信システムとともに使用される端末装置の機能を説明するためのイメージ図である。
【図９】本発明の実施例２に係るライブ映像・音声送信システム及びライブ映像・音声送信システムとともに使用される端末装置の機能を説明するためのイメージ図である。
【発明を実施するための形態】
【００４０】
以下、図面を参照して本発明の実施形態について説明する。ただし、本発明はかかる実
施形態に限定されず、その技術思想の範囲内で種々の変更が可能である。
【実施例１】
【００４１】
図１は、本発明の実施例１に係るライブ映像・音声送信システムの構成及び機能を説明するためのブロック図であり、特に、複数の利用者が、遠隔地で打ち上げられている花火をリアルタイムで同時に楽しみながら、相互に会話を行っている状況を説明するためのブロック図である。
【００４２】
本実施例のライブ映像・音声送信システムにおいては、複数の空撮ドローン１_11〜空撮ドローンｊ_1j（ｊは「花火が打ち上げられている遠隔地で稼働可能な空撮ドローンの数」であり、任意に設定できる。図には空撮ドローン１_11〜空撮ドローン６_16だけを表示している）が、打ち上げられた花火を見通せる空中に浮遊している。
【００４３】
空撮ドローン１_11〜空撮ドローンｊ_1jは、マルチコプター式の無人航空機であって、各々の回転翼の回転数が適切に制御されることによって空中を浮遊した上で、直進運動、旋回運動及び回転運動を行うことができる。
【００４４】
また、空撮ドローン１_11〜ｊ_1jは、データ処理・通信ユニットを備えており、各々のデータ処理・通信ユニットには、ＩＰ（Internet Protocol）アドレスが付与されている。
【００４５】
さらに、空撮ドローン１_11〜ｊ_1jは、それぞれ、２つのＣＭＯＳカメラモジュールを備えており、該ＣＭＯＳカメラモジュールは、内蔵するイメージセンサーによって、打ち上げられた花火を撮影し、その結果に基づく撮像電気信号を前記データ処理・通信ユニットに送信する。そして、該データ処理・通信ユニットは、前記２つのＣＭＯＳカメラモジュールから受信した撮像電気信号を非圧縮の３Ｄ映像信号に変換した上で、現地サーバ2に送信する。また、前記ＣＭＯＳカメラモジュールは共通の３ウェイ雲台の上に設置されており、３ウェイ雲台を３つの回転軸のまわりに回転させることで、ＣＭＯＳカメラモジュールの前後・右左のティルト及びパンを実現できるようになっている。
【００４６】
なお、本実施例では、撮像手段としてＣＭＯＳカメラモジュールを使用しているが、それ以外の撮像手段（例えばＣＣＤカメラモジュールなど）を使用してもよい。
【００４７】
また、空撮ドローン１_11〜ｊ_1jは、マイクロフォンを備えており、該マイクロフォンが花火の打ち上げ音などの周囲の音声を集音し、その結果に基づく音声信号を前記データ処理・通信ユニットに送信する。そして、該データ処理・通信ユニットは、前記音声信号を現地サーバ2に送信する。
【００４８】
さらに、空撮ドローン１_11〜ｊ_1jは、前記イメージセンサーと前記映像信号変換手段とによって生成される非圧縮映像信号が担う映像情報に基づき、他の空撮ドローン及びそれら以外の障害物への接近を判断する接近判断手段を備えている。そして、前記飛行制御手段は、現地サーバ2から送信される飛行制御二次信号（後の段落で説明する）に加えて、前記接近判断手段が判断した結果にも基づいて、各々の回転翼の回転数を制御することにより、空撮ドローン及びそれら以外の障害物との接触を回避することができる。
【００４９】
一方、本実施例のライブ映像・音声送信システムにおいては、複数の端末装置Ａ１_41〜端末装置Ａｉ_4i（ｉは「インターネット3を経由して現地サーバ2にアクセス可能な端末装置Ａの数」であり、任意に設定できる。図には端末装置Ａ１_41〜端末装置Ａ６_46だけを表示している）が、インターネット3を経由して現地サーバ2にアクセスしている。
【００５０】
端末装置Ａ１_41〜端末装置Ａｉ_4iは、コントローラとヘッドセットから構成されており、コントローラの内部には、ＩＰアドレスが付与されたデータ処理・通信ユニットが格納されている。また、ヘッドセットは、３Ｄ-ＨＭＤ（Head Mounted Display）、ヘッドフォン及びマイクロフォンが一体的に構成されている。
【００５１】
前記コントローラは、通常の空撮ドローン用に使用されるプロポ型ジョイスティックコントローラと同様の形態であり、利用者が操作するボタン、レバー、ダイヤルなどを備えている。
【００５２】
端末装置Ａ１_41〜ｉ_4iの各々の利用者は、前記３Ｄ-ＨＭＤが自身の視野を覆い、前記ヘッドフォンが耳をカバーし、前記マイクロフォンが自身の発する音声を集音しやすいように調整しながら、前記ヘッドセットを自身の頭部に装着する。ヘッドセットの装着が完了した後、利用者が前記コントローラの起動ボタンを押すことで、端末装置Ａ１_41〜ｉ_4iが起動する。それ以降は、３Ｄ-ＨＭＤにおいて投射される仮想空間内に表示される指示にしたがって前記コントローラを操作することで、現地サーバ2に対するアクセスが確立する。
【００５３】
なお、現地サーバ2に対するアクセスは、利用者が前記コントローラを操作することで確立する構成とする代わりに、利用者が発した音声指示を前記ヘッドセットのマイクロフォンが集音することを通じて確立するような構成とすることもできる。
【００５４】
一方、本実施例のライブ映像・音声送信システムにおいては、現地サーバ2はインターネット3に接続しており、端末装置Ａ１_41〜ｉ_4iからインターネット3を経由してアクセスを受けると、各々の端末装置と空撮ドローンとの対応付けを行う。この対応付けは、端末装置のデータ処理・通信ユニットの各々と空撮ドローンのデータ処理・通信ユニットの各々に付与されたＩＰアドレスに基づいて行うことができ、その対応付けの結果として、空撮ドローン１_11〜ｊ_1jのうちから稼働するものが選択される。
【００５５】
以下では、端末装置Ａ１_41〜端末装置Ａｉ_4iのうち端末装置Ａ１_41〜端末装置Ａ６_46だけが現地サーバ2にアクセスしており、現地サーバ2によって下記のような対応付けが行われた結果、空撮ドローン１_11〜空撮ドローン６_16だけが稼働しているものとして説明する。
［現地サーバ2による端末装置と空撮ドローンの対応付け］
端末装置Ａ１←→空撮ドローン１
端末装置Ａ２←→空撮ドローン２
端末装置Ａ３←→空撮ドローン３
端末装置Ａ４←→空撮ドローン４
端末装置Ａ５←→空撮ドローン５
端末装置Ａ６←→空撮ドローン６
【００５６】
現地サーバ2は、送受信アンテナを有しており、該送受信アンテナを経由して、稼働中の空撮ドローン１_11〜６_16の各々のデータ処理・通信ユニットから３Ｄ非圧縮映像信号を同時に受信し、圧縮符号化処理を行ってストリーミング送信可能な３Ｄ圧縮映像信号に変換した上で、インターネット3を経由して、各々の空撮ドローンが対応付けられている端末装置Ａ宛に同時に送信する。
すなわち、「空撮ドローン１_11のデータ処理・通信ユニットから受信した３Ｄ非圧縮映像信号に基づく３Ｄ圧縮映像信号」を端末装置Ａ１_41宛に、「空撮ドローン２_12のデータ処理・通信ユニットから受信した３Ｄ非圧縮映像信号に基づく３Ｄ圧縮映像信号」を端末装置Ａ２_42宛に、「空撮ドローン３_31のデータ処理・通信ユニットから受信した３Ｄ非圧縮映像信号に基づく３Ｄ圧縮映像信号」を端末装置Ａ３_43宛に、「空撮ドローン４_14のデータ処理・通信ユニットから受信した３Ｄ非圧縮映像信号に基づく３Ｄ圧縮映像信号」を端末装置Ａ４_44宛に、「空撮ドローン５_15のデータ処理・通信ユニットから受信した３Ｄ非圧縮映像信号に基づく３Ｄ圧縮映像信号」を端末装置Ａ５_45宛に、「空撮ドローン６_16のデータ処理・通信ユニットから受信した３Ｄ非圧縮映像信号に基づく３Ｄ圧縮映像信号」を端末装置Ａ６_46に、同時にライブストリーミング送信する。
【００５７】
一方、端末装置Ａ１_41〜Ａ６_46は、前記コントローラの内部に格納されたデータ処理・通信ユニットによって、前記ライブストリーミング送信された３Ｄ圧縮映像信号を受信し、伸張復号化処理を行った上で、前記３Ｄ-ＨＭＤに送信する。該３Ｄ-ＨＭＤは、データ処理・通信ユニットから受信した３Ｄ非圧縮映像信号に基づき、右左の投射部から映像を投射する。
【００５８】
端末装置Ａ１_41〜Ａ６_46の各々の利用者は、前記３Ｄ-ＨＭＤの右左の投射部の映像を見ながら前記コントローラを操作する。該コントローラは、利用者のレバー操作やダイヤル操作に基づいて飛行制御一次信号を生成し、該運動制御一次信号を前記データ処理・通信ユニットに送信する。
【００５９】
一方、前記ヘッドセットには、加速度センサー及び方位センサーが付属又は内蔵されており、それらのセンサーの検知結果に基づいて視線制御一次信号を生成し、該視線制御一次信号を前記データ処理・通信ユニットに送信する。
【００６０】
該データ処理・通信ユニットは、前記飛行制御一次信号及び前記視線制御一次信号を、自身に付与されたＩＰアドレスを送信元ＩＰアドレスとするインターネット・プロトコルに準拠した信号に変換し、インターネット3経由で現地サーバ2宛に送信する。
【００６１】
一方、現地サーバ2は、端末装置Ａ１_41〜Ａ６_46からインターネット3を介して受信した飛行制御一次信号に基づき、空撮ドローン１_11〜６_16の飛行を制御する飛行制御二次信号を生成し、各々の端末装置が対応付けられた空撮ドローンのデータ処理・通信ユニットに同時に送信する。該飛行制御二次信号は、ローターの回転数、ピッチ角、回転面の傾き等の情報を含んでおり、空撮ドローン１_11〜６_16の各々は、それらの情報に基づいて飛行する。
【００６２】
また、現地サーバ2は、端末装置Ａ１_41〜Ａ６_46からインターネット3を介して受信した視線制御一次信号に基づき、空撮ドローン１_11〜６_16の飛行を制御する視線制御二次信号を生成し、各々の端末装置が対応付けられた空撮ドローンのデータ処理・通信ユニットに同時に送信する。該視線制御二次信号は、３ウェイ雲台の３つの回転軸の角度情報を含んでおり、空撮ドローン１_11〜６_16の各々の３ウェイ雲台は、それらの情報に基づいて回転する。
【００６３】
これにより、空撮ドローン１_11〜６_16の各々は、端末装置Ａ１_41〜Ａ６_46の各々の利用者が望むとおりの位置に浮遊した上で、各々の利用者が見たい視線方向の映像を撮影し、現地サーバ2及びインターネット3を介して、当該映像の映像信号を端末装置Ａ１_41〜Ａ６_46宛に送信することができる。これにより、端末装置Ａ１_41〜Ａ６_46の各々の利用者は、遠隔地で打ち上げられている花火の３Ｄ映像を楽しむことができる。
【００６４】
一方、端末装置Ａ１_41〜Ａ６_46のヘッドセットに付属するマイクロフォンは、各々の利用者が音声として発生した歓声、花火を見た感想などを集音し、その結果に基づく音声信号を前記データ処理・通信ユニットに送信する。前記データ処理・通信ユニットは、前記音声信号を、自身に付与されたＩＰアドレスを送信元ＩＰアドレスとするインターネット・プロトコルに準拠した信号に変換し、インターネット3経由で現地サーバ2宛に送信する。
【００６５】
現地サーバ2は、端末装置Ａ１_41〜Ａ６_46のデータ処理・通信ユニットからインターネット3を介して同時に受信した音声信号と、空撮ドローン１_11〜６_16のデータ処理・通信ユニットから同時に受信した音声信号とを重畳させることで、以下の６種類の重畳音声信号（いずれも、ストリーミング送信可能な音声信号に変換した音声信号）を生成する。
重畳音声信号Ａ１……空撮ドローン１_11からの音声信号＋端末装置Ａ２_42からの音
声信号＋端末装置３_43からの音声信号＋端末装置Ａ４_44から
の音声信号＋端末装置Ａ５_45からの音声信号＋端末装置Ａ６_46
からの音声信号
重畳音声信号Ａ２……空撮ドローン２_12からの音声信号＋端末装置Ａ１_41からの音
声信号＋端末装置Ａ３_43からの音声信号＋端末装置Ａ４_44から
の音声信号＋端末装置Ａ５_45からの音声信号＋端末装置Ａ６_46
からの音声信号
重畳音声信号Ａ３……空撮ドローン３_13からの音声信号＋端末装置Ａ１_41からの音
声信号＋端末装置Ａ２_42からの音声信号＋端末装置Ａ４_44から
の音声信号＋端末装置Ａ５_45からの音声信号＋端末装置Ａ６_46
からの音声信号
重畳音声信号Ａ４……空撮ドローン４_14からの音声信号＋端末装置Ａ１_41からの音
声信号＋端末装置Ａ２_42からの音声信号＋端末装置Ａ３_43から
の音声信号＋端末装置Ａ５_45からの音声信号＋端末装置Ａ６_46
からの音声信号
重畳音声信号Ａ５……空撮ドローン５_15からの音声信号＋端末装置Ａ１_41からの音
声信号＋端末装置Ａ２_42からの音声信号＋端末装置Ａ３_43から
の音声信号＋端末装置Ａ４_44からの音声信号＋端末装置Ａ６_46
からの音声信号
重畳音声信号Ａ６……空撮ドローン６_16からの音声信号＋端末装置Ａ１_41からの音
声信号＋端末装置Ａ２_42からの音声信号＋端末装置Ａ３_43から
の音声信号＋端末装置Ａ４_44からの音声信号＋端末装置Ａ５_45
からの音声信号
【００６６】
その上で、現地サーバ2は、インターネット3経由して、上記重畳音声信号Ａ１を端末装置Ａ１_41宛に、上記重畳音声信号Ａ２を端末装置Ａ２_42宛に、上記重畳音声信号Ａ３を端末装置Ａ３_43宛に、上記重畳音声信号Ａ４を端末装置Ａ４_44宛に、上記重畳音声信号Ａ５を端末装置Ａ５_45宛に、上記重畳音声信号Ａ６を端末装置Ａ６_46宛に、同時にライブストリーミング送信する。
【００６７】
一方、端末装置Ａ１_41〜Ａ６_46では、コントローラの内部に格納されたデータ処理・通信ユニットによって、前記ライブストリーミング送信された音声信号を受信し、前記ヘッドフォンに送信する。前記ヘッドフォンは、データ処理・通信ユニットから受信した音声信号に基づき、音声を放音する。
【００６８】
これにより、端末装置Ａ１_41〜Ａ６_46の各々の利用者は、遠隔地で打ち上げられている花火の打ち上げ音など、該遠隔地において発生している音声に、他の端末装置Ａを利用している利用者の感想や歓声などの音声を重畳した音声を聞くことができる。このため、端末装置Ａ１_41〜Ａ６_46の各々の利用者は、遠隔地で打ち上げられている花火をリアルタイムで同時に楽しみながら、該遠隔地に一緒にいるような臨場感をもって会話を行うことができる。
また、その際、前記重畳された音声の中には、自分自身が発した音声が含まれていないので、端末装置Ａ１_41〜Ａ６_46の各々の利用者は、「自分自身が発する音声を外部音声として聞く」ことに伴う不快な感覚を回避することができる。
【００６９】
なお、空撮ドローン１_11〜ｊ_1jは、前記ＣＭＯＳカメラモジュールの右左に２つのマイクロフォンを備える構成とすることができる。その場合、空撮ドローン１_11〜ｊ_1jのデータ処理・通信ユニットは、前記２つのマイクロフォンから受信した音声信号からステレオ音声信号を生成した上で、現地サーバ2に送信することができる。
また、その場合、現地サーバ2は、インターネット3を経由して、端末装置Ａ１_41〜Ａ６_46に送信する音声信号をステレオ音声信号とすることができる。例えば、端末装置Ａ１_41に送信する音声信号を、下記のようなステレオ音声信号とすることができる。
端末装置Ａ１_41に送信する左側音声信号……空撮ドローン１_11の左側のマイクロフ
ォンからの音声信号＋端末装置Ａ２_42からの音声信号＋端末装置
Ａ３_43からの音声信号＋端末装置Ａ４_44からの音声信号
端末装置Ａ１_41に送信する右側音声信号……空撮ドローン１_11の右側のマイクロフ
ォンからの音声信号＋端末装置Ａ５_45からの音声信号＋端末装置
Ａ６_46からの音声信号
【００７０】
このような構成を取った上で、前記左側音声信号に基づく音声を左側のマイクロフォンから放音し、前記右側音声信号に基づく音声を右側のマイクロフォンから放音させることによって、端末装置Ａ１_41の利用者は、自身の左側に端末装置Ａ２_42の利用者、端末装置Ａ３_43の利用者及び端末装置Ａ４_44の利用者がいて対話し、自身の右側に端末装置Ａ５_45の利用者及び端末装置Ａ６_46の利用者がいて対話しているような臨場感をもって、花火を楽しむことができる。
【実施例２】
【００７１】
図２は、本発明の実施例２に係るライブ映像・音声送信システムの構成及び機能を説明するためのブロック図である。
【００７２】
本実施例のライブ映像・音声送信システムにおいては、複数の端末装置Ｂ１_61〜端末装置Ｂｊ_6j（ｊは「インターネット3を経由して遠隔会議サーバ5にアクセス可能な端末装置Ｂの数」であり、任意に設定できる）が、インターネット3を経由して遠隔会議サーバ5にアクセスしている。
以下では、端末装置Ｂ１_61〜端末装置Ｂ５_65だけが遠隔会議サーバ5にアクセスしているものとして説明する。
【００７３】
図３乃至図７は、本発明の実施例２に係るライブ映像・音声送信システムとともに使用される端末装置Ｂ１_61〜端末装置Ｂ５_65の構成及び機能を説明するための外観図であり、端末装置Ｂ１_61〜端末装置Ｂ５_65の各々は、図３乃至図７においてその上半身像が記されている利用者ア乃至オが、下記のように使用している。
利用者ア……端末装置Ｂ１_61を使用
利用者イ……端末装置Ｂ２_62を使用
利用者ウ……端末装置Ｂ３_63を使用
利用者エ……端末装置Ｂ４_64を使用
利用者オ……端末装置Ｂ５_65を使用
以下では、端末装置Ｂ１_61〜端末装置Ｂ５_65の機能と構成を、必要に応じて端末装置Ｂ１_61（図３）で代表させながら、説明する。
【００７４】
端末装置Ｂ１_61は、マイクロフォン付きウェブカメラ611、タッチパネルディスプレイ612、スピーカ613及びデータ処理・通信ユニットから構成されている。ディスプレイ612、スピーカ613は一体的な筐体を構成しており、データ処理・通信ユニットは該筐体の内部に設けられている（図には示されていない）。また、該データ処理・通信ユニットＩＰアドレスが付与されている。
【００７５】
端末装置Ｂ１_61の利用者が、端末装置Ｂ１_61の電源を入れるなどして起動させた後、タッチパネルディスプレイ612に表示される起動画面をタッチ操作することで、遠隔会議サーバ5に対するアクセスが確立する。
【００７６】
なお、遠隔会議サーバ5に対するアクセスは、利用者がタッチパネルディスプレイ612を操作することで確立する構成とする代わりに、利用者が発した音声指示をマイクロフォン付きウェブカメラ611のマイクロフォンが集音することを通じて確立するような構成とすることもできる。
【００７７】
マイクロフォン付きウェブカメラ611は、内蔵するイメージセンサーによって利用者アの上半身像を撮影し、その結果に基づく撮像電気信号を非圧縮映像信号に変換した上で、前記データ処理・通信ユニットに送信する。また、マイクロフォンによって利用者アが発する音声を集音し、その結果に基づく音声信号を前記データ処理・通信ユニットに送信する。そして、該データ処理・通信ユニットは、受信した前記撮像電気信号や前記音声信号を、自身に付与されたＩＰアドレスを送信元ＩＰアドレスとするインターネット・プロトコルに準拠した信号に変換し、インターネット3経由で遠隔会議サーバ5に送信する。特に、前記非圧縮映像信号については、圧縮符号化処理を行い、圧縮映像信号として送信する。
【００７８】
一方、遠隔会議サーバ5は、端末装置Ｂ１_61〜Ｂ５_65のデータ処理・通信ユニットから同時に受信した圧縮映像信号に必要な処理を行った上で合成することで、以下の５種類の合成映像信号（いずれも、ストリーミング送信可能な映像信号に変換した映像信号）を生成する。
合成映像信号１……端末装置Ｂ２_62からの映像信号＋端末装置Ｂ３_63からの映像信
号＋端末装置Ｂ４_64からの映像信号＋端末装置Ｂ５_65からの映
像信号
合成映像信号２……端末装置Ｂ１_61からの映像信号＋端末装置Ｂ３_63からの映像信
号＋端末装置Ｂ４_64からの映像信号＋端末装置Ｂ５_65からの映
像信号
合成映像信号３……端末装置Ｂ１_61からの映像信号＋端末装置Ｂ２_62からの映像信
号＋端末装置Ｂ４_64からの映像信号＋端末装置Ｂ５_65からの映
像信号
合成映像信号４……端末装置Ｂ１_61からの映像信号＋端末装置Ｂ２_62からの映像信
号＋端末装置Ｂ３_63からの映像信号＋端末装置Ｂ５_65からの映
像信号
合成映像信号５……端末装置Ｂ１_61からの映像信号＋端末装置Ｂ２_62からの映像信
号＋端末装置Ｂ３_63からの映像信号＋端末装置Ｂ４_64からの映
像信号
【００７９】
また、遠隔会議サーバ5は、端末装置Ｂ１_61〜端末装置Ｂ５_65のデータ処理・通信ユニットから受信した音声信号を重畳させることで、以下の５種類の重畳音声信号（いずれも、ストリーミング送信可能な音声信号に変換した音声信号）を生成する。
重畳音声信号Ｂ１……端末装置Ｂ２_62からの音声信号＋端末装置Ｂ３_63からの音声
信号＋端末装置Ｂ４_64からの音声信号＋端末装置Ｂ５_65からの
音声信号
重畳音声信号Ｂ２……端末装置Ｂ１_61からの音声信号＋端末装置Ｂ３_63からの音声
信号＋端末装置Ｂ４_64からの音声信号＋端末装置Ｂ５_65からの
音声信号
重畳音声信号Ｂ３……端末装置Ｂ１_61からの音声信号＋端末装置Ｂ２_62からの音声
信号＋端末装置Ｂ４_64からの音声信号＋端末装置Ｂ５_65からの
音声信号
重畳音声信号Ｂ４……端末装置Ｂ１_61からの音声信号＋端末装置Ｂ２_62からの音声
信号＋端末装置Ｂ３_63からの音声信号＋端末装置Ｂ５_65からの
音声信号
重畳音声信号Ｂ５……端末装置Ｂ１_61からの音声信号＋端末装置Ｂ２_62からの音声
信号＋端末装置Ｂ３_63からの音声信号＋端末装置Ｂ４_64からの
音声信号
【００８０】
その上で、遠隔会議サーバ5は、インターネット3経由して、上記合成映像信号１及び上記重畳音声信号Ｂ１を端末装置Ｂ１_61宛に、上記合成映像信号２及び上記重畳音声信号Ｂ２を端末装置Ｂ２_62宛に、上記合成映像信号３及び上記重畳音声信号Ｂ３を端末装置Ｂ３_63宛に、上記合成映像信号４及び上記重畳音声信号Ｂ４を端末装置Ｂ４_64宛に、上記合成映像信号５及び上記重畳音声信号Ｂ５を端末装置Ｂ５_65宛に、同時にライブストリーミング送信する。特に、前記合成映像信号１〜５については、圧縮符号化処理を行い、圧縮映像信号として送信する。
【００８１】
一方、端末装置Ｂ１_61では、前記筐体の内部に格納されたデータ処理・通信ユニットによって、前記ライブストリーミング送信された圧縮映像信号を受信し、伸張復号化処理を行った上で、タッチパネルディスプレイ612に送信する。タッチパネルディスプレイ612は、データ処理・通信ユニットから受信した非圧縮映像信号に基づき、図３に記したように、端末装置Ｂ２_62〜端末装置Ｂ５_65の利用者である利用者イ〜利用者オの上半身像を合成した映像を表示する。
同様に、端末装置Ｂ２_62のタッチパネルディスプレイ622、端末装置Ｂ３_63のタッチパネルディスプレイ632、端末装置Ｂ４_64のタッチパネルディスプレイ642及び端末装置Ｂ５_65のタッチパネルディスプレイ652には、それぞれ、図４、図５、図６及び図７に記したような映像が表示される。
【００８２】
なお、図３〜図７には、各利用者の上半身像を横並べにしただけの画像が表示されているが、遠隔会議サーバ5の映像合成機能を高度化することによって、端末装置Ｂ１_61〜Ｂ５_65のタッチパネルディスプレイ612〜652に、背景に特定の会議室の壁面を表示し、前景に特定の会議室の机を表示している映像を表示させるような構成とすることができる。これによって、各端末装置の利用者は、他の利用者が特定の会議室で行っている会議に遠隔で参加しているという感覚を得ることができる。
【００８３】
また、端末装置Ｂ１_61では、前記筐体の内部に格納されたデータ処理・通信ユニットによって、前記ライブストリーミング送信された音声信号を受信し、スピーカ613に送信する。スピーカ613は、データ処理・通信ユニットから受信した音声信号に基づき、端末装置Ｂ２_62〜端末装置Ｂ５_65の利用者である利用者イ〜利用者オが発した音声を重畳した音声を放音する。
同様に、端末装置Ｂ２_62のスピーカ613、端末装置Ｂ３_63のスピーカ613、端末装置Ｂ４_64のスピーカ613及び端末装置Ｂ５_65のスピーカ613からは、各々の端末装置Ｂの利用者以外の利用者が発した音声を重畳した音声が放音される。
【００８４】
これにより、端末装置Ｂ１_61〜Ｂ５_65の各々の利用者は、放音手段を一つだけ（左右のスピーカを区別したとしても二つだけ）備えた端末装置Ｂだけを使用することで、遠隔会議を行うことができる。その際、前記重畳された音声の中には、自分自身が発した音声が含まれていないので、端末装置Ｂ１_61〜Ｂ５_65の各々の利用者は、「自分自身が発する音声を外部音声として聞く」ことに伴う不快な感覚を回避することができる。
【００８５】
なお、遠隔会議サーバ5は、インターネット3を経由して、端末装置Ｂ１_61〜Ｂ５_65に送信する音声信号をステレオ音声信号とすることができる。例えば、端末装置Ｂ１_61に送信する音声信号を、下記のようなステレオ音声信号とすることができる。
端末装置Ｂ１_61に送信する左側音声信号……端末装置Ｂ２_62からの音声信号＋端末
装置Ｂ３_63からの音声信号
端末装置Ｂ１_61に送信する右側音声信号……端末装置Ｂ４_64からの音声信号＋端末
装置Ｂ５_65からの音声信号
【００８６】
このような構成を取った上で、前記左側音声信号に基づく音声を左側のマイクロフォンから放音し、前記右側音声信号に基づく音声を右側のマイクロフォンから放音させることによって、端末装置Ｂ１_61の利用者は、自身の左側に端末装置Ｂ２_62の利用者及び端末装置Ｂ３_43の利用者がいて対話し、自身の右側に端末装置Ｂ４_64の利用者及び端末装置Ｂ６_46の利用者がいて対話しているような臨場感をもって、会議を行うことができる。
【００８７】
なお、上記の実施例では、遠隔会議サーバ5において映像の合成を行う構成としているが、映像の合成を端末装置Ｂ１_61〜Ｂ５_65の各々において行う構成とすることもできる。
すなわち、この構成においては、遠隔会議サーバ5からは、端末装置Ｂ１_61〜Ｂ５_65の各々に対して、以下のような映像信号が圧縮映像信号としてライブストリーム送信される。
端末装置Ｂ１_61に送信される映像信号……端末装置Ｂ２_62からの映像信号に必要な
処理を行った信号、端末装置Ｂ３_63からの映像信号に必要な処理
を行った信号、端末装置Ｂ４_64からの映像信号に必要な処理を行
った信号、及び、端末装置Ｂ５_65からの映像信号に必要な処理を
行った信号
端末装置Ｂ２_62に送信される映像信号……端末装置Ｂ１_61からの映像信号に必要な
処理を行った信号、端末装置Ｂ３_63からの映像信号に必要な処理
を行った信号、端末装置Ｂ４_64からの映像信号に必要な処理を行
った信号、及び、端末装置Ｂ５_65からの映像信号に必要な処理を
行った信号
端末装置Ｂ３_63に送信される映像信号……端末装置Ｂ１_61からの映像信号に必要な
処理を行った信号、端末装置Ｂ２_62からの映像信号に必要な処理
を行った信号、端末装置Ｂ４_64からの映像信号に必要な処理を行
った信号、及び、端末装置Ｂ５_65からの映像信号に必要な処理を
行った信号
端末装置Ｂ４_64に送信される映像信号……端末装置Ｂ１_61からの映像信号に必要な
処理を行った信号、端末装置Ｂ２_62からの映像信号に必要な処理
を行った信号、端末装置Ｂ４_64からの映像信号に必要な処理を行
った信号、及び、端末装置Ｂ５_65からの映像信号に必要な処理を
行った信号
端末装置Ｂ５_65に送信される映像信号……端末装置Ｂ１_61からの映像信号に必要な
処理を行った信号、端末装置Ｂ２_62からの映像信号に必要な処理
を行った信号、端末装置Ｂ３_63からの映像信号に必要な処理を行
った信号、及び、端末装置Ｂ４_64からの映像信号に必要な処理を
行った信号
【００８８】
一方、端末装置Ｂ１_61〜Ｂ５_65の各々は、それらの圧縮信号を受信し、伸長複合化処理を行うことで、タッチパネルディスプレイ612〜652には、図３〜図７に記したような映像が表示される。
【００８９】
また、端末装置Ｂ１_61〜Ｂ５_65を、実施例１における端末装置Ａ１_41〜ｉ_4iと同様のヘッドセット（３Ｄ-ＨＭＤ、ヘッドフォン及びマイクロフォンが一体化されている）と、３Ｄ対応ウェブカメラ（マイクロフォンは備えない）とコントローラからなる構成とするとともに、遠隔会議サーバ5が、合成映像信号１〜５として、遠隔会議の参加者が仮想的な会議室に存在している３Ｄ映像信号を生成・送信する機能を有する構成とすることができる。
このような構成を取ることによって、端末装置Ｂ１_61〜Ｂ５_65の利用者は、あたかも自身が前記の仮想的な会議室の中に存在しているような臨場感をもって会議を行うことができる。
【００９０】
ただし、このような構成とした場合、端末装置Ｂ１_61〜Ｂ５_65の３Ｄ対応ウェブカメラは、ヘッドセットを装着した状態の上半身像を撮影するため、端末装置Ｂ１_61〜Ｂ５_65又は遠隔会議サーバ5において何らの追加の処理も行わないとすると、例えば、利用者アは、自身が使用する３Ｄ-ＨＭＤにおいて、図８に記したような映像を見ることになるため、他の利用者がどのような表情で発言しているのかが読み取れないという問題がある。この問題を軽減するためには、３Ｄ-ＨＭＤを小型したり、半透明型の３Ｄ-ＨＭＤとしたりすることが望ましい。
【００９１】
さらに、この問題を回避するため、端末装置Ｂ１_61〜Ｂ５_65の利用者は、実際の会議が始まる前に、ヘッドセットを装着しない状態での顔面画像（以下「ヘッドセット未装着顔面画像」という）を遠隔会議サーバ5に送信しておき、一方、遠隔会議サーバ5は、会議が始まってから、端末装置Ｂ１_61〜Ｂ５_65の各々からリアルタイムで送信されている「ヘッドセットを装着した状態の上半身像の映像信号」と前記ヘッドセット未装着顔面画像とに基づいて、「ヘッドセットを装着していない状態の上半身の映像」（以下「ヘッドセット非装着映像」）をリアルタイムで合成した後、さらに、以下の５種類の合成映像を伝達する映像信号（いずれも、ストリーミング送信可能な映像信号に変換した３Ｄ映像信号）を生成するような構成とすることができる。
合成映像１……利用者イのヘッドセット非装着映像＋利用者ウのヘッドセット非装着映
像＋利用者エのヘッドセット非装着映像＋利用者オのヘッドセット非装
着映像
合成映像２……利用者アのヘッドセット非装着映像＋利用者ウのヘッドセット非装着映
像＋利用者エのヘッドセット非装着映像＋利用者オのヘッドセット非装
着映像
合成映像３……利用者アのヘッドセット非装着映像＋利用者イのヘッドセット非装着映
像＋利用者エのヘッドセット非装着映像＋利用者オのヘッドセット非装
着映像
合成映像４……利用者アのヘッドセット非装着映像＋利用者イのヘッドセット非装着映
像＋利用者ウのヘッドセット非装着映像＋利用者オのヘッドセット非装
着映像
合成映像５……利用者アのヘッドセット非装着映像＋利用者イのヘッドセット非装着映
像＋利用者ウのヘッドセット非装着映像＋利用者エのヘッドセット非装
着映像
【００９２】
その上で、遠隔会議サーバ5は、インターネット3経由して、上記合成映像１を伝達する映像信号を端末装置Ｂ１_61宛に、上記合成映像２を伝達する映像信号を端末装置Ｂ２_62宛に、上記合成映像３を伝達する映像信号を端末装置Ｂ３_63宛に、上記合成映像３を伝達する映像信号を端末装置Ｂ４_64宛に、上記合成映像５を伝達する映像信号を端末装置Ｂ５_65宛に、同時にライブストリーミング送信する。特に、前記合成映像信号１〜５については、圧縮符号化処理を行い、圧縮映像信号として送信する。
【００９３】
その結果、例えば、利用者アは、自身が使用する３Ｄ-ＨＭＤにおいて、図９に記したような映像を見ることになるため、他の利用者がどのような表情で発言しているのかが読み取ることができるようになる。
【００９４】
なお、上記の「ヘッドセット非装着映像」の合成を精度よく行うために、端末装置Ｂ１_61〜Ｂ５_65からは、「ヘッドセット未装着顔面画像」として、喜怒哀楽などの複数の表情の顔面画像を送信したり、所定の文章を喜怒哀楽を強調して朗読する様子を撮影した動画を送ったりしておき、遠隔会議サーバ5は、それら複数の顔面画像や動画に基づいて、「ヘッドセット非装着映像」を合成するような構成とすることができる。さらに、端末装置Ｂ１_61〜Ｂ５_65から送信される音声信号に基づいて、各利用者の喜怒哀楽を判定し、「ヘッドセット非装着映像」の合成に活用するような構成とすることができる。
【００９５】
なお、上記の実施例では、遠隔会議サーバ5において「ヘッドセット非装着映像」の合成を行う構成としているが、「ヘッドセット非装着映像」の合成を端末装置Ｂ１_61〜Ｂ５_65の各々において行う構成とすることもできる。
【００９６】
また、この構成においては、「ヘッドセット非装着映像」の合成を精度よく行うために、３Ｄ-ＨＭＤの内面に小型のＣＭＯＳカメラモジュールを設置して、各利用者の眼の周辺を撮影し、その撮像結果に基づいて、「ヘッドセット非装着映像」を合成する構成とすることができる。
【産業上の利用可能性】
【００９７】
本発明は、ライブ映像・音声送信システムに係る装置を製造する産業において利用することができる、また、ライブ映像・音声送信システムした観察に係るサービス（特に観光サービス）や遠隔会議に係るサービス（特に通信サービス）を提供する産業において利用することができる。さらに、ライブ映像・音声送信システムとともに使用される端末装置を製造する産業において利用することができる。
【符号の説明】
【００９８】
11‥‥‥空撮ドローン１
12‥‥‥空撮ドローン２
13‥‥‥空撮ドローン３
14‥‥‥空撮ドローン４
15‥‥‥空撮ドローン５
16‥‥‥空撮ドローン６
2‥‥‥現地サーバ 
3‥‥‥インターネット
41‥‥‥端末装置Ａ１
42‥‥‥端末装置Ａ２
43‥‥‥端末装置Ａ３
44‥‥‥端末装置Ａ４
45‥‥‥端末装置Ａ５
46‥‥‥端末装置Ａ６
5……遠隔会議サーバ
61‥‥‥端末装置Ｂ１
611‥‥‥端末装置Ｂ1のマイクロフォン付きウェブカメラ
612‥‥‥端末装置Ｂ１のタッチパネルディスプレイ
613‥‥‥端末装置Ｂ１のスピーカ
62‥‥‥端末装置Ｂ２
621‥‥‥端末装置Ｂ２のマイクロフォン付きウェブカメラ
622‥‥‥端末装置Ｂ２のタッチパネルディスプレイ
623‥‥‥端末装置Ｂ３のスピーカ
63‥‥‥端末装置Ｂ３
631‥‥‥端末装置Ｂ３のマイクロフォン付きウェブカメラ
632‥‥‥端末装置Ｂ３のタッチパネルディスプレイ
633‥‥‥端末装置Ｂ３のスピーカ
64‥‥‥端末装置Ｂ４
641‥‥‥端末装置Ｂ４のマイクロフォン付きウェブカメラ
642‥‥‥端末装置Ｂ４のタッチパネルディスプレイ
643‥‥‥端末装置Ｂ４のスピーカ
65‥‥‥端末装置Ｂ５
651‥‥‥端末装置Ｂ５のマイクロフォン付きウェブカメラ
652‥‥‥端末装置Ｂ５のタッチパネルディスプレイ
653‥‥‥端末装置Ｂ５のスピーカ
【図１】
2020191619.tif 000003
【図２】
2020191619.tif 000004
【図３】
2020191619.tif 000005
【図４】
2020191619.tif 000006
【図５】
2020191619.tif 000007
【図６】
2020191619.tif 000008
【図７】
2020191619.tif 000009
【図８】
2020191619.tif 000010
【図９】
2020191619.tif 000011