(57)【要約】【課題】既に使用している受信装置とは異なる画像種類の画像データを再生する他の受信装置を新たに使用する場合や、既に使用している受信装置が再生している画像データを異なる画像種類に変更する場合等には、受信装置は画像データを再生できないという課題が生じる。【解決手段】送信装置から送信された画像データを中継して受信装置に転送する中継装置は、送信装置が送信した動画の画像データを受信する受信手段と（Ｓ２０）、受信装置が受信手段によって受信された画像種類の画像データの再生ができず他の画像種類の画像データの再生ができる場合には、受信手段によって受信された動画の画像データを画像処理することで他の画像種類の画像データを生成する画像処理手段と（Ｓ２１）、他の画像種類の画像データを受信装置に送信する送信手段（Ｓ２２）を有する。【選択図】図１５
2020096353.tif 000002
【特許請求の範囲】
【請求項１】
送信装置から送信された画像データを中継して受信装置に転送する中継装置であって、
前記送信装置が送信した動画の画像データを受信する受信手段と、
前記受信装置が前記受信手段によって受信された画像種類の画像データの再生ができず他の画像種類の画像データの再生ができる場合には、前記受信手段によって受信された動画の画像データを画像処理することで他の画像種類の画像データを生成する画像処理手段と、
前記他の画像種類の画像データを前記受信装置に送信する送信手段と、
を有することを特徴とする中継装置。
【請求項２】
前記画像種類は、動画及び静止画であって、
前記受信装置が動画の再生ができず静止画の再生ができる場合には、前記画像処理手段は、前記受信手段によって受信された動画の画像データを構成する特定のフレームデータに基づく静止画の画像データを生成することを特徴とする請求項１に記載の中継装置。
【請求項３】
前記画像種類は、全天球動画及び平面動画であって、
前記受信装置が全天球動画の再生ができず平面動画の再生ができる場合には、前記画像処理手段は、前記受信手段によって受信された全天球動画の画像データにおいて、第１の撮影方向と第１の画角で定まる第１の所定領域を示す第１の所定領域画像の画像データを生成することを特徴とする請求項１に記載の中継装置。
【請求項４】
前記画像種類は、全天球動画及び平面静止画であって、
前記受信装置が全天球動画の再生ができず平面静止画の再生ができる場合には、前記画像処理手段は、前記受信手段によって受信された全天球動画の画像データを構成する各フレームデータにおいて、第２の撮影方向と第２の画角で定まる第２の所定領域を示す第２の所定領域画像の画像データを生成することを特徴とする請求項１に記載の中継装置。
【請求項５】
前記受信手段は、前記受信装置から、当該受信装置の相手先である送信装置の特定の送信装置識別情報、当該受信装置の特定の受信装置識別情報、及び当該受信装置の再生可能な画像データの特定の画像種類を受信し、
前記画像処理手段は、前記受信装置が前記受信手段によって受信された画像種類の画像データの再生ができず他の画像種類としての前記特定の画像種類の画像データの再生ができる場合には、前記受信手段によって受信された動画の画像データを画像処理することで他の画像種類の画像データを生成すること
を特徴とする請求項１乃至３に記載の中継装置。
【請求項６】
請求項１乃至５のいずれか一項に記載の中継装置と、
前記送信装置と、
を有することを特徴とする通信システム。
【請求項７】
前記送信装置は、全天球画像を生成する前の正距円筒射影画像の動画データを送信し、
前記中継装置の受信手段が、前記正距円筒射影画像の動画データを受信することを特徴とする請求項６に記載の通信システム。
【請求項８】
請求項１乃至５のいずれか一項に記載の中継装置と、
前記受信装置と、
を有することを特徴とする通信システム。
【請求項９】
前記受信装置は、全天球動画の再生が可能なパーソナルコンピュータ、平面動画の再生が可能なビデオ会議端末、又は、平面静止画の再生が可能な電子黒板であることを特徴とする請求項８に記載の通信システム。
【請求項１０】
送信装置から送信された画像データを中継して受信装置に転送する中継装置が実行する通信方法であって、
前記送信装置が送信した動画の画像データを受信する受信ステップと、
前記受信装置が前記受信ステップによって受信された画像種類の画像データの再生ができず他の画像種類の画像データの再生ができる場合には、前記受信ステップによって受信された動画の画像データを画像処理することで他の画像種類の画像データを生成する画像処理ステップと、
前記他の画像種類の画像データを前記受信装置に送信する送信ステップと、
を実行することを特徴とする通信方法。
【請求項１１】
コンピュータに、請求項１０に記載の方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示内容は、送信装置から送信された画像データを中継して受信装置に転送する発明に関する。
【背景技術】
【０００２】
近年、動画や静止画等の画像データを送信及び再生する方式の一つとして、ストリーミングが知られている。これにより、送信側の通信端末で撮像することによって得られた画像データを、受信側の通信端末に送信することにより、受信側の通信端末でリアルタイムに画像データを再生することができる。
【０００３】
また、特許文献１には、送信側のエッジノードに顔認識のためのカメラを設置し、エッジノードはカメラから取得した静止画データを受信側のサーバ（顔認識のプリケーションサーバ）に送信し、サーバで顔の認識処理を実行するクラウドサービスプラットフォームが開示されている。この場合、送信装置（エッジノード）と受信装置（サーバ）とで通信する画像データの種類（静止画等）は予め決められているため、受信装置は受信した画像データの再生が可能である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、既に使用している受信装置とは異なる画像種類の画像データを再生する他の受信装置を新たに使用する場合や、既に使用している受信装置が再生している画像データを異なる画像種類に変更する場合等には、受信装置は画像データを再生できないという課題が生じる。
【課題を解決するための手段】
【０００５】
請求項１に係る発明は、送信装置から送信された画像データを中継して受信装置に転送する中継装置であって、前記送信装置が送信した動画の画像データを受信する受信手段と、前記受信装置が前記受信手段によって受信された画像種類の画像データの再生ができず他の画像種類の画像データの再生ができる場合には、前記受信手段によって受信された動画の画像データを画像処理することで他の画像種類の画像データを生成する画像処理手段と、前記他の画像種類の画像データを前記受信装置に送信する送信手段と、を有することを特徴とする中継装置である。
【発明の効果】
【０００６】
以上説明したように本発明によれば、受信装置は画像データを再生することができるという効果を奏する。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施形態に係る通信システムの全体構成図である。
【図２】実時間データ処理端末のハードウェア構成図である。
【図３】撮像ユニットのハードウェア構成図である。
【図４】図４（ａ）は撮像ユニット４０ｂで撮影された半球画像（前側）、図４（ｂ）は撮像ユニット４０ｂで撮影された半球画像（後側）、図４（ｃ）は正距円筒図法により表された画像を示した図である。
【図５】（ａ）は正距円筒射影画像で球を被う状態を示した概念図、（ｂ）は全天球画像を示した図である。
【図６】全天球画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。
【図７】（ａ）は図５の立体斜視図、（ｂ）は通信端末のディスプレイに所定領域の画像が表示されている状態を示す図である。
【図８】所定領域情報と所定領域Ｔの画像との関係を示した図である。
【図９】近端末データ処理装置のハードウェア構成図である。
【図１０】ビデオ会議端末のハードウェア構成図である。
【図１１】電子黒板のハードウェア構成図である。
【０００８】
画像取得端末における実時間データ処理端末及び近端末データ処理装置のソフトウェア構成図である。
【図１２】通信管理サーバ、及び中継装置のハードウェア構成図である。
【図１３】実施形態に係る通信システムの機能ブロック図である。
【図１４】（ａ）は通信管理テーブルの概念図、（ｂ）は送信可能画像種類管理テーブルの概念図、（ｃ）は再生可能画像種類管理テーブルの概念図、（ｄ）は転送画像種類管理テーブルの概念図である。
【図１５】画像データの送受信の処理を示したシーケンス図である。
【図１６】画像データの送信の開始判断を示したフローチャートである。
【図１７】画像種類の判断処理を示したフローチャートである。
【図１８】画像種類の判断処理を示したフローチャートである。
【発明を実施するための形態】
【０００９】
〔通信システムの全体構成〕
以下、図面を用いて、本発明の一実施形態の全体構成について説明する。
【００１０】
図1は、本実施形態に係る通信システムの概略図である。図１に示されているように、本実施形態の通信システムは、実時間データ処理端末３、近端末データ処理装置５、ＰＣ(Personal Computer)６、ビデオ会議端末７、電子黒板８、通信管理サーバ９、中継装置１０によって構築されている。
【００１１】
これらのうち、実時間データ処理端末３は、撮像画像のデータを得るための実時間処理（リアルタイムの処理）を行なう端末である。実時間データ処理端末３には、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの被写体を撮像する画像センサを備えた撮像ユニット４０が着脱自在に接続される。これにより、実時間データ処理端末３は、撮像ユニット４０から入力された撮影画像データをデジタル化する。撮像ユニット４の種類によって実時間データ処理端末３が取得する撮影画像データは異なり、全天球画像の動画データ及び静止画データ、並びに平面画像の動画データ及び静止画データがある。更に、実時間データ処理端末３は、近端末データ処理装置５に対して撮影画像データを出力するが、出力前に符号化を行う。例えば、実時間データ処理端末３が静止画データを符号化する場合には、静止画データをＪＰＥＧ(Joint Photographic Experts Group)などの汎用的な静止画のフォーマットに符号化する。実時間データ処理端末３が動画データを符号化する場合には、動画データをH.264などの汎用的な動画のフォーマットに符号化する。なお、汎用的な動画のフォーマットとしては、H.264の他に、VP8、VP9、VP10、及びAV1等が挙げられる。
【００１２】
近端末データ処理装置５は、実時間データ処理端末３に最も近いところに配置され、例えばハードウェア的にも密接なデータバスやＵＳＢ(Universal Serial Bus)等で1対1に接続されている。近端末データ処理装置５は、実時間データ処理端末３から入力された撮影画像データを、通信ネットワーク６００を介して、中継装置１０に送信する。通信ネットワーク６００は、イントラネット、インターネット等により構築されており、有線又は無線により通信可能である。
【００１３】
なお、通常、実時間データ処理端末３と近端末データ処理装置５は接続されて一体になっており、ここでは、実時間データ処理端末３と近端末データ処理装置５とで画像取得端末２を構成している。
【００１４】
ＰＣ６は、中継装置１０から送られて来た画像データを再生して、後述のディスプレイ６０８に画像を表示する。本実施形態のＰＣ６は、全天球動画、平面動画、全天球静止画、及び平面静止画の各データの全てを再生することができる。
【００１５】
ビデオ会議端末７は、中継装置１０から送られて来た動画データを再生して、ディスプレイ７２０に動画（映像）を表示させたり、中継装置１０から送られて来た音データを再生して、スピーカ７１５に音を出力させたりする。ディスプレイ７２０は、表示手段の一例であり、ＵＳＢ等のケーブル７３０を介してビデオ会議端末７と電気的に接続される。また、ビデオ会議端末７は、中継装置１０から送られて来た動画データを再生して、ディスプレイ７２０に動画（映像）を表示する。複数のビデオ会議端末７を使用する場合には、中継装置１０を介して、動画データ及び音データが送受信されることで、遠隔会議を行うことができる。本実施形態のビデオ会議端末７は、全天球動画及び平面動画のうちの平面動画のデータを再生でき、静止画データを再生できない。
【００１６】
電子黒板８は、中継装置１０から送られて来た静止画データを再生して、電子黒板８の後述のディスプレイ８２０に静止画を表示する。電子黒板８の利用者は、後述の専用の電子ペン８５００を用いて、ディスプレイ８２０に文字等を描画することもできる。本実施形態の電子黒板８は、全天球静止画及び平面静止画のうちの平面静止画のデータを再生でき、動画データの再生はできない。
【００１７】
通信管理サーバ９は、ビデオ会議端末７及び電子黒板８からのログイン認証、ビデオ会議端末７及び電子黒板８の通信状況の管理、及び中継装置３０の通信状況等を一元的に管理する。
【００１８】
中継装置１０は、画像取得端末２（近端末データ処理装置５）から通信ネットワーク６００を介して送られて来た画像データを中継して、通信ネットワーク６００を介してビデオ会議端末７及び電子黒板８に送信するルータの役割を果たす。
【００１９】
なお、画像取得端末２は、送信装置の一例である。また、ＰＣ６、ビデオ会議端末７及び電子黒板８は、受信装置の一例である。
【００２０】
〔通信システムの各ハードウェア構成〕
次に、図２乃至図１２用いて、本実施形態の通信システムの各ハードウェア構成について説明する。
【００２１】
＜実時間データ処理端末のハードウェア構成＞
図２は、実時間データ処理端末のハードウェア構成図である。実時間データ処理端末３は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＥＥＰＲＯＭ３０４、ＣＭＯＳセンサ３０５、加速度・方位センサ３０６、メディアＩ／Ｆ３０８、ＧＰＳ受信部３０９を備えている。
【００２２】
これらのうち、ＣＰＵ３０１は、実時間データ処理端末３全体の動作を制御する。ＲＯＭ３０２は、ＣＰＵ３０１の駆動に用いられるプログラムを記憶する。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。ＥＥＰＲＯＭ３０４は、ＣＰＵ３０１の制御にしたがって、実時間データ処理端末用プログラム等の各種データの読み出し又は書き込みを行う。ＣＭＯＳセンサ３０５は、ＣＰＵ３０１の制御に従って被写体（主に撮像ユニット４０の死角）を撮像し画像データを得る。加速度・方位センサ３０６は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ３０８は、フラッシュメモリ等の記録メディア３０７に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部３０９は、ＧＰＳ衛星からＧＰＳ信号を受信する。
【００２３】
また、実時間データ処理端末３は、撮像ユニットＩ／Ｆ３１３、マイク３１４、スピーカ３１５、音入出力Ｉ／Ｆ３１６、ディスプレイ３１７、外部機器接続Ｉ／Ｆ３１８、及びタッチパネル３２１を備えている。
【００２４】
これらのうち、撮像ユニットＩ／Ｆ３１３は、外付けの撮像ユニット４０が接続された場合に、撮像ユニット４０の駆動を制御する回路である。マイク３１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ３１６は、ＣＰＵ３０１の制御に従ってマイク３１４及びスピーカ３１５との間で音信号の入出力を処理する回路である。ディスプレイ３１７は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬなどの表示手段の一種である。外部機器接続Ｉ／Ｆ３１８は、各種の外部機器を接続するためのインターフェースである。タッチパネル３２１は、利用者がディスプレイ３１７を押下することで、実時間データ処理端末３を操作する入力手段の一種である。
【００２５】
また、実時間データ処理端末３は、バスライン３１０を備えている。バスライン３１０は、図２に示されているＣＰＵ３０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【００２６】
＜撮像ユニットのハードウェア構成＞
図３は、撮像ユニットのハードウェア構成図である。特に、図３（ａ）は、撮像ユニット４０のうち、単眼の撮像ユニット４０ａのハードウェア構成図である。図３（ｂ）は、撮像ユニット４０のうち、複眼の撮像ユニット４０ｂのハードウェア構成図である。なお、撮像ユニット４０は、撮像素子の数が異なる複数種類の撮像ユニット（撮像ユニット４０ａ、４０ｂ等）の総称である。
【００２７】
図３（ａ）に示されているように、撮像ユニット４０ａは、ＣＭＯＳやＣＣＤ等の撮像素子４０１ａ、レンズ４０２ａ、及び実時間データ処理端末３の撮像ユニットＩ／Ｆ３１３に電気的に接続するための接続Ｉ／Ｆ４０８ａを有している。撮像ユニット４０ａが実時間データ処理端末３の撮像ユニットＩ／Ｆ３１３に接続された場合には、撮像素子４０１ａは、撮像ユニットＩ／Ｆ３１３から接続Ｉ／Ｆ４０８ａを介して送られて来た撮像制御信号により撮像を行い、接続Ｉ／Ｆ４０８ａを介して撮像ユニットＩ／Ｆ３１３に撮像画像データを送信する。
【００２８】
また、図３（ｂ）に示されているように、撮像ユニット４０ｂは、ＣＭＯＳやＣＣＤ等の撮像素子４０１ｂ１，４０１ｂ２、レンズ４０２ｂ１，４０２ｂ２、及び実時間データ処理端末３の撮像ユニットＩ／Ｆ３１３に電気的に接続するための接続Ｉ／Ｆ４０８ｂを有している。レンズ４０２ｂ１，４０２ｂ２は、例えば、魚眼レンズである。撮像ユニット４０ｂが実時間データ処理端末３の撮像ユニットＩ／Ｆ３１３に接続された場合には、撮像素子４０１ｂ１，４０１ｂ２は、撮像ユニットＩ／Ｆ３１３から接続Ｉ／Ｆ４０８ｂを介して送られて来た撮像制御信号により撮像を行い、接続Ｉ／Ｆ４０８ｂを介して撮像ユニットＩ／Ｆ３１３に、複数の撮像画像データを送信する。
【００２９】
図３（ａ）に示されている撮像ユニット４０ａは、一般の平面画像を得るが、図３（ｂ）に示されている撮像ユニット４０ｂは、全天球画像を得ることができる。ここで、図４乃至図８を用いて、撮像ユニット４０ｂで撮像された画像から正距円筒射影画像ＥＣ及び全天球画像ＣＥが作成されるまでの処理の概略を説明する。なお、図４（ａ）は撮像ユニット４０ｂで撮影された半球画像（前側）、図４（ｂ）は撮像ユニット４０ｂで撮影された半球画像（後側）、図４（ｃ）は正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。図５（ａ）は正距円筒射影画像で球を被う状態を示した概念図、図５（ｂ）は全天球画像を示した図である。
【００３０】
図４（ａ）に示されているように、撮像素子４０１ｂ１によって得られた画像は、レンズ４０２ｂ１によって湾曲した半球画像（前側）となる。また、図４（ｂ）に示されているように、撮像素子４０３ｂによって得られた画像は、レンズ４０２ｂ２によって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは合成され、図４（ｃ）に示されているように、正距円筒射影画像ＥＣが作成される。
【００３１】
そして、OpenGL ES（Open Graphics Library for Embedded Systems）が利用されることで、図５（ａ）に示されているように、正距円筒射影画像が球面を覆うように貼り付けられ、図５（ｂ）に示されているような全天球画像ＣＥが作成される。このように、全天球画像ＣＥは、正距円筒射影画像ＥＣが球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2-Dimensions)および３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像ＣＥは、静止画であっても動画であってもよい。
【００３２】
以上のように、全天球画像ＣＥは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球画像ＣＥの一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図６及び図７を用いて説明する。
【００３３】
なお、図６は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見るユーザの視点の位置に相当するものである。また、図７（ａ）は図６の立体斜視図、図７（ｂ）はディスプレイに表示された場合の所定領域画像を表す図である。また、図７（ａ）では、図５に示されている全天球画像ＣＥが、三次元の立体球ＣＳで表わされている。このように生成された全天球画像ＣＥが、立体球ＣＳであるとすると、図６に示されているように、仮想カメラＩＣが全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮影領域であり、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの撮影方向と画角を示す所定領域情報によって特定される。
【００３４】
そして、図７（ａ）に示されている所定領域画像Ｑは、図７（ｂ）に示されているように、所定のディスプレイに、仮想カメラＩＣの撮影領域の画像として表示される。図７（ｂ）に示されている画像は、初期設定（デフォルト）された所定領域情報によって表された所定領域画像である。以下では、仮想カメラＩＣの撮影方向（ea，aa）と画角（α）を用いて説明する。
【００３５】
図８を用いて、所定領域情報と所定領域Ｔの画像の関係について説明する。なお、図８は、所定領域情報と所定領域Ｔの画像の関係との関係を示した図である。図８に示されているように、「ea」はelevation angle、「aa」はazimuth angle、「α」は画角(Angle)を示す。即ち、撮影方向（ea，aa）で示される仮想カメラＩＣの注視点が、仮想カメラＩＣの撮影領域である所定領域Ｔの中心点ＣＰとなるように、仮想カメラＩＣの姿勢を変更することになる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。ｆは仮想カメラＩＣから中心点ＣＰまでの距離である。Ｌは所定領域Ｔの任意の頂点と中心点ＣＰとの距離である（２Ｌは対角線）。そして、図８では、一般的に以下の（式１）で示される三角関数が成り立つ。
【００３６】
Ｌ／ｆ＝ｔａｎ（α／２）・・・（式１）
＜近端末データ処理装置のハードウェア構成＞
図９は、近端末データ処理装置のハードウェア構成図である。図９に示されているように、近端末データ処理装置５は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＥＥＰＲＯＭ５０４、ＣＭＯＳセンサ５０５、加速度・方位センサ５０６、メディアＩ／Ｆ５０８、ＧＰＳ受信部５０９を備えている。
【００３７】
これらのうち、ＣＰＵ５０１は、近端末データ処理装置５全体の動作を制御する。ＲＯＭ５０２は、ＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＥＥＰＲＯＭ５０４は、ＣＰＵ５０１の制御にしたがって、近端末データ処理装置用プログラム等の各種データの読み出し又は書き込みを行う。ＣＭＯＳセンサ５０５は、ＣＰＵ５０１の制御に従って被写体（主に近端末データ処理装置５を操作するユーザの自画像）を撮像し画像データを得る。加速度・方位センサ５０６は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ５０８は、フラッシュメモリ等の記録メディア５０７に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部５０９は、ＧＰＳ衛星からＧＰＳ信号を受信する。
【００３８】
また、近端末データ処理装置５は、遠距離通信回路５１１、遠距離通信回路５１１のアンテナ５１１ａ、カメラ５１２、撮像素子Ｉ／Ｆ５１３、マイク５１４、スピーカ５１５、音入出力Ｉ／Ｆ５１６、ディスプレイ５１７、外部機器接続Ｉ／Ｆ５１８、近距離通信回路５１９、近距離通信回路５１９のアンテナ５１９ａ、及びタッチパネル５２１を備えている。
【００３９】
これらのうち、遠距離通信回路５１１は、イントラネット２００を介して、他の機器と通信する回路である。カメラ５１２は、ＣＰＵ５０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ５１３は、カメラ５１２の駆動を制御する回路である。マイク５１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ５１６は、ＣＰＵ５０１の制御に従ってマイク５１４及びスピーカ５１５との間で音信号の入出力を処理する回路である。ディスプレイ５１７は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬなどの表示手段の一種である。外部機器接続Ｉ／Ｆ５１８は、各種の外部機器を接続するためのインターフェースである。近距離通信回路５１９は、ＮＦＣ(Near Field radio Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。タッチパネル５２１は、利用者がディスプレイ５１７を押下することで、近端末データ処理装置５を操作する入力手段の一種である。
【００４０】
また、近端末データ処理装置５は、バスライン５１０を備えている。バスライン５１０は、図９に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【００４１】
＜ビデオ会議端末のハードウェア構成＞
図１０は、ビデオ会議端末のハードウェア構成図である。図１０に示されているように、ビデオ会議端末７は、ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３、フラッシュメモリ７０４、ＳＳＤ７０５、メディアＩ／Ｆ７０７、操作ボタン７０８、電源スイッチ７０９、バスライン７１０、ネットワークＩ／Ｆ７１１、カメラ７１２、撮像素子Ｉ／Ｆ７１３、マイク７１４、スピーカ７１５、音入出力Ｉ／Ｆ７１６、ディスプレイＩ／Ｆ７１７、外部機器接続Ｉ／Ｆ７１８、近距離通信回路７１９、近距離通信回路７１９のアンテナ７１９ａを備えている。これらのうち、ＣＰＵ７０１は、ビデオ会議端末７全体の動作を制御する。ＲＯＭ７０２は、ＩＰＬ等のＣＰＵ７０１の駆動に用いられるプログラムを記憶する。ＲＡＭ７０３は、ＣＰＵ７０１のワークエリアとして使用される。フラッシュメモリ７０４は、通信用プログラム、画像データ、及び音データ等の各種データを記憶する。ＳＳＤ７０５は、ＣＰＵ７０１の制御にしたがってフラッシュメモリ７０４に対する各種データの読み出し又は書き込みを制御する。なお、ＳＳＤに代えてＨＤＤを用いてもよい。メディアＩ／Ｆ７０７は、フラッシュメモリ等の記録メディア７０６に対するデータの読み出し又は書き込み（記憶）を制御する。操作ボタン７０８は、ビデオ会議端末７の宛先を選択する場合などに操作されるボタンである。電源スイッチ７０９は、ビデオ会議端末７の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。
【００４２】
また、ネットワークＩ／Ｆ７１１は、インターネット６００を利用してデータ通信をするためのインターフェースである。カメラ７１２は、ＣＰＵ７０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ７１３は、カメラ７１２の駆動を制御する回路である。マイク７１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ７１６は、ＣＰＵ７０１の制御に従ってマイク７１４及びスピーカ７１５との間で音信号の入出力を処理する回路である。ディスプレイＩ／Ｆ７１７は、ＣＰＵ７０１の制御に従って外付けのディスプレイ７２０に画像データを送信する回路である。外部機器接続Ｉ／Ｆ７１８は、各種の外部機器を接続するためのインターフェースである。近距離通信回路７１９は、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。
【００４３】
また、バスライン７１０は、図２に示されているＣＰＵ７０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【００４４】
ディスプレイ７２０は、被写体の画像や操作用アイコン等を表示する液晶や有機ＥＬによって構成された表示手段の一種である。また、ディスプレイ７２０は、ＨＤＭＩケーブル７３２によってディスプレイＩ／Ｆ７１７に接続される。このＨＤＭＩケーブル７３２は、アナログＲＧＢ（ＶＧＡ）信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、ＤＶＩ(Digital Video Interactive)信号用のケーブルであってもよい。
【００４５】
なお、ディスプレイ７２０は、後述のディスプレイ７２０ａ，７２０ｂの総称である。また、ＨＤＭＩケーブル７３２は、後述のＨＤＭＩケーブル７３２ａ，７３２ｂの総称である。
【００４６】
カメラ７１２は、レンズや、光を電荷に変換して被写体の画像（映像）を電子化する固体撮像素子を含み、固体撮像素子として、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)や、ＣＣＤ（Charge Coupled Device）等が用いられる。外部機器接続Ｉ／Ｆ７１８には、ＵＳＢケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、ＣＰＵ７０１の制御に従って、内蔵型のカメラ７１２に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、ＣＰＵ７０１の制御に従って、それぞれが内蔵型のマイク７１４や内蔵型のスピーカ７１５に優先して、外付けマイクや外付けスピーカが駆動する。
【００４７】
また、記録メディア７０６は、ビデオ会議端末７に対して着脱自在な構成となっている。また、ＣＰＵ７０１の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ７０４に限らず、ＥＥＰＲＯＭ(Electrically Erasable Programmable Read-Only Memory)等を用いてもよい。
【００４８】
＜電子黒板のハードウェア構成＞
図１１は、電子黒板のハードウェア構成図である。図１１は、電子黒板のハードウェア構成図である。図１１に示されているように、電子黒板８は、ＣＰＵ(Central Processing Unit)８０１、ＲＯＭ(Read Only Memory)８０２、ＲＡＭ(Random Access Memory)８０３、ＳＳＤ(Solid State Drive)８０４、ネットワークＩ／Ｆ８０５、及び、外部機器接続Ｉ／Ｆ(Interface)８０６を備えている。
【００４９】
これらのうち、ＣＰＵ８０１は、電子黒板８全体の動作を制御する。ＲＯＭ８０２は、ＣＰＵ８０１やＩＰＬ(Initial Program Loader)等のＣＰＵ８０１の駆動に用いられるプログラムを記憶する。ＲＡＭ８０３は、ＣＰＵ８０１のワークエリアとして使用される。ＳＳＤ８０４は、電子黒板用のプログラム等の各種データを記憶する。ネットワークコントローラ８０５は、通信ネットワーク６００との通信を制御する。外部機器接続Ｉ／Ｆ８０６は、ＵＳＢ(Universal Serial Bus)メモリ８６００、外付け機器（マイク８２００、スピーカ８３００、カメラ８４００）との通信を制御する。
【００５０】
また、電子黒板８は、キャプチャデバイス８１１、ＧＰＵ８１２、ディスプレイコントローラ８１３、接触センサ８１４、センサコントローラ８１５、電子ペンコントローラ８１６、近距離通信回路８１９、及び近距離通信回路８１９のアンテナ８１９ａ、電源スイッチ８２２及び選択スイッチ類８２３を備えている。
【００５１】
これらのうち、キャプチャデバイス８１１は、ＰＣ８１００のディスプレイで表示されている画像を取り込んでディスプレイ８２０に表示させる。ＧＰＵ(Graphics Processing Unit)８１２は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ８１３は、ＧＰＵ８１２からの出力画像をディスプレイ８２０等へ出力するために画面表示の制御及び管理を行う。接触センサ８１４は、ディスプレイ８２０上に電子ペン８５００やユーザの手Ｈ等が接触したことを検知する。センサコントローラ８１５は、接触センサ８１４の処理を制御する。接触センサ８１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ８２０の上側両端部に設置された２つ受発光装置が、ディスプレイ８２０に平行して複数の赤外線を放射し、ディスプレイ８２０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ８１４は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤをセンサコントローラ８１５に出力し、センサコントローラ８１５が、物体の接触位置である座標位置を特定する。電子ペンコントローラ８１６は、電子ペン８５００と通信することで、ディスプレイ８２０へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路８１９は、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ等の通信回路である。電源スイッチ８２２は、電子黒板８の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。選択スイッチ類８２３は、例えば、ディスプレイ８２０の表示の明暗や色合い等を調整するためのスイッチ群である。
【００５２】
更に、電子黒板８は、バスライン８１０を備えている。バスライン８１０は、図１１に示されているＣＰＵ８０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【００５３】
なお、接触センサ８１４は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、電子ペンコントローラ８１６が、電子ペン８５００のペン先及びペン尻だけでなく、電子ペン８５００のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
【００５４】
＜ＰＣのハードウェア構成＞
図１２は、ＰＣのハードウェア構成図を示している。ＰＣ６は、図１２に示されているように、ＣＰＵ６０１、ＲＯＭ６０２、ＲＡＭ６０３、ＨＤ６０４、ＨＤＤ(Hard Disk Drive)ドライブ６０５、記録メディア６０６、メディアＩ／Ｆ６０７、ディスプレイ６０８、タッチパネル６０９、ネットワークＩ／Ｆ６１０、キーボード６１１、マウス６１２、ＤＶＤ−ＲＷ(Digital Versatile Disk Rewritable)ドライブ６１４、及び、バスライン６２０を備えている。
【００５５】
これらのうち、ＣＰＵ６０１は、ＰＣ６全体の動作を制御する。ＲＯＭ６０２は、ＣＰＵ６０１の駆動に用いられるプログラムを記憶する。ＲＡＭ６０３は、ＣＰＵ６０１のワークエリアとして使用される。ＨＤ６０４は、プログラム等の各種データを記憶する。ＨＤＤドライブ６０５は、ＣＰＵ６０１の制御にしたがってＨＤ６０４に対する各種データの読み出し又は書き込みを制御する。メディアＩ／Ｆ６０７は、フラッシュメモリ等の記録メディア６０６に対するデータの読み出し又は書き込み（記憶）を制御する。ディスプレイ６０８は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。タッチパネル６０９は、利用者がディスプレイ６０８を押下することで、ＰＣ６を操作する入力手段の一種である。ネットワークＩ／Ｆ６１０は、インターネット６００を利用してデータ通信をするためのインターフェースである。キーボード６１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。マウス６１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ−ＲＷドライブは、着脱可能な記録媒体の一例としてのＤＶＤ−ＲＷ６１３に対する各種データの読み出し等を制御する。なお、ＤＶＤ−ＲＷに限らず、ＤＶＤ−ＲやＢｌｕ-ｒａｙ Ｄｉｓｃ（ブルーレイディスク）等であってもよい。
【００５６】
また、ＰＣ６は、バスライン６２０を備えている。バスライン６２０は、図１２に示されているＣＰＵ６０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【００５７】
＜通信管理サーバのハードウェア構成＞
図１２は、通信管理サーバのハードウェア構成図も示している。通信管理サーバ９は、コンピュータによって構築されており、図１２に示されているように、ＣＰＵ９０１、ＲＯＭ９０２、ＲＡＭ９０３、ＨＤ９０４、ＨＤＤドライブ９０５、記録メディア９０６、メディアＩ／Ｆ９０７、ディスプレイ９０８、タッチパネル９０９、ネットワークＩ／Ｆ９１０、キーボード９１１、マウス９１２、ＣＤ−ＲＷドライブ９１４、及び、バスライン９２０を備えている。なお、通信管理サーバ９は、サーバとして機能するため、タッチパネル９０９、キーボード９１１及びマウス９１２等の入力装置や、ディスプレイ９０８等の出力装置はなくてもよい。
【００５８】
これらのうち、ＣＰＵ９０１は、通信管理サーバ９全体の動作を制御する。ＲＯＭ９０２は、ＣＰＵ９０１の駆動に用いられるプログラムを記憶する。ＲＡＭ９０３は、ＣＰＵ９０１のワークエリアとして使用される。ＨＤ９０４は、プログラム等の各種データを記憶する。ＨＤＤドライブ９０５は、ＣＰＵ９０１の制御にしたがってＨＤ９０４に対する各種データの読み出し又は書き込みを制御する。メディアＩ／Ｆ９０７は、フラッシュメモリ等の記録メディア９０６に対するデータの読み出し又は書き込み（記憶）を制御する。ディスプレイ９０８は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。タッチパネル９０９は、利用者がディスプレイ９０８を押下することで、通信管理サーバ９を操作する入力手段の一種である。ネットワークＩ／Ｆ９１０は、インターネット６００を利用してデータ通信をするためのインターフェースである。キーボード９１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。マウス９１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＣＤ−ＲＷドライブは、着脱可能な記録媒体の一例としてのＣＤ−ＲＷ(Compact Disc-ReWritable)９１３に対する各種データの読み出し等を制御する。
【００５９】
また、通信管理サーバ９は、バスライン９２０を備えている。バスライン９２０は、図１２に示されているＣＰＵ９０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【００６０】
＜中継装置のハードウェア構成＞
中継装置１０は、基本的に通信管理サーバと同様の構成を備えている。即ち、中継装置１０は、コンピュータによって構築されており、図１２に示されているように、ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３、ＨＤ１００４、ＨＤＤドライブ１００５、記録メディア１００６、メディアＩ／Ｆ１００７、ディスプレイ１００８、タッチパネル１００９、ネットワークＩ／Ｆ１０１０、キーボード１０１１、マウス１０１２、ＣＤ−ＲＷドライブ１０１４、及び、バスライン１０２０を備えている。なお、中継装置１０は、ルータとして機能するため、タッチパネル１００９、キーボード１０１１、及びマウス１０１２等の入力装置や、ディスプレイ１００８等の出力装置はなくてもよい。
【００６１】
ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３、ＨＤ１００４、ＨＤＤドライブ１００５、記録メディア１００６、メディアＩ／Ｆ１００７、ディスプレイ１００８、タッチパネル１００９、ネットワークＩ／Ｆ１０１０、キーボード１０１１、マウス１０１２、ＣＤ−ＲＷドライブ１０１４、及び、バスライン１０２０は、それぞれ、ＣＰＵ９０１、ＲＯＭ９０２、ＲＡＭ９０３、ＨＤ９０４、ＨＤＤドライブ９０５、記録メディア９０６、メディアＩ／Ｆ９０７、ディスプレイ９０８、タッチパネル９０９、ネットワークＩ／Ｆ９１０、キーボード９１１、マウス９１２、ＣＤ−ＲＷドライブ９１４、及び、バスライン９２０と同様の構成であるため、これらの説明を省略する。
【００６２】
〔通信システムの各機能構成〕
続いて、図面を用いて、通信システムの各機能構成について説明する。
【００６３】
まず、図１３及び図１４を用いて、本実施形態に係る通信システムを構成する端末、装置、及びサーバの各機能構成について説明する。図１３は、通信システムの各機能ブロック図である。
【００６４】
＜実時間データ処理端末の機能構成＞
図１３に示されているように、実時間データ処理端末３は、判断部３３、画像処理部３４、接続部３８、記憶・読出部３９、及び通信部４８を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ３０４からＲＡＭ３０３上に展開されたプログラムに従ったＣＰＵ３０１からの命令によって、動作することで実現される機能又は手段である。
【００６５】
また、実時間データ処理端末３は、図２に示されているＲＯＭ３０２、ＲＡＭ３０３、及びＥＥＰＲＯＭ３０４によって構築される記憶部３０００を有している。
【００６６】
（実時間データ処理端末の各機能構成）
次に、図１３を用いて、実時間データ処理端末３の各機能構成について更に詳細に説明する。
【００６７】
実時間データ処理端末３の判断部３３は、ＣＰＵ３０１の処理によって実現され、各種判断を行なう。
【００６８】
画像処理部３４は、ＣＰＵ３０１の処理によって実現され、撮像ユニット４０から入力された画像データをデジタル化し、動画データ及び静止画データの少なくとも一方を生成する。画像処理部３４は、例えば、実時間（例えば、１／６０秒間隔）の動画データを生成したり、静止画データを生成したりする。
【００６９】
接続部３８は、撮像ユニットＩ／Ｆ３１３、及びＣＰＵ３０１の処理によって実現され、撮像ユニット４０を実時間データ処理端末３に機械的及び電気的に接続するためのインターフェースである。
【００７０】
記憶・読出部３９は、ＣＰＵ３０１の処理によって実現され、記憶部３０００に各種データ（または情報）を記憶したり、記憶部３０００から各種データ（または情報）を読み出したりする。
【００７１】
通信部４８は、外部機器接続Ｉ／Ｆ３１８、及びＣＰＵ３０１の処理によって実現され、1対1の通信を介して近端末データ処理装置５の後述の通信部５８と各種データ（または情報）の送受信を行う。なお、この通信は有線だけでなく無線であってもよい。
【００７２】
＜近端末データ処理装置の機能構成＞
図１３に示されているように、近端末データ処理装置５は、送受信部５１、判断部５３、通信部５８、及び記憶・読出部５９を有している。これら各部は、図９に示されている各構成要素のいずれかが、近端末データ処理装置５において、ＥＥＰＲＯＭ５０４からＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって、動作することで実現される機能又は手段である。
【００７３】
また、近端末データ処理装置５は、図９に示されているＲＯＭ５０２、ＲＡＭ５０３、及びＥＥＰＲＯＭ５０４によって構築される記憶部５０００を有している。
【００７４】
（近端末データ処理装置の各機能構成）
次に、図１３を用いて、近端末データ処理装置５の各機能構成について更に詳細に説明する。
【００７５】
近端末データ処理装置５の送受信部５１は、遠距離通信回路５１１、アンテナ５１１ａ、及びＣＰＵ５０１の処理によって実現され、通信ネットワーク６００を介して、他の端末、装置、及びサーバとの間で各種データ（または情報）の送受信を行う。
【００７６】
判断部５３は、ＣＰＵ５０１の処理によって実現され、各種判断を行う。
【００７７】
通信部５８は、外部機器接続Ｉ／Ｆ５１８、及びＣＰＵ５０１の処理によって実現され、1対1の通信を介して実時間データ処理端末３の通信部４８と各種データ（または情報）の送受信を行う。なお、この通信は有線だけでなく、無線であってもよい。
【００７８】
記憶・読出部５９は、ＣＰＵ５０１の処理によって実現され、記憶部５０００に各種データ（または情報）を記憶したり、記憶部５０００から各種データ（または情報）を読み出したりする。
【００７９】
＜ＰＣの機能構成＞
図１３に示されているように、ＰＣ６は、送受信部６１、受付部６２、全天球画像・音処理部６４、表示制御部６７、及び記憶・読出部６９を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＰＣ６において、ＨＤ６０４からＲＡＭ６０３上に展開されたプログラムに従ったＣＰＵ６０１からの命令によって、動作することで実現される機能又は手段である。
【００８０】
また、ＰＣ６は、図１１に示されているＲＯＭ６０２、ＲＡＭ６０３、及びＨＤ６０４によって構築される記憶部６０００を有している。
【００８１】
（ＰＣの各機能構成）
ＰＣ６の送受信部６１は、ＰＣ６における、ネットワークＩ／Ｆ６０５、及びＣＰＵ６０１の処理によって実現され、通信ネットワーク６００を介して、他の端末、装置、及びサーバと各種データ（または情報）の送受信を行う。
【００８２】
受付部６２は、ＰＣ６における、キーボード６１１、マウス６１２、及びＣＰＵ６０１の処理によって実現され、利用者の各種操作を受け付ける。
【００８３】
全天球画像・音処理部６４は、中継装置１０から送られて来た全天球動画のデータを再生して、ディスプレイ６０８に動画（映像）を表示させたり、中継装置１０から送られて来た音データを再生して、外付けの外部スピーカに音を出力させたりする。なお、全天球動画・音処理部７４は、全天球静止画、平面動画、平面静止画の全てのデータも再生することができる。
【００８４】
表示制御部６７は、ＰＣ６におけるＣＰＵ６０１の処理によって実現され、表示手段の一例であるディスプレイ６０８に全天球動画、全天球静止画、平面動画、又は平面静止画を表示させる。
【００８５】
記憶・読出部８９は、ＰＣ６におけるＣＰＵ８０１の処理によって実現され、記憶部８０００に各種データ（または情報）を記憶したり、記憶部８０００から各種データ（または情報）を読み出したりする。
【００８６】
＜ビデオ会議端末の機能構成＞
図１３に示されているように、ビデオ会議端末７は、送受信部７１、受付部７２、平面動画・音処理部７４、表示制御部７７、音制御部７８、及び記憶・読出部７９を有している。これら各部は、図１０に示されている各構成要素のいずれかが、ビデオ会議端末７において、フラッシュメモリ７０４からＲＡＭ７０３上に展開されたプログラムに従ったＣＰＵ７０１からの命令によって、動作することで実現される機能又は手段である。
【００８７】
また、ビデオ会議端末７は、図１０に示されているＲＯＭ７０２、ＲＡＭ７０３、及びフラッシュメモリ７０４によって構築される記憶部７０００を有している。
【００８８】
（ビデオ会議端末の各機能構成）
ビデオ会議端末７の送受信部７１は、ビデオ会議端末７における、ネットワークＩ／Ｆ７１１、及びＣＰＵ７０１の処理によって実現され、通信ネットワーク６００を介して、他の端末、装置、及びサーバと各種データ（または情報）の送受信を行う。
【００８９】
受付部７２は、ビデオ会議端末７における、操作ボタン７０８、及びＣＰＵ７０１の処理によって実現され、利用者の各種操作を受け付ける。
【００９０】
平面動画・音処理部７４は、中継装置１０から送られて来た平面動画データを再生して、ディスプレイ７２０に動画（映像）を表示させたり、中継装置１０から送られて来た音データを再生して、スピーカ７１５に音を出力させたりする。なお、平面動画・音処理部７４は、全天球動画、全天球静止画、平面静止画の各データを再生することはできない。
【００９１】
表示制御部７７は、ビデオ会議端末７におけるＣＰＵ７０１の処理によって実現され、表示手段の一例であるディスプレイ７２０に平面動画を表示させる。
【００９２】
音制御部７８は、ビデオ会議端末７におけるＣＰＵ７０１の処理によって実現され、マイク７１４における集音を制御したり、スピーカ７１５における音の出力を制御したりする。
【００９３】
記憶・読出部７９は、ビデオ会議端末７におけるＣＰＵ７０１の処理によって実現され、記憶部７０００に各種データ（または情報）を記憶したり、記憶部７０００から各種データ（または情報）を読み出したりする。
【００９４】
＜電子黒板の機能構成＞
図１３に示されているように、電子黒板８は、送受信部８１、受付部８２、平面静止画処理部８４、表示制御部８７、及び記憶・読出部８９を有している。これら各部は、図１１に示されている各構成要素のいずれかが、電子黒板８において、ＳＳＤ８０４からＲＡＭ８０３上に展開されたプログラムに従ったＣＰＵ８０１からの命令によって、動作することで実現される機能又は手段である。
【００９５】
また、電子黒板８は、図１１に示されているＲＯＭ８０２、ＲＡＭ８０３、及びフラッシュメモリ８０４によって構築される記憶部８０００を有している。
【００９６】
（電子黒板の各機能構成）
電子黒板８の送受信部８１は、電子黒板８における、ネットワークＩ／Ｆ８０５、及びＣＰＵ８０１の処理によって実現され、通信ネットワーク６００を介して、他の端末、装置、及びサーバと各種データ（または情報）の送受信を行う。
【００９７】
受付部８２は、電子黒板８における、選択スイッチ類８２３、及びＣＰＵ８０１の処理によって実現され、利用者の各種操作を受け付ける。
【００９８】
平面静止画処理部８４は、中継装置１０から送られて来た平面静止画データを再生して、ディスプレイ８２０に平面静止画を表示させる。なお、平面静止画処理部８４は、全天球動画、全天球静止画、平面動画の各データを再生することはできないが、動画・音処理部７４のように、中継装置１０から送られて来た音データを再生して、スピーカ８３００に音を出力させることができるようにしてもよい。
【００９９】
表示制御部８７は、電子黒板８におけるＣＰＵ８０１の処理によって実現され、表示手段の一例であるディスプレイ８２０に静止画を表示させる。
【０１００】
記憶・読出部８９は、電子黒板８におけるＣＰＵ８０１の処理によって実現され、記憶部８０００に各種データ（または情報）を記憶したり、記憶部８０００から各種データ（または情報）を読み出したりする。
【０１０１】
＜通信管理サーバ９の機能構成＞
図１３に示されているように、通信管理サーバ９は、送受信部９１、判断部９３、及び記憶・読出部９９を有している。これら各部は、図１２に示されている各構成要素のいずれかが、ＨＤ９０４からＲＡＭ９０３上に展開されたプログラムに従ったＣＰＵ９０１からの命令によって、動作することで実現される機能又は手段である。
【０１０２】
また、通信管理サーバ９は、図１２に示されているＲＯＭ９０２、ＲＡＭ９０３、及びＨＤ９０４によって構築される記憶部９０００を有している。更に、記憶部９０００には、通信管理ＤＢ（データベース）９００１、送信可能画像種類管理ＤＢ９００２、及び再生可能画像種類管理ＤＢ９００３が構築されている。通信管理ＤＢ９００１は、後述の通信管理テーブルによって構成されている。送信可能画像種類管理ＤＢ９００２は、後述の送信可能画像種類管理テーブルによって構成されている。送信可能画像種類管理ＤＢ９００２は、後述の送信可能画像種類管理テーブルによって構成されている。
【０１０３】
（通信管理テーブル）
図１４（ａ）は、通信管理テーブルの概念図である。この通信管理テーブルでは、送信装置を識別するための装置ＩＤ、及び受信装置を識別するための装置ＩＤが関連付けられて管理されている。
【０１０４】
（送信可能画像種類管理テーブル）
図１４（ｂ）は、送信可能画像種類管理テーブルの概念図である。この送信可能画像種類管理テーブルでは、送信装置を識別するための装置ＩＤ、及び送信可能な画像の画像種類が関連付けられて管理される。テーブルの「Ｎｏｎｅ」は何も設定されていない状態を示し、「Ｖ３」は３次元の全天球動画(Video)を示し、「Ｖ２」は２次元の平面動画(Video)を示し、「Ｓ」は２次元の平面静止画(Still image)を示している。送信装置が初期状態で、まだ画像データを送信していない場合、送信可能な画像の画像種類は管理されていない。送信可能な画像の画像種類は、受信装置（ビデオ会議端末７、電子黒板８）からの要求（後述のＳ１３参照）に応じて、動的に変更される。図１４（ｂ）では、送信装置の装置ＩＤ「０１ａａ」の場合、送信可能な画像の画像種類が、ＮｏｎｅからＳに変更され、更にＳからＳ及びＶに変更される状態を示している。なお、送信装置の装置ＩＤは、送信装置識別情報の一例である。
【０１０５】
（再生可能画像種類管理テーブル）
図１４（ｃ）は、再生可能画像種類管理テーブルの概念図である。この再生可能画像種類管理テーブルでは、受信装置を識別するための装置ＩＤ、及び再生可能な画像の画像種類が関連付けられて管理されている。
【０１０６】
（通信管理サーバの各機能構成）
次に、図１３を用いて、通信管理サーバ９の各機能構成について更に詳細に説明する。通信管理サーバ９の送受信部９１は、ネットワークＩ／Ｆ９１０、及びＣＰＵ９０１の処理によって実現され、通信ネットワーク６００を介して、他のサーバ、装置、及び端末と各種データ（または情報）の送受信を行う。
【０１０７】
判断部９３は、ＣＰＵ９０１の処理によって実現され、各種判断を行う。
【０１０８】
記憶・読出部９９は、ＣＰＵ９０１の処理によって実現され、記憶部９０００に各種データ（または情報）を記憶したり、記憶部９０００から各種データ（または情報）を読み出したりする。
【０１０９】
＜中継装置の機能構成＞
図１３に示されているように、中継装置１０は、送受信部（転送部）１０１、判断部１０３、画像処理部１０４、及び記憶・読出部１０９を有している。これら各部は、図１２に示されている各構成要素のいずれかが、ＨＤ９０４からＲＡＭ９０３上に展開されたプログラムに従ったＣＰＵ９０１からの命令によって、動作することで実現される機能又は手段である。
【０１１０】
また、中継装置１０は、図１２に示されているＲＯＭ９０２、ＲＡＭ９０３、及びＨＤ９０４によって構築される記憶部１００００を有している。更に、記憶部１００００には、転送画像種類管理ＤＢ１０００１が構築されている。転送画像種類管理ＤＢ１０００１は、後述の転送画像種類管理テーブルによって構成されている。
【０１１１】
（転送画像種類管理テーブル）
図１４（ｄ）は、転送画像種類管理テーブルの概念図である。この転送画像種類管理テーブルでは、送信装置を識別するための装置ＩＤ、全天球動画再生可能な受信装置の装置ＩＤ、平面動画再生可能な受信装置の装置ＩＤ、及び平面静止画再生可能な受信装置の装置ＩＤが関連付けられて管理されている。なお、受信装置の装置ＩＤは、受信装置識別情報の一例である。
【０１１２】
（中継装置の各機能構成）
次に、図１３を用いて、中継装置１０の各機能構成について更に詳細に説明する。中継装置１０の送受信部１０１は、ネットワークＩ／Ｆ１０１０、及びＣＰＵ１００１の処理によって実現され、通信ネットワーク６００を介して、他のサーバ、装置、及び端末と各種データ（または情報）の送受信を行う。
【０１１３】
判断部１０３は、ＣＰＵ１００１の処理によって実現され、各種判断を行う。
【０１１４】
画像処理部１０４は、全天球動画、平面動画、及び平面静止画に関する画像処理を行う。なお、画像処理部１０４は、全天球静止画に関する画像処理を行ってもよい
記憶・読出部１０９は、ＣＰＵ１００１の処理によって実現され、記憶部１００００に各種データ（または情報）を記憶したり、記憶部１００００から各種データ（または情報）を読み出したりする。
〔本実施形態の処理又は動作〕
続いて、図１５乃至図１８を用いて、本実施形態の処理又は動作について説明する。図１５は、画像データの送受信の処理を示したシーケンス図である。ここでは、図３に示されている撮像ユニット４０ｂが実時間データ処理端末３に接続され、実時間データ処理端末３が撮像ユニット４０ｂから全天球動画データを取得する場合について説明する。なお、以下では、音データの取得については省略する。
【０１１５】
図１５に示されているように、電子黒板８において、電源スイッチ８２２のＯＮ等により、電子黒板８の送受信部８１は、通信管理サーバ９に対して、画像データが受信可能な状態である旨を示す受信可能情報を送信する（Ｓ１１）。この受信可能情報には、要求先（送信元）を特定するための送信装置の装置ＩＤ、及び要求元（送信先）としての自装置を特定するための受信装置の装置ＩＤが含まれている。これにより、通信管理サーバ９の送受信部９１は、受信可能情報を受信する。
【０１１６】
次に、通信管理サーバ９の送受信部９１は、通信ネットワーク６００を介し、近端末データ処理装置５に対して、画像データの送信を開始する要求を示す送信開始要求情報を送信する（Ｓ１２）。これにより、近端末データ処理装置５の送受信部５１は、送信開始要求情報を受信する。
【０１１７】
次に、近端末データ処理装置５の判断部５３は、画像データの送信を開始して良いか否かの判断を行う（Ｓ１３）。ここで、図１６を用いて、ステップＳ１３の処理について詳細に説明する。図１６は、画像データの送信の開始判断を示したフローチャートである。
【０１１８】
図１６に示されているように、判断部５３は、既に画像データの送信を開始しているかを判断する（Ｓ１３−１）。そして、判断部５３が既に送信を開始していると判断した場合には（ＹＥＳ）、そのままステップＳ１３の処理が終了する。一方、判断部５３がまだ送信を開始していないと判断した場合には（ＮＯ）、ステップＳ１７の処理へ進む。
【０１１９】
一方、通信管理サーバ９は、ステップＳ１１の処理に応じて、画像データの画像種類の判断処理を行う（Ｓ１４）。ここで、図１７を用いて画像種類の判断処理について説明する。図１７は、画像種類の判断処理を示したフローチャートである。
【０１２０】
図１７に示されているように、記憶・読出部９９は、通信管理ＤＢ９００１（図１４（ａ）参照）に対して、受信可能情報に含まれている受信装置の装置ＩＤを記憶する（Ｓ１４−１）。この場合、通信管理ＤＢ９００１では、新しいレコードが作成される。
【０１２１】
次に、記憶・読出部９９は、ステップＳ１１で受信された送信装置の装置ＩＤを検索キーとして、送信可能画像種類管理ＤＢ９００２（図１４（ｂ）参照）において、対応する送信可能な画像の画像種類を検索する（Ｓ１４−２）。また、記憶・読出部９９は、ステップＳ１１で受信された受信装置の装置ＩＤを検索キーとして、再生可能画像種類管理ＤＢ９００３（図１４（ｃ）参照）を検索することにより、対応する再生可能な画像の画像種類を読み出す（Ｓ１４−３）。なお、ステップＳ１４−２とステップＳ１４−３の処理はどちらが先に行われてもよい。
【０１２２】
次に、判断部９３は、上記ステップＳ１４−２の検索により、既に何らかの画像種類が管理されているか否かを判断する（ステップＳ１４−４）。そして、画像種類が管理されていない場合には（ＮＯ）、記憶・読出部９９は、送信可能画像種類管理ＤＢ９００２において、ステップＳ１１で受信された送信装置の装置ＩＤに対応する送信可能な画像の画像種類を、「Ｎｏｎｅ」から、再生可能画像種類管理ＤＢ９００３においてステップＳ１１で受信された受信装置の装置ＩＤに対応する再生可能な画像の画像種類と同じ画像種類に変更する（Ｓ１４−５）。ここでは、電子黒板８が特定の送信装置に対する最初の受信可能情報を送信したため、図１４（ｂ）に示されているように、送信可能な画像の画像種類が「Ｎｏｎｅ」から「Ｓ」に変更される。
【０１２３】
一方、上記ステップＳ１４−４において、判断部９３が、既に何らかの画像種類が管理されていると判断した場合には、判断部９３は更に、ステップＳ１４−２で読み出された送信可能な画像の画像種類と、ステップＳ１４−３で読み出された再生可能な画像の画像種類とが同じであるかを判断する（Ｓ１４−６）。そして、判断部９３によって、同じであると判断された場合には（ＹＥＳ）、ステップＳ１５の処理へ進む。一方、判断部９３によって、同じでない（異なる）と判断された場合には（ＮＯ）、記憶・読出部９９は、送信可能画像種類管理ＤＢ９００２において既に管理されている画像種類に対して、再生可能画像種類管理ＤＢ９００３においてステップＳ１３で受信された受信装置の装置ＩＤに対応する再生可能な画像の画像種類と同じ画像種類を追加することで、画像種類を全体として変更する（Ｓ１４−５）。例えば、図１４（ｂ）に示されているように、送信装置の装置ＩＤ「０１ａａ」に対する送信可能な画像の画像種類「Ｓ」に対して「Ｖ２」を追加することで、全体としては画像種類を「Ｓ」から「Ｓ，Ｖ２」に変更される。
【０１２４】
次に、通信管理サーバ９では、ステップＳ１４の処理後、送受信部９１は、中継装置１０へ、画像データを転送する要求を示す転送要求情報を送信する（Ｓ１５）。この転送要求情報には、ステップＳ１１で受信された送信装置の装置ＩＤ及び受信装置の装置ＩＤ、並びに上記ステップＳ１４−２で検索された画像種類が含まれている。これにより、中継装置１０の送受信部１０１は転送要求情報を受信する。
【０１２５】
次に、中継装置１０では、記憶・読出部１０９が、転送画像種類管理ＤＢ１０００１に、転送要求情報に含まれている送信装置の装置ＩＤ及び受信装置の装置ＩＤを記憶して管理する（Ｓ１６）。この場合、転送要求情報に含まれている画像種類が「Ｖ２」の場合には、「平面動画再生可能な受信装置の装置ＩＤ」フィールドに、転送要求情報に含まれている受信装置の装置ＩＤ（例えば、「０２ａａ」）が管理される。また、転送要求情報に含まれている画像種類が「Ｓ」の場合には、「平面静止画再生可能な受信装置の装置ＩＤ」フィールドに、転送要求情報に含まれている受信装置の装置ＩＤが管理される。ここでは、ステップＳ１１によって、平面静止画データを再生可能な電子黒板８が受信画像情報を送信しているため、「平面静止画再生可能な受信装置の装置ＩＤ」フィールドに受信装置としての電子黒板８の装置ＩＤ「０２ａｂ」が管理される。
【０１２６】
一方、通信部５８は、送受信部５１で受信された送信開始要求情報を、実時間データ処理端末３の通信部４８に出力する（Ｓ１７）。
【０１２７】
次に、実時間データ処理端末３では、ステップＳ１７で入力した送信開始要求情報により、画像処理部３４が、全天球動画データの符号化を行う（Ｓ１８）。そして。通信部４８が近端末データ処理装置５の通信部５８に対して、図４（ｃ）に示されているような正距円筒射影画像の動画の画像データを出力する（Ｓ１９）。そして、近端末データ処理装置５の送受信部５１は、通信ネットワーク６００を介して、中継装置１０に、通信部５８で入力された正距円筒射影画像の動画の画像データを送信する（Ｓ２０）。これにより、中継装置１０の送受信部１０１は、正距円筒射影画像の動画の画像データを受信する。
【０１２８】
次に、中継装置１０は、転送可能な画像種類の判断処理を行う（Ｓ２１）。ここで、図１８を用いて、転送可能な画像データの画像種類の判断処理を詳細に説明する。図１８は、転送可能な画像データの画像種類の判断処理を示したフローチャートである。
【０１２９】
まず、記憶・読出部１０９は、送信装置の装置ＩＤを検索キーとして、転送画像種類管理ＤＢ１０００１の「全天球動画再生可能な受信装置の装置ＩＤ」フィールドを検索する（Ｓ２１−１）。なお、この送信装置の装置ＩＤは、ステップＳ１１の前に近端末データ処理装置５と中継装置１０との間で通信セッションを確立する際に、中継装置１０が近端末データ処理装置５から取得されている。
【０１３０】
そして、判断部１０３は、「全天球動画再生可能な受信装置の装置ＩＤ」フィールドに装置ＩＤが管理されているか否かにより、受信装置が全天球動画再生可能か否かを判断する（Ｓ２１−２）。そして、判断部１０３が、装置ＩＤが管理されていると判断、即ち、受信装置が全天球動画再生可能であると判断した場合には（ＹＥＳ）、送受信部１０１は転送部として、受信装置に全天球動画の画像データを転送する（Ｓ２２）。これにより、受信装置は、全天球動画の画像データを受信する。一方、ステップＳ２１−２において、判断部１０３が、装置ＩＤが管理されていないと判断、即ち、受信装置が全天球動画再生不可能であると判断した場合には（ＮＯ）、送受信部１０１は転送部として、受信装置に全天球動画の画像データを転送しない。ここでは、受信装置が電子黒板８であるため、ステップＳ２２で、全天球動画の画像データは転送されない。
【０１３１】
続いて、記憶・読出部１０９は、送信装置の装置ＩＤを検索キーとして、転送画像種類管理ＤＢ１０００１の「平面動画再生可能な受信装置の装置ＩＤ」フィールドを検索する（Ｓ２１−３）。そして、判断部１０３は、「平面動画再生可能な受信装置の装置ＩＤ」フィールドに装置ＩＤが管理されているか否かにより、受信装置が平面動画再生可能か否かを判断する（Ｓ２１−４）。そして、判断部１０３が、装置ＩＤが管理されていると判断、即ち、受信装置が平面動画再生可能であると判断した場合には（ＹＥＳ）、画像処理部１０４は、全天球動画の全フレーム毎に、第１の撮影方向と第１の画角で定まる第１の所定領域を特定する（Ｓ２１−５）。そして、送受信部１０１は転送部として、受信装置に第１の所定領域の平面動画の画像データを転送する（Ｓ２２）。これにより、受信装置は、第１の所定領域の平面動画の画像データを受信する。一方、ステップＳ２１−４おいて、判断部１０３が、装置ＩＤが管理されていないと判断、即ち、受信装置が平面動画再生不可能であると判断した場合には（ＮＯ）、送受信部１０１は転送部として、受信装置に平面動画の画像データを転送しない。ここでは、受信装置が電子黒板８であるため、ステップＳ２２で、平面動画の画像データは転送されない。
【０１３２】
続いて、記憶・読出部１０９は、送信装置の装置ＩＤを検索キーとして、転送画像種類管理ＤＢ１０００１の「平面静止画再生可能な受信装置の装置ＩＤ」フィールドを検索する（Ｓ２１−６）。そして、判断部１０３は、「平面静止画再生可能な受信装置の装置ＩＤ」フィールドに装置ＩＤが管理されているか否かにより、受信装置が平面静止画再生可能か否かを判断する（Ｓ２１−７）。そして、判断部１０３が、装置ＩＤが管理されていると判断、即ち、受信装置が平面静止画再生可能であると判断した場合には（ＹＥＳ）、画像処理部１０４は、全天球動画の全フレーム毎に、第２の撮影方向と第２の画角で定まる第２の所定領域を特定する（Ｓ２１−８）。そして、画像処理部１０４は、第２の所定領域を示す平面静止画データの符号化を行う（Ｓ２１−９）。最後に、送受信部１０１は転送部として、受信装置に平面静止画の画像データを転送する（Ｓ２２）。一方、ステップＳ２１−７において、判断部１０３が、装置ＩＤが管理されていないと判断、即ち、受信装置が平面静止画再生不可能であると判断した場合には（ＮＯ）、送受信部１０１は転送部として、受信装置に平面静止画の画像データを転送しない。ここでは、受信装置が電子黒板８であるため、ステップＳ２２で、平面静止画の画像データは転送される。これにより、受信装置としての電子黒板８は、平面静止画の画像データを受信する。
【０１３３】
次に、受信装置が画像データを再生する（Ｓ２３）。ここでは、受信装置が電子黒板８であるため、表示制御部８７がディスプレイ８２０上に静止画を再生（表示）させる。以上により、画像データの送受信の処理が終了する。
【０１３４】
〔実施形態の主な効果〕
以上説明したように本実施形態によれば、送信装置（画像取得端末２等）が送信可能な画像データの画像種類と、受信装置（ＰＣ６、ビデオ会議端末７、電子黒板８）が再生可能な画像データの画像種類が同じでない場合には、通信管理サーバ９は、送信装置に対して受信装置が再生可能な画像種類の画像データを送信する要求を行う。これにより、既に使用している受信装置とは異なる画像種類の画像データを再生する他の受信装置を新たに使用する場合や、既に使用している受信装置が再生している画像データを異なる画像種類に変更する場合等であっても、受信装置は画像データを再生することができるという効果を奏する。
【０１３５】
〔補足〕
各ＣＰＵ３０１，５０１，７０１，９０１，１００１等の各構成要素は、単一であってもよく複数であってもよい。
【０１３６】
通信管理サーバ９は、単一のコンピュータによって構築されてもよく、複数のコンピュータによって構築されてもよい。
【０１３７】
図１４（ｂ）、（ｃ）に示されているように、送信可能画像種類管理ＤＢ９００２と再生可能画像種類管理ＤＢ９００３は異なるＤＢとして説明したが、まとめて１つの同じＤＢとしてもよい。
【０１３８】
更に、上述の実施形態における各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本実施形態における「処理回路」は、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上述した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）、SOC(System on a chip)、GPU、及び従来の回路モジュール等のデバイスを含む。
【符号の説明】
【０１３９】
２  画像取得端末
３  実時間データ処理端末
５  近端末データ処理装置
６  ＰＣ（受信装置の一例）
７  ビデオ会議端末（受信装置の一例）
８  電子黒板（受信装置の一例）
９  通信管理サーバ
１０  中継装置
３４  画像処理部（符号化手段のの一例）
５１  送受信部（符号化後送信手段の一例）
９１  送受信部
９３  判断部
９９  記憶・読出部
１０１  送受信部（送信手段の一例、受信手段の一例）
１０３  判断部（判断手段の一例）
１０４  画像処理部（画像処理手段の一例）
６００  通信ネットワーク
９０００  記憶部
９００１  通信管理ＤＢ（通信管理手段の一例）
９００２  送信可能画像種類管理ＤＢ（第１の画像種類管理手段の一例）
９００３  再生可能画像種類管理ＤＢ（第２の画像種類管理手段の一例）
１００００  記憶部
１０００１  転送画像種類管理ＤＢ（転送画像種類管理手段の一例）
【先行技術文献】
【特許文献】
【０１４０】
【特許文献１】特表２０１６−５１９８１２号公報
【図１】
2020096353.tif 000003
【図２】
2020096353.tif 000004
【図３】
2020096353.tif 000005
【図４】
2020096353.tif 000006
【図５】
2020096353.tif 000007
【図６】
2020096353.tif 000008
【図７】
2020096353.tif 000009
【図８】
2020096353.tif 000010
【図９】
2020096353.tif 000011
【図１０】
2020096353.tif 000012
【図１１】
2020096353.tif 000013
【図１２】
2020096353.tif 000014
【図１３】
2020096353.tif 000015
【図１４】
2020096353.tif 000016
【図１５】
2020096353.tif 000017
【図１６】
2020096353.tif 000018
【図１７】
2020096353.tif 000019
【図１８】
2020096353.tif 000020