(57)【要約】  増大する通信需要に対応して、大容量の下り通信を安価かつ効率的に提供する手段が求められている。そこで、表示部に映像を表示させる表示制御装置と、表示部によって表示された映像を、直接、あるいは、壁面等に投影され、あるいは反射した映像を、撮像する撮像部を有する通信端末とを備えるサプリメンタルダウンリンクを提供する、並びにマルチキャスト通信を提供する通信システムであって、表示制御装置が、表示対象の映像を取得する映像取得部と、映像取得部が取得した映像のうち、変化しない領域又は変化量が予め定められた閾値より低い領域を特定する領域特定部と、領域特定部によって特定された領域に送信データを光通信信号として符号化した符号化映像を生成する映像生成部と、符号化映像を表示部に表示させる表示制御部とを有し、通信端末が、撮像部によって撮像された映像のうち、送信データが符号化された領域を識別する領域識別部と、領域識別部によって識別された領域から送信データを復号化する復号化部、並びに、光通信以外の手段（ＷｉＦｉ、モバイルデータ通信等の手段）で、上記光通信によるサプリメンタルダウンリンクの制御信号を通信する機構を有する通信システムを提供する。
2019150489.tif 000002
【特許請求の範囲】
【請求項１】
表示部に映像を表示させる表示制御装置と、
前記表示部によって表示された映像を撮像する撮像部を有する通信端末とを備える通信システムであって、
前記表示制御装置は、
表示対象の映像を取得する映像取得部と、
前記映像取得部が取得した前記映像のうち、変化しない領域又は変化量が予め定められた閾値より低い領域を特定する領域特定部と、
前記領域特定部によって特定された領域に送信データを光通信信号として符号化した符号化映像を生成する映像生成部と、
前記符号化映像を前記表示部に表示させる表示制御部とを有し、
前記通信端末は、
前記撮像部によって撮像された映像のうち、前記送信データが符号化された領域を識別する領域識別部と、
前記領域識別部によって識別された前記領域から前記送信データを復号化する復号化部とを有し、光通信以外の他の通信手段（WiFi，３G，４G，５G等）の無線通信手段を用いて、前記光通信の通信制御信号をやり取りする仕組みを持った、光通信による、サプリメンタルダウンリンクを提供する通信システム。
【請求項２】
前記映像取得部は、光学的、あるいはデジタル的な手ぶれ防止機構を備える、請求項１に記載の通信システム。
【請求項３】
請求項１に示す通信システムであって、前記通信端末は、前記撮像部で撮像された映像の撮像に関する情報と、復号化した送信データの復号可否情報と、通信制御に関する情報を、光通信以外の手段を用いて、前記表示制御装置にフィードバックを行う請求項１に記載の通信システム。
【請求項４】
請求項１に示す通信システムであって、３ＧＰＰで規定するデュアルコネクティビティと同様に、２８ＧＨｚや７６ＧＨｚの広帯域通信をデュアルコネクティビティで利用する実装形態をそのままに、２８ＧＨｚや７６ＧＨｚのＭａｓｓｉｖｅＭＩＭＯのＲＲＵ装置と代わって、ディスプレイ装置をＣＰＲＩ接続に代わって、ＨＤＭＩ等で接続して、ディスプレイ装置をＲＲＵ装置として使用して、端末装置のＣＣＤ装置をＭａｓｓｉｖｅＭＩＭＯアンテナとして使用する請求項１に記載の通信システム。
【請求項５】
前記領域特定部は、前記映像取得部が取得した前記映像のうち、予め定められた期間、輝度及び色情報が変化しない領域または変化量が予め定められた閾値より低い領域を特定する、請求項１に記載の通信システム。
【請求項６】
前記映像生成部は、前記領域特定部で特定された領域内であって、前記送信データを符号化した領域以外の領域に、前記送信データを符号化した領域を示す領域情報を光通信信号として符号化した前記符号化映像を生成し、
前記領域識別部は、前記撮像部によって撮像された映像のうち、前記領域情報が符号化された領域を識別して、当該領域から前記領域情報を復号化し、前記領域情報が示す領域を、前記送信データが符号化された領域として識別する、請求項１又は２に記載の通信システム。
【請求項７】
前記映像生成部は、前記送信データを符号化した領域以外の領域に、前記通信端末を識別する端末識別情報を光通信信号として符号化した前記符号化映像を生成する、請求項６に記載の通信システム。
【請求項８】
前記映像生成部は、前記表示部を識別する表示部識別情報を、前記送信データを符号化した領域以外の領域に光通信信号として符号化した前記符号化映像を生成する、請求項１から７のいずれか一項に記載の通信システム。
【請求項９】
前記通信端末は、
前記撮像部が撮像する前記映像の受信輝度レベル及び受信ＳＮＲを測定する測定部と、
前記測定部による測定結果を前記表示制御装置に送信する測定結果送信部と
を有し、
前記表示制御装置は、
前記測定結果を受信する測定結果受信部と、
前記測定結果に基づいて、前記表示部による表示の輝度レベルを調整する輝度レベル調整部とを有する、
請求項１から８のいずれか一項に記載の通信システム。
【請求項１０】
前記映像取得部は、前記表示部によるスクリーンセーバ映像を取得し、
前記映像生成部は、前記スクリーンセーバ映像の特定領域に送信データを符号化した符号化映像を生成し、
前記表示制御部は、前記符号化映像をスクリーンセーバとして、前記表示部に表示させ、
前記測定部は、前記復号化部によって復号化された送信データに基づいて、前記受信輝度レベル及び前記受信ＳＮＲを測定する、請求項９に記載の通信システム。
【請求項１１】
前記映像生成部は、自らスクリーンセーバ映像を生成する機能を有し、
当該スクリーンセーバ映像全体に送信データを符号化した符号化映像を生成し、
前記表示制御部は、当該符号化映像をスクリーンセーバとして、前記表示部に表示させ、
前記測定部は、前記復号化部によって復号化された送信データに基づいて、前記受信輝度レベル及び前記受信ＳＮＲを測定する、請求項９に記載の通信システム。
【請求項１２】
前記測定結果送信部は、光通信を用いずに光通信以外の手段を用いて、前記測定結果を前記表示制御装置に送信する、請求項９から１１のいずれか一項に記載の通信システム。
【請求項１３】
前記通信端末は、
前記表示制御部による表示映像に対する前記通信端末の位置及び姿勢を取得する位置姿勢取得部と、
前記位置及び姿勢に基づいて、前記撮像部による撮像の指向性を調整する指向性調整部と
を有する、請求項１から１２のいずれか一項に記載の通信システム。
【請求項１４】
前記通信端末は、複数の撮像部にて撮像した映像を比較し、通信を行う撮像部を選択する機能を有する、請求項１から１２のいずれか一項に記載の通信システム。
【請求項１５】
前記通信端末の画像処理部は、前記撮像部にて撮像した表示装置の映像を画像処理し、前記表示部の前記送信データが符号化された領域の前記送信データを復号化する機能を有する、請求項１から１２のいずれか一項に記載の通信システム。
【請求項１６】
前記表示制御装置は、
前記撮像部によって撮像された映像に関する撮像映像情報を前記通信端末から受信する情報受信部を有し、
前記映像生成部は、前記撮像映像情報に基づいて前記符号化映像を生成する、請求項１から１５のいずれか一項に記載の通信システム。
【請求項１７】
前記映像生成部は、前記撮像映像情報に基づいて、前記送信データの各情報を割り当てる画素数を変更する、請求項１６に記載の通信システム。
【請求項１８】
前記撮像映像情報は、前記表示部によって表示されている映像のうち、前記撮像部によって撮像できない領域を示し、
前記映像生成部は、前記領域特定部によって特定された領域から、前記撮像部によって撮像できない領域を除外した領域に、送信データを光通信信号として符号化した符号化映像を生成する、請求項１６又は１７に記載の通信システム。
【請求項１９】
前記表示部は、プロジェクタであり、
前記撮像部は、前記プロジェクタによって投影面に投影された光を撮像する、請求項１から１８のいずれか一項に記載の通信システム。
【請求項２０】
請求項１９に記載の通信システムであって、プロジェクションマッピングの要領で、ビル壁面に送信データが符号化された映像を投影し、屋内外を問わず広範囲における光通信を可能にする通信システム。
【請求項２１】
請求項２０に記載の通信システムであって、赤外線等の非可視光の光源を使用したプロジェクタを使用し、通信端末においても赤外線カメラセンサ、あるいは赤外線にも感度を持つ画像センサデバイスを用いて、景観を変えることなく、光通信を実現する通信システム。
【請求項２２】
請求項２１に記載の通信システムであってプロジェクタとしてＤＬＰ（ディジタル・ライト・プロセシング）プロジェクタを用い、赤外線ランプを光源に使用した通信システム。
【請求項２３】
請求項２２に示される表示装置、あるいはプロジェクタと、通信端末の前記撮像部において、可視光を用いる代わりに赤外線を用い、前記撮像部がビルの窓にブルーフイルムを張ったガラスの裏側にある場合は、前記表示部において、輝度変調を用いる請求項２２に記載の通信システム。
【請求項２４】
前記映像生成部は、映像の内容が変化しない領域または変化量が予め定められた閾値より低い領域に送信データを光通信信号として符号化した符号化映像を生成する、請求項１９に記載の通信システム。
【請求項２５】
前記通信端末は、
前記撮像部によって前記映像を撮像できない場合に、通知データを前記表示制御装置に送信する通知データ送信部
を有し、
前記映像生成部は、前記通知データを受信した場合、前記映像全体の輝度変調によって前記送信データを光通信信号として符号化した符号化映像を生成する、請求項１から２４のいずれか一項に記載の通信システム。
【請求項２６】
前記表示制御装置は、
前記送信データを無線基地局から受信するＣＰＲＩインタフェースと、
前記表示部と通信接続するＨＤＭＩインタフェースと、
前記ＣＰＲＩインタフェース上のＩＱベクトル信号からＲＧＢＩ信号に変換する装置と、
ＲＧＢＩ信号からＩＱベクトル信号に変換する装置と
を有する、請求項１から２５のいずれか一項に記載の通信システム。
【請求項２７】
請求項１から２６のいずれか一項に記載の通信システムであって、通信中に参照信号として、表示装置、並びに通信端末が互いに既知のパターンの信号、あるいは表示装置に二次元バーコードとして表示される較正パターンを用いて、定期的に較正を行うことにより、前記撮像部で撮像された画像を、既知画像に近づけるための写像変換を行う通信システム。
【請求項２８】
ここで用いられる較正パターンは互いに既知のランダムな較正パターン、あるいは互いに既知の広告画像、二次元バーコード、あるいは、二重枠で囲われたロゴマークのいずれかであってもよい、請求項２７に記載の通信システム。
【請求項２９】
この通信システムで参照信号として用いられる二次元バーコードは、正方形のものだけではなく、長四角であってよく、前記領域特定部で特定された領域を示すための物であって良い、請求項２７または２８に記載の通信システム。
【請求項３０】
表示対象の映像を取得する映像取得部と、
前記映像取得部が取得した前記映像のうち、変化しない領域又は変化量が予め定められた閾値より低い領域を特定する領域特定部と、
前記領域特定部によって特定された領域に送信データを光通信信号として符号化した符号化映像を生成する映像生成部と、
前記符号化映像を表示部に表示させる表示制御部と
を備える表示制御装置。
【請求項３１】
請求項１から２９のいずれか一項に記載のサプリメンタルダウンリンクを提供する通信システムであって、そこで使用する表示装置、あるいはプロジェクタにおいて、その地域で提供される電圧の周波数(５０、ないし６０Ｈｚ等)に同期して、１００ないし１２０Ｈｚで周囲の照明が点滅するが（インバーター方式ではない場合）、消灯している瞬間（ＳＮＲが改善しているタイミング）に、表示装置においては映像を表示し、また、プロジェクタでは光源を点灯させ、通信端末の撮像装置においては、前記電圧の周波数に同期し、周囲の照明が消灯している瞬間（ＳＮＲが改善しているタイミング）に撮像することにより、周囲照明を干渉源とするＳＮＲの改善を図り通信速度を確保する表示装置、撮像装置、および通信システム。
【請求項３２】
請求項１から２９、３１のいずれか一項に記載のサプリメンタルダウンリンクを提供する通信システムであって、酸素により太陽光がエネルギーを吸収されている、759.370、686.719ｎｍ等のフラウンホーファー線の光源を使用する単一色の可視光下限の光源を使用するサプリメンタルダウンリンクを提供する通信システム。
【請求項３３】
７５９．３７０、６８６．７１９ｎｍ等の狭帯域透過光学フィルターを受光素子に装着して日中の太陽光による干渉を低減し、通信端末の受光素子はサプリメンタルダウンリンク提供専用の撮像素子となる、請求項３２に記載の通信システム。
【請求項３４】
請求項１から２９、３１のいずれか一項に記載の通信システムであって、冗長的に赤外線レーザーの散乱を利用するＰｏｉｎｔＴｏＭｕｌｔｉＰｏｉｎｔ方式の通信を用いることにより、安定した通信を提供する通信システム。
【請求項３５】
請求項１から２９、３１にいずれか一項に記載の通信システムであって、映像表示装置としてＬＥＤディスプレイを用いる通信システム。
【請求項３６】
通信端末毎に異なる端末識別情報を生成し、当該端末識別情報を通信端末に送信する機能を有する表示制御装置。
【請求項３７】
端末識別信号を元に、撮像部にて撮像された画像に映り込んだ通信の相手方となる表示制御装置以外の表示制御装置の信号を、逐次干渉除去技術を用いて干渉除去する機能を有する通信端末。
【請求項３８】
干渉除去を目的とするスクランブル符号生成部と、上記スクランブル符号生成部で生成されたスクランブル符号を用いて送信データのスクランブルを実施するスクランブル部を有し、スクランブル符号情報を端末識別信号として通信端末に送信する機能を有する表示制御装置。
【請求項３９】
干渉除去を目的とする、通信端末毎に個別のスペクトル拡散符号を生成する機能を有し、上記スペクトル拡散符号を用いて表示映像をスペクトル拡散する機能を有する請求項３６に記載の表示制御装置。
【請求項４０】
コンピュータを、請求項３６に記載の表示制御装置として機能させるためのプログラム。
【請求項４１】
表示装置によって表示される映像のうち、送信データが光通信信号として符号化されている領域を示す領域情報を取得する領域情報取得部と、
撮像部によって撮像された映像のうち、前記領域情報に基づいて、前記送信データが符号化された領域を識別する領域識別部と、
前記領域識別部によって識別された前記領域から前記送信データを復号化する復号化部と
を備える通信端末。
【請求項４２】
コンピュータを、請求項４１に記載の通信端末として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信システム、表示制御装置、通信端末及びプログラムに関する。
【背景技術】
【０００２】
画像表示装置による表示画像に送信データを符号化する可視光通信技術が知られていた（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］国際公開第２０１４／１０３３２９号
【解決しようとする課題】
【０００３】
端末等に付属するカメラを受信機とし、屋内、屋外に設置されたディスプレイ装置、プロジェクタ、あるいはプロジェクションマッピングの為のプロジェクター、デジタルサイネージ、あるいはそれらを利用した照明機器等として再定義したもの（天井の規格のパネルを照明器具としてディスプレイ装置を使用したパネルで、本発明で使用するサプリメンタルダウンリンク兼、照明パネルとしたもの）を送信機として利用し、光下り通信を実現し、端末等の補助的なダウンリンクを実現し、効率的な高速通信を可能にする。
【０００４】
ＰｕｒｅＬｉＦｉでは、頑張り過ぎのハイスピードレーザーを用いて超高速ギガビット通信を実現しようとしているが、そのようなことをするまでもなく、通常のディスプレイパネルと通常のＣＣＤはピクセルが多数搭載されているため、新たなデバイスを開発せずにギガビットを超える通信速度が達成され、かつそれは十分効率的に動画が表示、撮像されている。ＵＳＢ３．１のディスプレイ、カメラに至っては１０Gbpsの伝送速度が容易に実現されている。高価な素子や先端技術を利用することなく、先述の既存デバイスをそのまま利用する点が本発明の特長である。これまで通信システムで用いられてきた空間分割多重（ＳＤＭＡ）とは異なり、LOS(Line of sight)同士で空間を交差して多重化している。縦横無尽に多重化されている点も本発明の特長である。
【一般的開示】
【０００５】
本発明の第１の態様によれば、表示部に映像を表示させる表示制御装置と、表示部によって表示された映像を撮像する撮像部を有する通信端末とを備える通信システムが提供される。表示制御装置は、表示対象の映像を取得する映像取得部を有してよい。表示制御装置は、映像取得部が取得した映像のうち、変化しない領域又は変化量が予め定められた閾値より低い領域を特定する領域特定部を有してよい。表示制御装置は、領域特定部によって特定された領域に送信データを光通信信号として符号化した符号化映像を生成する映像生成部を有してよい。表示制御装置は、符号化映像を表示部に表示させる表示制御部を有してよい。通信端末は、撮像部によって撮像された映像のうち、送信データが符号化された領域を識別する領域識別部を有してよい。通信端末は、領域識別部によって識別された領域から送信データを復号化する復号化部を有してよい。
【０００６】
上記撮像部は指定されたレートで動画を記録することができる。撮像とは、静止画ではなく６０ｆｐｓ等の動画であってよい。撮像部の記録レートと表示部の表示レートは同期させてもよい。同期させることを前提としたシステムの場合は、同期がずれた際にはテレビをカメラで撮影したような縞模様（ノイズ）が記録され、復号化する際にエラーとなる。また、映像投影装置、映像取得部は、その場所ごとの交流に同期しゼロクロスタイミングで映像取得するのが望ましい。(50Hzなら100Hz、60Hzなら120Hzで)。
【０００７】
上記領域特定部は、上記映像取得部が取得した上記映像のうち、予め定められた期間、輝度及び色情報が変化しない領域または変化量が予め定められた閾値より低い領域を特定してよい。上記映像生成部は、上記送信データを符号化した領域以外の領域に、上記送信データを符号化した領域を示す領域情報を光通信信号として符号化した上記符号化映像を生成してよく、上記領域識別部は、上記撮像部によって撮像された映像のうち、上記領域情報が符号化された領域を識別して、当該領域から上記領域情報を復号化し、上記領域情報が示す領域を、上記送信データが符号化された領域として識別してよい。上記映像生成部は、上記送信データを符号化した領域以外の領域に、上記通信端末を識別する端末識別情報を光通信信号として符号化した上記符号化映像を生成してよい。上記映像生成部は、上記表示装置を識別する表示装置識別情報を、上記送信データを符号化した領域以外の領域に光通信信号として符号化した上記符号化映像を生成してよい。
【０００８】
上記通信端末は、上記撮像部が撮像する上記映像の受信輝度レベル及び受信ＳＮＲ（Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  Ｒａｔｉｏ）を測定する測定部と、上記測定部による測定結果を上記表示制御装置に送信する測定結果送信部とを有してよく、上記表示制御装置は、上記測定結果を受信する測定結果受信部と、上記測定結果に基づいて、上記表示部による表示の輝度レベルを調整する輝度レベル調整部とを有してよい。上記映像取得部は、上記表示部によるスクリーンセーバ映像を取得してよく、上記映像生成部は、上記スクリーンセーバ映像の特定領域に送信データを符号化した符号化映像を生成してよく、上記表示制御部は、上記符号化映像をスクリーンセーバとして、上記表示部に表示させてよく、上記測定部は、上記復号化部によって復号化された送信データに基づいて、上記受信輝度レベル及び上記受信ＳＮＲを測定してよい。上記測定結果送信部は、光通信を用いずに、上記測定結果を上記表示制御装置に送信してよい。
【０００９】
上記通信端末は、上記表示制御部による表示映像に対してアフィン変換を施し表示映像を正四角形に変換する撮像変換部と、上記変換時の情報に基づいて、上記撮像部による撮像の指向性を調整する指向性調整部とを有してよい。上記表示制御装置は、上記撮像部によって撮像された映像に関する撮像映像情報を上記通信端末から受信する情報受信部を有してよく、上記映像生成部は、上記撮像映像情報に基づいて上記符号化映像を生成してよい。上記映像生成部は、上記撮像映像情報に基づいて、上記送信データの各情報を割り当てる画素数を変更してよい。上記撮像映像情報は、上記表示部によって表示されている映像のうち、上記撮像部によって撮像できない領域を示してよく、上記映像生成部は、上記領域特定部によって特定された領域から、上記撮像部によって撮像できない領域を除外した領域に、送信データを光通信信号として符号化した符号化映像を生成してよい。
【００１０】
上記表示部は、プロジェクタであってよく、上記撮像部は、上記プロジェクタによって投影面に投影された光を撮像してよい。上記映像生成部は、内容が変化しない映像に送信データを光通信信号として符号化した符号化映像を生成してよい。上記通信端末は、
上記撮像部によって上記映像を撮像できない場合に、通知データを上記表示制御装置に送信する通知データ送信部を有してよく、上記映像生成部は、上記通知データを受信した場合、上記映像全体の輝度変調によって上記送信データを光通信信号として符号化した符号化映像を生成してよい。上記表示制御装置は、上記送信データを無線基地局のベースバンド装置にてＩＱベクトル信号に変換した信号を、上記ベースバンド装置から送信するＣＰＲＩ（Ｃｏｍｍｏｎ  Ｐｕｂｌｉｃ  Ｒａｄｉｏ  Ｉｎｔｅｒｆａｃｅ）インタフェースと、上記表示部に映像信号を伝送するインターフェイス（ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）等）と、上記ＣＰＲＩインタフェース上のＩＱ信号（複素デジタル信号の同相（Ｉｎ−ｐｈａｓｅ）および直交（Ｑｕａｄｒａｔｕｒｅ）成分からなるベースバンド信号）からＲＧＢＩ信号に変換して送信する回路とを有してよい。上記無線基地局のベースバンド装置は、ＣＰＲＩ信号をＨＤＭＩ（登録商標）に変換して送信する機能を有してよく、上記表示制御装置は、上記ベースバンド装置からのＩＱ信号をＨＤＭＩ（登録商標）インターフェイスから送信してよい。
【００１１】
上記無線基地局のベースバンド装置がＨＤＭＩインターフェイスを有していないとき、上記ベースバンド装置と上記表示制御装置の間に、ＣＰＲＩ信号をＨＤＭＩ（登録商標）に変換する装置を経由してよい。
【００１２】
本発明の第２の態様によれば、表示制御装置が提供される。表示制御装置は、表示対象の映像を取得する映像取得部を備えてよい。表示制御装置は、映像取得部が取得した映像のうち、変化しない領域又は変化量が予め定められた閾値より低い領域を特定する領域特定部を備えてよい。表示制御装置は、領域特定部によって特定された領域に送信データを光通信信号として符号化した符号化映像を生成する映像生成部を備えてよい。表示制御装置は、符号化映像を表示部に表示させる表示制御部を備えてよい。
【００１３】
本発明の第３の態様によれば、コンピュータを、上記表示制御装置として機能させるためのプログラムが提供される。
【００１４】
本発明の第４の態様によれば、通信端末が提供される。通信端末は、表示装置によって表示される映像のうち、送信データが光通信信号として符号化されている領域を示す領域情報を取得する領域情報取得部を備えてよい。通信端末は、撮像部によって撮像された映像のうち、領域情報に基づいて、送信データが符号化された領域を識別する領域識別部を備えてよい。通信端末は、領域識別部によって識別された領域から送信データを復号化する復号化部を備えてよい。
【００１５】
本発明の第５の態様によれば、コンピュータを、上記通信端末として機能させるためのプログラムが提供される。
【００１６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【００１７】
【図１】通信システム１０の一例を概略的に示す。
【図２】表示装置１００及び通信端末２００の構成例を概略的に示す。
【図３】通信システム１０の他の一例を概略的に示す。
【図４】表示装置１００及び通信端末２００の構成例を概略的に示す。
【図５】ＳＴＢ１０１とＢＢＵ１０３との接続関係を概略的に示す。
【図６】表示装置１００の機能構成の一例を概略的に示す。
【図７】通信端末２００の機能構成の一例を概略的に示す。
【図８】表示装置１００による表示例を概略的に示す。
【図９】表示装置１００による表示例を概略的に示す。
【図１０】通信端末２００による撮像映像の表示例を概略的に示す。
【図１１】通信端末２００による撮像映像の表示例を概略的に示す。
【図１２】表示装置１００による同期信号４１０及び呼出信号４２０の一例を概略的に示す。
【図１３】通信フェーズにおける表示装置１００による表示例を概略的に示す。
【図１４】通信フェーズにおける表示装置１００による表示例を概略的に示す。
【図１５】投影映像１０８の一例を概略的に示す。
【図１６】通信開始の制御メッセージシーケンス（例）を概略的に示す。
【図１７】表示装置１００側の通信開始のフローチャート（例）を概略的に示す。
【図１８】表示装置１００側の通信中のフローチャート（例）を概略的に示す。
【図１９】通信端末２００側の通信開始のフローチャート（例）を概略的に示す。
【図２０】通信端末２００側の通信中のフローチャート（例）を概略的に示す。
【図２１】通信中における再送シーケンス（例）を概略的に示す。
【図２２】通信終了のフローチャートを概略的に示す。
【図２３】スリープ移行のフローチャートを概略的に示す。
【図２４】ハンドオーバーのフローチャートを概略的に示す。
【図２５】Ｓｅｔ  Ｔｏｐ  Ｂｏｘ内部ブロック図（例）を概略的に示す。
【図２６】Ｓｅｔ  Ｔｏｐ  Ｂｏｘ内部動作フローチャート（例）を概略的に示す。
【図２７】送信解像度決定のフローチャートを概略的に示す。
【図２８】データ重畳位置決定のフローチャートを概略的に示す。
【図２９】データ符号化のアルゴリズムを概略的に示す。
【図３０】送信光のホワイトノイズ化に関するアルゴリズムを概略的に示す。
【図３１】主要な実施例１（赤外線光源を使用したDLPを用いる例）を示す。
【図３２】主要な実施例２（オフィスの天井照明）を示す。
【図３３】主要な実施例３（ドーム球場の天井）を示す。
【図３４】主要な実施例３.１（ドーム球場の天井）を示す。
【図３５】主要な実施例３.１（ドーム球場の天井）を示す。
【図３６】主要な実施例４（ドーム球場のドローンカメラ）を示す。
【図３７】主要な実施例５（複数カメラでの受信）を示す。
【図３８】主要な実施例６（モータードライブカメラ）を示す。
【図３９】主要な実施例７（魚眼レンズプロジェクター）を示す。
【図４０】通信端末２００として機能するコンピュータ９００のハードウエア構成の一例を概略的に示す。
【発明を実施するための形態】
【００１８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１９】
図１は、通信システム１０の一例を概略的に示す。通信システム１０は、表示装置１００及び通信端末２００を備える。
【００２０】
表示装置１００と通信端末２００とは、いわゆる光通信を実行する。例えば、表示装置１００が、表示対象の映像に送信データを光通信信号として符号化した符号化映像を生成して表示し、通信端末２００が、表示装置１００によって表示された映像を撮像して、光通信信号を復号化して送信データを取得する。通信システム１０が利用する光通信方式の一例として、輝度変調やＲＧＢ変調による方式が挙げられるが、これに限らず、任意の方式を用いてよい。
【００２１】
表示装置１００が表示する映像は任意の映像であってよく、表示装置１００は任意の表示デバイスであってよい。表示装置１００の例としては、テレビ、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等のディスプレイ、及びデジタルサイネージ等が挙げられる。また、表示装置１００の例として、照明を主目的としつつ映像も表示可能な照明装置も挙げられる。
【００２２】
表示装置１００は、表示制御装置の一例であってよい。表示装置１００の全体が表示制御装置の一例であってよい。また、表示装置１００の一部が表示制御装置の一例であってもよい。例えば、表示装置１００における表示部以外の部分が表示制御装置の一例であってもよい。具体例としては、表示装置１００におけるモジュール及びチップ等が表示制御装置の一例であってよい。
【００２３】
通信端末２００は、撮像部及び通信機能を有していればどのような端末であってもよい。通信端末２００の例としては、スマートフォン、タブレット端末、及び、ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔ  Ｄｉｓｐｌａｙ）等が挙げられる。
【００２４】
本実施形態に係る表示装置１００は、例えば、表示対象の映像のうち、予め定められた期間、輝度及び色情報が変化しない領域または変化量が予め定められた閾値より低い領域等を特定し、特定した領域に送信データを光通信信号として符号化した符号化映像を生成し、表示する。
【００２５】
このように、映像のうち予め定められた期間、輝度及び色情報が変化しない領域または変化量が予め定められた閾値より低い領域に送信データを符号化することによって、表示装置を用いた従来の光通信に比べて通信スループットを向上させることができる。従来の光通信では、表示映像に対して単に送信データを符号化するので、空間解像度が低く十分なスループットを得ることができず、ＵＲＬ等のデータ量の少ない送信データを送信できるに過ぎない。これに対して、本実施形態に係る表示装置１００によれば、映像のうち情報エントロピーの変化量の少ない領域を空間的に分割して使用するので、効率的に十分高速なスループットを得ることができる。
【００２６】
また、本実施形態に係る通信システム１０においては、表示装置１００と通信端末２００との間のいわゆる通信制御を、ネットワーク５０を介した通信によって実現してよい。このとき、表示装置１００及び通信端末２００は、ネットワーク５０を介して管理装置３００と通信してよい。
【００２７】
ネットワーク５０は任意のネットワークであってよく、ネットワーク５０を介した通信の方式としては、例えば、３Ｇ（３ｒｄ  Ｇｅｎｅｒａｔｉｏｎ）通信方式、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）通信方式、４Ｇ（４ｔｈ  Ｇｅｎｅｒａｔｉｏｎ）通信方式、５Ｇ（５ｔｈ  Ｇｅｎｅｒａｔｉｏｎ）通信方式等のモバイル通信方式、並びに、ＷｉＦｉ（登録商標）、ＡＤＳＬ、ケーブルモデム等を含むインターネット通信技術、ＬＰＷＡ（ＬｏＲａ、ＮＢ−ＩｏＴ、ｅＭＴＣを含む）等が例示できる。
【００２８】
通信システム１０において、例えば、通信端末２００が、自身を識別する端末識別情報を、管理装置３００を介して表示装置１００に送信し、表示装置１００が送信データとともに当該識別情報を用いて符号化した符号化映像を表示する。通信端末２００が、送信データを自身の保有する端末識別情報を用いて復号化することによって、表示装置１００と特定の通信端末２００との間でのみ光通信を実行でき、従来の光通信では実現できなかったユニキャストサービスを実現することができる。
【００２９】
図２は、図１に示す表示装置１００及び通信端末２００の構成例を概略的に示す。図２に示す例において、表示装置１００は、ＳＴＢ（Ｓｅｔ  Ｔｏｐ  Ｂｏｘ）１０１、コンピュータ１０２、ＢＢＵ（Ｂａｓｅ  Ｂａｎｄ  Ｕｎｉｔ）１０３、及びディスプレイ１０４を備える。また、通信端末２００は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  ＭＯＳ）センサ２０１、ＣＰＵ２０２、ディスプレイ２０３、及び通信モデム２０４を備える。
【００３０】
ＳＴＢ１０１は、表示対象の映像をコンピュータ１０２から取得する。また、ＳＴＢ１０１は、送信データをＢＢＵ１０３から取得する。ＢＢＵ１０３は、例えば、表示装置１００から通信端末２００に送信すべき送信データを、ネットワーク５０を介して任意の端末等から受信して、ＳＴＢ１０１に送信してよい。
【００３１】
ＳＴＢ１０１は、コンピュータ１０２から取得した映像のうち、予め定められた期間、輝度及び色情報が変化しない領域または変化量が予め定められた閾値より低い領域を特定する。そして、ＳＴＢ１０１は、特定した領域内の領域に、送信データの領域を示す領域情報を光通信信号として符号化し、ＢＢＵ１０３から取得した送信データを、上記領域情報にて示された領域に光通信信号として符号化した符号化映像を生成して、ディスプレイ１０４に表示させる。
【００３２】
ＣＭＯＳセンサ２０１は、ディスプレイ１０４に表示された映像を撮像する。ＣＰＵ２０２は、ＣＭＯＳセンサ２０１から当該映像を取得し、映像データと通信復号化用映像に分離して、映像データをディスプレイ２０３に、通信復号化用映像を通信モデム２０４に送信する。ディスプレイ２０３は、映像データを表示する。通信モデム２０４は、符号化された領域情報を復号化し、当該領域情報を用いて、送信データを復号化する。
【００３３】
図３は、通信システム１０の他の一例を概略的に示す。ここでは、図１とは異なる点を主に説明する。
【００３４】
図３における表示装置１００は、映像を投影する。表示装置１００が投影した映像を投影映像１０８と記載する。表示装置１００が表示する映像は任意の映像もしくは赤外線による不可視の映像であってよく、表示装置１００は任意の表示デバイスであってよい。表示装置１００の例としては、プロジェクタ、プロジェクションマッピング、及びデジタルサイネージ等が挙げられる。また、表示装置１００の例として、照明を主目的としつつ映像も表示可能な照明装置も挙げられる。
【００３５】
図４は、図３に示す表示装置１００及び通信端末２００の構成例を概略的に示す。ここでは、図２とは異なる点を主に説明する。
【００３６】
図４に示す例において、表示装置１００は、ＳＴＢ１０１、コンピュータ１０２、ＢＢＵ１０３、及びプロジェクタ１０５を備える。ＳＴＢ１０１は、表示対象の映像をコンピュータ１０２から取得する。また、ＳＴＢ１０１は、送信データをＢＢＵ１０３から取得する。
【００３７】
ＳＴＢ１０１は、コンピュータ１０２から取得した映像のうち、予め定められた期間、輝度及び色情報が変化しない領域または変化量が予め定められた閾値より低い領域を特定する。そして、ＳＴＢ１０１は、特定した領域内の領域に、特定した領域を示す領域情報を光通信信号として符号化し、ＢＢＵ１０３から取得した送信データを特定した領域に光通信信号として符号化した符号化映像を生成して、プロジェクタ１０５に表示させる。
【００３８】
ＣＭＯＳセンサ２０１は、プロジェクタ１０５によって投影された投影映像１０８を撮像する。映像が投影される対象は任意の場所であってよく、例えば、ビル等の建物の壁面に投影されてよい。ＣＰＵ２０２は、ＣＭＯＳセンサ２０１から当該映像を取得し、映像データと通信復号化用映像に分離して、映像データをディスプレイ２０３に、通信復号化用映像を通信モデム２０４に送信する。ディスプレイ２０３は、映像データを表示する。通信モデム２０４は、符号化された領域情報を復号化し、当該領域情報を用いて、送信データを復号化する。プロジェクタ１０５が効果を発揮するのは、主に夜間となる。
【００３９】
図５は、ＳＴＢ１０１とＢＢＵ１０３との接続関係を概略的に示す。ＳＴＢ１０１とＢＢＵ１０３とは、変換器１０６を介して接続される。ＳＴＢ１０１と変換器１０６とは、ＨＤＭＩを介して通信する。変換器１０６とＢＢＵ１０３とは、ＣＰＲＩを介して通信する。
【００４０】
図６は、表示装置１００の機能構成の一例を概略的に示す。表示装置１００は、情報受信部１１２、送信データ取得部１１４、映像取得部１１６、領域特定部１１８、映像生成部１２０、表示制御部１２２、測定結果受信部１２４、及び輝度レベル調整部１２６を備える。なお、表示装置１００がこれらのすべての構成を備えることは必須とは限らない。
【００４１】
情報受信部１１２は、各種情報を受信する。情報受信部１１２は、ネットワーク５０を介して情報を受信してよい。情報受信部１１２は、例えば、通信制御に関する情報を、管理装置３００からネットワーク５０を介して受信する。情報受信部１１２は、例えば、通信相手の通信端末２００を識別する端末識別情報を、管理装置３００から受信する。また、情報受信部１１２は、例えば、通信端末２００に対して送信すべき送信データを、ネットワーク５０を介して受信する。
【００４２】
表示装置１００は、端末識別情報を光通信を通じて通信端末２００に通知してもよい。
【００４３】
送信データ取得部１１４は、通信端末２００に送信すべき送信データを取得する。送信データ取得部１１４は、表示装置１００のメモリに格納されている送信データを読み出してよい。また、送信データ取得部１１４は、情報受信部１１２が受信した送信データを、情報受信部１１２から取得してよい。
【００４４】
映像取得部１１６は、表示対象の映像を取得する。映像取得部１１６は、表示装置１００のメモリに格納されている映像を読み出してよい。映像取得部１１６は、例えば、コンピュータ１０２から映像を取得する。映像取得部１１６は、表示対象の映像として、スクリーンセーバ映像を取得してもよい。
【００４５】
領域特定部１１８は、映像取得部１１６が取得した映像のうち、予め定められた期間、輝度及び色情報が変化しない領域または変化量が予め定められた閾値より低い領域を特定する。領域特定部１１８は、例えば、映像のうち、変化しない領域を特定する。領域特定部１１８は、映像のうち、予め定められた期間、輝度及び色情報が変化しない領域を特定してよい。また、領域特定部１１８は、例えば、映像のうち、変化量が予め定められた閾値より低い領域を特定する。領域特定部１１８は、映像のうち、予め定められた期間、輝度及び色情報の変化量が予め定められた閾値より低い領域を特定してよい。予め定められた期間は、変更可能であってよい。また、予め定められた閾値は、変更可能であってよい。
【００４６】
映像生成部１２０は、映像取得部１１６が取得した映像に、各種情報を符号化した符号化映像を生成する。例えば、映像生成部１２０は、領域特定部１１８が特定した領域に、送信データ取得部１１４が取得した送信データを光通信信号として符号化した符号化映像を生成する。映像生成部１２０は、映像取得部１１６がスクリーンセーバ映像を取得した場合には、スクリーンセーバ映像のうちの、領域特定部１１８が特定した領域に制御信号を符号化した符号化映像を生成してよい。制御信号は、通信端末２００において、受信輝度レベル及び受信ＳＮＲ（Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  Ｒａｔｉｏ）を測定する際に用いられる信号であってよい。
【００４７】
また、例えば、映像生成部１２０は、送信データを符号化した領域を示す領域情報を光通信信号として符号化した符号化映像を生成する。映像生成部１２０は、送信データを符号化した領域以外の領域に領域情報を光通信信号として符号化した符号化映像を生成してよい。
【００４８】
また、例えば、映像生成部１２０は、通信端末２００を識別する端末識別情報を光通信信号として符号化した符号化映像を生成する。映像生成部１２０は、送信データを符号化した領域以外の領域に端末識別情報を光通信信号として符号化した符号化映像を生成してよい。
【００４９】
また、例えば、映像生成部１２０は、表示装置１００を識別する表示装置識別情報を光通信信号として符号化した符号化映像を生成する。表示装置識別情報は、表示部識別情報の一例であってよい。映像生成部１２０は、送信データを符号化した領域以外の領域に表示装置識別情報を光通信信号として符号化した符号化映像を生成してよい。
【００５０】
映像生成部１２０は、映像全体が変化しない無変化映像に各種情報を符号化した符号化映像を生成してもよい。
【００５１】
表示制御部１２２は、映像生成部１２０が生成した符号化映像を表示部に表示させる。表示部の例としては、ディスプレイ１０４及びプロジェクタ１０５が挙げられる。表示制御部１２２は、符号化映像をディスプレイ１０４に表示させてよい。また、表示制御部１２２は、符号化映像をプロジェクタ１０５に表示させてよい。表示制御部１２２は、映像生成部１２０によって、スクリーンセーバ映像のうちの、領域特定部１１８が特定した領域に制御信号を符号化した符号化映像が生成された場合、当該符号化映像をスクリーンセーバとして、表示部に表示させてよい。
【００５２】
測定結果受信部１２４は、通信端末２００が、表示制御部１２２によって表示された映像を撮像して測定した、受信輝度レベル及び受信ＳＮＲを、通信端末２００から受信する。
【００５３】
輝度レベル調整部１２６は、測定結果受信部１２４が受信した測定結果に基づいて、表示制御部１２２が制御する表示部による表示の輝度レベルを調整する。
【００５４】
図７は、通信端末２００の機能構成の一例を概略的に示す。通信端末２００は、撮像部２１２、画像処理部２１４、情報通信部２１６、復号化部２１８、測定部２２０、測定結果送信部２２２、位置姿勢取得部２２４、及び指向性調整部２２６を備える。なお、通信端末２００がこれらのすべての構成を備えることは必須とは限らない。
【００５５】
画像処理部２１４は、撮像部２１２が撮像した画像をアフィン変換等の方法で画像処理する。画像処理部２１４は、撮像部２１２が撮像した、表示制御部１２２によって表示された映像を処理してよい。
【００５６】
画像処理部２１４は、映像に光通信信号として符号化されている領域情報を復号化して、領域情報を取得してよい。画像処理部２１４は、領域情報を用いて、撮像部２１２が撮像した映像のうち、送信データが符号化された領域を識別してよい。画像処理部２１４は、領域識別部の一例であってよい。
【００５７】
通信端末２００は、ネットワーク５０を介して端末識別情報を管理装置３００に送信してよく、管理装置３００は、ネットワーク５０を介して表示装置１００の通信の相手方となる通信端末２００の端末識別情報を表示装置１００に送信してよい。この端末識別情報は、表示装置１００から光通信を介して通信端末に通知されてもよい。また、管理装置３００から端末識別情報が新たに発行される場合において、通信端末２００は、ネットワーク５０を介して上記端末識別情報を取得してよい。
【００５８】
また、画像処理部２１４は、端末識別情報を用いて、映像に光通信信号として符号化されている送信データを復号化してよい。これにより、通信端末２００は、映像に符号化されている送信データが、自端末宛のデータである場合にのみ正常に複合することができる。
【００５９】
表示装置１００は、通信の相手方となる通信端末２００毎に異なる符号を生成し、光通信を介して通信端末２００に送信する機能を有してよい。
【００６０】
表示装置１００は、通信の相手方となる通信端末２００毎に異なる符号を用いて送信データのスクランブルを実行してよい。
【００６１】
画像処理部２１４は、表示装置から送信された通信端末毎に異なる符号を用いて、表示装置１００でスクランブルされた送信データのスクランブル解除を実効してよい。
【００６２】
また、画像処理部２１４は、映像に光通信信号として符号化されている表示装置識別情報を復号化して、表示装置識別情報を取得してよい。これにより、通信端末２００は、複数の表示装置１００によって送信される送信データを識別可能になる。
【００６３】
画像処理部２１４は、撮像部２１２が撮像した映像を解析して、当該映像に関する撮像映像情報を情報通信部２１６に送信させてよい。情報通信部２１６は、画像処理部２１４の指示に従って、撮像映像情報を、表示装置１００及び管理装置３００等に送信してよい。
【００６４】
撮像映像情報は、例えば、表示制御部１２２によって表示されている映像のうち、表示装置１００と通信端末２００との間の伝送路の状況によって、通信端末２００が撮像できない領域を示す。例えば、撮像映像情報は、表示制御部１２２によって表示されている映像のうち、表示装置１００と通信端末２００との間の障害物等の存在によって、通信端末２００が撮像できない領域を示す。表示装置１００が当該撮像映像情報を受信した場合、映像生成部１２０は、領域特定部１１８によって特定された領域から、当該撮像映像情報を示す領域を除外した領域に、送信データを光通信信号として符号化した符号化映像を生成してよい。
【００６５】
画像処理部２１４は、例えば、表示装置１００と通信端末２００との距離が離れており、映像に光通信信号として符号化されている送信データ等を認識することができない場合、その旨を示す撮像映像情報を情報通信部２１６にネットワーク５０を介して管理装置３００ならびに表示装置１００に対して送信させてよい。表示装置１００が当該撮像映像情報を受信した場合、映像生成部１２０は、送信データの各情報を割り当てる画素数を変更してよい。例えば、映像生成部１２０は、送信データの各情報を１画素に割り当てていた場合、当該撮像映像情報の受信に応じて、４画素等のより多い画素に、送信データの各情報を割り当てる。
【００６６】
また、画像処理部２１４は、例えば、表示装置１００と通信端末２００との距離が近く、映像への光通信信号の符号化について、解像度を上げても認識できる場合は、その旨を示す撮像映像情報を情報通信部２１６にネットワーク５０を介して管理装置３００ならびに表示装置１００に対して送信させてよい。表示装置１００が当該撮像映像情報を受信した場合、映像生成部１２０は、送信データの各情報を割り当てる画素数を変更してよい。例えば、映像生成部１２０は、送信データの各情報を４画素に割り当てていた場合、当該撮像映像情報の受信に応じて、１画素等のより少ない画素に、送信データの各情報を割り当てる。
【００６７】
画像処理部２１４は、表示制御部１２２によって表示されている映像を、撮像部２１２によって撮像できない場合、その旨を通知する通知データを情報通信部２１６に送信させてよい。画像処理部２１４は、通知データを、表示装置１００に対して送信させてよい。情報通信部２１６は、通知データ送信部の一例であってよい。表示装置１００が通知データを受信した場合、映像生成部１２０は、映像全体の輝度変調によって、送信データ取得部１１４が取得した送信データを光通信信号として符号化した符号化映像を生成してよい。これにより、表示装置１００による表示映像を、通信端末２００が直接撮像できない場合であっても、表示映像の光を間接的にでも撮像することができれば、通信を実現することができる。
【００６８】
復号化部２１８は、画像処理部２１４によって識別された、送信データが符号化されている領域から、送信データを復号化する。復号化部２１８が復号化した送信データは、通信端末２００のメモリに格納されてよい。
【００６９】
測定部２２０は、撮像部２１２が撮像する映像の受信輝度レベル及び受信ＳＮＲを測定する。測定部２２０は、例えば、表示制御部１２２によって表示されたスクリーンセーバ映像から、復号化部２１８が復号化した制御信号を用いて、受信輝度レベル及び受信ＳＮＲを測定してよい。
【００７０】
測定結果送信部２２２は、測定部２２０による測定結果を表示装置１００に送信する。測定結果送信部２２２は、光通信を用いずに測定結果を表示装置１００に送信してよい。測定結果送信部２２２は、測定部２２０による測定結果を、管理装置３００を介して表示装置１００に送信してよい。測定結果送信部２２２によって送信された測定結果を測定結果受信部１２４が受信した場合、輝度レベル調整部１２６は、当該測定結果を用いて、輝度レベルを必要最低限の輝度レベルに調整してよい。
【００７１】
撮像部２１２は、ピンホールカメラやオートフォーカスカメラであってもよい。また、通信端末２００の指向性調整部は、ズーム機構、ジンバル機構、および三次元首振り機構を有しても良い。
【００７２】
撮像部２１２によって撮像された映像のうち、通信に使用する領域が小さく、且つ、通信端末２００が固定されている場合は、上記三次元首振り機構やジンバル機構を用い、且つズーム機構を用いて通信に使用する領域を拡大し、送信データの各情報を割り当てる画素を少なくしてよい。ズーム機構を用いて、表示装置１００を拡大表示している場合、通信端末２００等のブレに対して撮像した映像の範囲から表示装置１００が容易に外れるようになるので、通信端末２００に搭載するＩＭＵ（ジャイロ装置）の情報を基に、通信端末２００が固定され安定している場合において、指向性調整部２２６は、三次元首振り機構を用いて撮像部２１２にて撮像される表示装置１００を拡大してよい。
【００７３】
指向性調整部２２６がズーム機構を有していて三次元首振り機構やジンバル機構を有していない場合で、通信端末２００にブレが発生する場合は、指向性調整部２２６はズームアウトして、撮像部２１２によって撮像される映像の範囲の中に安定して表示装置１００が含まれるように調整してよい。このとき、表示装置１００の通信に使用される画素を多くすることで、表示装置１００から送信される送信データの復号化を安定させてよい。
【００７４】
撮像部２１２で撮像された映像信号は、復号化部２１８に転送されてよい。復号化部２１８の処理はベースバンドＩＣで行われてよい。復号化部２１８は、撮像部２１２で撮像された映像信号から、例えば、参照信号の読み出し、アフィン変換、アンカー信号の同定および復調、データ信号位置の同定および復調を実施する。
【００７５】
復号化部２１８の処理は、ＤＳＰにて実施されてもよい。映像信号を転送されたＤＳＰは、例えば、参照信号の同定、アフィン変換、参照信号の読み出し、映像輝度のイコライジング、アンカー信号の同定およびベースバンド化、データ信号の同定およびベースバンド化等を実施する。ＤＳＰは、上記復号化処理を実施した後、ベースバンドＩＣに受信信号データを転送してよい。
【００７６】
位置姿勢取得部２２４は、表示装置１００による表示映像に対する、通信端末２００の向き及び位置の相対角度を取得する。位置姿勢取得部２２４は、表示装置１００がディスプレイ１０４に映像を表示させている場合は、ディスプレイ１０４に対する通信端末２００の向き及び位置の相対角度を取得してよい。位置姿勢取得部２２４は、表示装置１００がプロジェクタ１０５に映像を表示させている場合は、投影映像１０８に対する通信端末２００の向き及び位置の相対角度を取得してよい。
【００７７】
指向性調整部２２６は、位置姿勢取得部２２４によって取得された向き及び位置の相対角度に基づいて、撮像部２１２による撮像の指向性を調整する。指向性調整部２２６は、表示装置１００による表示映像と、撮像部２１２による撮像方向とが正対するように、撮像部２１２による撮像の指向性を制御してよい。すなわち、指向性調整部２２６は、表示装置１００による表示映像の表示面と、撮像部２１２による撮像方向とが、直交するように、撮像部２１２による撮像の指向性を制御してよい。撮像部２１２が３次元アクチュエータによりレンズを調整する機能を有する場合、指向性調整部２２６は、当該機能によってレンズの向きを変更することによって、表示装置１００による表示映像と、撮像部２１２による撮像方向とが正対するようにしてよい。
【００７８】
通信端末２００は、自身の保持する端末識別情報を元に、撮像部で撮像された範囲に存在する、通信の相手方となる表示装置以外の表示装置の信号を逐次干渉除去技術を用いて除去してよい。
【００７９】
図８は、表示装置１００による表示例を概略的に示す。図８は、領域特定部１１８によって特定された特定領域４００を分割した分割領域４０２及び分割領域４０４のそれぞれに、異なる通信端末２００用の送信データを符号化した場合の表示例を示す。
【００８０】
表示装置１００は、通信端末２００側で干渉除去に使用する通信端末２００ごとに異なる拡散符号を生成してよい。
【００８１】
表示装置１００は、通信端末２００毎に異なる拡散符号を、光通信を介して通信端末２００に送信してよい。
【００８２】
表示装置１００は、通信の相手方となる通信端末２００毎に生成された拡散符号を用いて表示装置１００に表示される映像のスペクトルを拡散してよい。
【００８３】
図８に示すように、表示装置１００は、分割領域４０２に一の通信端末２００用の送信データを符号化して、分割領域４０２を示す領域情報を一の通信端末２００に通知し、分割領域４０４に他の通信端末２００用の送信データを符号化して、分割領域４０４を示す領域情報を他の通信端末２００に通知することによって、複数の通信端末２００との同時ユニキャスト通信を実現する。
【００８４】
図９は、表示装置１００による表示例を概略的に示す。通信端末２００が認識できる解像度は、表示装置１００と通信端末２００との距離等によって異なるところ、図９は、表示装置１００が、通信端末２００が認識できる解像度に合わせて送信データの各情報を割り当てる画素数を変更している場合を概略的に示す。
【００８５】
図９に示す例では、状況８２０の方が状況８１０と比較して、表示装置１００と通信端末２００との間の距離が長く、通信端末２００が認識できる解像度が低いことから、状況８２０における表示装置１００の方が、送信データの各情報を割り当てる画素数をより多くしている。表示装置１００がこのような制御を実行することによって、通信端末２００が認識できる解像度に適した光通信信号の符号化を実現することができる。
【００８６】
図１０は、通信端末２００による撮像映像の表示例を概略的に示す。図１０は、表示装置１００と通信端末２００との間に存在する障害物６００によって、通信端末２００が、特定領域４００の一部を撮像できない状況を示す。
【００８７】
図１１は、表示装置１００によって投影された投影映像１０８が、外部のその他の強い光によって部分的に照射され、通信端末２００が、特定領域４００の一部の情報を認識できない状況を示す。
【００８８】
図１０、および図１１に示す状況において、情報通信部２１６は、表示装置１００によって表示されている映像のうち、障害物６００によって撮像できない領域、もしくは、投影映像１０８のうち、外部の強い光によって認識できない領域を示す撮像映像情報を表示装置１００に送信する。映像生成部１２０は、当該撮像映像情報に基づいて、領域特定部１１８によって特定された特定領域４００から、通信端末２００によって撮像できない領域もしくは、信号を認識できない領域を除外した領域に、送信データ等を符号化した符号化映像を生成してよい。これにより、表示装置１００が特定領域４００に送信データを符号化したにもかかわらず、障害物６００もしくは外部の強い光の存在によってそれを通信端末２００が受信できないという事態の発生を防止することができる。
【００８９】
図１２は、表示装置１００による同期信号４１０及び呼出信号４２０の一例を概略的に示す。表示装置１００は、同期信号４１０を定期的に表示する。表示装置１００は、例えば、３０フレーム毎に同期信号４１０を表示する。図１２では、６つの同期信号４１０を表示する場合を例示しているが、同期信号４１０の数、位置、及び大きさは図１２に示すものに限らず、任意に設定されてよい。
【００９０】
表示装置１００は、同期信号４１０に、表示装置１００を識別する表示装置識別情報を符号化してよい。また、表示装置１００は、同期信号４１０に、表示装置１００の画面の画面解像度情報を符号化してよい。また、表示装置１００は、同期信号４１０に、フレーム番号情報を符号化してよい。同期信号４１０の変調は、例えば、Zadff-Chu系列を用いて変調されてよい。
【００９１】
同期信号４１０を撮像して読み取った通信端末２００は、ネットワーク５０を介して、管理装置３００に通信の相手方とする表示装置１００の同期信号を正常に受信完了した旨を伝えるためにアタッチ完了メッセージを送信する。アタッチ完了メッセージには、通信端末２００を識別する端末識別情報が含まれてよい。また、アタッチ完了メッセージには、同期信号４１０に含まれていた表示装置識別情報が含まれてよい。また、アタッチ完了メッセージには、通信端末２００による受信解像度情報が含まれてよい。
【００９２】
管理装置３００は、通信端末２００から受信した情報を、ネットワーク５０を介して、表示装置１００に送信する。管理装置３００は、通信端末２００から受信した情報のうち端末識別情報に関して、端末個別の情報を保護するために、通信が切断されるまで一時的に使用される別の新たな端末識別情報を生成してよい。表示装置１００が、当該端末識別情報を生成する機能を有してもよい。当該情報を受信した表示装置１００は、同期信号４１０と同じ位置に、呼出信号４２０を表示する。表示装置１００は、呼出信号４２０を定期的に表示してよい。表示装置１００は、例えば、３０フレーム毎に呼出信号４２０を表示する。呼出信号４２０には、通信端末２００の端末識別情報が含まれてよい。呼出信号４２０は、通信対象となる通信端末２００の端末識別情報、および拡張情報が含まれてよい。
【００９３】
通信端末２００は、表示装置１００によって表示された呼出信号４２０を受信して、呼出信号４２０に含まれる端末識別情報と、自らの端末識別情報とが一致した場合、ネットワーク５０を介して、管理装置３００に呼び出し完了メッセージを送信する。管理装置３００は、受信した呼び出し完了メッセージを表示装置１００に送信してよい。
【００９４】
アンカー信号４３０は、送信データを符号化した領域を示す領域情報を光通信信号として符号化した領域に含まれる信号であってよい。呼び出し完了メッセージを受信した表示装置１００は、アンカー信号４３０の位置と、アンカー信号４３０を配置するフレーム番号とを、ネットワーク５０を介して管理装置３００に送信する。アンカー信号４３０が表示される大きさは、通信を開始する準備をする方法に記載されている、受信解像度情報に基づいて決定されてよい。管理装置３００は、受信したアンカー信号４３０に関する情報を、ネットワーク５０を介して通信端末２００に送信する。通信端末２００は、管理装置３００からアンカー信号４３０に関する情報を受信したことに応じて、送信データを符号化した領域の復号を開始する。
【００９５】
図１３は、光通信中における表示装置１００による表示例を概略的に示す。ここでは、予め定められた期間、輝度及び色情報が変化しない領域または変化量が予め定められた閾値より低い領域の一例として、白色の領域を採用した場合を例に挙げる。
【００９６】
領域特定部１１８は、映像取得部１１６が取得した映像を解析して、白色の領域を特定する。映像生成部１２０は、アンカー信号４３０を含み、領域特定部１１８によって特定された特定領域４４０に、送信データ取得部１１４が取得した送信データを可視光通信信号として符号化した符号化映像を生成する。アンカー信号４３０には、特定領域４４０を示す領域情報が含まれる。表示制御部１２２は、映像生成部１２０が生成した符号化映像を表示させる。
【００９７】
通信端末２００は、撮像部２１２によって、表示制御部１２２によって表示された符号化映像を撮像する。画像処理部２１４は、アンカー信号４３０に含まれる、特定領域４４０を示す領域情報を用いて、特定領域４４０を識別する。復号化部２１８は、画像処理部２１４によって識別された特定領域４４０から送信データを復号化する。
【００９８】
映像生成部１２０は、例えば１０フレーム毎等、予め定められたフレーム毎に、特定領域４４０及びアンカー信号４３０の位置に、トレーニング信号を含めてよく、通信端末２００は、当該トレーニング信号を用いて、撮像した映像のイコライジングを行ってよい。これにより、映像の輝度や色情報の均一化を行うことで、正確に送信データを復号することができる。また、映像生成部１２０は、特定領域４４０に送信データを符号化する際に、同一内容を複数フレームに渡って送信してもよい。これにより、送信データが冗長化され、エラー率を低減することができる。
【００９９】
通信端末２００は、受信した送信データにエラーが発生した場合において、ネットワーク５０を介して管理装置３００にエラー情報を送信してよい。管理装置３００は、受信したエラー情報をネットワーク５０を介して表示装置１００に送信してよい。表示装置１００は、受信したエラー情報にもとづいてエラーが発生した送信データを再送してよい。
【０１００】
通信端末２００は、一定期間毎に、受信解像度情報を、ネットワーク５０を介して管理装置３００に送信してよい。管理装置３００は、受信した受信解像度情報をネットワーク５０を介して表示装置１００に送信してよい。表示装置１００は、受信した受信解像度情報に基づいて、アンカー信号４３０の大きさや、送信データの各情報を割り当てる画素数について、調整を実行してよい。
【０１０１】
通信端末２００が、光学ズーム機能を有している場合、通信端末２００は、適宜、表示装置１００による表示映像をズームしてよい。また、通信端末２００が、３次元アクチュエータ付のレンズを有している場合、適宜、表示装置１００による表示映像へのズームと、指向性の調整とを実行してよい。通信端末２００が手ぶれ補正機構を有していてよい。
【０１０２】
表示装置１００と通信端末２００が正対していない場合、通信端末２００は、適宜表示装置１００による表示映像をアフィン変換してよい。
【０１０３】
表示装置１００は、ＣＰＲＩ（Ｃｏｍｍｏｎ  Ｐｕｂｌｉｃ  Ｒａｄｉｏ  Ｉｎｔｅｒｆａｃｅ）インターフェイスと、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）インターフェイスと、ＣＰＲＩインタフェース上のＩＱ信号（複素デジタル信号の同相（Ｉｎ−ｐｈａｓｅ）および直交（Ｑｕａｄｒａｔｕｒｅ）成分からなるベースバンド信号）から光通信信号を変調する回路とを有してもよい。
【０１０４】
図１４は、表示装置１００による２つの通信端末２００に対する送信データを符号化した場合の表示例を示す。図１２では、アンカー信号４３２及びアンカー信号４３４、および、それぞれのアンカー信号で示された送信データが符号化された分割領域４４２および４４４の一例を概略的に示す。
【０１０５】
図１５は、投影映像１０８の一例を概略的に示す。図１５は、建物５１０内に配置された表示装置１００が、隣接する建物５２０の壁面に投影映像１０８を投影した例を示す。
【０１０６】
これにより、表示装置１００は、建物５２０の壁面を撮像できる通信端末２００に送信データを送信することができる。通信端末２００は、地上に位置してもよく、また、建物５１０内に位置してもよい。
【０１０７】
図１５では、表示装置１００が上方向に向けて映像を投影する例を示しているが、これに限らず、表示装置１００の向きは任意でよい。
【０１０８】
表示装置１００は、建物５２０に投影映像１０８を投影する場合、内容が変化しない映像の一部又は全体に、送信データを光通信信号として符号化した符号化映像を生成して投影してよく、赤外線領域で感度を持つ通信端末２００を通信の相手方として想定する場合においては、赤外線に送信データを光通信信号として符号化した符号化映像を生成して投影して良い。表示装置１００は、内容が変化する映像のうち、予め定められた期間、輝度及び色情報が変化しない領域または変化量が予め定められた閾値より低い領域に送信データを光通信信号として符号化した符号化映像を生成してもよい。
【０１０９】
図１６は、通信端末２００、表示装置１００、５Ｇネットワーク、及び管理装置３００の間の通信開始の制御メッセージシーケンス（例）を示す。本例においては、まず、通信端末２００が、管理装置３００に映像表示装置検知報告（Ａｔｔａｃｈ完了）を送信する。次に、管理装置３００が、端末Ａｔｔａｃｈ通知を映像表示装置１００に送信する。次に、映像表示装置１００が、端末Ａｔｔａｃｈ応答を管理装置３００に送信する。次に、管理装置３００が、ダウンリンク追加通知を５Ｇネットワークに対して送信する。次に、管理装置３００が、ダウンリンク追加応答を５Ｇネットワークから受信する。次に、管理装置３００が、ダウンリンク追加通知を通信端末２００に送信する。次に、管理装置３００が、準備完了通知を５Ｇネットワークに対して送信する。
【０１１０】
その後、５Ｇネットワークにおいて、下りデータが発生する。そして、発生したデータが、５Ｇネットワークから、表示装置１００に対して送信される。データを受信した表示装置１００は、通信端末２００に対して端末呼び出しを実行する。次に、通信端末２００が、呼び出し応答を管理装置３００に送信する。管理装置３００は、呼び出し応答通知を表示装置１００に送信する。呼び出し応答通知を受信した表示装置１００は、送信解像度を決定する。そして、表示装置１００は、管理装置３００に対してアンカー信号を割り当てる。管理装置３００は、アンカー信号を通信端末２００に通知する。そして、表示装置１００から、通信端末２００に対して、表示を介したデータ送信が行われる。
【０１１１】
図１７は、表示装置１００側の通信開始のフローチャート（例）を概略的に示す。ステップ（ステップをＳと省略して記載する場合がある。）２０２では、管理装置３００から、端末Ａｔｔａｃｈ通知を受信する。Ｓ２０４では、５Ｇネットワークから下りデータを受信する。Ｓ２０６では、通信端末２００に対して端末呼び出しを実行する。Ｓ２０８では、Ｓ２０６における端末呼び出しに対する呼び出し応答通知を受信したか否かを判定する。受信していないと判定した場合、Ｓ２０６に戻り、受信したと判定した場合、Ｓ２１０に進む。Ｓ２１０では、送信解像度を決定する。Ｓ２１２では、アンカー信号を管理装置３００に割り当てる。以上の流れに従って、通信が開始される。
【０１１２】
図１８は、表示装置１００側の通信中のフローチャート（例）を概略的に示す。Ｓ２２２では、通信端末２００に対して光通信（アンカー信号割当）を実行する。Ｓ２２４では、データをバッファに格納する。Ｓ２２６では、データ信号の割当、変調等を決定する。Ｓ２２８では、アンカー信号を送信する。Ｓ２３０では、データ信号を送信する。Ｓ２３２では、ＡＣＫを受信したか否かを判定する。ＡＣＫを受信していないと判定した場合、Ｓ２２６に戻り、ＡＣＫを受信したと判定した場合、Ｓ２３４に進む。Ｓ２３４では、データのバッファを開放する。
【０１１３】
図１９は、通信端末２００側の通信開始のフローチャート（例）を概略的に示す。５Ｇ接続中に、通信端末２００は、Ｓ３０４において、サプリメンタルダウンリンク機能をＯＮにする。Ｓ３０６では、カメラスキャンを実行する。Ｓ３０８で、表示装置１００を検知した場合、Ｓ３１０に進み、検知していない場合、Ｓ３０６に戻る。Ｓ３１０で、同期信号を検知した場合、Ｓ３１２に進み、検知していない場合、Ｓ３０６に戻る。
【０１１４】
Ｓ３１２では、カメラによってスキャンした映像にアフィン変換を施す。Ｓ３１４では、同期信号をデコードする。Ｓ３１６では、Ａｔｔａｃｈ完了を送信する。Ｓ３１８では、ダウンリンク追加通知を受信する。Ｓ３２０では、データ受信を待機する。Ｓ３２２では、カメラスキャンを実行する。Ｓ３２４で、同期信号を検知した場合、Ｓ３２６に進み、検知していない場合、Ｓ３２２に戻る。Ｓ３２６で、呼び出し信号を検知した場合、Ｓ３２８に進み、検知していない場合、Ｓ３２２に戻る。Ｓ３２８では、呼び出し応答を送信する。Ｓ３３０では、アンカー信号通知を受信する。以上の流れに従って、通信が開始される。
【０１１５】
図２０は、通信端末２００側の通信中のフローチャート（例）を概略的に示す。Ｓ３４０では、表示装置１００との間で光通信を実行する。Ｓ３４２では、カメラスキャンを実行する。Ｓ３４４で、同期信号を検知した場合、Ｓ３４６に進み、検知していない場合、Ｓ３４２に戻る。
【０１１６】
Ｓ３４６では、カメラによってスキャンした画像に画像処理を実行する。Ｓ３４８では、アフィン変換を実行する。Ｓ３５０では、同期信号を受信する。Ｓ３５２では、同期信号をデコードする。Ｓ３５４では、同期信号に基づくイコライジングを実行する。
【０１１７】
Ｓ３５６では、アンカー信号を受信する。Ｓ３５８では、アンカー信号をデコードする。Ｓ３６０では、データ信号の位置及び変調方式等を取得する。Ｓ３６２では、データ信号を受信する。Ｓ３６４では、データ信号をデコードする。Ｓ３６６では、バッファに格納する。Ｓ３６８で、エラーが発生したと判定した場合、Ｓ３７６に進み、エラーが発生したと判定していない場合、Ｓ３７０に進む。Ｓ３７０では、５Ｇを経由してＡＣＫを送信する。Ｓ３７２では、バッファをクリアする。
【０１１８】
Ｓ３７４では、５Ｇを経由してＮＡＣＫを送信する。Ｓ３７６では、アンカー信号を受信する。Ｓ３７８では、アンカー信号をデコードする。Ｓ３８０では、データ信号の位置及び変調方式等を取得する。Ｓ３８２では、データ信号を受信する。Ｓ３８４では、バッファに格納する。Ｓ３８６で、エラーが発生したと判定した場合、Ｓ３７４に戻り、エラーが発生していないと判定した場合、Ｓ３８８に進む。Ｓ８８０では、５Ｇを経由してＡＣＫを送信する。Ｓ３９０では、バッファをクリアする。
【０１１９】
図２１は、通信中における再送シーケンス（例）を概略的に示す。図２１におけるシーケンスにおいては、まず、５Ｇネットワークから表示装置１００に対してデータが送信される。表示装置１００は、データを通信端末２００に送信する。通信端末２００は、データをバッファする。次に、通信端末２００は、ＨＡＲＱ／ＡＣＫを管理装置３００に送信する。そして、通信端末２００は、受信バッファをクリアする。
【０１２０】
ＨＡＲＱ／ＡＣＫを受信した管理装置３００は、ＡＣＫを表示装置１００に送信する。表示装置１００は、送信バッファをクリアする。そして、表示装置１００は、通信端末２００に対してデータを送信する。通信端末２００は、データをバッファする。本シーケンスでは、ここでエラーが発生した場合について説明を続ける。
【０１２１】
通信端末２００は、ＨＡＲＱ／ＮＡＣＫを管理装置３００に送信する。ＨＡＲＱ／ＮＡＣＫを受信した管理装置３００は、ＮＡＣＫを表示装置１００に送信する。表示装置１００は、通信端末２００に対してデータを再送する。通信端末２００は、データをバッファする。次に、通信端末２００は、ＨＡＲＱ／ＡＣＫを管理装置３００に送信する。そして、通信端末２００は、受信バッファをクリアする。ＨＡＲＱ／ＡＣＫを受信した管理装置３００は、ＡＣＫを表示装置１００に送信する。表示装置１００は送信バッファをクリアする。
【０１２２】
図２２は、通信終了のフローチャートを概略的に示す。ここでは、通信端末２００と表示装置１００とが通信中に、通信端末２００が表示装置１００を見失ってからの処理の流れを概略的に示す。
【０１２３】
通信端末２００は、表示装置１００を見失ったことに応じてタイマーを起動する。通信端末２００は、タイマーが満了したことに応じて、Ｄｉｓｃｏｎｎｅｃｔを管理装置３００に送信する。管理装置３００は、端末Ｄｉｓｃｏｎｎｅｃｔを表示装置１００に送信する。表示装置１００は、端末Ｄｉｓｃｏｎｎｅｃｔ応答を管理装置３００に送信する。管理装置３００は、Ｄｉｓｃｏｎｎｅｃｔ  Ｃｏｍｐｌｅｔｅを通信端末２００に送信する。そして、管理装置３００は、端末ＩＤをクリアする。
【０１２４】
図２３は、スリープ移行のフローチャートを概略的に示す。図２３におけるシーケンスにおいては、まず、５Ｇネットワークから表示装置１００に対してデータが送信される。表示装置１００は、データを通信端末２００に送信する。
【０１２５】
本例においては、データを受信した通信端末２００が無通信のままスリープタイマが満了したものとして説明を続ける。通信端末２００は、Ｓｌｅｅｐ  Ｒｅｑｕｅｓｔを管理装置３００に送信する。管理装置３００は、端末Ｓｌｅｅｐ  Ｒｅｑｕｅｓｔを表示装置１００に送信する。表示装置１００は、端末Ｓｌｅｅｐ  Ａｃｃｅｐｔを管理装置３００に送信する。管理装置３００は、Ｓｌｅｅｐ  Ｃｏｍｐｌｅｔｅを通信端末２００に送信する。通信端末２００は、ＤＲＸタイマを起動する。そして、通信端末２００は、間欠受信の状態となる。
【０１２６】
図２４は、ハンドオーバーのフローチャートを概略的に示す。Ｓ４０２では、通信端末２００と表示装置１００とが光通信を実行する。Ｓ４０４では、通信端末２００が、カメラスキャンを実行する。Ｓ４０６では、通信端末２００が、別の同期信号を検知したか否かを判定する。検知したと判定した場合Ｓ４０８に進み、検知していないと判定した場合、Ｓ４０４に戻る。
【０１２７】
Ｓ４０８では、通信端末２００が、カメラによってスキャンした画像に画像処理を実行する。Ｓ４１０では、通信端末２００が、アフィン変換を実行する。Ｓ４１２では、通信端末２００が、同期信号を受信する。Ｓ４１４では、通信端末２００が、同期信号をデコードする。Ｓ４１６では、通信端末２００が、受信レベル差の判定を実行し、閾値以上であると判定した場合、Ｓ４１８に進み、閾値未満であると判定した場合、Ｓ４０２に戻る。
【０１２８】
Ｓ４１８では、通信端末２００が、ハンドオーバータイマを起動する。Ｓ４２０では、通信端末２００が、ハンドオーバータイマを満了する。Ｓ４２２では、通信端末２００が、ハンドオーバー要求を送信する。Ｓ４２４では、通信端末２００が、ハンドオーバー応答を受信する。そして、通信端末２００は、ハンドオーバー先の表示装置との光通信フェーズに移行する。
【０１２９】
図２５は、Ｓｅｔ  Ｔｏｐ  Ｂｏｘ内部ブロック図（例）を概略的に示す。Ｓｅｔ  Ｔｏｐ  Ｂｏｘは、送信データ取得部１１４、映像取得部１１６、領域特定部１１８、映像生成部１２０、表示制御部１２２、測定結果受信部１２４、輝度レベル調整部１２６、ＮＷ  Ｉ／Ｆ１３０を有する。これらの構成は、図６において説明した機能を実行してよい。
【０１３０】
送信データ取得部１１４は、ＣＰＲＩを介してＢＢＵ１０３と通信する。送信データ取得部１１４は、ＩＱデータを通信してよい。送信データ取得部１１４は、受信したＩＱ信号をデコードしてよい。送信データ取得部１１４は、Ｂｉｔ  Ｓｔｒｅａｍを映像生成部１２０に送信する。
【０１３１】
映像取得部１１６は、ＨＤＭＩを介して上位装置の例であるコンピュータ１０２と通信する。映像取得部１１６は、Ｈ．２６４映像データを通信してよい。映像取得部１１６は、Ｈ．２６４デコードを実行してよい。映像取得部１１６は、取得した映像データを映像生成部１２０とやりとりする。また、映像取得部１１６は、取得した映像データを領域特定部１１８に送信する。領域特定部１１８は、映像データのうち、予め定められた期間、輝度及び色情報が変化しない領域または変化量が予め定められた閾値より低い領域を特定する。
【０１３２】
映像生成部１２０は、映像取得部１１６から受信した映像データに、各種情報を符号化した符号化映像を生成する。例えば、映像生成部１２０は、領域特定部１１８が特定した領域に、送信データ取得部１１４が取得した送信データを光通信信号として符号化した符号化映像を生成する。映像生成部１２０は、符号化映像を、ＨＤＭＩを介して、Ｈ．２６４映像データとして表示制御部１２２に送信する。表示制御部１２２は、受信した映像データを表示部に表示させる。
【０１３３】
測定結果受信部１２４は、ネットワーク５０及びＮＷ  Ｉ／Ｆ１３０を介して、通信端末２００が、表示制御部１２２によって表示された映像を撮像して測定した、受信輝度レベル及び受信ＳＮＲを受信する。測定結果受信部１２４は、制御メッセージ処理を実行してよい。輝度レベル調整部１２６は、測定結果受信部１２４が受信した測定結果に基づいて、表示制御部１２２が制御する表示部による表示の輝度レベルを調整してよい。
【０１３４】
図２６は、Ｓｅｔ  Ｔｏｐ  Ｂｏｘ内部動作フローチャート（例）を概略的に示す。ＳＴＢ１０１は、ＢＢＵ１０３からＩＱデータを受信する。そして、受信したＩＱデータをデコードしてＢｉｔ  Ｓｔｒｅａｍ化する。また、ＳＴＢ１０１は、ネットワーク５０から制御情報を取得する。また、ＳＴＢ１０１は、端末受信状況の情報を取得する。また、ＳＴＢ１０１は、映像データを取得する。そして、ＳＴＢ１０１は、映像データをデコードする。ＳＴＢ１０１は、映像データ中、変化の少ない部分を抽出する。
【０１３５】
そして、ＳＴＢ１０１は、送信領域を決定する。また、ＳＴＢ１０１は、変調方式を決定する。変調方式の決定について、サイネージなどの映像の場合、ＳＴＢ１０１は、輝度変調は４段階としてよい（MCS０〜４）。色情報は最大RGBの３種類としてよい。受信輝度情報から、MCSを選択してよい。データを重畳する場所の色に合わせて、RGBを選択してよい。白色照明の場合、ＳＴＢ１０１は、輝度変調は４段階としてよい（MCS０〜４）。色情報は最大RGBの３種類としてよい。データを重畳できるエリア（PRB）と、バッファされているデータ量に合わせてMCS、RGBを決定してよい。そして、ＳＴＢ１０１は、変調データを作成する。ＳＴＢ１０１は、出力データを作成し、Ｈ．２６４エンコードを実行して、出力させる。
【０１３６】
図２７は、送信解像度決定のフローチャートを概略的に示す。送信解像度決定は、ＳＴＢ１０１によって実行されてよい。Ｓ５０２では、表示装置１００の解像度情報を取得する。Ｓ５０４では、通信端末２００の受信解像度情報を取得する。Ｓ５０６では、端末受信ＳＮＲを取得する。Ｓ５０８では、最適解像度を計算する。Ｓ５１０では、受信エラーが発生しているか否かを判定する。Ｓ５１２では、解像度を低下する。
【０１３７】
図２８は、データ重畳位置決定のフローチャートを概略的に示す。データ重畳位置決定は、ＳＴＢ１０１によって実行されてよい。ＳＴＢ１０１は、端末の視野情報を取得し、端末の映像検知情報を取得する。また、ＳＴＢ１０１は、映像情報を取得し、映像フレームの情報を格納し、格納されている映像情報と比較を行い、変化が少ない部分を抽出する。ＳＴＢ１０１は、接続している通信端末２００の死角を除外する。ＳＴＢ１０１は、接続している端末全ての死角を考慮する。そして、ＳＴＢ１０１は、ＰＦによるリソース量を計算し、割当リソースを決定する。
【０１３８】
図２９は、データ符号化のアルゴリズムを概略的に示す。ここでは、例としてターボ符号を示すが、この限りではない。
【０１３９】
図３０は、送信光のホワイトノイズ化に関するアルゴリズムを概略的に示す。送信光のホワイトノイズ化は、ＳＴＢ１０１によって実行されてよい。ＳＴＢ１０１は、端末識別情報をＰＮシーケンス発生機に適用してＰＮシーケンスを出力させ、これと送信データによって、ホワイトノイズ化された送信データを生成し、変調（輝度変調、ＲＧＢ変調）を行って、映像マッピングをする。
【０１４０】
図３１：主要な実施例１（赤外線ＤＬＰを用いる例）で示すように、プロジェクタにおいて、赤外線光源を用いたＤＬＰ（Ｄｉｇｉｔａｌ  Ｌｉｔｅ  Ｐｒｏｓｅｃｃｉｎｇ）プロジェクタを使用し、主に夜間においてビル壁面に送信データが符号化された映像を投影することによりサプリメンタルダウンリンクを実現する。
通信端末においては赤外線領域で感度を持つ半導体カメラセンサが用いられ、モータードライブ機構によってレンズの指向性を調整することでカメラアングルを変更でき、光学ズーム機構で前記半導体カメラセンサが、ビル等に投影された送信データが符号化された映像全体を撮像できるように調節し、半導体カメラセンサの分解能を最大限に利用することでサプリメンタルダウンリンクを実現する。実装の別形態としては、特定の映像投影領域を使用するのではなく、ビル壁面に投影された映像全体を拡大してフォーカスし、投影された映像全体を分割して複数の通信端末で同時通信を実現する形態のほうが効率的である。
【０１４１】
図３２：主要な実施例２（オフィスの天井照明）で示すように、オフィスにおける天井照明を本発明による照明パネル（液晶や有機ＥＬを用いたもの）に置き換え、ＢＢＵとＣＰＲＩ−ＨＤＭＩコンバータを介して接続し、天井照明を表示装置として使用することでサプリメンタルダウンリンクを実現する。
【０１４２】
図３３：主要な実施例３（ドーム球場の天井）で示すように、ドーム球場にプロジェクタを数十台設置し、ドーム天井に向けて送信データが符号化された映像を投影し、球場の天井を映像表示装置とすることで、サプリメンタルダウンリンクを実現する。このとき、通信端末としてはＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔ  Ｄｉｓｐｌａｙ）に埋め込まれていてもよい。また、マルチキャスト通信を行うことで複数のＨＭＤで同時に同一のデータを受信することができる。
【０１４３】
図３４、図３５：主要な実施例３（ドーム球場の天井）で示す通信システムで、同一の映像を複数のプロジェクタからそれぞれ投影することによって、通信端末が撮像する映像を冗長化することができる。これらのダイバーシティ効果によって、再送頻度が低下し、安定かつ高速なな通信を実現することができる。
【０１４４】
オリンピック等の大規模なイベント開催時には、図３６：主要な実施例３（ドーム球場のドローンカメラ）で示すように、球場内を飛ぶドローンから送られてくる映像は、光通信以外の通信（４Ｇや５ＧやＷｉＦｉ等）を用いて球場内に設置されたデータサーバーに格納され、図３３の通信システムを用いて、球場内の通信端末に対して、マルチキャスト配信を行う。
【０１４５】
図３７：主要な実施例５（複数カメラでの受信）で示すように、通信端末が前後、上下、左右の６方向にカメラを備えているとき、通信速度が最も早くなるように映像表示装置を撮像できるカメラを選択することで、通信端末の姿勢に依存せず、常に本発明によるサプリメンタルダウンリンクを実現することができる９。
【０１４６】
図３８：主要な実施例６（モータードライブカメラ）で示すように、通信端末が３次元アクチュエータによりレンズを調整する機構を有する場合、指向性調整部は、当該機構によってレンズの向きを調整することによって、表示装置による表示映像と、撮像部による撮像方向とが正対するようにし、また、ズームイン、ズームアウトを行うことで解像度を向上させ、通信速度を向上させる。
【０１４７】
図３９：主要な実施例７（魚眼レンズプロジェクタ）で示すように、プロジェクタが魚眼レンズを備えている場合、大きく映像を投影することができる。このとき、通信端末が受信する画像の解像度が向上し。通信速度が向上する。
【０１４８】
図４０は、通信端末２００として機能するコンピュータ９００のハードウエア構成のうち、本開発に関連する部分の一例を示す。本実施形態に係るコンピュータ９００は、ＣＰＵ９１０、ＢＢＩＣ、ＤＳＰ、及びカメラ９４６を備える。
【０１４９】
コンピュータ９００にインストールされ、コンピュータ９００を通信端末２００として機能させるプログラムは、ＢＢＩＣ等に働きかけて、コンピュータ９００を、通信端末２００の各部としてそれぞれ機能させてよい。これらのプログラムに記述された情報処理は、コンピュータ９００に読込まれることにより、ソフトウエアと上述した各種のハードウエア資源とが協働した具体的手段である撮像部２１２、画像処理部２１４、情報通信部２１６、復号化部２１８、測定部２２０、測定結果送信部２２２、位置姿勢取得部２２４、及び指向性調整部２２６として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の通信端末２００が構築される。
【０１５０】
ＣＰＵ９１０に少なくとも、ＵＳＢ３．０（１０Ｇｂｐｓ）を上回る速度のインターフェイスで接続されたＣＣＤ装置とＣＰＵ９１０に接続された５Ｇ対応ＢＢＩＣ（３Ｇ、４Ｇを含む）のデュアルコネクティビティで通信が成立し、かつ、モデム側がメインではなくＣＰＵ１０１０に接続されたＣＣＤ装置がサプリメンタルダウンリンクのデータパスを提供する。５Ｇモデムは、ＣＣＤとＣＰＵ１０１０から来たビットストリームを２８ＧＨｚや７６ＧＨｚのＡＤデータストリームと同等にデコードして、サプリメンタルダウンリンクとする。
【０１５１】
ＳＴＢ１０１にインストールされ、表示装置１００を光通信装置として機能させるプログラムに記述された情報処理は、ＳＴＢ１０１を情報受信部１１２、送信データ取得部１１４、映像取得部１１６、領域特定部１１８、映像生成部１２０、表示制御部１２２、測定結果受信部１２４、及び輝度レベル調整部１２６として機能させる。
【０１５２】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
【０１５３】
請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【０１５４】
１０  通信システム、５０  ネットワーク、１００  表示装置、１０１  ＳＴＢ、１０２  コンピュータ、１０３  ＢＢＵ、１０４  ディスプレイ、１０５  プロジェクタ、１０６  変換器、１０８  投影映像、１１２  情報受信部、１１４  送信データ取得部、１１６  映像取得部、１１８  領域特定部、１２０  映像生成部、１２２  表示制御部、１２４  測定結果受信部、１２６  輝度レベル調整部、２００  通信端末、２０１  ＣＭＯＳセンサ、２０２  ＣＰＵ、２０３  ディスプレイ、２０４  通信モデム、２１２  撮像部、２１４  画像処理部、２１６  情報通信部、２１８  復号化部、２２０  測定部、２２２  測定結果送信部、２２４  位置姿勢取得部、２２６  指向性調整部、３００  管理装置、４００  特定領域、４０２  分割領域、４０４  分割領域、４１０  同期信号、４２０  呼出信号、４３０  アンカー信号、４３２  アンカー信号、４３４  アンカー信号、４４０  特定領域、４４２  分割領域、５１０  建物、５２０  建物、６００  障害物、８１０  状況、８２０  状況、９００  コンピュータ、９１０  ＣＰＵ、９４６  カメラ
【図１】
2019150489.tif 000003
【図２】
2019150489.tif 000004
【図３】
2019150489.tif 000005
【図４】
2019150489.tif 000006
【図５】
2019150489.tif 000007
【図６】
2019150489.tif 000008
【図７】
2019150489.tif 000009
【図８】
2019150489.tif 000010
【図９】
2019150489.tif 000011
【図１０】
2019150489.tif 000012
【図１１】
2019150489.tif 000013
【図１２】
2019150489.tif 000014
【図１３】
2019150489.tif 000015
【図１４】
2019150489.tif 000016
【図１５】
2019150489.tif 000017
【図１６】
2019150489.tif 000018
【図１７】
2019150489.tif 000019
【図１８】
2019150489.tif 000020
【図１９】
2019150489.tif 000021
【図２０】
2019150489.tif 000022
【図２１】
2019150489.tif 000023
【図２２】
2019150489.tif 000024
【図２３】
2019150489.tif 000025
【図２４】
2019150489.tif 000026
【図２５】
2019150489.tif 000027
【図２６】
2019150489.tif 000028
【図２７】
2019150489.tif 000029
【図２８】
2019150489.tif 000030
【図２９】
2019150489.tif 000031
【図３０】
2019150489.tif 000032
【図３１】
2019150489.tif 000033
【図３２】
2019150489.tif 000034
【図３３】
2019150489.tif 000035
【図３４】
2019150489.tif 000036
【図３５】
2019150489.tif 000037
【図３６】
2019150489.tif 000038
【図３７】
2019150489.tif 000039
【図３８】
2019150489.tif 000040
【図３９】
2019150489.tif 000041
【図４０】
2019150489.tif 000042
【国際調査報告】
2019150489.tif 000043
2019150489.tif 000044
2019150489.tif 000045
2019150489.tif 000046
2019150489.tif 000047
2019150489.tif 000048
2019150489.tif 000049
2019150489.tif 000050