(57)【要約】【課題】情報を重畳する光を受信装置が直接受光できない場合でも、光に重畳された情報を受信できる受信装置を提供する。【解決手段】送信装置は、発する光の特性を時系列に沿って変更可能な照明部と、伝送する情報に含まれるシンボルに対して所定の期間を設定し、その期間内でシンボルの値に応じて照明部から発する光の特性を時系列に沿って変化させるよう照明部を制御する制御部とを有する。一方、受信装置は、所定の撮影周期で送信装置からの光が照射された範囲の少なくとも一部を含む撮影範囲が写った画像を生成する撮像部と、撮像部により生成された複数の画像のそれぞれから、送信装置の照明部が発する光の特性を表す特徴量を抽出する特徴抽出部と、シンボルに応じて設定される期間に含まれる複数の画像のそれぞれから抽出された特徴量の時系列順での変化からシンボルの値を復号する復号部とを有する。【選択図】図９
2018107824.tif 000002
【特許請求の範囲】
【請求項１】
所定の撮影周期で撮影範囲が写った画像を生成する撮像部と、
前記撮像部により生成された複数の前記画像のそれぞれを複数の部分領域に分割する分割部と、
前記撮像部により生成された複数の前記画像のそれぞれについて、前記複数の部分領域のそれぞれから、伝送される情報に含まれるシンボルの値に応じて時系列に沿って変更される送信装置が発する光の特性を表す特徴量を抽出する特徴抽出部と、
前記シンボルに対して設定される期間に含まれる前記複数の画像のそれぞれの前記複数の部分領域のうち、同じ物体が写っている部分領域をトラッキング処理により特定し、前記複数の画像のそれぞれの特定された前記部分領域から抽出された前記特徴量の時系列順での変化から前記シンボルの値を復号する復号部と、
を有する受信装置。
【請求項２】
前記復号部は、前記期間に含まれる前記複数の画像のそれぞれの特定された前記部分領域から抽出された前記特徴量を時系列順に並べたベクトルを時間周波数変換することで、前記シンボルの値に応じて変化する、前記送信装置が発する光の前記特性の変動周期に対応する周波数のスペクトル成分を求め、当該スペクトル成分から前記シンボルの値を復号する、請求項１に記載の受信装置。
【請求項３】
所定の撮影周期で撮影範囲が写った画像を生成し、
複数の前記画像のそれぞれを複数の部分領域に分割し、
複数の前記画像のそれぞれについて、前記複数の部分領域のそれぞれから、伝送する情報に含まれるシンボルの値に応じて時系列に沿って変更される送信装置が発する光の特性を表す特徴量を抽出し、
前記シンボルに応じて設定される期間に含まれる前記複数の画像のそれぞれの前記複数の部分領域のうち、同じ物体が写っている部分領域をトラッキング処理により特定し、前記複数の画像のそれぞれの特定された前記部分領域から抽出された前記特徴量の時系列順での変化から前記シンボルの値を復号する、
ことを含む受信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、光を利用して信号を伝送する通信システムで利用される受信装置及び受信方法に関する。
【背景技術】
【０００２】
従来より、照明光源として発光ダイオード(Light Emitting Diode, LED)が広く利用されている。LEDは、白熱電球または蛍光灯と比較して、応答速度が速いという特徴を有する。この特徴を利用して、人の目では認識できない速さでLEDを明滅させることでLEDから発する照明光に情報を重畳して通信を行う可視光通信技術が研究されている（例えば、非特許文献１を参照）。
【０００３】
可視光通信は、電波の使用が制限されている場所での通信用途、室内など光が届く範囲に限定した情報配布、または、Intelligent Transport Systems(ITS)などでの利用が検討されている。
【０００４】
例えば、特許文献１に開示された情報伝送システムは、所定の領域を光らせて情報を送信する発光手段と、所定の領域を時系列的に撮像した画像から情報を復号する受光手段とを含む。この情報伝送システムでは、所定の領域は情報に応じて少なくとも三値に多値化して色変調された光を発し、受光手段は、所定の領域の多値化された色変調情報に基づいて情報を復号する。
【０００５】
また、原色光を発する少なくとも二つの一次光源を含み、一次光源から発する光の色座標を埋め込むデータに応じて変調することで、光にデータを組み込む光モジュールが提案されている（例えば、特許文献２を参照）。人間の目の色における色の変化に対する感知性は、強度における変化に対する感知性よりも低いので、この光モジュールが照明システムに利用された場合、照明としての機能を低下させることなく、発される光へデータを埋め込むことが可能となる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平３−１０４８３号公報
【特許文献２】国際公開第２００９／１３６３１２号
【非特許文献】
【０００７】
【非特許文献１】春山、「可視光通信」、電子情報通信学会論文誌、Vol.J86-A、No.12 pp.1284-1291、2003年12月
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に開示された技術では、色ごとに、送信されるデータの値が割り当てられている。また、特許文献２に開示された技術でも、個々の色座標に、１ビットまたは複数ビットで表される論理値が割り当てられている。そのため、特許文献１に開示された技術及び特許文献２に開示された技術では、信号を送信側の装置が発する光に重畳された情報を受信側の装置が正確に復号するためには、受信側の装置は、送信側の装置が発した光を直接受光することが求められる。受信側の装置が送信側の装置が発した光を直接受光することができず、例えば、送信側の装置が発した光が物体で反射または散乱された光が受信側の装置で受光される場合、その物体により、受光された光の色が元の色と異なってしまうおそれがあるためである。そして受光された光の色が送信側の装置が発した光の色と異なっている場合、受光された光の色は、重畳された情報に含まれるデータの値に対応する色ではないため、受信側の装置は、送信側の装置が発した光に重畳された情報を正確に復号することは困難となる。
【０００９】
そこで本明細書は、情報を重畳する光を受信装置が直接受光できない場合でも、光に重畳された情報を受信できる受信装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
一つの実施形態によれば、送信装置が提供される。この送信装置は、発する光の特性を時系列に沿って変更可能な照明部と、伝送する情報に含まれるシンボルに対して所定の期間を設定し、その期間内でシンボルの値に応じて照明部から発する光の特性を時系列に沿って変化させるよう照明部を制御する制御部とを有する。
【００１１】
また、他の実施形態によれば、受信装置が提供される。この受信装置は、所定の撮影周期で撮影範囲が写った画像を生成する撮像部と、撮像部により生成された複数の画像のそれぞれから、伝送される情報に含まれるシンボルの値に応じて時系列に沿って変更される送信装置が発する光の特性を表す特徴量を抽出する特徴抽出部と、シンボルに応じて設定される期間に含まれる複数の画像のそれぞれから抽出された特徴量の時系列順での変化からシンボルの値を復号する復号部とを有する。
【００１２】
さらに他の実施形態によれば、送信装置と受信装置とを有する通信システムが提供される。この通信システムにおいて、送信装置は、発する光の特性を時系列に沿って変更可能な照明部と、伝送する情報に含まれるシンボルに対して所定の期間を設定し、その期間内でシンボルの値に応じて照明部から発する光の特性を時系列に沿って変化させるよう照明部を制御する制御部とを有する。一方、受信装置は、所定の撮影周期で送信装置からの光が照射された範囲の少なくとも一部を含む撮影範囲が写った画像を生成する撮像部と、撮像部により生成された複数の画像のそれぞれから、シンボルの値に応じて時系列に沿って変更される送信装置が発する光の特性を表す特徴量を抽出する特徴抽出部と、シンボルに応じて設定される期間に含まれる複数の画像のそれぞれから抽出された特徴量の時系列順での変化からシンボルの値を復号する復号部とを有する。
【００１３】
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。
【発明の効果】
【００１４】
本明細書に開示された受信装置は、情報を重畳する光を受信装置が直接受光できない場合でも、光に重畳された情報を受信できる。
【図面の簡単な説明】
【００１５】
【図１】図１は、一つの実施形態による通信システムの概略構成図である。
【図２】図２は、発光パターンと重畳されるシンボルの値の関係の一例を示す図である。
【図３】図３は、送信装置から発した光が物体により反射または散乱されることによる発光パターンへの影響を説明する図である。
【図４】図４は、図１に示された通信システムで利用される送信装置の概略構成図である。
【図５】図５は、発光パターンに応じた、YUV色空間における各成分の値の時間変化と、RGB色空間における各成分の値の時間変化の関係の一例を示す図である。
【図６】図６（Ａ）は、発光パターンに応じて決定される、発光素子の発光強度の時間変化を表す図である。図６（Ｂ）は、PWM方式における発光素子の発光光量と発光素子に電流を流す期間の関係の説明図である。
【図７】図７は、送信処理の動作フローチャートである。
【図８】図８は、図１に示された通信システムで利用される受信装置の概略構成図である。
【図９】図９は、受信装置の制御部の機能ブロック図である。
【図１０】図１０は、受信処理の概念図である。
【図１１】図１１は、受信処理の動作フローチャートである。
【発明を実施するための形態】
【００１６】
以下、図を参照しつつ、通信システム及び通信システムで利用される送信装置及び受信装置について説明する。この通信システムでは、送信装置は、照明部から発する光の特性を、伝送する情報に含まれるシンボルの値に応じて時系列的に変化させる。その際、送信装置は、その光の特性の時系列的な変化のパターンである発光パターンを、伝送する情報に含まれるシンボルの値に応じて異ならせる。これにより、受信装置は、送信装置が発した光を直接受光できず、何らかの物体で反射または散乱された光を受光する場合でも、受光した光の特性の時系列的な変化のパターンを抽出することで、重畳された情報を復号できる。
【００１７】
図１は、一つの実施形態による通信システムの概略構成図である。通信システム１００は、送信装置１と受信装置２とを有する。そして送信装置１は、自装置が有する照明部が発する光に送信する情報を重畳する。一方、受信装置２は、撮像部を有し、その撮像部で送信装置１からの光で照明された物体３を含む撮影範囲を時系列的に連続して撮影して得られる、時系列に並んだ複数の画像から光に重畳された情報を復号する。なお、この例では、通信システム１００は、一つの受信装置２のみを含んでいるが、通信システム１００に含まれる受信装置２の台数は１台に限られない。通信システム１００は、複数の受信装置２を含んでもよい。
【００１８】
図２は、発光パターンと重畳されるシンボルの値の関係の一例を示す図である。図２において、横軸は時間を表し、縦軸は、送信装置１から発せられる光の特性を表す。発光パターン２０１及び発光パターン２０２は、それぞれ、シンボル値'0'、'1'に相当する。そして発光パターン２０１及び発光パターン２０２では、何れも時間経過とともに光の特性が周期的に変化するが、位相が互いに対して180°ずれている。このように、光の特性の時間変動における位相をシンボル値ごとに異ならせることで、送信装置１は、照明部が発する光に情報を重畳することができる。なお、発光パターンとシンボル値の関係は、この例に限られない。発光パターンとシンボル値の関係の詳細については後述する。
【００１９】
図３は、送信装置から発した光が物体により反射または散乱されることによる発光パターンへの影響を説明する図である。図３において、グラフ３０１は、発光パターンに従った、送信装置１の照明部が発した光の時間変化を表す。なお、この例では、時系列に沿って照明部から発する光の色が変化するものとする。またグラフ３０２は、送信装置１の照明部からの光が物体３により反射または散乱されることにより得られた光の時間変化を表す。物体３が自ら時系列に沿って変色する物体でない限り、物体３の色は、点線３０３で示されるように一定である。そのため、物体３により反射または散乱されることで、光の色そのものは変化しても、反射または散乱後の光の時系列に沿った変動パターンは発光パターンと同一である。したがって、受信装置２は、送信装置１の照明部が発し、物体３により反射または散乱された光を受光する場合でも、受光した光の変動パターンの周波数特性を解析して発光パターンを特定することで、送信装置１が照明部から発する光に重畳した情報を復号できる。
【００２０】
図４は、送信装置１の概略構成図である。送信装置１は、通信インターフェース部１１と、記憶部１２と、記憶媒体アクセス装置１３と、照明部１４と、制御部１５とを有する。そして送信装置１は、通信インターフェース部１１または記憶媒体アクセス装置１３を介して取得した、あるいは、記憶部１２に予め記憶された伝送すべき情報を、照明部１４が発する光に重畳してその情報を送信する。
【００２１】
通信インターフェース部１１は、例えば、送信装置１を、有線または無線の通信ネットワークに接続するための通信インターフェース及びその制御回路を有する。そして通信インターフェース部１１は、他の装置から、通信ネットワークを介して受信した情報を制御部１５へ渡す。
【００２２】
記憶部１２は、例えば、読み出し専用の不揮発性の半導体メモリと読み書き可能な揮発性の半導体メモリとを有する。そして記憶部１２は、例えば、通信インターフェース部１１を介して取得した、または、記憶媒体アクセス装置１３から読み込んだ、伝送すべき情報を記憶する。また記憶部１２は、制御部１５が送信処理を行うために利用する各種の情報及びプログラムを記憶する。例えば、記憶部１２は、シンボル値ごとに、そのシンボル値に対応する発光パターンを表すデータを記憶する。発光パターンを表すデータは、例えば、その発光パターンに応じた照明部１４からの光の制御開始時点における発光パターンの位相、周期、光の特性の最大値及び最小値に相当する発光色または光量などを含む。また、伝送すべき情報が固定である場合には、記憶部１２は、予め、その情報に含まれる各シンボルの発光パターンを表すデータを記憶していてもよい。
【００２３】
記憶媒体アクセス装置１３は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１６にアクセスする装置である。記憶媒体アクセス装置１３は、例えば、記憶媒体１６に記憶された、制御部１５上で実行される、送信処理用のコンピュータプログラムあるいは伝送すべき情報を読み込み、制御部１５に渡す。
【００２４】
照明部１４は、発光する光の特性を時系列に沿って変化させることが可能な少なくとも一つの発光素子と、駆動回路とを有する。駆動回路は、制御部１５からの制御信号に応じて、その少なくとも一つの発光素子から発する光の特性を変更するよう、その少なくとも一つの発光素子を駆動する。
【００２５】
時系列に沿って変化可能な光の特性は、例えば、発光色とすることができる。この場合、照明部１４は、例えば、発光色が互いに異なる少なくとも２種類の発光素子、例えば、赤色LED、緑色LED及び青色LEDのうちの少なくとも２種類を有する。そして各発光素子が発する光量の比率が時系列に沿って変化することで照明部１４が発する光の色も時系列に沿って変化する。あるいは、照明部１４は、発光色そのものを変調可能な少なくとも一つの発光素子を有してもよい。発光色そのものを変調可能な発光素子は、例えば、蛍光灯のように複数の波長を含む光を発する発光素子と、アレイ状に配置されたカラーフィルタを有する液晶パネルのように、光の波長ごとの透過率を調整できる光変調素子との組み合わせとすることができる。
【００２６】
あるいは、時系列に沿って変化可能な光の特性は、単位時間当たりの光量であってもよい。この場合、照明部１４は、光量を時系列に沿って変更可能な少なくとも一つの発光素子、例えば、白色LEDあるいは有機エレクトロルミネッセンス(Electro Luminescence, EL)素子を有する。
あるいはまた、時系列に沿って変化可能な光の特性は、発光色と光量の組み合わせであってもよい。
【００２７】
照明部１４は、制御部１５からの制御信号に従って、発光する光の特性を、伝送する情報に含まれるシンボルの値に応じた発光パターンに従って時系列で変化させることで、照明部１４から発する光に情報を重畳する。
【００２８】
制御部１５は、一つまたは複数のプロセッサと、その周辺回路とを有する。そして制御部１５は、送信装置１全体を制御する。制御部１５は、通信インターフェース部１１を介して、あるいは、記憶媒体アクセス装置１３から伝送すべき情報を受け取った場合、その情報を一旦記憶部１２に記憶する。そして制御部１５は、送信処理を実行する場合、伝送すべき情報を記憶部１２から読み込み、その情報をシンボル単位で分割する。そして制御部１５は、シンボルごとに、そのシンボルの値に応じた発光パターンを表すデータを記憶部１２から読み込み、その発光パターンに応じて発する光の特性を時系列に沿って変化させるように照明部１４を制御する。
【００２９】
なお、送信処理を実行するタイミングは予め設定されていてもよい。あるいは、図示しないユーザインターフェース部からの操作によって、あるいは、通信インターフェース部１１を介して受信した、他の装置からの送信処理の開始指示信号に応じて、制御部１５は、送信処理を開始してもよい。あるいはまた、制御部１５は、一定周期ごとに、送信処理を繰り返し実行してもよい。
【００３０】
以下、照明部１４の制御及び発光パターンについて詳述する。
本実施形態では、発光パターンは、例えば、図２に示されるように、時間経過に伴って光の特性が正弦波状に変化する周期的な変動パターンとなる。発光パターンは、この例に限られず、例えば、光の特性が三角形状、あるいは矩形パルス状に周期的に変動するパターンであってよい。また発光パターンは、周期的に変動するパターンに限られず、例えば、一つのシンボルに応じた期間内で、光の特性が単調に変化するパターンであってもよい。例えば、シンボル値'0'に対応する発光パターンでは、そのシンボルに対応する期間の開始時点において照明部１４から発する光は第１の特性値を持ち、その期間の終了時点において照明部１４から発する光は第２の特性値を持つように光の特性が単調に変化する。一方、シンボル値'1'に対応する発光パターンでは、そのシンボルに対応する期間の開始時点において照明部１４から発する光は第２の特性値を持ち、その期間の終了時点において照明部１４から発する光は第１の特性値を持つように光の特性が単調に変化する。
【００３１】
発光パターンの１周期の長さは、例えば、受信装置２が有する撮像部の撮影レートでも、受信装置がその発光パターンを再現できるように、その撮影レートの逆数の数倍に設定される。例えば、受信装置の撮影レートが30フレーム／秒である場合、発光パターンの１周期の長さは、例えば、100ミリ秒〜1秒に設定される。
【００３２】
制御部１５は、例えば、伝送すべき情報を、１〜複数のビットを持つビット列単位で分割し、各ビット列を、それぞれ、一つのシンボルとする。制御部１５は、シンボルの値に応じた発光パターンを表すデータを記憶部１２から読み込む。そして制御部１５は、シンボルごとに所定長を持つ期間を設定する。制御部１５は、その期間において、１〜数周期分、照明部１４にシンボル値に応じた発光パターンを繰り返させる。
【００３３】
なお、制御部１５は、伝送すべき情報の所定の位置、例えば、先頭に、プリアンブルとして、所定のシンボル列（例えば、'01010101'）を含めてもよい。あるいは、制御部１５は、伝送すべき情報に、巡回冗長検査(Cyclic Redundancy Check, CRC)符号といった、誤り検出符号を含めてもよい。制御部１５が、これらのシンボル列及び誤り検出符号を伝送すべき情報に含めることで、受信装置２は、伝送された情報を正確に復号することが容易となる。
【００３４】
制御部１５は、シンボルの値に応じた発光パターンの変調方式として、無線通信で利用されている様々な変調方式を利用できる。例えば、制御部１５は、一つのシンボルを一つのビットに対応させてもよい。この場合、制御部１５は、図２に示した二位相偏移変調方式(binary phase-shift keying, BPSK)のように、シンボルの値が'0'に対応する発光パターンとシンボルの値が'1'に対応する発光パターンとの間で位相を180°反転させる。
また、制御部１５は、二つのビットを一つのシンボルに対応させてもよい。この場合、制御部１５は、四位相偏移変調方式(quadriphase phase-shift keying, QPSK)のように、シンボルが取り得る４通りの値('00','01','10','11')のそれぞれごとに、位相が90°ずつ異なる、周期的に光の特性が変動する発光パターンを設定してもよい。
【００３５】
あるいは、制御部１５は、シンボルの値に応じて、光の特性の変化幅（以下、振幅レベルと呼ぶ）も変調してもよい。この場合、制御部１５は、直角位相振幅変調(quadrature amplitude modulation, QAM)のように、シンボルが取り得る各値ごとに、振幅レベルと位相の組み合わせが異なる発光パターンを設定してもよい。その際、制御部１５は、振幅レベルに関して、あるシンボル値では、シンボルに対応する期間内で振幅レベルを単調増加させ、他のシンボル値では、シンボルに対応する期間内で振幅レベルを単調減少させてもよい。このように一つのシンボルに対応する期間内で、シンボルの値に応じて振幅レベルを変化させることで、物体３による照明部１４からの光の反射または散乱によって振幅レベル自体が変化しても、受信装置２が正確に発光パターンを特定することが容易となる。
【００３６】
また、制御部１５は、互いに異なる周波数（すなわち、互いに異なる周期）を持つ複数の発光パターンを利用して、伝送する情報を多重化してもよい。制御部１５は、例えば、直交周波数分割多重方式(orthogonal frequency-division multiplexing, OFDM)のように、複数の周波数のそれぞれごとに、上記の何れかの変調方式に従った発光パターンでシンボルを表し、各周波数の発光パターンを逆フーリエ変換してもよい。なお、逆フーリエ変換は、周波数時間変換の一例である。そして制御部１５は、周波数時間変換により得られた発光パターンに従って、照明部１４が光の特性を時系列に沿って変化させるように、照明部１４を制御してもよい。
【００３７】
また、送信装置１の周囲の環境光、特に、周期的に発光特性が変化する光が受信装置２にとってノイズとなり、受信装置２における、伝送された情報の復号精度が低下するおそれもある。そこで制御部１５は、符号分割多元接続方式(Code Division Multiple Access, CDMA)で利用されているスペクトラム拡散のように、伝送する情報を複数の周波数に拡散してもよい。そして制御部１５は、伝送する情報を複数の周波数に拡散して得られる発光パターンに従って、照明部１４が光の特性を時系列に沿って変化させるように、照明部１４を制御してもよい。
【００３８】
次に、発光パターンにおいて時系列に沿って変化する光の特性について説明する。
【００３９】
発光パターンにおいて時系列に沿って変化する光の特性は、例えば、発光色あるいは単位時間値の光量、あるいは、発光色と単位時間当たりの光量の組み合わせとすることができる。
【００４０】
発光パターンにおいて時系列に沿って変化する光の特性が発光色である場合、例えば、制御部１５は、発光パターンの１周期に、複数のサンプリング点（例えば、10〜20点）を設定する。そして制御部１５は、YUVあるいはHLSといった、輝度成分と色成分とが互いに独立して表される色空間において、その色成分の値を正弦波状に変化させたときの各サンプリング点での色成分の値を求める。そして制御部１５は、各サンプリング点について、その色空間における輝度成分の値と色成分の値から、照明部１４が有する各発光素子の発光色に対応させることができるRGB色空間における赤色、緑色及び青色の各成分の値を求める。そして制御部１５は、サンプリング点ごとに、赤色、緑色及び青色の各成分の値に応じて、その色成分に対応する発光素子の単位時間当たりの発光光量を決定する。なお、制御部１５は、輝度成分の値を一定に保つことが好ましい。これにより、照明部１４が発する光の色が発光パターンに従って時系列に沿って変化しても、その光の単位時間当たりの光量は一定に保たれる。人の視覚は光量の変化については比較的敏感であるが、色の変化については比較的鈍感である。そのため、単位時間当たりの光量が一定に保たれることで、制御部１５は、照明部１４からの光の特性が発光パターンに従って時系列に沿って変化していることを人に知覚され難くすることができる。
【００４１】
図５は、発光パターンに応じた、YUV色空間における各成分の値の時間変化と、RGB色空間における各成分の値の時間変化の関係の一例を示す図である。
図５の左側には、発光パターンに応じたYUV色空間での各成分の値が示される。一番上のグラフ５０１に示されるように、Y成分、すなわち、輝度成分は、時間経過によらず一定に保たれる。一方、中央のグラフ５０２に示されるように、一方の色差成分であるU成分の値は、発光パターンに応じて時間経過とともに変化する。同様に、一番下のグラフ５０３に示されるように、他方の色差成分であるV成分の値も、発光パターンに応じて時間経過とともに変化する。
【００４２】
一方、図５の右側には、図５の左側に示された発光パターンに対応する、RGB色空間での各成分の値が示される。グラフ５１１〜５１３は、それぞれ、赤色成分、緑色成分、青色成分の時間変化を表す。グラフ５１１〜５１３に示されるように、各色成分は、発光パターンに応じて変化する。制御部１５は、各サンプリング点での各色成分の値に応じた単位時間当たりの発光光量で、照明部１４のその色成分に対応する発光素子を発光させればよい。
なお、各発光素子の単位時間当たりの発光光量の変動幅が、その発光素子の単位時間当たりの発光光量の一つのシンボルに対応する期間にわたる時間平均値に対して数％程度となるように、制御部１５は、U成分及びV成分の値を決定することが好ましい。これにより、発光パターンに応じた照明部１４からの光の特性の時間変化が、人に対してより知覚され難くなる。
【００４３】
また、発光パターンに従って時系列に沿って変化する光の特性が、単位時間当たりの光量である場合も、例えば、制御部１５は、発光パターンの１周期に、複数のサンプリング点（例えば、10〜20点）を設定する。そして制御部１５は、その発光パターンに従って、各サンプリング点での照明部１４が有する発光素子の単位時間当たりの発光光量を決定すればよい。
【００４４】
照明部１４が有する各発光素子の単位時間当たりの発光光量を、上記のように決定された各サンプリング点での発光光量とするために、制御部１５は、各発光素子を、例えば、パルス幅変調(Pulse Width Modulation, PWM)方式に従って制御してもよい。PWM方式では、単位時間に対する発光素子が点灯している時間の比（デューティ比）により、発光素子の発光光量が調節される。この場合、例えば、発光パターンの１周期に設定されるサンプリング点の数でその周期を等分して得られる個々の区間が、一つのサンプリング点に対応する区間（その区間の長さをTとする）となる。そして制御部１５は、その区間Tにおいて発光素子を点灯させる時間tを、次式に従って決定する。
t=T×n/M
ここで、Mは、発光素子の単位時間当たりの最大発光光量であり、nは、そのサンプリング点における単位時間当たりの発光光量である。
【００４５】
図６（Ａ）は、発光パターンに応じて決定される、発光素子の単位時間当たりの発光光量の時間変化を表す図である。図６（Ａ）において、横軸は時間を表し、縦軸は光量を表す。点線で示されるグラフ６０１は、発光パターンに応じて決定される、発光素子の単位時間当たりの発光光量の時間変化を表す。そしてグラフ６０１上の各点６０２は、それぞれ、サンプリング点を表す。
図６（Ｂ）は、PWM方式における発光素子の発光光量と発光素子に電流を流す期間、すなわち、発光素子を点灯させる期間の関係の説明図である。図６（Ｂ）において、横軸は時間を表し、縦軸は、発光素子に流れる電流を表す。そしてグラフ６１１及び６１２は、それぞれ、時間と発光素子に流れる電流の関係を示す。例えば、図６（Ａ）におけるサンプリング点t1における単位時間当たりの発光光量がnであるとする。この場合、単位時間当たりの発光光量がnとなるように発光素子を点灯させるために、例えば、グラフ６１１に示されるように、一つのサンプリング点に対応する区間T内で連続する区間T×(n/M)の間、制御部１５は、発光素子に電流を流せばよい。あるいは、グラフ６１２に示されるように、制御部１５は、一つのサンプリング点に対応する区間T内で、発光素子に電流を流す区間を複数のサブ区間P1、P2、P3に分割してもよい。この場合も、各サブ区間の長さの合計がT×(n/M)となればよい。
【００４６】
PWM方式による発光素子の明滅が人に知覚されないようにするために、制御部１５は、一つのサンプリング点に対応する区間の長さTが、人の目に明滅によるちらつきが見え難くなる1/100秒以下とすることが好ましい。さらに、その区間の長さTは、受信装置２の撮影部が１回の撮影を行うときの露光期間よりも短いことが好ましい。これにより、受信装置２の撮像部により生成された画像上で照明部１４からの光が照射されている物体が写る領域は、照明部１４が発した光の光量に応じた明るさとなる。また制御部１５は、PWM方式による発光素子の明滅が人に知覚されないようにするために、PWM方式による発光素子の変調周波数を500Hz以上とすることが好ましい。
【００４７】
なお、照明部１４が有する各発光素子の輝度を、一つのサンプリング点に対応する区間の長さTよりも短い周期で調節することが可能な場合には、制御部１５は、各サンプリング点に対応する発光光量となるように、各発光素子の輝度を調節してもよい。
【００４８】
図７は、送信装置１による送信処理の動作フローチャートである。
送信装置１の制御部１５は、伝送する情報をシンボル単位に分割する（ステップＳ１０１）。そして制御部１５は、シンボルごとに、発光パターンを重畳する期間を設定する（ステップＳ１０２）。また制御部１５は、伝送する情報に含まれ、未着目のシンボルのうち、先頭のシンボルを着目するシンボルとして選択する（ステップＳ１０３）。そして制御部１５は、その着目するシンボル値に応じて発光パターンを決定する（ステップＳ１０４）。
【００４９】
制御部１５は、発光パターンの１周期に複数のサンプリング点を設定し、サンプリング点ごとに、照明部１４が有する各発光素子の発光強度を決定する（ステップＳ１０５）。そして制御部１５は、サンプリング点ごとに、各発光素子の単位時間当たりの発光光量を表す制御信号、例えば、デューティ比を含む制御信号を照明部１４に出力し、照明部１４の各発光素子をその発光光量で発光させる（ステップＳ１０６）。
【００５０】
制御部１５は、着目するシンボルに設定されていない未着目のシンボルが残っているか否か判定する（ステップＳ１０７）。未着目のシンボルが残っていれば（ステップＳ１０７−Ｙｅｓ）、制御部１５は、ステップＳ１０３以降の処理を繰り返す。
一方、未着目のシンボルが残っていなければ（ステップＳ１０７−Ｎｏ）、制御部１５は、送信処理を終了する。
【００５１】
次に、受信装置２について説明する。
図８は、受信装置２の概略構成図である。受信装置２は、例えば、撮像部を有する携帯端末、あるいは、据え置き型の装置とすることができる。そして受信装置２は、通信インターフェース部２１と、記憶部２２と、記憶媒体アクセス装置２３と、撮像部２４と、ユーザインターフェース部２５と、制御部２６とを有する。受信装置２は、送信装置１からの光が照射された領域の少なくとも一部を含む撮影範囲を、撮像部２４により所定の撮影レートで時系列に沿って複数回撮影して得られる複数の画像を解析することで、送信装置１が送信した情報を復号する。
【００５２】
通信インターフェース部２１は、例えば、受信装置２を、有線または無線の通信ネットワークに接続するための通信インターフェース及びその制御回路を有する。そして通信インターフェース部２１は、制御部２６から受け取った情報を、通信ネットワークを介して他の装置、例えば、サーバへ送信する。また通信インターフェース部２１は、他の装置から受け取った情報を制御部２６へ渡す。
【００５３】
記憶部２２は、例えば、読み出し専用の不揮発性の半導体メモリと読み書き可能な揮発性の半導体メモリとを有する。そして記憶部２２は、例えば、撮像部２４により時系列に沿って生成された複数の画像を受信処理の間記憶する。また記憶部２２は、制御部２６が受信処理を行うために利用する各種の情報及びプログラムを記憶する。さらに記憶部２２は、送信装置１が送信し、かつ復号された情報を記憶してもよい。
【００５４】
記憶媒体アクセス装置２３は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体２７にアクセスする装置である。記憶媒体アクセス装置２３は、例えば、記憶媒体２７に記憶された、制御部２６上で実行される、受信処理用のコンピュータプログラムを読み込み、制御部２６に渡す。
【００５５】
撮像部２４は、例えば、CCDあるいはCMOSといった、送信装置１の照明部１４が発する光に感度を持つ固体撮像素子の２次元アレイにより形成されるイメージセンサと、そのイメージセンサ上に、撮影範囲の像を結像する結像光学系を有する。なお、撮影範囲に、送信装置１の照明部１４からの光が照射された領域の少なくとも一部が含まれるように、例えば、図１の物体３が撮影範囲に含まれるように、受信装置２は配置されることが好ましい。そして撮像部２４は、受信装置２が受信処理を行っている間、所定の撮影レート（例えば、30フレーム／秒）で撮影を行って、撮影を行う度に画像を生成する。なお、伝送する情報に応じて重畳される発光パターンによる光の特性の変化が発光色の変化で表される場合、撮像部２４が生成する画像はカラー画像であることが好ましい。
【００５６】
撮像部２４は、画像を生成する度に、その画像を制御部２６へ出力する。
【００５７】
ユーザインターフェース部２５は、例えば、タッチパネルディスプレイといった、人が受信装置２を操作したり、あるいは、受信装置２が人に情報を表示するためのデバイスを有する。そしてユーザインターフェース部２５は、人の操作に応じた操作信号、例えば、受信処理の開始を指示する操作信号を制御部２６へ出力する。またユーザインターフェース部２５は、制御部２６から受け取った各種の情報及び撮像部２４により生成された画像を表示する。例えば、ユーザインターフェース部２５は、撮像部２４により生成された画像とともに、受信処理によって復号した、送信装置１から送信された情報を表示してもよい。
【００５８】
制御部２６は、一つまたは複数のプロセッサと、その周辺回路とを有する。そして制御部２６は、受信装置２全体を制御する。また制御部２６は、撮像部２４により、時系列に沿って生成された複数の画像を周波数解析して、送信装置１から送信された情報を復号する。
【００５９】
図９は、受信処理に関する制御部２６の機能ブロック図である。制御部２６は、分割部３１と、特徴抽出部３２と、復号部３３とを有する。制御部２６が有するこれらの各部は、例えば、制御部２６が有するプロセッサ上で動作するコンピュータプログラムにより実現されるソフトウェアモジュールである。あるいは、制御部２６が有するこれらの各部は、その各部の機能を実現するファームウェアとして受信装置２に実装されてもよい。あるいまた、制御部２６が有するこれらの各部は、例えば、Webブラウザ上で動作するWebアプリケーションとして実装されてもよい。
【００６０】
図１０は、受信処理の概念図である。送信装置１の照明部１４からの光で照明された物体が撮像部２４により生成された各画像に写っているとすると、その物体が写っている領域に含まれる画素値は、照明部１４が発する光の特性の変化に影響される。そこで分割部３１は、撮像部２４により生成された画像１０００−１、１０００−２、１０００−３、・・・、１０００−ｎをそれぞれ複数の部分領域１００１に分割する。特徴抽出部３２は、各部分領域から照明部１４が発する光の特性を表す特徴量１００２を抽出する。復号部３３は、その特徴量１００２の時間変化を調べることで、発光パターン１００３を特定する。そして復号部３３は、発光パターン１００３に対応するシンボルの値を復号する。
【００６１】
分割部３１は、各画像を複数の部分領域に分割する。例えば、分割部３１は、各画像を、水平方向及び垂直方向に、それぞれ２〜４分割してもよい。また分割部３１は、複数の分割方法で各画像を分割してもよい。例えば、分割部３１は、各画像を、水平方向及び垂直方向のそれぞれについて２分割して、各画像について４個の部分領域を設定するとともに、各画像を、水平方向及び垂直方向のそれぞれについて３分割して、各画像について９個の部分領域を設定してもよい。これにより、何れかの部分領域において送信装置１からの光で照明された物体が表された領域、あるいは送信装置１の照明部１４そのものが部分領域の大部分を占めるように、部分領域を設定できる確率が高くなる。
分割部３１は、各画像の各部分領域を表す情報（例えば、部分領域間の境界の位置）を特徴抽出部３２へ渡す。
【００６２】
特徴抽出部３２は、各画像の各部分領域から、送信装置１の照明部１４から発した光の発光パターンに応じて時系列で変化する光の特性を表す特徴量を抽出する。例えば、時系列で変化する光の特性が単位時間当たりの光量である場合、特徴抽出部３２は、各部分領域の画素の輝度値の平均値あるいは中央値を特徴量として抽出する。また、時系列で変化する光の特性が発光色である場合、特徴抽出部３２は、各部分領域の各画素の値をYUV色空間またはHLS色空間の値に変換して、各画素の色成分（例えば、U成分、V成分、または色相）の平均値または中央値を特徴量として算出する。なお、撮像部２４により得られた画像の各画素の値がRGB色空間で表されている場合には、特徴抽出部３２は、画像の各画素の値をYUV色空間またはHLS色空間の値に変換することで、色成分の平均値または中央値を算出できる。なお、特徴量は上記の例に限られず、特徴抽出部３２は、発光パターンで変化する光の特性に応じて時系列で変化する様々な特徴量、例えば、部分領域内の輝度値または特定の色成分の総和、分散または標準偏差を特徴量として抽出してもよい。あるいはまた、特徴抽出部３２は、時間的に連続する２枚の画像間で同じ位置にある画素の画素値間の差分値の部分領域内の平均値を特徴量として抽出してもよい。
【００６３】
特徴抽出部３２は、各画像の部分領域ごとの特徴量を復号部３３に渡す。
【００６４】
復号部３３は、部分領域ごとに抽出された特徴量の時系列順での変化から発光パターンを特定し、その発光パターンに応じたシンボルの値を復号する。
【００６５】
上記のように、発光パターンに従って送信装置１の照明部１４から発した光の特性が周期的に変動している場合、送信装置１により照明された物体が写っている部分領域の特徴量の時間変動は、発光パターンの変動周期に応じた時間軸方向の周波数成分を持つ。例えば、上記のように、送信装置１からの光の特性が正弦波状に変動する場合、時間軸方向における特徴量の周波数成分には、その正弦波に対応する特定の周波数成分が含まれる。
【００６６】
そこで復号部３３は、一つのシンボルに対応する期間と同じ長さの着目期間に含まれる複数の画像について、同一の物体が写っている部分領域ごとに、時系列順にその部分領域から抽出された特徴量を並べて１次元ベクトルを作成する。なお、受信装置２が静止しており、かつ、受信装置２の撮影範囲内に静止している物体が存在する場合、複数の画像において同一の物体が写っている部分領域は、画像上の同じ位置にある部分領域とすることができる。そして復号部３３は、その１次元ベクトルをフーリエ変換する。そして復号部３３は、部分領域ごとに、得られた周波数成分から発光パターンの周期と同じ周波数のスペクトルを抽出する。
【００６７】
復号部３３は、部分領域のうち、抽出したスペクトルの振幅レベルが最大となる部分領域を選択する。あるいは、復号部３３は、抽出したスペクトルの振幅レベルが所定の閾値以上となる部分領域を選択してもよい。これにより、復号部３３は、送信装置１により照明された物体または送信装置１の照明部１４そのものが写っている部分領域を選択できる。そして復号部３３は、選択した部分領域について、抽出したスペクトルから、発光パターンに応じた値を持つ成分、例えば、着目期間内の所定時点（例えば、着目期間の開始時点または終了時点）における光の特性の周期的な変動の位相または振幅レベルを検出する。
【００６８】
なお、送信装置１がシンボルごとに設定する期間と、着目期間とがずれている可能性がある。そこで復号部３３は、時系列に沿って着目期間を１フレームずつずらしながら、上記の処理を行って、着目期間ごとに発光パターンに応じた値を持つ成分を検出する。この場合、着目期間と送信装置１がシンボルごとに設定する期間とが一致した場合に、その検出された成分の値が極値となるので、復号部３３は、その極値を、発光パターンに応じた値を持つ成分とすればよい。一旦、極値が得られれば、その極値に対応する着目期間が一つのシンボルに対応する期間と一致していると考えられるので、復号部３３は、その着目期間を基準として、以後の着目期間を設定すればよい。そして復号部３３は、着目期間ごとに、発光パターンに応じた値を持つ成分を検出する。
なお、復号部３３は、上記の方法以外の方法により、発光パターンを特定してもよい。例えば、復号部３３は、着目期間内で、時間的に隣接する画像間での特徴量の差分値を求め、その差分値により特徴量の増減を調べることで、発光パターンを特定してもよい。
【００６９】
復号部３３は、検出された成分を時系列順に並べる。復号部３３は、上記のように、プリアンブルとして、伝送される情報に所定のシンボル列（例えば、'01010101'）が含まれている場合、検出された成分の並びから、そのプリアンブルに相当するシンボル列と一致する部分を抽出する。そして復号部３３は、抽出した部分において検出された成分とシンボルの値が一致するように、検出された成分とシンボルの値を対応付ければよい。
あるいは、復号部３３は、伝送される情報にCRCといった誤り検出符号が含まれている場合、その誤り検出符号を利用してシンボルの誤りが最小となるように、検出された成分とシンボルの値を対応付けてもよい。
あるいはまた、復号部３３は、検出された成分とシンボルの値との対応関係を表す参照テーブルを参照して、検出された成分に応じたシンボルの値を求めてもよい。なお、その参照テーブルは、例えば、予め記憶部２２に記憶される。
【００７０】
復号部３３は、復号されたシンボルの値を所定の順序で並べることで、伝送された情報を復号する。そして制御部２６は、復号した情報を通信インターフェース部２１を介して他の装置へ出力する。あるいは、制御部２６は、復号した情報に応じた処理を実行する。例えば、復号した情報が所定のアプリケーションの起動を指示する情報であれば、制御部２６は、そのアプリケーションを起動する。あるいは、制御部２６は、復号した情報をユーザインターフェース部２５に表示させてもよい。
【００７１】
図１１は、受信装置２により実行される受信処理の動作フローチャートである。
制御部２６の分割部３１は、各画像を複数の部分領域に分割する（ステップＳ２０１）。そして制御部２６の特徴抽出部３２は、部分領域ごとに発光パターンで変化する光の特性を表す特徴量を抽出する（ステップＳ２０２）。
【００７２】
復号部３３は、一つのシンボルに相当する期間に含まれる複数の画像の組を含む期間ごとに、同じ位置の部分領域の特徴量を周波数解析して発光パターンの周期を持つスペクトルを検出する（ステップＳ２０３）。そして復号部３３は、その期間ごとに、検出したスペクトルから発光パターンに対応するシンボルの値を復号して、伝送された情報を復号する（ステップＳ２０４）。そして制御部２６は、受信処理を終了する。
【００７３】
以上に説明してきたように、この通信システムは、送信装置が発する光に情報を重畳して受信装置へ伝送することができる。そしてこの通信システムでは、時系列に変化する発光パターンをシンボルの値に応じて異ならせることで、送信装置が発する光に情報を重畳する。そのため、受信装置は、送信装置が発した光を直接受光できなくても、その時系列に変化する発光パターンを検出することで情報を復号できる。またこの通信システムは、時間経過に対する送信装置が発する光の特性の変化を緩やかにしても情報を伝送できるので、光の特性の変化を人に感知され難くすることができる。
【００７４】
なお、受信装置は、撮像部を有する端末と、その端末と通信ネットワークを介して接続された他の装置、例えばサーバとを有していてもよい。この場合、端末は、画像を生成する度に、その画像を、端末を特定するための識別情報、例えば、その端末のIPアドレスとともに通信ネットワークを介してサーバへ送信してもよい。そしてサーバのプロセッサが、上記の実施形態による受信装置の制御部の各処理を実行して、送信装置から伝送された情報を復号してもよい。さらに、サーバは、復号した情報を、端末を特定するための識別情報を参照して、その端末へ返送してもよい。
あるいは、端末が有するプロセッサは、画像を生成する度に、その画像に対して分割部３１の処理と特徴抽出部３２の処理を行って、部分領域ごとの特徴量を抽出してもよいい。そして端末は、各画像から抽出された部分領域ごとの特徴量を、端末を特定するための識別情報とともに通信ネットワークを介してサーバへ送信してもよい。そしてサーバのプロセッサは、上記の実施形態による受信装置の復号部３３の処理を実行して、送信装置から伝送された情報を復号してもよい。
【００７５】
また、他の変形例によれば、受信装置が携帯型の装置である場合、送信装置によって照明されている物体が静止していても、受信装置自身の移動によって画像上での物体の位置が時間経過とともに移動することがある。そこで受信装置の制御部は、オプティカルフローなどを利用してトラッキング処理を行い、時系列に沿って並んだ複数の画像間で同じ物体が写っている部分領域を特定してもよい。そして受信装置の制御部は、着目期間内の各画像の同じ物体が写っている部分領域から抽出された特徴量を用いて復号部の処理を実行してもよい。また、送信装置により照明される物体が移動物体である可能性がある場合についても、同様に、受信装置の制御部は、トラッキング処理により特定された同じ物体が写っている部分領域から抽出された特徴量を用いて復号部の処理を実行してもよい。
これにより、受信装置と送信装置により照明された物体とが相対的に移動する場合でも、受信装置は、送信装置から伝送された情報を正確に復号できる。
【００７６】
さらに他の変形例によれば、送信装置の照明部から発した光が照射される物体が受信装置の撮像部により生成される画像上に写る領域の面積が所定の面積以上となることが想定される場合、受信装置において分割部の処理は省略されてもよい。なお、所定の面積は、例えば、画像サイズの半分とすることができる。この場合には、特徴抽出部は、画像全体から特徴量を抽出すればよい。
【００７７】
さらに、上記の各実施形態による送信装置の制御部が有する各機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。同様に、上記の実施形態による受信装置の制御部が有する各機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。
【００７８】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【符号の説明】
【００７９】
１００    通信システム
１    送信装置
１１    通信インターフェース部
１２    記憶部
１３    記憶媒体アクセス装置
１４    照明部
１５    制御部
１６    記憶媒体
２    受信装置
２１    通信インターフェース部
２２    記憶部
２３    記憶媒体アクセス装置
２４    撮像部
２５    ユーザインターフェース部
２６    制御部
２７    記憶媒体
【図１】
2018107824.tif 000003
【図２】
2018107824.tif 000004
【図３】
2018107824.tif 000005
【図４】
2018107824.tif 000006
【図５】
2018107824.tif 000007
【図６】
2018107824.tif 000008
【図７】
2018107824.tif 000009
【図８】
2018107824.tif 000010
【図９】
2018107824.tif 000011
【図１０】
2018107824.tif 000012
【図１１】
2018107824.tif 000013