(57)【要約】  ユーザに有益な画像を表示することが可能な表示方法を提供する。表示方法は、表示装置が画像を表示する表示方法であって、イメージセンサが被写体を撮像することによって撮像表示画像および復号用画像を取得し（ＳＬ１１）、その復号用画像に対する復号によって光ＩＤを取得し（ＳＬ１２）、光ＩＤをサーバに送信し（ＳＬ１３）、その光ＩＤに対応するＡＲ画像と認識情報とをサーバから取得し（ＳＬ１４）、撮像表示画像のうち、認識情報に応じた領域を対象領域として認識し（ＳＬ１５）、その対象領域にＡＲ画像が重畳された撮像表示画像を表示する（ＳＬ１６）。
2017104666.tif 000002
【特許請求の範囲】
【請求項１】
表示装置が画像を表示する表示方法であって、
イメージセンサが被写体を撮像することによって撮像表示画像および復号用画像を取得し、
前記復号用画像に対する復号によって光識別情報を取得し、
前記光識別情報をサーバに送信し、
前記光識別情報に対応する拡張現実画像と認識情報とをサーバから取得し、
前記撮像表示画像のうち、前記認識情報に応じた領域を対象領域として認識し、
前記対象領域に前記拡張現実画像が重畳された前記撮像表示画像を表示する
表示方法。
【請求項２】
前記認識情報は、
前記撮像表示画像のうちの基準領域を特定するための基準情報と、前記基準領域に対する前記対象領域の相対位置を示す対象情報とを含み、
前記対象領域の認識では、
前記基準情報に基づいて前記撮像表示画像から前記基準領域を特定し、前記撮像表示画像のうち、前記基準領域の位置を基準として前記対象情報により示される前記相対位置にある領域を、前記対象領域として認識する
請求項１に記載の表示方法。
【請求項３】
前記基準情報は、
前記撮像表示画像における前記基準領域の位置が、前記復号用画像における、前記イメージセンサが有する複数の露光ラインの露光によって現れる複数の輝線のパターンからなる輝線パターン領域の位置と同じであることを示す
請求項２に記載の表示方法。
【請求項４】
前記基準情報は、
前記撮像表示画像における前記基準領域が、前記撮像表示画像のうちのディスプレイが映し出されている領域であることを示す
請求項２に記載の表示方法。
【請求項５】
前記基準領域は、前記ディスプレイに表示されている画像における所定の色の外枠部分である
請求項４に記載の表示方法。
【請求項６】
前記撮像表示画像の表示では、
前記拡張現実画像である第１の拡張現実画像と異なる第２の拡張現実画像の表示を抑制しながら、予め定められた表示期間だけ、前記第１の拡張現実画像を表示する
請求項１に記載の表示方法。
【請求項７】
前記撮像表示画像の表示では、
前記表示期間には、新たに取得される復号用画像に対する復号を禁止する
請求項６に記載の表示方法。
【請求項８】
前記撮像表示画像の表示では、さらに、
前記表示期間において、前記表示装置の加速度を加速度センサによって計測し、
計測された前記加速度が閾値以上か否かを判定し、
前記閾値以上と判定したときには、前記第２の拡張現実画像の表示の抑制を解除することによって、前記第１の拡張現実画像の代わりに前記第２の拡張現実画像を表示する
請求項７に記載の表示方法。
【請求項９】
前記撮像表示画像の表示では、さらに、
前記表示装置に備えられたフェイスカメラによる撮像によって、前記表示装置にユーザ
の顔が近づいている否かを判定し、
前記顔が近づいていると判定すると、前記拡張現実画像である第１の拡張現実画像と異なる第２の拡張現実画像の表示を抑制しながら、前記第１の拡張現実画像を表示する
請求項１に記載の表示方法。
【請求項１０】
前記撮像表示画像の表示では、さらに、
加速度センサによって計測される前記表示装置の加速度によって、前記表示装置にユーザの顔が近づいている否かを判定し、
前記顔が近づいていると判定すると、前記拡張現実画像である第１の拡張現実画像と異なる第２の拡張現実画像の表示を抑制しながら、前記第１の拡張現実画像を表示する
請求項１に記載の表示方法。
【請求項１１】
前記撮像表示画像および前記復号用画像の取得では、
それぞれ画像を表示している複数のディスプレイを前記被写体として撮像することによって、前記撮像表示画像および前記復号用画像を取得し、
前記対象領域の認識では、
前記撮像表示画像のうち、前記複数のディスプレイのうちの前記光識別情報を送信しているディスプレイである送信ディスプレイが現れている領域を前記対象領域として認識し、
前記撮像表示画像の表示では、
前記送信ディスプレイに表示されている画像に対応する第１の字幕を前記拡張現実画像として前記対象領域に重畳し、さらに、
前記撮像表示画像のうちの前記対象領域よりも大きい領域に、前記第１の字幕が拡大された字幕である第２の字幕を重畳する
請求項１に記載の表示方法。
【請求項１２】
前記撮像表示画像の表示では、さらに、
前記サーバから取得される情報に、音声情報が含まれているか否かを判定し、
含まれていると判定したときには、前記第１および第２の字幕よりも、前記音声情報が示す音声を優先して出力する
請求項１１に記載の表示方法。
【請求項１３】
画像を表示する表示装置であって、
被写体を撮像することによって撮像表示画像および復号用画像を取得するイメージセンサと、
前記復号用画像に対する復号によって光識別情報を取得する復号部と、
前記光識別情報をサーバに送信する送信部と、
前記光識別情報に対応する拡張現実画像と認識情報とをサーバから取得する取得部と、
前記撮像表示画像のうち、前記認識情報に応じた領域を対象領域として認識する認識部と、
前記対象領域に前記拡張現実画像が重畳された前記撮像表示画像を表示する表示部と
を備える表示装置。
【請求項１４】
表示装置が画像を表示するためのプログラムであって、
イメージセンサに被写体を撮像させることによって撮像表示画像および復号用画像を取得し、
前記復号用画像に対する復号によって光識別情報を取得し、
前記光識別情報をサーバに送信し、
前記光識別情報に対応する拡張現実画像と認識情報とをサーバから取得し、
前記撮像表示画像のうち、前記認識情報に応じた領域を対象領域として認識し、
前記対象領域に前記拡張現実画像が重畳された前記撮像表示画像をディスプレイに表示する、
ことをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示方法、表示装置および記録媒体などに関する。
【背景技術】
【０００２】
近年のホームネットワークでは、Ｅｔｈｅｒｎｅｔ（登録商標）や無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）でのＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）接続によるＡＶ家電の連携に加え、環境問題に対応した電力使用量の管理や、宅外からの電源ＯＮ／ＯＦＦといった機能を持つホームエネルギーマネジメントシステム（ＨＥＭＳ）によって、多様な家電機器がネットワークに接続される家電連携機能の導入が進んでいる。しかしながら、通信機能を有するには、演算力が十分ではない家電や、コスト面で通信機能の搭載が難しい家電などもある。【０００３】
このような問題を解決するため、特許文献１では、光を用いて自由空間に情報を伝達する光空間伝送装置において、照明光の単色光源を複数用いた通信を行うことで、限られた送信装置のなかで、効率的に機器間の通信を実現する技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−２９０３３５号公報
【発明の概要】
【０００５】
しかしながら、前記従来の方式では、適用される機器が照明のような３色光源を持つ場合に限定される。また、送信された情報を受信する受信機は、ユーザに有益な画像を表示することができない。
【０００６】
本発明は、このような課題を解決し、ユーザに有益な画像を表示することが可能な表示方法などを提供する。
【０００７】
本発明の一形態に係る表示方法は、表示装置が画像を表示する表示方法であって、イメージセンサが被写体を撮像することによって撮像表示画像および復号用画像を取得し、前記復号用画像に対する復号によって光識別情報を取得し、前記光識別情報をサーバに送信し、前記光識別情報に対応する拡張現実画像と認識情報とをサーバから取得し、前記撮像表示画像のうち、前記認識情報に応じた領域を対象領域として認識し、前記対象領域に前記拡張現実画像が重畳された前記撮像表示画像を表示する。
【０００８】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。また、一実施形態に関わる方法を実行するコンピュータプログラムがサーバの記録媒体に保存されており、端末の要求に応じて、サーバから端末に配信する態様で実現されてもよい。
【０００９】
本発明によれば、ユーザに有益な画像を表示することが可能な表示方法を実現できる。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施の形態１における発光部の輝度の観測方法の一例を示す図である。
【図２】図２は、実施の形態１における発光部の輝度の観測方法の一例を示す図である。
【図３】図３は、実施の形態１における発光部の輝度の観測方法の一例を示す図である。
【図４】図４は、実施の形態１における発光部の輝度の観測方法の一例を示す図である。
【図５Ａ】図５Ａは、実施の形態１における発光部の輝度の観測方法の一例を示す図である。
【図５Ｂ】図５Ｂは、実施の形態１における発光部の輝度の観測方法の一例を示す図である。
【図５Ｃ】図５Ｃは、実施の形態１における発光部の輝度の観測方法の一例を示す図である。
【図５Ｄ】図５Ｄは、実施の形態１における発光部の輝度の観測方法の一例を示す図である。
【図５Ｅ】図５Ｅは、実施の形態１における発光部の輝度の観測方法の一例を示す図である。
【図５Ｆ】図５Ｆは、実施の形態１における発光部の輝度の観測方法の一例を示す図である。
【図５Ｇ】図５Ｇは、実施の形態１における発光部の輝度の観測方法の一例を示す図である。
【図５Ｈ】図５Ｈは、実施の形態１における発光部の輝度の観測方法の一例を示す図である。
【図６Ａ】図６Ａは、実施の形態１における情報通信方法のフローチャートである。
【図６Ｂ】図６Ｂは、実施の形態１における情報通信装置のブロック図である。
【図７】図７は、実施の形態２における受信機の撮影動作の一例を示す図である。
【図８】図８は、実施の形態２における受信機の撮影動作の他の例を示す図である。
【図９】図９は、実施の形態２における受信機の撮影動作の他の例を示す図である。
【図１０】図１０は、実施の形態２における受信機の表示動作の一例を示す図である。
【図１１】図１１は、実施の形態２における受信機の表示動作の一例を示す図である。
【図１２】図１２は、実施の形態２における受信機の動作の一例を示す図である。
【図１３】図１３は、実施の形態２における受信機の動作の他の例を示す図である。
【図１４】図１４は、実施の形態２における受信機の動作の他の例を示す図である。
【図１５】図１５は、実施の形態２における受信機の動作の他の例を示す図である。
【図１６】図１６は、実施の形態２における受信機の動作の他の例を示す図である。
【図１７】図１７は、実施の形態２における受信機の動作の他の例を示す図である。
【図１８】図１８は、実施の形態２における受信機と送信機とサーバとの動作の一例を示す図である。
【図１９】図１９は、実施の形態２における受信機の動作の他の例を示す図である。
【図２０】図２０は、実施の形態２における受信機の動作の他の例を示す図である。
【図２１】図２１は、実施の形態２における受信機の動作の他の例を示す図である。
【図２２】図２２は、実施の形態２における送信機の動作の一例を示す図である。
【図２３】図２３は、実施の形態２における送信機の動作の他の例を示す図である。
【図２４】図２４は、実施の形態２における受信機の応用例を示す図である。
【図２５】図２５は、実施の形態２における受信機の動作の他の例を示す図である。
【図２６】図２６は、実施の形態３における受信機、送信機およびサーバの処理動作の一例を示す図である。
【図２７】図２７は、実施の形態３における送信機および受信機の動作の一例を示す図である。
【図２８】図２８は、実施の形態３における送信機、受信機およびサーバの動作の一例を示す図である。
【図２９】図２９は、実施の形態３における送信機および受信機の動作の一例を示す図である。
【図３０】図３０は、実施の形態４における送信機および受信機の動作の一例を示す図である。
【図３１】図３１は、実施の形態４における送信機および受信機の動作の一例を示す図である。
【図３２】図３２は、実施の形態４における送信機および受信機の動作の一例を示す図である。
【図３３】図３３は、実施の形態４における送信機および受信機の動作の一例を示す図である。
【図３４】図３４は、実施の形態４における送信機および受信機の動作の一例を示す図である。
【図３５】図３５は、実施の形態４における送信機および受信機の動作の一例を示す図である。
【図３６】図３６は、実施の形態４における送信機および受信機の動作の一例を示す図である。
【図３７】図３７は、実施の形態５における人間への可視光通信の通知を説明するための図である。
【図３８】図３８は、実施の形態５における道案内への応用例を説明するための図である。
【図３９】図３９は、実施の形態５における利用ログ蓄積と解析への応用例を説明するための図である。
【図４０】図４０は、実施の形態５における画面共有への応用例を説明するための図である。
【図４１】図４１は、実施の形態５における情報通信方法の応用例を示す図である。
【図４２】図４２は、実施の形態６における送信機と受信機の適用例を示す図である。
【図４３】図４３は、実施の形態６における送信機および受信機の適用例を示す図である。
【図４４】図４４は、実施の形態７における受信機の一例を示す図である。
【図４５】図４５は、実施の形態７における受信システムの一例を示す図である。
【図４６】図４６は、実施の形態７における信号送受信システムの一例を示す図である。
【図４７】図４７は、実施の形態７における干渉を排除した受信方法を示すフローチャートである。
【図４８】図４８は、実施の形態７における送信機の方位の推定方法を示すフローチャートである。
【図４９】図４９は、実施の形態７における受信の開始方法を示すフローチャートである。
【図５０】図５０は、実施の形態７における他媒体の情報を併用したＩＤの生成方法を示すフローチャートである。
【図５１】図５１は、実施の形態７における周波数分離による受信方式の選択方法を示すフローチャートである。
【図５２】図５２は、実施の形態７における露光時間が長い場合の信号受信方法を示すフローチャートである。
【図５３】図５３は、実施の形態７における送信機の調光（明るさを調整すること）方法の一例を示す図である。
【図５４】図５４は、実施の形態７における送信機の調光機能を構成する方法の一例を示す図である。
【図５５】図５５は、ＥＸズームを説明するための図である。
【図５６】図５６は、実施の形態９における信号受信方法の一例を示す図である。
【図５７】図５７は、実施の形態９における信号受信方法の一例を示す図である。
【図５８】図５８は、実施の形態９における信号受信方法の一例を示す図である。
【図５９】図５９は、実施の形態９における受信機の画面表示方法の一例を示す図である。
【図６０】図６０は、実施の形態９における信号受信方法の一例を示す図である。
【図６１】図６１は、実施の形態９における信号受信方法の一例を示す図である。
【図６２】図６２は、実施の形態９における信号受信方法の一例を示すフローチャートである。
【図６３】図６３は、実施の形態９における信号受信方法の一例を示す図である。
【図６４】図６４は、実施の形態９における受信プログラムの処理を示すフローチャートである。
【図６５】図６５は、実施の形態９における受信装置のブロック図である。
【図６６】図６６は、可視光信号を受信したときの受信機の表示の一例を示す図である。
【図６７】図６７は、可視光信号を受信したときの受信機の表示の一例を示す図である。
【図６８】図６８は、取得データ画像の表示の一例を示す図である。
【図６９】図６９は、取得データを保存する、または、破棄する場合の操作の一例を示す図である。
【図７０】図７０は、取得データを閲覧する際の表示例を示す図である。
【図７１】図７１は、実施の形態９における送信機の一例を示す図である。
【図７２】図７２は、実施の形態９における受信方法の一例を示す図である。
【図７３】図７３は、実施の形態１０における受信方法の一例を示すフローチャートである。
【図７４】図７４は、実施の形態１０における受信方法の一例を示すフローチャートである。
【図７５】図７５は、実施の形態１０における受信方法の一例を示すフローチャートである。
【図７６】図７６は、実施の形態１０における受信機が、変調周波数の周期（変調周期）より長い露光時間を用いた受信方法を説明するための図である。
【図７７】図７７は、実施の形態１０における受信機が、変調周波数の周期（変調周期）より長い露光時間を用いた受信方法を説明するための図である。
【図７８】図７８は、実施の形態１０における送信データのサイズに対する効率的な分割数を示す図である。
【図７９Ａ】図７９Ａは、実施の形態１０における設定方法の一例を示す図である。
【図７９Ｂ】図７９Ｂは、実施の形態１０における設定方法の他の例を示す図である。
【図８０】図８０は、実施の形態１０における情報処理プログラムの処理を示すフローチャートである。
【図８１】図８１は、実施の形態１０における送受信システムの応用例を説明するための図である。
【図８２】図８２は、実施の形態１０における送受信システムの処理動作を示すフローチャートである。
【図８３】図８３は、実施の形態１０における送受信システムの応用例を説明するための図である。
【図８４】図８４は、実施の形態１０における送受信システムの処理動作を示すフローチャートである。
【図８５】図８５は、実施の形態１０における送受信システムの応用例を説明するための図である。
【図８６】図８６は、実施の形態１０における送受信システムの処理動作を示すフローチャートである。
【図８７】図８７は、実施の形態１０における送信機の応用例を説明するための図である。
【図８８】図８８は、実施の形態１１における送受信システムの応用例を説明するための図である。
【図８９】図８９は、実施の形態１１における送受信システムの応用例を説明するための図である。
【図９０】図９０は、実施の形態１１における送受信システムの応用例を説明するための図である。
【図９１】図９１は、実施の形態１１における送受信システムの応用例を説明するための図である。
【図９２】図９２は、実施の形態１１における送受信システムの応用例を説明するための図である。
【図９３】図９３は、実施の形態１１における送受信システムの応用例を説明するための図である。
【図９４】図９４は、実施の形態１１における送受信システムの応用例を説明するための図である。
【図９５】図９５は、実施の形態１１における送受信システムの応用例を説明するための図である。
【図９６】図９６は、実施の形態１１における送受信システムの応用例を説明するための図である。
【図９７】図９７は、実施の形態１１における送受信システムの応用例を説明するための図である。
【図９８】図９８は、実施の形態１１における送受信システムの応用例を説明するための図である。
【図９９】図９９は、実施の形態１１における送受信システムの応用例を説明するための図である。
【図１００】図１００は、実施の形態１１における送受信システムの応用例を説明するための図である。
【図１０１】図１０１は、実施の形態１１における送受信システムの応用例を説明するための図である。
【図１０２】図１０２は、実施の形態１２における受信機の動作を説明するための図である。
【図１０３Ａ】図１０３Ａは、実施の形態１２における受信機の他の動作を説明するための図である。
【図１０３Ｂ】図１０３Ｂは、実施の形態１２における出力部１２１５によって表示されるインジケータの例を示す図である。
【図１０３Ｃ】図１０３Ｃは、実施の形態１２におけるＡＲの表示例を示す図である。
【図１０４Ａ】図１０４Ａは、実施の形態１２における送信機の一例を説明するための図である。
【図１０４Ｂ】図１０４Ｂは、実施の形態１２における送信機の他の例を説明するための図である。
【図１０５Ａ】図１０５Ａは、実施の形態１２における複数の送信機による同期送信の一例を説明するための図である。
【図１０５Ｂ】図１０５Ｂは、実施の形態１２における複数の送信機による同期送信の他の例を説明するための図である。
【図１０６】図１０６は、実施の形態１２における複数の送信機による同期送信の他の例を説明するための図である。
【図１０７】図１０７は、実施の形態１２における送信機の信号処理を説明するための図である。
【図１０８】図１０８は、実施の形態１２における受信方法の一例を示すフローチャートである。
【図１０９】図１０９は、実施の形態１２における受信方法の一例を説明するための説明図である。
【図１１０】図１１０は、実施の形態１２における受信方法の他の例を示すフローチャートである。
【図１１１】図１１１は、実施の形態１３における送信信号の一例を示す図である。
【図１１２】図１１２は、実施の形態１３における送信信号の他の例を示す図である。
【図１１３】図１１３は、実施の形態１３における送信信号の他の例を示す図である。
【図１１４Ａ】図１１４Ａは、実施の形態１４における送信機を説明するための図である。
【図１１４Ｂ】図１１４Ｂは、実施の形態１４におけるＲＧＢのそれぞれの輝度変化を示す図である。
【図１１５】図１１５は、実施の形態１４における緑色蛍光成分および赤色蛍光成分の残光特性を示す図である。
【図１１６】図１１６は、実施の形態１４における、バーコードの読み取りエラーの発生を抑制するために新たに発生する課題を説明するための図である。
【図１１７】図１１７は、実施の形態１４における受信機で行われるダウンサンプリングを説明するための図である。
【図１１８】図１１８は、実施の形態１４における受信機の処理動作を示すフローチャートである。
【図１１９】図１１９は、実施の形態１５における受信装置（撮像装置）の処理動作を示す図である。
【図１２０】図１２０は、実施の形態１５における受信装置（撮像装置）の処理動作を示す図である。
【図１２１】図１２１は、実施の形態１５における受信装置（撮像装置）の処理動作を示す図である。
【図１２２】図１２２は、実施の形態１５における受信装置（撮像装置）の処理動作を示す図である。
【図１２３】図１２３は、実施の形態１６におけるアプリケーションの一例を示す図である。
【図１２４】図１２４は、実施の形態１６におけるアプリケーションの一例を示す図である。
【図１２５】図１２５は、実施の形態１６における送信信号の例と音声同期方法の例とを示す図である。
【図１２６】図１２６は、実施の形態１６における送信信号の例を示す図である。
【図１２７】図１２７は、実施の形態１６における受信機の処理フローの一例を示す図である。
【図１２８】図１２８は、実施の形態１６における受信機のユーザインタフェースの一例を示す図である。
【図１２９】図１２９は、実施の形態１６における受信機の処理フローの一例を示す図である。
【図１３０】図１３０は、実施の形態１６における受信機の処理フローの他の例を示す図である。
【図１３１Ａ】図１３１Ａは、実施の形態１６における同期再生の具体的な方法を説明するための図である。
【図１３１Ｂ】図１３１Ｂは、実施の形態１６における同期再生を行う再生装置（受信機）の構成を示すブロック図である。
【図１３１Ｃ】図１３１Ｃは、実施の形態１６における同期再生を行う再生装置（受信機）の処理動作を示すフローチャートである。
【図１３２】図１３２は、実施の形態１６における同期再生の事前準備を説明するための図である。
【図１３３】図１３３は、実施の形態１６における受信機の応用例を示す図である。
【図１３４Ａ】図１３４Ａは、実施の形態１６における、ホルダーに保持された受信機の正面図である。
【図１３４Ｂ】図１３４Ｂは、実施の形態１６における、ホルダーに保持された受信機の背面図である。
【図１３５】図１３５は、実施の形態１６における、ホルダーに保持された受信機のユースケースを説明するための図である。
【図１３６】図１３６は、実施の形態１６における、ホルダーに保持された受信機の処理動作を示すフローチャートである。
【図１３７】図１３７は、実施の形態１６における受信機によって表示される画像の一例を示す図である。
【図１３８】図１３８は、実施の形態１６におけるホルダーの他の例を示す図である。
【図１３９Ａ】図１３９Ａは、実施の形態１７における可視光信号の一例を示す図である。
【図１３９Ｂ】図１３９Ｂは、実施の形態１７における可視光信号の一例を示す図である。
【図１３９Ｃ】図１３９Ｃは、実施の形態１７における可視光信号の一例を示す図である。
【図１３９Ｄ】図１３９Ｄは、実施の形態１７における可視光信号の一例を示す図である。
【図１４０】図１４０は、実施の形態１７における可視光信号の構成を示す図である。
【図１４１】図１４１は、実施の形態１７における受信機の撮像によって得られる輝線画像の一例を示す図である。
【図１４２】図１４２は、実施の形態１７における受信機の撮像によって得られる輝線画像の他の例を示す図である。
【図１４３】図１４３は、実施の形態１７における受信機の撮像によって得られる輝線画像の他の例を示す図である。
【図１４４】図１４４は、実施の形態１７における受信機の、ＨＤＲ合成を行うカメラシステムへの適応を説明するための図である。
【図１４５】図１４５は、実施の形態１７における可視光通信システムの処理動作を説明するための図である。
【図１４６Ａ】図１４６Ａは、実施の形態１７における可視光を用いた車車間通信の一例を示す図である。
【図１４６Ｂ】図１４６Ｂは、実施の形態１７における可視光を用いた車車間通信の他の例を示す図である。
【図１４７】図１４７は、実施の形態１７における複数のＬＥＤの位置決定方法の一例を示す図である。
【図１４８】図１４８は、実施の形態１７における、車両を撮像することによって得られる輝線画像の一例を示す図である。
【図１４９】図１４９は、実施の形態１７における受信機と送信機の適用例を示す図である。なお、図１４９は自動車を後ろから見た図である。
【図１５０】図１５０は、実施の形態１７における受信機と送信機の処理動作の一例を示すフローチャートである。
【図１５１】図１５１は、実施の形態１７における受信機と送信機の適用例を示す図である。
【図１５２】図１５２は、実施の形態１７における受信機７００７ａと送信機７００７ｂの処理動作の一例を示すフローチャートである。
【図１５３】図１５３は、実施の形態１７における、電車の車内に適用される可視光通信システムの構成を示す図である。
【図１５４】図１５４は、実施の形態１７における、遊園地などの施設に適用される可視光通信システムの構成を示す図である。
【図１５５】図１５５は、実施の形態１７における、遊具とスマートフォンとからなる可視光通信システムの一例を示す図である。
【図１５６】図１５６は、実施の形態１８における送信信号の一例を示す図である。
【図１５７】図１５７は、実施の形態１８における送信信号の一例を示す図である。
【図１５８】図１５８は、実施の形態１９における送信信号の一例を示す図である。
【図１５９】図１５９は、実施の形態１９における送信信号の一例を示す図である。
【図１６０】図１６０は、実施の形態１９における送信信号の一例を示す図である。
【図１６１】図１６１は、実施の形態１９における送信信号の一例を示す図である。
【図１６２】図１６２は、実施の形態１９における送信信号の一例を示す図である。
【図１６３】図１６３は、実施の形態１９における送信信号の一例を示す図である。
【図１６４】図１６４は、実施の形態１９における送受信システムの一例を示す図である。
【図１６５】図１６５は、実施の形態１９における送受信システムの処理の一例を示すフローチャートである。
【図１６６】図１６６は、実施の形態１９におけるサーバの動作を示すフローチャートである。
【図１６７】図１６７は、実施の形態１９における受信機の動作の一例を示すフローチャートである。
【図１６８】図１６８は、実施の形態１９における簡易モードでの進捗状況の計算方法を示すフローチャートである。
【図１６９】図１６９は、実施の形態１９における最尤推定モードでの進捗状況の計算方法を示すフローチャートである。
【図１７０】図１７０は、実施の形態１９における進捗状況が減少しない表示方法を示すフローチャートである。
【図１７１】図１７１は、実施の形態１９における複数のパケット長がある場合の進捗状況の表示方法を示すフローチャートである。
【図１７２】図１７２は、実施の形態１９における受信機の動作状態の一例を示す図である。
【図１７３】図１７３は、実施の形態１９における送信信号の一例を示す図である。
【図１７４】図１７４は、実施の形態１９における送信信号の一例を示す図である。
【図１７５】図１７５は、実施の形態１９における送信信号の一例を示す図である。
【図１７６】図１７６は、実施の形態１９における送信機の一例を示すブロック図である。
【図１７７】図１７７は、実施の形態１９におけるＬＥＤディスプレイを本発明の光ＩＤ変調信号で駆動する場合のタイミングチャートを示す図である。
【図１７８】図１７８は、実施の形態１９におけるＬＥＤディスプレイを本発明の光ＩＤ変調信号で駆動する場合のタイミングチャートを示す図である。
【図１７９】図１７９は、実施の形態１９におけるＬＥＤディスプレイを本発明の光ＩＤ変調信号で駆動する場合のタイミングチャートを示す図である。
【図１８０Ａ】図１８０Ａは、本発明の一態様に係る送信方法を示すフローチャートである。
【図１８０Ｂ】図１８０Ｂは、本発明の一態様に係る送信装置の機能構成を示すブロック図である。
【図１８１】図１８１は、実施の形態１９における送信信号の一例を示す図である。
【図１８２】図１８２は、実施の形態１９における送信信号の一例を示す図である。
【図１８３】図１８３は、実施の形態１９における送信信号の一例を示す図である。
【図１８４】図１８４は、実施の形態１９における送信信号の一例を示す図である。
【図１８５】図１８５は、実施の形態１９における送信信号の一例を示す図である。
【図１８６】図１８６は、実施の形態１９における送信信号の一例を示す図である。
【図１８７】図１８７は、実施の形態２０における可視光信号の構成の一例を示す図である。
【図１８８】図１８８は、実施の形態２０における可視光信号の詳細な構成の一例を示す図である。
【図１８９Ａ】図１８９Ａは、実施の形態２０における可視光信号の他の一例を示す図である。
【図１８９Ｂ】図１８９Ｂは、実施の形態２０における可視光信号の他の一例を示す図である。
【図１８９Ｃ】図１８９Ｃは、実施の形態２０における可視光信号の信号長を示す図である。
【図１９０】図１９０は、実施の形態２０における可視光信号と、規格ＩＥＣの可視光信号との輝度値の比較結果を示す図である。
【図１９１】図１９１は、実施の形態２０における可視光信号と、規格ＩＥＣの可視光信号との、画角に対する受信パケット数および信頼度の比較結果を示す図である。
【図１９２】図１９２は、実施の形態２０における可視光信号と、規格ＩＥＣの可視光信号との、ノイズに対する受信パケット数および信頼度の比較結果を示す図である。
【図１９３】図１９３は、実施の形態２０における可視光信号と、規格ＩＥＣの可視光信号との、受信側クロック誤差に対する受信パケット数および信頼度の比較結果を示す図である。
【図１９４】図１９４は、実施の形態２０における送信対象の信号の構成を示す図である。
【図１９５Ａ】図１９５Ａは、実施の形態２０における可視光信号の受信方法を示す図である。
【図１９５Ｂ】図１９５Ｂは、実施の形態２０における可視光信号の並び替えを示す図である。
【図１９６】図１９６は、実施の形態２０における可視光信号の他の例を示す図である。
【図１９７】図１９７は、実施の形態２０における可視光信号の詳細な構成の他の例を示す図である。
【図１９８】図１９８は、実施の形態２０における可視光信号の詳細な構成の他の例を示す図である。
【図１９９】図１９９は、実施の形態２０における可視光信号の詳細な構成の他の例を示す図である。
【図２００】図２００は、実施の形態２０における可視光信号の詳細な構成の他の例を示す図である。
【図２０１】図２０１は、実施の形態２０における可視光信号の詳細な構成の他の例を示す図である。
【図２０２】図２０２は、実施の形態２０における可視光信号の詳細な構成の他の例を示す図である。
【図２０３】図２０３は、図１９７のｘ１〜ｘ４の値を決定する方法を説明するための図である。
【図２０４】図２０４は、図１９７のｘ１〜ｘ４の値を決定する方法を説明するための図である。
【図２０５】図２０５は、図１９７のｘ１〜ｘ４の値を決定する方法を説明するための図である。
【図２０６】図２０６は、図１９７のｘ１〜ｘ４の値を決定する方法を説明するための図である。
【図２０７】図２０７は、図１９７のｘ１〜ｘ４の値を決定する方法を説明するための図である。
【図２０８】図２０８は、図１９７のｘ１〜ｘ４の値を決定する方法を説明するための図である。
【図２０９】図２０９は、図１９７のｘ１〜ｘ４の値を決定する方法を説明するための図である。
【図２１０】図２１０は、図１９７のｘ１〜ｘ４の値を決定する方法を説明するための図である。
【図２１１】図２１１は、図１９７のｘ１〜ｘ４の値を決定する方法を説明するための図である。
【図２１２】図２１２は、実施の形態２０の変形例１に係る可視光信号の詳細な構成の一例を示す図である。
【図２１３】図２１３は、実施の形態２０の変形例１に係る可視光信号の他の例を示す図である。
【図２１４】図２１４は、実施の形態２０の変形例１に係る可視光信号のさらに他の例を示す図である。
【図２１５】図２１５は、実施の形態２０の変形例１に係るパケット変調の一例を示す図である。
【図２１６】図２１６は、実施の形態２０の変形例１に係る、元データを１分割する処理を示す図である。
【図２１７】図２１７は、実施の形態２０の変形例１に係る、元データを２分割する処理を示す図である。
【図２１８】図２１８は、実施の形態２０の変形例１に係る、元データを３分割にする処理を示す図である。
【図２１９】図２１９は、実施の形態２０の変形例１に係る、元データを３分割にする処理の他の例を示す図である。
【図２２０】図２２０は、実施の形態２０の変形例１に係る、元データを３分割にする処理の他の例を示す図である。
【図２２１】図２２１は、実施の形態２０の変形例１に係る、元データを４分割にする処理を示す図である。
【図２２２】図２２２は、実施の形態２０の変形例１に係る、元データを５分割にする処理を示す図である。
【図２２３】図２２３は、実施の形態２０の変形例１に係る、元データを６、７または８分割にする処理を示す図である。
【図２２４】図２２４は、実施の形態２０の変形例１に係る、元データを６、７または８分割にする処理の他の例を示す図である。
【図２２５】図２２５は、実施の形態２０の変形例１に係る、元データを９分割にする処理を示す図である。
【図２２６】図２２６は、実施の形態２０の変形例１に係る、元データを１０〜１６の何れか数に分割する処理を示す図である。
【図２２７】図２２７は、実施の形態２０の変形例１に係る、元データの分割数と、データサイズと、誤り訂正符号との関係の一例を示す図である。
【図２２８】図２２８は、実施の形態２０の変形例１に係る、元データの分割数と、データサイズと、誤り訂正符号との関係の他の例を示す図である。
【図２２９】図２２９は、実施の形態２０の変形例１に係る、元データの分割数と、データサイズと、誤り訂正符号との関係のさらに他の例を示す図である。
【図２３０Ａ】図２３０Ａは、実施の形態２０における可視光信号の生成方法を示すフローチャートである。
【図２３０Ｂ】図２３０Ｂは、実施の形態２０における信号生成装置の構成を示すブロック図である。
【図２３１】図２３１は、実施の形態２１における高周波可視光信号を受信する方法を示す図である。
【図２３２Ａ】図２３２Ａは、実施の形態２１における高周波可視光信号を受信する他の方法を示す図である。
【図２３２Ｂ】図２３２Ｂは、実施の形態２１における高周波可視光信号を受信する他の方法を示す図である。
【図２３３】図２３３は、実施の形態２１における高周波信号を出力する方法を示す図である。
【図２３４】図２３４は、実施の形態２２における自律飛行装置を説明するための図である。
【図２３５】図２３５は、実施の形態２３における受信機がＡＲ画像を表示する例を示す図である。
【図２３６】図２３６は、実施の形態２３における表示システムの一例を示す図である。
【図２３７】図２３７は、実施の形態２３における表示システムの他の例を示す図である。
【図２３８】図２３８は、実施の形態２３における表示システムの他の例を示す図である。
【図２３９】図２３９は、実施の形態２３における受信機の処理動作の一例を示すフローチャートである。
【図２４０】図２４０は、実施の形態２３における受信機がＡＲ画像を表示する他の例を示す図である。
【図２４１】図２４１は、実施の形態２３における受信機がＡＲ画像を表示する他の例を示す図である。
【図２４２】図２４２は、実施の形態２３における受信機がＡＲ画像を表示する他の例を示す図である。
【図２４３】図２４３は、実施の形態２３における受信機がＡＲ画像を表示する他の例を示す図である。
【図２４４】図２４４は、実施の形態２３における受信機がＡＲ画像を表示する他の例を示す図である。
【図２４５】図２４５は、実施の形態２３における受信機がＡＲ画像を表示する他の例を示す図である。
【図２４６】図２４６は、実施の形態２３における受信機の処理動作の他の例を示すフローチャートである。
【図２４７】図２４７は、実施の形態２３における受信機がＡＲ画像を表示する他の例を示す図である。
【図２４８】図２４８は、実施の形態２３における受信機の撮像によって取得される撮像表示画像Ｐｐｒｅおよび復号用画像Ｐｄｅｃを示す図である。
【図２４９】図２４９は、実施の形態２３における受信機に表示される撮像表示画像Ｐｐｒｅの一例を示す図である。
【図２５０】図２５０は、実施の形態２３における受信機の処理動作の他の例を示すフローチャートである。
【図２５１】図２５１は、実施の形態２３における受信機がＡＲ画像を表示する他の例を示す図である。
【図２５２】図２５２は、実施の形態２３における受信機がＡＲ画像を表示する他の例を示す図である。
【図２５３】図２５３は、実施の形態２３における受信機がＡＲ画像を表示する他の例を示す図である。
【図２５４】図２５４は、実施の形態２３における受信機がＡＲ画像を表示する他の例を示す図である。
【図２５５】図２５５は、実施の形態２３における認識情報の一例を示す図である。
【図２５６】図２５６は、実施の形態２３における受信機の処理動作の他の例を示すフローチャートである。
【図２５７】図２５７は、実施の形態２３における受信機が輝線パターン領域を識別する一例を示す図である。
【図２５８】図２５８は、実施の形態２３における受信機の他の例を示す図である。
【図２５９】図２５９は、実施の形態２３における受信機の処理動作の他の例を示すフローチャートである。
【図２６０】図２６０は、実施の形態２３における複数の送信機を含む送信システムの一例を示す図である。
【図２６１】図２６１は、実施の形態２３における複数の送信機および受信機を含む送信システムの一例を示す図である。
【図２６２Ａ】図２６２Ａは、実施の形態２３における受信機の処理動作の一例を示すフローチャートである。
【図２６２Ｂ】図２６２Ｂは、実施の形態２３における受信機の処理動作の一例を示すフローチャートである。
【図２６３Ａ】図２６３Ａは、実施の形態２３における表示方法を示すフローチャートである。
【図２６３Ｂ】図２６３Ｂは、実施の形態２３における表示装置の構成を示すブロック図である。
【図２６４】図２６４は、実施の形態２３の変形例１における受信機がＡＲ画像を表示する例を示す図である。
【図２６５】図２６５は、実施の形態２３の変形例１における受信機２００がＡＲ画像を表示する他の例を示す図である。
【図２６６】図２６６は、実施の形態２３の変形例１における受信機２００がＡＲ画像を表示する他の例を示す図である。
【図２６７】図２６７は、実施の形態２３の変形例１における受信機２００がＡＲ画像を表示する他の例を示す図である。
【図２６８】図２６８は、実施の形態２３の変形例１における受信機２００の他の例を示す図である。
【図２６９】図２６９は、実施の形態２３の変形例１における受信機２００がＡＲ画像を表示する他の例を示す図である。
【図２７０】図２７０は、実施の形態２３の変形例１における受信機２００がＡＲ画像を表示する他の例を示す図である。
【図２７１】図２７１は、実施の形態２３の変形例１における受信機２００の処理動作の一例を示すフローチャートである。
【図２７２】図２７２は、実施の形態２３またはその変形例１における受信機において想定されるＡＲ画像を表示するときの課題の一例を示す図である。
【図２７３】図２７３は、実施の形態２３の変形例２における受信機がＡＲ画像を表示する例を示す図である。
【図２７４】図２７４は、実施の形態２３の変形例２における受信機の処理動作の一例を示すフローチャートである。
【図２７５】図２７５は、実施の形態２３の変形例２における受信機がＡＲ画像を表示する他の例を示す図である。
【図２７６】図２７６は、実施の形態２３の変形例２における受信機の処理動作の他の例を示すフローチャートである。
【図２７７】図２７７は、実施の形態２３の変形例２における受信機がＡＲ画像を表示する他の例を示す図である。
【図２７８】図２７８は、実施の形態２３の変形例２における受信機がＡＲ画像を表示する他の例を示す図である。
【図２７９】図２７９は、実施の形態２３の変形例２における受信機がＡＲ画像を表示する他の例を示す図である。
【図２８０】図２８０は、実施の形態２３の変形例２における受信機がＡＲ画像を表示する他の例を示す図である。
【図２８１Ａ】図２８１Ａは、本発明の一態様に係る表示方法を示すフローチャートである。
【図２８１Ｂ】図２８１Ｂは、本発明の一態様に係る表示装置の構成を示すブロック図である。
【図２８２】図２８２は、実施の形態２３の変形例３におけるＡＲ画像の拡大および移動の一例を示す図である。
【図２８３】図２８３は、実施の形態２３の変形例３におけるＡＲ画像の拡大の一例を示す図である。
【図２８４】図２８４は、実施の形態２３の変形例３における受信機によるＡＲ画像の拡大および移動に関する処理動作の一例を示すフローチャートである。
【図２８５】図２８５は、実施の形態２３の変形例３におけるＡＲ画像の重畳の一例を示す図である。
【図２８６】図２８６は、実施の形態２３の変形例３におけるＡＲ画像の重畳の一例を示す図である。
【図２８７】図２８７は、実施の形態２３の変形例３におけるＡＲ画像の重畳の一例を示す図である。
【図２８８】図２８８は、実施の形態２３の変形例３におけるＡＲ画像の重畳の一例を示す図である。
【図２８９Ａ】図２８９Ａは、実施の形態２３の変形例３における受信機による撮像によって得られる撮像表示画像の一例を示す図である。
【図２８９Ｂ】図２８９Ｂは、実施の形態２３の変形例３における受信機のディスプレイに表示されるメニュー画面の一例を示す図である。
【図２９０】図２９０は、実施の形態２３の変形例３における受信機とサーバとの処理動作の一例を示すフローチャートである。
【図２９１】図２９１は、実施の形態２３の変形例３における受信機によって再生される音声の音量を説明するための図である。
【図２９２】図２９２は、実施の形態２３の変形例３における受信機から送信機までの距離と音量との関係を示す図である。
【図２９３】図２９３は、実施の形態２３の変形例３における受信機によるＡＲ画像の重畳の一例を示す図である。
【図２９４】図２９４は、実施の形態２３の変形例３における受信機によるＡＲ画像の重畳の一例を示す図である。
【図２９５】図２９５は、実施の形態２３の変形例３における受信機によるラインスキャン時間の求め方の一例を説明するための図である。
【図２９６】図２９６は、実施の形態２３の変形例３における受信機によるラインスキャン時間の求め方の一例を説明するための図である。
【図２９７】図２９７は、実施の形態２３の変形例３における受信機によるラインスキャン時間の求め方の一例を示すフローチャートである。
【図２９８】図２９８は、実施の形態２３の変形例３における受信機によるＡＲ画像の重畳の一例を示す図である。
【図２９９】図２９９は、実施の形態２３の変形例３における受信機によるＡＲ画像の重畳の一例を示す図である。
【図３００】図３００は、実施の形態２３の変形例３における受信機によるＡＲ画像の重畳の一例を示す図である。
【図３０１】図３０１は、実施の形態２３の変形例３における受信機の姿勢に応じて取得される復号用画像の一例を示す図である。
【図３０２】図３０２は、実施の形態２３の変形例３における受信機の姿勢に応じて取得される復号用画像の他の例を示す図である。
【図３０３】図３０３は、実施の形態２３の変形例３における受信機の処理動作の一例を示すフローチャートである。
【図３０４】図３０４は、実施の形態２３の変形例３における受信機によるカメラレンズの切り替え処理の一例を示す図である。
【図３０５】図３０５は、実施の形態２３の変形例３における受信機によるカメラの切り替え処理の一例を示す図である。
【図３０６】図３０６は、実施の形態２３の変形例３における受信機とサーバとの処理動作の一例を示すフローチャートである。
【図３０７】図３０７は、実施の形態２３の変形例３における受信機によるＡＲ画像の重畳の一例を示す図である。
【図３０８】図３０８は、実施の形態２３の変形例３における受信機、電子レンジ、中継サーバおよび電子決済用サーバを含むシステムの処理動作を示すシーケンス図である。
【図３０９】図３０９は、実施の形態２３の変形例３における、ＰＯＳ端末、サーバ、受信機２００および電子レンジを含むシステムの処理動作を示すシーケンス図である。
【図３１０】図３１０は、実施の形態２３の変形例３における屋内での利用の一例を示す図である。
【図３１１】図３１１は、実施の形態２３の変形例３における拡張現実オブジェクトの表示の一例を示す図である。
【発明を実施するための形態】
【００１１】
本発明の一態様に係る表示方法は、表示装置が画像を表示する表示方法であって、イメージセンサが被写体を撮像することによって撮像表示画像および復号用画像を取得し、前記復号用画像に対する復号によって光識別情報を取得し、前記光識別情報をサーバに送信し、前記光識別情報に対応する拡張現実画像と認識情報とをサーバから取得し、前記撮像表示画像のうち、前記認識情報に応じた領域を対象領域として認識し、前記対象領域に前記拡張現実画像が重畳された前記撮像表示画像を表示する。
【００１２】
これにより、拡張現実画像が撮像表示画像に重畳されて表示されるため、ユーザに有益な画像を表示することができる。さらに、処理負荷を抑えて適切な対象領域に拡張現実画像（すなわちＡＲ画像）を重畳することができる。
【００１３】
つまり、一般的な拡張現実では、予め保存されている膨大な数の認識対象画像と、撮像表示画像とを比較することによって、その撮像表示画像に何れかの認識対象画像が含まれているか否かが判定される。そして、認識対象画像が含まれていると判定されれば、その認識対象画像に対応する拡張現実画像が撮像表示画像に重畳される。このとき、認識対象画像を基準に拡張現実画像の位置合わせが行われる。このように、一般的な拡張現実では、膨大な数の認識対象画像と撮像表示画像とを比較するため、さらに、位置合わせにおいても撮像表示画像における認識対象画像の位置検出が必要となるため、計算量が多く、処理負荷が高いという問題がある。
【００１４】
しかし、本発明の一態様に係る表示方法では、図２３５〜図２６２Ｂ、図２６３Ａおよび図２６３Ｂに示すように、被写体の撮像によって得られる復号用画像を復号することによって光識別情報（すなわち光ＩＤ）が取得される。つまり、被写体である送信機から送信された光識別情報が受信される。さらに、この光識別情報に対応する拡張現実画像（すなわちＡＲ画像）と認識情報とがサーバから取得される。したがって、サーバでは、膨大な数の認識対象画像と撮像表示画像とを比較する必要がなく、光識別情報に予め対応付けられている拡張現実画像を選択して表示装置に送信することができる。これにより、計算量を減らして処理負荷を大幅に抑えることができる。
【００１５】
また、本発明の一態様に係る表示方法では、この光識別情報に対応する認識情報がサーバから取得される。認識情報は、撮像表示画像において拡張現実画像が重畳される領域である対象領域を認識するための情報である。この認識情報は、例えば白い四角形が対象領域であることを示す情報であってよい。この場合には、対象領域を簡単に認識することができ、処理負荷をさらに抑えることができる。つまり、認識情報の内容に応じて、処理負荷をさらに抑えることができる。また、サーバでは、光識別情報に応じてその認識情報の内容を任意に設定することができるため、処理負荷と認識精度とのバランスを適切に保つことができる。
【００１６】
また、前記認識情報は、前記撮像表示画像のうちの基準領域を特定するための基準情報と、前記基準領域に対する前記対象領域の相対位置を示す対象情報とを含み、前記対象領域の認識では、前記基準情報に基づいて前記撮像表示画像から前記基準領域を特定し、前記撮像表示画像のうち、前記基準領域の位置を基準として前記対象情報により示される前記相対位置にある領域を、前記対象領域として認識してもよい。
【００１７】
これにより、図２４４および図２４５に示すように、撮像表示画像において認識される対象領域の位置の自由度を広げることができる。
【００１８】
また、前記基準情報は、前記撮像表示画像における前記基準領域の位置が、前記復号用画像における、前記イメージセンサが有する複数の露光ラインの露光によって現れる複数の輝線のパターンからなる輝線パターン領域の位置と同じであることを示してもよい。
【００１９】
これにより、図２４４および図２４５に示すように、撮像表示画像における輝線パターン領域に対応する領域を基準にして対象領域を認識することができる。
【００２０】
また、前記基準情報は、前記撮像表示画像における前記基準領域が、前記撮像表示画像のうちのディスプレイが映し出されている領域であることを示してもよい。例えば、前記基準領域は、前記ディスプレイに表示されている画像における所定の色の外枠部分であってもよい。
【００２１】
これにより、図２３５に示すように、例えば駅名標をディスプレイとすれば、そのディスプレイが映し出されている領域を基準にして対象領域を認識することができる。また、ディスプレイに白色または黒色の外枠が表示されていれば、その外枠で囲まれた部分（すなわち外枠部分）を基準領域として用いることによって、対象領域を認識することができる。
【００２２】
また、前記撮像表示画像の表示では、前記拡張現実画像である第１の拡張現実画像と異なる第２の拡張現実画像の表示を抑制しながら、予め定められた表示期間だけ、前記第１の拡張現実画像を表示してもよい。
【００２３】
これにより、図２５０に示すように、ユーザが一度表示された第１の拡張現実画像を見ているときに、その第１の拡張現実画像がそれとは異なる第２の拡張現実画像にすぐに置き換わってしまうことを抑えることができる。
【００２４】
また、前記撮像表示画像の表示では、前記表示期間には、新たに取得される復号用画像に対する復号を禁止してもよい。
【００２５】
これにより、図２５０に示すように、新たに取得される復号用画像の復号は、第２の拡張現実画像の表示が抑制されているときには無駄な処理であるため、その復号を禁止することによって、消費電力を抑えることができる。
【００２６】
また、前記撮像表示画像の表示では、さらに、前記表示期間において、前記表示装置の加速度を加速度センサによって計測し、計測された前記加速度が閾値以上か否かを判定し、前記閾値以上と判定したときには、前記第２の拡張現実画像の表示の抑制を解除することによって、前記第１の拡張現実画像の代わりに前記第２の拡張現実画像を表示してもよい。
【００２７】
これにより、図２５０に示すように、閾値以上の表示装置の加速度が計測されたときに、第２の拡張現実画像の表示の抑制が解除される。したがって、例えば、ユーザが他の被写体にイメージセンサを向けようとして表示装置を大きく動かしたときには、第２の拡張現実画像を直ぐに表示することができる。
【００２８】
また、前記撮像表示画像の表示では、さらに、前記表示装置に備えられたフェイスカメラによる撮像によって、前記表示装置にユーザの顔が近づいている否かを判定し、前記顔が近づいていると判定すると、前記拡張現実画像である第１の拡張現実画像と異なる第２の拡張現実画像の表示を抑制しながら、前記第１の拡張現実画像を表示してもよい。または、前記撮像表示画像の表示では、さらに、加速度センサによって計測される前記表示装置の加速度によって、前記表示装置にユーザの顔が近づいている否かを判定し、前記顔が近づいていると判定すると、前記拡張現実画像である第１の拡張現実画像と異なる第２の拡張現実画像の表示を抑制しながら、前記第１の拡張現実画像を表示してもよい。
【００２９】
これにより、図２５０に示すように、ユーザが第１の拡張現実画像を見ようとして表示装置に顔を近づけているときに、その第１の拡張現実画像がそれとは異なる第２の拡張現実画像に置き換わってしまうことを抑えることができる。
【００３０】
また、前記撮像表示画像および前記復号用画像の取得では、それぞれ画像を表示している複数のディスプレイを前記被写体として撮像することによって、前記撮像表示画像および前記復号用画像を取得し、前記対象領域の認識では、前記撮像表示画像のうち、前記複数のディスプレイのうちの前記光識別情報を送信しているディスプレイである送信ディスプレイが現れている領域を前記対象領域として認識し、前記撮像表示画像の表示では、前記送信ディスプレイに表示されている画像に対応する第１の字幕を前記拡張現実画像として前記対象領域に重畳し、さらに、前記撮像表示画像のうちの前記対象領域よりも大きい領域に、前記第１の字幕が拡大された字幕である第２の字幕を重畳してもよい。
【００３１】
これにより、図２５４に示すように、送信ディスプレイの画像に第１の字幕が重畳されるため、その第１の字幕が複数のディスプレイのうちの何れのディスプレイの画像に対する字幕であるかを、ユーザに容易に把握させることができる。また、第１の字幕が拡大された字幕である第２の字幕も表示されるため、第１の字幕が小さくて読み難い場合であっても、第２の字幕の表示によって、字幕を読み易くすることができる。
【００３２】
また、前記撮像表示画像の表示では、さらに、前記サーバから取得される情報に、音声情報が含まれているか否かを判定し、含まれていると判定したときには、前記第１および第２の字幕よりも、前記音声情報が示す音声を優先して出力してもよい。
【００３３】
これにより、音声が優先的に出力されるため、ユーザが字幕を読む負担を軽減することができる。
【００３４】
また、前記表示方法は、さらに、前記光識別情報に対応するジェスチャ情報をサーバから取得し、周期的に取得される前記撮像表示画像によって示される前記被写体の動きが、前記サーバから取得された前記ジェスチャ情報によって示される動きと一致するか否かを判定し、一致すると判定されたときに、前記拡張現実画像が重畳された前記撮像表示画像を表示してもよい。
【００３５】
これにより、例えば図２９９および図３００に示すように、例えば人物などの被写体の動きに応じて拡張現実画像を表示することができる。つまり、適切なタイミングに拡張現実画像を表示することができる。
【００３６】
また、前記被写体は、照明装置を備えた電子レンジであって、前記照明装置は、電子レンジの庫内を照らし、かつ、輝度変化することによって前記光識別情報を前記電子レンジの外部に送信し、前記撮像表示画像および前記復号用画像の取得では、前記光識別情報を送信している前記電子レンジを撮像することによって前記撮像表示画像および前記復号用画像を取得し、前記対象領域の認識では、前記撮像表示画像に映し出されている前記電子レンジの窓部分を前記対象領域として認識し、前記撮像表示画像の表示では、前記庫内の状態変化を示す前記拡張現実画像が重畳された前記撮像表示画像を表示してもよい。
【００３７】
これにより、例えば図３０７に示すように、電子レンジの庫内の状態変化が拡張現実画像として表示されるため、電子レンジの利用者に庫内の様子を分かりやすく伝えることができる。
【００３８】
また、前記被写体は、光の輝度変化により信号を送信する送信機によりライトアップされている対象物であり、前記拡張現実画像は動画像であり、前記撮像表示画像の表示では、前記動画像に含まれる複数の画像のうちの何れかの画像であって、前記対象物を含む画像と、前記対象物を含む画像の表示時間で前後にある所定の数の複数の画像とのうちの、何れかの画像から、前記動画像を表示してもよい。例えば、前記所定の数は、１０フレームであってもよい。また、前記対象物は、静止画であり、前記撮像表示画像の表示では、前記静止画と同一の画像から、前記動画像を表示してもよい。
【００３９】
これにより、例えば図２６５に示すように、静止画が動き出すように仮想現実的に動画像を表示することができ、ユーザに有益な画像を表示することができる。
【００４０】
また、本発明の一態様に係る表示方法は、光の輝度変化により信号を送信する送信機によりライトアップされている対象物を被写体として撮像センサにより撮像することによって、撮像画像を取得する撮像ステップと、前記撮像画像から、前記信号を復号する復号ステップと、復号された前記信号に対応する動画像をメモリから読み出し、前記撮像画像中の前記被写体に対応する対象領域に、前記動画像を重畳させてディスプレイに表示する表示ステップとを有し、前記表示ステップでは、前記動画像に含まれる複数の画像のうちの何れかの画像であって、前記対象物を含む画像と、前記対象物を含む画像の表示時間で前後にある所定の数の複数の画像とのうちの、何れかの画像から、前記動画像を表示する。
【００４１】
例えば、前記対象物は、静止画であり、前記表示ステップでは、前記静止画と同一の画像から、前記動画像を表示してもよい。撮像センサおよび撮像画像は、例えば、実施の形態２３におけるイメージセンサおよび全撮像画像である。また、ライトアップされる静止画は、画像表示装置の表示パネルに表示される静止画像であってもよく、送信機からの光によって照らされるポスター、案内板、もしくは看板などであってもよい。
【００４２】
これにより、例えば図２６５に示すように、静止画が動き出すように仮想現実的に動画像を表示することができ、ユーザに有益な画像を表示することができる。
【００４３】
また、前記静止画は、所定の色の外枠を有し、前記表示方法は、さらに、前記所定の色により、前記撮像画像から前記対象領域を認識する認識ステップを含み、前記表示ステップでは、認識された前記対象領域のサイズと同一となるように、前記動画像をリサイズし、前記撮像画像中の前記対象領域に、リサイズされた前記動画像を重畳させて前記ディスプレイに表示してもよい。例えば、所定の色の外枠は、静止画を取り囲む白色または黒色の矩形枠であり、実施の形態２３における認識情報によって示される。そして、実施の形態２３におけるＡＲ画像が動画像としてリサイズされて重畳される。
【００４４】
これにより、動画像が被写体として実在するように、より現実的にその動画像を表示することができる。
【００４５】
なお、これらの包括的または具体的な態様は、装置、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【００４６】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【００４７】
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００４８】
（実施の形態１）
以下、実施の形態１について説明する。
【００４９】
（発光部の輝度の観測）
１枚の画像を撮像するとき、全ての撮像素子を同一のタイミングで露光させるのではなく、撮像素子ごとに異なる時刻に露光を開始・終了する撮像方法を提案する。図１は、１列に並んだ撮像素子は同時に露光させ、列が近い順に露光開始時刻をずらして撮像する場合の例である。ここでは、同時に露光する撮像素子の露光ラインと呼び、その撮像素子に対応する画像上の画素のラインを輝線と呼ぶ。
【００５０】
この撮像方法を用いて、点滅している光源を撮像素子の全面に写して撮像した場合、図２のように、撮像画像上に露光ラインに沿った輝線（画素値の明暗の線）が生じる。この輝線のパターンを認識することで、撮像フレームレートを上回る速度の光源輝度変化を推定することができる。これにより、信号を光源輝度の変化として送信することで、撮像フレームレート以上の速度での通信を行うことができる。光源が２種類の輝度値をとることで信号を表現する場合、低い方の輝度値をロー（ＬＯ），高い方の輝度値をハイ（ＨＩ）と呼ぶ。ローは光源が光っていない状態でも良いし、ハイよりも弱く光っていても良い。
【００５１】
この方法によって、撮像フレームレートを超える速度で情報の伝送を行う。
【００５２】
一枚の撮像画像中に、露光時間が重ならない露光ラインが２０ラインあり、撮像のフレームレートが３０ｆｐｓのときは、１．６７ミリ秒周期の輝度変化を認識できる。露光時間が重ならない露光ラインが１０００ラインある場合は、３万分の１秒（約３３マイクロ秒）周期の輝度変化を認識できる。なお、露光時間は例えば１０ミリ秒よりも短く設定される。
【００５３】
図２は、一つの露光ラインの露光が完了してから次の露光ラインの露光が開始される場合を示している。
【００５４】
この場合、１秒あたりのフレーム数（フレームレート）がｆ、１画像を構成する露光ライン数がｌのとき、各露光ラインが一定以上の光を受光しているかどうかで情報を伝送すると、最大でｆｌビット毎秒の速度で情報を伝送することができる。
【００５５】
なお、ラインごとではなく、画素ごとに時間差で露光を行う場合は、さらに高速で通信が可能である。
【００５６】
このとき、露光ラインあたりの画素数がｍ画素であり、各画素が一定以上の光を受光しているかどうかで情報を伝送する場合には、伝送速度は最大でｆｌｍビット毎秒となる。
【００５７】
図３のように、発光部の発光による各露光ラインの露光状態を複数のレベルで認識可能であれば、発光部の発光時間を各露光ラインの露光時間より短い単位の時間で制御することで、より多くの情報を伝送することができる。
【００５８】
露光状態をＥｌｖ段階で認識可能である場合には、最大でｆｌＥｌｖビット毎秒の速度で情報を伝送することができる。
【００５９】
また、各露光ラインの露光のタイミングと少しずつずらしたタイミングで発光部を発光させることで、発信の基本周期を認識することができる。
【００６０】
図４は、一つの露光ラインの露光が完了する前に次の露光ラインの露光が開始される場合を示している。即ち、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となっている。このような構成により、（１）一つの露光ラインの露光時間の終了を待って次の露光ラインの露光を開始する場合に比べ、所定の時間内におけるサンプル数を多くすることができる。所定時間内におけるサンプル数が多くなることにより、被写体である光送信機が発生する光信号をより適切に検出することが可能となる。即ち、光信号を検出する際のエラー率を低減することが可能となる。更に、（２）一つの露光ラインの露光時間の終了を待って次の露光ラインの露光を開始する場合に比べ、各露光ラインの露光時間を長くすることができるため、被写体が暗い場合であっても、より明るい画像を取得することが可能となる。即ち、Ｓ／Ｎ比を向上させることが可能となる。なお、全ての露光ラインにおいて、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持たない構成とすることも可能である。一部の露光ラインについて部分的に時間的な重なりを持たないように構成するにより、撮像画面上における露光時間の重なりによる中間色の発生を抑制でき、より適切に輝線を検出することが可能となる。
【００６１】
この場合は、各露光ラインの明るさから露光時間を算出し、発光部の発光の状態を認識する。
【００６２】
なお、各露光ラインの明るさを、輝度が閾値以上であるかどうかの２値で判別する場合には、発光していない状態を認識するために、発光部は発光していない状態を各ラインの露光時間以上の時間継続しなければならない。
【００６３】
図５Ａは、各露光ラインの露光開始時刻が等しい場合に、露光時間の違いによる影響を示している。７５００ａは前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であり、７５００ｂはそれより露光時間を長くとった場合である。７５００ｂのように、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成とすることにより、露光時間を長くとることが可能となる。即ち、撮像素子に入射する光が増大し、明るい画像を得ることができる。また、同一の明るさの画像を撮像するための撮像感度を低く抑えられることで、ノイズの少ない画像が得られるため、通信エラーが抑制される。
【００６４】
図５Ｂは、露光時間が等しい場合に、各露光ラインの露光開始時刻の違いによる影響を示している。７５０１ａは前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であり、７５０１ｂは前の露光ラインの露光終了より早く次の露光ラインの露光を開始する場合である。７５０１ｂのように、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成とすることにより、時間あたりに露光できるラインを増やすことが可能となる。これにより、より解像度が高くなり、多くの情報量が得られる。サンプル間隔（＝露光開始時刻の差）が密になることで、より正確に光源輝度の変化を推定することができ、エラー率が低減でき、更に、より短い時間における光源輝度の変化を認識することができる。露光時間に重なりを持たせることで、隣接する露光ラインの露光量の差を利用して、露光時間よりも短い光源の点滅を認識することができる。
【００６５】
また、上述のサンプル数が少ない場合、つまり、サンプル間隔（図５Ｂに示す時間差ｔＤ）が長いと、光源輝度の変化を正確に検出することができない可能性が高くなる。この場合には、露光時間を短くすることによって、その可能性を抑えることができる。つまり、光源輝度の変化を正確に検出することができる。また、露光時間は、露光時間＞（サンプル間隔−パルス幅）を満たすことが望ましい。パルス幅は、光源の輝度がＨｉｇｈになっている期間である光のパルス幅である。これにより、Ｈｉｇｈの輝度を適切に検出することができる。
【００６６】
図５Ａ、図５Ｂで説明したように、隣接する露光ラインの露光時間が、部分的に時間的な重なりをもつように、各露光ラインを順次露光する構成において、露光時間を通常撮影モードよりも短く設定することにより発生する輝線パターンを信号伝送に用いることにより通信速度を飛躍的に向上させることが可能になる。ここで、可視光通信時における露光時間を１／４８０秒以下に設定することにより適切な輝線パターンを発生させることが可能となる。ここで、露光時間は、フレーム周波数＝ｆとすると、露光時間＜１／８×ｆと設定する必要がある。撮影の際に発生するブランキングは、最大で１フレームの半分の大きさになる。即ち、ブランキング時間は、撮影時間の半分以下であるため、実際の撮影時間は、最も短い時間で１／２ｆとなる。更に、１／２ｆの時間内において、４値の情報を受ける必要があるため、少なくとも露光時間は、１／（２ｆ×４）よりも短くする必要が生じる。通常フレームレートは、６０フレーム／秒以下であることから、１／４８０秒以下の露光時間に設定することにより、適切な輝線パターンを画像データに発生させ、高速の信号伝送を行うことが可能となる。
【００６７】
図５Ｃは、各露光ラインの露光時間が重なっていない場合、露光時間が短い場合の利点を示している。露光時間が長い場合は、光源は７５０２ａのように２値の輝度変化をしていたとしても、撮像画像では７５０２ｅのように中間色の部分ができ、光源の輝度変化を認識することが難しくなる傾向がある。しかし、７５０２ｄのように、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間（所定の待ち時間）ｔＤ２を設ける構成とすることにより、光源の輝度変化を認識しやすくすることが可能となる。即ち、７５０２ｆのような、より適切な輝線パターンを検出することが可能となる。７５０２ｄのように、所定の露光しない空き時間を設ける構成は、露光時間ｔＥを各露光ラインの露光開始時刻の時間差ｔＤよりも小さくすることにより実現することが可能となる。通常撮影モードが、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成である場合において、露光時間を通常撮影モード時よりも、所定の露光しない空き時間が生じるまで短く設定することにより、実現することができる。また、通常撮影モードが、前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であっても、所定の露光しない時間が生じるまで露光時間を短く設定することにより、実現することができる。また、７５０２ｇのように、各露光ラインの露光開始時刻の間隔ｔＤを大きくすることによっても、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間（所定の待ち時間）ｔＤ２を設ける構成をとることができる。この構成では、露光時間を長くすることができるため、明るい画像を撮像することができ、ノイズが少なくなることからエラー耐性が高い。一方で、この構成では、一定時間内に露光できる露光ラインが少なくなるため、７５０２ｈのように、サンプル数が少なくなるという欠点があるため、状況によって使い分けることが望ましい。例えば、撮像対象が明るい場合には前者の構成を用い、暗い場合には後者の構成を用いることで、光源輝度変化の推定誤差を低減することができる。
【００６８】
なお、全ての露光ラインにおいて、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持たない構成とすることも可能である。また、全ての露光ラインにおいて、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間（所定の待ち時間）を設ける構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持つ構成とすることも可能である。このような構成とすることにより、それぞれの構成における利点を生かすことが可能となる。また、通常のフレームレート（３０ｆｐｓ、６０ｆｐｓ）にて撮影を行う通常撮影モードと、可視光通信を行う１／４８０秒以下の露光時間にて撮影を行う可視光通信モードとにおいて、同一の読み出し方法または回路にて信号の読み出しを行ってもよい。同一の読み出し方法または回路にて信号を読み出すことにより、通常撮影モードと、可視光通信モードとに対して、それぞれ別の回路を用いる必要がなくなり、回路規模を小さくすることが可能となる。
【００６９】
図５Ｄは、光源輝度の最小変化時間ｔＳと、露光時間ｔＥと、各露光ラインの露光開始時刻の時間差ｔＤと、撮像画像との関係を示している。ｔＥ＋ｔＤ＜ｔＳとした場合は、必ず一つ以上の露光ラインが露光の開始から終了まで光源が変化しない状態で撮像するため、７５０３ｄのように輝度がはっきりとした画像が得られ、光源の輝度変化を認識しやすい。２ｔＥ＞ｔＳとした場合は、光源の輝度変化とは異なるパターンの輝線が得られる場合があり、撮像画像から光源の輝度変化を認識することが難しくなる。
【００７０】
図５Ｅは、光源輝度の遷移時間ｔＴと、各露光ラインの露光開始時刻の時間差ｔＤとの関係を示している。ｔＴに比べてｔＤが大きいほど、中間色になる露光ラインが少なくなり、光源輝度の推定が容易になる。ｔＤ＞ｔＴのとき中間色の露光ラインは連続で２ライン以下になり、望ましい。ｔＴは、光源がＬＥＤの場合は１マイクロ秒以下、光源が有機ＥＬの場合は５マイクロ秒程度となるため、ｔＤを５マイクロ秒以上とすることで、光源輝度の推定を容易にすることができる。
【００７１】
図５Ｆは、光源輝度の高周波ノイズｔＨＴと、露光時間ｔＥとの関係を示している。ｔＨＴに比べてｔＥが大きいほど、撮像画像は高周波ノイズの影響が少なくなり、光源輝度の推定が容易になる。ｔＥがｔＨＴの整数倍のときは高周波ノイズの影響がなくなり、光源輝度の推定が最も容易になる。光源輝度の推定には、ｔＥ＞ｔＨＴであることが望ましい。高周波ノイズの主な原因はスイッチング電源回路に由来し、多くの電灯用のスイッチング電源ではｔＨＴは２０マイクロ秒以下であるため、ｔＥを２０マイクロ秒以上とすることで、光源輝度の推定を容易に行うことができる。
【００７２】
図５Ｇは、ｔＨＴが２０マイクロ秒の場合の、露光時間ｔＥと高周波ノイズの大きさとの関係を表すグラフである。ｔＨＴは光源によってばらつきがあることを考慮すると、グラフより、ｔＥは、ノイズ量が極大をとるときの値と等しくなる値である、１５マイクロ秒以上、または、３５マイクロ秒以上、または、５４マイクロ秒以上、または、７４マイクロ秒以上として定めると効率が良いことが確認できる。高周波ノイズ低減の観点からはｔＥは大きいほうが望ましいが、前述のとおり、ｔＥが小さいほど中間色部分が発生しづらくなるという点で光源輝度の推定が容易になるという性質もある。そのため、光源輝度の変化の周期が１５〜３５マイクロ秒のときはｔＥは１５マイクロ秒以上、光源輝度の変化の周期が３５〜５４マイクロ秒のときはｔＥは３５マイクロ秒以上、光源輝度の変化の周期が５４〜７４マイクロ秒のときはｔＥは５４マイクロ秒以上、光源輝度の変化の周期が７４マイクロ秒以上のときはｔＥは７４マイクロ秒以上として設定すると良い。
【００７３】
図５Ｈは、露光時間ｔＥと認識成功率との関係を示す。露光時間ｔＥは光源の輝度が一定である時間に対して相対的な意味を持つため、光源輝度が変化する周期ｔＳを露光時間ｔＥで割った値（相対露光時間）を横軸としている。グラフより、認識成功率をほぼ１００％としたい場合は、相対露光時間を１．２以下にすれば良いことがわかる。例えば、送信信号を１ｋＨｚとする場合は露光時間を約０．８３ミリ秒以下とすれば良い。同様に、認識成功率を９５％以上としたい場合は相対露光時間を１．２５以下に、認識成功率を８０％以上としたい場合は相対露光時間を１．４以下にすれば良いということがわかる。また、相対露光時間が１．５付近で認識成功率が急激に下がり、１．６でほぼ０％となるため、相対露光時間が１．５を超えないように設定すべきであることがわかる。また、認識率が７５０７ｃで０になった後、７５０７ｄや、７５０７ｅ、７５０７ｆで、再度上昇していることがわかる。そのため、露光時間を長くして明るい画像を撮像したい場合などは、相対露光時間が１．９から２．２、２．４から２．６、２．８から３．０となる露光時間を利用すれば良い。例えば、中間モードとして、これらの露光時間を使うと良い。
【００７４】
図６Ａは、本実施の形態における情報通信方法のフローチャートである。
【００７５】
本実施の形態における情報通信方法は、被写体から情報を取得する情報通信方法であって、ステップＳＫ９１〜ＳＫ９３を含む。
【００７６】
つまり、この情報通信方法は、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる複数の露光ラインに対応する複数の輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの第１の露光時間を設定する第１の露光時間設定ステップＳＫ９１と、前記イメージセンサが、輝度変化する前記被写体を、設定された前記第１の露光時間で撮影することによって、前記複数の輝線を含む輝線画像を取得する第１の画像取得ステップＳＫ９２と、取得された前記輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップＳＫ９３とを含み、前記第１の画像取得ステップＳＫ９２では、前記複数の露光ラインのそれぞれは、順次異なる時刻で露光を開始し、かつ、当該露光ラインに隣接する隣接露光ラインの露光が終了してから所定の空き時間経過後に、露光を開始する。
【００７７】
図６Ｂは、本実施の形態における情報通信装置のブロック図である。
【００７８】
本実施の形態における情報通信装置Ｋ９０は、被写体から情報を取得する情報通信装置であって、構成要素Ｋ９１〜Ｋ９３を備える。
【００７９】
つまり、この情報通信装置Ｋ９０は、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる複数の露光ラインに対応する複数の輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定部Ｋ９１と、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記複数の輝線を含む輝線画像を取得する前記イメージセンサを有する画像取得部Ｋ９２と、取得された前記輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得部Ｋ９３とを備え、前記複数の露光ラインのそれぞれは、順次異なる時刻で露光を開始し、かつ、当該露光ラインに隣接する隣接露光ラインの露光が終了してから所定の空き時間経過後に、露光を開始する。
【００８０】
このような図６Ａおよび図６Ｂによって示される情報通信方法および情報通信装置Ｋ９０では、例えば図５Ｃなどに示すように、複数の露光ラインのそれぞれは、その露光ラインに隣接する隣接露光ラインの露光が終了してから所定の空き時間経過後に、露光を開始するため、被写体の輝度変化を認識しやすくすることができる。その結果、被写体から情報を適切に取得することができる。
【００８１】
なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。例えばプログラムは、図６Ａのフローチャートによって示される情報通信方法をコンピュータに実行させる。
【００８２】
（実施の形態２）
本実施の形態では、上記実施の形態１における情報通信装置Ｋ９０であるスマートフォンなどの受信機と、ＬＥＤや有機ＥＬなどの光源の点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
【００８３】
なお、以下の説明では、通常撮影モード、または通常撮影モードによる撮影を通常撮影といい、可視光通信モード、または可視光通信モードによる撮影を可視光撮影（可視光通信）という。また、通常撮影および可視光撮影の代わりに、中間モードによる撮影を用いてもよく、後述の合成画像の代わりに中間画像を用いてもよい。
【００８４】
図７は、本実施の形態における受信機の撮影動作の一例を示す図である。
【００８５】
受信機８０００は、撮影モードを通常撮影、可視光通信、通常撮影、・・・のように切り替える。そして、受信機８０００は、通常撮影画像と可視光通信画像とを合成することによって、輝線模様と被写体およびその周囲とが鮮明に映し出された合成画像を生成し、その合成画像をディスプレイに表示する。この合成画像は、通常撮影画像における信号が送信されている箇所に、可視光通信画像の輝線模様を重畳することによって生成された画像である。また、この合成画像によって映し出される輝線模様、被写体およびその周囲はそれぞれ鮮明であって、ユーザによって十分に認識される鮮明度を有する。このような合成画像が表示されることによって、ユーザは、どこから、またはどの位置から信号が送信されているかをより明確に知ることができる。
【００８６】
図８は、本実施の形態における受信機の撮影動作の他の例を示す図である。
【００８７】
受信機８０００は、カメラＣａ１およびカメラＣａ２を備える。このような受信機８０００では、カメラＣａ１は通常撮影を行い、カメラＣａ２は可視光撮影を行う。これにより、カメラＣａ１は、上述のような通常撮影画像を取得し、カメラＣａ２は、上述のような可視光通信画像を取得する。そして、受信機８０００は、通常撮影画像および可視光通信画像を合成することによって、上述の合成画像を生成してディスプレイに表示する。
【００８８】
図９は、本実施の形態における受信機の撮影動作の他の例を示す図である。
【００８９】
２つのカメラを有する上記受信機８０００では、カメラＣａ１は、撮影モードを通常撮影、可視光通信、通常撮影、・・・のように切り替える。一方、カメラＣａ２は、通常撮影を継続して行う。そして、カメラＣａ１とカメラＣａ２とで同時に通常撮影が行われているときには、受信機８０００は、それらのカメラによって取得された通常撮影画像から、ステレオ視（三角測量の原理）を利用して、受信機８０００から被写体までの距離（以下、被写体距離という）を推定する。このように推定された被写体距離を用いることによって、受信機８０００は、可視光通信画像の輝線模様を通常撮影画像の適切な位置に重畳することができる。つまり、適切な合成画像を生成することができる。
【００９０】
図１０は、本実施の形態における受信機の表示動作の一例を示す図である。
【００９１】
受信機８０００は、上述のように、撮影モードを可視光通信、通常撮影、可視光通信、・・・のように切り替える。ここで、受信機８０００は、最初に可視光通信を行うときに、アプリケーションプログラムを起動する。そして、受信機８０００は、可視光通信によって受信した信号に基づいて、自らの位置を推定する。次に、受信機８０００は、通常撮影を行うときには、その通常撮影によって取得された通常撮影画像に、ＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）情報を表示する。このＡＲ情報は、上述のように推定された位置などに基づいて取得されるものである。また、受信機８０００は、９軸センサによる検出結果、および通常撮影画像の動き検出などに基づいて、受信機８０００の移動および方向の変化を推定し、その推定された移動および方向の変化に合わせてＡＲ情報の表示位置を移動させる。これにより、ＡＲ情報を通常撮影画像の被写体像に追随させることができる。
【００９２】
また、受信機８０００は、通常撮影から可視光通信に撮影モードを切り替えると、その可視光通信時には、直前の通常撮影時に取得された最新の通常撮影画像にＡＲ情報を重畳する。そして、受信機８０００は、ＡＲ情報が重畳された通常撮影画像を表示する。また、受信機８０００は、通常撮影時と同様に、９軸センサによる検出結果に基づいて、受信機８０００の移動および方向の変化を推定し、その推定された移動および方向の変化に合わせてＡＲ情報および通常撮影画像を移動させる。これにより、可視光通信時にも、通常撮影時と同様に、受信機８０００の移動などに合わせてＡＲ情報を通常撮影画像の被写体像に追随させることができる。また、受信機８０００の移動などに合わせて、その通常画像を拡大および縮小することができる。
【００９３】
図１１は、本実施の形態における受信機の表示動作の一例を示す図である。
【００９４】
例えば、受信機８０００は、図１１の（ａ）に示すように、輝線模様が映し出された上記合成画像を表示してもよい。また、受信機８０００は、図１１の（ｂ）に示すように、輝線模様の代わりに、信号が送信されていることを通知するための所定の色を有する画像である信号明示オブジェクトを通常撮影画像に重畳することによって合成画像を生成し、その合成画像を表示してもよい。
【００９５】
また、受信機８０００は、図１１の（ｃ）に示すように、信号が送信されている箇所が点線の枠と識別子（例えば、ＩＤ：１０１、ＩＤ：１０２など）とによって示されている通常撮影画像を合成画像として表示してもよい。また、受信機８０００は、図１１の（ｄ）に示すように、輝線模様の代わりに、特定の種類の信号が送信されていることを通知するための所定の色を有する画像である信号識別オブジェクトを通常撮影画像に重畳することによって合成画像を生成し、その合成画像を表示してもよい。この場合、その信号識別オブジェクトの色は、送信機から出力されている信号の種類によって異なる。例えば、送信機から出力されている信号が位置情報である場合には、赤色の信号識別オブジェクトが重畳され、送信機から出力されている信号がクーポンである場合には、緑色の信号識別オブジェクトが重畳される。
【００９６】
図１２は、本実施の形態における受信機の動作の一例を示す図である。
【００９７】
例えば、受信機８０００は、可視光通信によって信号を受信した場合には、通常撮影画像を表示するとともに、送信機を発見したことをユーザに通知するための音を出力してもよい。この場合、受信機８０００は、発見した送信機の個数、受信した信号の種類、または、その信号によって特定される情報の種類などによって、出力される音の種類、出力回数、または出力時間を異ならせてもよい。
【００９８】
図１３は、本実施の形態における受信機の動作の他の例を示す図である。
【００９９】
例えば、合成画像に映し出された輝線模様にユーザがタッチすると、受信機８０００は、そのタッチされた輝線模様に対応する被写体から送信された信号に基づいて、情報通知画像を生成し、その情報通知画像を表示する。この情報通知画像は、例えば、店舗のクーポンや場所などを示す。なお、輝線模様は、図１１に示す信号明示オブジェクト、信号識別オブジェクト、または点線枠などであってもよい。以下に記載されている輝線模様についても同様である。
【０１００】
図１４は、本実施の形態における受信機の動作の他の例を示す図である。
【０１０１】
例えば、合成画像に映し出された輝線模様にユーザがタッチすると、受信機８０００は、そのタッチされた輝線模様に対応する被写体から送信された信号に基づいて、情報通知画像を生成し、その情報通知画像を表示する。この情報通知画像は、例えば、受信機８０００の現在地を地図などによって示す。
【０１０２】
図１５は、本実施の形態における受信機の動作の他の例を示す図である。
【０１０３】
例えば、合成画像が表示されている受信機８０００に対してユーザがスワイプを行うと、受信機８０００は、図１１の（ｃ）に示す通常撮影画像と同様の、点線枠および識別子を有する通常撮影画像を表示するとともに、スワイプの操作に追随するように情報の一覧を表示する。この一覧には、各識別子によって示される箇所（送信機）から送信される信号によって特定される情報が示されている。また、スワイプは、例えば、受信機８０００におけるディスプレイの右側の外から中に指を動かす操作であってもよい。なお、スワイプは、ディスプレイの上側から、下側から、または左側から中に指を動かす操作であってもよい。
【０１０４】
また、その一覧に含まれる情報がユーザによってタップされると、受信機８０００は、その情報をより詳細に示す情報通知画像（例えばクーポンを示す画像）を表示してもよい。
【０１０５】
図１６は、本実施の形態における受信機の動作の他の例を示す図である。
【０１０６】
例えば、合成画像が表示されている受信機８０００に対してユーザがスワイプを行うと、受信機８０００は、スワイプの操作に追随するように情報通知画像を合成画像に重畳して表示する。この情報通知画像は、被写体距離を矢印とともにユーザに分かり易く示すものである。また、スワイプは、例えば、受信機８０００におけるディスプレイの下側の外から中に指を動かす操作であってもよい。なお、スワイプは、ディスプレイの左側から、上側から、または右側から中に指を動かす操作であってもよい。
【０１０７】
図１７は、本実施の形態における受信機の動作の他の例を示す図である。
【０１０８】
例えば、受信機８０００は、複数の店舗を示すサイネージである送信機を被写体として撮影し、その撮影によって取得された通常撮影画像を表示する。ここで、通常撮影画像に映し出された被写体に含まれる、１つの店舗のサイネージの画像をユーザがタップすると、受信機８０００は、その店舗のサイネージから送信される信号に基づいて情報通知画像を生成し、その情報通知画像８００１を表示する。この情報通知画像８００１は、例えば店舗の空席状況などを示す画像である。
【０１０９】
図１８は、本実施の形態における受信機と送信機とサーバとの動作の一例を示す図である。
【０１１０】
まず、テレビとして構成されている送信機８０１２は、輝度変化によって信号を受信機８０１１に送信する。この信号は、例えば、視聴されている番組に関連するコンテンツの購入をユーザに促すための情報を含む。受信機８０１１は、可視光通信によってその信号を受信すると、その信号に基づいて、コンテンツの購入をユーザに促す情報通知画像を表示する。ユーザがそのコンテンツを購入するための操作を行うと、受信機８０１１は、受信機８０１１に差し込まれているＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ  Ｉｄｅｎｔｉｔｙ  Ｍｏｄｕｌｅ）カードに含まれる情報、ユーザＩＤ、端末ＩＤ、クレジットカード情報、課金のための情報、パスワード、および送信機ＩＤのうちの少なくとも１つをサーバ８０１３に送信する。サーバ８０１３は、ユーザごとに、ユーザＩＤと支払い情報とを紐付けて管理している。そして、サーバ８０１３は、受信機８０１１から送信される情報に基づいて、ユーザＩＤを特定し、そのユーザＩＤに紐付けられた支払い情報を確認する。この確認によって、サーバ８０１３は、ユーザに対してコンテンツの購入を許可するか否かを判断する。そして、サーバ８０１３は、許可すると判断すると、許可情報を受信機８０１１に送信する。受信機８０１１は、許可情報を受信すると、その許可情報を送信機８０１２に送信する。許可情報を受信した送信機８０１２は、そのコンテンツを例えばネットワークを介して取得して再生する。
【０１１１】
また、送信機８０１２は、輝度変化することによって送信機８０１２のＩＤを含む情報を受信機８０１１に対して送信してもよい。この場合、受信機８０１１は、その情報をサーバ８０１３に送信する。サーバ８０１３は、その情報を取得すると、その送信機８０１２によって例えばテレビ番組が視聴されていると判断することができ、テレビ番組の視聴率調査を行うことができる。
【０１１２】
また、受信機８０１１は、ユーザによって操作された内容（投票など）を上述の情報に含めてサーバ８０１３に送信することによって、サーバ８０１３は、その内容をテレビ番組に反映することができる。つまり、視聴者参加型の番組を実現することができる。さらに、受信機８０１１は、ユーザによる書き込みを受け付けた場合には、その書き込みの内容を上述の情報に含めてサーバ８０１３に送信することによって、サーバ８０１３は、その書き込みをテレビ番組やネットワーク上の掲示板などに反映することができる。
【０１１３】
さらに、送信機８０１２が上述のような情報を送信することによって、サーバ８０１３は、有料放送またはオンデマンドプログラムによるテレビ番組の視聴に対して課金を行うことができる。また、サーバ８０１３は、受信機８０１１に対して広告を表示させたり、送信機８０１２に表示されるテレビ番組の詳細情報を表示させてり、その詳細情報を示すサイトのＵＲＬを表示させたりすることができる。さらに、サーバ８０１３は、受信機８０１１によって広告が表示された回数、または、その広告によって購入された商品の金額などを取得することによって、その回数または金額に応じた課金を広告主に対して行うことができる。このような金額による課金は、広告を見たユーザがその商品をすぐに購入しなくても行うことができる。また、サーバ８０１３は、送信機８０１２から受信機８０１１を介して送信機８０１２のメーカを示す情報を取得したときには、その情報によって示されるメーカに対してサービス（例えば、上述の商品の販売に対する報酬の支払い）を行うことができる。
【０１１４】
図１９は、本実施の形態における受信機の動作の他の例を示す図である。
【０１１５】
受信機８０３０は、例えば、カメラを備えたヘッドマウントディスプレイとして構成されている。この受信機８０３０は、開始ボタンが押下されたときに、可視光通信モードによる撮影、つまり可視光通信を開始する。そして、可視光通信によって信号が受信された場合には、受信機８０３０は、その受信された信号に応じた情報をユーザに通知する。この通知は、例えば、受信機８０３０に備えられたスピーカから音声が出力されることによって行われたり、画像の表示によって行われる。また、可視光通信は、開始ボタンが押下されたとき以外にも、開始を指示する音声の入力が受信機８０３０に受け付けられたとき、または開始を指示する信号が無線通信で受信機８０３０に受信されたきに、開始されてもよい。また、受信機８０３０に備えられた９軸センサによって得られた値の変化幅が所定の範囲を超えたとき、または、通常撮影画像に輝線模様が少しでも現れたときに、可視光通信を開始してもよい。
【０１１６】
図２０は、本実施の形態における受信機の動作の他の例を示す図である。
【０１１７】
受信機８０３０は、上述と同様に、合成画像８０３４を表示する。ここで、ユーザは、合成画像８０３４中の輝線模様を囲うように指先を動かす操作を行う。受信機８０３０は、この操作を受け付けると、その操作の対象とされた輝線模様を特定し、その輝線模様に対応する箇所から送信されている信号に基づく情報通知画像８０３２を表示する。
【０１１８】
図２１は、本実施の形態における受信機の動作の他の例を示す図である。
【０１１９】
受信機８０３０は、上述と同様に、合成画像８０３４を表示する。ここで、ユーザは、合成画像８０３４中の輝線模様に指先を予め定められた時間以上あてる操作を行う。受信機８０３０は、この操作を受け付けると、その操作の対象とされた輝線模様を特定し、その輝線模様に対応する箇所から送信されている信号に基づく情報通知画像８０３２を表示する。
【０１２０】
図２２は、本実施の形態における送信機の動作の一例を示す図である。
【０１２１】
送信機は、例えば予め定められた周期で、信号１と信号２とを交互に送信する。信号１の送信と、信号２の送信とは、それぞれ可視光の点滅などの輝度変化によって行われる。また、信号１を送信するための輝度変化のパターンと、信号２を送信するための輝度変化のパターンとは互いに異なる。
【０１２２】
図２３は、本実施の形態における送信機の動作の他の例を示す図である。
【０１２３】
送信機は、上述のように、ブロック１、ブロック２およびブロック３を含む構成単位の信号列を繰り返し送信する際には、信号列ごとに、その信号列に含まれるブロックの配置を変更してもよい。例えば、最初の信号列には、ブロック１、ブロック２、ブロック３の順に各ブロックが配置され、次の信号列には、ブロック３、ブロック１、ブロック２の順に各ブロックが配置される。これにより、周期的なブランキング期間を要する受信機によって同じブロックだけが取得されることを避けることができる。
【０１２４】
図２４は、本実施の形態における受信機の応用例を示す図である。
【０１２５】
例えばスマートフォンとして構成される受信機７５１０ａは、バックカメラ（アウトカメラ）７５１０ｃで光源７５１０ｂを撮像し、光源７５１０ｂから送信された信号を受信し、受信した信号から光源７５１０ｂの位置と向きを取得する。受信機７５１０ａは、光源７５１０ｂの撮像画像中における写り方や、受信機７５１０ａに備えた９軸センサのセンサ値から、受信機７５１０ａ自身の位置と向きを推定する。受信機７５１０ａは、フロントカメラ（フェイスカメラ、インカメラ）７５１０ｆで、ユーザ７５１０ｅを撮像し、画像処理によって、７５１０ｅの頭部の位置と向き、及び、視線方向（眼球の位置と向き）を推定する。受信機７５１０ａは、推定結果をサーバに送信する。受信機７５１０ａは、ユーザ７５１０ｅの視線方向に応じて挙動（ディスプレイの表示内容や再生音）を変更する。バックカメラ７５１０ｃによる撮像と、フロントカメラ７５１０ｆによる撮像は、同時に行なっても良いし、交互に行なっても良い。
【０１２６】
図２５は、本実施の形態における受信機の動作の他の例を示す図である。
【０１２７】
受信機は、上述のような合成画像または中間画像などによって、輝線模様を表示する。このとき、受信機は、この輝線模様に対応する送信機からの信号を受信することができなくてもよい。ここで、ユーザが輝線模様に対する操作（例えばタップ）を行うことによってその輝線模様が選択されると、受信機は、光学ズームを行うことによって、その輝線模様の箇所が拡大された合成画像または中間画像を表示する。このような光学ズームが行われることによって、受信機は、その輝線模様に対応する送信機からの信号を適切に受信することができる。つまり、撮像によって得られる画像が小さすぎて、信号を取得することができなくても、光学ズームを行うことによって、その信号を適切に受信することができる。また、信号を取得可能な大きさの画像が表示されている場合であっても、光学ズームを行うことによって、速い受信を行うことができる。
【０１２８】
（本実施の形態のまとめ）
本実施の形態における情報通信方法は、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する第１の露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む画像である輝線画像を取得する輝線画像取得ステップと、前記輝線画像に基づいて、前記輝線が現われた部位の空間的な位置が識別し得る態様で、前記被写体と当該被写体の周囲とが映し出された表示用画像を表示する画像表示ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより送信情報を取得する情報取得ステップとを含む。
【０１２９】
例えば、図７、図８および図１１に示すような合成画像または中間画像が表示用画像として表示される。また、被写体と当該被写体の周囲とが映し出された表示用画像において、輝線が現われた部位の空間的な位置は、輝線模様、信号明示オブジェクト、信号識別オブジェクト、または点線枠などによって識別される。したがって、ユーザは、このような表示画像を見ることによって、輝度変化によって信号を送信している被写体を容易に見つけることができる。
【０１３０】
また、前記情報通信方法は、さらに、前記露光時間よりも長い露光時間を設定する第２の露光時間設定ステップと、前記イメージセンサが、前記被写体と当該被写体の周囲とを前記長い露光時間で撮影することによって、通常撮影画像を取得する通常画像取得ステップと、前記通常撮影画像において前記輝線が現われた部位を、前記輝線画像に基づいて特定し、前記部位を指し示す画像である信号オブジェクトを前記通常撮影画像に重畳することによって、合成画像を生成する合成ステップとを含み、前記画像表示ステップでは、前記合成画像を前記表示用画像として表示してもよい。
【０１３１】
例えば、信号オブジェクトは、輝線模様、信号明示オブジェクト、信号識別オブジェクト、または点線枠などであって、図７、図８および図１１に示すように、合成画像が表示用画像として表示される。これにより、ユーザは、輝度変化によって信号を送信している被写体をさらに容易に見つけることができる。
【０１３２】
また、前記第１の露光時間設定ステップでは、露光時間を１／３０００秒に設定し、前記輝線画像取得ステップでは、前記被写体の周囲が映し出された前記輝線画像を取得し、前記画像表示ステップでは、前記輝線画像を前記表示用画像として表示してもよい。
【０１３３】
例えば、輝線画像は中間画像として取得されて表示される。したがって、通常撮影画像と可視光通信画像とを取得して合成するなどの処理を行う必要がなく、処理の簡略化を図ることができる。
【０１３４】
また、前記イメージセンサは、第１のイメージセンサと第２のイメージセンサを含み、前記通常画像取得ステップでは、前記第１のイメージセンサが撮影することによって、前記通常撮影画像を取得し、前記輝線画像取得ステップでは、前記第２のイメージセンサが前記第１のイメージセンサの撮影と同時に撮影することによって、前記輝線画像を取得してもよい。
【０１３５】
例えば、図８に示すように、通常撮影画像と輝線画像である可視光通信画像とがそれぞれのカメラで取得される。したがって、１つのカメラで通常撮影画像と可視光通信画像とを取得する場合と比べて、それらの画像を早く取得することができ、処理を高速化することができる。
【０１３６】
また、前記情報通信方法は、さらに、前記表示用画像における前記輝線が現われた部位がユーザによる操作によって指定された場合には、指定された部位の前記輝線のパターンから取得された前記送信情報に基づく提示情報を提示する情報提示ステップを含んでもよい。例えば、前記ユーザによる操作は、タップ、スワイプ、前記部位に指先を所定の時間以上継続して当てる操作、前記部位に視線を向けた状態を所定の時間以上継続する操作、前記部位に関連付けて示される矢印に前記ユーザの身体の一部を動かす操作、輝度変化するペン先を前記部位に当てる操作、または、タッチセンサに触れることによって、前記表示用画像に表示されているポインタを前記部位に当てる操作である。
【０１３７】
例えば、図１３〜図１７、図２０および図２１に示すように、提示情報が情報通知画像として表示される。これにより、ユーザに所望の情報を提示することができる。
【０１３８】
また、前記イメージセンサはヘッドマウントディスプレイに備えられ、前記画像表示ステップでは、前記ヘッドマウントディスプレイに搭載されたプロジェクタが前記表示用画像を表示してもよい。
【０１３９】
これにより、例えば、図１９〜図２１に示すように、簡単に情報をユーザに提示することができる。
【０１４０】
また、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する第１の露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む画像である輝線画像を取得する輝線画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップとを含み、前記輝線画像取得ステップでは、前記イメージセンサが移動されている期間に、複数の前記被写体を撮影することによって、前記輝線が現われた部位を複数含む前記輝線画像を取得し、前記情報取得ステップでは、前記部位ごとに、当該部位の前記輝線のパターンによって特定されるデータを復調することによって、複数の前記被写体のそれぞれの位置を取得し、前記情報通信方法は、さらに、取得された複数の前記被写体のそれぞれの位置、および前記イメージセンサの移動状態に基づいて、前記イメージセンサの位置を推定する位置推定ステップを含んでもよい。
【０１４１】
これにより、複数の照明などの被写体による輝度変化によって、イメージセンサを含む受信機の位置を正確に推定することができる。
【０１４２】
また、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する第１の露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む画像である輝線画像を取得する輝線画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップと、取得された前記情報を提示する情報提示ステップとを含み、前記情報提示ステップでは、前記イメージセンサのユーザに対して、予め定められたジェスチャを促す画像を前記情報として提示してもよい。
【０１４３】
これにより、ユーザが、促されたとおりのジェスチャを行うか否かによって、そのユーザに対する認証などを行うことができ、利便性を高めることができる。
【０１４４】
また、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む輝線画像を取得する画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップとを含み、前記画像取得ステップでは、反射面に映る複数の前記被写体を撮影することによって前記輝線画像を取得し、前記情報取得ステップでは、前記輝線画像に含まれる輝線の強度に応じて、前記輝線を、複数の前記被写体のそれぞれに対応する輝線に分離し、前記被写体ごとに、当該被写体に対応する輝線のパターンによって特定されるデータを復調することにより情報を取得してもよい。
【０１４５】
これにより、複数の照明などの被写体がそれぞれ輝度変化する場合でも、被写体のそれぞれから適切な情報を取得することができる。
【０１４６】
また、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む輝線画像を取得する画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップとを含み、前記画像取得ステップでは、反射面に映る前記被写体を撮影することによって前記輝線画像を取得し、前記情報通信方法は、さらに、前記輝線画像内における輝度分布に基づいて、前記被写体の位置を推定する位置推定ステップを含んでもよい。
【０１４７】
これにより、輝度分布に基づいて適切な被写体の位置を推定することができる。
【０１４８】
また、輝度変化によって信号を送信する情報通信方法であって、送信対象の第１の信号を変調することによって、輝度変化の第１のパターンを決定する第１の決定ステップと、送信対象の第２の信号を変調することによって、輝度変化の第２のパターンを決定する第２の決定ステップと、発光体が、決定された前記第１のパターンにしたがった輝度変化と、決定された前記第２のパターンにしたがった輝度変化とを、交互に行うことによって、前記第１および第２の信号を送信する送信ステップとを含んでもよい。
【０１４９】
これにより、例えば、図２２に示すように、第１の信号と第２の信号とをそれぞれ遅滞なく送信することができる。
【０１５０】
また、前記送信ステップでは、輝度変化を、前記第１のパターンにしたがった輝度変化と、前記第２のパターンにしたがった輝度変化とで切り替えるときには、緩衝時間を空けて切り替えてもよい。
【０１５１】
これにより、第１の信号と第２の信号との混信を抑えることができる。
【０１５２】
また、輝度変化によって信号を送信する情報通信方法であって、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、発光体が、決定された前記パターンにしたがって輝度変化することによって前記送信対象の信号を送信する送信ステップとを含み、前記信号は、複数の大ブロックからなり、前記複数の大ブロックのそれぞれは、第１のデータと、前記第１のデータに対するプリアンブルと、前記第１のデータに対するチェック信号とを含み、前記第１のデータは、複数の小ブロックからなり、前記小ブロックは、第２のデータと、前記第２のデータに対するプリアンブルと、前記第２のデータに対するチェック信号とを含んでもよい。
【０１５３】
これにより、ブランキング期間を要する受信機でも、ブランキング期間を必要としない受信機でも、適切にデータを取得することができる。
【０１５４】
また、輝度変化によって信号を送信する情報通信方法であって、複数の送信機がそれぞれ、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、送信機ごとに、当該送信機に備えられた発光体が、決定された前記パターンにしたがって輝度変化することによって前記送信対象の信号を送信する送信ステップとを含み、前記送信ステップでは、互いに周波数またはプロトコルが異なる信号を送信してもよい。
【０１５５】
これにより、複数の送信機からの信号の混信を抑えることができる。
【０１５６】
また、輝度変化によって信号を送信する情報通信方法であって、複数の送信機がそれぞれ、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、送信機ごとに、当該送信機に備えられた発光体が、決定された前記パターンにしたがって輝度変化することによって前記送信対象の信号を送信する送信ステップとを含み、前記送信ステップでは、前記複数の送信機のうちの１つの送信機は、他方の送信機から送信される信号を受信し、受信された信号と混信しない態様で、他の信号を送信してもよい。
【０１５７】
これにより、複数の送信機からの信号の混信を抑えることができる。
【０１５８】
（実施の形態３）
本実施の形態では、上記実施の形態１または２におけるスマートフォンなどの受信機と、ＬＥＤや有機ＥＬなどの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
【０１５９】
図２６は、実施の形態３における受信機、送信機およびサーバの処理動作の一例を示す図である。
【０１６０】
例えばスマートフォンとして構成される受信機８１４２は、自らの位置を示す位置情報を取得し、その位置情報をサーバ８１４１に送信する。なお、受信機８１４２は、例えばＧＰＳなどを利用したり、他の信号を受信したときにその位置情報を取得する。サーバ８１４１は、その位置情報によって示される位置に対応付けられたＩＤリストを受信機８１４２に送信する。ＩＤリストには、「ａｂｃｄ」などのＩＤごとに、そのＩＤと、そのＩＤに対応付けられた情報とが含まれている。
【０１６１】
受信機８１４２は、例えば照明機器として構成される送信機８１４３から信号を受信する。このとき、受信機８１４２は、ＩＤの一部（例えば「  ｂ    」）しか上述の信号として受信できない場合がある。この場合、受信機８１４２は、そのＩＤの一部を含むＩＤをＩＤリストから検索する。一意のＩＤが見つからない場合には、受信機８１４２は、さらに、送信機８１４３から、そのＩＤの他の部分を含む信号を受信する。これにより、受信機８１４２は、そのＩＤのうちのより多くの部分（例えば「  ｂｃ    」）を取得する。そして、受信機８１４２は、そのＩＤの一部（例えば「  ｂｃ    」）を含むＩＤをＩＤリストから再び検索する。このような検索を行うことによって、受信機８１４２は、ＩＤの一部しか取得することができなくても、ＩＤの全てを特定することができる。なお、受信機８１４２は、送信機８１４３から信号を受信するときには、ＩＤの一部だけでなく、ＣＲＣ（Ｃｙｃｌｉｃ  Ｒｅｄｕｎｄａｎｃｙ  Ｃｈｅｃｋ）などのチェック部分なども受信する。
【０１６２】
図２７は、実施の形態３における送信機および受信機の動作の一例を示す図である。
【０１６３】
例えばテレビとして構成される送信機８１６５は、画像と、その画像に対応付けられたＩＤ（ＩＤ  １０００）とを制御部８１６６から取得する。そして、送信機８１６５は、その画像を表示するとともに、輝度変化することによって、そのＩＤ（ＩＤ  １０００）を受信機８１６７に送信する。受信機８１６７は、撮像することによって、そのＩＤ（ＩＤ  １０００）を受信するとともに、そのＩＤ（ＩＤ  １０００）に対応付けられた情報を表示する。ここで、制御部８１６６は、送信機８１６５に出力される画像を他の画像に変更する。このとき、制御部８１６６は、送信機８１６５に出力されるＩＤも変更する。つまり、制御部８１６６は、その他の画像とともに、他の画像に対応付けられた他のＩＤ（ＩＤ  １００１）を送信機８１６５に出力する。これにより、送信機８１６５は、その他の画像を表示するとともに、輝度変化することによって、他のＩＤ（ＩＤ  １００１）を受信機８１６７に送信する。受信機８１６７は、撮像することによって、その他のＩＤ（ＩＤ  １００１）を受信するとともに、その他のＩＤ（ＩＤ  １００１）に対応付けられた情報を表示する。
【０１６４】
図２８は、実施の形態３における送信機、受信機およびサーバの動作の一例を示す図である。
【０１６５】
例えばスマートフォントして構成される送信機８１８５は、ディスプレイ８１８５ａのうちのバーコード部分８１８５ｂを除く部分を輝度変化させることによって、すなわち、可視光通信によって、例えば「クーポン  １００円引き」を示す情報を送信する。また、送信機８１８５は、バーコード部分８１８５ｂを輝度変化させずに、そのバーコード部分８１８５ｂにバーコードを表示させる。このバーコードは、上述の可視光通信によって送信される情報と同じ情報を示す。さらに、送信機８１８５は、ディスプレイ８１８５ａのうちのバーコード部分８１８５ｂを除く部分に、可視光通信によって送信される情報を示す文字または絵、例えば文字「クーポン  １００円引き」を表示する。このような文字または絵が表示されることによって、送信機８１８５のユーザは、どのような情報が送信されているかを容易に把握することができる。
【０１６６】
受信機８１８６は、撮像することによって、可視光通信によって送信された情報と、バーコードによって示される情報とを取得し、これらの情報をサーバ８１８７に送信する。サーバ８１８７は、これらの情報が一致または関連するか否かを判定し、一致または関連すると判定したときには、それらの情報にしたがった処理を実行する。または、サーバ８１８７は、その判定結果を受信機８１８６に送信し、受信機８１８６にそれらの情報にしたがった処理を実行させる。
【０１６７】
なお、送信機８１８５は、バーコードによって示される情報のうちの一部を可視光通信によって送信してもよい。また、バーコードには、サーバ８１８７のＵＲＬが示されていてもよい。また、送信機８１８５は、受信機としてＩＤを取得して、そのＩＤをサーバ８１８７に送信することによって、そのＩＤに対応付けられている情報を取得してもよい。このＩＤに対応付けられている情報は、上述の可視光通信によって送信される情報、または、バーコードによって示される情報と同一である。また、サーバ８１８７は、受信機８１８６を介して送信機８１８５から送信される情報（可視光通信の情報またはバーコードの情報）に対応付けられたＩＤを、送信機８１８５に送信してもよい。
【０１６８】
図２９は、実施の形態３における送信機および受信機の動作の一例を示す図である。
【０１６９】
例えば、受信機８１８３は、複数の人物８１９７および街灯８１９５を含む被写体を撮像する。街灯８１９５は、輝度変化によって情報を送信する送信機８１９５ａを備えている。この撮像によって、受信機８１８３は、送信機８１９５ａの像が上述の輝線模様として表れた画像を取得する。さらに、受信機８１８３は、その輝線模様によって示されるＩＤに関連付けられているＡＲオブジェクト８１９６ａを例えばサーバなどから取得する。そして、受信機８１８３は、通常撮影によって得られる通常撮影画像８１９６にそのＡＲオブジェクト８１９６ａを重畳し、そのＡＲオブジェクト８１９６ａが重畳された通常撮影画像８１９６を表示する。
【０１７０】
（本実施の形態のまとめ）
本実施の形態における情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、発光体が、決定された前記パターンにしたがって輝度変化することによって前記送信対象の信号を送信する送信ステップとを含み、前記輝度変化のパターンは、予め定められた時間幅における任意の各位置に、互いに異なる２つの輝度値のうちの一方が出現するパターンであって、前記決定ステップでは、送信対象の互いに異なる信号のそれぞれに対して、前記時間幅における輝度の立ち上がり位置または立ち下がり位置である輝度変化位置が互いに異なり、且つ、前記時間幅における前記発光体の輝度の積分値が、予め設定された明るさに応じた同一の値となるように、前記輝度変化のパターンを決定する。
【０１７１】
例えば、送信対象の互いに異なる信号「００」、「０１」、「１０」および「１１」のそれぞれに対して、輝度の立ち上がり位置（輝度変化位置）が互いに異なり、且つ、予め定められた時間幅（単位時間幅）における発光体の輝度の積分値が、予め定められた明るさ（例えば９９％または１％など）に応じた同一の値となるように、輝度変化のパターンが決定される。これにより、送信対象の信号のそれぞれに対して、発光体の明るさを一定に保つことができ、ちらつきを抑えることができるとともに、その発光体を撮像する受信機は、輝度変化位置に基づいて、その輝度変化のパターンを適切に復調することができる。また、輝度変化のパターンは、単位時間幅における任意の各位置に、互いに異なる２つの輝度値（輝度Ｈ（Ｈｉｇｈ）または輝度Ｌ（Ｌｏｗ））のうちの一方が出現するパターンであるため、発光体の明るさを連続的に変化させることができる。
【０１７２】
また、前記情報通信方法は、さらに、複数の画像のそれぞれを順に切り替えて表示する画像表示ステップを含み、前記決定ステップでは、前記画像表示ステップで画像が表示されるごとに、表示されている画像に対応する識別情報を前記送信対象の信号として変調することによって、前記識別情報に対する輝度変化のパターンを決定し、前記送信ステップでは、前記画像表示ステップで画像が表示されるごとに、表示されている画像に対応する識別情報に対して決定された輝度変化のパターンにしたがって前記発光体が輝度変化することによって前記識別情報を送信してもよい。
【０１７３】
これにより、例えば図２７に示すように、画像が表示されるごとに、表示されている画像に対応する識別情報が送信されるため、ユーザは、表示される画像に基づいて、受信機に受信させる識別情報を容易に選択することができる。
【０１７４】
また、前記送信ステップでは、前記画像表示ステップで画像が表示されるごとに、さらに、過去に表示された画像に対応する識別情報に対して決定された輝度変化のパターンにしたがって前記発光体が輝度変化することによって前記識別情報を送信してもよい。
【０１７５】
これにより、表示される画像が切り替わったために、切り替わり前に送信された識別信号を受信機が受信できなかった場合でも、現在表示されている画像に対応する識別情報とともに、過去に表示された画像に対応する識別情報も送信されるため、切り替わり前に送信された識別情報を、改めて受信機で適切に受信することができる。
【０１７６】
また、前記決定ステップでは、前記画像表示ステップで画像が表示されるごとに、表示されている画像に対応する識別情報と、前記画像が表示されている時刻とを前記送信対象の信号として変調することによって、前記識別情報および前記時刻に対する輝度変化のパターンを決定し、前記送信ステップでは、前記画像表示ステップで画像が表示されるごとに、表示されている画像に対応する識別情報および時刻に対して決定された輝度変化のパターンにしたがって前記発光体が輝度変化することによって前記識別情報および前記時刻を送信し、さらに、過去に表示された画像に対応する識別情報および時刻に対して決定された輝度変化のパターンにしたがって前記発光体が輝度変化することによって前記識別情報および前記時刻を送信してもよい。
【０１７７】
これにより、画像が表示されるごとに、複数のＩＤ時刻情報（識別情報および時刻からなる情報）が送信されるため、受信機は、受信された複数のＩＤ時刻情報の中から、過去に送信されて受信できなかった識別信号を、そのＩＤ時刻情報のそれぞれに含まれる時刻に基づいて容易に選択することができる。
【０１７８】
また、前記発光体は、それぞれ発光する複数の領域を有し、前記複数の領域のうち互いに隣接する領域の光が相互に干渉し、前記複数の領域のうちの１つだけが、決定された前記輝度変化のパターンにしたがって輝度変化する場合、前記送信ステップでは、前記複数の領域のうちの端に配置された領域だけが、決定された前記輝度変化のパターンにしたがって輝度変化してもよい。
【０１７９】
これにより、端に配置された領域（発光部）だけが輝度変化するため、端以外に配置された領域だけが輝度変化する場合と比べて、他の領域からの光によるその輝度変化への影響を抑えることができる。その結果、受信機は、撮影によって、その輝度変化のパターンを適切に捉えることができる。
【０１８０】
また、前記複数の領域のうちの２つだけが、決定された前記輝度変化のパターンにしたがって輝度変化する場合、前記送信ステップでは、前記複数の領域のうちの端に配置された領域と、前記端に配置された領域に隣接する領域とが、決定された前記輝度変化のパターンにしたがって輝度変化してもよい。
【０１８１】
これにより、端に配置された領域（発光部）と、その端に配置された領域に隣接する領域（発光部）とが輝度変化するため、互いに離れた領域が輝度変化する場合と比べて、空間的に連続して輝度変化する範囲の面積を広く保つことができる。その結果、受信機は、撮影によって、その輝度変化のパターンを適切に捉えることができる。
【０１８２】
本実施の形態における情報通信方法は、被写体から情報を取得する情報通信方法であって、前記被写体の撮影に用いられるイメージセンサの位置を示す位置情報を送信する位置情報送信ステップと、前記位置情報によって示される位置に対応付けられた、複数の識別情報を含むＩＤリストを受信するリスト受信ステップと、前記イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む輝線画像を取得する画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップと、取得された前記情報を含む識別情報を前記ＩＤリストから検索する検索ステップとを含む。
【０１８３】
これにより、例えば図２６に示すように、予めＩＤリストが受信されているため、取得された情報「  ｂｃ  」が識別情報の一部だけであっても、ＩＤリストに基づいて適切な識別情報「ａｂｃｄ」を特定することができる。
【０１８４】
また、前記検索ステップにおいて、取得された前記情報を含む識別情報が一意に特定されない場合には、前記画像取得ステップおよび前記情報取得ステップを繰り返し行うことによって、新たな情報を取得し、前記情報通信方法は、さらに、取得された前記情報と、前記新たな情報とを含む識別情報を前記ＩＤリストから検索する再検索ステップを含んでもよい。
【０１８５】
これにより、例えば図２６に示すように、取得された情報「  ｂ    」が識別情報の一部だけであって、その情報だけでは識別情報が一意に特定されない場合であっても、新たな情報「    ｃ  」が取得されるため、その新たな情報とＩＤリストに基づいて適切な識別情報「ａｂｃｄ」を特定することができる。
【０１８６】
本実施の形態における情報通信方法は、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む輝線画像を取得する画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより識別情報を取得する情報取得ステップと、取得された前記識別情報と、前記イメージセンサの位置を示す位置情報とを送信する送信ステップと、前記位置情報によって示される位置に対応付けられた、複数の識別情報を含むＩＤリストに、取得された前記識別情報がない場合には、エラーを通知するためのエラー通知情報を受信するエラー受信ステップとを含む。
【０１８７】
これにより、取得された識別情報がＩＤリストにない場合には、エラー通知情報を受信するため、そのエラー通知情報を受信した受信機のユーザは、その取得された識別情報に関連付けられた情報を得ることができないことを容易に把握することができる。
【０１８８】
（実施の形態４）
本実施の形態では、上記実施の形態１〜４におけるスマートフォンなどの受信機と、ＬＥＤや有機ＥＬなどの点滅パターンとして情報を送信する送信機とを用いた適用例について説明する。
【０１８９】
図３０は、実施の形態４における送信機および受信機の動作の一例を示す図である。
【０１９０】
送信機は、ＩＤ記憶部８３６１、乱数生成部８３６２、加算部８３６３、暗号部８３６４、および送信部８３６５を備えている。ＩＤ記憶部８３６１は、送信機のＩＤを記憶している。乱数生成部８３６２は、一定時間ごとに異なる乱数を生成する。加算部８３６３は、ＩＤ記憶部８３６１に記憶されているＩＤに対して、乱数生成部８３６２によって生成された最新の乱数を組み合わせ、その結果を編集ＩＤとして出力する。暗号部８３６４は、その編集ＩＤに対して暗号化を行うことによって暗号化編集ＩＤを生成する。送信部８３６５は輝度変化することによって、その暗号化編集ＩＤを受信機に送信する。
【０１９１】
受信機は、受信部８３６６、復号部８３６７およびＩＤ取得部８３６８を備えている。受信部８３６６は、送信機を撮像（可視光撮影）することによって、暗号化編集ＩＤを送信機から受信する。復号部８３６７は、その受信された暗号化編集ＩＤを復号することによって編集ＩＤを復元する。ＩＤ取得部８３６８は、復元された編集ＩＤからＩＤを抽出することによってそのＩＤを取得する。
【０１９２】
例えば、ＩＤ記憶部８３６１はＩＤ「１００」を記憶しており、乱数生成部８３６２は最新の乱数「８１７」を生成する（例１）。この場合、加算部８３６３は、ＩＤ「１００」に対して乱数「８１７」を組み合わせることによって、編集ＩＤ「１００８１７」を生成して出力する。暗号部８３６４は、その編集ＩＤ「１００８１７」に対して暗号化を行うことによって、暗号化編集ＩＤ「ａｂｃｅｄ」を生成する。受信機の復号部８３６７は、その暗号化編集ＩＤ「ａｂｃｅｄ」を復号することによって、編集ＩＤ「１００８１７」を復元する。そして、ＩＤ取得部８３６８は、復元された編集ＩＤ「１００８１７」からＩＤ「１００」を抽出する。言い換えれば、ＩＤ取得部８３６８は、編集ＩＤの下３桁を削除することによって、ＩＤ「１００」を取得する。
【０１９３】
次に、乱数生成部８３６２は新たな乱数「６１９」を生成する（例２）。この場合、加算部８３６３は、ＩＤ「１００」に対して乱数「６１９」を組み合わせることによって、編集ＩＤ「１００６１９」を生成して出力する。暗号部８３６４は、その編集ＩＤ「１００６１９」に対して暗号化を行うことによって、暗号化編集ＩＤ「ｄｉｆｉａ」を生成する。送信機の復号部８３６７は、その暗号化編集ＩＤ「ｄｉｆｉａ」を復号することによって、編集ＩＤ「１００６１９」を復元する。そして、ＩＤ取得部８３６８は、復元された編集ＩＤ「１００６１９」からＩＤ「１００」を抽出する。言い換えれば、ＩＤ取得部８３６８は、編集ＩＤの下３桁を削除することによって、ＩＤ「１００」を取得する。
【０１９４】
このように、送信機はＩＤを単純に暗号化することなく、一定時間ごとに変更される乱数が組み合わされたものを暗号化するため、送信部８３６５から送信される信号から簡単にＩＤが解読されることを防ぐことができる。つまり、単純に暗号化されたＩＤが送信機から受信機に何度か送信される場合には、そのＩＤが暗号化されていても、そのＩＤが同じであれば、送信機から受信機に送信される信号も同じであるため、そのＩＤが解読される可能性がある。しかし、図３０に示す例では、一定時間ごとに変更される乱数がＩＤに組み合わされて、その乱数が組み合わされたＩＤが暗号化される。したがって、同じＩＤが受信機に何度か送信される場合でも、それらのＩＤの送信のタイミングが異なれば、送信機から受信機へ送信される信号を異ならせることができる。その結果、ＩＤが容易に解読されるのを防ぐことができる。
【０１９５】
なお、図３０に示す受信機は、暗号化編集ＩＤを取得すると、その暗号化編集ＩＤをサーバに送信し、そのサーバからＩＤを取得してもよい。
【０１９６】
（駅での案内）
図３１は、電車のホームにおける本発明の利用形態の一例を示したものである。ユーザが、携帯端末を電子掲示板や照明にかざし、可視光通信により、電子掲示板に表示されている情報、または、電子掲示板の設置されている駅の電車情報・駅の構内情報などを取得する。ここでは、電子掲示板に表示されている情報自体が、可視光通信により、携帯端末に送信されてもよいし、電子掲示板に対応するＩＤ情報が携帯端末に送信され、携帯端末が取得したＩＤ情報をサーバに問い合わせることにより、電子掲示板に表示されている情報を取得してもよい。サーバは、携帯端末からＩＤ情報が送信されてきた場合に、ＩＤ情報に基づき、電子掲示板に表示されている内容を携帯端末に送信する。携帯端末のメモリに保存されている電車のチケット情報と、電子掲示板に表示されている情報とを対比し、ユーザのチケットに対応するチケット情報が電子掲示板に表示されている場合に、携帯端末のディスプレイに、ユーザの乗車予定の電車が到着するホームへの行き先を示す矢印を表示する。降車時に出口や乗り換え経路に近い車両までの経路を表示するとしてもよい。座席指定がされている場合は、その座席までの経路を表示するとしてもよい。矢印を表示する際には、地図や、電車案内情報における電車の路線の色と同じ色を用いて矢印を表示することにより、より分かりやすく表示することができる。また、矢印の表示とともに、ユーザの予約情報（ホーム番号、車両番号、発車時刻、座席番号）を表示することもできる。ユーザの予約情報を併せて表示することにより、誤認識を防ぐことが可能となる。チケット情報がサーバに保存されている場合には、携帯端末からサーバに問い合わせてチケット情報を取得し対比するか、または、サーバ側でチケット情報と電子掲示板に表示されている情報とを対比することにより、チケット情報に関連する情報を取得することができる。ユーザが乗換検索を行った履歴から目的の路線を推定し、経路を表示してもよい。また、電子掲示板に表示されている内容だけでなく、電子掲示板が設置されている駅の電車情報・構内情報を取得し、対比を行ってもよい。ディスプレイ上の電子掲示板の表示に対してユーザに関連する情報を強調表示してもよいし、書き換えて表示してもよい。ユーザの乗車予定が不明である場合には、各路線の乗り場への案内の矢印を表示してもよい。駅の構内情報を取得した場合には、売店・お手洗いへなどの案内する矢印をディスプレイに表示してもよい。ユーザの行動特性を予めサーバで管理しておき、ユーザが駅構内で売店・お手洗いに立ち寄ることが多い場合に、売店・お手洗いなどへ案内する矢印をディスプレイに表示する構成にしてもよい。売店・お手洗いに立ち寄る行動特性を有するユーザに対してのみ、売店・お手洗いなどへ案内する矢印を表示し、その他のユーザに対しては表示を行わないため処理量を減らすことが可能となる。売店・お手洗いなどへ案内する矢印の色を、ホームへの行き先を案内する矢印と異なる色としてもよい。両方の矢印を同時に表示する際には、異なる色とすることにより、誤認識を防ぐことが可能となる。尚、図３１では電車の例を示したが、飛行機やバスなどでも同様の構成で表示を行うことが可能である。
【０１９７】
（クーポンのポップアップ）
図３２は、ユーザが店舗に近づくと、可視光通信により取得したクーポン情報が表示される、または、ポップアップが携帯端末のディスプレイに表示される一例を示したものである。ユーザは、携帯端末を用いて、可視光通信により、電子掲示板などから店舗のクーポン情報を取得する。次に、店舗から所定の範囲内にユーザが入ると、店舗のクーポン情報、または、ポップアップが表示される。ユーザが、店舗から所定の範囲内に入ったか否かは、携帯端末のＧＰＳ情報と、クーポン情報に含まれる店舗情報とを用いて判断される。クーポン情報に限らず、チケット情報でもよい。クーポンやチケットが利用できる店舗などが近づくと自動的にアラートしてくれるため、ユーザはクーポンやチケットを適切に利用することが可能となる。
【０１９８】
（操作用アプリケーションの起動）
図３３は、ユーザが携帯端末を用いて、可視光通信により、家電より情報を取得する一例を示したものである。可視光通信により、家電からＩＤ情報、または、当該家電に関する情報を取得した場合に、当該家電を操作するためのアプリケーションが自動的に立ち上がる。図３３では、テレビを用いた例を示している。このような構成により、携帯端末を家電にかざすだけで、家電を操作するためのアプリケーションを起動することが可能となる。
【０１９９】
（データベース）
図３４は、送信機が送信するＩＤを管理するサーバの保持するデータベースの構成の一例を示したものである。
【０２００】
データベースは、ＩＤをキーとした問い合わせに対して渡すデータを保持するＩＤ−データテーブルと、ＩＤをキーとした問い合わせの記録を保存するアクセスログテーブルを持つ。ＩＤ−データテーブルは、送信機が送信するＩＤ、ＩＤをキーとした問い合わせに対して渡すデータ、データを渡す条件、ＩＤをキーとしたアクセスがあった回数、条件をクリアしてデータが渡された回数を持つ。データを渡す条件には、日時や、アクセス回数や、アクセス成功回数や、問い合わせ元の端末の情報（端末の機種、問い合わせを行ったアプリケーション、端末の現在位置など）や、問い合わせ元のユーザ情報（年齢、性別、職業、国籍、使用言語、信教など）がある。アクセス成功回数を条件とすることで、「アクセス１回あたり１円、ただし１００円を上限としてそれ以降はデータを返さない」といったサービスの方法が可能となる。ログテーブルは、ＩＤをキーとしたアクセスがあったとき、そのＩＤや、要求したユーザのＩＤや、時刻や、その他の付帯情報や、条件をクリアしてデータを渡したかどうかや、渡したデータの内容を記録する。
【０２０１】
（ゾーン毎に異なる通信プロトコル）
図３５は、実施の形態４における送信機と受信機の動作の一例を示す図である。
【０２０２】
受信機８４２０ａは、基地局８４２０ｈからゾーン情報を受け取り、自身がどのゾーンに位置しているかを認識し、受信プロトコルを選択する。基地局８４２０ｈは、例えば携帯電話の通信基地局やＷｉ−ＦｉアクセスポイントやＩＭＥＳ送信機やスピーカーや無線送信機（Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ、特定小電力無線局等）として構成される。なお、受信機８４２０ａは、ＧＰＳ等から得た位置情報をもとにゾーンを特定してもよい。例として、ゾーンＡでは９．６ｋＨｚの信号周波数で通信し、ゾーンＢでは、天井照明は１５ｋＨｚ、サイネージは４．８ｋＨｚの信号周波数で通信すると定めるとする。受信機８４２０ａは、位置８４２０ｊでは、基地局８４２０ｈの情報から現在地がゾーンＡであることを認識し、９．６ｋＨｚの信号周波数で受信を行い、送信機８４２０ｂ・８４２０ｃの送信した信号を受信する。受信機８４２０ａは、位置８４２０ｌでは、基地局８４２０ｉの情報から現在地がゾーンＢであることを認識し、さらに、インカメラが上方に向けられていることから天井照明からの信号を受信しようとしていることを推定し、１５ｋＨｚの信号周波数で受信を行い、送信機８４２０ｅ・８４２０ｆの送信した信号を受信する。受信機８４２０ａは、位置８４２０ｍでは、基地局８４２０ｉの上方から現在地がゾーンＢであることを認識し、さらに、アウトカメラを突き出す動きからサイネージの送信する信号を受信しようとしていることを推定し、４．８ｋＨｚの信号周波数で受信を行い、送信機８４２０ｇの送信する信号を受信する。受信機８４２０ａは、位置８４２０ｋでは、基地局８４２０ｈと基地局８４２０ｉの両方の信号が受信され、現在地がゾーンＡとゾーンＢのどちらであるか判断できないため、９．６ｋＨｚと１５ｋＨｚの両方で受信処理を行う。なお、ゾーンによってプロトコルが異なる部分は周波数だけではなく、送信信号の変調方式や信号フォーマットやＩＤを問い合わせるサーバが異なるとしても良い。なお、基地局８４２０ｈ・８４２０ｉは、ゾーン内のプロトコルを受信機に送信してもよいし、ゾーンを示すＩＤのみを送信し、受信機がゾーンＩＤをキーにサーバからプロトコル情報を獲得するとしてもよい。
【０２０３】
送信機８４２０ｂ〜８４２０ｆは、基地局８４２０ｈ・８４２０ｉの送信するゾーンＩＤやプロトコル情報を受信し、信号送信プロトコルを決定する。基地局８４２０ｈと基地局８４２０ｉの両方の送信する信号を受信可能な送信機８４２０ｄは、より信号強度強い基地局のゾーンのプロトコルを利用する、または、両方のプロトコルを交互に用いる。
【０２０４】
（ゾーンの認識とゾーン毎のサービス）
図３６は、実施の形態４における受信機と送信機の動作の一例を示す図である。
【０２０５】
受信機８４２１ａは、受信した信号から、自身の位置の属するゾーンを認識する。受信機８４２１ａは、ゾーン毎に定められたサービス（クーポンの配布、ポイントの付与、道案内等）を提供する。一例として、受信機８４２１ａは、送信機８４２１ｂの左側から送信する信号を受信し、ゾーンＡに居ることを認識する。ここで、送信機８４２１ｂは、送信方向によって異なる信号を送信するとしてもよい。また、送信機８４２１ｂは、２２１７ａのような発光パターンの信号を用いることで、受信機までの距離に応じて異なる信号が受信されるように信号を送信してもよい。また、受信機８４２１ａは、送信機８４２１ｂの撮像される方向と大きさから、送信機８４２１ｂとの位置関係を認識し、自身の位置するゾーンを認識してもよい。
【０２０６】
同じゾーンに位置することを示す信号の一部を共通としてもよい。例えば、送信機８４２１ｂと送信機８４２１ｃから送信される、ゾーンＡを表すＩＤは前半を共通とする。これにより、受信機８４２１ａは、信号の前半を受信するだけで自身の位置するゾーンを認識可能となる。
【０２０７】
（本実施の形態のまとめ）
本実施の形態における情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、複数の送信対象の信号のそれぞれを変調することによって、複数の輝度変化のパターンを決定する決定ステップと、複数の発光体のそれぞれが、決定された複数の輝度変化のパターンのうちの何れか１つのパターンにしたがって輝度変化することによって、前記何れか１つのパターンに対応する送信対象の信号を送信する送信ステップとを含み、前記送信ステップでは、前記複数の発光体のうちの２つ以上の発光体のそれぞれは、当該発光体に対して予め定められた時間単位ごとに、互いに輝度の異なる２種類の光のうちの何れか一方の光が出力されるように、且つ、前記２つ以上の発光体のそれぞれに対して予め定められた前記時間単位が互いに異なるように、互いに異なる周波数で輝度変化する。
【０２０８】
これにより、２つ以上の発光体（例えば、照明機器として構成された送信機）のそれぞれが互いに異なる周波数で輝度変化するため、それらの発光体から送信対象の信号（例えば、発光体のＩＤ）を受信する受信機は、それらの送信対象の信号を容易に区別して取得することができる。
【０２０９】
また、前記送信ステップでは、前記複数の発光体のそれぞれは、少なくとも４種類の周波数のうちの何れか１つの周波数で輝度変化し、前記複数の発光体のうちの２つ以上の発光体は、同一の周波数で輝度変化してもよい。例えば、前記送信ステップでは、前記複数の送信対象の信号を受信するためのイメージセンサの受光面に、前記複数の発光体が投影される場合に、前記受光面上で互いに隣接する全ての発光体間で輝度変化の周波数が異なるように、前記複数の発光体のそれぞれは輝度変化する。
【０２１０】
これにより、輝度変化に用いられる周波数が少なくとも４種類あれば、同一の周波数で輝度変化する発光体が２つ以上ある場合であっても、つまり、周波数の種類の数が複数の発光体の数よりも少ない場合であっても、四色問題または四色定理に基づいて、イメージセンサの受光面上で互いに隣接する全ての発光体間で輝度変化の周波数を確実に異なるせることができる。その結果、受信機は、複数の発光体から送信される送信対象の信号のそれぞれを容易に区別して取得することができる。
【０２１１】
また、前記送信ステップでは、前記複数の発光体のそれぞれは、送信対象の信号のハッシュ値によって特定される周波数で輝度変化することによって、前記送信対象の信号を送信してもよい。
【０２１２】
これにより、複数の発光体のそれぞれは、送信対象の信号（例えば、発光体のＩＤ）のハッシュ値によって特定される周波数で輝度変化するため、受信機は、送信対象の信号を受信したときには、実際の輝度変化から特定される周波数と、ハッシュ値によって特定される周波数とが一致するか否かを判定することができる。つまり、受信機は、受信された信号（例えば、発光体のＩＤ）にエラーがあったか否かを判定することができる。
【０２１３】
また、前記情報通信方法は、さらに、信号記憶部に記憶されている送信対象の信号から、予め定められた関数にしたがって、当該送信対象の信号に対応する周波数を第１の周波数として算出する周波数算出ステップと、周波数記憶部に記憶されている第２の周波数と、算出された前記１の周波数とが一致するか否かを判定する周波数判定ステップと、前記第１の周波数と前記第２の周波数とが一致しないと判定された場合には、エラーを報知する周波数エラー報知ステップとを含み、前記第１の周波数と前記第２の周波数とが一致すると判定された場合には、前記決定ステップでは、前記信号記憶部に記憶されている前記送信対象の信号を変調することによって輝度変化のパターンを決定し、前記送信ステップでは、前記複数の発光体のうちの何れか１つの発光体が、決定された前記パターンにしたがって、前記第１の周波数で輝度変化することによって、前記信号記憶部に記憶されている前記送信対象の信号を送信してもよい。
【０２１４】
これにより、周波数記憶部に記憶されている周波数と、信号記憶部（ＩＤ記憶部）に記憶されている送信対象の信号から算出された周波数とが一致するか否かが判定され、一致しないと判定された場合にはエラーが報知されるため、発光体による信号送信機能の異常検出を容易に行うことができる。
【０２１５】
また、前記情報通信方法は、さらに、信号記憶部に記憶されている送信対象の信号から、予め定められた関数にしたがって第１のチェック値を算出するチェック値算出ステップと、チェック値記憶部に記憶されている第２のチェック値と、算出された前記１のチェック値とが一致するか否かを判定するチェック値判定ステップと、前記第１のチェック値と前記第２のチェック値とが一致しないと判定された場合には、エラーを報知するチェック値エラー報知ステップとを含み、前記第１のチェック値と前記第２のチェック値とが一致すると判定された場合には、前記決定ステップでは、前記信号記憶部に記憶されている前記送信対象の信号を変調することによって輝度変化のパターンを決定し、前記送信ステップでは、前記複数の発光体のうちの何れか１つの発光体が、決定された前記パターンにしたがって輝度変化することによって、前記信号記憶部に記憶されている前記送信対象の信号を送信してもよい。
【０２１６】
これにより、チェック値記憶部に記憶されているチェック値と、信号記憶部（ＩＤ記憶部）に記憶されている送信対象の信号から算出されたチェック値とが一致するか否かが判定され、一致しないと判定された場合にはエラーが報知されるため、発光体による信号送信機能の異常検出を容易に行うことができる。
【０２１７】
また、本実施の形態における情報通信方法は、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる複数の露光ラインに対応する複数の輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記複数の輝線を含む輝線画像を取得する画像取得ステップと、取得された前記輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップと、取得された前記輝線画像に含まれる前記複数の輝線のパターンに基づいて、前記被写体の輝度変化の周波数を特定する周波数特定ステップとを含む。例えば、前記周波数特定ステップでは、前記複数の輝線のパターンに含まれる、それぞれヘッダを示すために予め定められた複数のパターンである複数のヘッダパターンを特定し、前記複数のヘッダパターン間の画素数に応じた周波数を、前記被写体の輝度変化の周波数として特定する。
【０２１８】
これにより、被写体の輝度変化の周波数が特定されるため、輝度変化の周波数が異なる複数の被写体が撮影される場合には、それらの被写体からの情報を容易に区別して取得することができる。
【０２１９】
また、前記画像取得ステップでは、それぞれ輝度変化する複数の被写体を撮影することによって、それぞれ複数の輝線によって表される複数のパターンを含む前記輝線画像を取得し、前記情報取得ステップでは、取得された前記輝線画像に含まれる前記複数のパターンのそれぞれの一部が重なっている場合には、前記複数のパターンのそれぞれから前記一部を除く部分によって特定されるデータを復調することにより、前記複数のパターンのそれぞれから情報を取得してもよい。
【０２２０】
これにより、複数のパターン（複数の輝線パターン）が重なっている部分からはデータの復調が行われないため、誤った情報を取得してしまうことを防ぐことができる。
【０２２１】
また、前記画像取得ステップでは、前記複数の被写体を互いに異なるタイミングで複数回撮影することによって、複数の輝線画像を取得し、前記周波数特定ステップでは、輝線画像ごとに、当該輝線画像に含まれる前記複数のパターンのそれぞれに対する周波数を特定し、前記情報取得ステップでは、前複数の輝線画像から、同一の周波数が特定された複数のパターンを検索し、検索された前記複数のパターンを結合し、結合された前記複数のパターンによって特定さるデータを復調することにより情報を取得してもよい。
【０２２２】
これにより、複数の輝線画像から、同一の周波数が特定された複数のパターン（複数の輝線パターン）が検索され、検索された複数のパターンが結合され、結合された複数のパターンから情報が取得されるため、複数の被写体が移動している場合であっても、それらの複数の被写体からの情報を容易に区別して取得することができる。
【０２２３】
また、前記情報通信方法は、さらに、識別情報のそれぞれに対して周波数が登録されているサーバに対して、前記情報取得ステップで取得された情報に含まれる前記被写体の識別情報と、前記周波数特定ステップで特定された周波数を示す特定周波数情報とを送信する送信ステップと、前記識別情報と、前記特定周波数情報によって示される周波数とに関連付けられた関連情報を前記サーバから取得する関連情報取得ステップとを含んでもよい。
【０２２４】
これにより、被写体（送信機）の輝度変化に基づいて取得された識別情報（ＩＤ）と、その輝度変化の周波数とに関連付けられた関連情報が取得される。したがって、被写体の輝度変化の周波数を変更し、サーバに登録されている周波数を変更後の周波数に更新することによって、周波数の変更前に識別情報を取得した受信機がサーバから関連情報を取得することを防ぐことができる。つまり、被写体の輝度変化の周波数の変更に合わせて、サーバに登録されている周波数も変更することによって、被写体の識別情報を過去に取得した受信機が無期限にサーバから関連情報を取得し得る状態になってしまうことを防ぐことができる。
【０２２５】
また、前記情報通信方法は、さらに、前記情報取得ステップで取得された前記情報から一部を抽出することによって、前記被写体の識別情報を取得する識別情報取得ステップと、前記情報取得ステップで取得された前記情報のうち、前記一部以外の残りの部分によって示される数を、前記被写体に対して設定されている輝度変化の設定周波数として特定する設定周波数特定ステップとを含んでもよい。
【０２２６】
これにより、複数の輝線のパターンから得られる情報に、被写体の識別情報と、被写体に設定されている輝度変化の設定周波数とを互いに依存することなく含めることができるため、識別情報と設定周波数との自由度を高めることができる。
【０２２７】
（実施の形態５）
本実施の形態では、上記各実施の形態におけるスマートフォンなどの受信機と、ＬＥＤや有機ＥＬの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
【０２２８】
（人間への可視光通信の周知）
図３７は、実施の形態５における送信機の動作の一例を示す図である。
【０２２９】
送信機８９２１ａの発光部は、図３７の（ａ）に示すように、人間が視認可能な点滅と可視光通信とを繰り返す。人間に視認可能な点滅を行うことで、可視光通信が可能であることを人間に知らせることができる。ユーザは送信機８９２１ａが点滅していることで可視光通信が可能であることに気づき、受信機８９２１ｂを送信機８９２１ａに向けて可視光通信を行い、送信機８９２１ａのユーザ登録を行う。
【０２３０】
つまり、本実施の形態における送信機は、発光体が輝度変化によって信号を送信するステップと、発光体が人の目で視認されるように点滅するステップとを交互に繰り返し行う。
【０２３１】
送信機は、図３７の（ｂ）のように、可視光通信部と点滅部（通信状況表示部）とを別に設けてもよい。
【０２３２】
送信機は、図３７の（ｃ）のように、動作することで、可視光通信を行いながら、人間には発光部が点滅しているように見せることができる。つまり、送信機は、例えば明るさ７５％の高輝度可視光通信と、明るさ１％の低輝度可視光通信とを交互に繰り返し行う。例えば、送信機に異常等が発生して普段とは異なる信号を送信しているときに図３７の（ｃ）に示す動作をすることで、可視光通信をやめることなくユーザに注意を促すことができる。
【０２３３】
（道案内への応用例）
図３８は、実施の形態５における送受信システムの応用例の一例を示す図である。
【０２３４】
受信機８９５５ａは、例えば案内板として構成される送信機８９５５ｂの送信ＩＤを受信し、案内板に表示された地図のデータをサーバから取得して表示する。このとき、サーバは受信機８９５５ａのユーザに適した広告を送信し、受信機８９５５ａはこの広告情報も表示するとしてもよい。受信機８９５５ａは、現在地から、ユーザが指定した場所までの経路を表示する。
【０２３５】
（利用ログ蓄積と解析への応用例）
図３９は、実施の形態５における送受信システムの応用例の一例を示す図である。
【０２３６】
受信機８９５７ａは、例えば看板として構成される送信機８９５７ｂの送信するＩＤを受信し、サーバからクーポン情報を取得して表示する。受信機８９５７ａは、その後のユーザの行動、例えば、クーポンを保存したり、クーポンに表示された店舗に移動したり、その店舗で買い物を行ったり、クーポンを保存せずに立ち去ったりといった行動をサーバ８９５７ｃに保存する。これにより、看板８９５７ｂから情報を取得したユーザのその後の行動を解析することができ、看板８９５７ｂの広告価値を見積もることができる。
【０２３７】
（画面共有への応用例）
図４０は、実施の形態５における送受信システムの応用例の一例を示す図である。
【０２３８】
例えばプロジェクタやディスプレイとして構成される送信機８９６０ｂは、自身へ無線接続するための情報（ＳＳＩＤ、無線接続用パスワード、ＩＰアドレス、送信機を操作するためのパスワード）を送信する。または、これらの情報にアクセスするためのキーとなるＩＤを送信する。例えばスマートフォンやタブレットやノートパソコンやカメラとして構成される受信機８９６０ａは、送信機８９６０ｂから送信された信号を受信して前記情報を取得し、送信機８９６０ｂとの無線接続を確立する。この無線接続は、ルータを介して接続してもよいし、Ｗｉ−ＦｉダイレクトやＢｌｕｅｔｏｏｔｈ（登録商標）やＷｉｒｅｌｅｓｓ  Ｈｏｍｅ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ等によって直接接続してもよい。受信機８９６０ａは、送信機８９６０ｂによって表示される画面を送信する。これにより、手軽に受信機の画像を送信機に表示することができる。
【０２３９】
なお、送信機８９６０ｂは、受信機８９６０ａと接続されたときに、画面表示のためには、送信機が送信している情報の他にパスワードが必要であることを受信機８９６０ａに伝え、正しいパスワードが送られない場合は送信された画面を表示しないとしてもよい。このとき、受信機８９６０ａは、８９６０ｄのような、パスワード入力画面を表示し、ユーザにパスワードを入力させる。
【０２４０】
以上、一つまたは複数の態様に係る情報通信方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
【０２４１】
また、図４１に示すように、本発明の一態様に係る情報通信方法を応用してもよい。
【０２４２】
図４１は、実施の形態５における送受信システムの応用例の一例を示す図である。
【０２４３】
可視光通信の受信機として構成されるカメラは、通常撮像モードで撮像を行う（Ｓｔｅｐ１）。この撮像によって、カメラは、例えばＥＸＩＦ（Exchangeable image file format）等のフォーマットによって構成される画像ファイルを取得する。次に、カメラは、可視光通信撮像モードで撮像を行う（Ｓｔｅｐ２）。カメラは、この撮像によって得られる画像中の輝線のパターンに基づいて、被写体である送信機から可視光通信によって送信された信号（可視光通信情報）を取得する（Ｓｔｅｐ３）。さらに、カメラは、その信号（受信情報）をキーとして扱ってサーバにアクセスすることにより、サーバからそのキーに対応する情報を取得する（Ｓｔｅｐ４）。そしてカメラは、被写体から可視光通信によって送信された信号（可視光受信データ）、サーバから取得された情報、画像ファイルによって示される画像中の、被写体である送信機が映し出された位置を示すデータと、可視光通信によって送信された信号を受信した時刻（動画中における時刻）を示すデータなどをそれぞれ、上述の画像ファイル中のメタデータとして保存する。なお、カメラは、撮像によって得られる画像（画像ファイル）に複数の送信機が被写体として映し出されている場合には、送信機ごとに、その送信機に対応する幾つかのメタデータを、その画像ファイルに保存する。
【０２４４】
可視光通信の送信機として構成されるディスプレイまたはプロジェクタは、上述の画像ファイルによって示される画像を表示するときには、その画像ファイルに含まれるメタデータに応じた信号を可視光通信によって送信する。例えば、ディスプレイまたはプロジェクタは、メタデータそのものを可視光通信によって送信してもよく、画像に映し出された送信機に関連付けられた信号をキーとして送信してもよい。
【０２４５】
可視光通信の受信機として構成される携帯端末（スマートフォン）は、ディスプレイまたはプロジェクタの画像を撮像することによって、ディスプレイまたはプロジェクタから可視光通信によって送信される信号を受信する。携帯端末は、その受信した信号が上述のキーであれば、そのキーを用いて、ディスプレイ、プロジェクタまたはサーバから、そのキーに関連付けられた送信機のメタデータを取得する。また、携帯端末は、その受信した信号が、実在する送信機から可視光通信によって送信された信号（可視光受信データまたは可視光通信情報）であれば、ディスプレイ、プロジェクタまたはサーバから、その可視光受光データまたは可視光通信情報に対応する情報を取得する。
【０２４６】
（本実施の形態等のまとめ）
本実施の形態における情報通信方法は、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体である第１の被写体の撮影によって得られる画像に、前記イメージセンサに含まれる各露光ラインに対応する複数の輝線が前記第１の被写体の輝度変化に応じて生じるように、前記イメージセンサの第１の露光時間を設定する第１の露光時間設定ステップと、前記イメージセンサが、輝度変化する前記第１の被写体を、設定された前記第１の露光時間で撮影することによって、前記複数の輝線を含む画像である第１の輝線画像を取得する第１の輝線画像取得ステップと、取得された前記第１の輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより第１の送信情報を取得する第１の情報取得ステップと、前記第１の送信情報が取得された後に、制御信号を送信することによって、扉の開閉駆動機器に対して前記扉を開かせる扉制御ステップとを含む。
【０２４７】
これにより、イメージセンサを備えた受信機を扉の鍵のように用いることができ、特別な電子錠を不要にすることができる。その結果、演算力が少ないような機器を含む多様な機器間で通信を行うことができる。
【０２４８】
また、前記情報通信方法は、さらに、前記イメージセンサが、輝度変化する第２の被写体を、設定された前記第１の露光時間で撮影することによって、複数の輝線を含む画像である第２の輝線画像を取得する第２の輝線画像取得ステップと、取得された前記第２の輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより第２の送信情報を取得する第２の情報取得ステップと、取得された前記第１および第２の送信情報に基づいて、前記イメージセンサを備えた受信装置が前記扉に近づいているか否かを判定する接近判定ステップとを含み、前記扉制御ステップでは、前記受信装置が前記扉に近づいていると判定されたときに、前記制御信号を送信してもよい。
【０２４９】
これにより、受信装置（受信機）が扉に近づいたときにのみ、つまり、適切なタイミングにのみ、その扉を開かせることができる。
【０２５０】
また、前記情報通信方法は、さらに、前記第１の露光時間よりも長い第２の露光時間を設定する第２の露光時間設定ステップと、前記イメージセンサが、第３の被写体を、設定された前記第２の露光時間で撮影することによって、前記第３の被写体が映し出された通常画像を取得する通常画像取得ステップとを含み、前記通常画像取得ステップでは、前記イメージセンサのオプティカルブラックを含む領域にある複数の露光ラインのそれぞれに対して、当該露光ラインの隣の露光ラインに対する電荷の読み出しが行われた時点から所定の時間経過後に、電荷の読み出しを行い、前記第１の輝線画像取得ステップでは、前記オプティカルブラックを電荷の読み出しに用いることなく、前記イメージセンサにおける前記オプティカルブラック以外の領域にある複数の露光ラインのそれぞれに対して、当該露光ラインの隣の露光ラインに対する電荷の読み出しが行われた時点から、前記所定の時間よりも長い時間経過後に、電荷の読み出しを行ってもよい。
【０２５１】
これにより、第１の輝線画像が取得されるときには、オプティカルブラックに対する電荷の読み出し（露光）は行われないため、イメージセンサにおけるオプティカルブラック以外の領域である有効画素領域に対する電荷の読み出し（露光）にかかる時間を長くすることができる。その結果、その有効画素領域において信号を受信する時間を長くすることができ、多くの信号を取得することができる。
【０２５２】
また、前記情報通信方法は、さらに、前記第１の輝線画像に含まれる前記複数の輝線のパターンにおける、当該複数の輝線のそれぞれに垂直な方向の長さが、予め定められた長さ未満であるか否かを判定する長さ判定ステップと、前記パターンの長さが前記予め定められた長さ未満であると判定された場合には、前記イメージセンサのフレームレートを、前記第１の輝線画像を取得したときの第１のフレームレートよりも遅い第２のフレームレートに変更するフレームレート変更ステップと、前記イメージセンサが、輝度変化する前記第１の被写体を、前記第２のフレームレートで、且つ、設定された前記第１の露光時間で撮影することによって、複数の輝線を含む画像である第３の輝線画像を取得する第３の輝線画像取得ステップと、取得された前記第３の輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより前記第１の送信情報を取得する第３の情報取得ステップとを含んでもよい。
【０２５３】
これにより、第１の輝線画像に含まれる輝線のパターン（輝線領域）によって示される信号長が、送信された信号の例えば１ブロック分に満たない場合には、フレームレートが落とされて、改めて輝線画像が第３の輝線画像として取得される。その結果、第３の輝線画像に含まれる輝線のパターンの長さを長くすることができ、送信された信号を１ブロック分取得することができる。
【０２５４】
また、前記情報通信方法は、さらに、前記イメージセンサによって得られる画像の縦幅と横幅の比率を設定する比率設定ステップを含み、前記第１の輝線画像取得ステップは、設定された前記比率によって、前記画像における前記各露光ラインと垂直な方向の端がクリッピングされるか否かを判定するクリッピング判定ステップと、前記端がクリッピングされると判定されたときには、前記比率設定ステップで設定された前記比率を、前記端がクリッピングされない比率である非クリッピング比率に変更する比率変更ステップと、前記イメージセンサが、輝度変化する前記第１の被写体を撮影することによって、前記非クリッピング比率の前記第１の輝線画像を取得する取得ステップとを含んでもよい。
【０２５５】
これにより、例えばイメージセンサの有効画素領域の横幅と縦幅の比率が４：３であって、画像の横幅と縦幅の比率が１６：９に設定され、水平方向に沿う輝線が表れる場合、つまり、露光ラインが水平方向に沿っている場合には、上述の画像の上端および下端がクリッピングされると判定される。つまり、第１の輝線画像の端が欠落してしまうと判定される。この場合には、その画像の比率が、クリッピングされない比率である例えば４：３に変更される。その結果、第１の輝線画像の端の欠落を防ぐことができ、第１の輝線画像から多くの情報を取得することができる。
【０２５６】
また、前記情報通信方法は、さらに、前記第１の輝線画像に含まれる前記複数の輝線のそれぞれに平行な方向に、前記第１の輝線画像を圧縮することによって、圧縮画像を生成する圧縮ステップと、前記圧縮画像を送信する圧縮画像送信ステップとを含んでもよい。
【０２５７】
これにより、複数の輝線によって示される情報を欠落させることなく適切に第１の輝線画像を圧縮することができる。
【０２５８】
また、前記情報通信方法は、さらに、前記イメージセンサを備える受信装置が、予め定められた態様で動かされたか否かを判定するジェスチャ判定ステップと、前記予め定められた態様で動かされたと判定したときには、前記イメージセンサを起動する起動ステップとを含んでもよい。
【０２５９】
これにより、必要なときにのみイメージセンサを簡単に起動させることができ、消費電力効率の向上を図ることができる。
【０２６０】
（実施の形態６）
本実施の形態では、上記各実施の形態におけるスマートフォンなどの受信機と、ＬＥＤや有機ＥＬの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
【０２６１】
図４２は、実施の形態６における送信機と受信機の適用例を示す図である。
【０２６２】
ロボット８９７０は、例えば自走式の掃除機としての機能と、上記各実施の形態における受信機としての機能とを有する。照明機器８９７１ａ，８９７１ｂは、それぞれ上記各実施の形態における送信機としての機能を有する。
【０２６３】
例えば、ロボット８９７０は、室内を移動しながら、掃除を行うとともに、その室内を照らす照明機器８９７１ａを撮影する。この照明機器８９７１ａは、輝度変化することによって照明機器８９７１ａのＩＤを送信している。その結果、ロボット８９７０は、上記各実施の形態と同様に、照明機器８９７１ａからそのＩＤを受信し、そのＩＤに基づいて自らの位置（自己位置）を推定する。つまり、ロボット８９７０は、９軸センサによる検出結果と、撮影によって得られる画像に映る照明機器８９７１ａの相対位置と、ＩＤによって特定される照明機器８９７１ａの絶対位置とに基づいて、移動しながら自己位置を推定している。
【０２６４】
さらに、ロボット８９７０は、移動することによって照明機器８９７１ａから離れると、照明機器８９７１ａに対して消灯を命令する信号（消灯命令）を送信する。例えば、ロボット８９７０は、予め定められた距離だけ照明機器８９７１ａから離れると、消灯命令を送信する。または、ロボット８９７０は、撮影によって得られる画像にその照明機器８９７１ａが映らなくなったときに、あるいは、その画像に他の照明機器が映ると、消灯命令を照明機器８９７１ａに送信する。照明機器８９７１ａは、消灯命令をロボット８９７０から受信すると、その消灯命令に応じて消灯する。
【０２６５】
次に、ロボット８９７０は、移動して掃除を行っている途中で、推定された自己位置に基づいて、照明機器８９７１ｂに近づいたことを検知する。つまり、ロボット８９７０は、照明機器８９７１ｂの位置を示す情報を保持しており、自己位置とその照明機器８９７１ｂの位置との間の距離が予め定められた距離以下になったときに、照明機器８９７１ｂに近づいたことを検知する。そして、ロボット８９７０は、その照明機器８９７１ｂに対して点灯を命令する信号（点灯命令）を送信する。照明機器８９７１ｂは、点灯命令を受けると、その点灯命令に応じて点灯する。
【０２６６】
これにより、ロボット８９７０は、移動しながら自らの周りだけを明るくして、掃除を容易に行うことができる。
【０２６７】
図４３は、実施の形態６における送信機および受信機の適用例を示す図である。
【０２６８】
照明機器８９７４は、上記各実施の形態における送信機としての機能を有する。この照明機器８９７４は、輝度変化しながら例えば鉄道の駅にある路線掲示板８９７５を照らす。ユーザによってその路線掲示板８９７５に向けられた受信機８９７３は、その路線掲示板８９７５を撮影する。これにより、受信機８９７３は、その路線掲示板８９７５のＩＤを取得し、そのＩＤに関連付けられている情報であって、その路線掲示板８９７５に記載されている各路線についての詳細な情報を取得する。そして、受信機８９７３は、その詳細な情報を示す案内画像８９７３ａを表示する。例えば、案内画像８９７３ａは、路線掲示板８９７５に記載されている路線までの距離と、その路線に向かう方向と、その路線において次に電車が到着する時刻とを示す。
【０２６９】
ここで、受信機８９７３は、その案内画像８９７３ａがユーザによってタッチされると、補足案内画像８９７３ｂを表示する。この補足案内画像８９７３ｂは、例えば、鉄道の時刻表、案内画像８９７３ａによって示される路線とは異なる別の路線に関する情報、および、その駅に関する詳細な情報、のうちの何れかをユーザによる選択操作に応じて表示するための画像である。
【０２７０】
（実施の形態７）
本実施の形態では、上記各実施の形態におけるスマートフォンなどの受信機と、ＬＥＤや有機ＥＬの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
【０２７１】
（複数の受光部による複数の方向からの信号の受信）
図４４は、実施の形態７における受信機の一例を示す図である。
【０２７２】
例えば腕時計として構成される受信機９０２０ａは、複数の受光部を備える。例えば、受信機９０２０ａは、図４４に示すように、腕時計の長針および短針を支持する回転軸の上端部に配置された受光部９０２０ｂと、腕時計の周縁部における、１２時を示す文字付近に配置された受光部９０２０ｃとを備える。受光部９０２０ｂは、上述の回転軸の方向に沿って受光部９０２０ｂに向かう光を受け、受光部９０２０ｃは、その回転軸と１２時を示す文字とを結ぶ方向に沿って受光部９０２０ｃに向かう光を受ける。これにより、ユーザが時刻を確認するときのように胸の前に受信機９０２０ａを構えた時に、受光部９０２０ｂは、上方向からの光を受光できる。その結果、受信機９０２０ａは天井照明からの信号を受信できる。さらに、ユーザが時刻を確認するときのように胸の前に受信機９０２０ａを構えた時に、受光部９０２０ｃは、正面方向からの光を受光できる。その結果、受信機９０２０ａは、正面にあるサイネージ等からの信号を受信することが出来る。
【０２７３】
これらの受光部９０２０ｂおよび９０２０ｃは指向性を持たせることで、近い位置に複数の送信機がある場合でも混信することなく信号を受信することができる。
【０２７４】
（腕時計型ディスプレイによる道案内）
図４５は、実施の形態７における受信システムの一例を示す図である。
【０２７５】
例えば腕時計として構成される受信機９０２３ｂは、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信を介してスマートフォン９０２２ａと接続される。受信機９０２３ｂは、文字盤が液晶等のディスプレイで構成されており、時刻以外の情報を表示することができる。受信機９０２３ｂが受信した信号からスマートフォン９０２２ａは現在地を認識し、目的地までの経路や距離を受信機９０２３ｂの表示面に表示する。
【０２７６】
図４６は、実施の形態７における信号送受信システムの一例を示す図である。
【０２７７】
信号送受信システムは、多機能携帯電話であるスマートフォン（スマホ）と、照明機器であるＬＥＤ発光機と、冷蔵庫などの家電機器と、サーバとを備えている。ＬＥＤ発光機は、ＢＴＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標）  Ｌｏｗ  Ｅｎｅｒｇｙ）を用いた通信を行うとともに、ＬＥＤ（Light Emitting Diode）を用いた可視光通信を行う。例えば、ＬＥＤ発光機は、ＢＴＬＥによって、冷蔵庫を制御したり、エアコンと通信する。また、ＬＥＤ発光機は、可視光通信によって、電子レンジ、空気清浄機またはテレビ（ＴＶ）などの電源を制御する。
【０２７８】
テレビは、例えば太陽光発電素子を備え、この太陽光発電素子を光センサとして利用する。つまり、ＬＥＤ発光機が輝度変化することによって信号を送信すると、テレビは、太陽光発電素子によって発電される電力の変化によって、そのＬＥＤ発光機の輝度変化を検出する。そして、テレビは、その検出された輝度変化によって示される信号を復調することによって、ＬＥＤ発光機から送信された信号を取得する。テレビは、その信号が電源ＯＮを示す命令である場合には、自らの主電源をＯＮに切り替え、その信号が電源ＯＦＦを示す命令である場合には、自らの主電源をＯＦＦに切り替える。
【０２７９】
また、サーバは、ルータおよび特定小電力無線局（特小）を介してエアコンと通信することができる。さらに、エアコンはＢＴＬＥを介してＬＥＤ発光機と通信することができるため、サーバはＬＥＤ発光機と通信することができる。したがって、サーバは、ＬＥＤ発光機を介してＴＶの電源をＯＮとＯＦＦとに切り替えることができる。また、スマートフォンは、サーバと例えばＷｉ−Ｆｉ（Wireless Fidelity）などを介して通信することによって、サーバを介してＴＶの電源を制御することができる。
【０２８０】
図４６に示すように、本実施の形態における情報通信方法は、携帯端末（スマートフォン）が、可視光通信と異なる無線通信（ＢＴＬＥまたはＷｉ−Ｆｉなど）によって、制御信号（送信データ列またはユーザコマンド）を照明機器（発光機）に送信する無線通信ステップと、照明機器が、その制御信号に応じて輝度変化することによって可視光通信を行う可視光通信ステップと、制御対象機器（電子レンジなど）が、その照明機器の輝度変化を検出し、検出された輝度変化によって特定される信号を復調することにより制御信号を取得し、その制御信号に応じた処理を実行する実行ステップとを含む。これにより、携帯端末は、可視光通信のための輝度変化を行うことができなくても、無線通信によって、照明機器を携帯端末の代わりに輝度変化させることができ、制御対象機器を適切に制御することができる。なお、携帯端末はスマートフォンではなく腕時計であってもよい。
【０２８１】
（干渉を排除した受信）
図４７は、実施の形態７における干渉を排除した受信方法を示すフローチャートである。
【０２８２】
まず、ステップ９００１ａでｓｔａｒｔして、ステップ９００１ｂで受光した光の強さに周期的な変化があるかどうかを確認して、ＹＥＳの場合はステップ９００１ｃへ進む。ＮＯの場合はステップ９００１ｄへ進み、受光部のレンズを広角にして広範囲の光を受光して、ステップ９００１ｂへ戻る。ステップ９００１ｃで信号を受信できるかどうかを確認して、ＹＥＳの場合はステップ９００１ｅへ進み、信号を受信して、ステップ９００１ｇで終了する。ＮＯの場合はステップ９００１ｆへ進み、受光部のレンズを望遠にして狭い範囲の光を受光して、ステップ９００１ｃへ戻る。
【０２８３】
この方法により、複数の送信機からの信号の干渉を排除しつつ、広い方向にある送信機からの信号を受信することができる。
【０２８４】
（送信機の方位の推定）
図４８は、実施の形態７における送信機の方位の推定方法を示すフローチャートである。
【０２８５】
まず、ステップ９００２ａでｓｔａｒｔして、ステップ９００２ｂで受光部のレンズを最大望遠にして、ステップ９００２ｃで受光した光の強さに周期的な変化があるかどうかを確認して、ＹＥＳの場合はステップ９００２ｄへ進む。ＮＯの場合はステップ９００２ｅへ進み、受光部のレンズを広角にして広範囲の光を受光して、ステップ９００２ｃへ戻る。ステップ９００２ｄで信号を受信して、ステップ９００２ｆで受光部のレンズを最大望遠とし、受光範囲の境界に沿うように受光方向を変化させ、受光強度が最大になる方向を検出し、送信機がその方向にあると推定して、ステップ９００２ｄで終了する。
【０２８６】
この方法により、送信機が存在する方向を推定することができる。なお、最初に最大広角にして、次第に望遠にしてもよい。
【０２８７】
（受信の開始）
図４９は、実施の形態７における受信の開始方法を示すフローチャートである。
【０２８８】
まず、ステップ９００３ａでｓｔａｒｔして、ステップ９００３ｂでＷｉ−ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）やＩＭＥＳ等の基地局からの信号を受信したかどうかを確認して、ＹＥＳの場合は、ステップ９００３ｃへ進む。ＮＯの場合はステップ９００３ｂへ戻る。ステップ９００３ｃで前記基地局が、受信開始のトリガとして受信機やサーバに登録されているかどうかを確認して、ＹＥＳの場合はステップ９００３ｄへ進み、信号の受信を開始して、ステップ９００３ｅで終了する。ＮＯの場合はステップ９００３ｂへ戻る。
【０２８９】
この方法により、ユーザが受信開始の操作をしなくても受信を開始することができる。また、常に受信を行うよりも消費電力を抑えることが出来る。
【０２９０】
（他媒体の情報を併用したＩＤの生成）
図５０は、実施の形態７における他媒体の情報を併用したＩＤの生成方法を示すフローチャートである。
【０２９１】
まず、ステップ９００４ａでｓｔａｒｔして、ステップ９００４ｂで接続されているキャリア通信網やＷｉ−ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）等のＩＤ、または、上記ＩＤから得た位置情報やＧＰＳ等から得た位置情報を上位ビットＩＤ索引サーバに送信する。ステップ９００４ｃで上位ビットＩＤ索引サーバから可視光ＩＤの上位ビットを受信して、ステップ９００４ｄで送信機からの信号を可視光ＩＤの下位ビットとして受信する。ステップ９００４ｅで可視光ＩＤの上位ビットと下位ビットを合わせてＩＤ解決サーバへ送信して、ステップ９００４ｆで終了する。
【０２９２】
この方法により、受信機の付近の場所で共通的に用いられる上位ビットを得ることができ、送信機が送信するデータ量を少なくすることができる。また、受信機が受信する速度を上げることができる。
【０２９３】
なお、送信機は上位ビットと下位ビットの両方を送信しているとしてもよい。この場合は、この方法を用いている受信機は下位ビットを受信した時点でＩＤを合成することができ、この方法を用いていない受信機は送信機からＩＤ全体を受信することでＩＤを得る。
【０２９４】
（周波数分離による受信方式の選択）
図５１は、実施の形態７における周波数分離による受信方式の選択方法を示すフローチャートである。
【０２９５】
まず、ステップ９００５ａでｓｔａｒｔして、ステップ９００５ｂで受光した光信号を周波数フィルタ回路にかける、または、離散フーリエ級数展開を行い周波数分解を行う。ステップ９００５ｃで低周波数成分が存在するかどうかを確認して、ＹＥＳの場合はステップ９００５ｄへ進み、周波数変調等の低周波数領域で表現された信号をデコードして、ステップ９００５ｅへ進む。ＮＯの場合はステップ９００５ｅへ進む。ステップ９００５ｅで前記基地局が、受信開始のトリガとして受信機やサーバに登録されているかどうかを確認して、ＹＥＳの場合はステップ９００５ｆへ進み、パルス位置変調等の高周波数領域で表現された信号をデコードして、ステップ９００５ｇへ進む。ＮＯの場合はステップ９００５ｇへ進む。ステップ９００５ｇで信号の受信を開始して、ステップ９００５ｈで終了する。
【０２９６】
この方法により、複数の変調方式で変調された信号を受信することができる。
【０２９７】
（露光時間が長い場合の信号受信）
図５２は、実施の形態７における露光時間が長い場合の信号受信方法を示すフローチャートである。
【０２９８】
まず、ステップ９０３０ａでｓｔａｒｔして、ステップ９０３０ｂで感度が設定できる場合は感度を最高に設定する。ステップ９０３０ｃで露光時間が設定できる場合は通常撮影モードよりも短い時間に設定する。ステップ９０３０ｄで２枚の画像を撮像して輝度の差分を求める。２枚の画像を撮像する間に撮像部の位置や方向が変化した場合はその変化をキャンセルして同じ位置・方向から撮像したかのような画像を生成して差分を求める。ステップ９０３０ｅで差分画像、または、撮像画像の露光ラインに平行な方向の輝度値を平均した値を求める。ステップ９０３０ｆで前記平均した値を、露光ラインに垂直な方向に並べ離散フーリエ変換を行って、ステップ９０３０ｇで所定の周波数の付近にピークがあるかどうかを認識して、ステップ９０３０ｈで終了する。
【０２９９】
この方法により、露光時間が設定できない場合や通常画像を同時に撮像する場合等、露光時間が長い場合においても信号を受信することができる。
【０３００】
露光時間を自動設定としている場合、カメラを照明として構成される送信機へ向けると、自動露出補正機能によって露光時間は６０分の１秒から４８０分の１秒程度に設定される。露光時間の設定ができない場合には、この条件で信号を受信する。実験では、照明を周期的に点滅させた場合、１周期の時間が露光時間の約１６分の１以上であれば、露光ラインに垂直な方向に縞が視認でき、画像処理によって点滅の周期を認識することができた。このとき、照明が写っている部分は輝度が高すぎて縞が確認しづらいため、照明光が反射している部分から信号の周期を求めるのが良い。
【０３０１】
周波数偏移変調方式や周波数多重変調方式のように、発光部を周期的に点灯・消灯させる方式を用いた場合は、パルス位置変調方式を用いた場合よりも、同じ変調周波数であっても人間にとってちらつきが視認しづらく、また、ビデオカメラで撮影した動画にもちらつきが現れにくい。そのため、低い周波数を変調周波数として用いることができる。人間の視覚の時間分解能は６０Ｈｚ程度であるため、この周波数以上の周波数を変調周波数として用いることができる。
【０３０２】
なお、変調周波数が受信機の撮像フレームレートの整数倍のときは、２枚の画像の同じ位置の画素は送信機の光パターンが同じ位相の時点で撮像を行うため、差分画像に輝線があらわれず、受信が行いにくい。受信機の撮像フレームレートは通常３０ｆｐｓであるため、変調周波数は３０Ｈｚの整数倍以外に設定すると受信が行い易い。また、受信機の撮像フレームレートは様々なものが存在するため、互いに素な二つの変調周波数を同じ信号に割り当て、送信機は、その二つの変調周波数を交互に用いて送信することで、受信機は、少なくとも一つの信号を受信することで、容易に信号を復元できる。
【０３０３】
図５３は、送信機の調光（明るさを調整すること）方法の一例を示す図である。
【０３０４】
輝度が高い区間と輝度が低い区間の割合を調整することで、平均輝度が変化し、明るさを調整することができる。このとき、輝度の高低を繰り返す周期Ｔ１を一定に保つことで、周波数ピークを一定に保つことが出来る。例えば、図５３の（ａ）、（ｂ）、（ｃ）のいずれも、平均輝度よりも明るくなる第１の輝度変化と、第２の輝度変化の間の時間Ｔ１は一定に保ちながら、送信機を暗く調光する際には、平均輝度よりも明るく照明する時間を短くする。一方、送信機を明るく調光する際には、平均輝度よりも明るく照明する時間を長くする。図５３の（ｂ）、（ｃ）は、（ａ）よりも暗く調光されており、図５３の（ｃ）は、最も暗く調光されている。これにより、同一の意味を持った信号を送信しながら調光を行うことが出来る。
【０３０５】
輝度の高い区間の輝度、または、輝度が低い区間の輝度、または、その両方の輝度の値を変化させることで、平均輝度を変化させるとしてもよい。
【０３０６】
図５４は、送信機の調光機能を構成する方法の一例を示す図である。
【０３０７】
構成部品の精度には限界があるため、同じ調光設定を行ったとしても、別の送信機とは明るさが微妙に異なる。しかし、送信機を並べて配置する場合には、隣接する送信機の明るさが異なっていると、不自然さが感じられる。そこで、ユーザは、調光補正操作部を操作することで、送信機の明るさを調整する。調光補正部は、補正値を保持し、調光制御部は、補正値に従って発光部の明るさを制御する。ユーザが調光操作部を操作することによって調光の程度が変化された場合には、調光制御部は、変化された調光設定値と調光補正部に保持された補正値をもとに、発光部の明るさを制御する。また、調光制御部は、連動調光部を通して、他の送信機に調光設定値を伝える。他の機器から連動調光部を通して調光設定値が伝えられた場合には、調光制御部は、その調光設定値と調光補正部に保持された補正値をもとに、発光部の明るさを制御する。
【０３０８】
本発明の一つの実施形態によれば、発光体を輝度変化させることによって信号を送信する情報通信装置を制御する制御方法であって、情報通信装置のコンピュータに対して、複数の異なる信号を含む、送信対象の信号を変調させることによって、異なる信号毎に、異なる周波数の輝度変化のパターンを決定させる決定ステップと、単一の周波数に該当する時間に、単一の信号を変調した輝度変化のパターンのみを含むように、発光体を輝度変化させることによって送信対象の信号を送信させる送信ステップと、を有する、制御方法であってもよい。
【０３０９】
例えば、単一の周波数に該当する時間に、複数の信号を変調した輝度変化のパターンを含む場合、時間経過による輝度変化の波形が複雑になり、適切に受信することが困難となる。しかしながら、単一の周波数に該当する時間に、単一の信号を変調した輝度変化のパターンのみを含むように制御することにより、受信する際により適切に受信を行うことが可能となる。
【０３１０】
本発明の一つの実施の形態によれば、決定ステップは、所定の時間内において、複数の異なる信号のうちの一つの信号を送信させる送信回数が、他の信号を送信させる送信回数と異なるように、送信回数を決定させてもよい。
【０３１１】
一つの信号を送信させる送信回数が、他の信号を送信させる送信回数と異なることにより、送信する際のちらつきを防ぐことが可能となる。
【０３１２】
本発明の一つの実施の形態によれば、決定ステップは、所定の時間内において、高い周波数に該当する信号の送信回数を、他の信号の送信回数よりも多くさせもよい。
【０３１３】
受信側において周波数変換を行う際に、高い周波数に該当する信号は、輝度が小さくなるが、送信回数を多くすることにより、周波数変換を行う際の輝度値を大きくすることが可能となる。
【０３１４】
本発明の一つの実施の形態によれば、輝度変化のパターンは、時間経過による輝度変化の波形が、矩形波、三角波、鋸波のいずれかとなるパターンであってもよい。
【０３１５】
矩形波などにすることにより、より適切に受信を行うことが可能となる。
【０３１６】
本発明の一つの実施の形態によれば、発光体の平均輝度の値を大きくする場合に、単一の周波数に該当する時間において、発光体の輝度が所定の値よりも大きくなる時間を、前記発光体の平均輝度の値を小さくする場合に対して、長くしてもよい。
【０３１７】
単一の周波数に該当する時間において、発光体の輝度が所定の値よりも大きくなる時間を調整することにより、信号を送信し、かつ、発光体の平均輝度を調整することが可能となる。例えば、発光体を照明として使用する場合には、全体の明るさを暗くしたり、明るくしたりしながら、信号を送信することが可能となる。
【０３１８】
受信機は，露光時間を設定するＡＰＩ（アプリケーション・プログラミング・インタフェースの略で、ＯＳの機能を利用するための手段を指す）を利用することで、露光時間を所定の値に設定することができ、可視光信号を安定して受信することができる。また、受信機は、感度を設定するＡＰＩを利用することで、感度を所定の値に設定することができ、送信信号の明るさが暗い場合や明るい場合でも可視光信号を安定して受信することができる。
【０３１９】
（実施の形態８）
本実施の形態では、上記各実施の形態におけるスマートフォンなどの受信機と、ＬＥＤや有機ＥＬの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
【０３２０】
ここで、ＥＸズームについて説明する。
【０３２１】
図５５は、ＥＸズームを説明するための図である。
【０３２２】
ズーム、つまり、大きな像を得る方法には、レンズの焦点距離を調整して撮像素子に写る像の大きさを変化させる光学ズームと、撮像素子に写った像をデジタル処理で補間して大きな像を得るデジタルズームと、撮像に用いられる複数の撮像素子を変更することで大きな像を得るＥＸズームとがある。ＥＸズームは、撮像画像の解像度に比べてイメージセンサに含まれる撮像素子の数が多い場合に利用できる。
【０３２３】
例えば、図５５に示すイメージセンサ１００８０ａでは、３２×２４個の撮像素子がマトリックス状に配列されている。つまり、撮像素子が横に３２個、縦に２４個配置されている。このイメージセンサ１００８０ａによる撮像によって、横１６×縦１２の解像度の画像を得る場合、図５５の（ａ）に示すように、イメージセンサ１００８０ａに含まれる３２×２４個の撮像素子のうち、イメージセンサ１００８０ａにおいて全体的に均等に分散して配置された１６×１２個の撮像素子（例えば、図５５の（ａ）におけるイメージセンサ１０８０ａ中の黒四角によって示される撮像素子）だけが撮像に用いられる。つまり、縦方向および横方向のそれぞれに配列される複数の撮像素子のうち、奇数番目または偶数番目の撮像素子だけが撮像に用いられる。これにより、所望の解像度の画像１００８０ｂが得られる。なお、図５５において、イメージセンサ１００８ａに被写体が現れているが、これは、各撮像素子と、撮像によって得られる画像との対応関係を分かりやすくするためである。
【０３２４】
このイメージセンサ１００８０ａを備えた受信機は、広い範囲を撮像することで、送信機を探索したり、多くの送信機からの情報を受信したりする場合は、イメージセンサ１００８０ａにおいて全体的に均等に分散して配置された一部の撮像素子のみを用いて撮像する。
【０３２５】
また、受信機は、ＥＸズームを行うときには、図５５の（ｂ）に示すように、イメージセンサ１００８０ａにおいて、局所的に密に配置された一部の撮像素子（例えば、図５５の（ｂ）におけるイメージセンサ１０８０ａ中の黒四角によって示される１６×１２個の撮像素子）のみを撮像に用いる。これにより、画像１００８０ｂのうち、その一部の撮像素子に対応する部分がズームされることになり、画像１００８０ｄが得られる。このようなＥＸズームによって、送信機を大きく撮像することで、可視光信号を長時間受信できるようになり、受信速度が向上し、また、遠くから可視光信号を受信できる。
【０３２６】
デジタルズームでは、可視光信号を受ける露光ラインの数を増やすことはできず、可視光信号の受信時間も増加しないため、可能な限り他のズームを用いるほうがよい。光学ズームは、レンズやイメージセンサの物理的な移動時間が必要であるが、ＥＸズームは電子的な設定変更のみで行われるため、ズームにかかる時間が短いという利点がある。この観点から、各ズームの優先順位は、（１）ＥＸズーム、（２）光学ズーム、（３）デジタルズームである。受信機は、この優先順位と、ズーム倍率の必要性とに応じて、いずれか１つまたは複数のズームを選択して用いてもよい。なお、図５５の（ａ）および（ｂ）に示す撮像方法では、使用していない撮像素子を用いることで、画像ノイズを抑えることが可能である。
【０３２７】
（実施の形態９）
本実施の形態では、上記各実施の形態におけるスマートフォンなどの受信機と、ＬＥＤや有機ＥＬの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
【０３２８】
本実施の形態では、露光ライン毎または撮像素子毎に露光時間を設定する。
【０３２９】
図５６、図５７、図５８は、実施の形態９における信号受信方法の一例を示す図である。
【０３３０】
図５６に示すように、受信機に備えられている撮像部であるイメージセンサ１００１０ａでは、露光ライン毎に露光時間が設定される。即ち、所定の露光ライン（図５６中における白い露光ライン）には、通常撮像用の長い露光時間が設定され、他の露光ライン（図５６中における黒い露光ライン）には、可視光撮像用の短い露光時間が設定されている。例えば、垂直方向に配列されている各露光ラインに対して、長い露光時間と短い露光時間とが交互に設定されている。これにより、輝度変化によって可視光信号を送信する送信機を撮像する際に、通常撮像と可視光撮像（可視光通信）とをほぼ同時に行うことができる。なお、二つの露光時間は１ライン毎に交互に設定されてもよいし、数ライン毎に設定されてもよいし、イメージセンサ１００１０ａの上部と下部で別々の露光時間が設定されてもよい。このように２つの露光時間を用いることにより、同じ露光時間に設定された複数の露光ラインの撮像によって得られたデータをそれぞれまとめると、通常撮像画像１００１０ｂと、複数の輝線のパターンを示す輝線画像である可視光撮像画像１００１０ｃとが得られる。通常撮像画像１００１０ｂでは、長い露光時間で撮像していない部分（つまり、短い露光時間に設定された複数の露光ラインに対応する画像）が欠けているため、その部分を補間することで、プレビュー画像１００１０ｄを表示することができる。ここで、プレビュー画像１００１０ｄには、可視光通信によって得られた情報を重畳することができる。この情報は、可視光撮像画像１００１０ｃに含まれる複数の輝線のパターンを復号することによって得られた可視光信号に関連付けられた情報である。なお、受信機は、通常撮像画像１００１０ｂ、またはその通常撮像画像１００１０ｂに対して補間が行われた画像を撮像画像として保存し、受信した可視光信号、またはその可視光信号に関連付けられた情報を付加情報として、保存される撮像画像に付加することもできる。
【０３３１】
図５７に示すように、イメージセンサ１００１０ａの代わりにイメージセンサ１００１１ａを用いてもよい。イメージセンサ１０１１ａでは、露光ラインごとにではなく、露光ラインと垂直な方向に沿って配列された複数の撮像素子からなる列（以下、垂直ラインという）ごとに、露光時間が設定される。即ち、所定の垂直ライン（図５７中における白い垂直ライン）には、通常撮像用の長い露光時間が設定され、他の垂直ライン（図５７中における黒い垂直ライン）には、可視光撮像用の短い露光時間が設定されている。この場合、イメージセンサ１００１１ａでは、イメージセンサ１００１０ａと同様に、露光ラインごとに互いに異なるタイミングで露光が開始されるが、露光ラインのそれぞれで、その露光ラインに含まれる各撮像素子の露光時間が異なる。受信機は、このイメージセンサ１００１１ａによる撮像によって、通常撮像画像１００１１ｂと、可視光撮像画像１００１１ｃとを得る。さらに、受信機は、この通常撮像画像１００１１ｂと、可視光撮像画像１００１１ｃから得られた可視光信号に関連付けられた情報とに基づいて、プレビュー画像１００１１ｄを生成して表示する。
【０３３２】
このイメージセンサ１００１１ａでは、イメージセンサ１００１０ａとは異なり、可視光撮像に全ての露光ラインを用いることができる。その結果、イメージセンサ１００１１ａによって得られる可視光撮像画像１００１１ｃには、可視光撮像画像１００１０ｃと比べて輝線が多く含まれているため、可視光信号の受信精度を高くすることができる。
【０３３３】
また、図５８に示すように、イメージセンサ１００１０ａの代わりにイメージセンサ１００１２ａを用いてもよい。イメージセンサ１００１２ａでは、水平方向および垂直方向に沿って各撮像素子に対して連続して同じ露光時間が設定されないように、撮像素子ごとに露光時間が設定される。つまり、長い露光時間が設定される複数の撮像素子と、短い露光時間が設定される複数の撮像素子とが、格子状または市松模様のように分布するように、各撮像素子に対して露光時間が設定される。この場合も、イメージセンサ１００１０ａと同様に、露光ラインごとに互いに異なるタイミングで露光が開始されるが、露光ラインのそれぞれで、その露光ラインに含まれる各撮像素子の露光時間が異なる。受信機は、このイメージセンサ１００１２ａによる撮像によって、通常撮像画像１００１２ｂと、可視光撮像画像１００１２ｃとを得る。さらに、受信機は、この通常撮像画像１００１２ｂと、可視光撮像画像１００１２ｃから得られた可視光信号に関連付けられた情報とに基づいて、プレビュー画像１００１２ｄを生成して表示する。
【０３３４】
イメージセンサ１００１２ａによって得られる通常撮像画像１００１２ｂは、格子状に配置された、または均一に配置された複数の撮像素子のデータを持つため、通常撮像画像１００１０ｂと通常撮像画像１００１１ｂよりも正確に補間やリサイズをすることができる。また、可視光撮像画像１００１２ｃは、イメージセンサ１００１２ａの全ての露光ラインを用いた撮像によって生成されている。つまり、このイメージセンサ１００１２ａでは、イメージセンサ１００１０ａとは異なり、可視光撮像に全ての露光ラインを用いることができる。その結果、イメージセンサ１００１２ａによって得られる可視光撮像画像１００１２ｃには、可視光撮像画像１００１１ｃと同様に、可視光撮像画像１００１０ｃと比べて輝線が多く含まれているため、可視光信号の受信を高精度に行うことができる。
【０３３５】
ここで、プレビュー画像のインタレース表示について説明する。
【０３３６】
図５９は、実施の形態９における受信機の画面表示方法の一例を示す図である。
【０３３７】
上述の図５６に示すイメージセンサ１００１０ａを備える受信機は、奇数番目の露光ライン（以下、奇数ラインという）に設定される露光時間と、偶数番目の露光ライン（以下、偶数ラインという）に設定される露光時間とを所定の時間ごとに入れ替える。例えば、図５９に示すように、受信機は、時刻ｔ１で、奇数ラインの各撮像素子に対して長い露光時間を設定し、偶数ラインの各撮像素子に対して短い露光時間を設定し、それらの設定された露光時間を用いた撮像を行う。さらに、受信機は、時刻ｔ２で、奇数ラインの各撮像素子に対して短い露光時間を設定し、偶数ラインの各撮像素子に対して長い露光時間を設定し、それらの設定された露光時間を用いた撮像を行う。そして、受信機は、時刻ｔ３で、時刻ｔ１のときと同様に設定された各露光時間を用いた撮像を行い、時刻ｔ４で、時刻ｔ２のときと同様に設定された各露光時間を用いた撮像を行う。
【０３３８】
また、受信機は、時刻ｔ１では、撮像によって複数の奇数ラインのそれぞれから得られる画像（以下、奇数ライン像という）と、撮像によって複数の偶数ラインのそれぞれから得られる画像（以下、偶数ライン像という）とを含むＩｍａｇｅ１を取得する。このときには、複数の偶数ラインのそれぞれでは露光時間が短いため、偶数ライン像のそれぞれには、被写体が鮮明に映し出されていない。したがって、受信機は、複数の奇数ライン像に対して画素値の補間を行うことによって、複数の補間ライン像を生成する。そして、受信機は、複数の偶数ライン像の代わりに複数の補間ライン像を含むプレビュー画像を表示する。つまり、プレビュー画像には、奇数ライン像と補間ライン像とが交互に配列されている。
【０３３９】
受信機は、時刻ｔ２では、撮像によって複数の奇数ライン像と偶数ライン像とを含むＩｍａｇｅ２を取得する。このときには、複数の奇数ラインのそれぞれでは、露光時間が短いため、奇数ライン像のそれぞれには、被写体が鮮明に映し出されていない。したがって、受信機は、Ｉｍａｇｅ２の奇数ライン像の代わりに、Ｉｍａｇｅ１の奇数ライン像を含むプレビュー画像を表示する。つまり、プレビュー画像には、Ｉｍａｇｅ１の奇数ライン像とＩｍａｇｅ２の偶数ライン像とが交互に配列されている。
【０３４０】
さらに、受信機は、時刻ｔ３では、撮像によって複数の奇数ライン像と偶数ライン像とを含むＩｍａｇｅ３を取得する。このときには、時刻ｔ１のときと同様に、複数の偶数ラインのそれぞれでは、露光時間が短いため、偶数ライン像のそれぞれには、被写体が鮮明に映し出されていない。したがって、受信機は、Ｉｍａｇｅ３の偶数ライン像の代わりに、Ｉｍａｇｅ２の偶数ライン像を含むプレビュー画像を表示する。つまり、プレビュー画像には、Ｉｍａｇｅ２の偶数ライン像とＩｍａｇｅ３の奇数ライン像とが交互に配列されている。そして、受信機は、時刻ｔ４では、撮像によって複数の奇数ライン像と偶数ライン像とを含むＩｍａｇｅ４を取得する。このときには、時刻ｔ２のときと同様に、複数の奇数ラインのそれぞれでは、露光時間が短いため、奇数ライン像のそれぞれには、被写体が鮮明に映し出されていない。したがって、受信機は、Ｉｍａｇｅ４の奇数ライン像の代わりに、Ｉｍａｇｅ３の奇数ライン像を含むプレビュー画像を表示する。つまり、プレビュー画像には、Ｉｍａｇｅ３の奇数ライン像とＩｍａｇｅ４の偶数ライン像とが交互に配列されている。
【０３４１】
このように、受信機は、取得されたタイミングが互いに異なる偶数ライン像と奇数ライン像とを含むＩｍａｇｅを表示する、いわゆるインタレース表示を行う。
【０３４２】
これのような受信機は、可視光撮像を行いながら精細なプレビュー画像を表示することができる。なお、同じ露光時間が設定される複数の撮像素子は、イメージセンサ１００１０ａのように露光ラインに水平な方向に沿って配列されている複数の撮像素子でもよいし、イメージセンサ１００１１ａのように露光ラインに垂直な方向に沿って配列されている複数の撮像素子でもよいし、イメージセンサ１００１２ａのように市松模様にしたがって配列されている複数の撮像素子であってもよい。また、受信機は、プレビュー画像を撮像データとして保存してもよい。
【０３４３】
次に、通常撮像と可視光撮像の空間比率について説明する。
【０３４４】
図６０は、実施の形態９における信号受信方法の一例を示す図である。
【０３４５】
受信機に備えられるイメージセンサ１００１４ｂでは、上述のイメージセンサ１００１０ａと同様に、露光ラインごとに長い露光時間または短い露光時間が設定される。このイメージセンサ１００１４ｂでは、長い露光時間が設定される撮像素子の数と、短い露光時間が設定される撮像素子の数との比は、１：１である。なお、この比は、通常撮像と可視光撮像との比であって、以下、空間比率という。
【０３４６】
しかし、本実施の形態では、その空間比率は１：１である必要はない。例えば、受信機は、イメージセンサ１００１４ａを備えていてもよい。このイメージセンサ１００１４ａでは、短い露光時間の撮像素子の方が、長い露光時間の撮像素子よりも多く、空間比率は、１：Ｎ（Ｎ＞１）である。また、受信機は、イメージセンサ１００１４ｃを備えていてもよい。このイメージセンサ１００１４ｃでは、短い露光時間の撮像素子の方が、長い露光時間の撮像素子よりも少なく、空間比率は、Ｎ（Ｎ＞１）：１である。また、受信機は、イメージセンサ１００１４ａ〜１００１４ｃの代わりに、上述の垂直ラインごとに露光時間が設定され、それぞれ１：Ｎ、１：１、またはＮ：１の空間比率を有するイメージセンサ１００１５ａ〜１００１５ｃの何れかを備えてもよい。
【０３４７】
このようなイメージセンサ１００１４ａ，１００１５ａでは、短い露光時間の撮像素子が多いため、可視光信号の受信精度または受信速度を高めることができる。一方、イメージセンサ１００１４ｃ，１００１５ｃでは、長い露光時間の撮像素子が多いため、精細なプレビュー画像を表示することができる。
【０３４８】
また、受信機は、イメージセンサ１００１４ａ，１００１４ｃ，１００１５ａ，１００１５ｃを用いて、図５９に示すように、インタレース表示を行ってもよい。
【０３４９】
次に、通常撮像と可視光撮像の時間比率について説明する。
【０３５０】
図６１は、実施の形態９における信号受信方法の一例を示す図である。
【０３５１】
受信機は、図６１の（ａ）に示すように、撮像モードを１フレーム毎に通常撮像モードと可視光撮像モードとに切り替えてもよい。通常撮像モードは、受信機のイメージセンサの全ての撮像素子に対して、通常撮像用の長い露光時間が設定される撮像モードである。可視光撮像モードは、受信機のイメージセンサの全ての撮像素子に対して、可視光撮像用の短い露光時間が設定される撮像モードである。このように、露光時間の長い／短いを切り替えることで、短い露光時間での撮像によって可視光信号を受信しながら、長い露光時間での撮像によってプレビュー画像を表示することができる。
【０３５２】
なお、受信機は、長い露光時間を自動露出によって決定する場合には、短い露光時間での撮像によって得られた画像を無視し、長い露光時間での撮像によって得られた画像の明るさのみを基準に自動露出を行ってもよい。これにより、長い露光時間を適切な時間に決定することができる。
【０３５３】
また、受信機は、図６１の（ｂ）に示すように、撮像モードを複数フレームのセットごとに通常撮像モードと可視光撮像モードとに切り替えてもよい。露光時間の切替に時間がかかる場合や、露光時間が安定するまでに時間がかかる場合には、図６１の（ｂ）に示すように、複数フレームのセットごとに露光時間を変化させることで、可視光撮像（可視光信号の受信）と通常撮像とを両立させることができる。また、セットに含まれるフレームの数が多いほど、露光時間の切替の回数が少なくなるため、受信機における電力消費、及び、発熱を抑えることができる。
【０３５４】
ここで、通常撮像モードでの長い露光時間の撮像によって連続して生成される少なくとも１つのフレームの数と、可視光撮像モードでの短い露光時間の撮像によって連続して生成される少なくとも１つのフレームの数との比（以下、時間比率という）は、１：１でなくてもよい。つまり、図６１の（ａ）および（ｂ）に示す場合では、時間比率は１：１であるが、その時間比率は１：１でなくてもよい。
【０３５５】
例えば、受信機は、図６１の（ｃ）に示すように、可視光撮像モードのフレームを、通常撮像モードのフレームより多くしてもよい。これにより、可視光信号の受信速度を速くすることができる。プレビュー画像のフレームレートが所定のレート以上であれば、フレームレートによるプレビュー画像の違いは人間の目には認識されない。撮像のフレームレートが十分高い場合、例えば、そのフレームレートが１２０ｆｐｓの場合には、受信機は、連続する３フレームに対して可視光撮像モードを設定し、次く１フレームに対して可視光撮像モードを設定する。これにより、受信機は、上述の所定のレートよりも十分に高い３０ｆｐｓのフレームレートでプレビュー画像を表示しながら、高速に可視光信号を受信することができる。また、切替の回数が少なくなるため、図６１の（ｂ）で説明した効果も得られる。
【０３５６】
また、受信機は、図６１の（ｄ）に示すように、通常撮像モードのフレームを、可視光撮像モードのフレームより多くしてもよい。このように、通常撮像モードのフレーム、つまり、長い露光時間での撮像によって得られるフレームを多くすることで、プレビュー画像を滑らかに表示することができる。また、可視光信号の受信処理を行う回数が減るため、省電力効果がある。また、切替の回数が少なくなるため、図６１の（ｂ）で説明した効果も得られる。
【０３５７】
また、受信機は、図６１の（ｅ）に示すように、まず、図６１の（ａ）に示す場合と同様に、１フレームごとに撮像モードを切り替え、次に、可視光信号の受信が完了すると、図６１の（ｄ）に示す場合と同様に、通常撮像モードのフレームを多くしてもよい。これにより、可視光信号の受信完了後には、プレビュー画像を滑らかに表示しつつ、新たな可視光信号が存在しないかの探索を続けることができる。また、切替の回数が少なくなるため、図６１の（ｂ）で説明した効果も得られる。
【０３５８】
図６２は、実施の形態９における信号受信方法の一例を示すフローチャートである。
【０３５９】
受信機は、可視光信号を受信する処理である可視光受信を開始し（ステップＳ１００１７ａ）、露光時間長短設定比を、ユーザが指定した値に設定する（ステップＳ１００１７ｂ）。露光時間長短設定比は、上述の空間比率と時間比率のうちの少なくとも１つである。ユーザは、空間比率のみ、時間比率のみ、または、その空間比率および時間比率の双方の値を指定してもよいし、受信機がユーザによる指定に関わらず自動で設定してもよい。
【０３６０】
次に、受信機は、受信性能が所定の値以下であるか否かを判定する（ステップＳ１００１７ｃ）。所定の値以下であると判定すると（ステップＳ１００１７ｃのＹ）、受信機は、短い露光時間の比率を高く設定する（ステップＳ１００１７ｄ）。これにより、受信性能を高めることができる。なお、短い露光時間の比率は、空間比率の場合、長い露光時間が設定される撮像素子の数に対する、短い露光時間が設定される撮像素子の数の比率であり、時間比率の場合、通常撮像モードで連続して生成されるフレームの数に対する、可視光撮像モードで連続して生成されるフレームの数の比率である。
【０３６１】
次に、受信機は、可視光信号の少なくとも一部を受信し、その受信された可視光信号の少なくとも一部（以下、受信信号という）に優先度が設定されているか否かを判定する（ステップＳ１００１７ｅ）。なお、優先度が設定されている場合には、優先度を示す識別子が受信信号に含まれている。受信機は、優先度が設定されていると判定すると（ステップＳ１００１７ｅのＹ）、その優先度にしたがって露光時間長短比を設定する（ステップＳ１００１７ｆ）。すなわち、優先度が高ければ、受信機は、短い露光時間の比率を高く設定する。例えば、送信機として構成された非常灯が輝度変化することによって、高い優先度を示す識別子を発している。この場合、受信機は、短い露光時間の比率を高くすることで受信速度を上げ、速やかに避難経路などを表示することができる。
【０３６２】
次に、受信機は、可視光信号の全ての受信が完了したか否かを判定する（ステップＳ１００１７ｇ）。ここで、完了していないと判定したときには（ステップＳ１００１７ｇのＮ）、受信機はステップＳ１００１７ｃからの処理を繰り返し実行する。一方、完了したと判定したときには（ステップＳ１００１７ｇのＹ）、受信機は、長い露光時間の比率を高く設定し、省電力モードに移行する（ステップＳ１００１７ｈ）。なお、長い露光時間の比率は、空間比率の場合、短い露光時間が設定される撮像素子の数に対する、長い露光時間が設定される撮像素子の数の比率であり、時間比率の場合、可視光撮像モードで連続して生成されるフレームの数に対する、通常撮像モードで連続して生成されるフレームの数の比率である。これにより、不要な可視光受信を行わず、プレビュー画像を滑らかに表示することができる。
【０３６３】
次に、受信機は、別の可視光信号を発見したか否かを判定する（ステップＳ１００１７ｉ）。ここで、発見したと判定したときには（ステップＳ１００１７ｉのＹ）、受信機は、ステップＳ１００１７ｂからの処理を繰り返し実行する。
【０３６４】
次に、可視光撮像と通常撮像との同時実行について説明する。
【０３６５】
図６３は、実施の形態９における信号受信方法の一例を示す図である。
【０３６６】
受信機は、イメージセンサに２以上の露光時間を設定してもよい。つまり、図６３の（ａ）に示すように、イメージセンサに含まれる露光ラインのそれぞれは、設定された２以上の露光時間のうち、最も長い露光時間だけ連続して露光される。受信機は、露光ラインごとに、上述の設定された２以上の露光時間がそれぞれ経過した時点で、その露光ラインの露光によって得られた撮像データを読み出す。ここで、受信機は、最も長い露光時間が経過するまでは、読み出された撮像データをリセットしない。したがって、受信機は、読み出された撮像データの累積値を記録しておくことで、最も長い露光時間の露光だけで、複数の露光時間での撮像データを得ることができる。なお、イメージセンサは、撮像データの累積値の記録を行ってもよいし、行わなくてもよい。イメージセンサが行わない場合には、イメージセンサからデータを読み出す受信機の構成要素が、累積の計算、つまり撮像データの累積値の記録を行う。
【０３６７】
例えば、露光時間が２つ設定されている場合には、図６３の（ａ）に示すように、受信機は、短い露光時間の露光によって生成された、可視光信号を含む可視光撮像データを読み出し、続けて、長い露光時間の露光によって生成された通常撮像データを読み出す。
【０３６８】
これにより、可視光信号を受信するための撮像である可視光撮像と、通常撮像とを同時に行うことができ、可視光信号を受信しながら通常の撮像を行うことができる。また、複数の露光時間のデータを用いることで、サンプリング定理以上の信号周波数を認識することができ、高周波信号や高密度変調信号の受信を行うことができる。
【０３６９】
さらに、受信機は、撮像データを出力する際、図６３（ｂ）に示すように、その撮像データを撮像データボディとして含むデータ列を出力する。つまり、受信機は、撮像モード（可視光撮像または通常撮像）を示す撮像モード識別子と、撮像素子または撮像素子が属する露光ラインを特定するための撮像素子識別子と、撮像データボディが何番目の露光時間の撮像データであるかを示す撮像データ番号と、撮像データボディのサイズを示す撮像データ長とを含む付加情報を、撮像データボディに付加することによって、上述のデータ列を生成して出力する。図６３の（ａ）を用いて説明した撮像データの読み出し方法では、それぞれの撮像データが露光ラインの順番に出力されるとは限らない。そこで、図６３の（ｂ）に示す付加情報を付加することで、撮像データがどの露光ラインの撮像データであるかを特定することができる。
【０３７０】
図６４は、実施の形態９における受信プログラムの処理を示すフローチャートである。
【０３７１】
この受信プログラムは、受信機に備えられたコンピュータに例えば図５６〜図６３に示す処理を実行させるプログラムである。
【０３７２】
つまり、この受信プログラムは、輝度変化する発光体から、情報を受信するための受信プログラムである。具体的には、この受信プログラムは、ステップＳＡ３１、ステップＳＡ３２およびステップＳＡ３３をコンピュータに実行させる。ステップＳＡ３１では、イメージセンサに含まれるＫ個（Ｋは４以上の整数）の撮像素子のうちの一部の複数の撮像素子に対して第１の露光時間を設定し、Ｋ個の撮像素子のうちの残りの複数の撮像素子に対して、第１の露光時間よりも短い第２の露光時間を設定する。ステップＳＡ３２では、輝度変化する発光体である被写体を、設定された第１および第２の露光時間でイメージセンサに撮像させることによって、第１の露光時間が設定された複数の撮像素子からの出力に応じた通常画像を取得するとともに、第２の露光時間が設定された複数の撮像素子からの出力に応じた画像であって、イメージセンサに含まれる複数の露光ラインのそれぞれに対応する輝線を含む画像である輝線画像を取得する。ステップＳＡ３３では、取得された輝線画像に含まれる複数の輝線のパターンを復号することにより情報を取得する。
【０３７３】
これにより、第１の露光時間が設定される複数の撮像素子と、第２の露光時間が設定される複数の撮像素子とによって撮像が行われるため、イメージセンサによる１回の撮像で、通常画像と輝線画像とを取得することができる。つまり、通常画像の撮像と、可視光通信による情報の取得とを同時に行うことができる。
【０３７４】
また、露光時間設定ステップＳＡ３１では、イメージセンサに含まれるＬ個（Ｌは４以上の整数）の撮像素子列のうちの一部の複数の撮像素子列に対して、第１の露光時間を設定し、Ｌ個の撮像素子列のうちの残りの複数の撮像素子列に対して、第２の露光時間を設定する。ここで、Ｌ個の撮像素子列のそれぞれは、イメージセンサに含まれる、一列に配列された複数の撮像素子からなる。
【０３７５】
これにより、小さな単位である撮像素子のそれぞれに対して個別に露光時間を設定することなく、大きな単位である撮像素子列ごとに露光時間を設定することができ、処理負担を軽減することができる。
【０３７６】
例えば、Ｌ個の撮像素子列のそれぞれは、図５６に示すように、イメージセンサに含まれる露光ラインである。または、Ｌ個の撮像素子列のそれぞれは、図５７に示すように、イメージセンサに含まれる露光ラインに垂直な方向に沿って配列された複数の撮像素子からなる。
【０３７７】
また、図５９に示すように、露光時間設定ステップＳＡ３１では、イメージセンサに含まれるＬ個の撮像素子列のうちの奇数番目にある撮像素子列のそれぞれに対して同一の露光時間である、第１および第２の露光時間のうちの一方を設定し、Ｌ個の撮像素子列のうちの偶数番目にある撮像素子列のそれぞれに対して同一の露光時間である、第１および第２の露光時間のうちの他方を設定してもよい。そして、露光時間設定ステップＳＡ３１、画像取得ステップＳＡ３２および情報取得ステップＳＡ３３を繰り返す場合、繰り返される露光時間設定ステップＳＡ３１では、直前の露光時間設定ステップＳＡ３１で、奇数番目の撮像素子列のそれぞれに設定されていた露光時間と、偶数番目の撮像素子列のそれぞれに設定されていた露光時間とを入れ替えてもよい。
【０３７８】
これにより、通常画像の取得が行われるごとに、その取得に用いられる複数の撮像素子列を、奇数番目の複数の撮像素子列と、偶数番目の複数の撮像素子列とに切り替えることができる。その結果、順次取得される通常画像のそれぞれをインタレースによって表示することができる。また、連続して取得された２つの通常画像を互いに補完することによって、奇数番目の複数の撮像素子列による画像と、偶数番目の複数の撮像素子列による画像と含む新たな通常画像を生成することができる。
【０３７９】
また、図６０に示すように、露光時間設定ステップＳＡ３１では、設定モードを通常優先モードと可視光優先モードとに切り替え、通常優先モードに切り替えられる場合には、第１の露光時間が設定される撮像素子の数を、第２の露光時間が設定される撮像素子の数よりも多くしてもよい。また、可視光優先モードに切り替えられる場合には、第１の露光時間が設定される撮像素子の数を、第２の露光時間が設定される撮像素子の数よりも少なくしてもよい。
【０３８０】
これにより、設定モードが通常優先モードに切り替えられた場合には、通常画像の画質を向上することができ、可視光優先モードに切り替えられた場合には、発光体からの情報の受信効率を向上することができる。
【０３８１】
また、図５８に示すように、露光時間設定ステップＳＡ３１では、第１の露光時間が設定される複数の撮像素子と、第２の露光時間が設定される複数の撮像素子とが、市松模様（Checkered pattern）のように分布するように、イメージセンサに含まれる撮像素子ごとに、その撮像素子の露光時間を設定してもよい。
【０３８２】
これにより、第１の露光時間が設定される複数の撮像素子と、第２の露光時間が設定される複数の撮像素子とがそれぞれ均一に分布するため、水平方向および垂直方向に画質の偏りのない通常画像および輝線画像を取得することができる。
【０３８３】
図６５は、実施の形態９における受信装置のブロック図である。
【０３８４】
この受信装置Ａ３０は、例えば図５６〜図６３に示す処理を実行する上述の受信機である。
【０３８５】
つまり、この受信装置Ａ３０は、輝度変化する発光体から情報を受信する受信装置であって、複数露光時間設定部Ａ３１と、撮像部Ａ３２と、復号部Ａ３３とを備える。複数露光時間設定部Ａ３１は、イメージセンサに含まれるＫ個（Ｋは４以上の整数）の撮像素子のうちの一部の複数の撮像素子に対して第１の露光時間を設定し、Ｋ個の撮像素子のうちの残りの複数の撮像素子に対して、第１の露光時間よりも短い第２の露光時間を設定する。撮像部Ａ３２は、輝度変化する発光体である被写体を、設定された第１および第２の露光時間でイメージセンサに撮像させることによって、第１の露光時間が設定された複数の撮像素子からの出力に応じた通常画像を取得するとともに、第２の露光時間が設定された複数の撮像素子からの出力に応じた画像であって、イメージセンサに含まれる複数の露光ラインのそれぞれに対応する輝線を含む画像である輝線画像を取得する。復号部Ａ３３は、取得された輝線画像に含まれる複数の輝線のパターンを復号することにより情報を取得する。このような受信装置Ａ３０では、上述の受信プログラムと同様の効果を奏することができる。
【０３８６】
次に、受信された可視光信号に関する内容の表示について説明する。
【０３８７】
図６６および図６７は、可視光信号を受信したときの受信機の表示の一例を示す図である。
【０３８８】
図６６の（ａ）に示すように、受信機は、送信機１００２０ｄを撮像すると、その送信機１００２０ｄが映し出された画像１００２０ａを表示する。さらに、受信機は、画像１００２０ａにオブジェクト１００２０ｅを重畳することによって、画像１００２０ｂを生成して表示する。オブジェクト１００２０ｅは、その送信機１００２０ｄの像がある場所と、その送信機１００２０ｄからの可視光信号を受信していることとを示す画像である。オブジェクト１００２０ｅは、可視光信号の受信状態（受信中の状態、送信機を探索している状態、受信の進行の程度、受信速度、またはエラー率等）によって異なる画像であってもよい。例えば、受信機は、オブジェクト１０２０ｅの色、線の太さ、線の種類（単線、２重線、または点線等）、または点線の間隔などを変化させる。これにより、ユーザに受信状態を認識させることができる。次に、受信機は、取得データの内容を示す画像を取得データ画像１００２０ｆとして画像１００２０ａに重畳することによって、画像１００２０ｃを生成して表示する。取得データは、受信した可視光信号、または、受信した可視光信号によって示されるＩＤに関連付けられたデータである。
【０３８９】
受信機は、この取得データ画像１００２０ｆを表示する際には、図６６の（ａ）に示すように、送信機１００２０ｄからの吹き出しのように取得データ画像１００２０ｆを表示したり、送信機１００２０ｄの近くに取得データ画像１００２０ｆを表示する。また、受信機は、図６６の（ｂ）に示すように、取得データ画像１００２０ｆが送信機１００２０ｄから受信機側に徐々に近づくように、その取得データ画像１００２０ｆを表示してもよい。これにより、取得データ画像１００２０ｆが、どの送信機から受信された可視光信号に基づくものであるのかを、ユーザに認識させることができる。また、受信機は、図６７に示すように、取得データ画像１００２０ｆが受信機のディスプレイの端から徐々に出てくるように、その取得データ画像１００２０ｆを表示してもよい。これにより、そのときに可視光信号を取得したということをユーザにわかりやすく認識させることができる。
【０３９０】
次に、ＡＲ（Augmented Realitｙ）について説明する。
【０３９１】
図６８は、取得データ画像１００２０ｆの表示の一例を示す図である。
【０３９２】
受信機は、ディスプレイ内で送信機の像が移動した場合には、取得データ画像１００２０ｆを送信機の像の移動に合わせて移動させる。これにより、取得データ画像１００２０ｆがその送信機に対応しているということをユーザに認識させることができる。また、受信機は、取得データ画像１００２０ｆを、その送信機の像ではなく別のものに対応付けて表示してもよい。これにより、ＡＲ表示を行うことができる。
【０３９３】
次に、取得データの保存および破棄について説明する。
【０３９４】
図６９は、取得データを保存する、または、破棄する場合の操作の一例を示す図である。
【０３９５】
例えば、受信機は、図６９の（ａ）に示すように、取得データ画像１００２０ｆに対して、下側へのスワイプがユーザによって行われると、その取得データ画像１００２０ｆによって示される取得データを保存する。受信機は、保存した取得データを示す取得データ画像１００２０ｆを、他の既に保存されている１つまたは複数の取得データを示す取得データ画像の一番端に配置させる。これにより、取得データ画像１００２０ｆによって示される取得データが最後に保存された取得データであることを、ユーザに認識させることができる。例えば、受信機は、図６９の（ａ）に示すように、複数の取得データ画像の中で一番手前に取得データ画像１００２０ｆを配置する。
【０３９６】
また、受信機は、図６９の（ｂ）に示すように、取得データ画像１００２０ｆに対して、右側へのスワイプがユーザによって行われると、その取得データ画像１００２０ｆによって示される取得データを破棄する。または、受信機は、ユーザが受信機を移動させることによって送信機の像がディスプレイからフレームアウトすると、取得データ画像１００２０ｆによって示される取得データを破棄してもよい。なお、スワイプする方向は、上下左右のどちらでも、上述と同様の効果が得られる。受信機は、保存または破棄に対応したスワイプの方向を表示してもよい。これにより、その操作によって保存または破棄ができることをユーザに認識させることができる。
【０３９７】
次に、取得データの閲覧について説明する。
【０３９８】
図７０は、取得データを閲覧する際の表示例を示す図である。
【０３９９】
受信機は、図７０の（ａ）に示すように、保存されている複数の取得データの取得データ画像を、ディスプレイの下端に重ねて小さく表示している。このときに、ユーザが表示されている取得データ画像の一部をタップすると、受信機は、図７０の（ｂ）に示すように、複数の取得データ画像のそれぞれを大きく表示する。これにより、各取得データの閲覧が必要なときにのみ、それらの取得データ画像を大きく表示し、不要なときは、他の表示のためにディスプレイを有効に利用することができる。
【０４００】
図７０の（ｂ）に示す状態で、ユーザが表示したい取得データ画像をタップすると、受信機は、図７０の（ｃ）に示すように、そのタップされた取得データ画像をさらに大きく表示し、その取得データ画像の中で多くの情報を表示する。また、裏面表示ボタン１００２４ａをユーザがタップすると、受信機は、取得データ画像の裏面を表示し、その取得データに関連する別のデータを表示する。
【０４０１】
次に、事故位置推定時の手ぶれ補正をオフにすることについて説明する。
【０４０２】
受信機は、手ぶれ補正を無効（オフ）にする、または、手ぶれ補正の補正方向と補正量に対応して撮像画像を変換することで、正確な撮像方向を取得し、正確に自己位置推定を行うことが出来る。なお、撮像画像は、受信機の撮像部による撮像によって得られる画像である。また、自己位置推定は、受信機が自らの位置を推定することである。自己位置推定では、具体的には、受信機は、受信された可視光信号に基づいて送信機の位置を特定し、撮像画像に映る送信機の大きさ、位置または形状などに基づいて、受信機と送信機との間の相対的な位置関係を特定する。そして、受信機は、送信機の位置と、受信機と送信機との間の相対的な位置関係とに基づいて、受信機の位置を推定する。
【０４０３】
また、図５６などに示す、一部の露光ラインのみを用いて撮像を行う部分読み出し時には、つまり、図５６などに示す撮像が行われるときには、受信機の少しのブレで送信機がフレームアウトしてしまう。このような場合、受信機は、手ぶれ補正を有効にすることで、継続して信号を受信することができる。
【０４０４】
次に、非対称形の発光部を用いた自己位置推定について説明する。
【０４０５】
図７１は、実施の形態９における送信機の一例を示す図である。
【０４０６】
上述の送信機は発光部を備え、その発光部を輝度変化させることによって可視光信号を送信する。上述の自己位置推定では、受信機は、撮像画像中の送信機（具体的には発光部）の形状に基づいて、受信機と送信機との間の相対的な位置関係として、受信機と送信機との間の相対角度を求める。ここで、例えば図７１に示すように、送信機が回転対称の形状の発光部１００９０ａを備えている場合には、上述のように、撮像画像中の送信機の形状に基づいて、送信機と受信機との間の相対角度を正確に求めることができない。そこで、送信機は、回転対称ではない形状の発光部を備えていることが望ましい。これにより、受信機は上述の相対角度を正確に求めることができる。つまり、角度を取得するための方位センサでは計測結果の誤差が大きいため、受信機は、上述の方法で求めた相対角度を用いることで、正確な自己位置推定を行うことができる。
【０４０７】
ここで、送信機は、図７１に示すように、完全な回転対称の形状ではない発光部１００９０ｂを備えていてもよい。この発光部１００９０ｂの形状は、９０°の回転に対しては対称形ではあるが、完全な回転対称ではない。この場合は、受信機は、おおまかな角度を方位センサで求め、さらに、撮像画像中の送信機の形状を用いることで、受信機と送信機との間の相対角度を一意に限定することができ、正確な自己位置推定を行うことができる。
【０４０８】
また、送信機は、図７１に示す発光部１００９０ｃを備えていてもよい。この発光部１００９０ｃの形状は、基本的には回転対称の形状である。しかし、その発光部１００９０ｃの一部分に導光板などが設置されていることで、発光部１００９０ｃの形状は、回転対称ではない形状にされている。
【０４０９】
また、送信機は、図７１に示す発光部１００９０ｄを備えてもよい。この発光部１００９０ｄは、それぞれ回転対称の形状の照明を具備している。しかし、それらを組み合わせて配置されることによって構成される発光部１００９０ｄの全体の形状は、回転対称の形状ではない。したがって、受信機は、その送信機を撮像することにより、正確な自己位置推定を行うことができる。また、発光部１００９０ｄに含まれる全ての照明が、可視光信号を送信するために輝度変化する可視光通信用の照明である必要はなく、一部の照明のみが可視光通信用の照明であってもよい。
【０４１０】
また、送信機は、図７１に示す発光部１００９０ｅおよび物体１００９０ｆを備えてもよい。ここで、物体１００９０ｆは、発光部１００９０ｅとの間の位置関係が変化しないように構成されている物体（例えば、火災報知機や配管等）である。発光部１００９０ｅと物体１００９０ｆとの組み合わせの形状は回転対称の形状ではないため、受信機は、発光部１００９０ｅと物体１００９０ｆと撮像することにより、正確に自己位置推定を行うことができる。
【０４１１】
次に、自己位置推定の時系列処理について説明する。
【０４１２】
受信機は、撮像するごとに、撮像画像中の送信機の位置と形状から、自己位置推定を行うことができる。その結果、受信機は、撮像中の受信機の移動方向と距離を推定することができる。また、受信機は、複数のフレームまたは画像を用いた三角測量を行うことで、より正確な自己位置推定を行うことができる。複数の画像を用いた推定結果や、異なる組み合わせの複数の画像を用いた推定結果を総合することで、受信機は、より正確に自己位置推定を行うことができる。この際、受信機は、最近の撮像画像から推定した結果を重要視して総合することで、より正確に自己位置推定を行うことができる。
【０４１３】
次に、オプティカルブラックの読み飛ばしについて説明する。
【０４１４】
図７２は、実施の形態９における受信方法の一例を示す図である。なお、図７２に示すグラフの横軸は、時刻を示し、縦軸は、イメージセンサ内の各露光ラインの位置を示す。さらに、そのグラフの実線矢印は、イメージセンサ内の各露光ラインの露光が開始される時刻（露光タイミング）を示す。
【０４１５】
受信機は、通常撮像時には、図７２の（ａ）に示すように、イメージセンサにおける水平オプティカルブラックの信号を読み出すが、図７２の（ｂ）に示すように、水平オプティカルブラックの信号を読み飛ばしてもよい。これにより、連続的な可視光信号を受信することが出来る。
【０４１６】
水平オプティカルブラックは、露光ラインに水平方向のオプティカルブラックである。また、垂直オプティカルブラックは、オプティカルブラックのうち水平オプティカルブラック以外の部分である。
【０４１７】
受信機は、オプティカルブラックから読み出される信号によって黒レベルの調整を行うため、可視光撮像開始時には通常撮像時と同様にオプティカルブラックを用いて、黒レベルを調整することができる。垂直オプティカルブラックが利用できる場合は、受信機は、垂直オプティカルブラックのみを用いて黒レベル調整を行うとすることで、連続受信と黒レベル調整が可能である。可視光撮像継続時は、受信機は、所定の時間毎に水平オプティカルブラックを用いて黒レベルを調整してもよい。受信機は、通常撮像と可視光撮像を交互に行う場合において、可視光撮像を連続して行うときには、水平オプティカルブラックの信号を読み飛ばし、それ以外のときには、水平オプティカルブラックの信号を読み出す。そして、受信機は、その読み出された信号に基づいて黒レベルの調整を行うことで、連続的に可視光信号を受信しつつ、黒レベルの調整を行うことができる。受信機は、可視光撮像画像の最も暗い部分を黒として黒レベルの調整を行うとしてもよい。
【０４１８】
このように、信号が読み出されるオプティカルブラックを垂直オプティカルブラックのみとすることで、連続的な可視光信号の受信が可能である。また、水平オプティカルブラックの信号を読み飛ばすモードを備えることで、通常撮像時には黒レベル調整を行い、可視光撮像時には必要に応じて連続通信を行うことができる。また、水平オプティカルブラックの信号を読み飛ばすことで、露光ライン間の露光を開始するタイミングの差が大きくなるため、小さくしか写っていない送信機からの可視光信号も受信できる。
【０４１９】
次に、送信機の種類を示す識別子について説明する。
【０４２０】
送信機は、送信機の種類を示す送信機識別子を可視光信号に付加して送信してもよい。この場合、受信機は、送信機識別子を受信した時点で、その送信機の種類に応じた受信動作を行うことができる。例えば、送信機識別子がデジタルサイネージを示す場合は、送信機は、送信機の個体識別を行うための送信機ＩＤの他に、現在どのコンテンツを表示しているのかを示すコンテンツＩＤを可視光信号として送信している。受信機は、送信機識別子に基づいて、これらのＩＤを分けて扱うことで、送信機が現在表示しているコンテンツに合わせた情報を表示することができる。また、例えば、送信機識別子がデジタルサイネージや非常灯を示す場合は、受信機は、感度を上げて撮像することで、受信エラーを低減することができる。
【０４２１】
（実施の形態１０）
本実施の形態では、上記各実施の形態におけるスマートフォンなどの受信機と、ＬＥＤや有機ＥＬの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
【０４２２】
ここで、同じアドレスのデータ部を比較する受信方法について説明する。
【０４２３】
図７３は、本実施の形態における受信方法の一例を示すフローチャートである。
【０４２４】
受信機は、パケットを受信し（ステップＳ１０１０１）、誤り訂正を行う（ステップＳ１０１０２）。そして、受信機は、受信したパケットのアドレスと同じアドレスのパケットを既に受信しているか否かを判定する（ステップＳ１０１０３）。ここで、受信していると判定した場合は（ステップＳ１０１０３のＹ）、受信機は、それらのデータを比較する。つまり、受信機は、データ部が等しいか否かを判定する（ステップＳ１０１０４）。ここで、等しくないと判定した場合（ステップＳ１０１０４のＮ）、受信機は、さらに、複数のデータ部における差異が所定の数以上であるか、具体的には、異なるビットの数、または、輝度状態が異なるスロットの数が所定の数以上である否かを判定する（ステップＳ１０１０５）。ここで、所定の数以上であると判定すると（ステップＳ１０１０５のＮ）、受信機は、既に受信していたパケットを破棄する（ステップＳ１０１０６）。これにより、別の送信機からパケットを受信し始めたときに、以前の送信機から受信したパケットとの混信を避ける事ができる。一方、所定の数以上ではないと判定すると（ステップＳ１０１０５のＮ）、受信機は、等しいデータ部を持つパケットが最も多いデータ部のデータをそのアドレスのデータとする（ステップＳ１０１０７）。または、受信機は、等しいビットの最も多いビットを、そのアドレスのそのビットの値とする。または、受信機は、等しい輝度状態が最も多い輝度状態をそのアドレスのそのスロットの輝度状態とし、そのアドレスのデータを復調する。
【０４２５】
このように、本実施の形態では、受信機は、まず、複数の輝線のパターンから、データ部およびアドレス部を含む第１のパケットを取得する。次に、受信機は、第１のパケットよりも前に既に取得されている少なくとも１つのパケットのうち、その第１のパケットのアドレス部と同一のアドレス部を含むパケットである少なくとも１つの第２のパケットが存在するか否かを判定する。次に、受信機は、その少なくとも１つの第２のパケットが存在すると判定した場合には、その少なくとも１つの第２のパケットと第１のパケットとのそれぞれのデータ部が全て等しいか否かを判定する。それぞれのデータ部が全て等しくないと判定した場合には、受信機は、その少なくとも１つの第２のパケットのそれぞれにおいて、第２のパケットのデータ部に含まれる各部分のうち、第１のパケットのデータ部に含まれる各部分と異なる部分の数が、所定の数以上存在するか否かを判定する。ここで、受信機は、その少なくとも１つの第２のパケットのうち、異なる部分の数が所定の数以上存在すると判定された第２のパケットがある場合には、その少なくとも１つの第２のパケットを破棄する。一方、その少なくとも１つの第２のパケットのうち、異なる部分の数が所定の数以上存在すると判定された第２パケットがない場合には、受信機は、第１のパケットおよび少なくとも１つの第２のパケットのうち、同一のデータ部を有するパケットの数が最も多い複数のパケットを特定する。そして、受信機は、その複数のパケットのそれぞれに含まれるデータ部を、第１のパケットに含まれるアドレス部に対応するデータ部として復号することによって、可視光識別子（ＩＤ）の少なくとも一部を取得する。
【０４２６】
これにより、同一のアドレス部を有する複数のパケットが受信されたときに、それらのパケットのデータ部が異なっていても、適切なデータ部を復号することができ、可視光識別子の少なくとも一部を正しく取得することができる。つまり、同一の送信機から送信される同一のアドレス部を有する複数のパケットは、基本的に同一のデータ部を有する。しかし、受信機が、パケットの送信元となる送信機を切り替える場合には、受信機は、同一のアドレス部を有していても互いに異なるデータ部を有する複数のパケットを受信することがある。このような場合には、本実施の形態では、図７３のステップＳ１０１０６のように、既に受信されているパケット（第２のパケット）が破棄され、最新のパケット（第１のパケット）のデータ部を、そのアドレス部に対応する正しいデータ部として復号することができる。さらに、上述のような送信機の切り替えがない場合であっても、可視光信号の送受信状況に応じて、同一のアドレス部を有する複数のパケットのデータ部が少し異なることがある。このような場合には、本実施の形態では、図７３のステップＳ１０１０７のように、いわゆる多数決によって、適切なデータ部を復号することができる。
【０４２７】
ここで、複数のパケットからデータ部のデータを復調する受信方法について説明する。
【０４２８】
図７４は、本実施の形態における受信方法の一例を示すフローチャートである。
【０４２９】
まず、受信機は、パケットを受信し（ステップＳ１０１１１）、アドレス部の誤り訂正を行う（ステップＳ１０１１２）。このとき、受信機は、データ部の復調を行わず、撮像によって得られる画素値をそのまま保持する。そして、受信機は、既に受信された複数のパケットにおいて、同じアドレスのパケットが所定の数以上存在するか否かを判定する（ステップＳ１０１１３）。ここで、存在すると判定すると（ステップＳ１０１１３のＹ）、受信機は、同じアドレスを持つ複数のパケットのデータ部に相当する部分の画素値を合わせて復調処理を行う（ステップＳ１０１１４）。
【０４３０】
このように本実施の形態における受信方法では、複数の輝線のパターンから、データ部およびアドレス部を含む第１のパケットを取得する。そして、第１のパケットよりも前に既に取得されている少なくとも１つのパケットのうち、第１のパケットのアドレス部と同一のアドレス部を含むパケットである第２のパケットが所定の数以上存在するか否かを判定する。第２のパケットがその所定の数以上存在すると判定した場合には、その所定の数以上の第２のパケットのそれぞれのデータ部に対応する輝線画像の一部の領域の画素値と、第１のパケットのデータ部に対応する輝線画像の一部の領域の画素値とを合わせる。つまり、画素値を加算する。その加算によって、合成画素値を算出し、その合成画素値を含むデータ部を復号することによって、可視光識別子（ＩＤ）の少なくとも一部を取得する。
【０４３１】
複数のパケットが受信されたタイミングはそれぞれ異なるため、データ部の画素値はそれぞれ微妙に異なる時点の送信機の輝度を反映した値となっている。したがって、上述のように復調処理される部分は、単一のパケットのデータ部よりも多くのデータ量（サンプル数）を含むことになる。これにより、より正確にデータ部を復調することができる。また、サンプル数の増加により、より高い変調周波数で変調された信号を復調することができる。
【０４３２】
データ部とその誤り訂正符号部は、ヘッダ部、アドレス部およびアドレス部の誤り訂正符号部よりも、高い周波数で変調されている。上記の復調方法により、データ部以降は高い変調周波数で変調されていても復調可能であるため、この構成により、パケット全体の送信時間を短くすることができ、より遠くからでも、より小さい光源からでも、より速く可視光信号を受信することができる。
【０４３３】
次に、可変長アドレスのデータを受信する受信方法について説明する。
【０４３４】
図７５は、本実施の形態における受信方法の一例を示すフローチャートである。
【０４３５】
受信機は、パケットを受信し（ステップＳ１０１２１）、データ部の全てのビットが０となっているパケット（以下、０終端パケットという）を受信したか否かを判定する（ステップＳ１０１２２）。ここで、受信したと判定すると、つまり、０終端パケットが存在すると判定すると（ステップＳ１０１２２のＹ）、受信機は、その０終端パケットのアドレス以下のアドレスのパケットが全て揃っているか否か、つまり受信しているか否かを判定する（ステップＳ１０１２３）。なお、アドレスは、送信されるデータを分割することによって生成されたパケットのそれぞれに対して、それらのパケットの送信順にしたがって大きくなる値に設定されている。受信機は、全て揃っていると判定すると（ステップＳ１０１２３のＹ）、０終端パケットのアドレスが、送信機から送信されるパケットの最後のアドレスであると判断する。そして、受信機は、０終端パケットまでの各アドレスのパケットのデータをつなげることで、データを復元する（ステップＳ１０１２４）。さらに、受信機は、復元されたデータのエラーチェックを行う（ステップＳ１０１２５）。これにより、送信されるデータがいくつに分割されているか分からない場合、つまり、アドレスが固定長ではなく可変長である場合にも、可変長アドレスのデータを送受信することでき、固定長アドレスのデータよりも多くのＩＤを、高い効率で送受信することができる。
【０４３６】
このように、本実施の形態では、受信機は、複数の輝線のパターンから、それぞれデータ部およびアドレス部を含む複数のパケットを取得する。そして、受信機は、取得された複数のパケットのうち、データ部に含まれる全てのビットが０を示すパケットである０終端パケットが存在するか否かを判定する。０終端パケットが存在すると判定した場合には、受信機は、複数のパケットのうち、その０終端パケットのアドレス部に関連付けられているアドレス部を含むパケットであるＮ個（Ｎは１以上の整数）の関連パケットが全て存在するか否かを判定する。次に、受信機は、Ｎ個の関連パケットが全て存在すると判定した場合には、Ｎ個の関連パケットのそれぞれのデータ部を並べて復号することによって、可視光識別子（ＩＤ）を取得する。ここで、０終端パケットのアドレス部に関連付けられているアドレス部は、０終端パケットのアドレス部に示されるアドレスよりも小さく０以上のアドレスを示すアドレス部である。
【０４３７】
次に、変調周波数の周期より長い露光時間を用いた受信方法について説明する。
【０４３８】
図７６と図７７は、本実施の形態における受信機が、変調周波数の周期（変調周期）より長い露光時間を用いた受信方法を説明するための図である。
【０４３９】
例えば図７６の（ａ）に示すように、露光時間が変調周期と等しい時間に設定されと、可視光信号を正しく受信することができない場合がある。なお、変調周期は、上述の１つのスロットの時間である。つまり、このような場合には、あるスロットの輝度の状態を反映している露光ライン（図７６中の黒で示している露光ライン）が少ない。その結果、これらの露光ラインの画素値にノイズが偶然多く含まれた場合には、送信機の輝度を推定することは難しい。
【０４４０】
一方、例えば図７６の（ｂ）に示すように、露光時間が変調周期よりも長い時間に設定されと、可視光信号を正しく受信することができる。つまり、このような場合には、有るスロットの輝度を反映している露光ラインが多いため、多くの露光ラインの画素値から送信機の輝度を推定することができ、ノイズに強い。
【０４４１】
また、露光時間が長すぎると、逆に、可視光信号を正しく受信することができない。
【０４４２】
例えば、図７７の（ａ）に示すように、露光時間が変調周期と等しい場合には、受信機で受信される輝度変化（つまり、各露光ラインの画素値の変化）は、送信に用いられる輝度変化に追従する。しかし、図７７の（ｂ）に示すように、露光時間が変調周期の３倍である場合には、受信機で受信される輝度変化は、送信に用いられる輝度変化に十分に追従することができない。また、図７７の（ｃ）に示すように、露光時間が変調周期の１０倍である場合には、受信機で受信される輝度変化は、送信に用いられる輝度変化に全く追従するができない。つまり、露光時間が長いほうが、多くの露光ラインから輝度を推定できるためノイズ耐性が高くなるが、露光時間が長くなると、識別マージンが下がる、あるいは識別マージンが小さくなることでノイズ耐性が低くなる。これらのバランスにより、露光時間を変調周期の２〜５倍程度とすることで、最もノイズ耐性を高くすることができる。
【０４４３】
次に、パケットの分割数について説明する。
【０４４４】
図７８は、送信データのサイズに対する効率的な分割数を示す図である。
【０４４５】
送信機がデータを輝度変化によって送信する場合、送信される全てのデータ（送信データ）を１つのパケットに含めると、そのパケットのデータサイズは大きい。しかし、その送信データを複数の部分データに分割して、それらの部分データを各パケットに含めると、それぞれのパケットのデータサイズは小さくなる。ここで、受信機は、撮像によって、そのパケットを受信する。しかし、パケットのデータサイズが大きいほど、受信機はそのパケットを１回の撮像によって受信することが難しくなり、撮像を繰り返す必要がある。
【０４４６】
したがって、送信機は、図７８の（ａ）および（ｂ）に示すように、送信データのデータサイズが大きいほど、その送信データの分割数を多くする方が望ましい。しかし、分割数が多すぎると、それらの部分データを全て受信しなければ送信データを復元することができないため、逆に、受信効率が低下する。
【０４４７】
したがって、図７８の（ａ）に示すように、アドレスのデータサイズ（アドレスサイズ）が可変であり、送信データのデータサイズが、２−１６ビット、１６−２４ビット、２４−６４ビット、６６−７８ビット、７８−１２８ビット、１２８ビット以上の場合には、それぞれ、１−２個、２−４個、４個、４−６個、６−８個、７個以上の部分データに送信データを分割すると、送信データを効率よく可視光信号によって送信することができる。また、図７８の（ｂ）に示すように、アドレスのデータサイズ（アドレスサイズ）が４ビットに固定され、送信データのデータサイズが、２−８ビット、８−１６ビット、１６−３０ビット、３０−６４ビット、６６−８０ビット、８０−９６ビット、９６−１３２ビット、１３２ビット以上の場合には、それぞれ、１−２個、２−３個、２−４個、４−５個、４−７個、６個、６−８個、７個以上の部分データに送信データを分割すると、送信データを効率よく可視光信号によって送信することができる。
【０４４８】
また、送信機は、複数の部分データのそれぞれを含む各パケットに基づく輝度変化を順次行う。例えば、送信機は、各パケットのアドレス順に、そのパケットに基づく輝度変化を行う。さらに、送信機は、アドレス順と異なる順序で、その複数の部分データに基づく輝度変化を再度行ってもよい。これにより、各部分データを確実に受信機に受信させることができる。
【０４４９】
次に、受信機による通知動作の設定方法について説明する。
【０４５０】
図７９Ａは、本実施の形態における設定方法の一例を示す図である。
【０４５１】
まず、受信機は、通知動作を識別するための通知動作識別子と、その通知動作識別子の優先度（具体的には、優先度を示す識別子）とを、受信機の近くにあるサーバから取得する（ステップＳ１０１３１）。ここで、通知動作は、複数の部分データのそれぞれを含む各パケットが輝度変化によって送信されて受信機に受信されたときに、それらのパケットが受信されたことを受信機のユーザに通知する受信機の動作である。例えば、その動作は、音の鳴動、バイブレーション、または画面表示などである。
【０４５２】
次に、受信機は、パケット化された可視光信号、つまり複数の部分データのそれぞれを含む各パケットを受信する（ステップＳ１０１３２）。ここで、受信機は、その可視光信号に含まれている、通知動作識別子と、その通知動作識別子の優先度（具体的には、優先度を示す識別子）とを取得する（ステップＳ１０１３３）。
【０４５３】
さらに、受信機は、受信機の現在の通知動作の設定内容、つまり、受信機に予め設定されている通知動作識別子と、その通知動作識別子の優先度（具体的には、優先度を示す識別子）とを読み出す（ステップＳ１０１３４）。なお、受信機に予め設定されている通知動作識別子は、例えば、ユーザの操作によって設定されている。
【０４５４】
そして、受信機は、予め設定されている通知動作識別子と、ステップＳ１０１３１およびステップＳ１０１３３のそれぞれで取得された通知動作識別子とのうち、優先度が最も高い識別子を選択する（ステップＳ１０１３５）。次に、受信機は、選択した通知動作識別子を改めて自らに設定し直すことにより、選択した通知動作識別子によって示される動作を行い、可視光信号の受信をユーザに通知する（ステップＳ１０１３６）。
【０４５５】
なお、受信機は、ステップＳ１０１３１およびステップＳ１０１３３の何れか一方を行わず、２つの通知動作識別子の中から優先度の高い通知動作識別子を選択してもよい。
【０４５６】
なお、劇場または美術館などに設置されているサーバから送信される通知動作識別子の優先度、または、それらの施設内で送信される可視光信号に含まれる通知動作識別子の優先度は高く設定されてもよい。これにより、ユーザの設定に関わらず、その施設内では、受信通知のための音を鳴らさないようにすることができる。また、その他の施設では、通知動作識別子の優先度を低くしておくことにより、受信機は、ユーザの設定に応じた動作によって受信を通知することができる。
【０４５７】
図７９Ｂは、本実施の形態における設定方法の他の例を示す図である。
【０４５８】
まず、受信機は、通知動作を識別するための通知動作識別子と、その通知動作識別子の優先度（具体的には、優先度を示す識別子）とを、受信機の近くにあるサーバから取得する（ステップＳ１０１４１）。次に、受信機は、パケット化された可視光信号、つまり複数の部分データのそれぞれを含む各パケットを受信する（ステップＳ１０１４２）。ここで、受信機は、その可視光信号に含まれている、通知動作識別子と、その通知動作識別子の優先度（具体的には、優先度を示す識別子）とを取得する（ステップＳ１０１４３）。
【０４５９】
さらに、受信機は、受信機の現在の通知動作の設定内容、つまり、受信機に予め設定されている通知動作識別子と、その通知動作識別子の優先度（具体的には、優先度を示す識別子）とを読み出す（ステップＳ１０１４４）。
【０４６０】
そして、受信機は、予め設定されている通知動作識別子と、ステップＳ１０１４１およびステップＳ１０１４３のそれぞれで取得された通知動作識別子との中に、通知音の発生を禁止する動作を示す動作通知識別子が含まれているか否かを判定する（ステップＳ１０１４５）。ここで、含まれていると判定すると（ステップＳ１０１４５のＹ）、受信機は、受信完了を通知するための通知音を鳴らす（ステップＳ１０１４６）。一方、含まれていないと判定すると（ステップＳ１０１４５のＮ）、受信機は、例えばバイブレーションなどによって、受信完了をユーザに通知する（ステップＳ１０１４７）。
【０４６１】
なお、受信機は、ステップＳ１０１４１およびステップＳ１０１４３の何れか一方を行わず、２つの通知動作識別子の中に、通知音の発生を禁止する動作を示す動作通知識別子が含まれているか否かを判定してもよい。
【０４６２】
また、受信機は、撮像によって得られる画像に基づいて自己位置推定を行い、推定された位置、またはその位置にある施設に対応付けられた動作によって、受信をユーザに通知してもよい。
【０４６３】
図８０は、実施の形態１０における情報処理プログラムの処理を示すフローチャートである。
【０４６４】
この情報処理プログラムは、上述の送信機の発光体を図７８に示す分割数にしたがって輝度変化させるためのプログラムである。
【０４６５】
つまり、この情報処理プログラムは、送信対象の情報を輝度変化によって送信するために、送信対象の情報をコンピュータに処理させる情報処理プログラムである。具体的には、この情報処理プログラムは、送信対象の情報を符号化することによって符号化信号を生成する符号化ステップＳＡ４１と、生成された符号化信号のビット数が２４〜６４ビットの範囲にある場合、符号化信号を４つの部分信号に分割する分割ステップＳＡ４２と、４つの部分信号を順次出力する出力ステップＳＡ４３とを、コンピュータに実行させる。なお、これらの部分信号はパケットとして出力される。また、情報処理プログラムは、符号化信号のビット数を特定し、その特定されたビット数に基づいて、部分信号の数を決定することをコンピュータにさせてもよい。この場合、情報処理プログラムは、符号化信号を分割することによって、その決定された数の部分信号を生成することをコンピュータにさせる。
【０４６６】
これにより、符号化信号のビット数が２４〜６４ビットの範囲にある場合には、符号化信号が４つの部分信号に分割されて出力される。その結果、出力される４つの部分信号にしたがって発光体が輝度変化すると、その４つの部分信号はそれぞれ可視光信号として送信されて受信機によって受信される。ここで、出力される信号のビット数が多いほど、受信機は撮像によってその信号を適切に受信することが難しくなり、受信効率が低下する。そこで、その信号をビット数の少ない信号、つまり小さい信号に分割しておくことが望ましい。しかし、信号を多くの小さい信号に細かく分割しすぎると、受信機は、全ての小さい信号のそれぞれを個別に受信しなければ元の信号を受信することができないため、受信効率が低下する。したがって、上述のように、符号化信号のビット数が２４〜６４ビットの範囲にある場合には、符号化信号を４つの部分信号に分割して順次出力することによって、送信対象の情報を示す符号化信号を最もよい受信効率で可視光信号として送信することができる。その結果、多様な機器間の通信を可能にすることができる。
【０４６７】
また、出力ステップＳＡ４３では、第１の順序にしたがって４つの部分信号を出力し、さらに、第１の順序と異なる第２の順序にしたがって４つの部分信号を再び出力してもよい。
【０４６８】
これにより、それらの４つの部分信号が順番を変えて繰り返し出力されるため、出力される各信号が可視光信号として受信機に送信される場合には、それらの４つの部分信号の受信効率をさらに高めることができる。つまり、４つの部分信号を同じ順番で繰り返し出力しても、同じ部分信号が受信機に受信されない場合が生じるが、その順番を変えることによって、そのような場合が生じるのを抑えることができる。
【０４６９】
また、図７９Ａおよび図７９Ｂに示すように、出力ステップＳＡ４３では、さらに、４つの部分信号に通知動作識別子を付随させて出力してもよい。通知動作識別子は、４つの部分信号が輝度変化によって送信されて受信機に受信されたときに、４つの部分信号が受信されたことを受信機のユーザに通知する受信機の動作を識別するための識別子である。
【０４７０】
これにより、その通知動作識別子が可視光信号として送信されて受信機に受信される場合には、受信機は、その通知動作識別子によって識別される動作にしたがって、４つの部分信号の受信をユーザに通知することができる。つまり、送信対象の情報を送信する側で、受信機による通知動作を設定することができる。
【０４７１】
また、図７９Ａおよび図７９Ｂに示すように、出力ステップＳＡ４３では、さらに、通知動作識別子の優先度を識別するための優先度識別子を４つの部分信号に付随させて出力してもよい。
【０４７２】
これにより、その優先度識別子および通知動作識別子が可視光信号として送信されて受信機に受信される場合には、受信機は、その優先度識別子によって識別される優先度にしたがって通知動作識別子を扱うことができる。つまり、受信機が他の通知動作識別子を取得している場合には、受信機は、可視光信号として送信された通知動作識別子によって識別される通知動作と、他の通知動作識別子によって識別される通知動作とのうちの一方を、その優先度に基づいて選択することができる。
【０４７３】
本発明の一態様に係る情報処理プログラムは、送信対象の情報を輝度変化によって送信するために、前記送信対象の情報をコンピュータに処理させる情報処理プログラムであって、前記送信対象の情報を符号化することによって符号化信号を生成する符号化ステップと、生成された前記符号化信号のビット数が２４〜６４ビットの範囲にある場合、前記符号化信号を４つの部分信号に分割する分割ステップと、前記４つの部分信号を順次出力する出力ステップとを、前記コンピュータに実行させる。
【０４７４】
これにより、図７７〜図８０に示すように、符号化信号のビット数が２４〜６４ビットの範囲にある場合には、符号化信号が４つの部分信号に分割されて出力される。その結果、出力される４つの部分信号にしたがって発光体が輝度変化すると、その４つの部分信号はそれぞれ可視光信号として送信されて受信機によって受信される。ここで、出力される信号のビット数が多いほど、受信機は撮像によってその信号を適切に受信することが難しくなり、受信効率が低下する。そこで、その信号をビット数の少ない信号、つまり小さい信号に分割しておくことが望ましい。しかし、信号を多くの小さい信号に細かく分割しすぎると、受信機は、全ての小さい信号のそれぞれを個別に受信しなければ元の信号を受信することができないため、受信効率が低下する。したがって、上述のように、符号化信号のビット数が２４〜６４ビットの範囲にある場合には、符号化信号を４つの部分信号に分割して順次出力することによって、送信対象の情報を示す符号化信号を最もよい受信効率で可視光信号として送信することができる。その結果、多様な機器間の通信を可能にすることができる。
【０４７５】
また、前記出力ステップでは、第１の順序にしたがって前記４つの部分信号を出力し、さらに、前記第１の順序と異なる第２の順序にしたがって前記４つの部分信号を再び出力してもよい。
【０４７６】
これにより、それらの４つの部分信号が順番を変えて繰り返し出力されるため、出力される各信号が可視光信号として受信機に送信される場合には、それらの４つの部分信号の受信効率をさらに高めることができる。つまり、４つの部分信号を同じ順番で繰り返し出力しても、同じ部分信号が受信機に受信されない場合が生じるが、その順番を変えることによって、そのような場合が生じるのを抑えることができる。
【０４７７】
また、前記出力ステップでは、さらに、前記４つの部分信号に通知動作識別子を付随させて出力し、前記通知動作識別子は、前記４つの部分信号が輝度変化によって送信されて受信機に受信されたときに、前記４つの部分信号が受信されたことを前記受信機のユーザに通知する前記受信機の動作を識別するための識別子であってもよい。
【０４７８】
これにより、その通知動作識別子が可視光信号として送信されて受信機に受信される場合には、受信機は、その通知動作識別子によって識別される動作にしたがって、４つの部分信号の受信をユーザに通知することができる。つまり、送信対象の情報を送信する側で、受信機による通知動作を設定することができる。
【０４７９】
また、前記出力ステップでは、さらに、前記通知動作識別子の優先度を識別するための優先度識別子を前記４つの部分信号に付随させて出力してもよい。
【０４８０】
これにより、その優先度識別子および通知動作識別子が可視光信号として送信されて受信機に受信される場合には、受信機は、その優先度識別子によって識別される優先度にしたがって通知動作識別子を扱うことができる。つまり、受信機が他の通知動作識別子を取得している場合には、受信機は、可視光信号として送信された通知動作識別子によって識別される通知動作と、他の通知動作識別子によって識別される通知動作とのうちの一方を、その優先度に基づいて選択することができる。
【０４８１】
次に、電子機器のネットワーク接続の登録について説明する。
【０４８２】
図８１は、本実施の形態における送受信システムの応用例を説明するための図である。
【０４８３】
この送受信システムは、例えば洗濯機等の電子機器として構成される送信機１０１３１ｂと、例えばスマートフォンとして構成される受信機１０１３１ａと、アクセスポイントまたはルータとして構成される通信装置１０１３１ｃとを備える。
【０４８４】
図８２は、本実施の形態における送受信システムの処理動作を示すフローチャートである。
【０４８５】
送信機１０１３１ｂは、開始ボタンが押下されると（ステップＳ１０１６５）、ＳＳＩＤ、パスワード、ＩＰアドレス、ＭＡＣアドレス、または暗号鍵等の、自身に接続するための情報を、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはイーサネット（登録商標）などを介して送信し（ステップＳ１０１６６）、接続を待ち受ける。送信機１０１３１ｂは、これらの情報を、直接的に送信してもよいし、間接的に送信してもよい。間接に送信する場合、送信機１０１３１ｂは、それらの情報に関連付けられたＩＤを送信する。そのＩＤを受信した受信機１０１３１ａは、例えば、そのＩＤに関連付けられている情報をサーバ等からダウンロードする。
【０４８６】
受信機１０１３１ａは、その情報を受信し（ステップＳ１０１５１）、送信機１０１３１ｂへ接続し、アクセスポイントやルータとして構成される通信装置１０１３１ｃへ接続するための情報（ＳＳＩＤ、パスワード、ＩＰアドレス、ＭＡＣアドレス、または暗号鍵等）を送信機１０１３１ｂへ送信する（ステップＳ１０１５２）。受信機１０１３１ａは、送信機１０１３１ｂが通信装置１０１３１ｃへ接続するための情報（ＭＡＣアドレス、ＩＰアドレスまたは暗号鍵等）を通信装置１０１３１ｃへ登録し、通信装置１０１３１ｃに接続を待ち受けさせる。さらに、受信機１０１３１ａは、送信機１０１３１ｂから通信装置１０１３１ｃへの接続準備が完了したことを送信機１０１３１ｂへ通知する（ステップＳ１０１５３）。
【０４８７】
送信機１０１３１ｂは、受信機１０１３１ａとの接続を切断し（ステップＳ１０１６８）、通信装置１０１３１ｃへ接続する（ステップＳ１０１６９）。接続が成功すれば（ステップＳ１０１７０のＹ）、送信機１０１３１ｂは、通信装置１０１３１ｃを介して受信機１０１３１ａへ接続成功を通知し、画面表示やＬＥＤの状態や音声等でユーザへ接続成功を通知する（ステップＳ１０１７１）。接続が失敗すれば（ステップＳ１０１７０のＮ）、送信機１０１３１ｂは、可視光通信で受信機１０１３１ａに接続失敗を通知し、成功時と同様にユーザへ通知する（ステップＳ１０１７２）。なお、接続成功を可視光通信で通知してもよい。
【０４８８】
受信機１０１３１ａは、通信装置１０１３１ｃに接続し（ステップＳ１０１５４）、接続成功や失敗の通知がなければ（ステップＳ１０１５５のＮ、且つステップＳ１０１５６のＮ）、通信装置１０１３１ｃ経由で送信機１０１３１ｂへアクセスが可能かどうか確認する（ステップＳ１０１５７）。できなければ（ステップＳ１０１５７のＮ）、受信機１０１３１ａは、送信機１０１３１ｂから受信した情報を用いた送信機１０１３１ｂへ接続が所定の回数以上行われたか否かを判定する（ステップＳ１０１５８）。ここで、所定の回数以上行われていないと判定すると（ステップＳ１０１５８のＮ）、受信機１０１３１ａは、ステップＳ１０１５２からの処理を繰り返す。一方、所定の回数以上行われたと判定すると（ステップＳ１０１５８のＹ）、受信機１０１３１ａは、処理失敗をユーザに通知する（ステップＳ１０１５９）。また、受信機１０１３１ａは、ステップＳ１０１５６で、接続成功の通知があったと判定すると（ステップＳ１０１５６のＹ）、処理成功をユーザに通知する（ステップＳ１０１６０）。つまり、受信機１０１３１ａは、送信機１０１３１ｂが通信装置１０１３１ｃへ接続することができたかどうかを、画面表示や音声等でユーザへ通知する。これにより、ユーザに複雑な入力をさせなくても、送信機１０１３１ｂを通信装置１０１３１ｃへ接続させることができる。
【０４８９】
次に、電子機器のネットワーク接続の登録（別の電子機器を介して接続する場合）について説明する。
【０４９０】
図８３は、本実施の形態における送受信システムの応用例を説明するための図である。
【０４９１】
この送受信システムは、エアコン１０１３３ｂと、エアコン１０１３３ｂに接続された無線アダプタ等の電子機器として構成される送信機１０１３３ｃと、例えばスマートフォンとして構成される受信機１０１３３ａ、アクセスポイントまたはルータとして構成される通信装置１０１３３ｄと、例えば無線アダプタ、無線アクセスポイントまたはルータ等として構成される別の電子機器１０１３３ｅとを備える。
【０４９２】
図８４は、本実施の形態における送受信システムの処理動作を示すフローチャートである。なお、以下、エアコン１０１３３ｂまたは送信機１０１３３ｃを電子機器Ａと称し、電子機器１０１３３ｅを電子機器Ｂと称する。
【０４９３】
まず、電子機器Ａは、開始ボタンが押下されると（ステップＳ１０１８８）、自身に接続するための情報（個体ＩＤ、パスワード、ＩＰアドレス、ＭＡＣアドレス、または暗号鍵等）を送信し（ステップＳ１０１８９）、接続を待ち受ける（ステップＳ１０１９０）。電子機器Ａは、これらの情報を、上述と同様に、直接的に送信してもよいし、間接的に送信してもよい。
【０４９４】
受信機１０１３３ａは、その情報を電子機器Ａから受信し（ステップＳ１０１８１）、電子機器Ｂへその情報を送信する（ステップＳ１０１８２）。電子機器Ｂは、その情報を受信すると（ステップＳ１０１９６）、その受信した情報にしたがって電子機器Ａへ接続する（ステップＳ１０１９７）。そして、電子機器Ｂは、電子機器Ａとの接続が成されたか否かを判定し（ステップＳ１０１９８）、その成否を受信機１０１３３ａへ通知する（ステップＳ１０１９９またはステップＳ１０１２００）。
【０４９５】
電子機器Ａは、所定の時間の間に電子機器Ｂと接続されれば（ステップＳ１０１９１のＹ）、電子機器Ｂ経由で受信機１０１３３ａへ接続成功を通知し（ステップＳ１０１９２）、接続されなければ（ステップＳ１０１９１のＮ）、可視光通信で受信機１０１３３ａに接続失敗を通知する（ステップＳ１０１９３）。また、電子機器Ａは、画面表示、発光状態または音声等によって、接続の成否をユーザへ通知する。これにより、ユーザに複雑な入力をさせなくても、電子機器Ａ（送信機１０１３３ｃ）を電子機器Ｂ（電子機器１０１３３ｅ）へ接続させることができる。なお、図８３に示すエアコン１０１３３ｂと送信機１０１３３ｃとは一体に構成されていてもよく、同様に、通信装置１０１３３ｄと電子機器１０１３３ｅとも一体に構成されていてもよい。
【０４９６】
次に、適切な撮像情報の送信について説明する。
【０４９７】
図８５は、本実施の形態における送受信システムの応用例を説明するための図である。
【０４９８】
この送受信システムは、例えばデジタルスチルカメラやデジタルビデオカメラとして構成される受信機１０１３５ａと、例えば照明として構成される送信機１０１３５ｂとを備える。
【０４９９】
図８６は、本実施の形態における送受信システムの処理動作を示すフローチャートである。
【０５００】
まず、受信機１０１３５ａは、送信機１０１３５ｂへ、撮像情報送信命令を送る（ステップＳ１０２１１）。次に、送信機１０１３５ｂは、撮像情報送信命令を受信した場合、撮像情報送信ボタンが押下された場合、撮像情報送信スイッチがオンとなっている場合、電源が入れられた場合に（ステップＳ１０２２１のＹ）、撮像情報を送信する（ステップＳ１０２２２）。撮像情報送信命令は、撮像情報を送信させるための命令であって、撮像情報は、例えば照明の色温度、スペクトル分布、照度または配光を示す。送信機１０１３５ｂは、撮像情報を、上述と同様に、直接的に送信してもよいし、間接的に送信してもよい。間接に送信する場合、送信機１０１３５ｂは、撮像情報に関連付けられたＩＤを送信する。そのＩＤを受信した受信機１０１３５ａは、例えば、そのＩＤに関連付けられている撮像情報をサーバ等からダウンロードする。このとき、送信機１０１３５ｂは、自身へ送信停止命令を送信するための方法（送信停止命令を伝送する電波、赤外線、または音波の周波数、あるいは、自信へ接続するためのＳＳＩＤ、パスワードまたはＩＰアドレス等）を送信してもよい。
【０５０１】
受信機１０１３５ａは、撮像情報を受信すると（ステップＳ１０２１２）、送信停止命令を送信機１０１３５ｂに送信する（ステップＳ１０２１３）。ここで、送信機１０１３５ｂは、受信機１０１３５ａから送信停止命令を受信すると（ステップＳ１０２２３の）、撮像情報の送信を停止し、一様に発光する（ステップＳ１０２２４）。
【０５０２】
さらに、受信機１０１３５ａは、ステップＳ１０２１２で受信した撮像情報に従って撮像パラメータを設定する（ステップＳ１０２１４）、あるいは、撮像情報をユーザへ通知する。撮像パラメータは、例えばホワイトバランス、露光時間、焦点距離、感度またはシーンモードである。これにより、照明に合わせて最適な設定で撮像することができる。次に、受信機１０１３５ａは、送信機１０１３５ｂからの撮像情報の送信が停止されてから（ステップＳ１０２１５のＹ）、撮像する（ステップＳ１０２１６）。これにより、信号送信による被写体の明るさの変化をなくして撮像を行うことができる。なお、受信機１０１３５ａは、ステップＳ１０２１６の後、撮像情報の送信開始を促す送信開始命令を送信機１０１３５ｂに送信してもよい（ステップＳ１０２１７）。
【０５０３】
次に、充電状態の表示について説明する。
【０５０４】
図８７は、本実施の形態における送信機の応用例を説明するための図である。
【０５０５】
例えば充電器として構成される送信機１０１３７ｂは、発光部を備え、バッテリーの充電状態を示す可視光信号を発光部から送信する。これにより、高価な表示装置を備えなくても、バッテリーの充電状態を通知することができる。なお、発光部として小さなＬＥＤを用いた場合には、近くからそのＬＥＤを撮像しないと可視光信号を受信することはできない。また、そのＬＥＤの近くに突起部がある送信機１０１３７ｃでは、突起部が邪魔でＬＥＤを接写しづらい。したがって、送信機１０１３７ｃからの可視光信号よりも、ＬＥＤの付近に突起部がない送信機１０１３７ｂからの可視光信号の方が、容易に受信することができる。
【０５０６】
（実施の形態１１）
本実施の形態では、上記各実施の形態におけるスマートフォンなどの受信機と、ＬＥＤや有機ＥＬの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
【０５０７】
まず、デモモード時と故障時の送信について説明する。
【０５０８】
図８８は、本実施の形態における送信機の動作の一例を説明する図である。
【０５０９】
送信機は、エラーが発生している場合には、エラーが発生していることを示す信号、または、エラーコードに対応する信号を送信することで、受信機にエラーが発生していることやエラー内容を伝えることができる。受信機は、エラー内容に合わせて適切な対応を示すことで、エラーを修復したり、サービスセンターにエラー内容を適切に報告したりすることができる。
【０５１０】
送信機は、デモモードになっている場合は、デモコードを送信する。これにより、例えば店頭で商品である送信機のデモを行っている場合に、来店者がデモコードを受信し、デモコードに関連付けられた商品説明を取得することができる。デモモードであるかどうかの判断は、送信機の動作設定がデモモードになっている、店頭用ＣＡＳカードが挿入されている、ＣＡＳカードが挿入されていない、記録用メディアが挿入されていないといった点から判断することができる。
【０５１１】
次に、リモコンからの信号送信について説明する。
【０５１２】
図８９は、本実施の形態における送信機の動作の一例を説明する図である。
【０５１３】
例えばエアコンのリモコンとして構成される送信機が、本体情報を受信した際に、送信機が本体情報を送信することで、受信機は、遠くの本体の情報を近くにある送信機から情報を受信することができる。受信機は、ネットワーク越しなど、可視光通信が不可能な場所に存在する本体からの情報を受信することもできる。
【０５１４】
次に、明るい場所にあるときだけ送信する処理について説明する。
【０５１５】
図９０は、本実施の形態における送信機の動作の一例を説明する図である。
【０５１６】
送信機は、周囲の明るさが一定以上であれば送信を行い、一定以下になれば送信を停止する。これにより、例えば電車の広告として構成される送信機は、車両が車庫入りした際に自動で動作を停止することができ、電池の消耗を抑えることができる。
【０５１７】
次に、送信機の表示に合わせたコンテンツ配信（関連付けの変更・スケジューリング）について説明する。
【０５１８】
図９１は、本実施の形態における送信機の動作の一例を説明する図である。
【０５１９】
送信機は、表示するコンテンツの表示タイミングに合わせて、受信機に取得させたいコンテンツを送信ＩＤに関連付ける。表示コンテンツが変更される度に、関連付けの変更をサーバへ登録する。
【０５２０】
送信機は、表示コンテンツの表示タイミングが既知である場合は、表示コンテンツの変化タイミングに合わせて別のコンテンツが受信機に渡されるように、サーバに設定する。サーバは、受信機から送信ＩＤに関連付けられたコンテンツの要求が合った際には、設定されたスケジュールに合わせたコンテンツを受信機へ送信する。
【０５２１】
これにより、例えばデジタルサイネージとして構成される送信機が表示内容を次々と変更している場合に、受信機は、送信機が表示しているコンテンツに合わせたコンテンツを取得することができる。
【０５２２】
次に、送信機の表示に合わせたコンテンツ配信（時刻による同期）について説明する。
【０５２３】
図９２は、本実施の形態における送信機の動作の一例を説明する図である。
【０５２４】
所定のＩＤに関連付けられたコンテンツ取得の要求に対し、時刻に応じて異なるコンテンツを渡すように、あらかじめサーバへ登録しておく。
【０５２５】
送信機は、サーバと時刻を同期し、所定の時刻に所定の部分が表示されるようにタイミングを調整してコンテンツを表示する。
【０５２６】
これにより、例えばデジタルサイネージとして構成される送信機が表示内容を次々と変更している場合に、受信機は、送信機が表示しているコンテンツに合わせたコンテンツを取得することができる。
【０５２７】
次に、送信機の表示に合わせたコンテンツ配信（表示時刻の送信）について説明する。
【０５２８】
図９３は、本実施の形態における送信機と受信機の動作の一例を説明する図である。
【０５２９】
送信機は、送信機のＩＤに加え、表示中のコンテンツの表示時刻を送信する。コンテンツ表示時刻は、現在表示しているコンテンツを特定できる情報であり、例えばコンテンツの開始時点からの経過時刻などで表現できる。
【０５３０】
受信機は、受信したＩＤに関連付けられたコンテンツをサーバから取得し、受信した表示時刻に合わせてコンテンツを表示する。これにより、例えばデジタルサイネージとして構成される送信機が表示内容を次々と変更している場合に、受信機は、送信機が表示しているコンテンツに合わせたコンテンツを取得することができる。
【０５３１】
また、受信機は、時間の経過に従って、表示するコンテンツを変更する。これにより、送信機の表示コンテンツが変化した際に再度信号を受信しなくても、表示コンテンツに合わせたコンテンツが表示される。
【０５３２】
次に、ユーザの許諾状況に合わせたデータのアップロードについて説明する。
【０５３３】
図９４は、本実施の形態における受信機の動作の一例を説明する図である。
【０５３４】
受信機は、ユーザがアカウント登録をしている場合には、アカウント登録の際等にユーザがアクセス許可を行っている情報（受信機の位置や電話番号やＩＤやインストールされているアプリやユーザの年齢や性別や職業や嗜好等）を受信したＩＤと合わせてサーバへ送信する。
【０５３５】
アカウント登録がされていない場合には、ユーザが前記のような情報のアップロードを許可していれば、同様にサーバへ送信し、許可していない場合には、受信したＩＤのみをサーバへ送信する。
【０５３６】
これにより、ユーザは受信時の状況や自身のパーソナリティに合わせたコンテンツを受信することができ、また、サーバはユーザの情報を得ることでデータ解析に役立てることが出来る。
【０５３７】
次に、コンテンツ再生アプリの起動について説明する。
【０５３８】
図９５は、本実施の形態における受信機の動作の一例を説明する図である。
【０５３９】
受信機は、受信したＩＤに関連付けられたコンテンツをサーバから取得する。起動中のアプリが取得コンテンツを扱える（表示したり再生したりすることができる）場合には、起動中のアプリで取得コンテンツを表示・再生する。扱えない場合は、扱えるアプリが受信機にインストールされているかどうかを確認し、インストールされている場合は、そのアプリを起動して取得コンテンツの表示・再生を行う。インストールされていない場合は、自動でインストールしたり、インストールを促す表示をしたり、ダウンロード画面を表示させたりし、インストール後に取得コンテンツの表示・再生を行う。
【０５４０】
これにより、取得コンテンツを適切に扱う（表示・再生等を行う）ことができる。
【０５４１】
次に、指定アプリの起動について説明する。
【０５４２】
図９６は、本実施の形態における受信機の動作の一例を説明する図である。
【０５４３】
受信機は、受信したＩＤに関連付けられたコンテンツと、起動すべきアプリを指定する情報（アプリＩＤ）をサーバから取得する。起動中のアプリが指定アプリである場合は、取得したコンテンツを表示・再生する。指定アプリが受信機にインストールされている場合は、指定アプリを起動して取得コンテンツの表示・再生を行う。インストールされていない場合は、自動でインストールしたり、インストールを促す表示をしたり、ダウンロード画面を表示させたりし、インストール後に取得コンテンツの表示・再生を行う。
【０５４４】
受信機は、アプリＩＤのみをサーバから取得し、指定アプリを起動するとしてもよい。
【０５４５】
受信機は、指定された設定を行うとしてもよい。受信機は、指定されたパラメータを設定して、指定されたアプリを起動するとしてもよい。
【０５４６】
次に、ストリーミング受信と通常受信の選択について説明する。
【０５４７】
図９７は、本実施の形態における受信機の動作の一例を説明する図である。
【０５４８】
受信機は、受信したデータの所定のアドレスの値が所定の値である場合や、受信したデータが所定の識別子を含む場合は、信号がストリーミング配信されていると判断し、ストリーミングデータの受信方法で受信を行う。そうでない場合は、通常の受信方法で受信する。
【０５４９】
これにより、ストリーミング配信と通常配信のどちらの方法で信号が送信されていても受信を行うことができる。
【０５５０】
次に、プライベートデータについて説明する。
【０５５１】
図９８は、本実施の形態における受信機の動作の一例を説明する図である。
【０５５２】
受信機は、受信したＩＤの値が所定の範囲内である場合や、所定の識別子を含む場合には、アプリ内にテーブルを参照し、受信ＩＤがテーブルに存在すれば、そのテーブルで指定されたコンテンツを取得する。そうでない場合には、サーバから受信ＩＤにしていされたコンテンツを取得する。
【０５５３】
これにより、サーバに登録を行わなくてもコンテンツを受信することができる。また、サーバとの通信を行わないため、素早いレスポンスが得られる。
【０５５４】
次に、周波数に合わせた露光時間の設定について説明する。
【０５５５】
図９９は、本実施の形態における受信機の動作の一例を説明する図である。
【０５５６】
受信機は、信号を検知し、信号の変調周波数を認識する。受信機は、変調周波数の周期（変調周期）に合わせて露光時間を設定する。例えば、変調周期と同程度の露光時間にすることで、信号を受信しやすくすることができる。また、例えば、変調周期の整数倍、または、それに近い値（概ね±３０％程度）に露光時間を設定することで、畳み込み復号によって信号を受信しやすくすることができる。
【０５５７】
次に、送信機の最適パラメータ設定について説明する。
【０５５８】
図１００は、本実施の形態における受信機の動作の一例を説明する図である。
【０５５９】
受信機は、送信機から受信したデータに加え、現在位置情報やユーザに関連する情報（住所や性別や年齢や嗜好等）をサーバへ送信する。サーバは、受信した情報に合わせて、送信機が最適に動作するためのパラメータを受信機へ送信する。受信機は、受信したパラメータを送信機へ設定できる場合には設定する。設定できない場合には、パラメータを表示し、ユーザが送信機へそのパラメータを設定するように促す。
【０５６０】
これにより、例えば、送信機が使われている地域の水の性質に最適化して洗濯機を動作させたり、ユーザの使用している米の種類に最適な方法で炊飯するように炊飯器を動作させたりすることができる。
【０５６１】
次に、データの構成を示す識別子について説明する。
【０５６２】
図１０１は、本実施の形態における送信データの構成の一例を説明する図である。
【０５６３】
送信される情報は識別子を含み、受信機は、その値によって後続する部分の構成を知ることができる。例えば、データの長さ、エラー訂正符号の種類や長さ、データの分割点などを特定することができる。
【０５６４】
これにより、送信機は、送信機や通信路の性質に応じてデータ本体やエラー訂正符号の種類や長さを変更することができる。また、送信機は、送信機のＩＤに加えて、コンテンツＩＤを送信することで、受信機にコンテンツＩＤに応じたＩＤを取得させることができる。
【０５６５】
（実施の形態１２）
本実施の形態では、上記各実施の形態におけるスマートフォンなどの受信機と、ＬＥＤや有機ＥＬの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
【０５６６】
図１０２は、本実施の形態における受信機の動作を説明するための図である。
【０５６７】
本実施の形態における受信機１２１０ａは、イメージセンサによる連続した撮影を行う際に、例えばフレーム単位でシャッター速度を高速と低速とに切り替える。さらに、受信機１２１０ａは、その撮影によって得られるフレームに基づいて、そのフレームに対する処理を、バーコード認識処理と可視光認識処理とに切り替える。ここで、バーコード認識処理とは、低速のシャッター速度によって得られるフレームに映っているバーコードをデコードする処理である。可視光認識処理とは、高速のシャッター速度によって得られるフレームに映っている上述の輝線のパターンをデコードする処理である。
【０５６８】
このような受信機１２１０ａは、映像入力部１２１１と、バーコード・可視光識別部１２１２と、バーコード認識部１２１２ａと、可視光認識部１２１２ｂと、出力部１２１３とを備えている。
【０５６９】
映像入力部１２１１は、イメージセンサを備え、イメージセンサによる撮影のシャッター速度を切り替える。つまり、映像入力部１２１１は、例えばフレーム単位でシャッター速度を低速と高速とに交互に切り替える。より具体的には、映像入力部１２１１は、奇数番目のフレームに対してはシャッター速度を高速に切り替え、偶数番目のフレームに対してはシャッター速度を低速に切り替える。低速のシャッター速度の撮影は、上述の通常撮影モードによる撮影であって、高速のシャッター速度の撮影は、上述の可視光通信モードによる撮影である。つまり、シャッター速度が低速の場合には、イメージセンサに含まれる各露光ラインの露光時間は長く、被写体が映し出された通常撮影画像がフレームとして得られる。また、シャッター速度が高速の場合には、イメージセンサに含まれる各露光ラインの露光時間は短く、上述の輝線が映し出された可視光通信画像がフレームとして得られる。
【０５７０】
バーコード・可視光識別部１２１２は、映像入力部１２１１によって得られる画像に、バーコードが現れているか否か、または輝線が現れているか否かを判別することによって、その画像に対する処理を切り替える。例えば、バーコード・可視光識別部１２１２は、低速のシャッター速度の撮影によって得られたフレームにバーコードが現れていれば、その画像に対する処理をバーコード認識部１２１２ａに実行させる。一方、バーコード・可視光識別部１２１２は、高速のシャッター速度の撮影によって得られた画像に輝線が現れていれば、その画像に対する処理を可視光認識部１２１２ｂに実行させる。
【０５７１】
バーコード認識部１２１２ａは、低速のシャッター速度の撮影によって得られたフレームに現れているバーコードをデコードする。バーコード認識部１２１２ａは、そのデコードによって、バーコードのデータ（例えばバーコード識別子）を取得し、そのバーコード識別子を出力部１２１３に出力する。なお、バーコードは、一次元のコードであっても、二次元のコード（例えば、ＱＲコード（登録商標））であってもよい。
【０５７２】
可視光認識部１２１２ｂは、高速のシャッター速度の撮影によって得られたフレームに現れている輝線のパターンをデコードする。可視光認識部１２１２ｂは、そのデコードによって、可視光のデータ（例えば可視光識別子）を取得し、その可視光識別子を出力部１２１３に出力する。なお、可視光のデータは上述の可視光信号である。
【０５７３】
出力部１２１３は、低速のシャッター速度の撮影によって得られたフレームのみを表示する。したがって、映像入力部１２１１による撮影の被写体がバーコードである場合には、出力部１２１３はバーコードを表示する。また、映像入力部１２１１による撮影の被写体が、可視光信号を送信するデジタルサイネージなどである場合には、出力部１２１３は、輝線のパターンを表示することなく、そのデジタルサイネージの像を表示する。そして、出力部１２１３は、バーコード識別子を取得した場合には、そのバーコード識別子に対応付けられている情報を例えばサーバなどから取得し、その情報を表示する。また、出力部１２１３は、可視光識別子を取得した場合には、その可視光識別子に対応付けられている情報を例えばサーバなどから取得し、その情報を表示する。
【０５７４】
つまり、端末装置である受信機１２１０ａは、イメージセンサを備え、イメージセンサのシャッター速度を、第１の速度と、第１の速度よりも高速の第２の速度とに交互に切り替えながら、イメージセンサによる連続した撮影を行う。そして、（ａ）イメージセンサによる撮影の被写体がバーコードである場合には、受信機１２１０ａは、シャッター速度が第１の速度であるときの撮影によって、バーコードが映っている画像を取得し、その画像に映っているバーコードをデコードすることによって、バーコード識別子を取得する。また、（ｂ）イメージセンサによる撮影の被写体が光源（例えばデジタルサイネージなど）である場合には、受信機１２１０ａは、シャッター速度が第２の速度であるときの撮影によって、イメージセンサに含まれる複数の露光ラインのそれぞれに対応する輝線を含む画像である輝線画像を取得する。そして、受信機１２１０ａは、取得された輝線画像に含まれる複数の輝線のパターンをデコードすることによって可視光信号を可視光識別子として取得する。さらに、この受信機１２１０ａは、シャッター速度が第１の速度であるときの撮影によって得られる画像を表示する。
【０５７５】
このような本実施の形態における受信機１２１０ａでは、バーコード認識処理と可視光認識処理とを切り替えて行うことによって、バーコードのデコードを行うとともに、可視光信号を受信することができる。さらに、切り替えによって、消費電力を抑えることができる。
【０５７６】
本実施の形態における受信機は、バーコード認識処理の代わりに画像認識処理を可視光処理と同時に行ってもよい。
【０５７７】
図１０３Ａは、本実施の形態における受信機の他の動作を説明するための図である。
【０５７８】
本実施の形態における受信機１２１０ｂは、イメージセンサによる連続した撮影を行う際に、例えばフレーム単位でシャッター速度を高速と低速とに切り替える。さらに、受信機１２１０ｂは、その撮影によって得られる画像（フレーム）に対して、画像認識処理と上述の可視光認識処理とを同時に実行する。画像認識処理は、低速のシャッター速度によって得られるフレームに映っている被写体を認識する処理である。
【０５７９】
このような受信機１２１０ｂは、映像入力部１２１１と、画像認識部１２１２ｃと、可視光認識部１２１２ｂと、出力部１２１５とを備えている。
【０５８０】
映像入力部１２１１は、イメージセンサを備え、イメージセンサによる撮影のシャッター速度を切り替える。つまり、映像入力部１２１１は、例えばフレームン単位でシャッター速度を低速と高速とに交互に切り替える。より具体的には、映像入力部１２１１は、奇数番目のフレームに対してはシャッター速度を高速に切り替え、偶数番目のフレームに対してはシャッター速度を低速に切り替える。低速のシャッター速度の撮影は、上述の通常撮影モードによる撮影であって、高速のシャッター速度の撮影は、上述の可視光通信モードによる撮影である。つまり、シャッター速度が低速の場合には、イメージセンサに含まれる各露光ラインの露光時間は長く、被写体が映し出された通常撮影画像がフレームとして得られる。また、シャッター速度が高速の場合には、イメージセンサに含まれる各露光ラインの露光時間は短く、上述の輝線が映し出された可視光通信画像がフレームとして得られる。
【０５８１】
画像認識部１２１２ｃは、低速のシャッター速度の撮影によって得られたフレームに現れている被写体を認識するとともに、その被写体のフレーム内の位置を特定する。画像認識部１２１２ｃは、認識の結果、その被写体がＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）の対象とされるもの（以下、ＡＲ対象物という）か否かを判断する。そして、画像認識部１２１２ｃは、被写体がＡＲ対象物であると判断すると、その被写体に関する情報を表示するためのデータ（例えば、被写体の位置およびＡＲマーカーなど）である画像認識データを生成し、そのＡＲマーカーを出力部１２１５に出力する。
【０５８２】
出力部１２１５は、上述の出力部１２１３と同様に、低速のシャッター速度の撮影によって得られたフレームのみを表示する。したがって、映像入力部１２１１による撮影の被写体が、可視光信号を送信するデジタルサイネージなどである場合には、出力部１２１３は、輝線のパターンを表示することなく、そのデジタルサイネージの像を表示する。さらに、出力部１２１５は、画像認識部１２１２ｃから画像認識データを取得すると、画像認識データによって示されるフレーム内の被写体の位置に基づいて、その被写体を囲む白い枠状のインジケータをそのフレームに重畳する。
【０５８３】
図１０３Ｂは、出力部１２１５によって表示されるインジケータの例を示す図である。
【０５８４】
出力部１２１５は、例えばデジタルサイネージとして構成された被写体の像１２１５ａを囲む白い枠状のインジケータ１２１５ｂをフレームに重畳する。つまり、出力部１２１５は、画像認識された被写体を示すインジケータ１２１５ｂを表示する。さらに、出力部１２１５は、可視光認識部１２１２ｂから可視光識別子を取得すると、そのインジケータ１２１５ｂの色を例えば白から赤色に変更する。
【０５８５】
図１０３Ｃは、ＡＲの表示例を示す図である。
【０５８６】
出力部１２１５は、さらに、その可視光識別子に対応付けられている、被写体に関する情報を関連情報として例えばサーバなどから取得する。出力部１２１５は、画像認識データによって示されるＡＲマーカー１２１５ｃに関連情報を記載し、関連情報が記載されたＡＲマーカー１２１５ｃを、フレーム内の被写体の像１２１５ａに関連付けて表示する。
【０５８７】
このような本実施の形態における受信機１２１０ｂでは、画像認識処理と可視光認識処理とを同時に行うことによって、可視光通信を利用したＡＲを実現することができる。なお、図１０３Ａに示す受信機１２１０ａも、受信機１２１０ｂと同様に、図１０３Ｂに示すインジケータ１２１５ｂを表示してもよい。この場合、受信機１２１０ａは、低速のシャッター速度の撮影によって得られたフレームにおいてバーコードが認識されると、そのバーコードを囲む白い枠状のインジケータ１２１５ｂを表示する。そして、受信機１２１０ａは、そのバーコードがデコードされると、そのインジケータ１２１５ｂの色を白色から赤色に変更する。同様に、受信機１２１０ａは、高速のシャッター速度の撮影によって得られたフレームにおいて輝線のパターンが認識されると、その輝線のパターンがある部位に対応する、低速フレーム内の部位を特定する。例えば、デジタルサイネージが可視光信号を送信している場合には、低速フレーム内のデジタルサイネージの像が特定される。なお、低速フレームとは、低速のシャッター速度の撮影によって得られたフレームである。そして、受信機１２１０ａは、低速フレーム内における特定された部位（例えば、上述のデジタルサイネージの像）を囲む白い枠状のインジケータ１２１５ｂを低速フレームに重畳して表示する。そして、受信機１２１０ａは、その輝線のパターンがデコードされると、そのインジケータ１２１５ｂの色を白色から赤色に変更する。
【０５８８】
図１０４Ａは、本実施の形態における送信機の一例を説明するための図である。
【０５８９】
本実施の形態における送信機１２２０ａは、送信機１２３０と同期して可視光信号を送信する。つまり、送信機１２２０ａは、送信機１２３０が可視光信号を送信するタイミングで、その可視光信号と同一の可視光信号を送信する。なお、送信機１２３０は、発光部１２３１を備え、その発光部１２３１が輝度変化することによって、可視光信号を送信する。
【０５９０】
このような送信機１２２０ａは、受光部１２２１と、信号解析部１２２２と、送信クロック調整部１２２３ａと、発光部１２２４とを備える。発光部１２２４は、送信機１２３０から送信される可視光信号と同一の可視光信号を輝度変化によって送信する。受光部１２２１は、送信機１２３０からの可視光を受光することによって、送信機１２３０から可視光信号を受信する。信号解析部１２２２は、受光部１２２１によって受信された可視光信号を解析し、その解析結果を送信クロック調整部１２２３ａに送信する。送信クロック調整部１２２３ａは、その解析結果に基づいて、発光部１２２４から送信される可視光信号のタイミングを調整する。つまり、送信クロック調整部１２２３ａは、送信機１２３０の発光部１２３１から可視光信号が送信されるタイミングと、発光部１２２４から可視光信号が送信されるタイミングとが一致するように、発光部１２２４による輝度変化のタイミングを調整する。
【０５９１】
これにより、送信機１２２０ａによって送信される可視光信号の波形と、送信機１２３０によって送信される可視光信号の波形とをタイミング的に一致させることができる。
【０５９２】
図１０４Ｂは、本実施の形態における送信機の他の例を説明するための図である。
【０５９３】
本実施の形態における送信機１２２０ｂは、送信機１２２０ａと同様に、送信機１２３０と同期して可視光信号を送信する。つまり、送信機１２００ｂは、送信機１２３０が可視光信号を送信するタイミングで、その可視光信号と同一の可視光信号を送信する。
【０５９４】
このような送信機１２２０ｂは、第１の受光部１２２１ａと、第２の受光部１２２１ｂと、比較部１２２５と、送信クロック調整部１２２３ｂと、発光部１２２４とを備える。
【０５９５】
第１の受光部１２２１ａは、受光部１２２１と同様に、送信機１２３０からの可視光を受光することによって、その送信機１２３０から可視光信号を受信する。第２の受光部１２２１ｂは、発光部１２２４からの可視光を受光する。比較部１２２５は、第１の受光部１２２１ａによって可視光が受光された第１のタイミングと、第２の受光部１２２１ｂによって可視光が受光された第２のタイミングとを比較する。そして、比較部１２２５は、その第１のタイミングと第２のタイミングとの差（つまり遅延時間）を送信クロック調整部１２２３ｂに出力する。送信クロック調整部１２２３ｂは、その遅延時間が縮まるように、発光部１２２４から送信される可視光信号のタイミングを調整する。
【０５９６】
これにより、送信機１２２０ｂによって送信される可視光信号の波形と、送信機１２３０によって送信される可視光信号の波形とをタイミング的により正確に一致させることができる。
【０５９７】
なお、図１０４Ａおよび図１０４Ｂに示す例では、２つの送信機が同じ可視光信号を送信したが、異なる可視光信号を送信してもよい。つまり、２つの送信機は、同じ可視光信号を送信するときには、上述のように同期をとって送信する。そして、２つの送信機は、異なる可視光信号を送信するときには、２つの送信機のうちの一方の送信機のみが可視光信号を送信し、その間、他方の送信機は一様に点灯または消灯する。その後、一方の送信機は一様に点灯または消灯し、その間、他方の送信機のみが可視光信号を送信する。なお、２つの送信機が、互いに異なる可視光信号を同時に送信してもよい。
【０５９８】
図１０５Ａは、本実施の形態における複数の送信機による同期送信の一例を説明するための図である。
【０５９９】
本実施の形態における複数の送信機１２２０は、図１０５Ａに示すように、例えば一列に配列される。なお、これらの送信機１２２０は、図１０４Ａに示す送信機１２２０ａまたは図１０４Ｂに示す送信機１２２０ｂと同一の構成を有する。このような複数の送信機１２２０のそれぞれは、両隣の送信機１２２０のうちの一方の送信機１２２０と同期して可視光信号を送信する。
【０６００】
これにより、多くの送信機が可視光信号を同期して送信することができる。
【０６０１】
図１０５Ｂは、本実施の形態における複数の送信機による同期送信の一例を説明するための図である。
【０６０２】
本実施の形態における複数の送信機１２２０のうちの１つの送信機１２２０は、可視光信号の同期をとるための基準となり、残りの複数の送信機１２２０は、その基準に合わせるように可視光信号を送信する。
【０６０３】
これにより、多くの送信機が可視光信号をより正確に同期して送信することができる。
【０６０４】
図１０６は、本実施の形態における複数の送信機による同期送信の他の例を説明するための図である。
【０６０５】
本実施の形態における複数の送信機１２４０のそれぞれは、同期信号を受信し、その同期信号に応じて可視光信号を送信する。これにより、複数の送信機１２４０のそれぞれから可視光信号が同期して送信される。
【０６０６】
具体的には、複数の送信機１２４０のそれぞれは、制御部１２４１と、同期制御部１２４２と、フォトカプラ１２４３と、ＬＥＤドライブ回路１２４４と、ＬＥＤ１２４５と、フォトダイオード１２４６とを備える。
【０６０７】
制御部１２４１は、同期信号を受信し、その同期信号を同期制御部１２４２に出力する。
【０６０８】
ＬＥＤ１２４５は、可視光を放出する光源であって、ＬＥＤドライブ回路１２４４による制御に応じて明滅（つまり輝度変化）する。これにより、可視光信号がＬＥＤ１２４５から送信機１２４０の外に送信される。
【０６０９】
フォトカプラ１２４３は、同期制御部１２４２とＬＥＤドライブ回路１２４４との間を電気的に絶縁しながら、その間で信号を伝達する。具体的には、フォトカプラ１２４３は、同期制御部１２４２から送信される後述の送信開始信号をＬＥＤドライブ回路１２４４に伝達する。
【０６１０】
ＬＥＤドライブ回路１２４４は、同期制御部１２４２からフォトカプラ１２４３を介して送信開始信号を受信すると、その送信開始信号を受信したタイミングで、可視光信号の送信をＬＥＤ１２４５に開始させる。
【０６１１】
フォトダイオード１２４６は、ＬＥＤ１２４５から放たれる可視光を検出し、可視光を検出したことを示す検出信号を同期制御部１２４２に出力する。
【０６１２】
同期制御部１２４２は、同期信号を制御部１２４１から受信すると、送信開始信号を、フォトカプラ１２４３を介してＬＥＤドライブ回路１２４４に送信する。この送信開始信号が送信されることによって、可視光信号の送信が開始される。また、同期制御部１２４２は、その可視光信号の送信によってフォトダイオード１２４６から検出信号を受信すると、その検出信号を受信したタイミングと、制御部１２４１から同期信号を受信したタイミングとの差である遅延時間を算出する。同期制御部１２４２は、次の同期信号を制御部１２４１から受信すると、その算出された遅延時間に基づいて、次の送信開始信号を送信するタイミングを調整する。つまり、同期制御部１２４２は、次の同期信号に対する遅延時間が予め定められた設定遅延時間になるように、次の送信開始信号を送信するタイミングを調整する。これにより、同期制御部１２４２は、その調整されたタイミングで、次の送信開始信号を送信する。
【０６１３】
図１０７は、送信機１２４０における信号処理を説明するための図である。
【０６１４】
同期制御部１２４２は、同期信号を受信すると、所定のタイミングに遅延時間設定パルスが発生する遅延時間設定信号を生成する。なお、同期信号を受信するとは、具体的には同期パルスを受信することである。つまり、同期制御部１２４２は、同期パルスの立ち下がりから、上述の設定遅延時間だけ経過したタイミングに遅延時間設定パルスが立ち上がるように遅延時間設定信号を生成する。
【０６１５】
そして、同期制御部１２４２は、同期パルスの立ち下がりから、前回に得られた補正値Ｎだけ遅れたタイミングで送信開始信号を、フォトカプラ１２４３を介してＬＥＤドライブ回路１２４４に送信する。その結果、ＬＥＤドライブ回路１２４４によってＬＥＤ１２４５から可視光信号が送信される。ここで、同期制御部１２４２は、同期パルスの立ち下がりから、固有遅延時間と補正値Ｎとの和だけ遅れたタイミングで、フォトダイオード１２４６から検出信号を受信する。つまり、そのタイミングから可視光信号の送信が開始される。以下、そのタイミングを送信開始タイミングという。なお、上述の固有遅延時間は、フォトカプラ１２４３などの回路に起因する遅延時間であり、同期制御部１２４２が同期信号を受信してすぐに送信開始信号を送信しても発生する遅延時間である。
【０６１６】
同期制御部１２４２は、送信開始タイミングから遅延時間設定パルスの立ち上がりまでの時間差を、修正補正値Ｎとして特定する。そして、同期制御部１２４２は、補正値（Ｎ＋１）を、補正値（Ｎ＋１）＝補正値Ｎ＋修正補正値Ｎによって算出して保持しておく。これにより、同期制御部１２４２は、次の同期信号（同期パルス）を受信したときには、その同期パルスの立ち下がりから、補正値（Ｎ＋１）だけ遅れたタイミングで送信開始信号をＬＥＤドライブ回路１２４４に送信する。なお、修正補正値Ｎは正の値だけでなく負の値にも成り得る。
【０６１７】
これにより、複数の送信機１２４０のそれぞれは、同期信号（同期パルス）を受信してから、設定遅延時間経過後に可視光信号を送信するため、正確に同期して可視光信号を送信することができる。つまり、複数の送信機１２４０のそれぞれで、フォトカプラ１２４３などの回路に起因する固有遅延時間にばらつきがあったとしても、そのばらつきに影響を受けることなく、複数の送信機１２４０のそれぞれからの可視光信号の送信を正確に同期させることができる。
【０６１８】
なお、ＬＥＤドライブ回路は、大きな電力を消費するものであり、同期信号を扱う制御回路からはフォトカプラなどを用いて電気的に絶縁される。したがって、このようなフォトカプラが用いられる場合には、上述の固有遅延時間のばらつきによって、複数の送信機からの可視光信号の送信を同期させることが難しい。しかし、本実施の形態における複数の送信機１２４０では、フォトダイオード１２４６によってＬＥＤ１２４５の発光タイミングが検知され、同期制御部１２４２によって同期信号からの遅延時間が検知され、その遅延時間が予め設定された遅延時間（上述の設定遅延時間）になるように調整される。これにより、それぞれ例えばＬＥＤ照明として構成される複数の送信機に備えられるフォトカプラに、個体ばらつきがあっても、複数のＬＥＤ照明から可視光信号（例えば可視光ＩＤ）を高精度に同期した状態で送信させることができる。
【０６１９】
なお、可視光信号送信期間以外はＬＥＤ照明を点灯させても、消灯させても良い。前記可視光信号送信期間以外を点灯させる場合は、可視光信号の最初の立下りエッジを検出すればよい。前記可視光信号送信期間以外を消灯させる場合は、可視光信号の最初の立ち上がりエッジを検出すればよい。
【０６２０】
なお、上述の例では、送信機１２４０は、同期信号を受信するたびに、可視光信号を送信するが、同期信号を受信しなくても、可視光信号を送信してもよい。つまり、送信機１２４０は、同期信号の受信に応じて可視光信号を一度送信すれば、同期信号を受信しなくても可視光信号を順次送信してもよい。具体的には、送信機１２４０は、同期信号の一度の受信に対して、可視光信号の送信を２〜数千回、順次行ってもよい。また、送信機１２４０は、１００ｍ秒に１回の割合または数秒に１回の割合で、同期信号に応じた可視光信号の送信を行ってもよい。
【０６２１】
また、同期信号に応じた可視光信号の送信が繰り返し行われるときには、上述の設定遅延時間によってＬＥＤ１２４５の発光の連続性が失われる可能性がある。つまり、少し長いブランキング期間が発生する可能性がある。その結果、ＬＥＤ１２４５の点滅が人に視認されてしまい、いわゆるフリッカが発生する可能性がある。そこで、送信機１２４０は、６０Ｈｚ以上の周期で、同期信号に応じた可視光信号の送信を行ってもよい。これにより、点滅が高速に行われ、その点滅は人に視認され難くなる。その結果、フリッカの発生を抑えることができる。または、送信機１２４０は、例えば数分に１回の周期などの十分に長い周期で、同期信号に応じた可視光信号の送信を行ってもよい。これにより、点滅が人に視認されてしまうが、点滅が繰り返し連続して視認されることを防止することができ、フリッカが人に与える不快感を軽減することができる。
【０６２２】
（受信方法の前処理）
図１０８は、本実施の形態における受信方法の一例を示すフローチャートである。また、図１０９は、本実施の形態における受信方法の一例を説明するための説明図である。
【０６２３】
まず、受信機は、露光ラインに平行な方向に配列されている複数の画素のそれぞれの画素値の平均値を計算する（ステップＳ１２１１）。中心極限定理により、Ｎ個の画素の画素値を平均すると、ノイズ量の期待値はＮのマイナス１／２乗になり、ＳＮ比が改善する。
【０６２４】
次に、受信機は、全ての色のそれぞれで、画素値が垂直方向に同じ変化をしている部分のみ残し、異なる変化をしている部分では画素値の変化を取り除く（ステップＳ１２１２）。送信機に備えられている発光部の輝度によって送信信号（可視光信号）が表現される場合、送信機である照明やディスプレイのバックライトの輝度が変化する。この際には、図１０９の（ｂ）の部分のように、全ての色のそれぞれで画素値が同じ方向に変化する。図１０９の（ａ）および（ｃ）の部分では、各色で画素値が異なる変化をしている。これらの部分では、受信ノイズあるいは、ディスプレイまたはサイネージの絵によって画素値が変動しているため、これらの変動を取り除くことで、ＳＮ比を改善することができる。
【０６２５】
次に、受信機は、輝度値を求める（ステップＳ１２１３）。輝度は色による変化を受けづらいため、ディスプレイまたはサイネージの絵による影響を排除することができ、ＳＮ比を改善することができる。
【０６２６】
次に、受信機は、輝度値をローパスフィルタにかける（ステップＳ１２１４）。本実施の形態における受信方法では、露光時間の長さによる移動平均フィルタがかけられているため、高周波数領域にはほとんど信号は含まれておらず、ノイズが支配的となる。そのため、高周波数領域をカットするローパスフィルタを用いることで、ＳＮ比を改善することができる。露光時間の逆数までの周波数までは信号成分が多いため、それ以上の周波数を遮断することで、ＳＮ比の改善の効果を大きくすることができる。信号に含まれている周波数成分が有限である場合は、その周波数より高い周波数を遮断することで、ＳＮ比を改善することができる。ローパスフィルタには、周波数振動成分を含まないフィルタ（バタワースフィルタ等）が適している。
【０６２７】
（畳み込み最尤復号による受信方法）
図１１０は、本実施の形態における受信方法の他の例を示すフローチャートである。以下、この図を用いて、露光時間が送信周期より長い場合の受信方法について説明する。
【０６２８】
露光時間が送信周期の整数倍である場合に、最も精度よく受信を行うことができる。整数倍でない場合であっても、（Ｎ±０．３３）倍（Ｎは整数）程度の範囲であれば受信を行うことができる。
【０６２９】
まず、受信機は、送受信オフセットを０に設定する（ステップＳ１２２１）。送受信オフセットとは、送信のタイミングと受信のタイミングのズレを修正するための値である。このズレは不明であるため、受信機は、その送受信オフセットの候補となる値を少しずつ変化させて、最も辻褄が合う値を送受信オフセットに採用する。
【０６３０】
次に、受信機は、送受信オフセットが送信周期未満であるか否かを判定する（ステップＳ１２２２）。ここで、受信の周期と送信周期は同期していないため、送信周期に合わせた受信値が得られているとは限らない。そのため、受信機は、ステップＳ１２２２で、送信周期未満であると判定すると（ステップＳ１２２２のＹ）、その近辺の受信値を用いて、送信周期ごとに、送信周期に合わせた受信値（例えば画素値）を補間によって計算する（ステップＳ１２２３）。補間方法には、線形補間、最近傍値、またはスプライン補間等を用いることができる。次に、受信機は、送信周期毎に求めた受信値の差分を求める（ステップＳ１２２４）。
【０６３１】
受信機は、送受信オフセットに所定の値を加え（ステップＳ１２２６）、ステップＳ１２２２からの処理を繰り返し実行する。また、受信機は、ステップＳ１２２２で、送信周期未満でないと判定すると（ステップＳ１２２２のＮ）、各送受信オフセットに対して計算された受信信号の尤度のうち最も高い尤度を特定する。そして、受信機は、その最も高い尤度が所定の値以上か否かを判定する（ステップＳ１２２７）。所定の値以上と判定すると（ステップＳ１２２７のＹ）、受信機は、最も尤度が高かった受信信号を最終的な推定結果として用いる。または、受信機は、最も高かった尤度から所定の値を引いた値以上の尤度を持つ受信信号を受信信号候補として用いる（ステップＳ１２２８）。一方、ステップＳ１２２７において、最も高い尤度が所定の値未満と判定すると（ステップＳ１２２７のＮ）、受信機は、推定結果を破棄する（ステップＳ１２２９）。
【０６３２】
ノイズが多すぎる場合には受信信号の推定が適切にできないことが多く、同時に尤度が低くなる。したがって、尤度が低い場合には推定結果を破棄することで、受信信号の信頼性を向上させることができる。また、入力画像に有効な信号が含まれていない場合でも、最尤復号では有効な信号を推定結果として出力してしまうという問題がある。しかし、この場合も尤度が低くなるため、尤度が低い場合は推定結果を破棄することで、この問題を回避することもできる。
【０６３３】
（実施の形態１３）
本実施の形態では、可視光通信のプロトコル送出方式について説明する。
【０６３４】
（多値振幅パルス信号）
図１１１、図１１２および図１１３は、本実施の形態における送信信号の一例を示す図である。
【０６３５】
パルスの振幅に意味を持たせることで、単位時間あたりにより多くの情報を表現することができる。例えば、振幅を３段階に分類すると、図１１１のように、平均輝度は５０％に保ったまま、２スロットの送信時間で３値を表現することができる。ただし、図１１１の（ｃ）を連続で送信すると輝度変化がないため、信号の存在がわかりにくい。また、デジタル処理では３値は少し扱いにくい。
【０６３６】
そこで、図１１２の（ａ）から（ｄ）の４種類のシンボルを用いることで、平均輝度は５０％に保ったまま、平均３スロットの送信時間で４値を表現することができる。シンボルによって送信時間が異なるが、シンボルの最後の状態を輝度が低い状態とすることで、シンボルの終了時点を認識することができる。輝度が高い状態と低い状態を入れ替えても同様の効果が得られる。図１１２の（ｅ）は、（ａ）を２回送信することと区別がつかないため、適さない。図１１２の（ｆ）と（ｇ）は、中間輝度が連続するため、やや認識しづらいが、利用することはできる。
【０６３７】
図１１３の（ａ）や（ｂ）のパターンをヘッダとして利用することを考える。これらのパターンは周波数解析において特定の周波数成分を強く持つため、これらのパターンをヘッダとすることで、周波数解析によって信号検出を行うことができる。
【０６３８】
図１１３の（ｃ）のように、（ａ）や（ｂ）のパターンを用いて送信パケットを構成する。特定の長さのパターンをパケット全体のヘッダとし、異なる長さのパターンをセパレータとして用いることで、データを区切ることができる。また、途中の箇所にこのパターンを含むことで、信号検出を容易にすることができる。これにより、１パケットが１フレームの画像の撮像時間よりも長い場合であっても、受信機は、データをつなぎあわせて復号することができる。また、これにより、セパレータの数を調整することで、パケットの長さを可変とすることができる。パケットヘッダのパターンの長さでパケット全体の長さを表現するとしてもよい。また、セパレータをパケットヘッダとし、セパレータの長さをデータのアドレスとすることで、受信機は、部分的に受信したデータを合成することができる。
【０６３９】
送信機は、このように構成したパケットを繰り返し送信する。図１１３の（ｃ）のパケット１〜４の内容は全て同じでも良いし、異なるデータとして受信側で合成するとしてもよい。
【０６４０】
（実施の形態１４）
本実施の形態では、上記各実施の形態におけるスマートフォンなどの受信機と、ＬＥＤや有機ＥＬの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
【０６４１】
図１１４Ａは、本実施の形態における送信機を説明するための図である。
【０６４２】
本実施の形態における送信機は、例えば液晶ディスプレイのバックライトとして構成され、青色ＬＥＤ２３０３と、緑色蛍光成分２３０４および赤色蛍光成分２３０５からなる蛍光体２３１０とを備える。
【０６４３】
青色ＬＥＤ２３０３は、青色（Ｂ）の光を放つ。蛍光体２３１０は、青色ＬＥＤ２３０３から放たれた青色の光を励起光として受けると黄色（Ｙ）に発光する。つまり、蛍光体２３１０は、黄色の光を放つ。詳細には、蛍光体２１３０は、緑色蛍光成分２３０４および赤色蛍光成分２３０５からなるため、これらの蛍光成分の発光によって黄色の光を放つ。それらの２つの蛍光成分のうち緑色蛍光成分２３０４は、青色ＬＥＤ２３０３から放たれた青色の光を励起光として受けると緑色に発光する。つまり、緑色蛍光成分２３０４は、緑色（Ｇ）の光を放つ。上述の２つの蛍光成分のうち赤色蛍光成分２３０５は、青色ＬＥＤ２３０３から放たれた青色の光を励起光として受けると赤色に発光する。つまり、赤色蛍光成分２３０５は、赤色（Ｒ）の光を放つ。これにより、ＲＧＢまたはＹ（ＲＧ）Ｂのそれぞれの光が放たれるため、送信機はバックライトとして白色光を出力する。
【０６４４】
この送信機は、青色ＬＥＤ２３０３を上記各実施の形態と同様に輝度変化させることによって、白色光の可視光信号を送信する。このとき、白色光の輝度が変化することによって所定の搬送周波数を有する可視光信号が出力される。
【０６４５】
ここで、バーコードリーダは、赤色レーザ光をバーコードに照射し、バーコードから反射される赤色レーザ光の輝度変化に基づいて、そのバーコードを読み取る。この赤色レーザ光におけるバーコードの読み取り周波数は、現在実用化されている一般的な送信機から出力される可視光信号の搬送周波数と一致または近似している場合がある。したがって、このような場合に、バーコードリーダが、その一般的な送信機からの可視光信号である白色光に照らされたバーコードを読み取ろうとすると、その白色光に含まれる赤色の光の輝度変化によって、その読み取りに失敗してしまうことがある。つまり、可視光信号（特に赤色の光）の搬送周波数と、バーコードの読み取り周波数との干渉によって、バーコードの読み取りエラーが発生する。
【０６４６】
そこで本実施の形態における、赤色蛍光成分２３０５には、緑色蛍光成分２３０４よりも、残光の継続時間が長い蛍光材料が用いられる。つまり、本実施の形態における赤色蛍光成分２３０５は、青色ＬＥＤ２３０３および緑色蛍光成分２３０４の輝度変化の周波数よりも十分に低い周波数で輝度変化する。言い換えれば、赤色蛍光成分２３０５は、可視光信号に含まれる赤色の輝度変化の周波数をなまらせる。
【０６４７】
図１１４Ｂは、ＲＧＢのそれぞれの輝度変化を示す図である。
【０６４８】
青色ＬＥＤ２３０３からの青色の光は、図１１４Ｂの（ａ）に示すように、可視光信号に含まれて出力される。緑色蛍光成分２３０４は、図１１４Ｂの（ｂ）に示すように、青色ＬＥＤ２３０３からの青色の光を受けると、緑色に発光する。この緑色蛍光成分２３０４における残光の継続時間は短い。したがって、その青色ＬＥＤ２３０３が輝度変化していると、緑色蛍光成分２３０４は、その青色ＬＥＤ２３０３の輝度変化の周波数（つまり可視光信号の搬送周波数）と略同一の周波数で輝度変化する緑色の光を放つ。
【０６４９】
赤色蛍光成分２３０５は、図１１４Ｂの（ｃ）に示すように、青色ＬＥＤ２３０３からの青色の光を受けると、赤色に発光する。この赤色蛍光成分２３０５における残光の継続時間は長い。したがって、その青色ＬＥＤ２３０３が輝度変化していると、赤色蛍光成分２３０５は、その青色ＬＥＤ２３０３の輝度変化の周波数（つまり可視光信号の搬送周波数）よりも、低い周波数で輝度変化する赤色の光を放つ。
【０６５０】
図１１５は、本実施の形態における緑色蛍光成分２３０４および赤色蛍光成分２３０５の残光特性を示す図である。
【０６５１】
緑色蛍光成分２３０４は、例えば、青色ＬＥＤ２３０３が輝度変化することなく点灯している場合、強度Ｉ＝Ｉ０の緑色の光を輝度変化させることなく（つまり輝度変化の周波数ｆ＝０の光を）放つ。また、青色ＬＥＤ２３０３が低い周波数で輝度変化しても、緑色蛍光成分２３０４は、その低い周波数と略同じ周波数ｆで輝度変化する、強度Ｉ＝Ｉ０の緑色の光を放つ。しかし、青色ＬＥＤ２３０３が高い周波数で輝度変化すると、その高い周波数と略同じ周波数ｆで輝度変化する、緑色蛍光成分２３０４から放たれる緑色の光の強度Ｉは、緑色蛍光成分２３０４における残光の影響によって、強度Ｉ０よりも小さくなる。その結果、緑色蛍光成分２３０４から放たれる緑色の光の強度Ｉは、図１１５の点線に示すように、その光の輝度変化の周波数ｆが閾値ｆｂ未満の場合には、Ｉ＝Ｉ０に保たれるが、周波数ｆが閾値ｆｂを超えて高くなると、次第に小さくなる。
【０６５２】
また、本実施の形態における赤色蛍光成分２３０５の残光の継続時間は、緑色蛍光成分２３０４の残光の継続時間よりも長い。したがって、赤色蛍光成分２３０５から放たれる赤色の光の強度Ｉは、図１１５の実線に示すように、その光の輝度変化の周波数ｆが、上記閾値ｆｂよりも低い閾値ｆａ未満まで、Ｉ＝Ｉ０に保たれるが、周波数ｆが閾値ｆｂを超えて高くなると、次第に小さくなる。言い換えれば、赤色蛍光成分２３０５から放たれる赤色の光は、緑色蛍光成分２３０４から放たれる緑色の光の周波数帯域のうちの、高周波領域には存在せず、低周波領域にのみ存在する。
【０６５３】
より具体的には、本実施の形態における赤色蛍光成分２３０５には、可視光信号の搬送周波数ｆ１と同一の周波数ｆで放たれる赤色の光の強度ＩがＩ＝Ｉ１となる蛍光材料が用いられる。搬送周波数ｆ１は、送信機に備えられている青色ＬＥＤ２３０３による輝度変化の搬送周波数である。また、上述の強度Ｉ１は、強度Ｉ０の１／３の強度、または、強度Ｉ０の−１０ｄＢの強度である。例えば、搬送周波数ｆ１は１０ｋＨｚ、または５〜１００ｋＨｚである。
【０６５４】
つまり、本実施の形態における送信機は、可視光信号を送信する送信機であって、輝度変化する青色の光を前記可視光信号に含まれる光として放つ青色ＬＥＤと、前記青色の光を受けることによって緑色の光を前記可視光信号に含まれる光として放つ緑色蛍光成分と、前記青色の光を受けることによって赤色の光を前記可視光信号に含まれる光として放つ赤色蛍光成分とを備える。そして、前記赤色蛍光成分における残光の継続時間は、緑色蛍光成分における残光の継続時間よりも長い。なお、前記緑色蛍光成分および前記赤色蛍光成分は、前記青色の光を受けることによって黄色の光を前記可視光信号に含まれる光として放つ単一の蛍光体に含まれていてもよい。あるいは、前記緑色蛍光成分は、緑色蛍光体に含まれ、且つ、前記赤色蛍光成分は、前記緑色蛍光体とは別体の赤色蛍光体に含まれていてもよい。
【０６５５】
これにより、赤色蛍光成分における残光の継続時間が長いため、青色および緑色の光の輝度変化における周波数よりも低い周波数で赤色の光を輝度変化させることができる。したがって、白色光の可視光信号に含まれる青色および緑色の光の輝度変化における周波数が、赤色レーザ光におけるバーコードの読み取り周波数と同一または近似していても、白色光の可視光信号に含まれる赤色の光の周波数を、バーコードの読み取り周波数から大きく異ならせることができる。その結果、バーコードの読み取りエラーの発生を抑制することができる。
【０６５６】
ここで、前記赤色蛍光成分は、青色ＬＥＤから放たれる光の輝度変化の周波数よりも低い周波数で輝度変化する赤色の光を放ってもよい。
【０６５７】
また、前記赤色蛍光成分は、青色の光を受けることによって赤色の光を放つ赤色蛍光材料と、所定の周波数帯域の光のみを透過ささるローパスフィルタとを備えてもよい。例えば、前記ローパスフィルタは、前記青色ＬＥＤから放たれる青色の光のうち、低域の周波数帯域の光のみを透過させて前記赤色蛍光材料に当てる。なお、前記赤色蛍光材料は、前記緑色蛍光成分と同じ残光特性を有するものであってもよい。または、前記ローパスフィルタは、前記青色ＬＥＤから放たれた青色の光が前記赤色蛍光材料に当たることによって、前記赤色蛍光材料から放たれる赤色の光のうち、低域の周波数帯域の光のみを透過させる。このようなローパスフィルタを用いる場合であっても、上述と同様に、バーコードの読み取りエラーの発生を抑制することができる。
【０６５８】
また、前記赤色蛍光成分は、予め定められた残光特性を有する蛍光材料からなってもよい。例えば、予め定められた残光特性は、（ａ）前記赤色蛍光成分から放たれる赤色の光の輝度変化の周波数ｆが０である場合における前記赤色の光の強度をＩ０とし、（ｂ）前記青色ＬＥＤから放たれる光の輝度変化における搬送周波数をｆ１とする場合、前記赤色の光の周波数ｆがｆ＝ｆ１のときに、前記赤色の光の強度が、前記Ｉ０の１／３以下、または−１０ｄＢ以下となる、特性である。
【０６５９】
これにより、可視光信号に含まれる赤色の光の周波数を、バーコードの読み取り周波数から確実に大きく異ならせることができる。その結果、バーコードの読み取りエラーの発生を確実に抑制することができる。
【０６６０】
また、前記搬送周波数ｆ１は略１０ｋＨｚであってもよい。
【０６６１】
これにより、現在実用化されている、可視光信号の送信に用いられる搬送周波数は９．６ｋＨｚであるため、この実用化されている可視光信号の送信において、バーコードの読み取りエラーの発生を有効に抑制することができる。
【０６６２】
また、前記搬送周波数ｆ１は略５〜１００ｋＨｚであってもよい。
【０６６３】
可視光信号を受信する受信機のイメージセンサ（撮像素子）の進歩により、今後の可視光通信において、２０ｋＨｚ、４０ｋＨｚ、８０ｋＨｚまたは１００ｋＨｚなどの搬送周波数が用いられることが想定される。したがって、上述の搬送周波数ｆ１を略５〜１００ｋＨｚとすることにより、今後の可視光通信においても、バーコードの読み取りエラーの発生を有効に抑制することができる。
【０６６４】
なお、本実施の形態では、緑色蛍光成分および赤色蛍光成分が単一の蛍光体に含まれているか、それらの２つの蛍光成分のそれぞれが別体の蛍光体に含まれているかに関わらず、上記各効果を奏することができる。つまり、単一の蛍光体が用いられる場合であっても、その蛍光体から放たれる赤色の光および緑色の光のそれぞれの残光特性、すなわち周波数特性は異なる。したがって、赤色の光における残光特性または周波数特性が劣り、緑色の光における残光特性または周波数特性が勝る単一蛍光体を用いることによっても、上記各効果を奏することができる。なお、残光特性または周波数特性が劣るとは、残光の継続時間が長い、または、高周波数帯域における光の強度が弱いということであり、残光特性または周波数特性が勝るとは、残光の継続時間が短い、または、高周波数帯域における光の強度が強いということである。
【０６６５】
ここで、図１１４Ａ〜図１１５に示す例では、可視光信号に含まれる赤色の輝度変化の周波数をなまらせることによって、バーコードの読み取りエラーの発生を抑制したが、可視光信号の搬送周波数を高くすることによって、その読み取りエラーの発生を抑制してもよい。
【０６６６】
図１１６は、バーコードの読み取りエラーの発生を抑制するために新たに発生する課題を説明するための図である。
【０６６７】
図１１６に示すように、可視光信号の搬送周波数ｆｃが約１０ｋＨｚである場合、バーコードの読み取りに用いられる赤色レーザ光の読み取り周波数も約１０〜２０ｋＨｚであるため、互いの周波数が干渉し、バーコードの読み取りエラーが発生する。
【０６６８】
そこで、可視光信号の搬送周波数ｆｃを約１０ｋＨｚから例えば４０ｋＨｚに上げることにより、バーコードの読み取りエラーの発生を抑制することができる。
【０６６９】
しかし、可視光信号の搬送周波数ｆｃが約４０ｋＨｚであれば、受信機が撮影によって可視光信号をサンプリングするためのサンプリング周波数ｆｓは、８０ｋＨｚ以上である必要がある。
【０６７０】
つまり、受信機において必要とされるサンプリング周波数ｆｓが高いために、受信機の処理負担が増大するという新たな課題が生じる。そこで、この新たな課題を解決するために、本実施の形態における受信機はダウンサンプリングを行う。
【０６７１】
図１１７は、本実施の形態における受信機で行われるダウンサンプリングを説明するための図である。
【０６７２】
本実施の形態における送信機２３０１は、例えば液晶ディスプレイ、デジタルサイネージまたは照明機器として構成されている。そして、送信機２３０１は、周波数変調された可視光信号を出力する。このとき、送信機２３０１は、その可視光信号の搬送周波数ｆｃを例えば４０ｋＨｚと４５ｋＨｚとに切り替える。
【０６７３】
本実施の形態における受信機２３０２は、その送信機２３０１を例えば３０ｆｐｓのフレームレートで撮影する。このとき、受信機２３０２は、上記各実施の形態における受信機と同様に、撮影によって得られる各画像（具体的には各フレーム）に輝線が生じるように、短い露光時間で撮影を行う。また、受信機２３０２の撮影に用いられるイメージセンサには、例えば１０００本の露光ラインがある。したがって、１フレームの撮影では、１０００本の露光ラインがそれぞれ異なるタイミングに露光を開始することによって、可視光信号がサンプリングされる。その結果、１秒間では、３０ｆｐｓ×１０００本＝３００００回のサンプリング（３０ｋｓ／秒）が行われる。言い換えれば、可視光信号のサンプリング周波数ｆｓは３０ｋＨｚとなる。
【０６７４】
一般的なサンプリング定理にしたがえば、サンプリング周波数ｆｓ＝３０ｋＨｚでは、１５ｋＨｚ以下の搬送周波数の可視光信号しか復調することができない。
【０６７５】
しかし、本実施の形態における受信機２３０２は、サンプリング周波数ｆｓ＝３０ｋＨｚで、搬送周波数ｆｃ＝４０ｋＨｚまたは４５ｋＨｚの可視光信号をダウンサンプリングする。このダウンサンプリングによって、フレームにはエイリアスが発生するが、本実施の形態における受信機２３０２は、そのエイリアスを観察および分析することによって、可視光信号の搬送周波数ｆｃを推定する。
【０６７６】
図１１８は、本実施の形態における受信機２３０２の処理動作を示すフローチャートである。
【０６７７】
まず、受信機２３０２は、被写体を撮影することにより、搬送周波数ｆｃ＝４０ｋＨｚまたは４５ｋＨｚの可視光信号に対して、サンプリング周波数ｆｓ＝３０ｋＨｚのダウンサンプリングを行う（ステップＳ２３１０）。
【０６７８】
次に、受信機２３０２は、そのダウンサンプリングによって得られるフレームに発生するエイリアスを観察および分析する（ステップＳ２３１１）。これにより、受信機２３０２は、そのエイリアスの周波数を例えば５．１ｋＨｚまたは５．５ｋＨｚとして特定する。
【０６７９】
そして、受信機２３０２は、その特定されたエイリアスの周波数に基づいて、可視光信号の搬送周波数ｆｃを推定する（ステップＳ２３１１）。つまり、受信機２３０２は、エイリアスから元の周波数を復元する。これにより、受信機２３０２は、可視光信号の搬送周波数ｆｃを例えば４０ｋＨｚまたは４５ｋＨｚとして推定する。
【０６８０】
このように、本実施の形態における受信機２３０２は、ダウンサンプリングと、エイリアスに基づく周波数の復元とを行うことによって、高い搬送周波数の可視光信号を適切に受信することができる。例えば、受信機２３０２は、サンプリング周波数がｆｓ＝３０ｋＨｚであっても、３０ｋＨｚ〜６０ｋＨｚの搬送周波数の可視光信号を受信することができる。したがって、可視光信号の搬送周波数を、現在実用化されている周波数（約１０ｋＨｚ）から３０ｋＨｚ〜６０ｋＨｚに上げることができる。その結果、可視光信号の搬送周波数とバーコードの読み取り周波数（１０〜２０ｋＨｚ）とを大きく異ならせることができ、互いの周波数の干渉を抑えることができる。その結果、バーコードの読み取りエラーの発生を抑制することができる。
【０６８１】
このような本実施の形態における受信方法は、被写体から情報を取得する受信方法であって、イメージセンサによる前記被写体の撮影によって得られるフレームに、前記イメージセンサに含まれる複数の露光ラインに対応する複数の輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサに含まれる前記複数の露光ラインのそれぞれが順次異なる時刻で露光を開始することを繰り返すことにより、前記イメージセンサが、所定のフレームレートで、且つ、設定された前記露光時間で、輝度変化する前記被写体を撮影する撮影ステップと、前記撮影によって得られるフレームごとに、当該フレームに含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップとを含む。そして、前記撮影ステップでは、前記複数の露光ラインのそれぞれが順次異なる時刻で露光を開始することを繰り返すことによって、前記被写体の輝度変化によって送信される可視光信号の搬送周波数よりも低いサンプリング周波数で、前記可視光信号をダウンサンプリングし、前記情報取得ステップでは、前記撮影によって得られるフレームごとに、当該フレームに含まれる前記複数の輝線のパターンによって特定されるエイリアスの周波数を特定し、特定された前記エイリアスの周波数から前記可視光信号の周波数を推定し、推定された前記可視光信号の周波数を復調することによって前記情報を取得する。
【０６８２】
このような受信方法では、ダウンサンプリングと、エイリアスに基づく周波数の復元とを行うことによって、高い搬送周波数の可視光信号を適切に受信することができる。
【０６８３】
また、前記ダウンサンプリングでは、３０ｋＨｚよりも高い搬送周波数の可視光信号をダウンサンプリングしてもよい。これにより、可視光信号の搬送周波数とバーコードの読み取り周波数（１０〜２０ｋＨｚ）との干渉を避けることができ、バーコードの読み取りエラーをより効果的に抑制することができる。
【０６８４】
（実施の形態１５）
図１１９は、受信装置（撮像装置）の処理動作を示す図である。具体的には、図１１９は、可視光通信を受信する場合における、通常撮像モードとマクロ撮像モードとの切り替え処理の一例について説明するための図である。
【０６８５】
ここで、受信装置１６１０は、複数の光源（図１１９では、４つの光源）から構成される送信装置が発光している可視光を受信する。
【０６８６】
まず、受信装置１６１０は、可視光通信を行うモードに遷移した場合、通常撮像モードで撮像部を起動する（Ｓ１６０１）。なお、受信装置１６１０は、可視光通信を行うモードに遷移した場合、光源を撮像する枠１６１１を画面に表示する。
【０６８７】
所定時間後に、受信装置１６１０は、撮像部の撮像モードをマクロ撮像モードに切り替える（Ｓ１６０２）。なお、ステップＳ１６０１からステップＳ１６０２への切り替えのタイミングは、ステップＳ１６０１から所定時間後ではなく、受信装置１６１０が枠１６１１内に光源が収まるように撮像されたことを判断したときとしてもよい。このようにマクロ撮像モードに切り替えれば、ユーザは、マクロ撮像モードにより画像がぼける前の通常撮像モードでのクリアな画像で光源を枠１６１１内に収めればよいので、容易に光源を枠１６１１内に収めることをできる。
【０６８８】
次に、受信装置１６１０は、光源からの信号を受信したか否かを判定する（Ｓ１６０３）。光源からの信号を受信したと判定すれば（Ｓ１６０３でＹｅｓ）、ステップＳ１６０１の通常撮像モードに戻り、光源からの信号を受信していないと判定すれば（Ｓ１６０３でＮｏ）、ステップ１６０２のマクロ撮像モードを継続する。なお、ステップＳ１６０３でＹｅｓの場合には、受信した信号に基づいた処理（例えば、受信した信号に示される画像を表示する処理）を行ってもよい。
【０６８９】
この受信装置１６１０によれば、ユーザーがスマートフォンの光源１６１１の表示部を指でタッチすることにより通常撮像モードからマクロ撮像モードに切り替えることにより、複数の光源をぼけた状態で撮像することができる。このため、マクロ撮像モードで撮像した画像には、通常撮像モードで撮像した場合の画像よりも明るい領域を多く含む。特に、複数の光源のうちの隣接する２つの光源の間では、２つの光源からの光が重なり合うため、図１１９の（ａ）の左図に示すようにストライプ状の映像が離れていたため、連続信号として受信できないという課題を、右図のように連続したストライプになるための連続受信信号として、復調することができる。一度に長い符号を受信できるため、レスポンス時間が短くなるという効果がある。図１１９の（ｂ）のように、撮影画像をまず通常シャッターと通常焦点で撮影すると美しい通常の画像が得られる。しかし文字のように光源が離れているとシャッターを高速化しても連続データがとれないため復調できない。次にシャッターを高速化するとともにレンズの焦点用駆動部を近距離（マクロ）にすると光源がぼけて拡がるため、４つの光源が、つながるため、データが受信できる。次に焦点を戻して、シャッター速度を通常に戻すと元の美しい画像が得られる。（ｃ）のように表示部には、美しい画像をメモリーに記録し、表示することにより、表示部には美しい画像だけが表示されるという効果がある。通常撮像モードで撮像した画像よりもマクロ撮像モードで撮像した画像の方が所定の明るさより明るい領域を多く含む。よって、マクロ撮像モードでは、その被写体に対して輝線を生成することが可能な露光ラインの数を増やすことができる。
【０６９０】
図１２０は、受信装置（撮像装置）の処理動作を示す図である。具体的には、図１２０は、可視光通信を受信する場合における、通常撮像モードとマクロ撮像モードとの切り替え処理の別の一例について説明するための図である。
【０６９１】
ここで、受信装置１６２０は、複数の光源（図１２０では、４つの光源）から構成される送信装置が発光している可視光を受信する。
【０６９２】
まず、受信装置１６２０は、可視光通信を行うモードに遷移した場合、通常撮像モードで撮像部を起動し、受信装置１６２０の画面に表示されている画像１６２２よりも広い範囲の画像１６２３を撮像する。そして、撮像した画像１６２３を示す画像データと、当該画像１６２３を撮像したときの受信装置１６２０のジャイロセンサ、地磁気センサ及び加速度センサにより検出された受信装置１６２０の姿勢を示す姿勢情報とをメモリに保持する（Ｓ１６１１）。なお、撮像した画像１６２３は、受信装置１６２０の画面に表示されている画像１６２２を基準として上下方向及び左右方向に所定の幅だけ広い範囲の画像である。また、受信装置１６２０は、可視光通信を行うモードに遷移した場合、光源を撮像する枠１６２１を画面に表示する。
【０６９３】
所定時間後に、受信装置１６２０は、撮像部の撮像モードをマクロ撮像モードに切り替える（Ｓ１６１２）。なお、ステップＳ１６１１からステップＳ１６１２への切り替えのタイミングは、ステップＳ１６１１から所定時間後ではなく、画像１６２３を撮像し、撮像した画像１６２３を示す画像データがメモリに保持されたことを判断したときとしてもよい。このとき、受信装置１６２０は、メモリに保持された画像データに基づいて画像１６２３のうちの受信装置１６２０の画面サイズに対応するサイズの画像１６２４を表示する。
【０６９４】
なお、このとき受信装置１６２０に表示される画像１６２４は、画像１６２３のうちの一部の画像であって、ステップＳ１６１１で取得された姿勢情報で示される受信装置１６２０の姿勢（白破線で示される位置）と、現在の受信装置１６２０の姿勢との差分から現在の受信装置１６２０により撮像されていると予測される領域の画像である。つまり、画像１６２４は、画像１６２３のうちの一部の画像であって、実際にマクロ撮像モードで撮像されている画像１６２５の撮像対象に対応する領域の画像である。つまり、ステップＳ１６１２では、ステップＳ１６１１の時点から変化した姿勢（撮像方向）を取得し、取得した現在の姿勢（撮像方向）から現在撮像されていると推測される撮像対象を特定し、予め撮像した画像１６２３から現在の姿勢（撮像方向）に応じた画像１６２４を特定し、画像１６２４を表示する処理を行っている。このため、受信装置１６２０は、図１２０の画像１６２３で示すように、白破線で示す位置から白抜き矢印の方向に受信装置１６２０が移動した場合に、当該移動量に応じて画像１６２３から切り出す画像１６２４の領域を決定し、決定された領域における画像１６２３である画像１６２４を表示できる。
【０６９５】
これにより、受信装置１６２０は、マクロ撮像モードで撮像している場合であっても、マクロ撮像モードで撮像されている画像１６２５を表示せずに、よりクリアな通常撮像モードで撮像した画像１６２３から、現在の受信装置１６２０の姿勢に応じて切り出した画像１６２４を表示できる。焦点をぼかした画像から距離が離れた複数の光源から、連続した可視光情報を得ると同時に、記憶した通常面像を表示部に表示させる本発明の方式においては、ユーザがスマートフォンを用いて撮影する時、手振れが発生して、実際の撮影画像とメモリから表示する静止画像の方向がずれて、目標とする光源にユーザーが方向を合わせることができないという課題が発生することが予想される。この場合、光源からのデータを受信できなくなるため対策が必要である。しかし、改良した本発明により、手振れしても、画像揺動検知手段や振動ジャイロ当の揺動検出手段により、手振れを検知して、静止画像の中の目標画像が所定の方向にシフトされカメラの方向とのずれがユーザーにわかる。この表示により、ユーザーが目標とする光源にカメラを向けることが可能となるため、通常画像を表示しながら分割された複数の光源を、光学的に連結させて撮影でき、連続的に信号を受信することができる。これにより、通常画像を表示させるから複数に分割された光源を受信することができる。この場合、複数の光源が枠１６２１に合うように受信装置１６２０の姿勢を調整することが容易にできる。なお、焦点をボケさせる場合、光源が分散されるため、等価的に輝度がおちるため、カメラのＩＳＯ等の感度を上げることにより、より確実に可視光データを受信できるという効果がある。
【０６９６】
次に、受信装置１６２０は、光源からの信号を受信したか否かを判定する（Ｓ１６１３）。光源からの信号を受信したと判定すれば（Ｓ１６１３でＹｅｓ）、ステップＳ１６１１の通常撮像モードに戻り、光源からの信号を受信していないと判定すれば（Ｓ１６１３でＮｏ）、ステップ１６１２のマクロ撮像モードを継続する。なお、ステップＳ１６１３でＹｅｓの場合には、受信した信号に基づいた処理（例えば、受信した信号に示される画像を表示する処理）を行ってもよい。
【０６９７】
この受信装置１６２０においても受信装置１６１０と同様に、マクロ撮像モードにおいてより明るい領域を含む画像を撮像できる。このため、マクロ撮像モードでは、その被写体に対して輝線を生成することが可能な露光ラインの数を増やすことができる。
【０６９８】
図１２１は、受信装置（撮像装置）の処理動作を示す図である。
【０６９９】
ここで、送信装置１６３０は、例えば、テレビなどの表示装置であり、所定時間間隔Δ１６３０で可視光通信により異なる送信ＩＤを送信している。具体的には、時刻ｔ１６３１、ｔ１６３２、ｔ１６３３、ｔ１６３４において、それぞれ表示される画像１６３１、１６３２、１６３３、１６３４に対応するデータにそれぞれ紐付けられた送信ＩＤであるＩＤ１６３１、ＩＤ１６３２、ＩＤ１６３３、ＩＤ１６３４を送信する。つまり、送信装置１６３０からは、ＩＤ１６３１〜ＩＤ１６３４が所定時間間隔Δｔ１６３０で次々に送信される。
【０７００】
受信装置１６４０は、可視光通信により受信した送信ＩＤに基づいてサーバ１６５０に、各送信ＩＤに紐付けられたデータを要求し、サーバからデータを受信し、当該データに対応した画像を表示する。具体的には、ＩＤ１６３１、ＩＤ１６３２、ＩＤ１６３３、ＩＤ１６３４にそれぞれ対応した、画像１６４１、１６４２、１６４３、１６４４を、それぞれ時刻ｔ１６３１、ｔ１６３２、ｔ１６３３、ｔ１６３４において表示する。
【０７０１】
受信装置１６４０は、時刻ｔ１６３１で受信したＩＤ１６３１を取得した場合、サーバ１６５０から、その後の時刻ｔ１６３２〜ｔ１６３４で送信装置１６３０から送信される予定の送信ＩＤを示すＩＤ情報を取得してもよい。この場合、受信装置１６４０は、取得したＩＤ情報を用いることで、送信装置１６３０から送信ＩＤをその都度受信しなくても、時刻ｔ１６３２〜ｔ１６３４でのＩＤ１６３２〜ＩＤ１６３４に紐付けられたデータをサーバ１６５０に要求し、受信したデータを各時刻ｔ１６３２〜ｔ１６３４で表示することができる。
【０７０２】
また、受信装置１６４０は、サーバ１６５０からその後の時刻ｔ１６３２〜ｔ１６３４で送信装置１６３０から送信される予定の送信ＩＤを示す情報を取得しなくても、時刻ｔ１６３１においてＩＤ１６３１に対応するデータを要求すれば、サーバ１６５０からその後の時刻ｔ１６３２〜ｔ１６３４に対応する送信ＩＤに紐付けられたデータを受信し、受信したデータを各時刻ｔ１６３２〜ｔ１６３４で表示するようにしてもよい。つまり、サーバ１６５０は、受信装置１６４０から時刻ｔ１６３１に送信されたＩＤ１６３１に紐付けられたデータの要求を受信した場合、その後の時刻ｔ１６３２〜ｔ１６３４に対応する送信ＩＤに紐付けられたデータを受信装置１６４０からの要求がなくても受信装置１６４０に対して各時刻ｔ１６３２〜ｔ１６３４において送信する。つまり、この場合、サーバ１６５０は、各時刻ｔ１６３１〜１６３４と、各時刻ｔ１６３１〜１６３４に対応する送信ＩＤに紐付けられたデータとが関連付けられた関連付け情報を保持しており、関連付け情報に基づいて所定の時刻で当該所定の時刻に関連付けられた所定のデータを送信する。
【０７０３】
このように、受信装置１６４０は、時刻ｔ１６３１において送信ＩＤ１６３１を可視光通信により取得できれば、その後の時刻ｔ１６３２〜ｔ１６３４では、可視光通信を行わなくてもサーバ１６５０から各時刻ｔ１６３２〜ｔ１６３４に対応するデータを受信できる。このため、ユーザは、可視光通信により送信ＩＤを取得するために送信装置１６３０に受信装置１６４０を向け続ける必要がなくなり、容易に受信装置１６４０にサーバ１６５０から取得したデータを表示させることができる。この場合、受信装置１６４０は、サーバーからＩＤに対応するデータを毎回取得すると、サーバーからの時間遅れが生じてレスポンス時間が長くなる。従って、レスポンスを早くするためには、サーバー等から予め、ＩＤに対応したデータを受信機の記憶部に記憶しておき、記憶部の中のＩＤに対応するデータを表示することにより、レスポンス時間をはやくすることができる。この方式においては、可視光送信機からの送信信号に次のＩＤを出力する時間情報を入れておけば、受信機側は、連続的に可視光信号を受信しなくても、その時間になれば、次のＩＤの送信時間を知ることができるため、受信装置を光源の方にずーっと、向けておく必要がなくなるという効果がある。この方式は、可視光を受信したときに、送信機側の時間情報（時計）を受信機側の時間情報（時計）の同期をとるだけで、同期後は、送信機のデータを受け取らなくても、送信機と同期した画面を連続的に表示できるという効果がある。
【０７０４】
また、上述の例では、受信装置１６４０は、時刻ｔ１６３１、ｔ１６３２、ｔ１６３３、およびｔ１６３４のそれぞれにおいて、送信ＩＤであるＩＤ１６３１、ＩＤ１６３２、ＩＤ１６３３およびＩＤ１６３４のそれぞれ対応した、画像１６４１、１６４２、１６４３、１６４４をそれぞれ表示した。ここで、受信装置１６４０は、図１２２に示すように、上記各時刻において画像だけでなく他の情報を提示してもよい。つまり、受信装置１６４０は、時刻ｔ１６３１において、ＩＤ１６３１に対応した画像１６４１を表示するとともに、そのＩＤ１６３１に対応した音または音声を出力する。このときさらに、受信装置１６４０は、その画像に映し出されている例えば商品の購入サイトを表示してもよい。このような音の出力および購入サイトの表示は、時刻ｔ１６３１以外の時刻ｔ１６３２、ｔ１６３３、およびｔ１６３４のそれぞれにおいても、同様に行われる。
【０７０５】
次に図１１９の（ｂ）のように立体用の左右２つのカメラを搭載したスマートフォンの場合は、左眼用で通常のシャッター速度、通常の焦点で通常の画質の画像を表示する。同時に右眼用カメラでは、左眼より高速のシャッターで、かつ/もしくは、短い距離の焦点やマクロに設定し、本発明のストライプ状の輝線を得て、データを復調する。これにより、表示部には通常の画質の画像が表示されるとともに、右眼カメラにより、距離的に分割された複数の光源の光通信データを受信できるという効果が得られる。
【０７０６】
（実施の形態１６）
ここで、音声同期再生の応用例について以下に説明する。
【０７０７】
図１２３は、実施の形態１６におけるアプリケーションの一例を示す図である。
【０７０８】
例えばスマートフォンとして構成される受信機１８００ａは、例えば街頭デジタルサイネージとして構成される送信機１８００ｂから送信された信号（可視光信号）を受信する。つまり、受信機１８００ａは、送信機１８００ｂによる画像再生のタイミングを受信する。受信機１８００ａは、その画像再生と同じタイミングで、音声を再生する。言い換えれば、受信機１８００ａは、送信機１８００ｂによって再生される画像と音声とが同期するように、その音声の同期再生を行う。なお、受信機１８００ａは、送信機１８００ｂによって再生される画像（再生画像）と同一の画像、または、その再生画像に関連する関連画像を、音声とともに再生してもよい。また、受信機１８００ａは、受信機１８００ａに接続された機器に、音声などの再生をさせてもよい。また、受信機１８００ａは、可視光信号を受信した後には、その可視光信号に対応付けられている音声または関連画像などのコンテンツをサーバからダウンロードしてもよい。受信機１８００ａは、そのダウンロード後に同期再生を行う。
【０７０９】
これにより、送信機１８００ｂからの音声が聞こえない場合や、街頭音声再生が禁止されているため送信機１８００ｂからの音声が再生されていない場合でも、ユーザは、送信機１８００ｂの表示に合わせた音声を聞くことができる。また、音声到達までに時間がかかるような距離がある場合でも、表示に合わせた音声を聞くことが出来る。
【０７１０】
ここで、音声同期再生による多言語対応について以下に説明する。
【０７１１】
図１２４は、実施の形態１６におけるアプリケーションの一例を示す図である。
【０７１２】
受信機１８００ａおよび受信機１８００ｃのそれぞれは、その受信機に設定された言語の音声であって、送信機１８００ｄに表示されている例えば映画などの映像に対応する音声を、サーバから取得して再生する。具体的には、送信機１８００ｄは、表示されている映像を識別するためのＩＤを示す可視光信号を受信機に送信する。受信機は、その可視光信号を受信すると、その可視光信号に示されるＩＤと、自らに設定されている言語とを含む要求信号をサーバに送信する。受信機は、その要求信号に対応する音声をサーバから取得して再生する。これにより、ユーザは、自分の設定した言語で送信機１８００ｄに表示された作品を楽しむことが出来る。
【０７１３】
ここで、音声同期方法について以下に説明する。
【０７１４】
図１２５および図１２６は、実施の形態１６における送信信号の例と音声同期方法の例とを示す図である。
【０７１５】
それぞれ異なるデータ（例えば図１２５に示すデータ：１〜６など）は、一定時間（Ｎ秒）ごとの時刻に関連付けられている。これらのデータは、例えば、時間を識別するためのＩＤであってもよく、時間であってもよく、音声データ（例えば６４Ｋｂｐｓのデータ）であってもよい。以下、データがＩＤであることを前提に説明する。それぞれ異なるＩＤは、ＩＤに付随する付加情報部分が異なったものであるとしても良い。
【０７１６】
ＩＤを構成するパケットは異なっているほうが望ましい。そのためＩＤは連続していないほうが望ましい。もしくは、ＩＤをパケット化する際に、非連続な部分を一つのパケットとして構成するパケット化方法が望ましい。誤り訂正信号は、連続したＩＤであっても異なるパターンとなる傾向が高いため、誤り訂正信号を一つのパケットにまとめるのではなく、複数のパケットに分散させて構成するとしても良い。
【０７１７】
送信機１８００ｄは、例えば表示している画像の再生時刻に合わせてＩＤを送信する。受信機は、ＩＤが変更されたタイミングを検出することで、送信機１８００ｄの画像の再生時刻（同期時刻）を認識することができる。
【０７１８】
（ａ）の場合は、ＩＤ：１とＩＤ：２の変化時点を受信しているため、正確に同期時刻を認識することができる。
【０７１９】
ＩＤが送信されている時間Ｎが長い場合は、このような機会が少なく、（ｂ）のようにＩＤが受信されることがある。この場合でも、以下の方法で同期時刻を認識することができる。
【０７２０】
（ｂ１）ＩＤが変化した受信区間の中点をＩＤ変化点と想定する。また、過去に推定したＩＤ変化点から時間Ｎの整数倍後の時刻もＩＤ変化点と推定し、複数のＩＤ変化点の中点をより正確なＩＤ変化点と推定する。このような推定のアルゴリズムにより、徐々に正確なＩＤ変化点を推定することができる。
【０７２１】
（ｂ２）上記に加え、ＩＤが変化しなかった受信区間、及び、その時間Ｎの整数倍後の時刻はＩＤ変化点が含まれないと推定することで、徐々にＩＤ変化点である可能性のある区間が減り、正確なＩＤ変化点を推定することができる。
【０７２２】
Ｎを０．５秒以下に設定することで、正確に同期させることができる。
【０７２３】
Ｎを２秒以下に設定することで、ユーザに遅延を感じさせずに同期させることができる。
【０７２４】
Ｎを１０秒以下に設定することで、ＩＤの浪費を抑えて同期させることができる。
【０７２５】
図１２６は、実施の形態１６における送信信号の例を示す図である。
【０７２６】
図１２６では、時間パケットによって同期を行うことで、ＩＤの浪費を避けることができる。時間パケットは、送信された時刻を保持しているパケットである。長い時間を表現する必要がある場合は、細かい時間を表す時間パケット１と粗い時間を表す時間パケット２に分割して時間パケットを構成する。例えば、時間パケット２は、時刻のうちの時および分を示し、時間パケット１は、時刻のうちの秒のみを示す。時刻を示すパケットを３以上の時間パケットに分割するとしても良い。粗い時間は必要性が薄いため、細かい時間パケットを荒い時間パケットより多く送信することで、受信機は、素早く正確に同期時刻を認識することができる。
【０７２７】
つまり、本実施の形態では、可視光信号は、時刻のうちの時および分を示す第２の情報（時間パケット２）と、時刻のうちの秒を示す第１の情報（時間パケット１）とを含むことによって、可視光信号が送信機１８００ｄから送信される時刻を示す。そして、受信機１８００ａは、第２の情報を受信するとともに、その第２の情報を受信する回数よりも多くの回数だけ第１の情報を受信する。
【０７２８】
ここで、同期時刻調整について以下に説明する。
【０７２９】
図１２７は、実施の形態１６における受信機１８００ａの処理フローの一例を示す図である。
【０７３０】
信号が送信されてから受信機１８００ａで処理され、音声または動画が再生されるまでにはある程度の時間がかかるため、この処理時間を見越して音声または動画を再生する処理を行うことで、正確に同期再生を行うことができる。
【０７３１】
まず、受信機１８００ａには、処理遅延時間が指定される（ステップＳ１８０１）。これは、処理プログラム中に保持されていてもよいし、ユーザが指定してもよい。ユーザが補正を行うことで、受信機個体に合わせたより正確な同期が実現可能となる。この処理遅延時間は、受信機のモデル毎、受信機の温度やＣＰＵ使用割合によって変化させることで、より正確に同期を行うことが出来る。
【０７３２】
受信機１８００ａは、時間パケットを受信したか否か、または、音声同期用として関連付けられたＩＤを受信したか否かを判定する（ステップＳ１８０２）。ここで、受信機１８００ａは、受信したと判定すると（ステップＳ１８０２のＹ）、さらに、処理待ち画像があるか否かを判定する（ステップＳ１８０４）。処理待ち画像があると判定すると（ステップＳ１８０４のＹ）、受信機１８００ａは、その処理待ち画像を廃棄し、または、処理待ち画像の処理を後に回して、取得された最新の画像からの受信処理を行う（ステップＳ１８０５）。これにより、処理待ち量による不測の遅延を回避することができる。
【０７３３】
受信機１８００ａは、可視光信号（具体的には輝線）が画像中のどの位置にあるのかを計測する（ステップＳ１８０６）。つまり、イメージセンサにおける最初の露光ラインから、露光ラインに垂直な方向のどの位置に信号が現れているかを計測することで、画像取得開始時刻から信号受信時刻までの時間差（画像内遅延時間）を計算することができる。
【０７３４】
受信機１８００ａは、認識した同期時刻に、処理遅延時間と画像内遅延時間を加えた時刻の音声または動画を再生することで、正確に同期再生を行うことができる（ステップＳ１８０７）。
【０７３５】
一方、ステップＳ１８０２において、受信機１８００ａは、時間パケットまたは音声同期用ＩＤを受信していないと判定すると、撮像によって得られた画像から信号を受信する（ステップＳ１８０３）。
【０７３６】
図１２８は、実施の形態１６における受信機１８００ａのユーザインタフェースの一例を示す図である。
【０７３７】
ユーザは、図１２８の（ａ）に示すように、受信機１８００ａに表示されたボタンＢｔ１〜Ｂｔ４の何れかを押すことで、上述の処理遅延時間を調整することができる。また、図１２８の（ｂ）のようにスワイプ動作で処理遅延時間を設定できるとしてもよい。これにより、ユーザの感覚に基づいてより正確に同期再生を行うことができる。
【０７３８】
ここで、イヤホン限定再生について以下に説明する。
【０７３９】
図１２９は、実施の形態１６における受信機１８００ａの処理フローの一例を示す図である。
【０７４０】
この処理フローによって示されるイヤホン限定再生によって、周囲に迷惑をかけずに音声再生を行うことができる。
【０７４１】
受信機１８００ａは、イヤホン限定の設定が行われているかどうかを確認する（ステップＳ１８１１）。イヤホン限定の設定が行われている場合には、例えば、受信機１８００ａにイヤホン限定の設定がなされている。あるいは、受信された信号（可視光信号）中にイヤホン限定である設定がされている。または、イヤホン限定であることが、受信された信号に関連付けられてサーバまたは受信機１８００ａに記録されている。
【０７４２】
受信機１８００ａは、イヤホン限定されていることを確認すると（ステップＳ１８１１のＹ）、イヤホンが受信機１８００ａに接続されているか否かを判定する（ステップＳ１８１３）。
【０７４３】
受信機１８００ａは、イヤホン限定がされていないことを確認すると（ステップＳ１８１１のＮ）、または、イヤホンが接続されていると判定すると（ステップＳ１８１３のＹ）、音声を再生する（ステップＳ１８１２）。音声を再生するときには、受信機１８００ａは、音量が設定範囲内となるようにその音量を調整する。この設定範囲は、イヤホン限定の設定と同様に設定されている。
【０７４４】
受信機１８００ａは、イヤホンが接続されていないと判定すると（ステップＳ１８１３のＮ）、イヤホンの接続をユーザに促す通知を行う（ステップＳ１８１４）。この通知は、例えば、画面表示、音声出力または振動によって行われる。
【０７４５】
また、受信機１８００ａは、強制的に音声再生を行うことを禁じる設定がされていない場合には、強制再生のためのインタフェース用意し、ユーザが強制再生の操作を行ったか否かを判定する（ステップＳ１８１５）。ここで、強制再生の操作を行ったと判定すると（ステップＳ１８１５のＹ）、受信機１８００ａは、イヤホンが接続されていない場合でも音声を再生する（ステップＳ１８１２）。
【０７４６】
一方、強制再生の操作を行っていないと判定すると（ステップＳ１８１５のＮ）、受信機１８００ａは、あらかじめ受信した音声データ、および解析した同期時刻を保持しておくことで、イヤホンが接続された際に速やかに音声の同期再生を行う。
【０７４７】
図１３０は、実施の形態１６における受信機１８００ａの処理フローの他の例を示す図である。
【０７４８】
受信機１８００ａは、まず、送信機１８００ｄからＩＤを受信する（ステップＳ１８２１）。つまり、受信機１８００ａは、送信機１８００ｄのＩＤ、または、送信機１８００ｄに表示されているコンテンツのＩＤ、を示す可視光信号を受信する。
【０７４９】
次に、受信機１８００ａは、その受信したＩＤに関連付けられている情報（コンテンツ）を、サーバからダウンロードする（ステップＳ１８２２）。または、受信機１８００ａは、受信機１８００ａの内部にあるデータ保持部からその情報を読み出す。以下、この情報を関連情報という。
【０７５０】
次に、受信機１８００ａは、その関連情報に含まれている同期再生フラグがＯＮを示しているか否かを判定する（ステップＳ１８２３）。ここで、同期再生フラグがＯＮを示していないと判定すると（ステップＳ１８２３のＮ）、受信機１８００ａは、その関連情報によって示される内容を出力する（ステップＳ１８２４）。つまり、その内容が画像である場合には、受信機１８００ａは画像を表示し、その内容が音声である場合には、受信機１８００ａは音声を出力する。
【０７５１】
一方、受信機１８００ａは、同期再生フラグがＯＮを示していると判定すると（ステップＳ１８２３のＹ）、さらに、その関連情報に含まれている時刻合わせモードが、送信機基準モードに設定されているか、絶対時刻モードに設定されているかを判定する（ステップＳ１８２５）。絶対時刻モードに設定されていると判定すると、受信機１８００ａは、最後の時刻合わせが現在時刻から一定時間以内に行われたか否かを判定する（ステップＳ１８２６）。このときの時刻合わせは、所定の方法によって時刻情報を入手し、その時刻情報を用いて、受信機１８００ａに備えられている時計の時刻を、基準クロックの絶対時刻に合わせる処理である。所定の方法は、例えばＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）電波またはＮＴＰ（Ｎｅｔｗｏｒｋ  Ｔｉｍｅ  Ｐｒｏｔｏｃｏｌ）電波を用いた方法である。なお、上述の現在時刻は、端末装置である受信機１８００ａが可視光信号を受信した時刻であってもよい。
【０７５２】
受信機１８００ａは、最後の時刻合わせが一定時間以内に行われたと判定すると（ステップＳ１８２６のＹ）、受信機１８００ａの時計の時刻に基づいて関連情報を出力することにより、送信機１８００ｄに表示されるコンテンツと関連情報とを同期させる（ステップＳ１８２７）。関連情報によって示される内容が例えば動画像である場合には、受信機１８００ａは、送信機１８００ｄに表示されるコンテンツに同期するように、その動画像を表示する。関連情報によって示される内容が例えば音声である場合には、受信機１８００ａは、送信機１８００ｄに表示されるコンテンツに同期するように、その音声を出力する。例えば、関連情報が音声を示す場合には、関連情報は、音声を構成する各フレームを含み、それらのフレームにはタイムスタンプが付けられている。受信機１８００ａは、自らの時計の時刻に該当するタイプスタンプが付けられているフレームを再生することによって、送信機１８００ｄのコンテンツに同期された音声を出力する。
【０７５３】
受信機１８００ａは、最後の時刻合わせが一定時間以内に行われていないと判定すると（ステップＳ１８２６のＮ）、所定の方法で時刻情報の入手を試み、その時刻情報を入手することができたか否かを判定する（ステップＳ１８２８）。ここで、時刻情報を入手することができたと判定すると（ステップＳ１８２８のＹ）、受信機１８００ａは、その時刻情報を用いて、受信機１８００ａの時計の時刻を更新する（ステップＳ１８２９）。そして、受信機１８００ａは、上述のステップＳ１８２７の処理を実行する。
【０７５４】
また、ステップＳ１８２５において、時刻合わせモードが送信機基準モードであると判定したとき、または、ステップＳ１８２８において、時刻情報を入手することができなかったと判定すると（ステップＳ１８２８のＮ）、受信機１８００ａは、送信機１８００ｄから時刻情報を取得する（ステップＳ１８３０）。つまり、受信機１８００ａは、可視光通信によって同期信号である時刻情報を送信機１８００ｄから取得する。例えば、同期信号は、図１２６に示す時間パケット１および時間パケット２である。または、受信機１８００ａは、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ−Ｆｉなどの電波によって時刻情報を送信機１８００ｄから取得する。そして、受信機１８００ａは、上述のステップＳ１８２９およびＳ１８２７の処理を実行する。
【０７５５】
本実施の形態では、ステップＳ１８２９，Ｓ１８３０のように、ＧＰＳ電波またはＮＴＰ電波によって、受信機１８００ａである端末装置の時計と基準クロックとの間で同期をとるための処理（時刻合わせ）が行われた時刻が、端末装置が可視光信号を受信した時刻から所定の時間より前である場合、送信機１８００ｄから送信された可視光信号が示す時刻により、端末装置の時計と、送信機の時計との間で同期をとる。これにより、端末装置は、送信機１８００ｄで再生される送信機側コンテンツと同期するタイミングに、コンテンツ（動画または音声）を再生することができる。
【０７５６】
図１３１Ａは、実施の形態１６における同期再生の具体的な方法を説明するための図である。同期再生の方法には、図１３１Ａに示す方法ａ〜ｅがある。
【０７５７】
（方法ａ）
方法ａでは、送信機１８００ｄは、上記各実施の形態と同様に、ディスプレイを輝度変化させることよって、コンテンツＩＤおよびコンテンツ再生中時刻を示す可視光信号を出力する。コンテンツ再生中時刻は、コンテンツＩＤが送信機１８００ｄから送信されたときに送信機１８００ｄによって再生されている、コンテンツの一部であるデータの再生時刻である。データは、コンテンツが動画像であれば、その動画像を構成するピクチャまたはシーケンスなどであり、コンテンツが音声であれば、その音声を構成するフレームなどである。再生時刻は、例えば、コンテンツの先頭からの再生時間を時刻として示す。コンテンツが動画像であれば、再生時刻はＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）としてコンテンツに含まれている。つまり、コンテンツには、そのコンテンツを構成するデータごとに、そのデータの再生時刻（表示時刻）が含まれている。
【０７５８】
受信機１８００ａは、上記各実施の形態と同様に送信機１８００ｄを撮影することによって、その可視光信号を受信する。そして、受信機１８００ａは、可視光信号によって示されるコンテンツＩＤを含む要求信号をサーバ１８００ｆに送信する。サーバ１８００ｆは、その要求信号を受信し、要求信号に含まれるコンテンツＩＤに対応付けられているコンテンツを受信機１８００ａに送信する。
【０７５９】
受信機１８００ａは、そのコンテンツを受信すると、そのコンテンツを、（コンテンツ再生中時刻＋ＩＤ受信からの経過時間）の時点から再生する。ＩＤ受信からの経過時間は、コンテンツＩＤが受信機１８００ａによって受信されたときからの経過時間である。
【０７６０】
（方法ｂ）
方法ｂでは、送信機１８００ｄは、上記各実施の形態と同様に、ディスプレイを輝度変化させることよって、コンテンツＩＤおよびコンテンツ再生中時刻を示す可視光信号を出力する。受信機１８００ａは、上記各実施の形態と同様に送信機１８００ｄを撮影することによって、その可視光信号を受信する。そして、受信機１８００ａは、可視光信号によって示されるコンテンツＩＤおよびコンテンツ再生中時刻を含む要求信号をサーバ１８００ｆに送信する。サーバ１８００ｆは、その要求信号を受信し、要求信号に含まれるコンテンツＩＤに対応付けられているコンテンツのうち、コンテンツ再生中時刻以降の一部のコンテンツのみを受信機１８００ａに送信する。
【０７６１】
受信機１８００ａは、その一部のコンテンツを受信すると、その一部のコンテンツを、（ＩＤ受信からの経過時間）の時点から再生する。
【０７６２】
（方法ｃ）
方法ｃでは、送信機１８００ｄは、上記各実施の形態と同様に、ディスプレイを輝度変化させることよって、送信機ＩＤおよびコンテンツ再生中時刻を示す可視光信号を出力する。送信機ＩＤは、送信機を識別するための情報である。
【０７６３】
受信機１８００ａは、上記各実施の形態と同様に送信機１８００ｄを撮影することによって、その可視光信号を受信する。そして、受信機１８００ａは、可視光信号によって示される送信機ＩＤを含む要求信号をサーバ１８００ｆに送信する。
【０７６４】
サーバ１８００ｆは、送信機ＩＤごとに、その送信機ＩＤの送信機によって再生されるコンテンツのタイムテーブルである再生予定表を保持している。さらに、サーバ１８００ｆは時計を備えている。このようなサーバ１８００ｆは、その要求信号を受信すると、その要求信号に含まれる送信機ＩＤと、サーバ１８００ｆの時計の時刻（サーバ時刻）とに対応付けられているコンテンツを、再生中のコンテンツとして、再生予定表から特定する。そして、サーバ１８００ｆは、そのコンテンツを受信機１８００ａに送信する。
【０７６５】
受信機１８００ａは、そのコンテンツを受信すると、そのコンテンツを、（コンテンツ再生中時刻＋ＩＤ受信からの経過時間）の時点から再生する。
【０７６６】
（方法ｄ）
方法ｄでは、送信機１８００ｄは、上記各実施の形態と同様に、ディスプレイを輝度変化させることよって、送信機ＩＤおよび送信機時刻を示す可視光信号を出力する。送信機時刻は、送信機１８００ｄに備えられている時計によって示される時刻である。
【０７６７】
受信機１８００ａは、上記各実施の形態と同様に送信機１８００ｄを撮影することによって、その可視光信号を受信する。そして、受信機１８００ａは、可視光信号によって示される送信機ＩＤおよび送信機時刻を含む要求信号をサーバ１８００ｆに送信する。
【０７６８】
サーバ１８００ｆは、上述の再生予定表を保持している。このようなサーバ１８００ｆは、その要求信号を受信すると、その要求信号に含まれる送信機ＩＤと送信機時刻とに対応付けられているコンテンツを、再生中のコンテンツとして、再生予定表から特定する。さらに、サーバ１８００ｆは、送信機時刻からコンテンツ再生中時刻を特定する。つまり、サーバ１８００ｆは、特定されたコンテンツの再生開始時刻を再生予定表から見つけ出し、送信機時刻と再生開始時刻との間の時間をコンテンツ再生中時刻として特定する。そして、サーバ１８００ｆは、そのコンテンツおよびコンテンツ再生中時刻を受信機１８００ａに送信する。
【０７６９】
受信機１８００ａは、そのコンテンツおよびコンテンツ再生中時刻を受信すると、そのコンテンツを、（コンテンツ再生中時刻＋ＩＤ受信からの経過時間）の時点から再生する。
【０７７０】
このように、本実施の形態では、可視光信号は、その可視光信号が送信機１８００ｄから送信される時刻を示す。したがって、端末装置である受信機１８００ａは、可視光信号が送信機１８００ｄから送信される時刻（送信機時刻）に対応付けられたコンテンツを受信することができる。例えば、送信機時刻が５時４３分であれば、５時４３分に再生されるコンテンツを受信することができる。
【０７７１】
また、本実施の形態では、サーバ１８００ｆは、それぞれ時刻に関連付けられている複数のコンテンツを有している。しかし、可視光信号が示す時刻に関連付けられたコンテンツがサーバ１８００ｆに存在しない場合がある。このような場合には、端末装置である受信機１８００ａは、その複数のコンテンツのうち、可視光信号が示す時刻に最も近く、かつ、可視光信号が示す時刻の後の時刻に関連付けられているコンテンツを受信してもよい。これにより、可視光信号が示す時刻に関連付けられたコンテンツがサーバ１８００ｆに存在しなくても、そのサーバ１８００ｆにある複数のコンテンツの中から、適切なコンテンツを受信することができる。
【０７７２】
また、本実施の形態における再生方法は、光源の輝度変化により可視光信号を送信する送信機１８００ｄから、可視光信号を受信機１８００ａ（端末装置）のセンサにより受信する信号受信ステップと、受信機１８００ａから、可視光信号に対応付けられたコンテンツを要求するための要求信号をサーバ１８００ｆに送信する送信ステップと、受信機１８００ａが、サーバ１８００ｆからコンテンツを受信するコンテンツ受信ステップと、コンテンツを再生する再生ステップとを含む。可視光信号は、送信機ＩＤと送信機時刻とを示す。送信機ＩＤはＩＤ情報である。また、送信機時刻は、送信機１８００ｄの時計によって示される時刻であり、その可視光信号が送信機１８００ｄから送信される時刻である。そして、コンテンツ受信ステップでは、受信機１８００ａは、可視光信号によって示される送信機ＩＤおよび送信機時刻に対応付けられたコンテンツを受信する。これにより、受信機１８００ａは、送信機ＩＤおよび送信機時刻に対して適切なコンテンツを再生することができる。
【０７７３】
（方法ｅ）
方法ｅでは、送信機１８００ｄは、上記各実施の形態と同様に、ディスプレイを輝度変化させることよって、送信機ＩＤを示す可視光信号を出力する。
【０７７４】
受信機１８００ａは、上記各実施の形態と同様に送信機１８００ｄを撮影することによって、その可視光信号を受信する。そして、受信機１８００ａは、可視光信号によって示される送信機ＩＤを含む要求信号をサーバ１８００ｆに送信する。
【０７７５】
サーバ１８００ｆは、上述の再生予定表を保持し、さらに、時計を備えている。このようなサーバ１８００ｆは、その要求信号を受信すると、その要求信号に含まれる送信機ＩＤとサーバ時刻とに対応付けられているコンテンツを、再生中のコンテンツとして、再生予定表から特定する。なお、サーバ時刻は、サーバ１８００ｆの時計によって示される時刻である。さらに、サーバ１８００ｆは、特定されたコンテンツの再生開始時刻も再生予定表から見つけ出す。そして、サーバ１８００ｆは、そのコンテンツおよびコンテンツ再生開始時刻を受信機１８００ａに送信する。
【０７７６】
受信機１８００ａは、そのコンテンツおよびコンテンツ再生開始時刻を受信すると、そのコンテンツを、（受信機時刻−コンテンツ再生開始時刻）の時点から再生する。なお、受信機時刻は、受信機１８００ａに備えられている時計によって示される時刻である。
【０７７７】
このように、本実施の形態における再生方法は、光源の輝度変化により可視光信号を送信する送信機１８００ｄから、可視光信号を受信機１８００ａ（端末装置）のセンサにより受信する信号受信ステップと、受信機１８００ａから、可視光信号に対応付けられたコンテンツを要求するための要求信号をサーバ１８００ｆに送信する送信ステップと、受信機１８００ａが、各時刻と、各時刻に再生されるデータとを含むコンテンツを、サーバ１８００ｆから受信するコンテンツ受信ステップと、そのコンテンツのうち、受信機１８００ａに備えられている時計の時刻に該当するデータを再生する再生ステップとを含む。したがって、受信機１８００ａは、そのコンテンツにおけるデータを、間違った時刻に再生してしまうことなく、そのコンテンツに示される正しい時刻に、適切に再生することができる。また、送信機１８００ｄにおいても、そのコンテンツに関連するコンテンツ（送信機側コンテンツ）が再生されていれば、受信機１８００ａは、コンテンツをその送信機側コンテンツに適切に同期させて再生することができる。
【０７７８】
なお、上記方法ｃ〜ｅであっても、方法ｂのように、サーバ１８００ｆは、コンテンツのうち、コンテンツ再生中時刻以降の一部のコンテンツのみを受信機１８００ａに送信してもよい。
【０７７９】
また、上記方法ａ〜ｅでは、受信機１８００ａは、サーバ１８００ｆに要求信号を送信して、サーバ１８００ｆから必要なデータを受信するが、このよう送受信をすることなく、サーバ１８００ｆにあるデータを予め保持しておいてもよい。
【０７８０】
図１３１Ｂは、上述の方法ｅによって同期再生を行う再生装置の構成を示すブロック図である。
【０７８１】
再生装置Ｂ１０は、上述の方法ｅによって同期再生を行う受信機１８００ａまたは端末装置であって、センサＢ１１と、要求信号送信部Ｂ１２と、コンテンツ受信部Ｂ１３と、時計Ｂ１４と、再生部Ｂ１５とを備えている。
【０７８２】
センサＢ１１は、例えばイメージセンサであって、光源の輝度変化により可視光信号を送信する送信機１８００ｄから、その可視光信号を受信する。要求信号送信部Ｂ１２は、可視光信号に対応付けられたコンテンツを要求するための要求信号をサーバ１８００ｆに送信する。コンテンツ受信部Ｂ１３は、各時刻と、各時刻に再生されるデータとを含むコンテンツを、サーバ１８００ｆから受信する。再生部Ｂ１５は、そのコンテンツのうち、時計Ｂ１４の時刻に該当するデータを再生する。
【０７８３】
図１３１Ｃは、上述の方法ｅによって同期再生を行う端末装置の処理動作を示すフローチャートである。
【０７８４】
再生装置Ｂ１０は、上述の方法ｅによって同期再生を行う受信機１８００ａまたは端末装置であって、ステップＳＢ１１〜ＳＢ１５の各処理を実行する。
【０７８５】
ステップＳＢ１１では、光源の輝度変化により可視光信号を送信する送信機１８００ｄから、その可視光信号を受信する。ステップＳＢ１２では、可視光信号に対応付けられたコンテンツを要求するための要求信号をサーバ１８００ｆに送信する。ステップＳＢ１３では、各時刻と、各時刻に再生されるデータとを含むコンテンツを、サーバ１８００ｆから受信する。ステップＳＢ１５では、そのコンテンツのうち、時計Ｂ１４の時刻に該当するデータを再生する。
【０７８６】
このように、本実施の形態における再生装置Ｂ１０および再生方法では、コンテンツにおけるデータを、間違った時刻に再生してしまうことなく、そのコンテンツに示される正しい時刻に、適切に再生することができる。
【０７８７】
なお、本実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、本実施の形態の再生装置Ｂ１０などを実現するソフトウェアは、図１３１Ｃに示すフローチャートに含まれる各ステップをコンピュータに実行させるプログラムである。
【０７８８】
図１３２は、実施の形態１６における同期再生の事前準備を説明するための図である。
【０７８９】
受信機１８００ａは、同期再生を行うために、受信機１８００ａに備えられている時計の時刻を基準クロックの時刻に合わせる時刻合わせを行う。この時刻合わせのために、受信機１８００ａは、以下の（１）〜（５）の処理を行う。
【０７９０】
（１）受信機１８００ａは、信号を受信する。この信号は、送信機１８００ｄのディスプレイの輝度変化によって送信される可視光信号であっても、無線機器からのＷｉ−ＦｉまたはＢｌｕｅｔｏｏｔｈ（登録商標）に基づく電波信号であってもよい。または、受信機１８００ａは、このような信号を受信する代わりに、受信機１８００ａの位置を示す位置情報を例えばＧＰＳなどによって取得する。そして、受信機１８００ａは、その位置情報によって、受信機１８００ａが予め定められた場所または建物に入ったことを認識する。
【０７９１】
（２）受信機１８００ａは、上記信号を受信すると、または、予め定められた場所に入ったことを認識すると、その信号または場所などに関連付けられているデータ（関連情報）を要求する要求信号をサーバ（可視光ＩＤ解決サーバ）１８００ｆに送信する。
【０７９２】
（３）サーバ１８００ｆは、上述のデータと、受信機１８００ａに時刻合わせをさせるための時刻合わせ要求とを受信機１８００ａに送信する。
【０７９３】
（４）受信機１８００ａは、データと時刻合わせ要求とを受信すると、時刻合わせ要求をＧＰＳタイムサーバ、ＮＴＰサーバまたは、電気通信事業者（キャリア）の基地局に送信する。
【０７９４】
（５）上記サーバまたは基地局は、その時刻合わせ要求を受信すると、現在時刻（基準クロックの時刻または絶対時刻）を示す時刻データ（時刻情報）を受信機１８００ａに送信する。受信機１８００ａは、自らに備えられている時計の時刻を、その時刻データに示される現在時刻に合わせることによって、時刻合わせを行う。
【０７９５】
このように本実施の形態では、受信機１８００ａ（端末装置）に備えられている時計と、基準クロックとの間では、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）電波、または、ＮＴＰ（Ｎｅｔｗｏｒｋ  Ｔｉｍｅ  Ｐｒｏｔｏｃｏｌ）電波によって、同期がとられている。したがって、受信機１８００ａは、基準クロックにしたがった適切な時刻に、その時刻に該当するデータを再生することができる。
【０７９６】
図１３３は、実施の形態１６における受信機１８００ａの応用例を示す図である。
【０７９７】
受信機１８００ａは、上述のようにスマートフォンとして構成されて、例えば、透光性を有する樹脂またはガラスなどの部材で構成されたホルダー１８１０に保持されて利用される。このホルダー１８１０は、背板部１８１０ａと、背板部１８１０ａに立設された係止部１８１０ｂとを有する。受信機１８００ａは、背板部１８１０ａと係止部１８１０ｂとの間に、その背板部１８１０ａに沿わせるように挿入される。
【０７９８】
図１３４Ａは、実施の形態１６における、ホルダー１８１０に保持された受信機１８００ａの正面図である。
【０７９９】
受信機１８００ａは、上述のように挿入された状態でホルダー１８１０に保持される。このとき、係止部１８１０ｂは、受信機１８００ａの下部と係止し、その下部を背板部１８１０ａと挟持する。また、受信機１８００ａの背面は、背板部１８１０ａと対向し、受信機１８００ａのディスプレイ１８０１は露出した状態となる。
【０８００】
図１３４Ｂは、実施の形態１６における、ホルダー１８１０に保持された受信機１８００ａの背面図である。
【０８０１】
また、背板部１８１０ａには、通孔１８１１が形成され、その通孔１８１１の近くに可変フィルタ１８１２が取り付けられている。受信機１８００ａがホルダー１８１０に保持されると、受信機１８００ａのカメラ１８０２は、背板部１８１０ａから通孔１８１１を介して露出する。また、受信機１８００ａのフラッシュライト１８０３は、可変フィルタ１８１２に対向する。
【０８０２】
可変フィルタ１８１２は、例えば円盤状に形成され、それぞれ扇状で同じサイズの３つの色フィルタ（赤色フィルタ、黄色フィルタ、および緑色フィルタ）を有する。また、可変フィルタ１８１２は、可変フィルタ１８１２の中心を軸にして回転自在に背板部１８１０ａに取り付けられている。また、赤色フィルタは、赤色の透光性を有するフィルタであって、黄色フィルタは、黄色の透光性を有するフィルタであって、緑色フィルタは、緑色の透光性を有するフィルタである。
【０８０３】
したがって、可変フィルタ１８１２が回転されて、例えば、赤色フィルタがフラッシュライト１８０３ａに対向する位置に配置される。この場合、フラッシュライト１８０３ａから放たれる光は、赤色フィルタを透過することによって、赤色の光としてホルダー１８１０の内部で拡散する。その結果、ホルダー１８１０の略全体が赤色に発光する。
【０８０４】
同様に、可変フィルタ１８１２が回転されて、例えば、黄色フィルタがフラッシュライト１８０３ａに対向する位置に配置される。この場合、フラッシュライト１８０３ａから放たれる光は、黄色フィルタを透過することによって、黄色の光としてホルダー１８１０の内部で拡散する。その結果、ホルダー１８１０の略全体が黄色に発光する。
【０８０５】
同様に、可変フィルタ１８１２が回転されて、例えば、緑色フィルタがフラッシュライト１８０３ａに対向する位置に配置される。この場合、フラッシュライト１８０３ａから放たれる光は、緑色フィルタを透過することによって、緑色の光としてホルダー１８１０の内部で拡散する。その結果、ホルダー１８１０の略全体が緑色に発光する。
【０８０６】
つまり、ホルダー１８１０は、ペンライトのように、赤色、黄色または緑色に点灯する。
【０８０７】
図１３５は、実施の形態１６における、ホルダー１８１０に保持された受信機１８００ａのユースケースを説明するための図である。
【０８０８】
例えば、ホルダー１８１０に保持された受信機１８００ａであるホルダー付受信機は、遊園地などで利用される。つまり、遊園地において移動するフロートに向けられた複数のホルダー付受信機は、そのフロートから流れる音楽に合わせて、同期しながら点滅する。つまり、フロートは、上記各実施の形態における送信機として構成され、フロートに取り付けられている光源の輝度変化によって可視光信号を送信する。例えば、フロートは、フロートのＩＤを示す可視光信号を送信する。そして、ホルダー付受信機は、上記各実施の形態と同様に、受信機１８００ａのカメラ１８０２の撮影によって、その可視光信号、つまりＩＤを受信する。ＩＤを受信した受信機１８００ａは、そのＩＤに対応付けられたプログラムを例えばサーバから取得する。このプログラムは、所定の各時刻において受信機１８００ａのフラッシュライト１８０３を点灯させる命令からなる。この所定の各時刻は、フロートから流れる音楽に合わせて（同期するように）設定されている。そして、受信機１８００ａは、そのプログラムにしたがって、フラッシュライト１８０３ａを点滅させる。
【０８０９】
これにより、そのＩＤを受信した各受信機１８００ａのホルダー１８１０は、そのＩＤのフロートから流れる音楽に合わせて同じタイミングで点灯することを繰り返す。
【０８１０】
ここで、各受信機１８００ａは、設定されている色フィルタ（以下、設定フィルタという）に応じてフラッシュライト１８０３の点滅を行う。設定フィルタとは、受信機１８００ａのフラッシュライト１８０３に対向している色フィルタである。また、各受信機１８００ａは、ユーザによる操作に基づいて、現在の設定フィルタを認識している。または、各受信機１８００ａは、カメラ１８０２の撮影によって得られる画像の色などに基づいて、現在の設定フィルタを認識している。
【０８１１】
つまり、ＩＤを受信した複数の受信機１８００ａのうち、所定の時刻では、設定フィルタが赤色フィルタであることを認識している複数の受信機１８００ａのホルダー１８１０のみが同時に点灯する。次の時刻では、設定フィルタが緑色フィルタであることを認識している複数の受信機１８００ａのホルダー１８１０のみが同時に点灯する。さらに次の時刻では、設定フィルタが黄色フィルタであることを認識している複数の受信機１８００ａのホルダー１８１０のみが同時に点灯する。
【０８１２】
このように、ホルダー１８１０に保持される受信機１８００ａは、上述の図１２３〜図１２９に示す同期再生と同様に、フロートの音楽と、他のホルダー１８１０に保持される受信機１８００ａとに同期して、フラッシュライト１８０３、すなわちホルダー１８１０を点滅させる。
【０８１３】
図１３６は、実施の形態１６における、ホルダー１８１０に保持された受信機１８００ａの処理動作を示すフローチャートである。
【０８１４】
受信機１８００ａは、フロートからの可視光信号によって示されるフロートのＩＤを受信する（ステップＳ１８３１）。次に、受信機１８００ａは、そのＩＤに対応付けられているプログラムをサーバから取得する（ステップＳ１８３２）。次に、受信機１８００ａは、そのプログラムを実行することにより、設定フィルタに応じた所定の各時刻にフラッシュライト１８０３を点灯させる（ステップＳ１８３３）。
【０８１５】
ここで、受信機１８００ａは、受信したＩＤまたは取得したプログラムに応じた画像をディスプレイ１８０１に表示させてもよい。
【０８１６】
図１３７は、実施の形態１６における受信機１８００ａによって表示される画像の一例を示す図である。
【０８１７】
受信機１８００ａは、例えばサンタクロースのフロートからＩＤを受信すると、図１３７の（ａ）に示すように、サンタクロースの画像を表示させる。さらに、受信機１８００ａは、図１３７の（ｂ）に示すように、フラッシュライト１８０３の点灯と同時に、そのサンタクロースの画像の背景色を、設定フィルタの色に変更してもよい。例えば、設定フィルタの色が赤色の場合には、フラッシュライト１８０３の点灯によって、ホルダー１８１０が赤色に点灯すると同時に、赤色の背景色を有するサンタクロースの画像がディスプレイ１８０１に表示される。つまり、ホルダー１８１０の点滅と、ディスプレイ１８０１の表示とが同期する。
【０８１８】
図１３８は、実施の形態１６におけるホルダーの他の例を示す図である。
【０８１９】
ホルダー１８２０は、上述のホルダー１８１０と同様に構成されているが、通孔１８１１および可変フィルタ１８１２がない。このようなホルダー１８２０は、背板部１８２０ａに受信機１８００ａのディスプレイ１８０１が向けられた状態で、その受信機１８００ａを保持する。この場合、受信機１８００ａは、フラッシュライト１８０３の代わりに、ディスプレイ１８０１を発光させる。これにより、ディスプレイ１８０１からの光がホルダー１８２０の略全体に拡散する。したがって、受信機１８００ａが、上述のプログラムに応じて、赤色の光でディスプレイ１８０１を発光させると、ホルダー１８２０は赤色に点灯する。同様に、受信機１８００ａが、上述のプログラムに応じて、黄色の光でディスプレイ１８０１を発光させると、ホルダー１８２０は黄色に点灯する。受信機１８００ａが、上述のプログラムに応じて、緑色の光でディスプレイ１８０１を発光させると、ホルダー１８２０は緑色に点灯する。このようなホルダー１８２０を用いれば、可変フィルタ１８１２の設定を省くことができる。
【０８２０】
（実施の形態１７）
（可視光信号）
図１３９Ａ〜図１３９Ｄは、実施の形態１７における可視光信号の一例を示す図である。
【０８２１】
送信機は、上述と同様、例えば図１３９Ａに示すように、４ＰＰＭの可視光信号を生成し、この可視光信号にしたがって輝度変化する。具体的には、送信機は、４スロットを一信号単位に割り当て、複数の信号単位からなる可視光信号を生成する。信号単位は、スロットごとにＨｉｇｈ（Ｈ）またはＬｏｗ（Ｌ）を示す。そして、送信機は、Ｈのスロットにおいて明るく発光し、Ｌのスロットにおいて暗く発光または消灯する。例えば、１スロットは、１／９６００秒の時間に相当する期間である。
【０８２２】
また、送信機は、例えば図１３９Ｂに示すように、一信号単位に割り当てられるスロット数が可変となる可視光信号を生成してもよい。この場合、信号単位では、１つ以上の連続するスロットにおいてＨを示す信号と、そのＨの信号に続く１つのスロットにおいてＬを示す信号とからなる。Ｈのスロット数が可変であるため、信号単位の全体のスロット数が可変となる。例えば図１３９Ｂに示すように、送信機は、３スロットの信号単位、４スロットの信号単位、６スロットの信号単位の順に、それらの信号単位を含む可視光信号を生成する。そして、送信機は、この場合にも、Ｈのスロットにおいて明るく発光し、Ｌのスロットにおいて暗く発光または消灯する。
【０８２３】
また、送信機は、例えば図１３９Ｃに示すように、複数のスロットを一信号単位に割り当てることなく、任意の期間（信号単位期間）を一信号単位に割り当ててもよい。この信号単位期間は、Ｈの期間と、そのＨの期間に続くＬの期間とからなる。Ｈの期間は、変調前の信号に応じて調整される。Ｌの期間は、固定であって、上記スロットに相当する期間であってもよい。また、Ｈの期間およびＬの期間はそれぞれ例えば１００μｓ以上の期間である。例えば図１３９Ｃに示すように、送信機は、信号単位期間が２１０μｓの信号単位、信号単位期間が２２０μｓの信号単位、信号単位期間が２３０μｓの信号単位の順に、それらの信号単位を含む可視光信号を送信する。そして、送信機は、この場合にも、Ｈの期間において明るく発光し、Ｌの期間において暗く発光または消灯する。
【０８２４】
また、送信機は、例えば図１３９Ｄに示すように、ＬとＨとを交互に示す信号を可視光信号として生成してもよい。この場合、可視光信号においてＬの期間と、Ｈの期間とは、それぞれ変調前の信号に応じて調整される。例えば図１３９Ｄに示すように、送信機は、１００μｓの期間においてＨを示し、次に、１２０μｓの期間においてＬを示し、次に、１１０μｓの期間においてＨを示し、さらに、２００μｓの期間においてＬを示す可視光信号を送信する。そして、送信機は、この場合にも、Ｈの期間において明るく発光し、Ｌの期間において暗く発光または消灯する。
【０８２５】
図１４０は、実施の形態１７における可視光信号の構成を示す図である。
【０８２６】
可視光信号は、例えば、信号１と、その信号１に対応する明るさ調整信号と、信号２と、その信号２に対応する明るさ調整信号とを含む。送信機は、変調前の信号を変調することによって信号１および信号２を生成すると、それらの信号に対する明るさ調整信号を生成し、上述の可視光信号を生成する。
【０８２７】
信号１に対応する明るさ調整信号は、信号１にしたがった輝度変化による明るさの増減を補う信号である。信号２に対応する明るさ調整信号は、信号２にしたがった輝度変化による明るさの増減を補う信号である。ここで、信号１と、その信号１の明るさ調整信号とにしたがった輝度変化によって、明るさＢ１が表現され、信号２と、その信号２の明るさ調整信号とにしたがった輝度変化によって、明るさＢ２が表現される。本実施の形態における送信機は、その明るさＢ１と明るさＢ２とが等しくなるように、信号１および信号２のそれぞれの明るさ調整信号を可視光信号の一部として生成する。これにより、明るさが一定に保たれ、ちらつきを抑えることができる。
【０８２８】
また、送信機は、上述の信号１を生成するときには、データ１と、そのデータ１に続くプリアンブル（ヘッダ）と、そのプリンブルに続くデータ１とを含む信号１を生成する。ここで、プリアンブルは、その前後に配置されているデータ１に対応する信号である。例えば、このプリアンブルは、データ１を読み出すための識別子となる信号である。このように、２つのデータ１と、それらの間に配置されるプリアンブルとから信号１が構成されているため、受信機は、前にあるデータ１の途中から可視光信号を読み出しても、そのデータ１（すなわち信号１）を正しく復調することができる。
【０８２９】
（輝線画像）
図１４１は、実施の形態１７における受信機の撮像によって得られる輝線画像の一例を示す図である。
【０８３０】
受信機は、上述のように、輝度変化する送信機を撮像することによって、その送信機から送信される可視光信号を輝線パターンとして含む輝線画像を取得する。このような撮像によって、可視光信号が受信機に受信される。
【０８３１】
例えば、図１４１に示すように、受信機は、イメージセンサに含まれるＮ個の露光ラインを用いて、時刻ｔ１に撮像することによって、それぞれ輝線パターンが現れている領域ａおよび領域ｂを含む輝線画像を取得する。領域ａおよび領域ｂはそれぞれ、被写体である送信機が輝度変化することによって輝線パターンが現れる領域である。
【０８３２】
ここで、受信機は、領域ａおよび領域ｂの輝線パターンから可視光信号を復調する。しかし、受信機は、復調された可視光信号だけでは不十分と判定すると、そのＮ個の露光ラインのうち、領域ａに該当するＭ（Ｍ＜Ｎ）個の連続する露光ラインのみを用いて、時刻ｔ２に撮像する。これにより、受信機は、領域ａおよび領域ｂのうち領域ａのみを含む輝線画像を取得する。受信機は、このような撮像を、時刻ｔ３〜ｔ５においても繰り返し実施する。その結果、領域ａに対応する被写体からの十分なデータ量の可視光信号を高速に受信することができる。さらに、受信機は、そのＮ個の露光ラインのうち、領域ｂに該当するＬ（Ｌ＜Ｎ）個の連続する露光ラインのみを用いて、時刻ｔ６に撮像する。これにより、受信機は、領域ａおよび領域ｂのうち領域ｂのみを含む輝線画像を取得する。受信機は、このような撮像を、時刻ｔ７〜ｔ９においても繰り返し実施する。その結果、領域ｂに対応する被写体からの十分なデータ量の可視光信号を高速に受信することができる。
【０８３３】
また、受信機は、時刻ｔ１０およびｔ１１において、時刻ｔ２〜ｔ５と同様の撮像を行うことによって、領域ａのみを含む輝線画像を取得してもよい。さらに、受信機は、時刻ｔ１２およびｔ１３において、時刻ｔ６〜ｔ９と同様の撮像を行うことによって、領域ｂのみを含む輝線画像を取得してもよい。
【０８３４】
また、上述の例では、受信機は、可視光信号が不十分であると判定したときに、時刻ｔ２〜ｔ５において、領域ａのみを含む輝線画像の連写を行ったが、時刻ｔ１の撮像によって得られた画像に輝線が現れていれば、上述の連写を行ってもよい。同様に、受信機は、可視光信号が不十分であると判定したときに、時刻ｔ６〜ｔ９において、領域ｂのみを含む輝線画像の連写を行ったが、時刻ｔ１の撮像によって得られた画像に輝線が現れていれば、上述の連写を行ってもよい。また、受信機は、領域ａのみを含む輝線画像の取得と、領域ｂのみを含む輝線画像の取得とを交互に行ってもよい。
【０８３５】
なお、上記の領域ａに該当するＭ個の連続する露光ラインは、領域ａの生成に寄与する露光ラインであり、上記の領域ｂに該当するＬ個の連続する露光ラインは、領域ｂの生成に寄与する露光ラインである。
【０８３６】
図１４２は、実施の形態１７における受信機の撮像によって得られる輝線画像の他の例を示す図である。
【０８３７】
例えば、図１４２に示すように、受信機は、イメージセンサに含まれるＮ個の露光ラインを用いて、時刻ｔ１に撮像することによって、それぞれ輝線パターンが現れている領域ａおよび領域ｂを含む輝線画像を取得する。領域ａおよび領域ｂはそれぞれ、上述と同様に、被写体である送信機が輝度変化することによって輝線パターンが現れる領域である。また、領域ａおよび領域ｂはそれぞれ、輝線または露光ラインの方向に沿って互いに重なる領域（以下、重なり領域という）を有する。
【０８３８】
ここで、受信機は、その領域ａおよび領域ｂの輝線パターンから復調された可視光信号が不十分と判定すると、そのＮ個の露光ラインのうち、重なり領域に該当するＰ（Ｐ＜Ｎ）個の連続する露光ラインのみを用いて、時刻ｔ２に撮像する。これにより、受信機は、領域ａおよび領域ｂのそれぞれの重なり領域のみを含む輝線画像を取得する。受信機は、このような撮像を、時刻ｔ３およびｔ４においても繰り返し実施する。その結果、領域ａおよび領域ｂのそれぞれに対応する被写体からの十分なデータ量の可視光信号を、略同時に、且つ高速に受信することができる。
【０８３９】
図１４３は、実施の形態１７における受信機の撮像によって得られる輝線画像の他の例を示す図である。
【０８４０】
例えば、図１４３に示すように、受信機は、イメージセンサに含まれるＮ個の露光ラインを用いて、時刻ｔ１に撮像することによって、輝線パターンが不明瞭に現れている部分ａと、明瞭に現れている部分ｂとからなる領域を含む輝線画像を取得する。この領域は、上述と同様に、被写体である送信機が輝度変化することによって輝線パターンが現れる領域である。
【０８４１】
このような場合、受信機は、上述の領域の輝線パターンから復調された可視光信号が不十分と判定すると、そのＮ個の露光ラインのうち、部分ｂに該当するＱ（Ｑ＜Ｎ）個の連続する露光ラインのみを用いて、時刻ｔ２に撮像する。これにより、受信機は、上述の領域のうち部分ｂのみを含む輝線画像を取得する。受信機は、このような撮像を、時刻ｔ３およびｔ４においても繰り返し実施する。その結果、上述の領域に対応する被写体からの十分なデータ量の可視光信号を、高速に受信することができる。
【０８４２】
また、受信機は、部分ｂのみを含む輝線画像の連写が行われた後に、さらに、部分ａのみを含む輝線画像の連写を行ってもよい。
【０８４３】
上述のように、輝線画像において輝線パターンが現れている領域（または部分）が複数含まれている場合には、受信機は、それぞれの領域に順番を付けて、その順番にしたがって、その領域のみを含む輝線画像の連写を行う。この場合、その順番は、信号の大きさ（領域または部分の広さ）に応じた順番であっても、輝線の明瞭度に応じた順番であってもよい。また、その順番は、それらの領域に対応する被写体からの光の色に応じた順番であってもよい。例えば、最初の連写は、赤色の光に対応する領域に対して行われ、次の連写では、白色の光に対応する領域に対して行われる。また、赤色の光に対する領域の連写だけが行われてもよい。
【０８４４】
（ＨＤＲ合成）
図１４４は、実施の形態１７における受信機の、ＨＤＲ合成を行うカメラシステムへの適応を説明するための図である。
【０８４５】
車両には、衝突防止などのためにカメラシステムが搭載されている。このカメラシステムは、カメラの撮像によって得られた画像を用いてＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）合成を行う。このＨＤＲ合成によって、輝度のダイナミックレンジが広い画像が得られる。カメラシステムは、この広いダイナミックレンジの画像に基づいて、周辺の車両、障害物または人などの認識を行う。
【０８４６】
例えば、カメラシステムは、設定モードとして通常設定モードおよび通信設定モードとを有する。設定モードが通常設定モードの場合、例えば図１４４に示すように、カメラシステムは、時刻ｔ１〜ｔ４において、それぞれ同じ１／１００秒のシャッタースピードで、且つそれぞれ異なる感度で、４回の撮像を行う。カメラシステムは、この４回の撮像によって得られた４枚の画像を用いてＨＤＲ合成を行う。
【０８４７】
一方、設定モードが通信設定モードの場合、例えば図１４４に示すように、カメラシステムは、時刻ｔ５〜ｔ７において、それぞれ同じ１／１００秒のシャッタースピードで、且つそれぞれ異なる感度で、３回の撮像を行う。さらに、カメラシステムは、時刻ｔ８において、１／１００００秒のシャッタースピードで、且つ、最大の感度（例えばＩＳＯ＝１６００）で撮像を行う。カメラシステムは、この４回の撮像のうちの、最初の３回の撮像によって得られた３枚の画像を用いてＨＤＲ合成を行う。さらに、カメラシステムは、上述の４回の撮像のうちの最後の撮像によって可視光信号を受信し、その撮像によって得られた画像に現れている輝線パターンを復調する。
【０８４８】
また、設定モードが通信設定モードの場合には、カメラシステムは、ＨＤＲ合成を行わなくてもよい。例えば図１４４に示すように、カメラシステムは、時刻ｔ９において、１／１００秒のシャッタースピードで、且つ低い感度（例えば、ＩＳＯ＝２００）で、撮像を行う。さらに、カメラシステムは、時刻ｔ１０〜ｔ１２において、１／１００００秒のシャッタースピードで、且つ、互いに異なる感度で３回の撮像を行う。カメラシステムは、この４回の撮像のうちの、最初の１回の撮像によって得られた画像から、周辺の車両、障害物または人などの認識を行う。さらに、カメラシステムは、上述の４回の撮像のうちの最後の３回の撮像によって可視光信号を受信し、その撮像によって得られた画像に現れている輝線パターンを復調する。
【０８４９】
なお、図１４４に示す例では、時刻ｔ１０〜ｔ１２のそれぞれにおいて、互いに異なる感度で撮像が行われているが、同じ感度で撮像を行ってもよい。
【０８５０】
このようなカメラシステムでは、ＨＤＲ合成を行うことができるとともに、可視光信号の受信も行うことができる。
【０８５１】
（セキュリティ）
図１４５は、実施の形態１７における可視光通信システムの処理動作を説明するための図である。
【０８５２】
この可視光通信システムは、例えばレジに配置される送信機と、受信機であるスマートフォンと、サーバとからなる。なお、スマートフォンとサーバとの間の通信と、送信機とサーバとの間の通信とは、それぞれセキュアな通信回線を介して行われる。また、送信機とスマートフォンとの間の通信は、可視光通信によって行われる。本実施の形態における可視光通信システムは、送信機からの可視光信号が正確にスマートフォンに受信されているか否かを判定することにより、セキュリティを確保する。
【０８５３】
具体的には、送信機は、時刻ｔ１において輝度変化することによって、例えば値「１００」を示す可視光信号をスマートフォンに送信する。スマートフォンは、時刻ｔ２に、その可視光信号を受信すると、その値「１００」を示す電波信号をサーバに送信する。サーバは、時刻ｔ３に、スマートフォンからその電波信号を受信する。このとき、サーバは、その電波信号によって示される値「１００」が、送信機からスマートフォンに受信された可視光信号の値であるか否かを判定するための処理を行う。すなわち、サーバは、例えば値「２００」を示す電波信号を送信機に送信する。その電波信号を受信した送信機は、時刻ｔ４において輝度変化することによって、その値「２００」を示す可視光信号をスマートフォンに送信する。スマートフォンは、時刻ｔ５に、その可視光信号を受信すると、その値「２００」を示す電波信号をサーバに送信する。サーバは、時刻ｔ６に、スマートフォンからその電波信号を受信する。サーバは、この受信した電波信号の示す値が、時刻ｔ３において送信した電波信号の示す値と同一であるか否かを判別する。同一であれば、サーバは、時刻ｔ３において受信した可視光信号によって示される値「１００」が、送信機からスマートフォンに送信されて受信された可視光信号の値であると判定する。一方、同一でなければ、サーバは、時刻ｔ３において受信した可視光信号によって示される値「１００」が、送信機からスマートフォンに送信されて受信された可視光信号の値として疑わしいと判定する。
【０８５４】
これにより、サーバは、スマートフォンが送信機から可視光信号を確かに受信したか否かを判定することができる。つまり、スマートフォンが、送信機から可視光信号を受信していないにも関わらず、その可視光信号を受信したかのように見せかけて、信号をサーバに送信するのを防ぐことができる。
【０８５５】
なお、上述の例では、スマートフォンとサーバと送信機の間では、電波信号を用いた通信が行われているが、可視光信号以外の光信号による通信、または電気信号による通信が行われてもよい。また、送信機からスマートフォンに送信される可視光信号は、例えば、課金の値、クーポンの値、モンスターの値、またはビンゴの値などを示す。
【０８５６】
（車両関係）
図１４６Ａは、実施の形態１７における可視光を用いた車車間通信の一例を示す図である。
【０８５７】
例えば、先頭の車両は、その車両に搭載されているセンサ（カメラなど）によって、進行方向に事故があることを認識する。このように事故を認識すると、先頭の車両は、テールランプを輝度変化させることによって、可視光信号を送信する。例えば、先頭の車両は、後続車両に対して減速を促す可視光信号を送信する。後続車両は、その車両に搭載されているカメラによる撮像によって、その可視光信号を受信すると、その可視光信号にしたがって、減速するとともに、さらに後続の車両に対して減速を促す可視光信号を送信する。
【０８５８】
このように、減速を促す可視光信号は、一列に並んで走行する複数の車両に先頭から順次送信され、その可視光信号を受信した車両は減速する。各車両への可視光信号の送信は早く行われるため、それらの複数の車両は略同時に同じように減速を行うことができる。したがって、事故による渋滞を緩和することができる。
【０８５９】
図１４６Ｂは、実施の形態１７における可視光を用いた車車間通信の他の例を示す図である。
【０８６０】
例えば、前の車両は、テールランプを輝度変化させることによって、後の車両に対するメッセージ（例えば「ありがとう」）を示す可視光信号を送信してもよい。このメッセージは、例えばユーザによるスマートフォンへの操作によって生成される。そして、スマートフォンは、そのメッセージを示す信号を上述の前の車両に送信する。その結果、前の車両は、そのメッセージを示す可視光信号を後の車両に送信することができる。
【０８６１】
図１４７は、実施の形態１７における複数のＬＥＤの位置決定方法の一例を示す図である。
【０８６２】
例えば、車両のヘッドライトは、複数のＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）を有する。この車両の送信機は、ヘッドライトの複数のＬＥＤのそれぞれを個別に輝度変化させることによって、それぞれのＬＥＤから可視光信号を送信する。他の車両の受信機は、そのヘッドライトを有する車両を撮像することによって、それらの複数のＬＥＤからの可視光信号を受信する。
【０８６３】
このとき、受信機は、受信された可視光信号が何れのＬＥＤから送信された信号であるかを認識するために、その撮像によって得られた画像から、複数のＬＥＤのそれぞれの位置を決定する。具体的には、受信機は、その受信機と同じ車両に取り付けられている加速度センサを利用し、その加速度センサによって示される重力の方向（例えば図１４７中の下向き矢印）を基準に、複数のＬＥＤのそれぞれの位置を決定する。
【０８６４】
なお、上述の例では、輝度変化する発光体の一例としてＬＥＤをあげたが、ＬＥＤ以外の発光体であってもよい。
【０８６５】
図１４８は、実施の形態１７における、車両を撮像することによって得られる輝線画像の一例を示す図である。
【０８６６】
例えば、走行する車両に搭載された受信機は、後の車両（後続車両）を撮像することにより、図１４８に示す輝線画像を取得する。後続車両に搭載された送信機は、車両の２つのヘッドライトを輝度変化させることによって、可視光信号を前の車両に送信する。前の車両の後部またはサイドミラーなどには、後方を撮像するカメラが取り付けられている。受信機は、後続車両を被写体としたそのカメラによる撮像によって、輝線画像を取得し、その輝線画像に含まれる輝線パターン（可視光信号）を復調する。これにより、後続車両の送信機から送信された可視光信号は、前の車両の受信機に受信される。
【０８６７】
ここで、受信機は、２つのヘッドライトから送信されて復調された可視光信号のそれぞれから、そのヘッドライトを有する車両のＩＤと、その車両の速度と、その車両の車種を取得する。受信機は、２つの可視光信号のそれぞれのＩＤが同じであれば、その２つの可視光信号が同じ車両から送信された信号であると判断する。そして、受信機は、その車両の車種から、その車両が有する２つのヘッドライトの間の長さ（ライト間距離）を特定する。さらに、受信機は、輝線画像に含まれている、輝線パターンが現れている２つの領域の間の距離Ｌ１を計測する。そして、受信機は、その距離Ｌ１と、ライト間距離とを用いた三角測量によって、その受信機を搭載する車両から、後続車両までの距離（車間距離）を算出する。受信機は、その車間距離と、可視光信号から取得された車両の速度とに基づいて、衝突の危険性を判断し、その判断結果に応じた警告を、車両の運転者に報知する。これにより、車両の衝突を回避することができる。
【０８６８】
なお、上述の例では、受信機は、可視光信号に含まれる車種からライト間距離を特定したが、車種以外の情報からライト間距離を特定してもよい。また、上述の例では、受信機は、衝突の危険性があると判断したときには、警告を発するが、その危険性を回避する動作を車両に実行させるための制御信号を車両に出力してもよい。例えば、その制御信号は、車両を加速させるための信号、または、車両に車線変更させるための信号である。
【０８６９】
また、上述の例では、カメラは後続車両を撮像するが、対向車両を撮像してもよい。また、受信機は、カメラによる撮像によって得られる画像から、受信機（つまり受信機を備えた車両）周辺に霧が立ち込めていると判断すると、上述のような可視光信号を受信するモードとなってもよい。これにより、車両の受信機は、周辺に霧が立ち込めていても、対向車両のヘッドライトから送信される可視光信号を受信することによって、その対向車両の位置および速度を特定することができる。
【０８７０】
図１４９は、実施の形態１７における受信機と送信機の適用例を示す図である。なお、図１４９は自動車を後ろから見た図である。
【０８７１】
例えば車の２つのテールランプ（発光部またはライト）を有する送信機（車）７００６ａは、送信機７００６ａの識別情報（ＩＤ）を例えばスマートフォンとして構成される受信機に送信する。受信機は、そのＩＤを受信すると、そのＩＤに対応付けられた情報をサーバから取得する。例えば、その情報は、その車または送信機のＩＤ、発光部間の距離、発光部の大きさ、車の大きさ、車の形状、車の重さ、車のナンバー、前方の様子、または危険の有無を示す情報である。また、受信機はこれらの情報を送信機７００６ａから直接取得してもよい。
【０８７２】
図１５０は、実施の形態１７における受信機と送信機７００６ａの処理動作の一例を示すフローチャートである。
【０８７３】
送信機７００６ａのＩＤと、ＩＤを受信した受信機に渡す情報とを関連付けてサーバに記憶する（７１０６ａ）。受信機に渡す情報には、送信機７００６ａとなる発光部の大きさや、発光部間の距離や、送信機７００６ａを構成要素の一部とする物体の形状や、重量や、車体ナンバー等の識別番号や、受信機から観察しづらい場所の様子や危険の有無などの情報を含めても良い。
【０８７４】
送信機７００６ａは、ＩＤを送信する（７１０６ｂ）。送信内容には、前記サーバのＵＲＬや、前記サーバに記憶させるとした情報を含めても良い。
【０８７５】
受信機は、送信されたＩＤ等の情報を受信する（７１０６ｃ）。受信機は、受信したＩＤに紐付いた情報をサーバから取得する（７１０６ｄ）。受信機は、受信した情報やサーバから取得した情報を表示する（７１０６ｅ）。
【０８７６】
受信機は、発光部の大きさ情報と撮像した発光部の見えの大きさから、または、発光部間の距離情報と撮像した発光部間の距離から三角測量の要領で、受信機と発光部との距離を計算する（７１０６ｆ）。受信機は、受信機から観察しづらい場所の様子や危険の有無などの情報を基に、危険の警告などを行う（７１０６ｇ）。
【０８７７】
図１５１は、実施の形態１７における受信機と送信機の適用例を示す図である。
【０８７８】
例えば車の２つのテールランプ（発光部またはライト）を有する送信機（車）７００７ｂは、送信機７００７ｂの情報を例えば駐車場の送受信装置として構成される受信機７００７ａに送信する。送信機７００７ｂの情報は、送信機７００７ｂの識別情報（ＩＤ）、車のナンバー、車の大きさ、車の形状、または車の重さを示す。受信機７００７ａは、その情報を受信すると、駐車の可否、課金情報、または駐車位置を送信する。なお、受信機７００７ａは、ＩＤを受信して、ＩＤ以外の情報をサーバから取得してもよい。
【０８７９】
図１５２は、実施の形態１７における受信機７００７ａと送信機７００７ｂの処理動作の一例を示すフローチャートである。なお、送信機７００７ｂは、送信だけでなく受信も行なうとため、車載送信機と車載受信機とを備える。
【０８８０】
送信機７００７ｂのＩＤと、ＩＤを受信した受信機７００７ａに渡す情報とを関連付けてサーバ（駐車場管理サーバ）に記憶する（７１０７ａ）。受信機７００７ａに渡す情報には、送信機７００７ｂを構成要素の一部とする物体の形状や、重量や、車体ナンバー等の識別番号や、送信機７００７ｂのユーザの識別番号や支払いのための情報を含めても良い。
【０８８１】
送信機７００７ｂ（車載送信機）は、ＩＤを送信する（７１０７ｂ）。送信内容には、前記サーバのＵＲＬや、前記サーバに記憶させる情報を含めても良い。駐車場の受信機７００７ａ（駐車場の送受信装置）は、受信した情報を、駐車場を管理するサーバ（駐車場管理サーバ）に送信する（７１０７ｃ）。駐車場管理サーバは、送信機７００７ｂのＩＤをキーに、ＩＤに紐付けられた情報を取得する（７１０７ｄ）。駐車場管理サーバは、駐車場の空き状況を調査する（７１０７ｅ）。
【０８８２】
駐車場の受信機７００７ａ（駐車場の送受信装置）は、駐車の可否や、駐車位置情報、または、これらの情報を保持するサーバのアドレスを送信する（７１０７ｆ）。または、駐車場管理サーバは、これらの情報を別のサーバに送信する。送信機（車載受信機）７００７ｂは、上記で送信された情報を受信する（７１０７ｇ）。または、車載システムは、別のサーバからこれらの情報を取得する。
【０８８３】
駐車場管理サーバは、駐車を行いやすいように駐車場の制御を行う（７１０７ｈ）。例えば、立体駐車場の制御を行う。駐車場の送受信装置は、ＩＤを送信する（７１０７ｉ）。車載受信機（送信機７００７ｂ）は、車載受信機のユーザ情報と受信したＩＤとを基に、駐車場管理サーバに問い合わせを行う（７１０７ｊ）。
【０８８４】
駐車場管理サーバは、駐車時間等に応じて課金を行う（７１０７ｋ）。駐車場管理サーバは、駐車された車両にアクセスしやすいように駐車場の制御を行う（７１０７ｍ）。例えば、立体駐車場の制御を行う。車載受信機（送信機７００７ｂ）は、駐車位置への地図を表示し、現在地からのナビゲーションを行う（７１０７ｎ）。
【０８８５】
（電車内）
図１５３は、実施の形態１７における、電車の車内に適用される可視光通信システムの構成を示す図である。
【０８８６】
可視光通信システムは、例えば、電車内に配置された複数の照明装置１９０５と、ユーザが保持するスマートフォン１９０６と、サーバ１９０４と、電車内に配置されたカメラ１９０３とを備える。
【０８８７】
複数の照明装置１９０５のそれぞれは、上述の送信機として構成され、明かりを照らすとともに、輝度変化することによって可視光信号を送信する。この可視光信号は、その可視光信号を送信する照明装置１９０５のＩＤを示す。
【０８８８】
スマートフォン１９０６は、上述の受信機として構成され、照明装置１９０５を撮像することによって、その照明装置１９０５から送信される可視光信号を受信する。例えば、ユーザは、電車内でトラブル（例えば痴漢または喧嘩など）に巻き込まれた場合、スマートフォン１９０６にその可視光信号を受信させる。スマートフォン１９０６は、可視光信号を受信すると、その可視光信号によって示されるＩＤをサーバ１９０４に通知する。
【０８８９】
サーバ１９０４は、そのＩＤの通知を受けると、そのＩＤによって識別される照明装置１９０５によって照らし出される範囲を撮像範囲とするカメラ１９０３を特定する。そして、サーバ１９０４は、その特定されたカメラ１９０３に、照明装置１９０５によって照らし出される範囲を撮像させる。
【０８９０】
カメラ１９０３は、サーバ１９０４からの指示に応じて撮像し、その撮像によって得られた画像をサーバ１９０４に送信する。
【０８９１】
これにより、電車内でのトラブルの状況を示す画像を取得することができる。この画像は、トラブルの証拠として利用することができる。
【０８９２】
また、ユーザは、スマートフォン１９０６を操作することにより、カメラ１９０３の撮像によって得られた画像をサーバ１９０４からスマートフォン１９０６に送信させもよい。
【０８９３】
また、スマートフォン１９０６は、画面に撮像ボタンを表示し、その撮像ボタンがユーザによってタッチされると、撮像を促す信号をサーバ１９０４に送信してもよい。これにより、ユーザは、撮像のタイミングを自ら決定することができる。
【０８９４】
図１５４は、実施の形態１７における、遊園地などの施設に適用される可視光通信システムの構成を示す図である。
【０８９５】
可視光通信システムは、例えば、施設に配置された複数のカメラ１９０３と、人に取り付けられる装身具１９０７とを備える。
【０８９６】
装身具１９０７は、例えば複数のＬＥＤが取り付けられたリボンを有するカチューシャなどである。また、この装身具１９０７は、上述の送信機として構成され、複数のＬＥＤを輝度変化させることによって、可視光信号を送信する。
【０８９７】
複数のカメラ１９０３のそれぞれは、上述の受信機として構成され、可視光通信モードと通常撮像モードとを有する。また、これらの複数のカメラ１９０３のそれぞれは、施設内の通り道における互いに異なる箇所に配置されている。
【０８９８】
具体的には、カメラ１９０３は、可視光通信モードに設定されているときに、装身具１９０７が被写体として撮像されると、その装身具１９０７から可視光信号を受信する。カメラ１９０３は、その可視光信号を受信すると、設定されているモードを可視光通信モードから通常撮像モードに切り替える。その結果、カメラ１９０３は、装身具１９０７を身につけている人を被写体として撮像する。
【０８９９】
したがって、装身具１９０７を付けた人が施設内の通り道を歩いていると、その人の近くにあるカメラ１９０３が次々にその人を撮像することになる。これにより、その人が施設で楽しんでいる様子を映す画像を自動的に取得して保存することができる。
【０９００】
なお、カメラ１９０３は、可視光信号を受信すると直ちに通常撮像モードによる撮像を行うのではなく、例えばスマートフォンから撮像開始の指示を受けたときに、通常撮像モードによる撮像を行ってもよい。これにより、ユーザは、スマートフォンの画面に表示される撮像開始ボタンに触れるタイミングで、自らをカメラ１９０３に撮像させることができる。
【０９０１】
図１５５は、実施の形態１７における、遊具とスマートフォンとからなる可視光通信システムの一例を示す図である。
【０９０２】
遊具１９０１は、例えば複数のＬＥＤを備えた上述の送信機として構成されている。つまり、遊具１９０１は、その複数のＬＥＤを輝度変化させることによって、可視光信号を送信する。
【０９０３】
スマートフォン１９０２は、その遊具１９０１を撮像することによって、その遊具１９０１から送信される可視光信号を受信する。そして、図１５５の（ａ）に示すように、スマートフォン１９０２は、その可視光信号を１回目に受信したときには、その可視光信号と１回目とに対応付けられている動画１を例えばサーバなどからダウンロードして再生する。一方、スマートフォン１９０２は、その可視光信号を２回目に受信したときには、図１５５の（ｂ）に示すように、その可視光信号と２回目とに対応付けられている動画２を例えばサーバなどからダウンロードして再生する。
【０９０４】
つまり、スマートフォン１９０２は、同じ可視光信号を受信しても、その可視光信号を受信した回数に応じて、再生される動画を切り替える。可視光信号を受信した回数は、スマートフォン１９０２によってカウントされてもよく、サーバによってカウントされてもよい。または、スマートフォン１９０２は、複数回、同一の可視光信号を受信しても、連続して同じ動画を再生することはしない。または、スマートフォン１９０２は、同一の可視光信号に対応付けられている複数の動画のうち、既に再生された動画の出現確率を低下させて、出現確率の高い動画を優先的にダウンロードして再生してもよい。
【０９０５】
また、スマートフォン１９０２は、複数の店舗を有する施設の案内所に備えられているタッチパネルから送信される可視光信号を受信し、その可視光信号に応じた画像を表示してもよい。例えば、タッチパネルは、施設の概要を示す初期画面を表示しているときには、その施設の概要を示す可視光信号を輝度変化によって送信している。したがって、スマートフォンは、その初期画面を表示しているタッチパネルを撮像することによって、その可視光信号を受信すると、施設の概要を示す画像を自らのディスプレイに表示することができる。ここで、ユーザによってタッチパネルが操作されると、タッチパネルは、例えば特定の店舗の情報を示す店舗画像を表示する。このとき、タッチパネルは、その特定の店舗の情報を示す可視光信号を送信している。したがって、スマートフォンは、その店舗画像を表示しているタッチパネルを撮像することによって、その可視光信号を受信すると、特定の店舗の情報を示す店舗画像を表示することができる。このように、スマートフォンは、タッチパネルと同期した画像を表示することができる。
【０９０６】
（上記実施の形態のまとめ）
本発明の一態様に係る再生方法は、光源の輝度変化により可視光信号を送信する送信機から、前記可視光信号を端末装置のセンサにより受信する信号受信ステップと、前記端末装置から、前記可視光信号に対応付けられたコンテンツを要求するための要求信号をサーバに送信する送信ステップと、前記端末装置が、各時刻と、前記各時刻に再生されるデータとを含むコンテンツを、前記サーバから受信するコンテンツ受信ステップと、前記コンテンツのうち、前記端末装置に備えられている時計の時刻に該当するデータを再生する再生ステップとを含む。
【０９０７】
これにより、図１３１Ｃに示すように、各時刻と、その各時刻に再生されるデータとを含むコンテンツが端末装置に受信され、端末装置の時計の時刻に該当するデータが再生される。したがって、端末装置は、そのコンテンツにおけるデータを、間違った時刻に再生してしまうことなく、そのコンテンツに示される正しい時刻に、適切に再生することができる。具体的には、図１３１Ａの方法ｅのように、端末装置である受信機は、コンテンツを（受信機時刻−コンテンツ再生開始時刻）の時点から再生する。上述の端末装置の時計の時刻に該当するデータは、コンテンツのうちの（受信機時刻−コンテンツ再生開始時刻）の時点にあるデータである。また、送信機においても、そのコンテンツに関連するコンテンツ（送信機側コンテンツ）が再生されていれば、端末装置は、コンテンツをその送信機側コンテンツに適切に同期させて再生することができる。なお、コンテンツは音声または画像である。
【０９０８】
また、前記端末装置に備えられている時計と、基準クロックとの間では、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）電波、または、ＮＴＰ（Ｎｅｔｗｏｒｋ  Ｔｉｍｅ  Ｐｒｏｔｏｃｏｌ）電波によって、同期がとられていてもよい。
【０９０９】
これにより、図１３０および図１３２に示すように、端末装置（受信機）の時計と基準クロックとの間で同期がとられているため、基準クロックにしたがった適切な時刻に、その時刻に該当するデータを再生することができる。
【０９１０】
また、前記可視光信号は、前記可視光信号が前記送信機から送信される時刻を示してもよい。
【０９１１】
これにより、図１３１Ａの方法ｄに示すように、端末装置（受信機）は、可視光信号が送信機から送信される時刻（送信機時刻）に対応付けられたコンテンツを受信することができる。例えば、送信機時刻が５時４３分であれば、５時４３分に再生されるコンテンツを受信することができる。
【０９１２】
また、前記再生方法では、さらに、前記ＧＰＳ電波または前記ＮＴＰ電波によって、前記端末装置の時計と前記基準クロックとの間で同期をとるための処理が行われた時刻が、前記端末装置が前記可視光信号を受信した時刻から所定の時間より前である場合、前記送信機から送信された前記可視光信号が示す時刻により、前記端末装置の時計と、前記送信機の時計との間で同期をとってもよい。
【０９１３】
例えば、端末装置の時計と基準クロックとの間で同期をとるための処理が行われてから所定の時間が経過してしまうと、その同期が適切に保たれていない場合がある。このような場合には、端末装置は、送信機で再生される送信機側コンテンツと同期する時刻に、コンテンツを再生することできない可能性がある。そこで、上記本発明の一態様に係る再生方法では、図１３０のステップＳ１８２９，Ｓ１８３０のように、所定の時間が経過したときには、端末装置（受信機）の時計と送信機の時計との間で同期がとられる。したがって、端末装置は、送信機で再生される送信機側コンテンツと同期する時刻に、コンテンツを再生することができる。
【０９１４】
また、前記サーバは、それぞれ時刻に関連付けられている複数のコンテンツを有しており、前記コンテンツ受信ステップでは、前記可視光信号が示す時刻に関連付けられたコンテンツが前記サーバに存在しない場合には、前記複数のコンテンツのうち、前記可視光信号が示す時刻に最も近く、かつ、前記可視光信号が示す時刻の後の時刻に関連付けられているコンテンツを受信してもよい。
【０９１５】
これにより、図１３１Ａの方法ｄに示すように、可視光信号が示す時刻に関連付けられたコンテンツがサーバに存在しなくても、そのサーバにある複数のコンテンツの中から、適切なコンテンツを受信することができる。
【０９１６】
また、光源の輝度変化により可視光信号を送信する送信機から、前記可視光信号を端末装置のセンサにより受信する信号受信ステップと、前記端末装置から、前記可視光信号に対応付けられたコンテンツを要求するための要求信号をサーバに送信する送信ステップと、前記端末装置が、前記サーバからコンテンツを受信するコンテンツ受信ステップと、前記コンテンツを再生する再生ステップと、を含み、前記可視光信号は、ＩＤ情報と、前記可視光信号が前記送信機から送信される時刻とを示し、前記コンテンツ受信ステップでは、前記可視光信号によって示されるＩＤ情報および時刻に対応付けられた前記コンテンツを受信してもよい。
【０９１７】
これにより、図１３１Ａの方法ｄのように、ＩＤ情報（送信機ＩＤ）に関連付けられている複数のコンテンツの中から、可視光信号が送信機から送信される時刻（送信機時刻）に対応付けられたコンテンツが受信されて再生される。したがって、その送信機ＩＤおよび送信機時刻に対して適切なコンテンツを再生することができる。
【０９１８】
また、前記可視光信号は、時刻のうちの時および分を示す第２の情報と、時刻のうちの秒を示す第１の情報とを含むことによって、前記可視光信号が前記送信機から送信される時刻を示し、前記信号受信ステップでは、前記第２の情報を受信するとともに、前記第２の情報を受信する回数よりも多くの回数だけ前記第１の情報を受信してもよい。
【０９１９】
これにより、例えば、可視光信号に含まれる各パケットが送信される時刻を秒単位で端末装置に通知する場合には、時、分および秒の全てを用いて表現される現時点の時刻を示すパケットを、１秒経過ごとに端末装置に送信する手間を軽減することができる。つまり、図１２６に示すように、パケットが送信される時刻のうちの時および分が、前に送信されたパケットに示される時および分から更新されていなければ、秒のみを示すパケット（時間パケット１）である第１の情報だけを送信すればよい。したがって、送信機によって送信される、秒を示すパケット（時間パケット１）である第１の情報よりも、時および分を示すパケット（時間パケット２）である第２の情報を少なくすることによって、冗長な内容を含むパケットの送信を抑えることができる。
【０９２０】
また、前記端末装置のセンサは、イメージセンサであって、前記信号受信ステップでは、前記イメージセンサのシャッター速度を、第１の速度と、前記第１の速度よりも高速の第２の速度とに交互に切り替えながら、前記イメージセンサによる連続した撮影を行い、（ａ）前記イメージセンサによる撮影の被写体がバーコードである場合には、前記シャッター速度が前記第１の速度であるときの撮影によって、バーコードが映っている画像を取得し、前記画像に映っているバーコードをデコードすることによって、バーコード識別子を取得し、（ｂ）前記イメージセンサによる撮影の被写体が前記光源である場合には、前記シャッター速度が前記第２の速度であるときの撮影によって、前記イメージセンサに含まれる複数の露光ラインのそれぞれに対応する輝線を含む画像である輝線画像を取得し、取得された輝線画像に含まれる複数の輝線のパターンをデコードすることによって前記可視光信号を可視光識別子として取得し、前記再生方法では、さらに、前記シャッター速度が前記第１の速度であるときの撮影によって得られる画像を表示してもよい。
【０９２１】
これにより、図１０２に示すように、バーコードからでも可視光信号からでも、それらに応じた識別子を適切に取得することができるとともに、被写体とされているバーコードまたは光源が映し出された画像を表示することができる。
【０９２２】
また、前記可視光識別子の取得では、前記複数の輝線のパターンから、データ部およびアドレス部を含む第１のパケットを取得し、前記第１のパケットよりも前に既に取得されている少なくとも１つのパケットのうち、前記第１のパケットのアドレス部と同一のアドレス部を含むパケットである第２のパケットが所定の数以上存在するか否かを判定し、前記第２のパケットが前記所定の数以上存在すると判定した場合には、前記所定の数以上の前記第２のパケットのそれぞれのデータ部に対応する前記輝線画像の一部の領域の画素値と、前記第１のパケットのデータ部に対応する前記輝線画像の一部の領域の画素値とを合わせることによって、合成画素値を算出し、前記合成画素値を含むデータ部を復号することによって、前記可視光識別子の少なくとも一部を取得してもよい。
【０９２３】
これにより、図７４に示すように、同一のアドレス部を含む複数のパケットのそれぞれでデータ部が少し異なっていても、それらのパケットのデータ部の画素値を合わせることによって、適切なデータ部を復号することができ、可視光識別子の少なくとも一部を正しく取得することができる。
【０９２４】
また、前記第１のパケットは、さらに、前記データ部に対する第１の誤り訂正符号と、前記アドレス部に対する第２の誤り訂正符号とを含み、前記信号受信ステップでは、前記送信機から、第２の周波数にしたがった輝度変化によって送信される前記アドレス部および前記第２の誤り訂正符号を受信し、前記第２の周波数よりも高い第１の周波数にしたがった輝度変化によって送信される前記データ部および前記第１の誤り訂正符号を受信してもよい。
【０９２５】
これにより、アドレス部を誤って受信することを抑えるとともに、データ量の多いデータ部を迅速に取得することができる。
【０９２６】
また、前記可視光識別子の取得では、前記複数の輝線のパターンから、データ部およびアドレス部を含む第１のパケットを取得し、前記第１のパケットよりも前に既に取得されている少なくとも１つのパケットのうち、前記第１のパケットのアドレス部と同一のアドレス部を含むパケットである少なくとも１つの第２のパケットが存在するか否かを判定し、前記少なくとも１つの第２のパケットが存在すると判定した場合には、前記少なくとも１つの第２のパケットと前記第１のパケットとのそれぞれのデータ部が全て等しいか否かを判定し、それぞれの前記データ部が全て等しくないと判定した場合には、前記少なくとも１つの第２のパケットのそれぞれにおいて、当該第２のパケットのデータ部に含まれる各部分のうち、前記第１のパケットのデータ部に含まれる各部分と異なる部分の数が、所定の数以上存在するか否かを判定し、前記少なくとも１つの第２のパケットのうち、異なる部分の数が前記所定の数以上存在すると判定された第２のパケットがある場合には、前記少なくとも１つの第２のパケットを破棄し、前記少なくとも１つの第２のパケットのうち、異なる部分の数が前記所定の数以上存在すると判定された第２パケットがない場合には、前記第１のパケットおよび前記少なくとも１つの第２のパケットのうち、同一のデータ部を有するパケットの数が最も多い複数のパケットを特定し、当該複数のパケットのそれぞれに含まれるデータ部を、前記第１のパケットに含まれるアドレス部に対応するデータ部として復号することによって、前記可視光識別子の少なくとも一部を取得してもよい。
【０９２７】
これにより、図７３に示すように、同一のアドレス部を有する複数のパケットが受信されたときに、それらのパケットのデータ部が異なっていても、適切なデータ部を復号することができ、可視光識別子の少なくとも一部を正しく取得することができる。つまり、同一の送信機から送信される同一のアドレス部を有する複数のパケットは、基本的に同一のデータ部を有する。しかし、端末装置が、パケットの送信元となる送信機を切り替える場合には、端末装置は、同一のアドレス部を有していても互いに異なるデータ部を有する複数のパケットを受信することがある。このような場合には、上記本発明の一態様に係る再生方法では、図７３のステップＳ１０１０６のように、既に受信されているパケット（第２のパケット）が破棄され、最新のパケット（第１のパケット）のデータ部を、そのアドレス部に対応する正しいデータ部として復号することができる。さらに、上述のような送信機の切り替えがない場合であっても、可視光信号の送受信状況に応じて、同一のアドレス部を有する複数のパケットのデータ部が少し異なることがある。このような場合には、上記本発明の一態様に係る再生方法では、図７３のステップＳ１０１０７のように、いわゆる多数決によって、適切なデータ部を復号することができる。
【０９２８】
また、前記可視光識別子の取得では、前記複数の輝線のパターンから、それぞれデータ部およびアドレス部を含む複数のパケットを取得し、取得された前記複数のパケットのうち、前記データ部に含まれる全てのビットが０を示すパケットである０終端パケットが存在するか否かを判定し、前記０終端パケットが存在すると判定した場合には、前記複数のパケットのうち、前記０終端パケットのアドレス部に関連付けられているアドレス部を含むパケットであるＮ個（Ｎは１以上の整数）の関連パケットが全て存在するか否かを判定し、前記Ｎ個の関連パケットが全て存在すると判定した場合には、前記Ｎ個の関連パケットのそれぞれのデータ部を並べて復号することによって、前記可視光識別子を取得してもよい。例えば、前記０終端パケットのアドレス部に関連付けられている前記アドレス部は、前記０終端パケットのアドレス部に示されるアドレスよりも小さく０以上のアドレスを示すアドレス部である。
【０９２９】
具体的には、図７５に示すように、０終端パケットのアドレス以下のアドレスを有するパケットが関連パケットとして全て揃っているか否かが判定され、揃っていると判定された場合に、それらの関連パケットのそれぞれのデータ部が復号される。これにより、端末装置は、可視光識別子を取得するために、何個の関連パケットが必要であることを事前に知っていなくても、さらに、それらの関連パケットのアドレスを事前に知っていなくても、０終端パケットを取得した時点で、容易に知ることができる。その結果、端末装置は、Ｎ個の関連パケットのそれぞれのデータ部を並べて復号することによって、適切な可視光識別子を取得することができる。
【０９３０】
（実施の形態１８）
以下、可変長・可変分割数対応プロトコルについて説明する。
【０９３１】
図１５６は、本実施の形態における送信信号の一例を示す図である。
【０９３２】
送信パケットは、プリアンブル、ＴＹＰＥ、ペイロード、およびチェック部で構成される。パケットは連続で送信されても良いし、断続的に送信されても良い。パケットを送信しない期間を設けることで、バックライト消灯時に液晶の状態を変化させ、液晶ディスプレイの動解像感を向上させることが出来る。パケット送信間隔をランダムにすることで、混信を回避することができる。
【０９３３】
プリアンブルには、４ＰＰＭに出現しないパターンを用いる。短い基本パターンを用いることで、受信処理を簡単にすることができる。
【０９３４】
プリアンブルの種類によってデータの分割数を表現することで、余計な送信スロットを用いることなくデータ分割数を可変にすることができる。
【０９３５】
ＴＹＰＥの値によってペイロード長を変化させることで、送信データを可変長にすることができる。ＴＹＰＥでは、ペイロード長を表現してもよいし、分割する前のデータ長を表現してもよい。ＴＹＰＥの値によって、パケットのアドレスを表現することで、受信機は受信したパケットを正しく並べることができる。また、プリアンブルの種類または分割数によって、ＴＹＰＥの値が表現するペイロード長（データ長）を変化させてもよい。
【０９３６】
ペイロード長によってチェック部の長さを変化させることによって、効率的な誤り訂正（検出）ができる。チェック部の最短の長さを２ビットとすることで、効率的に４ＰＰＭに変換できる。また、ペイロード長によって誤り訂正（検出）符号の種類を変化させることで、効率的に誤り訂正（検出）ができる。プリアンブルの種類またはＴＹＰＥの値によってチェック部の長さまた誤り訂正（検出）符号の種類を変化させるとしてもよい。
【０９３７】
ペイロードと分割数の異なる組み合わせで同じデータ長となる組み合わせが存在する。このような場合は、同じデータ値であっても組み合わせごとに異なる意味を持たせることで、より多くの値を表現することができる。
【０９３８】
以下、高速送信・輝度変調プロトコルについて説明する。
【０９３９】
図１５７は、本実施の形態における送信信号の一例を示す図である。
【０９４０】
送信パケットは、プリアンブル部とボディ部と輝度調整部で構成される。ボディには、アドレス部とデータ部と誤り訂正（検出）符号部を含む。断続的な送信を許可することで、前記と同様の効果が得られる。
【０９４１】
（実施の形態１９）
（Ｓｉｎｇｌｅ  ｆｒａｍｅ  ｔｒａｎｓｍｉｓｓｉｏｎのフレーム構成）
図１５８は、本実施の形態における送信信号の一例を示す図である。
【０９４２】
送信フレームは、プリアンブル（ＰＲＥ）、フレーム長（ＦＬＥＮ）、ＩＤタイプ（ＩＤＴＹＰＥ）、コンテンツ（ＩＤ／ＤＡＴＡ）、および検査符号（ＣＲＣ）とで構成され、コンテンツタイプ（ＣＯＮＴＥＮＴＴＹＰＥ）を含んでもよい。各領域のビット数は一例である。
【０９４３】
ＦＬＥＮでＩＤ／ＤＡＴＡの長さを指定することで、可変長のコンテンツを送信することができる。
【０９４４】
ＣＲＣは、ＰＲＥ以外の部分の誤りを訂正、または、検出する検査符号である。検査領域の長さに応じてＣＲＣ長を変化させることで、検査能力を一定以上に保つことが出来る。また、検査領域の長さに応じて異なる検査符号を用いることで、ＣＲＣ長あたりの検査能力を向上させることができる。
【０９４５】
（Ｍｕｌｔｉｐｌｅ  ｆｒａｍｅ  ｔｒａｎｓｍｉｓｓｉｏｎのフレーム構成）
図１５９は、本実施の形態における送信信号の一例を示す図である。
【０９４６】
送信フレームは、プリアンブル（ＰＲＥ）とアドレス（ＡＤＤＲ）と分割されたデータの一部（ＤＡＴＡＰＡＲＴ）から構成され、分割数（ＰＡＲＴＮＵＭ）とアドレスフラグ（ＡＤＤＲＦＲＡＧ）のそれぞれを含んでもよい。各領域のビット数は一例である。
【０９４７】
コンテンツを複数の部分に分割して送信することで、遠距離通信を行うことが出来る。
【０９４８】
分割する大きさを等分とすることで、最大フレーム長を小さくすることができ、安定して通信を行うことができる。
【０９４９】
等分割ができない場合には、一部の分割部分を他の分割部分より小さくすることで、ちょうどよいサイズのデータを送信することができる。
【０９５０】
分割する大きさを異なる大きさとし、分割サイズの組み合わせに意味を持たせることで、より多くの情報を送信することができる。例えば、３２ｂｉｔの同じ値のデータであったとしても、８ｂｉｔが４回で送信された場合と、１６ｂｉｔが２回で送信された場合と、１５ｂｉｔが１回と１７が１回で送信された場合では異なる情報として扱うことで、より多くの情報量を表現することができる。
【０９５１】
ＰＡＲＴＮＵＭで分割数を示すことで、受信機は分割数を即座に知ることができ、受信の進捗を正確に表示することができる。
【０９５２】
ＡＤＤＲＦＲＡＧが０の場合は最後のアドレスではなく、１の場合は最後のアドレスであるとすることで、分割数を示す領域が不要となり、より短い時間で送信することができる。
【０９５３】
ＣＲＣは、前記と同様に、ＰＲＥ以外の部分の誤りを訂正、または、検出する検査符号である。この検査により、複数の送信元からの送信フレームを受信した際に、混信を検出することができる。ＣＲＣ長をＤＡＴＡＰＡＲＴ長の整数倍とすることで、最も効率よく混信を検出することができる。
【０９５４】
分割されたフレーム（図１５９の（ａ）、（ｂ）または（ｃ）によって示されるフレーム）の末尾に、各フレームのＰＲＥ以外の部分を検査する検査符号を加えるとしても良い。
【０９５５】
図１５９の（ｄ）によって示されるＩＤＴＹＰＥは、図１５８の（ａ）〜（ｄ）と同様に、４ｂｉｔまたは５ｂｉｔなどの固定長としてもよいし、ＩＤＴＹＰＥ長をＩＤ／ＤＡＴＡ長によって変化させるとしてもよい。これにより、前記と同様の効果が得られる。
【０９５６】
（ＩＤ／ＤＡＴＡ長の指定）
図１６０は、本実施の形態における送信信号の一例を示す図である。
【０９５７】
図１５８の（ａ）〜（ｄ）の場合に、それぞれ図１６０に示す表（ａ）および（ｂ）のように設定することで、１２８ｂｉｔのときにｕｃｏｄｅを表すことができる。
【０９５８】
（ＣＲＣ長と生成多項式）
図１６１は、本実施の形態における送信信号の一例を示す図である。
【０９５９】
このようにＣＲＣ長を設定することで、検査対象の長さに依らず検査能力を保つことができる。
【０９６０】
生成多項式は一例であり、別の生成多項式を用いても良い。また、ＣＲＣ以外の検査符号を用いるとしても良い。これらにより、検査能力を向上することができる。
【０９６１】
（プリアンブルの種類によるＤＡＴＡＰＡＲＴ長の指定と最後のアドレスの指定）
図１６２は、本実施の形態における送信信号の一例を示す図である。
【０９６２】
プリアンブルの種類でＤＡＴＡＰＡＲＴ長を示すことで、ＤＡＴＡＰＡＲＴ長を示す領域が必要なくなり、より短い送信時間で情報を送信することができる。また、最後のアドレスであるかどうかを示すことで、分割の個数を示す領域が必要なくなり、より短い送信時間で情報を送信することができる。また、図１６２の（ｂ）の場合は、最後のアドレスの場合はＤＡＴＡＰＡＲＴ長がわからないため、そのフレーム受信の直前または直後に受信した最後のアドレスではないフレームのＤＡＴＡＰＡＲＴ長と同一であると推定して受信処理を行うことで、正常に受信することができる。
【０９６３】
プリアンブルの種類によってアドレス長が異なるとしても良い。これにより、送信情報の長さの組み合わせを多くしたり、短い時間で送信したりすることができる。
【０９６４】
図１６２の（ｃ）の場合は、プリアンブルで分割数を規定し、ＤＡＴＡＰＡＲＴ長を示す領域を加える。
【０９６５】
（アドレスの指定）
図１６３は、本実施の形態における送信信号の一例を示す図である。
【０９６６】
ＡＤＤＲの値でそのフレームのアドレスを示すことで、受信機は、正しく送信された情報を再構成することができる。
【０９６７】
ＰＡＲＴＮＵＭの値で分割数を示すことで、受信機は最初のフレームを受信した時点で必ず分割数を知ることができ、受信の進捗を正確に表示することができる。
【０９６８】
（分割数の違いによる混信の防止）
図１６４と図１６５は、本実施の形態における送受信システムの一例を示す図とフローチャートである。
【０９６９】
送信情報を等分割して分割送信する場合、図１６４の送信機Ａと送信機Ｂからの信号は、プリアンブルが異なるため、これらの信号を同時に受信した場合でも、受信機は送信元を混同することなく、送信情報を再構成することができる。
【０９７０】
送信機Ａ、Ｂは、分割数設定部を備えることで、ユーザは、近くに設置した送信機の分割数が異なるように設定することができ、混信を防ぐことができる。
【０９７１】
受信機は、受信した信号の分割数をサーバに登録することで、サーバは送信機の設定されている分割数を知ることができ、他の受信機はその情報をサーバから取得することで、受信の進捗状況を正確に表示することができる。
【０９７２】
受信機は、付近の、または、対応する送信機からの信号は等長分割であるかどうかをサーバから、あるいは、受信機の記憶部から取得する。前記取得した情報が等長分割である場合は、同じＤＡＴＡＰＡＲＴ長のフレームのみから信号を復元する。そうでない場合や、同じＤＡＴＡＰＡＲＴ長のフレームで全てのアドレスが揃わない状況が所定の時間以上継続した場合は、異なるＤＡＴＡＰＡＲＴ長のフレームを合わせて信号を復元する。
【０９７３】
（分割数の違いによる混信の防止）
図１６６は、本実施の形態におけるサーバの動作を示すフローチャートである。
【０９７４】
サーバは、受信機が受信したＩＤと分割構成（どのようなＤＡＴＡＰＡＲＴ長の組み合わせで信号を受信したか）を受信機から受け取る。前記ＩＤが、分割構成による拡張の対象である場合は、分割構成のパターンを数値化したものを補助ＩＤとし、前記ＩＤと前記補助ＩＤを合わせた拡張ＩＤをキーとして関連付けられた情報を受信機へ渡す。
【０９７５】
分割構成による拡張の対象でない場合は、ＩＤに関連付けられた分割構成が記憶部に存在するかどうか確認し、受信した分割構成と同じであるかどうか確認する。異なる場合は再確認命令を受信機へ送信する。これにより、受信機の受信エラーによって誤った情報が提示されることを防ぐことができる。
【０９７６】
再確認命令を送信後、所定の時間以内に同じＩＤで同じ分割構成を受信した場合には、分割構成が変更されたと判断し、ＩＤに関連付けられた分割構成を更新する。これにより、図１６４の説明として記述したように、分割構成が変更された場合に対応することができる。
【０９７７】
分割構成が記憶されていない場合、受信した分割構成と記憶されている分割構成が一致した場合、または、分割構成を更新する場合には、ＩＤをキーとして関連付けられた情報を受信機へ渡し、分割構成をＩＤと関連付けて記憶部へ記憶する。
【０９７８】
（受信の進捗状況の表示）
図１６７〜図１７２は、本実施の形態における受信機の動作の一例を示すフローチャートと図である。
【０９７９】
受信機は、受信機が対応している送信機、または、受信機の付近にある送信機の分割数の種類と割合を、サーバや受信機の記憶領域から取得する。また、一部の分割データを既に受信している場合は、その一部に一致する情報を送信している送信機の分割数の種類と割合を取得する。
【０９８０】
受信機は、分割されたフレームを受信する。
【０９８１】
最後のアドレスを既に受信している場合、前記取得した分割数が１種類だけである場合、または、実行中の受信アプリの対応している分割数が１種類だけである場合は、分割数が既知であるため、その分割数を基準に進捗状況を表示する。
【０９８２】
そうでない場合であって、利用可能な処理リソースが少ない、または省エネモードである場合には、受信機は、簡易モードで進捗状況を計算して表示する。一方、利用可能な処理リソースが多い、または省エネモードではない場合には、最尤推定モードで進捗状況を計算して表示する。
【０９８３】
図１６８は、簡易モードでの進捗状況の計算方法を示すフローチャートである。
【０９８４】
まず、受信機は、標準分割数Ｎｓを、サーバから取得する。または、受信機は、自らの内部のデータ保持部から標準分割数Ｎｓを読み出す。なお、標準分割数は、（ａ）その分割数で送信する送信機数の最頻値または期待値、（ｂ）パケット長ごとに定められた分割数、（ｃ）アプリケーションごとに定められた分割数、または、（ｄ）受信機がある場所であって、識別可能な範囲ごとに定められた分割数である。
【０９８５】
次に、受信機は、最終アドレスであることを示すパケットを受信しているか否かを判定する。受信していると判定すると、最終パケットのアドレスをＮとする。一方、受信していないと判定すると、受信済みの最大アドレスＡｍａｘに１または２以上の数を加えた数をＮｅとする。ここで、受信機は、Ｎｅ＞Ｎｓか否かを判定する。Ｎｅ＞Ｎｓであると判定すると、受信機は、Ｎ＝Ｎｅとする。一方、Ｎｅ＞Ｎｓではないと判定すると、受信機は、Ｎ＝Ｎｓとする。
【０９８６】
そして、受信機は、受信中の信号の分割数がＮであるとして、信号全体の受信に必要なパケットのうち、受信済みパケット数の割合を計算する。
【０９８７】
このような簡易モードでは、最尤推定モードよりも単純な計算で進捗状況を計算することができ、処理時間または消費エネルギーの点で有利である。
【０９８８】
図１６９は、最尤推定モードでの進捗状況の計算方法を示すフローチャートである。
【０９８９】
まず、受信機は、分割数の事前分布を、サーバから取得する。または、受信機は、自らの内部のデータ保持部から事前分布を読み出す。なお、事前分布は、（ａ）その分割数で送信する送信機数の分布として定められている、（ｂ）パケット長ごとに定められている、（ｃ）アプリケーションごとに定められている、または、（ｄ）受信機がある場所であって、識別可能な範囲ごとに定められている。
【０９９０】
次に、受信機は、パケットｘを受信し、分割数がｙのときにパケットｘを受信する確率Ｐ（ｘ｜ｙ）を計算する。そして、受信機は、パケットｘを受信した場合に送信信号の分割数がｙである確率Ｐ（ｙ｜ｘ）を、Ｐ（ｘ｜ｙ）×Ｐ（ｙ）÷Ａとして求める（なお、Ａは正規化乗数である）。さらに、受信機は、Ｐ（ｙ）＝Ｐ（ｙ｜ｘ）とする。
【０９９１】
ここで、受信機は、分割数推定モードが最尤モードであるか、尤度平均モードであるか否かを判定する。最尤モードである場合、受信機は、Ｐ（ｙ）が最大となるｙを分割数として受信済みのパケット数の割合を算出する。一方、尤度平均モードである場合、受信機は、ｙ×Ｐ（ｙ）の総和を分割数として受信済みのパケット数の割合を計算する。
【０９９２】
このような最尤推定モードでは、簡易モードよりも正確な進捗度合いを計算することができる。
【０９９３】
また、分割数推定モードが最尤モードの場合は、これまでに受信したアドレスから最後のアドレスが何番であるかの尤度を計算し、最尤のものを分割数であると推定して受信の進捗を表示する。この表示方法は、実際の進捗状況に最も近い進捗状況を表示できる。
【０９９４】
図１７０は、進捗状況が減少しない表示方法を示すフローチャートである。
【０９９５】
まず、受信機は、信号全体の受信に必要なパケットのうち、受信済みパケット数の割合を計算する。そして、受信機は、計算した割合が、表示中の割合よりも小さいか否かを判定する。表示中の割合よりも小さいと判定すると、受信機は、さらに、表示中の割合が所定の時間以上前の計算結果か否かを判定する。所定の時間以上前の計算結果であると判定すると、受信機は、計算した割合を表示する。一方、所定の時間以上前の計算結果ではないと判定すると、受信機は、表示中の割合を表示し続ける。
【０９９６】
また、受信機は、計算した割合が、表示中の割合以上であると判定すると、受信済みの最大アドレスＡｍａｘに１または２以上の数を加えた数をＮｅとする。そして、受信機は、その計算した割合を表示する。
【０９９７】
最終パケットを受信したときなどに、進捗状況の計算結果がそれまでよりも小さくなること、つまり、表示される進捗状況（進捗度合い）が下がることは、不自然である。しかし、上述の表示方法では、このような不自然な表示を抑えることができる。
【０９９８】
図１７１は、複数のパケット長がある場合の進捗状況の表示方法を示すフローチャートである。
【０９９９】
まず、受信機は、受信済みパケット数の割合Ｐを、パケット長ごとに計算する。ここで、受信機は、表示モードが最大モード、全表示モードおよび最新モードのうちの何れであるかを判定する。最大モードであると判定すると、受信機は、複数のパケット長のそれぞれの割合Ｐのうちの最大の割合を表示する。全表示モードであると判定すると、受信機は、全ての割合Ｐを表示する。最新モードであると判定すると、受信機は、最後に受信したパケットのパケット長の割合Ｐを表示する。
【１０００】
図１７２で、（ａ）は前記簡易モードとして計算した進捗状況、（ｂ）は前記最尤モードとして計算した進捗状況、（ｃ）は取得した分割数のうち最小のものを分割数として計算した場合の進捗状況である。（ａ）（ｂ）（ｃ）の順で進捗状況は大きくなるため、このように（ａ）（ｂ）（ｃ）を重ねて表示することで、全ての進捗状況を同時に表示することができる。
【１００１】
（共通スイッチと画素スイッチによる発光制御）
本実施の形態における送信方法では、例えば、映像表示用のＬＥＤディスプレイに含まれる各ＬＥＤを、共通スイッチおよび画素スイッチのスイッチングに応じて、輝度変化させることにより、可視光信号（可視光通信信号ともいう）を送信する。
【１００２】
ＬＥＤディスプレイは、例えば屋外に配設される大型ディスプレイとして構成されている。また、ＬＥＤディスプレイは、マトリクス状に配列された複数のＬＥＤを備え、映像信号に応じて、これらのＬＥＤを明滅させることにより映像を表示する。このようなＬＥＤディスプレイは、複数の共通ライン（ＣＯＭライン）からなるとともに、複数の画素ライン（ＳＥＧライン）からなる。各共通ラインは、水平方向に一列に配列された複数のＬＥＤからなり、各画素ラインは、垂直方向に一列に配列された複数のＬＥＤからなる。また、複数の共通ラインのそれぞれは、その共通ラインに対応する共通スイッチに接続される。共通スイッチは例えばトランジスタである。複数の画素ラインのそれぞれは、その画素ラインに対応する画素スイッチに接続される。複数の画素ラインに対応する複数の画素スイッチは、例えばＬＥＤドライバ回路（定電流回路）に備えられている。なお、このＬＥＤドライバ回路は、複数の画素スイッチをスイッチングする画素スイッチ制御部として構成されている。
【１００３】
より具体的には、共通ラインに含まれる各ＬＥＤのアノードおよびカソードのうちの一方が、その共通ラインに対応するトランジスタのコレクタなどの端子に接続される。また、画素ラインに含まれる各ＬＥＤのアノードおよびカソードのうちの他方が、上記ＬＥＤドライバ回路における、その画素ラインに対応する端子（画素スイッチ）に接続される。
【１００４】
このようなＬＥＤディスプレイが映像を表示するときには、複数の共通スイッチを制御する共通スイッチ制御部が、それらの共通スイッチを時分割でオンにする。例えば、共通スイッチ制御部は、第１の期間中、複数の共通スイッチのうちの第１の共通スイッチのみをオンにし、次の第２の期間中、複数の共通スイッチのうちの第２の共通スイッチのみをオンにする。そして、ＬＥＤドライバ回路は、何れかの共通スイッチがオンにされている期間に、映像信号に応じて各画素スイッチをオンにする。これにより、共通スイッチがオンであり、かつ、画素スイッチがオンである期間だけ、その共通スイッチおよび画素スイッチに対応するＬＥＤが点灯する。この点灯する期間によって、映像中の画素の輝度が表現される。つまり、映像の画素の輝度はＰＷＭ制御される。
【１００５】
本実施の形態における送信方法では、このようなＬＥＤディスプレイと、共通スイッチおよび画素スイッチと、共通スイッチ制御部および画素スイッチ制御部とを利用して、可視光信号を送信する。また、このような送信方法によって可視光信号を送信する本実施の形態における送信装置（送信機ともいう）は、その共通スイッチ制御部および画素スイッチ制御部を備える。
【１００６】
図１７３は、本実施の形態における送信信号の一例を示す図である。
【１００７】
送信機は、予め定められたシンボル周期にしたがって、可視光信号に含まれる各シンボルを送信する。例えば、送信機は、シンボル「００」を４ＰＰＭによって送信するときには、４スロットからなるシンボル周期において、そのシンボル（「００」の輝度変化パターン）にしたがって共通スイッチをスイッチングする。そして、送信機は、映像信号などによって示される平均輝度に応じて、画素スイッチをスイッチングする。
【１００８】
より具体的には、シンボル周期における平均輝度を７５％にする場合（図１７３の（ａ））、送信機は、第１スロットの期間中、共通スイッチをオフにして、第２スロット〜第４スロットまでの期間中、共通スイッチをオンにする。さらに、送信機は、第１スロットの期間中、画素スイッチをオフにして、第２スロット〜第４スロットまでの期間中、画素スイッチをオンにする。これにより、共通スイッチがオンであり、かつ、画素スイッチがオンである期間だけ、その共通スイッチおよび画素スイッチに対応するＬＥＤが点灯する。つまり、ＬＥＤは、４スロットのそれぞれにおいてＬＯ（Ｌｏｗ）、ＨＩ（Ｈｉｇｈ）、ＨＩ、ＨＩの輝度で点灯することによって輝度変化する。その結果、シンボル「００」が送信される。
【１００９】
また、シンボル周期における平均輝度が２５％の場合（図１７３の（ｅ））、送信機は、第１スロットの期間中、共通スイッチをオフにして、第２スロット〜第４スロットまでの期間中、共通スイッチをオンにする。さらに、送信機は、第１スロット、第３スロットおよび第４スロットの期間中、画素スイッチをオフにして、第２スロットの期間中、画素スイッチをオンにする。これにより、共通スイッチがオンであり、かつ、画素スイッチがオンである期間だけ、その共通スイッチおよび画素スイッチに対応するＬＥＤが点灯する。つまり、ＬＥＤは、４スロットのそれぞれにおいてＬＯ（Ｌｏｗ）、ＨＩ（Ｈｉｇｈ）、ＬＯ、ＬＯのように点灯することによって輝度変化する。その結果、シンボル「００」が送信される。なお、本実施の形態における送信機は、上述のＶ４ＰＰＭ（ｖａｒｉａｂｌｅ  ４ＰＰＭ）に近い可視光信号を送信するため、同じシンボルを送信する場合でも、平均輝度を可変とすることができる。つまり、互いに異なる平均輝度で同じシンボル（例えば「００」）を送信するときには、送信機は、図１７３の（ａ）〜（ｅ）に示すように、そのシンボルに固有の輝度の立ち上がり位置（タイミング）を平均輝度に関わらず一定にしている。これにより、受信機は、輝度を意識することなく可視光信号を受信することができる。
【１０１０】
なお、共通スイッチは、上述の共通スイッチ制御部によってスイッチングされ、画素スイッチは、上述の画素スイッチ制御部によってスイッチングされる。
【１０１１】
このように、本実施の形態における送信方法は、輝度変化によって可視光信号を送信する送信方法であって、決定ステップと、共通スイッチ制御ステップと、第１の画素スイッチ制御ステップとを含む。決定ステップでは、可視光信号を変調することにより、輝度変化パターンを決定する。共通スイッチ制御ステップでは、ディスプレイに備えられた光源群（共通ライン）に含まれる、それぞれ映像中の画素を表すための複数の光源（ＬＥＤ）を、共通に点灯させるための共通スイッチを、その輝度変化パターンにしたがってスイッチングする。第１の画素スイッチ制御ステップでは、その光源群に含まれる複数の光源のうちの第１の光源を点灯させるための第１の画素スイッチをオンにすることにより、共通スイッチがオンであり、かつ、第１の画素スイッチがオンである期間のみに、第１の光源を点灯させることによって、可視光信号を送信する。
【１０１２】
これにより、複数のＬＥＤなどを光源として備えたディスプレイから可視光信号を適切に送信することができる。したがって、照明以外の機器を含む態様な機器間の通信を可能とする。また、そのディスプレイが、共通スイッチおよび第１の画素スイッチの制御によって映像を表示するためのディスプレイである場合、その共通スイッチおよび第１の画素スイッチを利用して、可視光信号を送信することができる。したがって、ディスプレイに映像表示するための構成に対して大幅な変更を行うことなく、簡単に可視光信号を送信することができる。
【１０１３】
また、画素スイッチの制御タイミングを送信シンボル（４ＰＰＭ１回分）と一致させ、図１７３のように制御することで、ちらつきなくＬＥＤディスプレイから可視光信号を送信することができる。画像信号（すなわち映像信号）は通常１／３０秒や１／６０秒周期で変化するが、シンボル送信周期（シンボル周期）に合わせて画像信号を変化させることで、回路に変更を加えることなく実現することができる。
【１０１４】
このように、本実施の形態における送信方法の上記決定ステップでは、輝度変化パターンをシンボル周期ごとに決定する。また、上記第１の画素スイッチ制御ステップでは、シンボル周期に同期させて、画素スイッチをスイッチングする。これにより、シンボル周期が例えば１／２４００秒であっても、そのシンボル周期にしたがって可視光信号を適切に送信することができる。
【１０１５】
信号（シンボル）が「１０」で平均輝度が５０％付近のときは、輝度変化パターンが０１０１に近くなり、輝度の立ち上がり箇所が２箇所となる。しかし、その場合は、後の立ち上がり箇所を優先することで、受信機は正しく信号を受信することができる。すなわち、後の立ち上がり箇所は、シンボル「１０」に固有の輝度の立ち上がりが得られるタイミングである。
【１０１６】
平均輝度が高いほど、４ＰＰＭで変調された信号に近い信号を出力することができる。したがって、画面全体、あるいは、電源ラインが共通な部分の輝度が低い場合は、電流を少なくして輝度の瞬時値を下げることで、ＨＩ区間を長くすることができ、エラーを低減させることができる。この場合、画面の最高輝度が下がるが、屋内での用途など、そもそも高い輝度が必要ない場合、または可視光通信を優先する場合などは、これを有効にするスイッチを有効にすることで、通信品質と画質のバランスを最適に設定することができる。
【１０１７】
また、本実施の形態における送信方法の上記第１の画素スイッチ制御ステップでは、ディスプレイ（ＬＥＤディスプレイ）に映像を表示させるときには、上記第１の光源に対応する、映像中の画素の画素値を表現するための点灯期間のうち、可視光信号の送信のために第１の光源が消灯される期間だけ、その点灯期間を補うように、第１の画素スイッチをスイッチングする。つまり、本実施の形態における送信方法では、ＬＥＤディスプレイに映像が表示されているときに、可視光信号を送信する。したがって、映像信号によって示される画素値（具体的には輝度値）を表現するためにＬＥＤが点灯すべき期間において、可視光信号の送信のためにそのＬＥＤが消灯されることがある。このような場合には、本実施の形態における送信方法では、そのＬＥＤが消灯される期間だけ、その点灯期間を補うように、第１の画素スイッチをスイッチングする。
【１０１８】
例えば、可視光信号を送信せずに映像信号によって示される映像を表示するときは、１つのシンボル周期中、共通スイッチはオンになり、画素スイッチは、その映像信号によって示される画素値である平均輝度に応じた期間だけオンになる。平均輝度が７５％である場合、共通スイッチは、シンボル周期の第１スロット〜第４スロットにおいてオンになる。さらに、画素スイッチは、シンボル周期の第１スロット〜第３スロットにおいてオンになる。これにより、シンボル周期中、ＬＥＤは第１スロット〜第３スロットにおいて点灯するため、上述の画素値を表現することができる。しかし、シンボル「０１」の送信のためには、第２スロットが消灯される。そこで、本実施の形態における送信方法では、そのＬＥＤが消灯される第２スロットだけ、そのＬＥＤの点灯期間を補うように、つまり、第４スロットにおいてＬＥＤが点灯するように、画素スイッチをスイッチングする。
【１０１９】
また、本実施の形態における送信方法では、映像中の画素の画素値を変更することによって、その点灯期間を補う。例えば、上述のような場合には、平均輝度７５％の画素値を、平均輝度１００％の画素値に変更する。平均輝度１００％の場合、ＬＥＤは第１スロット〜第４スロットで点灯しようとするが、シンボル「０１」の送信のためには、第１スロットは消灯される。したがって、可視光信号を送信する場合でも、本来の画素値（平均輝度７５％）でＬＥＤを点灯させることができる。
【１０２０】
これにより、可視光信号の送信によって映像が崩れてしまうことを抑えることができる。
【１０２１】
（画素毎にずらした発光制御）
図１７４は、本実施の形態における送信信号の一例を示す図である。
【１０２２】
本実施の形態における送信機は、図１７４のように、同じシンボル（例えば「１０」）を画素Ａと、その画素Ａの付近の画素（例えば、画素Ｂおよび画素Ｃ）から送信するときには、それらの画素の発光タイミングをずらす。ただし、送信機は、そのシンボルに固有の輝度の立ち上がりのタイミングを、それらの画素間でずらすことなく、それらの画素を発光させる。なお、画素Ａ〜画素Ｃはそれぞれ、光源（具体的にはＬＥＤ）に相当する。また、シンボルに固有の輝度の立ち上がりのタイミングは、そのシンボルが「１０」であれば、第３スロットと第４スロットとの境界のタイミングである。また、このようなタイミングを、以下、シンボル固有タイミングという。受信機は、このシンボル固有タイミングを特定することによって、そのタイミングに応じたシンボルを受信することができる。
【１０２３】
このように発光タイミングをずらすことによって、画素間の平均輝度推移を示す波形は、図１７４に示すように、シンボル固有タイミングにおける立ち上がりを除いて、緩やかな立ち上がりまたは立下りを有する。つまり、シンボル固有タイミングのける立ち上がりは、他のタイミングの立ち上がりよりも急峻である。したがって、受信機は、複数の立ち上がりのうち、最も急峻な立ち上がりを優先して受信することで、適切なシンボル固有タイミングを特定することができ、その結果、受信誤りを抑えることができる。
【１０２４】
つまり、所定の画素からシンボル「１０」を送信する場合で、その所定の画素の輝度が２５％から７５％の中間値の場合は、送信機は、その所定の画素に対応する画素スイッチの開区間を短く、あるいは、長く設定する。さらに、送信機は、その所定の画素の付近の画素に対応する画素スイッチの開区間を逆に調整する。このように、その所定の画素と付近の画素とを含む全体の輝度が変わらないように、各画素スイッチの開区間を設定することでも、エラーを抑えることができる。なお、開区間とは、画素スイッチがオンしている区間である。
【１０２５】
このように、本実施の形態における送信方法は、さらに、第２の画素スイッチ制御ステップを含む。この第２の画素スイッチ制御ステップでは、上述の光源群（共通ライン）に含まれる、第１の光源の周囲にある第２の光源を点灯させるための第２の画素スイッチをオンにすることにより、共通スイッチがオンであり、かつ、第２の画素スイッチがオンである期間のみに、その第２の光源を点灯させることによって、可視光信号を送信する。なお、第２の光源は、例えば第１の光源の隣にある光源である。
【１０２６】
そして、その第１および第２の画素スイッチ制御ステップでは、第１および第２の光源のそれぞれから、可視光信号に含まれる同一のシンボルを同時に送信するときには、第１および第２の画素スイッチのそれぞれが同一のシンボルを送信するためにオンまたはオフする複数のタイミングのうち、その同一のシンボルに固有の輝度の立ち上がりが得られるタイミングを、第１および第２の画素スイッチのそれぞれで同一にし、他のタイミングを、第１および第２の画素スイッチのそれぞれで異ならせ、その同一のシンボルが送信される期間における、第１および第２の光源の全体の平均輝度を、予め定められた輝度に一致させる。
【１０２７】
これにより、図１７４に示す画素間平均輝度推移のように、空間的に平均された輝度において、シンボルに固有の輝度の立ち上がりが得られるタイミングでのみ、その立ち上がりを急峻にすることができ、受信エラーの発生を抑えることができる。つまり、受信機による可視光信号の受信エラーを抑えることができる。
【１０２８】
また、所定の画素からシンボル「１０」を送信する場合で、その所定の画素の輝度が２５％から７５％の中間値の場合は、送信機は、第１の期間における、その所定の画素に対応する画素スイッチの開区間を短く、あるいは、長く設定する。さらに、送信機は、第１の期間と時間的に前または後の第２の期間（例えばフレーム）において、その画素スイッチの開区間を逆に調整する。このように、所定の画素における、第１の期間と第２の期間を含む全体の時間平均輝度が変わらないように、画素スイッチの開区間を設定することでも、エラーを抑えることができる。
【１０２９】
すなわち、本実施の形態における送信方法における、上述の第１の画素スイッチ制御ステップでは、例えば、第１の期間と、その第１の期間に続く第２の期間とで、可視光信号に含まれる同一のシンボルを送信する。このとき、その第１および第２の期間のそれぞれにおいて、第１の画素スイッチがその同一のシンボルを送信するためにオンまたはオフする複数のタイミングのうち、同一のシンボルに固有の輝度の立ち上がりが得られるタイミングを同一にし、他のタイミングを異ならせる。そして、その第１および第２の期間の全体における第１の光源の平均輝度を、予め定められた輝度に一致させる。この第１の期間および第２の期間はそれぞれ、フレームを表示するための期間とその次のフレームを表示するための期間であってもよい。また、第１の期間および第２の期間はそれぞれシンボル周期であってもよい。つまり、第１の期間および第２の期間はそれぞれ、１つのシンボルを送信するための期間と次のシンボルを送信するための期間であってもよい。
【１０３０】
これにより、図１７４に示す画素間平均輝度推移と同じように、時間的に平均化された輝度において、シンボルに固有の輝度の立ち上がりが得られるタイミングでのみ、その立ち上がりを急峻にすることができ、受信エラーの発生を抑えることができる。つまり、受信機による可視光信号の受信エラーを抑えることができる。
【１０３１】
（画素スイッチが倍速駆動可能な場合の発光制御）
図１７５は、本実施の形態における送信信号の一例を示す図である。
【１０３２】
画素スイッチを、送信シンボル周期の半分の周期で開閉できる場合、つまり、画素スイッチが倍速駆動可能な場合は、図１７５に示すとおり、Ｖ４ＰＰＭと同じ発光パターンとすることができる。
【１０３３】
言い換えれば、シンボル周期（シンボルが送信される期間）が４スロットからなる場合、画素スイッチを制御するＬＥＤドライバ回路などの画素スイッチ制御部は、２スロットごとに、画素スイッチを制御することができる。つまり、画素スイッチ制御部は、そのシンボル周期の最初の時点から２スロット分の期間において、画素スイッチを任意の時間だけオンすることができる。さらに、画素スイッチ制御部は、そのシンボル周期の３スロット目の最初の時点から２スロット分の期間において、画素スイッチを任意の時間だけオンすることができる。
【１０３４】
つまり、本実施の形態における送信方法では、上述のシンボル周期の１／２の周期で画素値を変更してもよい。
【１０３５】
この場合、画素スイッチの開閉の１回あたりの細かさが減ってしまう（精度が低下してしまう）可能性がある。そこで、送信優先スイッチが有効のときのみこれを行うことで、画質と送信品質のバランスを最適に設定することができる。
【１０３６】
（画素値調整による発光制御のブロック）
図１７６は、本実施の形態における送信機の一例を示すブロック図である。
【１０３７】
図１７６の（ａ）は、可視光信号の送信を行わず、映像の表示のみを行う装置、すなわち、上述のＬＥＤディスプレイに映像を表示する表示装置の構成を示すブロック図である。この表示装置は、図１７６の（ａ）に示すように、画像・映像入力部１９１１と、Ｎ倍速化部１９１２と、共通スイッチ制御部１９１３と、画素スイッチ制御部１９１４とを備える。
【１０３８】
画像・映像入力部１９１１は、画像または映像を例えば６０Ｈｚのフレームレートで示す映像信号をＮ倍速化部１９１２に出力する。
【１０３９】
Ｎ倍速化部１９１２は、画像・映像入力部１９１１から入力される映像信号のフレームレートをＮ（Ｎ＞１）倍に上げ、その映像信号を出力する。例えば、Ｎ倍速化部１９１２は、フレームレートを１０倍（Ｎ＝１０）に、すなわち６００Ｈｚのフレームレートに上げる。
【１０４０】
共通スイッチ制御部１９１３は、その６００Ｈｚのフレームレートの映像に基づいて共通スイッチをスイッチングする。同様に、画素スイッチ制御部１９１４は、その６００Ｈｚのフレームレートの映像に基づいて画素スイッチをスイッチングする。このように、Ｎ倍速化部１９１２によってフレームレートが上がることによって、共通スイッチまたは画素スイッチなどのスイッチの開閉によるチラつきを回避することができる。また、撮像装置によってＬＥＤディスプレイが高速シャッターで撮像される場合にも、画素抜け、またはチラつきのない画像をその撮像装置に撮像させることができる。
【１０４１】
図１７６の（ｂ）は、映像の表示だけでなく、上述の可視光信号の送信を行う表示装置、すなわち送信機（送信装置）の構成を示すブロック図である。この送信機は、画像・映像入力部１９１１と、共通スイッチ制御部１９１３と、画素スイッチ制御部１９１４と、信号入力部１９１５と、画素値調整部１９１６とを備える。信号入力部１９１５は、複数のシンボルからなる可視光信号を、２４００シンボル／秒のシンボルレート（周波数）で画素値調整部１９１６に出力する。
【１０４２】
画素値調整部１９１６は、その可視光信号のシンボルレートに合わせて、画像・映像入力部１９１１から入力された画像を複製し，上述の方法にしたがって画素値を調整する。これにより、画素値調整部１９１６から後段の共通スイッチ制御部１９１３および画素スイッチ制御部１９１４は、画像または映像の輝度を変えることなく、可視光信号を出力することができる。
【１０４３】
例えば、図１７６に示す例の場合、可視光信号のシンボルレートが２４００シンボル／秒であれば、画素値調整部１９１６は、映像信号のフレームレート６０Ｈｚが４８００Ｈｚになるように、映像信号に含まれる画像を複製する。例えば、可視光信号に含まれるシンボルの値が「００」で、複製前の１枚目の画像に含まれる画素の画素値（輝度値）は５０％である。この場合、画素値調整部１９１６は、その画素値を複製後の１枚目の画像では１００％に調整し、２枚目の画像では５０％に調整する。これにより、図１７５の（ｃ）に示す、シンボル「００」の場合の輝度変化のように、共通スイッチと画素スイッチのアンドによって、輝度は５０％となる。その結果、元の画像の輝度と等しく保ちつつ、可視光信号を送信することができる。なお、共通スイッチと画素スイッチのアンドとは、共通スイッチがオンであり、かつ画素スイッチがオンである期間でのみ、その共通スイッチおよび画素スイッチに対応する光源（すなわちＬＥＤ）が点灯することである。
【１０４４】
また、本実施の形態における送信方法では、映像の表示と可視光信号の送信とを同時に行うことなく、それらを信号送信期間と映像表示時間とで分けて行ってもよい。
【１０４５】
つまり、本実施の形態における上述の第１の画素スイッチ制御ステップでは、共通スイッチが輝度変化パターンにしたがってスイッチングしている信号送信期間中、第１の画素スイッチをオンにする。そして、本実施の形態における送信方法は、さらに、その信号送信期間と異なる映像表示期間中、その共通スイッチをオンにし、映像表示期間において第１の画素スイッチを表示対象の映像にしたがってオンにすることにより、共通スイッチがオンであり、かつ、第１の画素スイッチがオンである期間のみに、第１の光源を点灯させることによって、その映像中の画素を表示する映像表示ステップを含んでもよい。
【１０４６】
これにより、映像の表示と可視光信号の送信とが互いに異なる期間に行われるためその表示と送信を簡単に行うことができる。
【１０４７】
（電源変更のタイミング）
電源ライン変更時には、信号オフの区間が発生してしまうが、４ＰＰＭの最後の部分は発光していなくても受信には影響しないため、４ＰＰＭシンボルの送信周期に合わせて電源ラインを変更することで、受信品質に影響を与えずに電源ラインを変更することができる。
【１０４８】
また、４ＰＰＭのＬＯ期間に電源ラインを変更することでも、受信品質に影響を与えずに電源ラインを変更することができる。この場合は、さらに、最大輝度を高く保ったまま送信することができる。
【１０４９】
（駆動タイミング）
また、本実施の形態では、図１７７〜図１７９に示すタイミングでＬＥＤディスプレイを駆動してもよい。
【１０５０】
図１７７〜図１７９は、ＬＥＤディスプレイを本発明の光ＩＤ変調信号で駆動する場合のタイミングチャートである。
【１０５１】
例えば、図１７８に示すように、可視光信号（光ＩＤ）を送信するために、共通スイッチ（ＣＯＭ１）がオフにされるとき（期間ｔ１）には、映像信号の示す輝度でＬＥＤを点灯させることができないため、その期間ｔ１以降に、そのＬＥＤを点灯させる。これにより、可視光信号を適切に送信しながら、映像信号によって示される映像を崩すことなく、その映像を適切に表示することができる。
【１０５２】
（まとめ）
図１８０Ａは、本発明の一態様に係る送信方法を示すフローチャートである。
【１０５３】
本発明の一態様に係る送信方法は、輝度変化によって可視光信号を送信する送信方法であって、ステップＳＣ１１〜ＳＣ１３を含む。
【１０５４】
ステップＳＣ１１では、上述の各実施の形態と同様に、可視光信号を変調することにより、輝度変化パターンを決定する。
【１０５５】
ステップＳＣ１２では、ディスプレイに備えられた光源群に含まれる、それぞれ映像中の画素を表すための複数の光源を、共通に点灯させるための共通スイッチを、その輝度変化パターンにしたがってスイッチングする。
【１０５６】
ステップＳ１３では、その光源群に含まれる複数の光源のうちの第１の光源を点灯させるための第１の画素スイッチ（すなわち画素スイッチ）をオンにすることにより、共通スイッチがオンであり、かつ、第１の画素スイッチがオンである期間のみに、第１の光源を点灯させることによって、可視光信号を送信する。
【１０５７】
図１８０Ｂは、本発明の一態様に係る送信装置の機能構成を示すブロック図である。
【１０５８】
本発明の一態様に係る送信装置Ｃ１０は、輝度変化によって可視光信号を送信する送信装置（または送信機）であって、決定部Ｃ１１と、共通スイッチ制御部Ｃ１２と、画素スイッチ制御部Ｃ１３とを備える。決定部Ｃ１１は、上述の各実施の形態と同様に、可視光信号を変調することにより、輝度変化パターンを決定する。なお、この決定部Ｃ１１は、例えば、図１７６に示す信号入力部１９１５に備えられる。
【１０５９】
共通スイッチ制御部Ｃ１２は、共通スイッチをその輝度変化パターンにしたがってスイッチングする。この共通スイッチは、ディスプレイに備えられた光源群に含まれる、それぞれ映像中の画素を表すための複数の光源を、共通に点灯させるためスイッチである。
【１０６０】
画素スイッチ制御部Ｃ１３は、光源群に含まれる複数の光源のうちの制御対象の光源を点灯させるための画素スイッチをオンにすることにより、共通スイッチがオンであり、かつ、画素スイッチがオンである期間のみに、制御対象の光源を点灯させることによって、可視光信号を送信する。なお、制御対象の光源は、上述の第１の光源である。
【１０６１】
これにより、複数のＬＥＤなどを光源として備えたディスプレイから可視光信号を適切に送信することができる。したがって、照明以外の機器を含む態様な機器間の通信を可能とする。また、そのディスプレイが、共通スイッチおよび画素スイッチの制御によって映像を表示するためのディスプレイである場合、その共通スイッチおよび画素スイッチを利用して、可視光信号を送信することができる。したがって、ディスプレイに映像表示するための構成（すなわち表示装置）に対して大幅な変更を行うことなく、簡単に可視光信号を送信することができる。
【１０６２】
（Ｓｉｎｇｌｅ  ｆｒａｍｅ  ｔｒａｎｓｍｉｓｓｉｏｎのフレーム構成）
図１８１は、本実施の形態における送信信号の一例を示す図である。
【１０６３】
送信フレームは、図１８１の（ａ）に示すように、プリアンブル（ＰＲＥ）、ＩＤ長（ＩＤＬＥＮ）、ＩＤタイプ（ＩＤＴＹＰＥ）、コンテンツ（ＩＤ／ＤＡＴＡ）、および検査符号（ＣＲＣ）で構成される。各領域のビット数は一例である。
【１０６４】
図１８１の（ｂ）に示すようなプリアンブルを用いることで、受信機は、４ＰＰＭ、Ｉ−４ＰＰＭまたはＶ４ＰＰＭでエンコードされている他の部分と区別することができ、信号の区切りを見つけることができる。
【１０６５】
図１８１の（ｃ）に示すように、ＩＤＬＥＮでＩＤ／ＤＡＴＡの長さを指定することで、可変長のコンテンツを送信することができる。
【１０６６】
ＣＲＣは、ＰＲＥ以外の部分の誤りを訂正、または、検出する検査符号である。検査領域の長さに応じてＣＲＣ長を変化させることで、検査能力を一定以上に保つことが出来る。また、検査領域の長さに応じて異なる検査符号を用いることで、ＣＲＣ長あたりの検査能力を向上させることができる。
【１０６７】
（Ｍｕｌｔｉｐｌｅ  ｆｒａｍｅ  ｔｒａｎｓｍｉｓｓｉｏｎのフレーム構成）
図１８２と図１８３は、本実施の形態における送信信号の一例を示す図である。
【１０６８】
送信データ（ＢＯＤＹ）には、パーティションタイプ（ＰＴＹＰＥ）と検査符号（ＣＲＣ）が付加され、Ｊｏｉｎｅｄ  ｄａｔａとなる。Ｊｏｉｎｅｄ  ｄａｔａは、いくつかのＤＡＴＡＰＡＲＴに分割され、プリアンブル（ＰＲＥ）とアドレス（ＡＤＤＲ）が付加されて送信される。
【１０６９】
ＰＴＹＰＥ（または、パーティションモード（ＰＭＯＤＥ））は、ＢＯＤＹの分割方法または意味を示す。図１８２の（ａ）に示すように２ｂｉｔとすることで、４ＰＰＭでちょうどよく符号化することができる。図１８２の（ｂ）に示すように１ｂｉｔとすることで、送信時間を短くすることができる。
【１０７０】
ＣＲＣはＰＴＹＰＥとＢＯＤＹを検査する検査符号である。図１６１で定めるように、検査される部分の長さによってＣＲＣの符号長を変化させることで、検査能力を一定以上に保つことができる。
【１０７１】
プリアンブルは、図１６２のように定めることで、分割パターンのバリエーションを確保しつつ、送信時間を短くすることができる。
【１０７２】
アドレスは、図１６３のように定めることで、受信機は、フレームを受信した順序に関わらず、データを復元することができる。
【１０７３】
図１８３は、可能なＪｏｉｎｅｄ  ｄａｔａ長とフレーム数との組み合わせである。下線が引かれた組み合わせは、後述のＰＴＹＰＥがＳｉｎｇｌｅ  ｆｒａｍｅ  ｃｏｍｐａｔｉｂｌｅのときに用いられる組み合わせである。
【１０７４】
（ＢＯＤＹフィールドの構成）
図１８４は、本実施の形態における送信信号の一例を示す図である。
【１０７５】
ＢＯＤＹを図のようなフィールド構成とすることで、シングルフレーム送信と同様のＩＤを送信することができる。
【１０７６】
同じＩＤＴＹＰＥで同じＩＤの場合は、シングルフレーム送信かマルチフレーム送信か、また、パケット送信の組み合わせにかかわらず、同じ意味を表すとすることで、連続送信・受信時間が短い場合などに柔軟に信号を送信することができる。
【１０７７】
ＩＤＬＥＮでＩＤの長さを指定し、余った部分はＰＡＤＤＩＮＧを送信する。この部分は全て０または１としてもよいし、ＩＤを拡張するデータを送信してもよいし、検査符号としてもよい。ＰＡＤＤＩＮＧは左詰めであっても良い。
【１０７８】
図１８４の（ｂ）、（ｃ）または（ｄ）では、図１８４の（ａ）よりも送信時間を短くすることができる。このときＩＤの長さは、ＩＤとして取れる長さのうち最大のものであるとする。
【１０７９】
図１８４の（ｂ）または（ｃ）の場合は、ＩＤＴＹＰＥのビット数が奇数となるが、図１８２の（ｂ）に示す１ｂｉｔのＰＴＹＰＥと組み合わせることで、偶数となり、４ＰＰＭで効率よくエンコードすることができる。
【１０８０】
図１８４の（ｃ）では、より長いＩＤを送信することができる。
【１０８１】
図１８４の（ｄ）では、より多くのＩＤＴＹＰＥを表現することができる。
【１０８２】
（ＰＴＹＰＥ）
図１８５は、本実施の形態における送信信号の一例を示す図である。
【１０８３】
ＰＴＹＰＥが所定のビットであるときは、ＢＯＤＹがＳｉｎｇｌｅ  ｆｒａｍｅ  ｃｏｍｐａｔｉｂｌｅモードであることを示す。これにより、シングルフレーム送信の場合と同じＩＤを送信することができる。
【１０８４】
例えば、ＰＴＹＰＥ＝００のときには、そのＰＴＹＰＥに対応するＩＤまたはＩＤタイプを、シングルフレーム送信で送信されたＩＤまたはＩＤタイプと同様に扱うことができ、ＩＤまたはＩＤタイプの管理を簡単にすることができる。
【１０８５】
ＰＴＹＰＥが所定のビットであるときは、ＢＯＤＹはＤａｔａ  ｓｔｒｅａｍモードであることを示す。このとき、送信フレーム数とＤＡＴＡＰＡＲＴ長は全ての組み合わせを用いることができ、異なる組み合わせのデータは異なる意味を持つとすることができる。ＰＴＹＰＥのビットによって、前記異なる組み合わせが同じ意味を持つ場合と、異なる意味を保つ場合としてもよい。これにより、送信方法を柔軟に選択することができる。
【１０８６】
例えば、ＰＴＹＰＥ＝０１のときには、シングルフレーム送信に定義されていないサイズのＩＤを送信することができる。また、そのＰＴＹＰＥに対応するＩＤがシングルフレーム送信のＩＤと同一であっても、そのＰＴＹＰＥに対応するＩＤを、そのシングルフレーム送信のＩＤとは別のＩＤとして扱うことができる。その結果、表現可能なＩＤの数を多くすることができる。
【１０８７】
（Ｓｉｎｇｌｅ  ｆｒａｍｅ  ｃｏｍｐａｔｉｂｌｅ  モードのフィールド構成）
図１８６は、本実施の形態における送信信号の一例を示す図である。
【１０８８】
図１８４の（ａ）を用いる場合、Ｓｉｎｇｌｅ  ｆｒａｍｅ  ｃｏｍｐａｔｉｂｌｅモードでは、図１８６に示す表の組み合わせで送信する場合が最も効率が良い。
【１０８９】
図１８４の（ｂ）、（ｃ）または（ｄ）を用いる場合は、ＩＤが３２ｂｉｔの場合は、フレーム数１３でＤＡＴＡＰＡＲＴ長４ｂｉｔの組み合わせが効率が良い。また、ＩＤが６４ｂｉｔの場合は、フレーム数が１１でＤＡＴＡＰＡＲＴ長が８ｂｉｔの組み合わせが効率が良い。
【１０９０】
表の組み合わせのみで送信されるとすることで、異なる組み合わせは受信エラーと判断することができるようになり、受信エラー率を下げることができる。
【１０９１】
（実施の形態１９のまとめ）
本発明の一態様に係る送信方法は、輝度変化によって可視光信号を送信する送信方法であって、可視光信号を変調することにより、輝度変化パターンを決定する決定ステップと、ディスプレイに備えられた光源群に含まれる、それぞれ映像中の画素を表すための複数の光源を共通に点灯させるための共通スイッチを、前記輝度変化パターンにしたがってスイッチングする共通スイッチ制御ステップと、前記光源群に含まれる複数の光源のうちの第１の光源を点灯させるための第１の画素スイッチをオンにすることにより、前記共通スイッチがオンであり、かつ、前記第１の画素スイッチがオンである期間のみに、前記第１の光源を点灯させることによって、前記可視光信号を送信する第１の画素スイッチ制御ステップとを含む。
【１０９２】
これにより、例えば図１７３〜図１８０Ｂに示すように、複数のＬＥＤなどを光源として備えたディスプレイから可視光信号を適切に送信することができる。したがって、照明以外の機器を含む態様な機器間の通信を可能とする。また、そのディスプレイが、共通スイッチおよび第１の画素スイッチの制御によって映像を表示するためのディスプレイである場合、その共通スイッチおよび第１の画素スイッチを利用して、可視光信号を送信することができる。したがって、ディスプレイに映像表示するための構成に対して大幅な変更を行うことなく、簡単に可視光信号を送信することができる。
【１０９３】
また、前記決定ステップでは、前記輝度変化パターンをシンボル周期ごとに決定し、前記第１の画素スイッチ制御ステップでは、前記シンボル周期に同期させて、前記第１の画素スイッチをスイッチングしてもよい。
【１０９４】
これにより、例えば図１７３に示すように、シンボル周期が例えば１／２４００秒であっても、そのシンボル周期にしたがって可視光信号を適切に送信することができる。
【１０９５】
また、前記第１の画素スイッチ制御ステップでは、前記ディスプレイに映像を表示させるときには、前記第１の光源に対応する、前記映像中の画素の画素値を表現するための点灯期間のうち、前記可視光信号の送信のために前記第１の光源が消灯される期間だけ、前記点灯期間を補うように、前記第１の画素スイッチをスイッチングしてもよい。例えば、前記映像中の画素の画素値を変更することによって、前記点灯期間を補ってもよい。
【１０９６】
これにより、例えば図１７３および図１７５に示すように、可視光信号の送信のために第１の光源が消灯される場合でも、点灯期間が補われるため、本来の映像を崩すことなく適切に表示することができる。
【１０９７】
また、前記シンボル周期の１／２の周期で前記画素値を変更してもよい。
【１０９８】
これにより、例えば図１７５に示すように、映像の表示と可視光信号の送信とを適切に行うことができる。
【１０９９】
また、前記送信方法は、さらに、前記光源群に含まれる、前記第１の光源の周囲にある第２の光源を点灯させるための第２の画素スイッチをオンにすることにより、前記共通スイッチがオンであり、かつ、前記第２の画素スイッチがオンである期間のみに、前記第２の光源を点灯させることによって、前記可視光信号を送信する第２の画素スイッチ制御ステップとを含み、前記第１および第２の画素スイッチ制御ステップでは、前記第１および第２の光源のそれぞれから、前記可視光信号に含まれる同一のシンボルを同時に送信するときには、前記第１および第２の画素スイッチのそれぞれが前記同一のシンボルを送信するためにオンまたはオフする複数のタイミングのうち、前記同一のシンボルに固有の輝度の立ち上がりが得られるタイミングを、前記第１および第２の画素スイッチのそれぞれで同一にし、他のタイミングを、前記第１および第２の画素スイッチのそれぞれで異ならせ、前記同一のシンボルが送信される期間における、前記第１および第２の光源の全体の平均輝度を、予め定められた輝度に一致させてもよい。
【１１００】
これにより、例えば図１７４に示すように、空間的に平均化された輝度において、シンボルに固有の輝度の立ち上がりが得られるタイミングでのみ、その立ち上がりを急峻にすることができ、受信エラーの発生を抑えることができる。
【１１０１】
また、前記第１の画素スイッチ制御ステップでは、第１の期間と、前記第１の期間に続く第２の期間とで、前記可視光信号に含まれる同一のシンボルを送信するときには、前記第１および第２の期間のそれぞれにおいて、前記第１の画素スイッチが前記同一のシンボルを送信するためにオンまたはオフする複数のタイミングのうち、前記同一のシンボルに固有の輝度の立ち上がりが得られるタイミングを同一にし、他のタイミングを異ならせ、前記第１および第２の期間の全体における前記第１の光源の平均輝度を、予め定められた輝度に一致させてもよい。
【１１０２】
これにより、例えば図１７４に示すように、時間的に平均化された輝度において、シンボルに固有の輝度の立ち上がりが得られるタイミングでのみ、その立ち上がりを急峻にすることができ、受信エラーの発生を抑えることができる。
【１１０３】
また、前記第１の画素スイッチ制御ステップでは、前記共通スイッチが前記輝度変化パターンにしたがってスイッチングしている信号送信期間中、前記第１の画素スイッチをオンにし、前記送信方法は、さらに、前記信号送信期間と異なる映像表示期間中、前記共通スイッチをオンにし、前記映像表示期間において前記第１の画素スイッチを表示対象の映像にしたがってオンにすることにより、前記共通スイッチがオンであり、かつ、前記第１の画素スイッチがオンである期間のみに、前記第１の光源を点灯させることによって、前記映像中の画素を表示する映像表示ステップを含んでもよい。
【１１０４】
これにより、映像の表示と可視光信号の送信とが互いに異なる期間に行われるためその表示と送信を簡単に行うことができる。
【１１０５】
（実施の形態２０）
本実施の形態では、上記各実施の形態における可視光信号の詳細または変形例について、具体的に説明する。なお、カメラのトレンドは、高解像度化（４Ｋ）、高フレームレート化（６０ｆｐｓ）である。高フレームレート化によって、フレームスキャン時間が減少する。その結果、受信距離が減少し、受信時間が増加する。そのため、可視光信号を送信する送信機では、パケット送信時間を短くする必要がある。また、ラインスキャン時間の減少により、受信の時間分解能が高くなる。また、露光時間は１／８０００秒である。４ＰＰＭでは、信号表現と調光を同時に行っているため、信号密度が低く、効率が悪い。したがって、本実施の形態における可視光信号では、信号部分と調光部分を分離して、受信に必要な部分が短くされている。
【１１０６】
図１８７は、本実施の形態における可視光信号の構成の一例を示す図である。
【１１０７】
可視光信号は、図１８７に示すように、信号部と調光部との組み合わせを複数含む。この組み合わせの時間長は例えば２ｍｓ以下（周波数は５００Ｈｚ以上）である。
【１１０８】
図１８８は、本実施の形態における可視光信号の詳細な構成の一例を示す図である。
【１１０９】
可視光信号は、データＬ（ＤａｔａＬ）と、プリアンブル（Ｐｒｅａｍｂｌｅ）と、データＲ（ＤａｔａＲ）と、調光部（Ｄｉｍｍｉｎｇ）とを含む。データＬとプリアンブルとデータＲとから、上記信号部が構成される。
【１１１０】
プリアンブルは、時間軸に沿ってＨｉｇｈとＬｏｗの輝度値を交互に示す。つまり、プリアンブルは、時間長Ｐ１だけＨｉｇｈの輝度値を示し、次の時間長Ｐ２だけＬｏｗの輝度値を示し、次の時間長Ｐ３だけＨｉｇｈの輝度値を示し、次の時間長Ｐ４だけＬｏｗの輝度値を示す。なお、時間長Ｐ１〜Ｐ４は、例えば１００μｓである。
【１１１１】
データＲは、時間軸に沿ってＨｉｇｈとＬｏｗの輝度値を交互に示し、プリアンブルの直後に配置される。つまり、データＲは、時間長ＤＲ１だけＨｉｇｈの輝度値を示し、次の時間長ＤＲ２だけＬｏｗの輝度値を示し、次の時間長ＤＲ３だけＨｉｇｈの輝度値を示し、次の時間長ＤＲ４だけＬｏｗの輝度値を示す。なお、時間長ＤＲ１〜ＤＲ４は、送信対象の信号に応じた数式にしたがって決定される。この数式は、ＤＲｉ＝１２０＋２０ｘｉ（ｉ∈１〜４、ｘｉ∈０〜１５）である。なお、１２０および２０などの数値は時間（μｓ）を示す。また、これらの数値は一例である。
【１１１２】
データＬは、時間軸に沿ってＨｉｇｈとＬｏｗの輝度値を交互に示し、プリアンブルの直前に配置される。つまり、データＬは、時間長ＤＬ１だけＨｉｇｈの輝度値を示し、次の時間長ＤＬ２だけＬｏｗの輝度値を示し、次の時間長ＤＬ３だけＨｉｇｈの輝度値を示し、次の時間長ＤＬ４だけＬｏｗの輝度値を示す。なお、時間長ＤＬ１〜ＤＬ４は、送信対象の信号に応じた数式にしたがって決定される。この数式は、ＤＬｉ＝１２０＋２０×（１５−ｘｉ）である。なお、上述と同様に、１２０および２０などの数値は時間（μｓ）を示す。また、これらの数値は一例である。
【１１１３】
なお、送信対象の信号は４×４＝１６ビットからなり、ｘｉは、その送信対象の信号のうちの４ビットの信号である。可視光信号では、データＲにおける時間長ＤＲ１〜ＤＲ４のそれぞれ、またはデータＬにおける時間長ＤＬ１〜ＤＬ４のそれぞれによって、そのｘｉ（４ビットの信号）の数値を示す。また、送信対象の信号の１６ビット中、４ビットはアドレスを示し、８ビットはデータを示し、４ビットはエラー検出に用いられる。
【１１１４】
ここで、データＲとデータＬとは、明るさに対して補完関係がある。つまり、データＲの明るさが明るければ、データＬの明るさは暗く、逆に、データＲの明るさが暗ければ、データＬの明るさは明るくなる。つまり、データＲの全体の時間長とデータＬの時間長との和は、送信対象の信号に関わらずに一定である。
【１１１５】
調光部は、可視光信号の明るさ（輝度）を調整するための信号であって、時間長Ｃ１だけＨｉｇｈの輝度値を示し、次の時間長Ｃ２だけＬｏｗの信号を示す。時間長Ｃ１およびＣ２は、任意に調整される。なお、調光部は、可視光信号に含まれていても、含まれていなくてもよい。
【１１１６】
また、図１８８に示す例では、データＲおよびデータＬが可視光信号に含まれているが、データＲおよびデータＬのうちの何れか一方のみが含まれていてもよい。可視光信号を明るくしたいときには、データＲおよびデータＬのうちの明るいデータのみを送信してもよい。また、データＲおよびデータＬの配置を逆にしてもよい。また、データＲが含まれている場合には、調光部の時間長Ｃ１は例えば１００μｓよりも長く、データＬが含まれている場合には、調光部の時間長Ｃ２は例えば１００μｓよりも長い。
【１１１７】
図１８９Ａは、本実施の形態における可視光信号の他の一例を示す図である。
【１１１８】
図１８８に示す可視光信号では、Ｈｉｇｈの輝度値を示す時間長と、Ｌｏｗの輝度値を示す時間長とのそれぞれによって送信対象の信号を表現したが、図１８９Ａの（ａ）に示すように、Ｌｏｗの輝度値を示す時間長のみで送信対象の信号を表現してもよい。なお、図１８９Ａの（ｂ）は、図１８８の可視光信号を示す。
【１１１９】
例えば、図１８９Ａの（ａ）に示すように、プリアンブルでは、Ｈｉｇｈの輝度値を示す時間長は何れも等しくて比較的短く、Ｌｏｗの輝度値を示す時間長Ｐ１〜Ｐ４はそれぞれ例えば１００μｓである。また、データＲでは、Ｈｉｇｈの輝度値を示す時間長は何れも等しくて比較的短く、Ｌｏｗの輝度値を示す時間長ＤＲ１〜ＤＲ４はそれぞれ信号ｘｉに応じて調整される。なお、プリアンブルおよびデータＲにおいて、Ｈｉｇｈの輝度値を示す時間長は例えば１０μｓ以下である。
【１１２０】
図１８９Ｂは、本実施の形態における可視光信号の他の一例を示す図である。
【１１２１】
例えば、図１８９Ｂに示すように、プリアンブルでは、Ｈｉｇｈの輝度値を示す時間長は何れも等しくて比較的短く、Ｌｏｗの輝度値を示す時間長Ｐ１〜Ｐ３はそれぞれ例えば１６０μｓ、１８０μｓ、１６０μｓである。また、データＲでは、Ｈｉｇｈの輝度値を示す時間長は何れも等しくて比較的短く、Ｌｏｗの輝度値を示す時間長ＤＲ１〜ＤＲ４はそれぞれ信号ｘｉに応じて調整される。なお、プリアンブルおよびデータＲにおいて、Ｈｉｇｈの輝度値を示す時間長は例えば１０μｓ以下である。
【１１２２】
図１８９Ｃは、本実施の形態における可視光信号の信号長を示す図である。
【１１２３】
図１９０は、本実施の形態における可視光信号と、規格ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ  Ｃｏｍｍｉｓｓｉｏｎ）の可視光信号との輝度値の比較結果を示す図である。なお、規格ＩＥＣは、具体的には、"VISIBLE LIGHT BEACON SYSTEM FOR MULTIMEDIA APPLICATIONS"である。
【１１２４】
本実施の形態における可視光信号（実施の形態の方式（Ｄａｔａ片側））では、規格ＩＥＣの可視光信号の最高輝度よりも高い最高輝度８２％を得ることができ、規格ＩＥＣの可視光信号の最低輝度よりも低い最低輝度１８％を得ることができる。なお、最高輝度８２％および最低輝度１８％は、本実施の形態における、データＲおよびデータＬのうちの何れか一方のみを含む可視光信号によって得られた数値である。
【１１２５】
図１９１は、本実施の形態における可視光信号と、規格ＩＥＣの可視光信号との、画角に対する受信パケット数および信頼度の比較結果を示す図である。
【１１２６】
本実施の形態における可視光信号（実施の形態の方式（ｂｏｔｈ））では、画角が小さくなっても、つまり、可視光信号を送信する送信機から受信機までの距離が長くなっても、規格ＩＥＣの可視光信号よりも受信パケット数が多く、高い信頼度を得ることができる。なお、図１９１に示す実施形態の方式（ｂｏｔｈ）の数値は、データＲおよびデータＬの両方を含む可視光信号によって得られた数値である。
【１１２７】
図１９２は、本実施の形態における可視光信号と、規格ＩＥＣの可視光信号との、ノイズに対する受信パケット数および信頼度の比較結果を示す図である。
【１１２８】
本実施の形態における可視光信号（ＩＥＥＥ）では、ノイズ（ノイズの分散値）に関わらず、規格ＩＥＣの可視光信号よりも受信パケット数が多く、高い信頼度を得ることができる。
【１１２９】
図１９３は、本実施の形態における可視光信号と、規格ＩＥＣの可視光信号との、受信側クロック誤差に対する受信パケット数および信頼度の比較結果を示す図である。
【１１３０】
本実施の形態における可視光信号（ＩＥＥＥ）では、受信側クロック誤差の広い範囲で、規格ＩＥＣの可視光信号よりも受信パケット数が多く、高い信頼度を得ることができる。なお、受信側クロック誤差は、受信機のイメージセンサにおける露光ラインが露光を開始するタイミングの誤差である。
【１１３１】
図１９４は、本実施の形態における送信対象の信号の構成を示す図である。
【１１３２】
送信対象の信号は、上述のように４ビットの信号（ｘｉ）を４つ（４×４＝１６ビット）含む。例えば、送信対象の信号は、信号ｘ１〜ｘ４を含む。信号ｘ１は、ビットｘ１１〜ｘ１４からなり、信号ｘ２は、ビットｘ２１〜ｘ２４からなる。また、信号ｘ３は、ビットｘ３１〜ｘ３４からなり、信号ｘ４は、ビットｘ４１〜ｘ４４からなる。ここで、ビットｘ１１、ビットｘ２１、ビットｘ３１およびビットｘ４１は間違いやすく、それら以外のビットは間違い難い。そこで、信号ｘ４に含まれるビットｘ４２〜ビットｘ４４はそれぞれ、信号ｘ１のビットｘ１１、信号ｘ２のビットｘ２１、信号ｘ３のビットｘ３１のパリティに用いられ、信号ｘ４に含まれるビットｘ４１は使われずに常に０を示す。ビットｘ４２、ｘ４３、ｘ４４のそれぞれの算出には、図１９４に示す数式が用いられる。この数式によって、ビットｘ４２＝ビットｘ１１、ビットｘ４３＝ビットｘ２１、ビットｘ４４＝ビットｘ３１のように、ビットｘ４２、ｘ４３、ｘ４４がそれぞれ算出される。
【１１３３】
図１９５Ａは、本実施の形態における可視光信号の受信方法を示す図である。
【１１３４】
受信機は、上述の可視光信号の信号部を順次取得する。信号部は、４ビットのアドレス（Ａｄｄｒ）と、８ビットのデータ（Ｄａｔａ）とを含む。受信機は、それらの信号部のデータをそれぞれ結合し、複数のデータからなるＩＤと、１つまたは複数のデータからなるパリティ（Ｐａｒｔｉｔｙ）とを生成する。
【１１３５】
図１９５Ｂは、本実施の形態における可視光信号の並び替えを示す図である。
【１１３６】
図１９６は、本実施の形態における可視光信号の他の例を示す図である。
【１１３７】
図１９６に示す可視光信号は、図１８８に示す可視光信号に対して高周波信号を重畳することによって構成されている。高周波信号の周波数は例えば１〜数Ｇｂｐｓである。これにより、図１８８に示す可視光信号よりも高速にデータを送信することができる。
【１１３８】
図１９７は、本実施の形態における可視光信号の詳細な構成の他の例を示す図である。なお、図１９７に示す可視光信号の構成は、図１８８に示す構成と同様であるが、図１９７に示す可視光信号における調光部の時間長Ｃ１およびＣ２は、図１８８に示す時間長Ｃ１およびＣ２とは異なる。
【１１３９】
図１９８は、本実施の形態における可視光信号の詳細な構成の他の例を示す図である。この図１９８に示す可視光信号では、データＲおよびデータＬは、Ｖ４ＰＰＭのシンボルを８つ含む。データＬに含まれるシンボルＤＬｉの立ち上がり位置または立ち下り位置は、データＲに含まれるシンボルＤＲｉの立ち上がり位置または立ち下がり位置と同じである。しかし、シンボルＤＬｉの平均輝度とシンボルＤＲｉの平均輝度は、同一であっても、異なっていてもよい。
【１１４０】
図１９９は、本実施の形態における可視光信号の詳細な構成の他の例を示す図である。この図１９９に示す可視光信号は、ＩＤ通信用または低平均輝度用途の信号であって、図１８９Ｂに示す可視光信号と同一である。
【１１４１】
図２００は、本実施の形態における可視光信号の詳細な構成の他の例を示す図である。この図２００に示す可視光信号では、データ（Ｄａｔａ）における偶数番目の時間長Ｄ２ｉと奇数番目の時間長Ｄ２ｉ＋１とは等しい。
【１１４２】
図２０１は、本実施の形態における可視光信号の詳細な構成の他の例を示す図である。この図２０１に示す可視光信号におけるデータ（Ｄａｔａ）は、パルス位置変調の信号であるシンボルを複数含む。
【１１４３】
図２０２は、本実施の形態における可視光信号の詳細な構成の他の例を示す図である。この図２０２に示す可視光信号は、連続通信用の信号であって、図１９８に示す可視光信号と同一である。
【１１４４】
図２０３〜図２１１は、図１９７のｘ１〜ｘ４の値を決定する方法を説明するための図である。なお、図２０３〜図２１１に示すｘ１〜ｘ４は、以下の変形例に示す符号ｗ１〜ｗ４の値（Ｗ１〜Ｗ４）を決定する方法と同様の方法で決定される。ただし、ｘ１〜ｘ４のそれぞれは、４ビットからなる符号であって、第１ビットにパリティを含む点が、以下の変形例に示す符号ｗ１〜ｗ４とは異なる。
【１１４５】
（変形例１）
図２１２は、本実施の形態の変形例１に係る可視光信号の詳細な構成の一例を示す図である。この変形例１に係る可視光信号は、上記実施の形態の図１８８に示す可視光信号と同様であるが、ＨｉｇｈまたはＬｏｗの輝度値を示す時間長が図１８８に示す可視光信号と異なっている。例えば、本変形例に係る可視光信号では、プリアンブルの時間長Ｐ２、Ｐ３は９０μｓである。また、本変形例に係る可視光信号では、上記実施の形態と同様に、データＲにおける時間長ＤＲ１〜ＤＲ４は、送信対象の信号に応じた数式にしたがって決定される。しかし、本変形例における数式は、ＤＲｉ＝１２０＋３０×ｗｉ（ｉ∈１〜４、ｗｉ∈０〜７）である。なお、ｗｉは、３ビットからなる符号であって、０〜７の何れかの整数の値を示す送信対象の信号である。また、本変形例に係る可視光信号では、上記実施の形態と同様に、データＬにおける時間長ＤＬ１〜ＤＬ４は、送信対象の信号に応じた数式にしたがって決定される。しかし、本変形例における数式は、ＤＬｉ＝１２０＋３０×（７−ｗｉ）である。
【１１４６】
また、図２１２に示す例では、データＲおよびデータＬが可視光信号に含まれているが、データＲおよびデータＬのうちの何れか一方のみが可視光信号に含まれていてもよい。可視光信号を明るくしたいときには、データＲおよびデータＬのうちの明るいデータのみを送信してもよい。また、データＲおよびデータＬの配置を逆にしてもよい。
【１１４７】
図２１３は、本変形例に係る可視光信号の他の例を示す図である。
【１１４８】
変形例１に係る可視光信号は、図１８９Ａの（ａ）および図１８９Ｂに示す例と同様に、Ｌｏｗの輝度値を示す時間長のみで送信対象の信号を表現してもよい。
【１１４９】
例えば、図２１３に示すように、プリアンブルでは、Ｈｉｇｈの輝度値を示す時間長は例えば１０μｓ未満であって、Ｌｏｗの輝度値を示す時間長Ｐ１〜Ｐ３のそれぞれは例えば１６０μｓ、１８０μｓ、１６０μｓである。また、データ（Ｄａｔａ）では、Ｈｉｇｈの輝度値を示す時間長は１０μｓ未満であって、Ｌｏｗの輝度値を示す時間長Ｄ１〜Ｄ３はそれぞれ信号ｗｉに応じて調整される。具体的には、Ｌｏｗの輝度値を示す時間長Ｄｉは、Ｄｉ＝１８０＋３０×ｗｉ（ｉ∈１〜４、ｗｉ∈０〜７）である。
【１１５０】
図２１４は、本変形例に係る可視光信号のさらに他の例を示す図である。
【１１５１】
本変形例に係る可視光信号は、図２１４に示すようなプリアンブルとデータとを含んでいてもよい。プリアンブルは、図２１２に示すプリアンブルと同様に、時間軸に沿ってＨｉｇｈとＬｏｗの輝度値を交互に示す。また、プリアンブルにおける時間長Ｐ１〜Ｐ４のそれぞれは、５０μｓ、４０μｓ、４０μｓ、５０μｓである。データ（Ｄａｔａ）は、時間軸に沿ってＨｉｇｈとＬｏｗの輝度値を交互に示す。例えば、データＬは、時間長Ｄ１だけＨｉｇｈの輝度値を示し、次の時間長Ｄ２だけＬｏｗの輝度値を示し、次の時間長Ｄ３だけＨｉｇｈの輝度値を示し、次の時間長Ｄ４だけＬｏｗの輝度値を示す。
【１１５２】
ここで、時間長Ｄ２ｉ-１＋Ｄ２ｉは、送信対象の信号に応じた数式にしたがって決定される。つまり、Ｈｉｇｈの輝度値を示す時間長と、その輝度値に続くＬｏｗの輝度値を示す時間長との和が、その数式にしたがって決定される。この数式は、例えば、Ｄ２ｉ-１＋Ｄ２ｉ＝１００＋２０×ｘｉ（ｉ∈１〜Ｎ、ｘｉ∈０〜７、Ｄ２ｉ＞５０μｓ、Ｄ２ｉ＋１＞５０μｓ）である。
【１１５３】
図２１５は、パケット変調の一例を示す図である。
【１１５４】
信号生成装置は、本変形例に係る可視光信号の生成方法によって、可視光信号を生成する。本変形例に係る可視光信号の生成方法では、パケットを上述の送信対象の信号ｗｉに変調（すなわち変換）する。なお、上述の信号生成装置は、上記各実施の形態における送信機に備えられていてもよく、その送信機に備えられていなくてもよい。
【１１５５】
例えば、信号生成装置は、図２１５に示すように、パケットを、符号ｗ１、ｗ２、ｗ３およびｗ４のそれぞれによって示される数値を含む送信対象の信号に変換する。これらの符号ｗ１、ｗ２、ｗ３およびｗ４は、それぞれ第１ビットから第３ビットまでの３ビットからなる符号であって、図２１２に示すように、０〜７の整数値を示す。
【１１５６】
ここで、符号ｗ１〜ｗ４のそれぞれにおいて、第１ビットの値をｂ１、第２ビットの値をｂ２、第３ビットの値をｂ３とする。なお、ｂ１、ｂ２およびｂ３は、０または１である。この場合、符号ｗ１〜ｗ４によって示される数値Ｗ１〜Ｗ４のそれぞれは、例えば、ｂ１×２０＋ｂ２×２１＋ｂ３×２２である。
【１１５７】
パケットは、０〜４ビットからなるアドレスデータ（Ａ１〜Ａ４）と、４〜７ビットからなる主データＤａ（Ｄａ１〜Ｄａ７）と、３〜４ビットからなる副データＤｂ（Ｄｂ１〜Ｄｂ４）と、ストップビットの値（Ｓ）とをデータとして含む。なお、Ｄａ１〜Ｄａ７、Ａ１〜Ａ４、Ｄｂ１〜Ｄｂ４、およびＳのそれぞれは、ビットの値、つまり０または１を示す。
【１１５８】
すなわち、信号生成装置は、パケットを送信対象の信号に変調するときには、そのパケットに含まれるデータを、符号ｗ１、ｗ２、ｗ３、およびｗ４の何れかのビットに割り当てる。これによって、パケットは、符号ｗ１、ｗ２、ｗ３、およびｗ４のそれぞれによって示される数値を含む送信対象の信号に変換される。
【１１５９】
信号生成装置は、パケットに含まれるデータを割り当てるときには、具体的には、符号ｗ１〜ｗ４のそれぞれの第１ビット（ｂｉｔ１）からなる第１のビット列に、パケットに含まれる主データＤａの少なくとも一部（Ｄａ１〜Ｄａ４）を割り当てる。さらに、信号生成装置は、符号ｗ１の第２ビット（ｂｉｔ２）に、パケットに含まれるストップビットの値（Ｓ）を割り当てる。さらに、信号生成装置は、符号ｗ２〜ｗ４のそれぞれの第２ビット（ｂｉｔ２）からなる第２のビット列に、パケットに含まれる主データＤａの一部（Ｄａ５〜Ｄａ７）、または、パケットに含まれるアドレスデータの少なくとも一部（Ａ１〜Ａ３）を割り当てる。さらに、信号生成装置は、符号ｗ１〜ｗ４のそれぞれの第３ビット（ｂｉｔ３）からなる第３のビット列に、パケットに含まれる副データＤｂの少なくとも一部（Ｄｂ１〜Ｄｂ３）と、その副データＤｂの一部（Ｄｂ４）またはアドレスデータの一部（Ａ４）とを割り当てる。
【１１６０】
なお、符号ｗ１〜ｗ４のそれぞれの第３ビット（ｂｉｔ３）が全て０の場合には、上述の「ｂ１×２０＋ｂ２×２１＋ｂ３×２２」によって、それらの符号が示す数値は、３以下に抑えられる。したがって、図２１２に示す数式ＤＲｉ＝１２０＋３０×ｗｉ（ｉ∈１〜４、ｗｉ∈０〜７）によって、時間長ＤＲｉを短くすることができる。その結果、１パケットを送信する時間を短くすることができ、より遠方からでも、そのパケットを受信することができる。
【１１６１】
図２１６〜図２２６は、元データからパケットを生成する処理を示す図である。
【１１６２】
本変形例に係る信号生成装置は、元データのビット長に応じてその元データを分割するか否かを判定する。そして、信号生成装置は、その判定の結果に応じた処理を行うことにより、元データから少なくとも１つのパケットを生成する。つまり、信号生成装置は、元データのビット長が長いほど、その元データを多くのパケットに分割する。逆に、信号生成装置は、元データのビット長が所定のビット長よりも短ければ、元データを分割することなくパケットを生成する。
【１１６３】
信号生成装置は、このように、元データから少なくとも１つのパケットを生成すると、その少なくとも１つのパケットのそれぞれを上述の送信対象の信号、すなわち、符号ｗ１〜ｗ４に変換する。
【１１６４】
なお、図２１６〜図２２６において、Ｄａｔａは、元データを示し、Ｄａｔａａは、元データに含まれる主元データを示し、Ｄａｔａｂは、元データに含まれる副元データを示す。また、Ｄａ（ｋ）は、主元データそのもの、または、主元データとパリティとを含むデータを構成する複数の部分のうちのｋ番目の部分を示す。同様に、Ｄｂ（ｋ）は、副元データそのもの、または、副元データとパリティとを含むデータを構成する複数の部分のうちのｋ番目の部分を示す。例えば、Ｄａ（２）は、主元データとパリティとを含むデータを構成する複数の部分のうちの２番目の部分を示す。また、Ｓは、スタートビットを示し、Ａは、アドレスデータを示す。
【１１６５】
また、各ブロック内に示される最上段の表記は、元データ、主元データ、副元データ、スタートビット、およびアドレスデータなどを識別するためのラベルである。また、各ブロック内に示される、中央の数値は、ビットサイズ（ビット数）であり、最下段の数値は、各ビットの値である。
【１１６６】
図２１６は、元データを１分割する処理を示す図である。
【１１６７】
例えば、信号生成装置は、元データ（Ｄａｔａ）のビット長が７ビットであれば、その元データを分割することなく、１つのパケットを生成する。具体的には、元データは、４ビットの主元データＤａｔａａ（Ｄａ１〜Ｄａ４）と、３ビットの副元データＤａｔａｂ（Ｄｂ１〜Ｄｂ３）とをそれぞれ、主データＤａ（１）と副データＤｂ（１）として含む。この場合、信号生成装置は、スタートビットＳ（Ｓ＝１）と、４ビットからなり「００００」を示すアドレスデータ（Ａ１〜Ａ４）とを、その元データに対して付加することによって、パケットを生成する。なお、スタートビットＳ＝１は、そのスタートビットを含むパケットが終端のパケットであることを示す。
【１１６８】
信号生成装置は、このパケットを変換することによって、符号ｗ１＝（Ｄａ１，Ｓ＝１，Ｄｂ１）、符号ｗ２＝（Ｄａ２，Ａ１＝０，Ｄｂ２）、符号ｗ３＝（Ｄａ３，Ａ２＝０，Ｄｂ３）、および符号ｗ４＝（Ｄａ４，Ａ３＝０，Ａ４＝０）を生成する。さらに、信号生成装置は、符号ｗ１、ｗ２、ｗ３およびｗ４のそれぞれによって示される数値Ｗ１、Ｗ２、Ｗ３およびＷ４を含む送信対象の信号を生成する。
【１１６９】
なお、本変形例では、ｗｉは、３ビットの符号として表現されるとともに、１０進数の数値としても表現される。そこで、本変形例では、説明を分かりやすくするために、１０進数の数値として用いられるｗｉ（ｗ１〜ｗ４）を、数値Ｗｉ（Ｗ１〜Ｗ４）として表記する。
【１１７０】
図２１７は、元データを２分割する処理を示す図である。
【１１７１】
例えば、信号生成装置は、元データ（Ｄａｔａ）のビット長が１６ビットであれば、その元データを分割することにより、２つの中間データを生成する。具体的には、元データは、１０ビットの主元データＤａｔａａと、６ビットの副元データＤａｔａｂとを含む。この場合、信号生成装置は、主元データＤａｔａａと、その主元データＤａｔａａに対応する１ビットのパリティとを含む第１中間データを生成し、副元データＤａｔａｂと、その副元データＤａｔａｂに対応する１ビットのパリティとを含む第２中間データを生成する。
【１１７２】
次に、信号生成装置は、第１中間データを、７ビットからなる主データＤａ（１）と４ビットからなる主データＤａ（２）とに分割する。さらに、信号生成装置は、第２中間データを、４ビットからなる副データＤｂ（１）と３ビットからなる副データＤｂ（２）とに分割する。なお、主データは、主元データとパリティとを含むデータを構成する複数の部分のうちの１つの部分である。同様に、副データは、副元データとパリティとを含むデータを構成する複数の部分のうちの１つの部分である。
【１１７３】
次に、信号生成装置は、スタートビットＳ（Ｓ＝０）と、主データＤａ（１）と、副データＤｂ（１）とを含む１２ビットの第１パケットを生成する。これにより、アドレスデータを含まない第１パケットが生成される。
【１１７４】
さらに、信号生成装置は、スタートビットＳ（Ｓ＝１）と、４ビットからなり「１０００」を示すアドレスデータと、主データＤａ（２）と、副データＤｂ（２）とを含む１２ビットの第２パケットを生成する。なお、スタートビットＳ＝０は、生成される複数のパケットのうち、そのスタートビットを含むパケットが終端にないパケットであることを示す。また、スタートビットＳ＝１は、生成される複数のパケットのうち、そのスタートビットを含むパケットが終端にあるパケットであることを示す。
【１１７５】
これにより、元データは、第１パケットと第２パケットに分割される。
【１１７６】
信号生成装置は、第１パケットを変換することによって、符号ｗ１＝（Ｄａ１，Ｓ＝０，Ｄｂ１）、符号ｗ２＝（Ｄａ２，Ｄａ７，Ｄｂ２）、符号ｗ３＝（Ｄａ３，Ｄａ６，Ｄｂ３）、および符号ｗ４＝（Ｄａ４，Ｄａ５，Ｄｂ４）を生成する。さらに、信号生成装置は、符号ｗ１、ｗ２、ｗ３およびｗ４のそれぞれによって示される数値Ｗ１、Ｗ２、Ｗ３およびＷ４を含む送信対象の信号を生成する。
【１１７７】
さらに、信号生成装置は、第２パケットを変換することによって、符号ｗ１＝（Ｄａ１，Ｓ＝１，Ｄｂ１）、符号ｗ２＝（Ｄａ２，Ａ１＝１，Ｄｂ２）、符号ｗ３＝（Ｄａ３，Ａ２＝０，Ｄｂ３）、および符号ｗ４＝（Ｄａ４，Ａ３＝０，Ａ４＝０）を生成する。さらに、信号生成装置は、符号ｗ１、ｗ２、ｗ３およびｗ４のそれぞれによって示される数値Ｗ１、Ｗ２、Ｗ３およびＷ４を含む送信対象の信号を生成する。
【１１７８】
図２１８は、元データを３分割にする処理を示す図である。
【１１７９】
例えば、信号生成装置は、元データ（Ｄａｔａ）のビット長が１７ビットであれば、その元データを分割することにより、２つの中間データを生成する。具体的には、元データは、１０ビットの主元データＤａｔａａと、７ビットの副元データＤａｔａｂとを含む。この場合、信号生成装置は、主元データＤａｔａａと、その主元データＤａｔａａに対応する６ビットのパリティとを含む第１中間データを生成する。さらに、信号生成装置は、副元データＤａｔａｂと、その副元データＤａｔａｂに対応する４ビットのパリティとを含む第２中間データを生成する。例えば、信号生成装置は、ＣＲＣ（Ｃｙｃｌｉｃ  Ｒｅｄｕｎｄａｎｃｙ  Ｃｈｅｃｋ）によってパリティを生成する。
【１１８０】
次に、信号生成装置は、第１中間データを、６ビットのパリティからなる主データＤａ（１）と、６ビットからなる主データＤａ（２）と、４ビットからなる主データＤａ（３）とに分割する。さらに、信号生成装置は、第２中間データを、４ビットのパリティからなる副データＤｂ（１）と、４ビットからなる副データＤｂ（２）と、３ビットからなる副データＤｂ（３）とに分割する。
【１１８１】
次に、信号生成装置は、スタートビットＳ（Ｓ＝０）と、１ビットからなり「０」を示すアドレスデータと、主データＤａ（１）と、副データＤｂ（１）とを含む１２ビットの第１パケットを生成する。さらに、信号生成装置は、スタートビットＳ（Ｓ＝０）と、１ビットからなり「１」を示すアドレスデータと、主データＤａ（２）と、副データＤｂ（２）とを含む１２ビットの第２パケットを生成する。さらに、信号生成装置は、スタートビットＳ（Ｓ＝１）と、４ビットからなり「０１００」を示すアドレスデータと、主データＤａ（３）と、副データＤｂ（３）とを含む１２ビットの第３パケットを生成する。
【１１８２】
これにより、元データは、第１パケットと、第２パケットと、第３パケットとに分割される。
【１１８３】
信号生成装置は、第１パケットを変換することによって、符号ｗ１＝（Ｄａ１，Ｓ＝０，Ｄｂ１）、符号ｗ２＝（Ｄａ２，Ａ１＝０，Ｄｂ２）、符号ｗ３＝（Ｄａ３，Ｄａ６，Ｄｂ３）、および符号ｗ４＝（Ｄａ４，Ｄａ５，Ｄｂ４）を生成する。さらに、信号生成装置は、符号ｗ１、ｗ２、ｗ３およびｗ４のそれぞれによって示される数値Ｗ１、Ｗ２、Ｗ３およびＷ４を含む送信対象の信号を生成する。
【１１８４】
同様に、信号生成装置は、第２パケットを変換することによって、符号ｗ１＝（Ｄａ１，Ｓ＝０，Ｄｂ１）、符号ｗ２＝（Ｄａ２，Ａ１＝１，Ｄｂ２）、符号ｗ３＝（Ｄａ３，Ｄａ６，Ｄｂ３）、および符号ｗ４＝（Ｄａ４，Ｄａ５，Ｄｂ４）を生成する。さらに、信号生成装置は、符号ｗ１、ｗ２、ｗ３およびｗ４のそれぞれによって示される数値Ｗ１、Ｗ２、Ｗ３およびＷ４を含む送信対象の信号を生成する。
【１１８５】
同様に、信号生成装置は、第３パケットを変換することによって、符号ｗ１＝（Ｄａ１，Ｓ＝１，Ｄｂ１）、符号ｗ２＝（Ｄａ２，Ａ１＝０，Ｄｂ２）、符号ｗ３＝（Ｄａ３，Ａ２＝１，Ｄｂ３）、および符号ｗ４＝（Ｄａ４，Ａ３＝０，Ａ４＝０）を生成する。さらに、信号生成装置は、符号ｗ１、ｗ２、ｗ３およびｗ４のそれぞれによって示される数値Ｗ１、Ｗ２、Ｗ３およびＷ４を含む送信対象の信号を生成する。
【１１８６】
図２１９は、元データを３分割にする処理の他の例を示す図である。
【１１８７】
図２１８に示す例では、ＣＲＣによって６ビットまたは４ビットのパリティを生成するが、１ビットのパリティを生成してもよい。
【１１８８】
この場合、信号生成装置は、元データ（Ｄａｔａ）のビット長が２５ビットであれば、その元データを分割することにより、２つの中間データを生成する。具体的には、元データは、１５ビットの主元データＤａｔａａと、１０ビットの副元データＤａｔａｂとを含む。この場合、信号生成装置は、主元データＤａｔａａと、その主元データＤａｔａａに対応する１ビットのパリティとを含む第１中間データを生成し、副元データＤａｔａｂと、その副元データＤａｔａｂに対応する１ビットのパリティとを含む第２中間データを生成する。
【１１８９】
次に、信号生成装置は、第１中間データを、パリティを含む６ビットからなる主データＤａ（１）と、６ビットからなる主データＤａ（２）と、４ビットからなる主データＤａ（３）とに分割する。さらに、信号生成装置は、第２中間データを、パリティを含む４ビットからなる副データＤｂ（１）と、４ビットからなる副データＤｂ（２）と、３ビットからなる副データＤｂ（３）とに分割する。
【１１９０】
次に、信号生成装置は、図２１８に示す例と同様に、第１中間データおよび第２中間データから、第１パケットと、第２パケットと、第３パケットとを生成する。
【１１９１】
図２２０は、元データを３分割にする処理の他の例を示す図である。
【１１９２】
図２１８に示す例では、主元データＤａｔａａに対するＣＲＣによって６ビットのパリティを生成し、副元データＤａｔａｂに対するＣＲＣによって４ビットのパリティを生成する。しかし、主元データＤａｔａａおよび副元データＤａｔａｂの全体に対するＣＲＣによってパリティを生成してもよい。
【１１９３】
この場合、信号生成装置は、元データ（Ｄａｔａ）のビット長が２２ビットであれば、その元データを分割することにより、２つの中間データを生成する。
【１１９４】
具体的には、元データは、１５ビットの主元データＤａｔａａと、７ビットの副元データＤａｔａｂとを含む。信号生成装置は、主元データＤａｔａａと、その主元データＤａｔａａに対応する１ビットのパリティとを含む第１中間データを生成する。さらに、信号生成装置は、主元データＤａｔａａおよび副元データＤａｔａｂの全体に対するＣＲＣによって、その４ビットのパリティを生成する。そして、信号生成装置は、副元データＤａｔａｂと、４ビットのパリティとを含む第２中間データを生成する。
【１１９５】
次に、信号生成装置は、第１中間データを、パリティを含む６ビットからなる主データＤａ（１）と、６ビットからなる主データＤａ（２）と、４ビットからなる主データＤａ（３）とに分割する。さらに、信号生成装置は、第２中間データを、４ビットからなる副データＤｂ（１）と、ＣＲＣのパリティの一部を含む４ビットからなる副データＤｂ（２）と、ＣＲＣのパリティの残りを含む３ビットからなる副データＤｂ（３）とに分割する。
【１１９６】
次に、信号生成装置は、図２１８に示す例と同様に、第１中間データおよび第２中間データから、第１パケットと、第２パケットと、第３パケットとを生成する。
【１１９７】
なお、元データを３分割にする処理の各具体例のうち、図２１８に示す処理をバージョン１と称し、図２１９に示す処理をバージョン２と称し、図２２０に示す処理をバージョン３と称す。
【１１９８】
図２２１は、元データを４分割にする処理を示す図である。また、図２２２は、元データを５分割にする処理を示す図である。
【１１９９】
信号生成装置は、元データを３分割にする処理と同様に、つまり図２１８〜図２２０に示す処理と同様に、元データを４分割または５分割にする。
【１２００】
図２２３は、元データを６、７または８分割にする処理を示す図である。
【１２０１】
例えば、信号生成装置は、元データ（Ｄａｔａ）のビット長が３１ビットであれば、その元データを分割することにより、２つの中間データを生成する。具体的には、元データは、１６ビットの主元データＤａｔａａと、１５ビットの副元データＤａｔａｂとを含む。この場合、信号生成装置は、主元データＤａｔａａと、その主元データＤａｔａａに対応する８ビットのパリティとを含む第１中間データを生成する。さらに、信号生成装置は、副元データＤａｔａｂと、その副元データＤａｔａｂに対応する８ビットのパリティとを含む第２中間データを生成する。例えば、信号生成装置は、リード−ソロモン符号によってパリティを生成する。
【１２０２】
ここで、リード−ソロモン符号において４ビットを１シンボルとして扱う場合、主元データＤａｔａａおよび副元データＤａｔａｂのそれぞれのビット長は、４ビットの整数倍でなければならない。ところが、副元データＤａｔａｂは上述のように１５ビットであって、４ビットの整数倍である１６ビットよりも１ビット少ない。
【１２０３】
したがって、信号生成装置は、第２中間データを生成するときには、副元データＤａｔａｂに対してパディングを行い、そのパディングが行われた１６ビットの副元データＤａｔａｂに対応する８ビットのパリティをリード−ソロモン符号によって生成する。
【１２０４】
次に、信号生成装置は、第１中間データおよび第２中間データのそれぞれを上述と同様の手法で６つの部分（４ビットまたは３ビット）に分割する。そして、信号生成装置は、スタートビットと、３ビットまたは４ビットからなるアドレスデータと、１番目の主データと、１番目の副データとを含む第１パケットを生成する。同様に、信号生成装置は、第２パケット〜第６パケットを生成する。
【１２０５】
図２２４は、元データを６、７または８分割にする処理の他の例を示す図である。
【１２０６】
図２２３に示す例では、リード−ソロモン符号によってパリティを生成したが、ＣＲＣによってパリティを生成してもよい。
【１２０７】
例えば、信号生成装置は、元データ（Ｄａｔａ）のビット長が３９ビットであれば、その元データを分割することにより、２つの中間データを生成する。具体的には、元データは、２０ビットの主元データＤａｔａａと、１９ビットの副元データＤａｔａｂとを含む。この場合、信号生成装置は、主元データＤａｔａａと、その主元データＤａｔａａに対応する４ビットのパリティとを含む第１中間データを生成し、副元データＤａｔａｂと、その副元データＤａｔａｂに対応する４ビットのパリティとを含む第２中間データを生成する。例えば、信号生成装置は、ＣＲＣによってパリティを生成する。
【１２０８】
次に、信号生成装置は、第１中間データおよび第２中間データのそれぞれを上述と同様の手法で６つの部分（４ビットまたは３ビット）に分割する。そして、信号生成装置は、スタートビットと、３ビットまたは４ビットからなるアドレスデータと、１番目の主データと、１番目の副データとを含む第１パケットを生成する。同様に、信号生成装置は、第２パケット〜第６パケットを生成する。
【１２０９】
なお、元データを６、７または８分割にする処理の各具体例のうち、図２２３に示す処理をバージョン１と称し、図２２４に示す処理をバージョン２と称す。
【１２１０】
図２２５は、元データを９分割にする処理を示す図である。
【１２１１】
例えば、信号生成装置は、元データ（Ｄａｔａ）のビット長が５５ビットであれば、その元データを分割することにより、第１パケット〜第９パケットまでの９つのパケットを生成する。なお、図２２５では、第１中間データおよび第２中間データを省略している。
【１２１２】
具体的には、元データ（Ｄａｔａ）のビット長は５５ビットであって、４ビットの整数倍である５６ビットよりも１ビット少ない。したがって、信号生成装置は、その元データに対してパディングを行い、パディングが行われた５６ビットからなる元データに対するパリティ（１６ビット）を、リード−ソロモン符号によって生成する。
【１２１３】
次に、信号生成装置は、１６ビットのパリティと、５５ビットの元データと含むデータ全体を、９つのデータＤａＤｂ（１）〜ＤａＤｂ（９）に分割する。
【１２１４】
データＤａＤｂ（ｋ）のそれぞれは、主元データＤａｔａａに含まれるｋ番目の４ビットからなる部分と、副元データＤａｔａｂに含まれるｋ番目の４ビットからなる部分とを含む。なお、ｋは１〜８の何れかの整数である。また、データＤａＤｂ（９）は、主元データＤａｔａａに含まれる９番目の４ビットからなる部分と、副元データＤａｔａｂに含まれる９番目の３ビットからなる部分とを含む。
【１２１５】
次に、信号生成装置は、９つのデータＤａＤｂ（１）〜ＤａＤｂ（９）のそれぞれに、スタートビットＳとアドレスデータとを付加することによって、第１パケット〜第９パケットを生成する。
【１２１６】
図２２６は、元データを１０〜１６の何れかの数に分割する処理を示す図である。
【１２１７】
例えば、信号生成装置は、元データ（Ｄａｔａ）のビット長が７×（Ｎ−２）ビットであれば、その元データを分割することにより、第１パケット〜第ＮパケットまでのＮ個のパケットを生成する。なお、Ｎは１０〜１６の何れかの整数である。また、図２２６では、第１中間データおよび第２中間データを省略している。
【１２１８】
具体的には、信号生成装置は、７×（Ｎ−２）ビットからなる元データに対するパリティ（１４ビット）を、リード−ソロモン符号によって生成する。なお、このリード−ソロモン符号では、７ビットが１シンボルとして扱われる。
【１２１９】
次に、信号生成装置は、１４ビットのパリティと、７×（Ｎ−２）ビットの元データと含むデータ全体を、Ｎ個のデータＤａＤｂ（１）〜ＤａＤｂ（Ｎ）に分割する。
【１２２０】
データＤａＤｂ（ｋ）のそれぞれは、主元データＤａｔａａに含まれるｋ番目の４ビットからなる部分と、副元データＤａｔａｂに含まれるｋ番目の３ビットからなる部分とを含む。なお、ｋは１〜（Ｎ−１）の何れかの整数である。
【１２２１】
次に、信号生成装置は、９つのデータＤａＤｂ（１）〜ＤａＤｂ（Ｎ）のそれぞれに、スタートビットＳとアドレスデータとを付加することによって、第１パケット〜第Ｎパケットを生成する。
【１２２２】
図２２７〜図２２９は、元データの分割数と、データサイズと、誤り訂正符号との関係の一例を示す図である。
【１２２３】
具体的には、図２２７〜図２２９は、図２１６〜図２２６に示す各処理における上記関係をまとめて示す。また、上述のように、元データを３分割にする処理には、バージョン１〜３があり、元データを６、７または８分割にする処理には、バージョン１およびバージョン２がある。図２２７は、分割数に対して複数のバージョンがあれば、複数のバージョンのうちのバージョン１における上記関係を示す。同様に、図２２８は、分割数に対して複数のバージョンがあれば、複数のバージョンのうちのバージョン２における上記関係を示す。同様に、図２２９は、分割数に対して複数のバージョンがあれば、複数のバージョンのうちのバージョン３における上記関係を示す。
【１２２４】
また、本変形例では、ショートモードとフルモードとがある。シートモードの場合、パケットにおける副データが０であって、図２１５に示す第３のビット列の全てのビットが０である。この場合、符号ｗ１〜ｗ４によって示される数値Ｗ１〜Ｗ４は、上述の「ｂ１×２０＋ｂ２×２１＋ｂ３×２２」によって、３以下に抑えられる。その結果、図２１２に示すように、データＲにおける時間長ＤＲ１〜ＤＲ４は、ＤＲｉ＝１２０＋３０×ｗｉ（ｉ∈１〜４、ｗｉ∈０〜７）によって決定されるため、短くなる。すなわち、ショートモードの場合には、１パケットあたりの可視光信号を短くすることができる。１パケットあたりの可視光信号を短くすることによって、受信機はそのパケットを遠くからでも受信することができ、通信距離を長くすることができる。
【１２２５】
一方、フルモードの場合、図２１５に示す第３のビット列のうちの何れかのビットは１である。この場合、可視光信号は、ショートモードのように短くはならない。
【１２２６】
本変形例では、図２２７〜図２２９に示すように、分割数が少なければショートモードの可視光信号を生成することができる。なお、図２２７〜図２２９におけるショートモードのデータサイズは、主元データ（Ｄａｔａａ）のビット数を示し、フルモードのデータサイズは、元データ（Ｄａｔａ）のビット数を示す。
【１２２７】
（実施の形態２０のまとめ）
図２３０Ａは、本実施の形態における可視光信号の生成方法を示すフローチャートである。
【１２２８】
本実施の形態における可視光信号の生成方法は、送信機が備える光源の輝度変化によって送信される可視光信号を生成する方法であって、ステップＳＤ１〜ＳＤ３を含む。
【１２２９】
ステップＳＤ１では、互いに異なる輝度値である第１および第２の輝度値のそれぞれが、所定の時間長だけ、時間軸上に沿って交互に現れるデータであるプリアンブルを生成する。
【１２３０】
ステップＳＤ２では、第１および第２の輝度値が時間軸上に沿って交互に現れるデータにおいて、前記第１および第２の輝度値のそれぞれが継続する時間長を、送信対象の信号に応じた第１の方式にしたがって決定することにより、第１のデータを生成する。
【１２３１】
最後に、ステップＳＤ３では、プリアンブルと第１のデータとを結合することによって可視光信号を生成する。
【１２３２】
例えば、図１８８に示すように、第１および第２の輝度値は、ＨｉｇｈおよびＬｏｗであり、第１のデータは、データＲまたはデータＬである。このように生成された可視光信号を送信することによって、図１９１〜図１９３に示すように、受信パケット数を増やすことができるとともに、信頼度を高めることができる。その結果、多様な機器間の通信を可能にすることができる。
【１２３３】
また、前記可視光信号の生成方法は、さらに、前記第１および第２の輝度値が時間軸上に沿って交互に現れるデータにおいて、前記第１および第２の輝度値のそれぞれが継続する時間長を、送信対象の信号に応じた第２の方式にしたがって決定することによって、前記第１のデータによって表現される明るさと補完関係を有する第２のデータを生成し、前記可視光信号の生成では、前記第１のデータ、前記プリアンブル、前記第２のデータの順に、前記プリアンブルと前記第１および第２のデータとを結合することによって、前記可視光信号を生成してもよい。
【１２３４】
例えば、図１８８に示すように、第１および第２の輝度値は、ＨｉｇｈおよびＬｏｗであり、第１および第２のデータは、データＲおよびデータＬである。
【１２３５】
また、ａおよびｂをそれぞれ定数とし、前記送信対象の信号に含まれる数値をｎとし、数値ｎの取り得る最大値である定数をｍとする場合、前記第１の方式は、ａ＋ｂ×ｎによって、前記第１のデータにおける、前記第１または第２の輝度値が継続する時間長を決定する方式であり、前記第２の方式は、ａ＋ｂ×（ｍ−ｎ）によって、前記第２のデータにおける、前記第１または第２の輝度値が継続する時間長を決定する方式であってもよい。
【１２３６】
例えば、図１８８に示すように、ａは１２０μｓであり、ｂは２０μｓであり、ｎは０〜１５のうちの何れかの整数値（信号ｘｉの示す数値）であり、ｍは１５である。
【１２３７】
また、前記補完関係では、前記第１のデータの全体における時間長と、前記第２のデータの全体における時間長との和が一定となってもよい。
【１２３８】
また、前記可視光信号の生成方法は、さらに、前記可視光信号によって表現される明るさを調整するためのデータである調光部を生成し、前記可視光信号の生成では、さらに前記調光部を結合することによって前記可視光信号を生成してもよい。
【１２３９】
調光部は、例えば図１８８における、時間長Ｃ１だけＨｉｇｈの輝度値を示し、時間長Ｃ２だけＬｏｗの輝度値を示す信号（Ｄｉｍｍｉｎｇ）である。これにより、可視光信号の明るさを任意に調整することができる。
【１２４０】
図２３０Ｂは、本実施の形態における信号生成装置の構成を示すブロック図である。
【１２４１】
本実施の形態における信号生成装置Ｄ１０は、送信機が備える光源の輝度変化によって送信される可視光信号を生成する信号生成装置であって、プリアンブル生成部Ｄ１１と、データ生成部Ｄ１２と、結合部Ｄ１３とを備える。
【１２４２】
プリアンブル生成部Ｄ１１は、互いに異なる輝度値である第１および第２の輝度値のそれぞれが、所定の時間長だけ、時間軸上に沿って交互に現れるデータであるプリアンブルを生成する。
【１２４３】
データ生成部Ｄ１２は、第１および第２の輝度値が時間軸上に沿って交互に現れるデータにおいて、第１および第２の輝度値のそれぞれが継続する時間長を、送信対象の信号に応じた第１の方式にしたがって決定することにより、第１のデータを生成する。
【１２４４】
結合部Ｄ１３は、プリアンブルと第１のデータとを結合することによって可視光信号を生成する。
【１２４５】
このように生成された可視光信号を送信することによって、図１９１〜図１９３に示すように、受信パケット数を増やすことができるとともに、信頼度を高めることができる。その結果、多様な機器間の通信を可能にすることができる。
【１２４６】
（実施の形態２０の変形例１のまとめ）
また、実施の形態２０の変形例１のように、前記可視光信号の生成方法は、さらに、元データのビット長に応じて前記元データを分割するか否かを判定し、その判定の結果に応じた処理を行うことにより、元データから少なくとも１つのパケットを生成してもよい。そして、その少なくとも１つのパケットのそれぞれを送信対象の信号に変換してもよい。
【１２４７】
その送信対象の信号への変換では、図２１５に示すように、その少なくとも１つのパケットに含まれる対象パケットごとに、当該対象パケットに含まれるデータを、それぞれ第１ビットから第３ビットまでの３ビットからなる符号ｗ１、ｗ２、ｗ３およびｗ４の何れかのビットに割り当てることによって、その対象パケットを、符号ｗ１、ｗ２、ｗ３およびｗ４のそれぞれによって示される数値を含む送信対象の信号に変換する。
【１２４８】
そのデータの割り当てでは、符号ｗ１〜ｗ４のそれぞれの第１ビットからなる第１のビット列に、対象パケットに含まれる主データの少なくとも一部を割り当てる。符号ｗ１の第２ビットに、対象パケットに含まれるストップビットの値を割り当てる。符号ｗ２〜ｗ４のそれぞれの第２ビットからなる第２のビット列に、対象パケットに含まれる主データの一部、または、対象パケットに含まれるアドレスデータの少なくとも一部を割り当てる、符号ｗ１〜ｗ４のそれぞれの第３ビットからなる第３のビット列に、対象パケットに含まれる副データを割り当てる。
【１２４９】
ここで、ストップビットは、生成された少なくとも１つのパケットのうち、対象パケットが終端にあるか否かを示す。アドレスデータは、生成された少なくとも１つのパケットのうち、対象パケットの順番をアドレスとして示す。主データおよび副データのそれぞれは、元データを復元するためのデータである。
【１２５０】
また、ａおよびｂをそれぞれ定数とし、符号ｗ１、ｗ２、ｗ３およびｗ４のそれぞれによって示される数値をＷ１、Ｗ２、Ｗ３およびＷ４とする場合、例えば図２１２に示すように、上述の第１の方式は、ａ＋ｂ×Ｗ１、ａ＋ｂ×Ｗ２、ａ＋ｂ×Ｗ３およびａ＋ｂ×Ｗ４によって、第１のデータにおける、第１または第２の輝度値が継続する時間長を決定する方式である。
【１２５１】
例えば、符号ｗ１〜ｗ４のそれぞれにおいて、第１ビットの値をｂ１、第２ビットの値をｂ２、第３ビットの値をｂ３とする。この場合、符号ｗ１〜ｗ４によって示される値Ｗ１〜Ｗ４のそれぞれは、例えば、ｂ１×２０＋ｂ２×２１＋ｂ３×２２である。したがって、符号ｗ１〜ｗ４において、第１ビットを１にするよりも、第２ビットを１にした方が、その符号ｗ１〜ｗ４によって示される値Ｗ１〜Ｗ４は大きくなる。また、第２ビットを１にするよりも、第３ビットを１にした方が、その符号ｗ１〜ｗ４によって示される値Ｗ１〜Ｗ４は大きくなる。これらの符号ｗ１〜ｗ４によって示される値Ｗ１〜Ｗ４が大きいと、上述の第１および第２の輝度値のそれぞれが継続する時間長（例えばＤＲｉ）は長くなるため、可視光信号の輝度の誤検知を抑制することでき、受信エラーを低減することができる。逆に、これらの符号ｗ１〜ｗ４によって示される値Ｗ１〜Ｗ４が小さいと、上述の第１および第２の輝度値のそれぞれが継続する時間長は短くなるため、可視光信号の輝度の誤検知が比較的生じやすい。
【１２５２】
そこで、実施の形態２０の変形例１では、元データを受信するために重要とされるストップビットおよびアドレスを優先的に、符号ｗ１〜ｗ４の第２ビットに割り当てることによって、その受信エラーの低下を図ることができる。また、符号ｗ１は、プリアンブルに最も近いＨｉｇｈまたはＬｏｗの輝度値が継続する時間長を定義する。つまり、符号ｗ１は、他の符号ｗ２〜ｗ４よりもプリアンブルに近いため、これらの他の符号よりも適切に受信されやすい。そこで、実施の形態２０の変形例１では、ストップビットを符号ｗ１の第２ビットに割り当てることによって、受信エラーの低下をより抑えることができる。
【１２５３】
また、実施の形態２０の変形例１では、主データは、誤検知が比較的に生じやすい第１のビット列に優先的に割り当てられる。しかし、主データに誤り訂正符号（パリティ）を入れておけば、その主データの受信エラーを抑えることができる。
【１２５４】
さらに、実施の形態２０の変形例１では、符号ｗ１〜ｗ４の第３ビットからなる第３のビット列に、副データが割り当てられる。したがって、副データを０にすれば、符号ｗ１〜ｗ４によって定義されるＨｉｇｈおよびＬｏｗの輝度値のそれぞれが継続する時間長を大幅に短くすることができる。その結果、１パケットあたりの可視光信号の送信時間を大幅に短くすることができる、いわゆるショートモードを実現することができる。このショートモードでは、上述のように送信時間が短いため、パケットを遠くからでも容易に受信することができる。したがって、可視光通信の通信距離を長くすることができる。
【１２５５】
また、実施の形態２０の変形例１では、図２１７に示すように、少なくとも１つのパケットの生成では、元データを２つのパケットに分割することによって、２つのパケットを生成し、データの割り当てでは、２つのパケットのうちの終端にないパケットを対象パケットとして送信対象の信号に変換する場合、第２のビット列には、アドレスデータの少なくとも一部を割り当てることなく、終端にないパケットに含まれる主データの一部を割り当てる。
【１２５６】
例えば、図２１７に示す終端にないパケット（Ｐａｃｋｅｔ１）にはアドレスデータは含まれていない。そして、その終端にないパケットには、主データＤａ（１）が７ビットある。したがって、図２１５に示すように、７ビットの主データＤａ（１）に含まれる、データＤａ１〜Ｄａ４が第１のビット列に割り当てられ、データＤａ５〜Ｄａ７が第２のビット列に割り当てられる。
【１２５７】
このように、元データが２つのパケットに分割される場合、終端にないパケット、つまり、１番目のパケットには、スタートビット（Ｓ＝０）があれば、アドレスデータは不要であれる。したがって、第２のビット列のすべてのビットを主データに用いることでき、パケットに含まれるデータ量を増すことができる。
【１２５８】
また、実施の形態２０の変形例１におけるデータの割り当てでは、第２のビット列に含まれる３つのビットのうち、配列順で先頭側のビットを優先的にアドレスデータの割り当てに用い、第２のビット列の先頭側の１つまたは２つのビットに対して、アドレスデータの全てを割り当る場合には、第２のビット列においてアドレスデータが割り当てられない１つまたは２つのビットに対しては、主データの一部を割り当てる。例えば、図２１８におけるＰａｋｅｔ１では、第２のビット列の先頭側の１つのビット（符号ｗ２の第２ビット）に対して、１ビットのアドレスデータＡ１を割り当る。この場合には、第２のビット列においてアドレスデータが割り当てられない２つのビット（符号ｗ３、ｗ４のそれぞれの第２ビット）に対しては、主データＤａ６、Ｄａ５を割り当てる。
【１２５９】
これにより、第２のビット列をアドレスデータと主データの一部とで共用することができ、パケット構成の自由度を増すことができる。
【１２６０】
また、実施の形態２０の変形例１におけるデータの割り当てでは、第２のビット列にアドレスデータの全てを割り当てることができない場合には、第３のビット列のうちの何れかのビットに、アドレスデータのうちの第２のビット列に割り当てられる部分を除く残りの部分を割り当てる。例えば、図２１８におけるＰａｋｅｔ３では、第２のビット列に４ビットのアドレスデータＡ１〜Ａ４の全てを割り当てることができない。この場合には、第３のビット列のうちの最後のビット（符号ｗ４の第３ビット）に、アドレスデータＡ１〜Ａ４のうちの第２のビット列に割り当てられる部分Ａ１〜Ａ３を除く残りの部分Ａ４を割り当てる。
【１２６１】
これにより、アドレスデータを符号ｗ１〜ｗ４に適切に割り当てることができる。
【１２６２】
また、実施の形態２０の変形例１におけるデータの割り当てでは、少なくとも１つのパケットのうちの終端のパケットを対象パケットとして送信対象の信号に変換する場合、第２のビット列、および、第３のビット列に含まれる何れか１つのビットに、アドレスデータを割り当てる。例えば、図２１７〜図２２６における終端のパケットのアドレスデータのビット数は４である。この場合、第２のビット列、および、第３のビット列のうちの最後のビット（符号ｗ４の第３ビット）に、４ビットのアドレスデータＡ１〜Ａ４を割り当てる。
【１２６３】
これにより、アドレスデータを符号ｗ１〜ｗ４に適切に割り当てることができる。
【１２６４】
また、実施の形態２０の変形例１における、少なくとも１つのパケットの生成では、元データを２つに分割することによって、２つの分割元データを生成し、前記２つの分割元データのそれぞれの誤り訂正符号を生成する。そして、２つの分割元データと、当該２つの分割元データのそれぞれに対して生成された前記誤り訂正符号とを用いて、２つ以上のパケットを生成する。２つの分割元データのそれぞれの誤り訂正符号の生成では、２つの分割元データのうちの何れかの分割元データのビット数が、誤り訂正符号の生成に必要とされるビット数に満たない場合には、分割元データに対してパディングを行い、パディングされた分割元データの誤り訂正符号を生成する。例えば、図２２３に示すように、分割元データであるＤａｔａｂに対して、リード−ソロモン符号によってパリティを生成する際に、そのＤａｔａｂが１５ビットしかなく、１６ビットに満たない場合には、そのＤａｔａｂに対してパディングを行い、パディングされた分割元データ（１６ビット）に対して、リード−ソロモン符号によってパリティを生成する。
【１２６５】
これにより、分割元データのビット数が、誤り訂正符号の生成に必要とされるビット数に満たなくても、適切な誤り訂正符号を生成することができる。
【１２６６】
また、実施の形態２０の変形例１におけるデータの割り当てでは、副データが０を示す場合、第３のビット列に含まれる全てのビットに対して０を割り当てる。これにより、上述のショートモードを実現することができ、可視光通信の通信距離を長くすることができる。
【１２６７】
（実施の形態２１）
図２３１は、本実施の形態における高周波可視光信号を受信する方法を示す図である。
【１２６８】
受信機は、高周波可視光信号を受信するときには、例えば、図２３１の（ａ）に示すように、可視光信号の立ち上がりおよび立ち下がりにおいてガードタイム（ガードインターバル）を設ける。そして、受信機は、そのガードタイムにおける高周波信号を用いることなく、そのガードタイムの直前に受信された高周波信号をコピーすることによって、そのガードタイムにおける高周波信号を補う。なお、可視光信号に重畳される高周波信号は、ＯＦＤＭ（Ｏｒｔｈｏｇｏｎａｌ  Ｆｒｅｑｕｅｎｃｙ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅｘｉｎｇ  ）によって変調されていてもよい。
【１２６９】
また、受信機は、Ｈｉｇｈの輝度値を示す高周波信号とＬｏｗの輝度値を示す高周波信号を高周波可視光信号から分離すると、それらの高周波信号のゲインを自動調整する（Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）。これにより、高周波信号のゲイン（輝度値）が統一される。
【１２７０】
図２３２Ａは、本実施の形態における高周波可視光信号を受信する他の方法を示す図である。
【１２７１】
高周波可視光信号を受信する受信機は、上記各実施の形態と同様にイメージセンサを備えるとともに、さらに、ＤＭＤ（Ｄｉｇｉｔａｌ  Ｍｉｒｒｏｒ  Ｄｅｖｉｃｅ）素子と、フォトセンサとを備える。フォトセンサは、フォトダイオードまたはアバランシェフォトダイオードである。
【１２７２】
受信機は、高周波可視光信号を送信する送信機（光源）をイメージセンサによって撮影する。これにより、受信機は、輝線の縞模様を含む輝線画像を取得する。この輝線の縞模様は、高周波可視光信号における高周波信号以外の信号、つまり図１８８に示す可視光信号の輝度変化によって現れる。受信機は、その輝線画像における、輝線の縞模様の位置（ｘ１，ｙ１）および（ｘ２，ｙ２）を特定する。そして、受信機は、ＤＭＤ素子における、その位置（ｘ１，ｙ１）および（ｘ２、ｙ２）のそれぞれに対応するマイクロミラーを特定する。これらのマイクロミラーが、輝線の縞模様を現わす高周波可視光信号の光を受ける。したがって、受信機は、ＤＭＤ素子に含まれる複数のマイクロミラーのうち、特定されたマイクロミラーによる反射光のみフォトセンサに受光されるように、各マイクロミラーの角度を調整する。つまり、受信機は、位置（ｘ１，ｙ１）に対応するマイクロミラーによる反射光のみフォトセンサ１に受光されるように、そのマイクロミラーをＯＮにする。さらに、受信機は、位置（ｘ２，ｙ２）に対応するマイクロミラーによる反射光のみフォトセンサ２に受光されるように、そのマイクロミラーをＯＮにする。そして、受信機は、それらの特定されたマイクロミラー以外の各マイクロミラーをＯＦＦにする。これによりＯＦＦにされたマイクロミラーによる反射光は、光吸収体（黒体）に吸収される。また、ＯＮにされたマイクロミラーによって、高周波可視光信号が適切にフォトセンサによって受光される。なお、ＤＭＤ素子の各マイクロミラーは、ＯＮとＯＦＦとの切り替えによって、傾斜角度（＋０°または−０°）が切り替えられる。マイクロミラーがＯＮのときには、そのマイクロミラーは、フォトセンサに向けて反射光を出力し、マイクロミラーがＯＦＦのときには、そのマイクロミラーは、光吸収部に向けて反射光を出力する。
【１２７３】
また、受信機は、図２３２Ａに示すように、ハーフミラーと発光素子を備えていてもよい。発光素子１は、光を発して輝度変化することにより、可視光信号（または高周波可視光信号）を送信する。この発光素子１から出力された光は、ハーフミラーによって反射されて、さらに、ＤＭＤ素子において、位置（ｘ１，ｙ１）に対応するＯＮのマイクロミラーによっても反射される。その結果、発光素子１からの可視光信号は、位置（ｘ１，ｙ１）にある輝線の縞模様に対応する送信機に送信される。これにより、受信機と、位置（ｘ１，ｙ１）にある輝線の縞模様に対応する送信機とは、双方向通信を行うことができる。同様に、発光素子２から出力された光は、ハーフミラーによって反射されて、さらに、ＤＭＤ素子において、位置（ｘ２，ｙ２）に対応するＯＮのマイクロミラーによって反射される。その結果、発光素子２からの可視光信号は、位置（ｘ２，ｙ２）にある輝線の縞模様に対応する送信機に送信される。これにより、受信機と、位置（ｘ２，ｙ２）にある輝線の縞模様に対応する送信機とは、双方向通信を行うことができる。
【１２７４】
これにより、イメージセンサによって撮影される送信機（光源）が複数あっても、受信機は、これらの送信機と同時に、且つ高速に双方向通信を行うことができる。例えば、受信機が、１０Ｇｂｐｓで受信可能なフォトセンサを１００個備え、それらの受信機が１００個の送信機と通信する場合には、１Ｔｂｐｓの通信速度を実現することができる。
【１２７５】
図２３２Ｂは、本実施の形態における高周波可視光信号を受信する、さらに他の方法を示す図である。
【１２７６】
受信機は、例えば、レンズＬ１およびＬ２と、複数のハーフミラーと、ＤＭＤ素子と、イメージセンサと、光吸収部（黒体）と、処理部と、ＤＭＤ制御部と、フォトセンサ１および２と、発光素子１および２とを備える。
【１２７７】
このような受信機は、図２３２Ａに示す例と同様の原理で、２つの車と双方向通信する。２つの車は、ヘッドライトから光を出力してそのヘッドライトを輝度変化させることによって、高周波可視光信号を送信する。また、１つの車は、ヘッドライトから通常の光（輝度変化しない光）を出力する。
【１２７８】
イメージセンサは、レンズＬ１を介してそれらの高周波可視光信号と通常の光を受ける。これにより、図２３２Ａに示す例と同様に、それらの高周波可視光信号によって生じる輝線の縞模様を含む輝線画像が得られる。処理部は、その輝線画像におけるそれらの縞模様の位置を特定する。ＤＭＤ制御部は、ＤＭＤ素子に含まれる複数のマイクロミラーの中から、それらの特定された縞模様の位置に対応するマイクロミラーを特定して、それらのマイクロミラーをＯＮにする。
【１２７９】
これにより、２つの車のそれぞれからレンズＬ１およびハーフミラーを透過した高周波可視光信号は、ＤＭＤ素子のマイクロミラーによって反射されて、レンズＬ２に向かう。また、１つの車のヘッドライトの通常の光は、その光によって輝線の縞模様が生じないため、レンズＬ１およびハーフミラーを透過しても、ＤＭＤ素子のＯＦＦのマイクロミラーによって反射される。ＯＦＦのマイクロミラーによって反射された光は、光吸収部（黒体）によって吸収される。
【１２８０】
レンズＬ２を通過した高周波可視光信号は、ハーフミラーを通過してフォトセンサ１または２によって受信される。これにより、各車からの高周波可視光信号を受信することができる。また、発光素子１および２がハーフミラーに対して可視光信号（または高周波可視光信号）を出力すれば、その可視光信号はハーフミラーによって反射されて、レンズＬ２を透過して、さらに、ＤＭＤ素子におけるＯＮのマイクロミラーによって反射される。その結果、発光素子１および２からの可視光信号は、ハーフミラーおよびレンズＬ１を介して、高周波可視光信号を送信した車に対して送信される。つまり、受信機は、高周波可視光信号を送信する複数の車との間で、双方向通信を行うことができる。
【１２８１】
このように、本実施の形態における受信機は、イメージセンサにより輝線画像を取得し、その輝線画像における輝線の縞模様の位置を特定する。そして、受信機は、ＤＭＤ素子に含まれる複数のマイクロミラーのうち、その縞模様の位置に対応するマイクロミラーを特定する。そして、受信機は、そのマイクロミラーをＯＮにすることによって、高周波可視光信号をフォトセンサで受信する。また、受信機は、発光素子から可視光信号を出力して、そのＯＮにされたマイクロミラーに反射させることによって、その可視光信を送信機に送信することができる。
【１２８２】
なお、図２３２Ａおよび図２３２Ｂに示す例では、光学機器としてハーフミラーおよびレンズなど用いたが、これらと同様の機能を有するものであれば、どのような光学機器を用いてもよい。また、ＤＭＤ素子、ハーフミラー、およびレンズなどの配置は、一例であり、どのように配置されてもよい。また、図２３２Ａおよび図２３２Ｂに示す例では、受信機はフォトセンサと発光素子との組を２組備えるが、１組だけ備えてもよく、３組以上備えてもよい。また、１つの発光素子が、複数のＯＮのマイクロレンズに対して可視光信号を送信してもよい。これにより、受信機は、複数の送信機に対して同じ可視光信号を同時に送信することができる。また、受信機は、図２３２Ａおよび図２３２Ｂに示す各構成要素を全て備えることなく、それらの構成要素の一部だけを備えていてもよい。
【１２８３】
図２３３は、本実施の形態における高周波信号を出力する方法を示す図である。
【１２８４】
図１８８に示す可視光信号に重畳される高周波信号を出力する信号出力装置は、例えば、ブルーレーザーと蛍光体とを備える。つまり、図１１４Ａに示す例と同様に、その信号出力装置は、ブルーレーザーから高周波数の青色レーザー光を蛍光体に照射させる。これにより、信号出力装置は、高周波数の自然光を高周波信号として出力する。
【１２８５】
（実施の形態２２）
本実施の形態では、上記各実施の形態における可視光通信を利用した自律飛行装置（ドローンともいう）について説明する。
【１２８６】
図２３４は、本実施の形態における自律飛行装置を説明するための図である。
【１２８７】
本実施の形態における自律飛行装置１９２１は、監視カメラ１９２２の内部に収納されている。例えば、監視カメラ１９２２によって、不審者の画像が捉えられると、監視カメラ１９２２の扉が開き、内部に収納されている自律飛行装置１９２１は、その監視カメラ１９２２から飛び立って、その不審者の追跡を開始する。自律飛行装置１９２１は、小型カメラを備え、監視カメラ１９２２によって捉えられた不審者の画像が、その小型カメラによっても捉えられるように追跡を行う。また、自律飛行装置１９２１は、飛行などを行うための電力が不足していることを検知すると、監視カメラ１９２２に戻って、監視カメラ１９２２の内部に収納される。このときに、監視カメラ１９２２に他の自律飛行装置１９２１が収納されていれば、この他の自律飛行装置１９２１が、電力不足の自律飛行装置１９２１に代わって、不審者の追跡を開始する。また、電力不足の自律飛行装置１９２１は、監視カメラ１９２２に備えられているワイヤレス給電装置１９２１ａによって給電される。なお、ワイヤレス給電装置１９２１ａによる給電は、例えば規格Ｑｉにしたがって行われる。
【１２８８】
自律飛行装置１９２１の小型カメラおよび監視カメラ１９２２は、上記各実施の形態における可視光信号を受信することができ、この受信された可視光信号に応じた動作を行うことができる。また、自律飛行装置１９２１および監視カメラ１９２２の少なくとも一方に、可視光信号の送信機を備えれば、自律飛行装置１９２１と監視カメラ１９２２との間で可視光通信を行うことができる。その結果、不審者の追跡をより効率的に行うことができる。
【１２８９】
（実施の形態２３）
本実施の形態では、光ＩＤを用いたＡＲ（Augmented Realitｙ）を実現する表示方法などについて説明する。
【１２９０】
図２３５は、本実施の形態における受信機がＡＲ画像を表示する例を示す図である。
【１２９１】
本実施の形態における受信機２００は、上記実施の形態１〜２２のうちの何れかの実施の形態における、イメージセンサおよびディスプレイ２０１を備えた受信機であって、例えばスマートフォンとして構成されている。このような受信機２００は、そのイメージセンサによる被写体の撮像によって、上述の通常撮影画像である撮像表示画像Ｐａと、上述の可視光通信画像または輝線画像である復号用画像とを取得する。
【１２９２】
具体的には、受信機２００のイメージセンサは、駅名標として構成されている送信機１００を撮像する。送信機１００は、上記実施の形態１〜２２のうちの何れかの実施の形態における送信機であって、１つまたは複数の発光素子（例えばＬＥＤ）を備える。この送信機１００は、その１つまたは複数の発光素子を点滅させることによって輝度変化し、その輝度変化によって光ＩＤ（光識別情報）を送信する。この光ＩＤは、上述の可視光信号である。
【１２９３】
受信機２００は、送信機１００を通常露光時間で撮像することによって、その送信機１００が映し出された撮像表示画像Ｐａを取得するとともに、その通常露光時間よりも短い通信用露光時間で送信機１００を撮像することによって、復号用画像を取得する。なお、通常露光時間は、上述の通常撮影モードにおける露光時間であり、通信用露光時間は、上述の可視光通信モードにおける露光時間である。
【１２９４】
受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、受信機２００は、送信機１００から光ＩＤを受信する。受信機２００は、その光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤに対応するＡＲ画像Ｐ１と認識情報とをサーバから取得する。受信機２００は、撮像表示画像Ｐａのうち、その認識情報に応じた領域を対象領域として認識する。例えば、受信機２００は、送信機１００である駅名標が映し出されている領域を対象領域として認識する。そして、受信機２００は、その対象領域にＡＲ画像Ｐ１を重畳し、ＡＲ画像Ｐ１が重畳された撮像表示画像Ｐａをディスプレイ２０１に表示する。例えば、送信機１００である駅名標に、駅名として日本語で「京都駅」が記載されている場合、受信機２００は、英語で駅名が記載されたＡＲ画像Ｐ１、つまり「Ｋｙｏｔｏ  Ｓｔａｔｉｏｎ」と記載されているＡＲ画像Ｐ１を取得する。この場合、撮像表示画像Ｐａの対象領域にそのＡＲ画像Ｐ１が重畳されるため、英語で駅名が記載されている駅名標が現実に存在するように、撮像表示画像Ｐａを表示することができる。その結果、英語を理解できるユーザは、日本語が読めなくても、その撮像表示画像Ｐａを見れば、その送信機１００である駅名標に記載されている駅名を容易に理解することができる。
【１２９５】
例えば、認識情報は、認識対象の画像（例えば上述の駅名標の画像）であってもよく、その画像の特徴点および特徴量であってもよい。特徴点および特徴量は、例えば、ＳＩＦＴ（Ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ  ｆｅａｔｕｒｅ  ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄ−Ｕｐｐｅｄ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅ）、ＯＲＢ（Ｏｒｉｅｎｔｅｄ−ＢＲＩＥＦ）、ＡＫＡＺＥ（Ａｃｃｅｌｅｒａｔｅｄ  ＫＡＺＥ）などの画像処理によって得られる。または、認識情報は、認識対象の画像に類似する白い四角形の画像であってもよく、さらに、その四角形の縦横比（アスペクト比）を示してもよい。または、識別情報は、認識対象の画像に現れるランダムドットであってもよい。さらに、認識情報は、上述の白い四角形またはランダムドットなどの、所定の方向を基準とする向きを示してもよい。所定の方向は、例えば重力方向である。
【１２９６】
受信機２００は、撮像表示画像Ｐａの中から、このような認識情報に応じた領域を対象領域として認識する。具体的には、認識情報が画像であれば、受信機２００は、その認識情報である画像に類似する領域を対象領域として認識する。また、認識情報が、画像処理によって得られた特徴点および特徴量であれば、受信機２００は、その画像処理を撮像表示画像Ｐａに対して行うことによって、特徴点検出および特徴量抽出を行う。そして、受信機２００は、撮像表示画像Ｐａにおいて、認識情報である特徴点および特徴量に類似する、特徴点および特徴量を有する領域を対象領域として認識する。また、認識情報が、白い四角形とその向きを示してれば、受信機２００は、まず、自らに備えられた加速度センサによって重力方向を検出する。そして、受信機２００は、重力方向を基準にして配置された撮像表示画像Ｐａから、認識情報により示される向きに向けられた白い四角形に類似する領域を対象領域として認識する。
【１２９７】
ここで、認識情報は、撮像表示画像Ｐａのうちの基準領域を特定するための基準情報と、その基準領域に対する対象領域の相対位置を示す対象情報とを含んでいてもよい。基準情報は、上述のような、認識対象の画像、特徴点および特徴量、白い四角形の画像、またはランダムドットなどである。この場合、受信機２００は、対象領域を認識するときには、まず、基準情報に基づいて撮像表示画像Ｐａから基準領域を特定する。そして、受信機２００は、撮像表示画像Ｐａのうち、基準領域の位置を基準として対象情報により示される相対位置にある領域を、対象領域として認識する。なお、対象情報は、対象領域が基準領域と同じ位置にあることを示していてもよい。このように、認識情報が基準情報と対象情報とを含むことによって、幅広い範囲で対象領域を認識することができる。また、ＡＲ画像が重畳される場所をサーバが自由に設定して受信機２００に教えることができる。
【１２９８】
また、基準情報は、撮像表示画像Ｐａにおける基準領域が、撮像表示画像のうちのディスプレイが映し出されている領域であることを示していてもよい。この場合、送信機１００が例えばテレビなどのディスプレイとして構成されていれば、そのディスプレイが映し出されている領域を基準にして対象領域を認識することができる。
【１２９９】
言い換えれば、本実施の形態における受信機２００は、光ＩＤに基づいて、基準画像と、画像認識方法とを特定する。画像認識方法は、撮像表示画像Ｐａを認識する方法だって、例えば、幾何学的特徴量抽出、スペクトル特徴量抽出、またはテクスチャ特徴量抽出などである。基準画像は、基準となる特徴量を示すデータである。その特徴量は、例えば、画像の白色の外枠の特徴量であって、具体的には、画像の特徴をベクトルで表現したデータであってもよい。受信機２００は、撮像表示画像Ｐａから、画像認識方法にしたがって特徴量を抽出し、その特徴量と基準画像の特徴量とを比較することによって、撮像表示画像Ｐａから上述の基準領域または対象領域を見つけ出す。
【１３００】
また、画像認識方法には、例えば、ロケーション利用方法、マーカー利用方法、およびマーカーレス方法があってもよい。ロケーション利用方法は、ＧＰＳの位置情報（すなわち受信機２００の位置）を活用した方法であって、その位置情報に基づいて撮像表示画像Ｐａから対象領域が認識される。マーカー利用方法は、二次元バーコードのような白および黒の図形で構成されたマーカーをターゲット特定用のマークとして用いる方法である。つまり、このマーカー利用方法では、撮像表示画像Ｐａに映し出されているマーカーに基づいて対象領域が認識される。マーカーレス方法では、撮像表示画像Ｐａに対する画像分析により、その撮像表示画像Ｐａから特徴点または特徴量を抽出し、その抽出された特徴点または特徴量に基づいて、ターゲットの位置および領域を特定する方法である。つまり、画像認識方法がマーカーレス方法である場合、その画像認識方法は、上述の幾何学的特徴量抽出、スペクトル特徴量抽出、またはテクスチャ特徴量抽出などである。
【１３０１】
このような受信機２００は、送信機１００から光ＩＤを受信し、その光ＩＤ（以下、受信光ＩＤという）に対応付けられた基準画像および画像認識方法をサーバから取得することによって、その基準画像および画像認識方法を特定してもよい。つまり、サーバには、基準画像および画像認識方法を含むセットが複数保存され、複数のセットのそれぞれは互いに異なる光ＩＤに対応付けられている。これにより、サーバに保存されている複数のセットの中から、受信光ＩＤに対応付けられた１つのセットを特定することができる。したがって、ＡＲ画像の重畳のための画像処理の速度を向上させることができる。また、受信機２００は、サーバに問い合わせることによって、受信光ＩＤに対応付けられた基準画像などを取得してもよく、自らが予め保持している複数の基準画像の中から、その受信光ＩＤに対応付けられた基準画像を取得してもよい。
【１３０２】
また、サーバは、光ＩＤごとに、その光ＩＤに対応付けられた相対位置情報を、基準画像、画像認識方法およびＡＲ画像とともに保持していてもよい。相対位置情報は、例えば、上述の基準領域と対象領域との相対的な位置関係を示す情報である。これにより、受信機２００は、受信光ＩＤをサーバに送信して問い合わせたときには、その受信光ＩＤに対応付けられた基準画像、画像認識方法、ＡＲ画像および相対位置情報を取得する。この場合、受信機２００は、基準画像および画像認識方法に基づいて撮像表示画像Ｐａから上述の基準領域を特定する。そして、受信機２００は、その基準領域の位置から、上述の相対位置情報によって示される方向および距離にある領域を、上述の対象領域として認識し、その対象領域にＡＲ画像を重畳する。また、受信機２００は、相対位置情報がなければ、上述の基準領域を対象領域として認識し、その基準領域にＡＲ画像を重畳してもよい。つまり、受信機２００は、相対位置情報の取得に代えて、基準画像に基づいてＡＲ画像を表示するプログラムを予め保持し、例えば、基準領域である白枠内にＡＲ画像を表示してもよい。この場合には、相対位置情報は不要である。
【１３０３】
基準画像、相対位置情報、ＡＲ画像、および画像認識方法の保持または取得には、以下の４つのバリエーション（１）〜（４）がある。
【１３０４】
（１）サーバは、基準画像、相対位置情報、ＡＲ画像、および画像認識方法からなるセットを複数保持している。受信機２００は、それらのセットの中から、受信光ＩＤに対応付けられた１つのセットを取得する。
【１３０５】
（２）サーバは、基準画像およびＡＲ画像からなるセットを複数保持している。受信機２００は、予め定められた相対位置情報および画像認識方法を用い、かつ、それらのセットの中から、受信光ＩＤに対応付けられた１つのセットを取得する。または、受信機２００は、相対位置情報および画像認識方法からなる複数のセットを予め保持し、その複数のセットの中から、受信光ＩＤに対応付けられた１つのセットを選択してもよい。この場合、受信機２００は、受信光ＩＤをサーバに送信して問い合わせ、その受信光ＩＤに対応する相対位置情報および画像認識方法を特定するための情報をサーバから取得してもよい。そして、受信機２００は、予め保持している、それぞれ相対位置情報および画像認識方法からなる複数のセットの中から、そのサーバから取得された情報に基づいて１つのセットを選択する。あるいは、受信機２００は、サーバに問い合わせることなく、予め保持している、それぞれ相対位置情報および画像認識方法からなる複数のセットの中から、受信光ＩＤに対応付けられた１つのセットを選択してもよい。
【１３０６】
（３）受信機２００は、基準画像、相対位置情報、ＡＲ画像、および画像認識方法からなるセットを複数保持し、それらのセットの中から１つのセットを選択する。受信機２００は、上記（２）と同様に、サーバに問い合わせることによって、１つのセットを選択してもよく、受信機光ＩＤに対応付けられた１つのセットを選択してもよい。
【１３０７】
（４）受信機２００は、基準画像およびＡＲ画像からなるセットを複数保持し、受信光ＩＤに対応付けられた１つのセットを選択する。受信機２００は。予め定められた画像認識方法および相対位置情報を用いる。
【１３０８】
図２３６は、本実施の形態における表示システムの一例を示す図である。
【１３０９】
本実施の形態における表示システムは、例えば、上述の駅名標である送信機１００と、受信機２００と、サーバ３００とを備える。
【１３１０】
受信機２００は、上述のようにＡＲ画像が重畳された撮像表示画像を表示するために、まず、送信機１００から光ＩＤを受信する。次に、受信機２００は、その光ＩＤをサーバ３００に送信する。
【１３１１】
サーバ３００は、光ＩＤごとに、その光ＩＤに対応付けられたＡＲ画像および認識情報を保持している。そこで、サーバ３００は、受信機２００から光ＩＤを受信すると、その受信された光ＩＤに対応付けられたＡＲ画像および認識情報を選択し、その選択されたＡＲ画像および認識情報を受信機２００に送信する。これにより、受信機２００は、サーバ３００から送信されたＡＲ画像および認識情報を受信し、ＡＲ画像が重畳された撮像表示画像を表示する。
【１３１２】
図２３７は、本実施の形態における表示システムの他の例を示す図である。
【１３１３】
本実施の形態における表示システムは、例えば、上述の駅名標である送信機１００と、受信機２００と、第１のサーバ３０１と、第２のサーバ３０２とを備える。
【１３１４】
受信機２００は、上述のようにＡＲ画像が重畳された撮像表示画像を表示するために、まず、送信機１００から光ＩＤを受信する。次に、受信機２００は、その光ＩＤを第１のサーバ３０１に送信する。
【１３１５】
第１のサーバ３０１は、受信機２００から光ＩＤを受信すると、その受信された光ＩＤに対応付けられたＵＲＬ（Uniform Resource Locator）とＫｅｙを受信機２００に通知する。このような通知を受けた受信機２００は、そのＵＲＬ基づいて第２のサーバ３０２にアクセスし、Ｋｅｙを第２のサーバ３０２に受け渡す。
【１３１６】
第２のサーバ３０２は、Ｋｅｙごとに、そのＫｅｙに対応付けられたＡＲ画像および認識情報を保持している。そこで、第２のサーバ３０２は、受信機２００からＫｅｙを受け取ると、そのＫｅｙに対応付けられたＡＲ画像および認識情報を選択し、その選択されたＡＲ画像および認識情報を受信機２００に送信する。これにより、受信機２００は、第２のサーバ３０２から送信されたＡＲ画像および認識情報を受信し、ＡＲ画像が重畳された撮像表示画像を表示する。
【１３１７】
図２３８は、本実施の形態における表示システムの他の例を示す図である。
【１３１８】
本実施の形態における表示システムは、例えば、上述の駅名標である送信機１００と、受信機２００と、第１のサーバ３０１と、第２のサーバ３０２とを備える。
【１３１９】
受信機２００は、上述のようにＡＲ画像が重畳された撮像表示画像を表示するために、まず、送信機１００から光ＩＤを受信する。次に、受信機２００は、その光ＩＤを第１のサーバ３０１に送信する。
【１３２０】
第１のサーバ３０１は、受信機２００から光ＩＤを受信すると、その受信された光ＩＤに対応付けられたＫｅｙを第２のサーバ３０２に通知する。
【１３２１】
第２のサーバ３０２は、Ｋｅｙごとに、そのＫｅｙに対応付けられたＡＲ画像および認識情報を保持している。そこで、第２のサーバ３０２は、第１のサーバ３０１からＫｅｙを受け取ると、そのＫｅｙに対応付けられたＡＲ画像および認識情報を選択し、その選択されたＡＲ画像および認識情報を、第１のサーバ３０１に送信する。第１のサーバ３０１は、第２のサーバ３０２からＡＲ画像および認識情報を受信すると、そのＡＲ画像および認識情報を受信機２００に送信する。これにより、受信機２００は、第１のサーバ３０１から送信されたＡＲ画像および認識情報を受信し、ＡＲ画像が重畳された撮像表示画像を表示する。
【１３２２】
なお、上述の例では、第２のサーバ３０２は、ＡＲ画像および認識情報を第１のサーバ３０１に送信したが、第１のサーバ３０１に送信することなく、受信機２００に送信してもよい。
【１３２３】
図２３９は、本実施の形態における受信機２００の処理動作の一例を示すフローチャートである。
【１３２４】
まず、受信機２００は、上述の通常露光時間および通信用露光時間による撮像を開始する（ステップＳ１０１）。そして、受信機２００は、通信用露光時間での撮像により得られる復号用画像に対する復号によって、光ＩＤを取得する（ステップＳ１０２）。次に、受信機２００は、その光ＩＤをサーバに送信する（ステップＳ１０３）。
【１３２５】
受信機２００は、送信された光ＩＤに対応するＡＲ画像と認識情報とをサーバから取得する（ステップＳ１０４）。次に、受信機２００は、通常露光時間の撮像により得られる撮像表示画像のうち、その認識情報に応じた領域を対象領域として認識する（ステップＳ１０５）。そして、受信機２００は、その対象領域にＡＲ画像を重畳し、そのＡＲ画像が重畳された撮像表示画像を表示する（ステップＳ１０６）。
【１３２６】
次に、受信機２００は、撮像と撮像表示画像の表示とを終了すべきか否かを判定する（ステップＳ１０７）。ここで、受信機２００は、終了すべきでないと判定すると（ステップＳ１０７のＮ）、さらに、受信機２００の加速度が閾値以上であるか否かを判定する（ステップＳ１０８）。この加速度は、受信機２００に備えられている加速度センサによって計測される。受信機２００は、加速度が閾値未満であると判定すると（ステップＳ１０８のＮ）、ステップＳ１０５からの処理を実行する。これにより、受信機２００のディスプレイ２０１に表示されている撮像表示画像がずれる場合であっても、その撮像表示画像の対象領域にＡＲ画像を追従させることができる。また、受信機２００は、加速度が閾値以上であると判定すると（ステップＳ１０８のＹ）、ステップＳ１０２からの処理を実行する。これにより、撮像表示画像に送信機１００が映らなくなった場合に、送信機１００と異なる被写体が映し出されている領域を誤って対象領域として認識してしまうことを抑えることができる。
【１３２７】
このように本実施の形態では、ＡＲ画像が撮像表示画像に重畳されて表示されるため、ユーザに有益な画像を表示することができる。さらに、処理負荷を抑えて適切な対象領域にＡＲ画像を重畳することができる。
【１３２８】
つまり、一般的な拡張現実（すなわちＡＲ）では、予め保存されている膨大な数の認識対象画像と、撮像表示画像とを比較することによって、その撮像表示画像に何れかの認識対象画像が含まれているか否かが判定される。そして、認識対象画像が含まれていると判定されれば、その認識対象画像に対応するＡＲ画像が撮像表示画像に重畳される。このとき、認識対象画像を基準にＡＲ画像の位置合わせが行われる。このように、一般的な拡張現実では、膨大な数の認識対象画像と撮像表示画像とを比較するため、さらに、位置合わせにおいても撮像表示画像における認識対象画像の位置検出が必要となるため、計算量が多く、処理負荷が高いという問題がある。
【１３２９】
しかし、本実施の形態にける表示方法では、被写体の撮像によって得られる復号用画像を復号することによって光ＩＤが取得される。つまり、被写体である送信機から送信された光ＩＤが受信される。さらに、この光ＩＤに対応するＡＲ画像と認識情報とがサーバから取得される。したがって、サーバでは、膨大な数の認識対象画像と撮像表示画像とを比較する必要がなく、光ＩＤに予め対応付けられているＡＲ画像を選択して表示装置に送信することができる。これにより、計算量を減らして処理負荷を大幅に抑えることができる。さらに、ＡＲ画像の表示処理を高速にすることができる。
【１３３０】
また、本実施の形態では、この光ＩＤに対応する認識情報がサーバから取得される。認識情報は、撮像表示画像においてＡＲ画像が重畳される領域である対象領域を認識するための情報である。この認識情報は、例えば白い四角形が対象領域であることを示す情報であってもよい。この場合には、対象領域を簡単に認識することができ、処理負荷をさらに抑えることができる。つまり、認識情報の内容に応じて、処理負荷をさらに抑えることができる。また、サーバでは、光ＩＤに応じてその認識情報の内容を任意に設定することができるため、処理負荷と認識精度とのバランスを適切に保つことができる。
【１３３１】
なお、本実施の形態では、受信機２００が光ＩＤをサーバに送信した後に、受信機２００がその光ＩＤに対応するＡＲ画像および認識情報をサーバから取得するが、ＡＲ画像および認識情報のうちの少なくとも一方を予め取得しておいてもよい。つまり、受信機２００は、受信される可能性のある複数の光ＩＤに対応する複数のＡＲ画像および複数の認識情報をまとめてサーバから取得して保存しておく。その後、受信機２００は、光ＩＤを受信すると、自らに保存されている複数のＡＲ画像および複数の認識情報から、その光ＩＤに対応するＡＲ画像および認識情報を選択する。これにより、ＡＲ画像の表示処理をさらに高速にすることができる。
【１３３２】
図２４０は、本実施の形態における受信機２００がＡＲ画像を表示する他の例を示す図である。
【１３３３】
送信機１００は、例えば図２４０に示すように、照明装置として構成され、施設の案内板１０１を照らしながら輝度変化することによって、光ＩＤを送信している。案内板１０１は、その送信機１００からの光によって照らされているため、送信機１００と同様に輝度変化し、光ＩＤを送信している。
【１３３４】
受信機２００は、送信機１００によって照らされた案内板１０１を撮像することによって、上述と同様に、撮像表示画像Ｐｂと復号用画像とを取得する。受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、受信機２００は、案内板１０１から光ＩＤを受信する。受信機２００は、その光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤに対応するＡＲ画像Ｐ２と認識情報とをサーバから取得する。受信機２００は、撮像表示画像Ｐｂのうち、その認識情報に応じた領域を対象領域として認識する。例えば、受信機２００は、案内板１０１における枠１０２が映し出されている領域を対象領域として認識する。この枠１０２は、施設の待ち時間を示すための枠である。そして、受信機２００は、その対象領域にＡＲ画像Ｐ２を重畳し、ＡＲ画像Ｐ２が重畳された撮像表示画像Ｐｂをディスプレイ２０１に表示する。例えば、ＡＲ画像Ｐ２は、文字列「３０分」を含む画像である。この場合、撮像表示画像Ｐｂの対象領域にそのＡＲ画像Ｐ２が重畳されるため、受信機２００は、待ち時間「３０分」が記載された案内板１０１が現実に存在するように、撮像表示画像Ｐｂを表示することができる。これにより、案内板１０１に特別な表示装置を備えることなく、受信機２００のユーザに待ち時間を簡単に、かつ、分かりやすく知らせることができる。
【１３３５】
図２４１は、本実施の形態における受信機２００がＡＲ画像を表示する他の例を示す図である。
【１３３６】
送信機１００は、例えば図２４１に示すように、２つの照明装置からなる。送信機１００は、施設の案内板１０４を照らしながら輝度変化することによって、光ＩＤを送信している。案内板１０４は、その送信機１００からの光によって照らされているため、送信機１００と同様に輝度変化し、光ＩＤを送信している。また、案内板１０４は、例えば「ＡＢＣランド」および「アドベンチャーランド」などの複数の施設の名称を示す。
【１３３７】
受信機２００は、送信機１００によって照らされた案内板１０４を撮像することによって、上述と同様に、撮像表示画像Ｐｃと復号用画像とを取得する。受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、受信機２００は、案内板１０４から光ＩＤを受信する。受信機２００は、その光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤに対応するＡＲ画像Ｐ３と認識情報とをサーバから取得する。受信機２００は、撮像表示画像Ｐｃのうち、その認識情報に応じた領域を対象領域として認識する。例えば、受信機２００は、案内板１０４が映し出されている領域を対象領域として認識する。そして、受信機２００は、その対象領域にＡＲ画像Ｐ３を重畳し、ＡＲ画像Ｐ３が重畳された撮像表示画像Ｐｃをディスプレイ２０１に表示する。例えば、ＡＲ画像Ｐ３は、複数の施設の名称を示す画像である。このＡＲ画像Ｐ３では、施設の待ち時間が長いほど、その施設の名称が小さく表示され、逆に、施設の待ち時間が短いほど、その施設の名称が大きく表示されている。この場合、撮像表示画像Ｐｃの対象領域にそのＡＲ画像Ｐ３が重畳されるため、受信機２００は、待ち時間に応じた大きさの各施設名称が記載された案内板１０４が現実に存在するように、撮像表示画像Ｐｃを表示することができる。これにより、案内板１０４に特別な表示装置を備えることなく、受信機２００のユーザに各施設の待ち時間を簡単に、かつ、分かりやすく知らせることができる。
【１３３８】
図２４２は、本実施の形態における受信機２００がＡＲ画像を表示する他の例を示す図である。
【１３３９】
送信機１００は、例えば図２４２に示すように、２つの照明装置からなる。送信機１００は、城壁１０５を照らしながら輝度変化することによって、光ＩＤを送信している。城壁１０５は、その送信機１００からの光によって照らされているため、送信機１００と同様に輝度変化し、光ＩＤを送信している。また、城壁１０５には、例えば、キャラクターの顔を模った小さいマークが隠れキャラクター１０６として刻まれている。
【１３４０】
受信機２００は、送信機１００によって照らされた城壁１０５を撮像することによって、上述と同様に、撮像表示画像Ｐｄと復号用画像とを取得する。受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、受信機２００は、城壁１０５から光ＩＤを受信する。受信機２００は、その光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤに対応するＡＲ画像Ｐ４と認識情報とをサーバから取得する。受信機２００は、撮像表示画像Ｐｄのうち、その認識情報に応じた領域を対象領域として認識する。例えば、受信機２００は、城壁１０５のうち隠れキャラクター１０６を含む範囲が映し出されている領域を対象領域として認識する。そして、受信機２００は、その対象領域にＡＲ画像Ｐ４を重畳し、ＡＲ画像Ｐ４が重畳された撮像表示画像Ｐｄをディスプレイ２０１に表示する。例えば、ＡＲ画像Ｐ４は、キャラクターの顔を模った画像である。このＡＲ画像Ｐ４は、撮像表示画像Ｐｄに映し出されている隠れキャラクター１０６よりも十分に大きい画像である。この場合、撮像表示画像Ｐｄの対象領域にそのＡＲ画像Ｐ４が重畳されるため、受信機２００は、キャラクターの顔を模った大きなマークが刻まれた城壁１０５が現実に存在するように、撮像表示画像Ｐｄを表示することができる。これにより、受信機２００のユーザに、隠れキャラクター１０６の位置を分かりやすく知らせることができる。
【１３４１】
図２４３は、本実施の形態における受信機２００がＡＲ画像を表示する他の例を示す図である。
【１３４２】
送信機１００は、例えば図２４３に示すように、２つの照明装置からなる。送信機１００は、施設の案内板１０７を照らしながら輝度変化することによって、光ＩＤを送信している。案内板１０７は、その送信機１００からの光によって照らされているため、送信機１００と同様に輝度変化し、光ＩＤを送信している。また、案内板１０７の隅の複数箇所には、赤外線遮断塗料１０８が塗布されている。
【１３４３】
受信機２００は、送信機１００によって照らされた案内板１０７を撮像することによって、上述と同様に、撮像表示画像Ｐｅと復号用画像とを取得する。受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、受信機２００は、案内板１０７から光ＩＤを受信する。受信機２００は、その光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤに対応するＡＲ画像Ｐ５と認識情報とをサーバから取得する。受信機２００は、撮像表示画像Ｐｅのうち、その認識情報に応じた領域を対象領域として認識する。例えば、受信機２００は、案内板１０７が映し出されている領域を対象領域として認識する。
【１３４４】
具体的には、認識情報には、複数箇所の赤外線遮断塗料１０８に外接する矩形が対象領域であることが示されている。また、赤外線遮断塗料１０８は、送信機１００から照射される光に含まれる赤外線を遮断する。したがって、受信機２００のイメージセンサには、赤外線遮断塗料１０８がその周辺よりも暗い像として認識される。受信機２００は、それぞれ暗い像として現れる複数箇所の赤外線遮断塗料１０８に外接する矩形を対象領域として認識する。
【１３４５】
そして、受信機２００は、その対象領域にＡＲ画像Ｐ５を重畳し、ＡＲ画像Ｐ５が重畳された撮像表示画像Ｐｅをディスプレイ２０１に表示する。例えば、ＡＲ画像Ｐ５は、案内板１０７の施設において行われる催しのスケジュールを示す。この場合、撮像表示画像Ｐｅの対象領域にそのＡＲ画像Ｐ５が重畳されるため、受信機２００は、催しのスケジュールが記載された案内板１０７が現実に存在するように、撮像表示画像Ｐｅを表示することができる。これにより、案内板１０７に特別な表示装置を備えることなく、受信機２００のユーザに施設の催しのスケジュールを分かりやすく知らせることができる。
【１３４６】
なお、案内板１０７には、赤外線遮断塗料１０８の代わりに、赤外線反射塗料が塗布されていてもよい。赤外線反射塗料は、送信機１００から照射される光に含まれる赤外線を反射する。したがって、受信機２００のイメージセンサには、赤外線反射塗料がその周辺よりも明るい像として認識される。つまり、この場合には、受信機２００は、それぞれ明るい像として現れる複数箇所の赤外線反射塗料に外接する矩形を対象領域として認識する。
【１３４７】
図２４４は、本実施の形態における受信機２００がＡＲ画像を表示する他の例を示す図である。
【１３４８】
送信機１００は、駅名標として構成され、駅出口案内板１１０の近くに配置されている。駅出口案内板１１０は、光源を備えて発光しているが、送信機１００とは異なり、光ＩＤを送信しない。
【１３４９】
受信機２００が送信機１００および駅出口案内板１１０を撮像することによって撮像表示画像Ｐｐｒｅおよび復号用画像Ｐｄｅｃを取得する。送信機１００は輝度変化し、駅出口案内板１１０は発光しているため、その復号用画像Ｐｄｅｃには、送信機１００に対応する輝線パターン領域Ｐｄｅｃ１と、駅出口案内板１１０に対応する明領域Ｐｄｅｃ２とが現れる。輝線パターン領域Ｐｄｅｃ１は、受信機２００のイメージセンサが有する複数の露光ラインの通信用露光時間での露光によって現れる複数の輝線のパターンからなる領域である。
【１３５０】
ここで、識別情報は、上述のように、撮像表示画像Ｐｐｒｅのうちの基準領域Ｐｂａｓを特定するための基準情報と、その基準領域Ｐｂａｓに対する対象領域Ｐｔａｒの相対位置を示す対象情報とを含んでいる。例えば、その基準情報は、撮像表示画像Ｐｐｒｅにおける基準領域Ｐｂａｓの位置が、復号用画像Ｐｄｅｃにおける輝線パターン領域Ｐｄｅｃ１の位置と同じであることを示す。さらに、対象情報は、対象領域の位置が基準領域の位置であることを示す。
【１３５１】
したがって、受信機２００は、基準情報に基づいて撮像表示画像Ｐｐｒｅから基準領域Ｐｂａｓを特定する。つまり、受信機２００は、撮像表示画像Ｐｐｒｅにおいて、復号用画像Ｐｄｅｃにおける輝線パターン領域Ｐｄｅｃ１の位置と同一の位置にある領域を、基準領域Ｐｂａｓとして特定する。さらに、受信機２００は、撮像表示画像Ｐｐｒｅのうち、基準領域Ｐｂａｓの位置を基準として対象情報により示される相対位置にある領域を、対象領域Ｐｔａｒとして認識する。上述の例では、対象情報は、対象領域Ｐｔａｒの位置が基準領域Ｐｂａｓの位置であることを示すため、受信機２００は、撮像表示画像Ｐｐｒｅのうちの基準領域Ｐｂａｓを対象領域Ｐｔａｒとして認識する。
【１３５２】
そして、受信機２００は、撮像表示画像Ｐｐｒｅにおける対象領域ＰｔａｒにＡＲ画像Ｐ１を重畳する。
【１３５３】
このように、上述の例では、対象領域Ｐｔａｒを認識するために、輝線パターン領域Ｐｄｅｃ１を利用している。一方、輝線パターン領域Ｐｄｅｃ１を利用せずに、撮像表示画像Ｐｐｒｅだけから、送信機１００が映し出されている領域を、対象領域Ｐｔａｒとして認識しようとする場合には、誤認識が生じる可能性がある。つまり、撮像表示画像Ｐｐｒｅのうちの、送信機１００が映し出されている領域ではなく、駅出口案内板１１０が映し出されている領域を、対象領域Ｐｔａｒとして誤認識してしまう可能性がある。これは、撮像表示画像Ｐｐｒｅにおける、送信機１００の画像と駅出口案内板１１０の画像とが似ているからである。しかし、上述の例のように、輝線パターン領域Ｐｄｅｃ１を利用する場合には、誤認識の発生を抑えて、正確に対象領域Ｐｔａｒを認識することができる。
【１３５４】
図２４５は、本実施の形態における受信機２００がＡＲ画像を表示する他の例を示す図である。
【１３５５】
図２４４に示す例では、送信機１００は、駅名標の全体を輝度変化させることによって光ＩＤを送信し、対象情報は、対象領域の位置が基準領域の位置であることを示している。しかし、本実施の形態では、送信機１００は、駅名標の全体を輝度変化させることなく、駅名標の外枠の一部に配置された発光素子を輝度変化させることによって光ＩＤを送信してもよい。また、対象情報は、基準領域Ｐｂａｓに対する対象領域Ｐｔａｒの相対位置を示していればよく、例えば、対象領域Ｐｔａｒの位置が基準領域Ｐｂａｓの上（具体的には、鉛直方向上向き）であることを示していてもよい。
【１３５６】
図２４５に示す例では、送信機１００は、駅名標の外枠下部に水平方向に沿って配置された複数の発光素子を輝度変化させることによって光ＩＤを送信する。また、対象情報は、対象領域Ｐｔａｒの位置が基準領域Ｐｂａｓの上であることを示す。
【１３５７】
このような場合、受信機２００は、基準情報に基づいて撮像表示画像Ｐｐｒｅから基準領域Ｐｂａｓを特定する。つまり、受信機２００は、撮像表示画像Ｐｐｒｅにおいて、復号用画像Ｐｄｅｃにおける輝線パターン領域Ｐｄｅｃ１の位置と同一の位置にある領域を、基準領域Ｐｂａｓとして特定する。具体的には、受信機２００は、水平方向に長く垂直方向に短い矩形状の基準領域Ｐｂａｓを特定する。さらに、受信機２００は、撮像表示画像Ｐｐｒｅのうち、基準領域Ｐｂａｓの位置を基準として対象情報により示される相対位置にある領域を、対象領域Ｐｔａｒとして認識する。つまり、受信機２００は、撮像表示画像Ｐｐｒｅのうちの基準領域Ｐｂａｓよりも上にある領域を、対象領域Ｐｔａｒとして認識する。なお、このときには、受信機２００は、自らに備えられている加速度センサによって計測される重力方向に基づいて、基準領域Ｐｂａｓよりも上の向きを特定する。
【１３５８】
なお、対象情報は、対象領域Ｐｔａｒの相対位置だけでなく、対象領域Ｐｔａｒのサイズ、形状およびアスペクト比を示してもよい。この場合、受信機２００は、対象情報によって示されるサイズ、形状およびアスペクト比の対象領域Ｐｔａｒを認識する。また、受信機２００は、基準領域Ｐｂａｓのサイズに基づいて、対象領域Ｐｔａｒのサイズを決定してもよい。
【１３５９】
図２４６は、本実施の形態における受信機２００の処理動作の他の例を示すフローチャートである。
【１３６０】
受信機２００は、図２３９に示す例と同様に、ステップＳ１０１〜Ｓ１０４の処理を実行する。
【１３６１】
次に、受信機２００は、復号用画像Ｐｄｅｃから輝線パターン領域Ｐｄｅｃ１を特定する（ステップＳ１１１）。次に、受信機２００は、撮像表示画像Ｐｐｒｅから、その輝線パターン領域Ｐｄｅｃ１に対応する基準領域Ｐｂａｓを特定する（ステップＳ１１２）。そして、受信機２００は、認識情報（具体的には対象情報）とその基準領域Ｐｂａｓとに基づいて、撮像表示画像Ｐｐｒｅから対象領域Ｐｔａｒを認識する（ステップＳ１１３）。
【１３６２】
次に、受信機２００は、図２３９に示す例と同様に、撮像表示画像Ｐｐｒｅの対象領域ＰｔａｒにＡＲ画像を重畳し、そのＡＲ画像が重畳された撮像表示画像Ｐｐｒｅを表示する（ステップＳ１０６）。そして、受信機２００は、撮像と撮像表示画像Ｐｐｒｅの表示とを終了すべきか否かを判定する（ステップＳ１０７）。ここで、受信機２００は、終了すべきでないと判定すると（ステップＳ１０７のＮ）、さらに、受信機２００の加速度が閾値以上であるか否かを判定する（ステップＳ１１４）。この加速度は、受信機２００に備えられている加速度センサによって計測される。受信機２００は、加速度が閾値未満であると判定すると（ステップＳ１１４のＮ）、ステップＳ１１３からの処理を実行する。これにより、受信機２００のディスプレイ２０１に表示されている撮像表示画像Ｐｐｒｅがずれる場合であっても、その撮像表示画像Ｐｐｒｅの対象領域ＰｔａｒにＡＲ画像を追従させることができる。また、受信機２００は、加速度が閾値以上であると判定すると（ステップＳ１１４のＹ）、ステップＳ１１１またはステップＳ１０２からの処理を実行する。これにより、送信機１００と異なる被写体（例えば、駅出口案内板１１０）が映し出されている領域を誤って対象領域Ｐｔａｒとして認識してしまうことを抑えることができる。
【１３６３】
図２４７は、本実施の形態における受信機２００がＡＲ画像を表示する他の例を示す図である。
【１３６４】
受信機２００は、表示されている撮像表示画像ＰｐｒｅにおけるＡＲ画像Ｐ１がタップされると、そのＡＲ画像Ｐ１を拡大して表示する。または、受信機２００は、タップされると、ＡＲ画像Ｐ１に示されている内容よりも詳細な内容を示す新たなＡＲ画像を、そのＡＲ画像Ｐ１の代わりに表示してもよい。また、ＡＲ画像Ｐ１が、複数ページからなる情報誌の１ページ分の情報を示す場合には、受信機２００は、ＡＲ画像Ｐ１のページの次のページの情報を示す新たなＡＲ画像を、そのＡＲ画像Ｐ１の代わりに表示してもよい。または、受信機２００は、タップされると、そのＡＲ画像Ｐ１に関連する動画像を新たなＡＲ画像として、そのＡＲ画像Ｐ１の代わりに表示してもよい。このとき、受信機２００は、対象領域Ｐｔａｒからオブジェクト（図２４７の例では紅葉）が出ていくような動画像をＡＲ画像として表示してもよい。
【１３６５】
図２４８は、本実施の形態における受信機２００の撮像によって取得される撮像表示画像Ｐｐｒｅおよび復号用画像Ｐｄｅｃを示す図である。
【１３６６】
受信機２００は、撮像しているときには、例えば図２４８の（ａ１）に示すように、３０ｆｐｓのフレームレートで撮像表示画像Ｐｐｒｅおよび復号用画像Ｐｄｅｃなどの撮像画像を取得する。具体的には、受信機２００は、時刻ｔ１に撮像表示画像Ｐｐｒｅ「Ａ」を取得し、時刻ｔ２に復号用画像Ｐｄｅｃを取得し、時刻ｔ３に撮像表示画像Ｐｐｒｅ「Ｂ」を取得するように、撮像表示画像Ｐｐｒｅと復号用画像Ｐｄｅｃとを交互に取得する。
【１３６７】
また、受信機２００は、撮像画像を表示しているときには、撮像画像のうち撮像表示画像Ｐｐｒｅのみを表示し、復号用画像Ｐｄｅｃを表示しない。つまり、受信機２００は、図２４８の（ａ２）に示すように、復号用画像Ｐｄｅｃを取得するときには、その復号用画像Ｐｄｅｃの代わりに、直前に取得された撮像表示画像Ｐｐｒｅを表示する。具体的には、受信機２００は、時刻ｔ１には、取得された撮像表示画像Ｐｐｒｅ「Ａ」を表示し、時刻ｔ２には、時刻ｔ１で取得された撮像表示画像Ｐｐｒｅ「Ａ」を再び表示する。これにより、受信機２００は、１５ｆｐｓのフレームレートで撮像表示画像Ｐｐｒｅを表示する。
【１３６８】
ここで、図２４８の（ａ１）に示す例では、受信機２００は、撮像表示画像Ｐｐｒｅと復号用画像Ｐｄｅｃとを交互に取得するが、本実施の形態におけるこれらの画像の取得形態は、このような形態に限らない。つまり、受信機２００は、Ｎ（Ｎは１以上の整数）枚の復号用画像Ｐｄｅｃを連続して取得し、その後、Ｍ（Ｍは１以上の整数）枚の撮像表示画像Ｐｐｒｅを連続して取得することを繰り返してもよい。
【１３６９】
また、受信機２００は、取得される撮像画像を、撮像表示画像Ｐｐｒｅと復号用画像Ｐｄｅｃとに切り替える必要があり、この切り替えに時間がかかってしまうことがある。そこで、図２４８の（ｂ１）に示すように、受信機２００は、撮像表示画像Ｐｐｒｅの取得と、復号用画像Ｐｄｅｃの取得と間の切り替え時において、切り替え期間を設けてもよい。具体的には、受信機２００は、時刻ｔ３に復号用画像Ｐｄｅｃを取得すると、時刻ｔ３〜ｔ５までの切り替え期間において、撮像画像を切り替えるための処理を実行し、時刻ｔ５に撮像表示画像Ｐｐｒｅ「Ａ」を取得する。その後、受信機２００は、時刻ｔ５〜ｔ７までの切り替え期間において、撮像画像を切り替えるための処理を実行し、時刻ｔ７に復号用画像Ｐｄｅｃを取得する。
【１３７０】
このように切り替え期間が設けられた場合、受信機２００は、図２４８の（ｂ２）に示すように、切り替え期間では、直前に取得された撮像表示画像Ｐｐｒｅを表示する。したがって、この場合には、受信機２００における撮像表示画像Ｐｐｒｅの表示のフレームレートは低く、例えば３ｆｐｓとなる。このようにフレームレートが低い場合には、ユーザが受信機２００を動かしても、表示されている撮像表示画像Ｐｐｒｅがその受信機２００の動きに応じて移動しないことがある。つまり、撮像表示画像Ｐｐｒｅはライブビューとして表示されない。そこで、受信機２００は、撮像表示画像Ｐｐｒｅを受信機２００の動きに応じて移動させてもよい。
【１３７１】
図２４９は、本実施の形態における受信機２００に表示される撮像表示画像Ｐｐｒｅの一例を示す図である。
【１３７２】
受信機２００は、例えば図２４９の（ａ）に示すように、撮像によって得られた撮像表示画像Ｐｐｒｅをディスプレイ２０１に表示する。ここで、ユーザが受信機２００を左側に動かす。このとき、受信機２００による撮像によって新たな撮像表示画像Ｐｐｒｅが取得されない場合、受信機２００は、図２４９の（ｂ）に示すように、表示されている撮像表示画像Ｐｐｒｅを右側に移動させる。つまり、受信機２００は、加速度センサを備え、その加速度センサによって計測される加速度に応じて、受信機２００の動きに整合するように、表示されている撮像表示画像Ｐｐｒｅを移動させる。これにより、受信機２００は、撮像表示画像Ｐｐｒｅを擬似的にライブビューとして表示することができる。
【１３７３】
図２５０は、本実施の形態における受信機２００の処理動作の他の例を示すフローチャートである。
【１３７４】
受信機２００は、まず、上述と同様に、撮像表示画像Ｐｐｒｅの対象領域ＰｔａｒにＡＲ画像を重畳して、その対象領域Ｐｔａｒに追従させる（ステップＳ１２２）。つまり、撮像表示画像Ｐｐｒｅにおける対象領域Ｐｔａｒと共に移動するＡＲ画像が表示される。そして、受信機２００は、ＡＲ画像の表示を維持するか否かを判定する（ステップＳ１２２）。ここで、ＡＲ画像の表示を維持しないと判定すると（ステップＳ１２２のＮ）、受信機２００は、撮像によって新たな光ＩＤを取得すれば、その光ＩＤに対応する新たなＡＲ画像を撮像表示画像Ｐｐｒｅに重畳して表示する（ステップＳ１２３）。
【１３７５】
一方、ＡＲ画像の表示を維持すると判定すると（ステップＳ１２２のＹ）、受信機２００は、ステップＳ１２１からの処理を繰り返し実行させる。このときには、受信機２００は、他のＡＲ画像を取得していても他のＡＲ画像を表示しない。または、受信機２００は、新たな復号用画像Ｐｄｅｃを取得していても、その復号用画像Ｐｄｅｃに対する復号によって光ＩＤを取得することは行わない。このときには、復号にかかる消費電力を抑えることができる。
【１３７６】
このように、ＡＲ画像の表示を維持することによって、表示されているそのＡＲ画像が消去されたり、他のＡＲ画像の表示によって見え難くなってしまうことを抑えることができる。つまり、表示されているＡＲ画像をユーザに見え易くすることができる。
【１３７７】
例えば、ステップＳ１２２では、受信機２００は、ＡＲ画像が表示されてから予め定められた期間（一定期間）が経過するまでは、ＡＲ画像の表示を維持すると判定する。つまり、受信機２００は、撮像表示画像Ｐｐｒｅを表示するときには、ステップＳ１２１で重畳されているＡＲ画像である第１のＡＲ画像と異なる第２のＡＲ画像の表示を抑制しながら、予め定められた表示期間だけ、その第１のＡＲ画像を表示する。受信機２００は、この表示期間には、新たに取得される復号用画像Ｐｄｅｃに対する復号を禁止してもよい。
【１３７８】
これにより、ユーザが一度表示された第１のＡＲ画像を見ているときに、その第１のＡＲ画像がそれとは異なる第２のＡＲ画像にすぐに置き換わってしまうことを抑えることができる。さらに、新たに取得される復号用画像Ｐｄｅｃの復号は、第２のＡＲ画像の表示が抑制されているときには無駄な処理であるため、その復号を禁止することによって、消費電力を抑えることができる。
【１３７９】
または、ステップＳ１２２では、受信機２００は、フェイスカメラを備え、そのフェイスカメラによる撮像結果に基づいて、ユーザの顔が近付いていることを検出すると、ＡＲ画像の表示を維持すると判定してもよい。つまり、受信機２００は、撮像表示画像Ｐｐｒｅを表示するときには、さらに、受信機２００に備えられたフェイスカメラによる撮像によって、受信機２００にユーザの顔が近づいている否かを判定する。そして、受信機２００は、顔が近づいていると判定すると、ステップＳ１２１で重畳されているＡＲ画像である第１のＡＲ画像と異なる第２のＡＲ画像の表示を抑制しながら、その第１のＡＲ画像を表示する。
【１３８０】
または、ステップＳ１２２では、受信機２００は、加速度センサを備え、その加速度センサによる計測結果に基づいて、ユーザの顔が近付いていることを検出すると、ＡＲ画像の表示を維持すると判定してもよい。つまり、受信機２００は、撮像表示画像Ｐｐｒｅを表示するときには、さらに、加速度センサによって計測される受信機２００の加速度によって、受信機２００にユーザの顔が近づいている否かを判定する。例えば、加速度センサによって計測される受信機２００の加速度が、受信機２００のディスプレイ２０１に対して垂直外向きの方向に正の値を示す場合に、受信機２００はユーザの顔が近付いていると判定する。そして、受信機２００は、顔が近づいていると判定すると、ステップＳ１２１で重畳されているＡＲ画像である第１の拡張現実画像と異なる第２のＡＲ画像の表示を抑制しながら、その第１のＡＲ画像を表示する。
【１３８１】
これにより、ユーザが第１のＡＲ画像を見ようとして受信機２００に顔を近づけているときに、その第１のＡＲ画像がそれとは異なる第２のＡＲ画像に置き換わってしまうことを抑えることができる。
【１３８２】
または、ステップＳ１２２では、受信機２００は、その受信機２００に備えられているロックボタンが押下されると、ＡＲ画像の表示を維持すると判定してもよい。
【１３８３】
また、ステップＳ１２２では、受信機２００は、上述の一定期間（すなわち表示期間）が経過すると、ＡＲ画像の表示を維持しないと判定する。また、受信機２００は、上述の一定期間が経過していない場合であっても、加速度センサによって閾値以上の加速度が計測されたときには、ＡＲ画像の表示を維持しないと判定する。つまり、受信機２００は、撮像表示画像Ｐｐｒｅを表示するときには、さらに、上述の表示期間において、受信機２００の加速度を加速度センサによって計測し、計測された加速度が閾値以上か否かを判定する。そして、受信機２００は、閾値以上と判定したときには、第２のＡＲ画像の表示の抑制を解除することによって、ステップＳ１２３において、第１のＡＲ画像の代わりに第２のＡＲ画像を表示する。
【１３８４】
これにより、閾値以上の表示装置の加速度が計測されたときに、第２のＡＲ画像の表示の抑制が解除される。したがって、例えば、ユーザが他の被写体にイメージセンサを向けようとして受信機２００を大きく動かしたときには、第２のＡＲ画像を直ぐに表示することができる。
【１３８５】
図２５１は、本実施の形態における受信機２００がＡＲ画像を表示する他の例を示す図である。
【１３８６】
送信機１００は、例えば図２５１に示すように、照明装置として構成され、小さい人形用のステージ１１１を照らしながら輝度変化することによって、光ＩＤを送信している。ステージ１１１は、その送信機１００からの光によって照らされているため、送信機１００と同様に輝度変化し、光ＩＤを送信している。
【１３８７】
２つの受信機２００は、送信機１００によって照らされたステージ１１１を左右から撮像する。
【１３８８】
２つの受信機２００のうちの左側の受信機２００は、送信機１００によって照らされたステージ１１１を左側から撮像することによって、上述と同様に、撮像表示画像Ｐｆと復号用画像とを取得する。左側の受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、左側の受信機２００は、ステージ１１１から光ＩＤを受信する。左側の受信機２００は、その光ＩＤをサーバに送信する。そして、左側の受信機２００は、その光ＩＤに対応する三次元のＡＲ画像と認識情報とをサーバから取得する。この三次元のＡＲ画像は、例えば人形を立体的に表示するための画像である。左側の受信機２００は、撮像表示画像Ｐｆのうち、その認識情報に応じた領域を対象領域として認識する。例えば、左側の受信機２００は、ステージ１１１中央の上側の領域を対象領域として認識する。
【１３８９】
次に、左側の受信機２００は、撮像表示画像Ｐｆに映し出されているステージ１１１の向きに基づいて、その向きに応じた二次元のＡＲ画像Ｐ６ａを三次元のＡＲ画像から生成する。そして、左側の受信機２００は、その対象領域に二次元のＡＲ画像Ｐ６ａを重畳し、ＡＲ画像Ｐ６ａが重畳された撮像表示画像Ｐｆをディスプレイ２０１に表示する。この場合、撮像表示画像Ｐｆの対象領域にその二次元のＡＲ画像Ｐ６ａが重畳されるため、左側の受信機２００は、ステージ１１１上に人形が現実に存在するように、撮像表示画像Ｐｆを表示することができる。
【１３９０】
同様に、２つの受信機２００のうちの右側の受信機２００は、送信機１００によって照らされたステージ１１１を右側から撮像することによって、上述と同様に、撮像表示画像Ｐｇと復号用画像とを取得する。右側の受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、右側の受信機２００は、ステージ１１１から光ＩＤを受信する。右側の受信機２００は、その光ＩＤをサーバに送信する。そして、右側の受信機２００は、その光ＩＤに対応する三次元のＡＲ画像と認識情報とをサーバから取得する。右側の受信機２００は、撮像表示画像Ｐｇのうち、その認識情報に応じた領域を対象領域として認識する。例えば、右側の受信機２００は、ステージ１１１中央の上側の領域を対象領域として認識する。
【１３９１】
次に、右側の受信機２００は、撮像表示画像Ｐｇに映し出されているステージ１１１の向きに基づいて、その向きに応じた二次元のＡＲ画像Ｐ６ｂを三次元のＡＲ画像から生成する。そして、右側の受信機２００は、その対象領域に二次元のＡＲ画像Ｐ６ｂを重畳し、ＡＲ画像Ｐ６ｂが重畳された撮像表示画像Ｐｇをディスプレイ２０１に表示する。この場合、撮像表示画像Ｐｇの対象領域にその二次元のＡＲ画像Ｐ６ｂが重畳されるため、右側の受信機２００は、ステージ１１１上に人形が現実に存在するように、撮像表示画像Ｐｇを表示することができる。
【１３９２】
このように、２つの受信機２００は、ステージ１１１上の同じ位置に、ＡＲ画像Ｐ６ａおよびＰ６ｂを表示する。また、これらのＡＲ画像Ｐ６ａおよびＰ６ｂは、仮想的な人形が実際に所定の方向を向いているように、受信機２００の向きに応じて生成されている。したがって、ステージ１１１のどの方向から撮像しても、ステージ１１１上に人形が現実に存在するように、撮像表示画像を表示することができる。
【１３９３】
なお、上述の例では、受信機２００は、三次元のＡＲ画像から、受信機２００とステージ１１１との間の位置関係に応じた二次元のＡＲ画像を生成したが、その二次元のＡＲ画像をサーバから取得してもよい。つまり、受信機２００は、光ＩＤと共に、その位置関係を示す情報をサーバに送信し、三次元のＡＲ画像の代わりに、その二次元のＡＲ画像をサーバから取得する。これにより、受信機２００の負担を軽減することができる。
【１３９４】
図２５２は、本実施の形態における受信機２００がＡＲ画像を表示する他の例を示す図である。
【１３９５】
送信機１００は、例えば図２５２に示すように、照明装置として構成され、円柱状の構造物１１２を照らしながら輝度変化することによって、光ＩＤを送信している。構造物１１２は、その送信機１００からの光によって照らされているため、送信機１００と同様に輝度変化し、光ＩＤを送信している。
【１３９６】
受信機２００は、送信機１００によって照らされた構造物１１２を撮像することによって、上述と同様に、撮像表示画像Ｐｈと復号用画像とを取得する。受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、受信機２００は、構造物１１２から光ＩＤを受信する。受信機２００は、その光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤに対応するＡＲ画像Ｐ７と認識情報とをサーバから取得する。受信機２００は、撮像表示画像Ｐｈのうち、その認識情報に応じた領域を対象領域として認識する。例えば、受信機２００は、構造物１１２の中央部が映し出されている領域を対象領域として認識する。そして、受信機２００は、その対象領域にＡＲ画像Ｐ７を重畳し、ＡＲ画像Ｐ７が重畳された撮像表示画像Ｐｈをディスプレイ２０１に表示する。例えば、ＡＲ画像Ｐ７は、文字列「ＡＢＣＤ」を含む画像であって、その文字列は構造物１１２の中央部の曲面に合わせて歪んでいる。この場合、撮像表示画像Ｐｈの対象領域にその歪んだ文字列を含むＡＲ画像Ｐ２が重畳されるため、受信機２００は、構造物１１２に対して描かれた文字列が現実に存在するように、撮像表示画像Ｐｈを表示することができる。
【１３９７】
図２５３は、本実施の形態における受信機２００がＡＲ画像を表示する他の例を示す図である。
【１３９８】
送信機１００は、例えば図２５３に示すように、飲食店のメニュー１１３を照らしながら輝度変化することによって、光ＩＤを送信している。メニュー１１３は、その送信機１００からの光によって照らされているため、送信機１００と同様に輝度変化し、光ＩＤを送信している。また、メニュー１１３は、例えば「ＡＢＣスープ」、「ＸＹＺサラダ」および「ＫＬＭランチ」などの複数の料理の名称を示す。
【１３９９】
受信機２００は、送信機１００によって照らされたメニュー１１３を撮像することによって、上述と同様に、撮像表示画像Ｐｉと復号用画像とを取得する。受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、受信機２００は、メニュー１１３から光ＩＤを受信する。受信機２００は、その光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤに対応するＡＲ画像Ｐ８と認識情報とをサーバから取得する。受信機２００は、撮像表示画像Ｐｉのうち、その認識情報に応じた領域を対象領域として認識する。例えば、受信機２００は、メニュー１１３が映し出されている領域を対象領域として認識する。そして、受信機２００は、その対象領域にＡＲ画像Ｐ８を重畳し、ＡＲ画像Ｐ８が重畳された撮像表示画像Ｐｉをディスプレイ２０１に表示する。例えば、ＡＲ画像Ｐ８は、複数の料理のそれぞれに使われている食材をマークで示す画像である。例えば、ＡＲ画像Ｐ８は、卵が使われている料理「ＸＹＺサラダ」に対しては、卵を模ったマークを示し、豚肉が使われている料理「ＫＬＭランチ」に対しては、豚を模ったマークを示す。この場合、撮像表示画像Ｐｉの対象領域にそのＡＲ画像Ｐ８が重畳されるため、受信機２００は、食材のマークが付されたメニュー１１３が現実に存在するように、撮像表示画像Ｐｉを表示することができる。これにより、メニュー１１３に特別な表示装置を備えることなく、受信機２００のユーザに各料理の食材を簡単に、かつ、分かりやすく知らせることができる。
【１４００】
また、受信機２００は、複数のＡＲ画像を取得して、ユーザによって設定されたユーザ情報に基づいて、それらの複数のＡＲ画像からユーザに適したＡＲ画像を選択し、そのＡＲ画像を重畳してもよい。例えば、ユーザが卵にアレルギー反応を示すことがユーザ情報に示されていれば、受信機２００は、卵が使われた料理に対して卵のマークが付されたＡＲ画像を選択する。また、豚肉の摂取が禁止されていることがユーザ情報に示されていれば、受信機２００は、豚肉が使われた料理に対して豚のマークが付されたＡＲ画像を選択する。または、受信機２００は、光ＩＤと共に、そのユーザ情報をサーバに送信し、その光ＩＤとユーザ情報に応じたＡＲ画像をサーバから取得してもよい。これにより、ユーザごとに、そのユーザに対して喚起を促すメニューを表示することができる。
【１４０１】
図２５４は、本実施の形態における受信機２００がＡＲ画像を表示する他の例を示す図である。
【１４０２】
送信機１００は、例えば図２５４に示すように、テレビとして構成され、ディスプレイに映像を表示しながら輝度変化することによって、光ＩＤを送信している。また、送信機１００の近傍には、通常のテレビ１１４が配置されている。テレビ１１４は、ディスプレイに映像を表示しているが、光ＩＤを送信していない。
【１４０３】
受信機２００は、例えば送信機１００とともにテレビ１１４を撮像することによって、上述と同様に、撮像表示画像Ｐｊと復号用画像とを取得する。受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、受信機２００は、送信機１００から光ＩＤを受信する。受信機２００は、その光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤに対応するＡＲ画像Ｐ９と認識情報とをサーバから取得する。受信機２００は、撮像表示画像Ｐｊのうち、その認識情報に応じた領域を対象領域として認識する。
【１４０４】
例えば、受信機２００は、復号用画像の輝線パターン領域を利用することによって、撮像表示画像Ｐｊにおいて、光ＩＤを送信している送信機１００が映し出されている領域の下部を第１の対象領域として認識する。なお、このとき、認識情報に含まれる基準情報は、撮像表示画像Ｐｊにおける基準領域の位置が、復号用画像における輝線パターン領域の位置と同じであることを示す。さらに、認識情報に含まれる対象情報は、その基準領域の下部に対象領域があることを示す。受信機２００は、このような認識情報を用いて上述の第１の対象領域を認識している。
【１４０５】
さらに、受信機２００は、撮像表示画像Ｐｊの下部において予め位置が固定されている領域を第２の対象領域として認識する。第２の対象領域は、第１の対象領域よりも大きい。なお、認識情報に含まれる対象情報は、さらに、第１の対象領域の位置だけでなく、上述のような第２の対象領域の位置およびサイズも示している。受信機２００は、このような認識情報を用いて上述の第２の対象領域を認識している。
【１４０６】
そして、受信機２００は、その第１の対象領域および第２の対象領域にＡＲ画像Ｐ９を重畳し、ＡＲ画像Ｐ８が重畳された撮像表示画像Ｐｊをディスプレイ２０１に表示する。このＡＲ画像Ｐ９の重畳では、受信機２００は、そのＡＲ画像Ｐ９のサイズを第１の対象領域のサイズに合わせ、サイズ調整されたＡＲ画像Ｐ９をその第１の対象領域に重畳する。さらに、受信機２００は、ＡＲ画像Ｐ９のサイズを第２の対象領域のサイズに合わせ、サイズ調整されたＡＲ画像Ｐ９をその第２の対象領域に重畳する。
【１４０７】
例えば、ＡＲ画像Ｐ９は、送信機１００の映像に対する字幕を示す。また、ＡＲ画像Ｐ９の字幕の言語は、受信機２００に設定登録されているユーザ情報に応じた言語である。つまり、受信機２００は、光ＩＤをサーバに送信するときに、そのユーザ情報（例えば、ユーザの国籍または使用言語などを示す情報）もサーバに送信する。そして、受信機２００は、そのユーザ情報に応じた言語の字幕を示すＡＲ画像Ｐ９を取得する。または、受信機２００は、それぞれ異なる言語の字幕を示す複数のＡＲ画像Ｐ９を取得し、設定登録されているユーザ情報に応じて、それらの複数のＡＲ画像Ｐ９から、重畳に使用されるＡＲ画像Ｐ９を選択してもよい。
【１４０８】
言い換えれば、図２５４に示す例では、受信機２００は、それぞれ画像を表示している複数のディスプレイを被写体として撮像することによって、撮像表示画像Ｐｊおよび復号用画像を取得する。そして、受信機２００は、対象領域を認識するときには、撮像表示画像Ｐｊのうち、複数のディスプレイのうちの光ＩＤを送信しているディスプレイである送信ディスプレイ（すなわち送信機１００）が現れている領域を対象領域として認識する。次に、受信機２００は、送信ディスプレイに表示されている画像に対応する第１の字幕をＡＲ画像としてその対象領域に重畳する。さらに、受信機２００は、撮像表示画像Ｐｊのうちの対象領域よりも大きい領域に、第１の字幕が拡大された字幕である第２の字幕を重畳する。
【１４０９】
これにより、受信機２００は、送信機１００の映像に字幕が現実に存在するように、撮像表示画像Ｐｊを表示することができる。さらに、受信機２００は、撮像表示画像Ｐｊの下部にも、大きな字幕を重畳するため、送信機１００の映像に付されている字幕が小さくても、字幕を見やすくすることができる。なお、送信機１００の映像に付される字幕がなく、撮像表示画像Ｐｊの下部に大きな字幕だけが重畳される場合には、その重畳されている字幕が送信機１００の映像に対する字幕か、テレビ１１４の映像に対する字幕かを判断することが困難である。しかし、本実施の形態では、光ＩＤを送信する送信機１００の映像に対しても字幕が付されるため、ユーザは、重畳されている字幕が何れの映像に対する字幕かを容易に判断することができる。
【１４１０】
また、受信機２００は、撮像表示画像Ｐｊの表示では、さらに、サーバから取得される情報に、音声情報が含まれているか否かを判定してもよい。そして、受信機２００は、音声情報が含まれていると判定したときには、第１および第２の字幕よりも、音声情報が示す音声を優先して出力する。これにより、音声が優先的に出力されるため、ユーザが字幕を読む負担を軽減することができる。
【１４１１】
また、上述の例では、ユーザ情報（すなわちユーザの属性）に応じて字幕の言語を異ならせたが、送信機１００に表示されている映像（すなわちコンテンツ）そのものを異ならせてもよい。例えば、送信機１００に表示されている映像がニュースの映像である場合において、ユーザが日本人であることがユーザ情報に示されていれば、受信機２００は、日本で放送されているニュース映像をＡＲ画像として取得する。そして、受信機２００は、そのニュース映像を、送信機１００のディスプレイが映し出されている領域（すなわち対象領域）に重畳する。一方、ユーザが米国人であることがユーザ情報に示されていれば、受信機２００は、米国で放送されているニュース映像をＡＲ画像として取得する。そして、受信機２００は、そのニュース映像を、送信機１００のディスプレイが映し出されている領域（すなわち対象領域）に重畳する。これにより、ユーザに適した映像を表示することができる。なお、ユーザ情報には、ユーザの属性として、例えば、国籍または使用言語などが示され、受信機２００はその属性に基づいて上述のＡＲ画像を取得する。
【１４１２】
図２５５は、本実施の形態における認識情報の一例を示す図である。
【１４１３】
認識情報が例えば上述のような特徴点および特徴量などであっても、誤認識が生じる可能性がある。例えば、送信機１００ａおよび１００ｂは、それぞれ送信機１００と同様に駅名標として構成されている。これらの送信機１００ａおよび１００ｂは、互に異なる駅名標であっても、互に近い位置にあれば、類似しているために誤認識される可能性がある。
【１４１４】
そこで、送信機１００ａおよび１００ｂのそれぞれの認識情報は、送信機１００ａまたは１００ｂの画像全体の各特徴点および各特徴量を示すことなく、その画像のうちの特徴的な一部分のみの各特徴点および各特徴量を示してもよい。
【１４１５】
例えば、送信機１００ａの部分ａ１と、送信機１００ｂの部分ｂ１とは互に大きく異なり、送信機１００ａの部分ａ２と、送信機１００ｂの部分ｂ２とは互に大きく異なる。そこで、サーバは、送信機１００ａおよび１００ｂが予め定められた範囲内（すなわち近距離）に設置されていれば、送信機１００ａに対応する認識情報として、部分ａ１および部分ａ２のそれぞれの画像の特徴点および特徴量を保持する。同様に、サーバは、送信機１００ｂに対応する識別情報として、部分ｂ１および部分ｂ２のそれぞれの画像の特徴点および特徴量を保持する。
【１４１６】
これにより、受信機２００は、互に類似する送信機１００ａおよび１００ｂが互に近くにある場合（上述の予め定められた範囲内にある場合）であっても、それらの識別情報を用いて適切に対象領域を認識することができる。
【１４１７】
図２５６は、本実施の形態における受信機２００の処理動作の他の例を示すフローチャートである。
【１４１８】
受信機２００は、まず、受信機２００に設定登録されているユーザ情報に基づいて、ユーザに視覚障害があるか否かを判定する（ステップＳ１３１）。ここで、受信機２００は、視覚障害があると判定すると（ステップＳ１３１のＹ）、重畳して表示されるＡＲ画像の文字を音声で出力する（ステップＳ１３２）。一方、受信機２００は、視覚障害がないと判定すると（ステップＳ１３１のＮ）、さらに、ユーザ情報に基づいて、ユーザに聴覚障害があるか否かを判定する（ステップＳ１３３）。ここで、受信機２００は、聴覚障害があると判定すると（ステップＳ１３３のＹ）、音声出力を停止する（ステップＳ１３４）。このとき、受信機２００は、全ての機能による音声の出力を停止する。
【１４１９】
なお、受信機２００は、ステップＳ１３１において視覚障害があると判定したときに（ステップＳ１３１のＹ）、ステップＳ１３３の処理を行ってもよい。つまり、受信機２００は、視覚障害があり、かつ、聴覚障害がないと判定したときに、重畳して表示されるＡＲ画像の文字を音声で出力してもよい。
【１４２０】
図２５７は、本実施の形態における受信機２００が輝線パターン領域を識別する一例を示す図である。
【１４２１】
受信機２００は、まず、それぞれ光ＩＤを送信する２つの送信機を撮像することによって復号用画像を取得し、その復号用画像に対する復号によって、図２５７の（ｅ）に示すように、光ＩＤを取得する。このとき、復号用画像には２つの輝線パターン領域ＸおよびＹが含まれているため、受信機２００は、輝線パターン領域Ｘに対応する送信機の光ＩＤと、輝線パターン領域Ｙに対応する送信機の光ＩＤとを取得する。輝線パターン領域Ｘに対応する送信機の光ＩＤは、例えば、アドレス０〜９のそれぞれに対応する数値（すなわちデータ）からなり、「５，２，８，４，３，６，１，９，４，３」を示す。輝線パターン領域Ｘに対応する送信機の光ＩＤも同様に、例えば、アドレス０〜９のそれぞれに対応する数値からなり、「５，２，７，７，１，５，３，２，７，４」を示す。
【１４２２】
受信機２００は、これらの光ＩＤを一度取得しても、すなわちこれらの光ＩＤが既知であっても、撮像しているときに、それぞれの光ＩＤがどちらの輝線パターン領域から得られたのか分からない状況になることがある。このような場合、受信機２００は、図２５７の（ａ）〜（ｄ）に示す処理を行うことによって、それぞれの既知の光ＩＤがどちらの輝線パターン領域から得られたのかを容易に、かつ、迅速に判定することができる。
【１４２３】
具体的には、受信機２００は、まず、図２５７の（ａ）に示すように、復号用画像Ｐｄｅｃ１１を取得して、その復号用画像Ｐｄｅｃ１１に対する復号によって、輝線パターン領域ＸおよびＹのそれぞれの光ＩＤのアドレス０の数値を取得する。例えば、輝線パターン領域Ｘの光ＩＤのアドレス０の数値は「５」であり、輝線パターン領域Ｙの光ＩＤのアドレス０の数値も「５」である。それぞれの光ＩＤのアドレス０の数値が「５」であるため、このときには、既知の光ＩＤがどちらの輝線パターン領域から得られたのかを判定することができない。
【１４２４】
そこで、受信機２００は、図２５７の（ｂ）に示すように、復号用画像Ｐｄｅｃ１２を取得して、その復号用画像Ｐｄｅｃ１２に対する復号によって、輝線パターン領域ＸおよびＹのそれぞれの光ＩＤのアドレス１の数値を取得する。例えば、輝線パターン領域Ｘの光ＩＤのアドレス１の数値は「２」であり、輝線パターン領域Ｙの光ＩＤのアドレス１の数値も「２」である。それぞれの光ＩＤのアドレス１の数値が「２」であるため、このときにも、既知の光ＩＤがどちらの輝線パターン領域から得られたのかを判定することができない。
【１４２５】
そこで、さらに、受信機２００は、図２５７の（ｃ）に示すように、復号用画像Ｐｄｅｃ１３を取得して、その復号用画像Ｐｄｅｃ１３に対する復号によって、輝線パターン領域ＸおよびＹのそれぞれの光ＩＤのアドレス２の数値を取得する。例えば、輝線パターン領域Ｘの光ＩＤのアドレス２の数値は「８」であり、輝線パターン領域Ｙの光ＩＤのアドレス２の数値は「７」である。このときには、既知の光ＩＤ「５，２，８，４，３，６，１，９，４，３」が輝線パターン領域Ｘから得られたと判定することができ、既知の光ＩＤ「５，２，７，７，１，５，３，２，７，４」が輝線パターン領域Ｙから得られたと判定することができる。
【１４２６】
しかし、受信機２００は、信頼度を高めるために、さらに、図２５７の（ｄ）に示すように、それぞれの光ＩＤのアドレス３の数値を取得してもよい。つまり、受信機２００は、復号用画像Ｐｄｅｃ１４を取得して、その復号用画像Ｐｄｅｃ１４に対する復号によって、輝線パターン領域ＸおよびＹのそれぞれの光ＩＤのアドレス３の数値を取得する。例えば、輝線パターン領域Ｘの光ＩＤのアドレス３の数値は「４」であり、輝線パターン領域Ｙの光ＩＤのアドレス３の数値は「７」である。このときには、既知の光ＩＤ「５，２，８，４，３，６，１，９，４，３」が輝線パターン領域Ｘから得られたと判定することができ、既知の光ＩＤ「５，２，７，７，１，５，３，２，７，４」が輝線パターン領域Ｙから得られたと判定することができる。つまり、アドレス２だけでなくアドレス３によっても、輝線パターン領域ＸおよびＹの光ＩＤを識別することができるため、信頼度を高めることができる。
【１４２７】
このように、本実施の形態では、光ＩＤの全てのアドレスの数値（すなわちデータ）を改めて取得することなく、少なくとも１つのアドレスの数値を取得し直す。これによって、既知の光ＩＤがどちらの輝線パターン領域から得られたのかを容易に、かつ、迅速に判定することができる。
【１４２８】
なお、上述の図２５７の（ｃ）および（ｄ）に示す例では、所定のアドレスに対して取得された数値が、既知の光ＩＤの数値と一致しているが、一致していなくてもよい。例えば、図２５７の（ｄ）に示す例において、受信機２００は、輝線パターン領域Ｙの光ＩＤのアドレス３の数値として「６」を取得する。このアドレス３の数値「６」は、既知の光ＩＤ「５，２，７，７，１，５，３，２，７，４」のアドレス３の数値「７」とは異なる。しかし、数値「６」は数値「７」に近い数値であるため、受信機２００は、既知の光ＩＤ「５，２，７，７，１，５，３，２，７，４」が輝線パターン領域Ｙから得られたと判定してもよい。なお、受信機は、数値「６」が数値「７」±ｎ（ｎは例えば１以上の数）の範囲内にあるか否かによって、数値「６」が数値「７」に近い数値であるか否かを判定してもよい。
【１４２９】
図２５８は、本実施の形態における受信機２００の他の例を示す図である。
【１４３０】
受信機２００は、上述の例ではスマートフォンとして構成されているが、図１９〜図２１に示す例と同様に、イメージセンサを備えたヘッドマウントディスプレイ（グラスともいう）として構成されていてもよい。
【１４３１】
このような受信機２００は、上述のようなＡＲ画像の表示のための処理回路（以下、ＡＲ処理回路という）を常に起動しておくと消費電力が多くなるため、予め定められた信号を検出したときに、そのＡＲ処理回路を起動してもよい。
【１４３２】
例えば、受信機２００は、タッチセンサ２０２を備えている。タッチセンサ２０２は、ユーザの指などに触れると、タッチ信号を出力する。受信機２００は、そのタッチ信号を検出したときに、ＡＲ処理回路を起動する。
【１４３３】
または、受信機２００は、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ−Ｆｉ（登録商標）などの電波信号を検出したときに、ＡＲ処理回路を起動してもよい。
【１４３４】
または、受信機２００は、加速度センサを備え、その加速度センサによって重力の向きと反対の向きへの閾値以上の加速度が計測されたときに、ＡＲ処理回路を起動してもよい。つまり、受信機２００は、上記加速度を示す信号を検出したときに、ＡＲ処理回路を起動する。例えば、ユーザが、グラスとして構成されている受信機２００の鼻あて部分を下から指先で上向きに突きあげると、受信機２００は上記加速度を示す信号を検出して、ＡＲ処理回路を起動する。
【１４３５】
または、受信機２００は、ＧＰＳおよび９軸センサなどによって、イメージセンサが送信機１００に向けられたことを検知したときに、ＡＲ処理回路を起動してもよい。つまり、受信機２００は、受信機２００が所定の向きに向けられたことを示す信号を検出したときに、ＡＲ処理回路を起動する。この場合、送信機１００が上述の日本語の駅名標などであれば、受信機２００は、英語の駅名を示すＡＲ画像をその駅名標に重畳して表示する。
【１４３６】
図２５９は、本実施の形態における受信機２００の処理動作の他の例を示すフローチャートである。
【１４３７】
受信機２００は、送信機１００から光ＩＤを取得すると（ステップＳ１４１）、その光ＩＤに応じたモード指定情報を受信することによって、ノイズキャンセルのモードを切り替える（ステップＳ１４２）。そして、受信機２００は、そのモードの切り替え処理を終了すべきか否かを判定し（ステップＳ１４３）、終了すべきでないと判定すると（ステップＳ１４３のＮ）ステップＳ１４１からの処理を繰り返し実行する。ノイズキャンセルのモードの切り替えは、例えば、飛行機内におけるエンジンなどの騒音を消去するモード（ＯＮ）と、その騒音の消去を行わないモード（ＯＦＦ）である。具体的には、受信機２００を携帯するユーザは、その受信機２００に接続されるイヤホンを耳にあてて、その受信機２００から出力される音楽などの音声を聞いている。このようなユーザが飛行機に搭乗すると、受信機２００は光ＩＤを取得する。その結果、受信機２００は、ノイズキャンセルのモードをＯＦＦからＯＮに切り替える。これにより、ユーザは、機内であっても、エンジンの騒音などのノイズが含まれない音声を聞くことができる。また、ユーザが飛行機から出るときにも、受信機２００は光ＩＤを取得する。この光ＩＤを取得した受信機２００は、ノイズキャンセルのモードをＯＮからＯＦＦに切り替える。なお、ノイズキャンセルの対象となるノイズは、エンジンの騒音だけでなく、人の声など、どのような音であってもよい。
【１４３８】
図２６０は、本実施の形態における複数の送信機を含む送信システムの一例を示す図である。
【１４３９】
この送信システムは、予め定められた順に配列された複数の送信機１２０を備えている。これらの送信機１２０は、送信機１００と同様、上記実施の形態１〜２２のうちの何れかの実施の形態における送信機であって、１つまたは複数の発光素子（例えばＬＥＤ）を備える。先頭の送信機１２０は、予め定められた周波数（キャリア周波数）にしたがって１つまたは複数の発光素子の輝度を変化させることによって、光ＩＤを送信する。さらに、先頭の送信機１２０は、その輝度の変化を示す信号を同期信号として後続の送信機１２０に出力する。後続の送信機１２０は、その同期信号を受けると、その同期信号にしたがって１つまたは複数の発光素子の輝度を変化させることによって、光ＩＤを送信する。さらに、後続の送信機１２０は、その輝度の変化を示す信号を同期信号として次の後続の送信機１２０に出力する。これにより、送信システムに含まれる全ての送信機１２０は、同期して光ＩＤを送信する。
【１４４０】
ここで、同期信号は、先頭の送信機１２０から後続の送信機１２０に受け渡され、後続の送信機１２０からさらに次の後続の送信機１２０に受け渡されて、最後の送信機１２０にまで届く。同期信号の受け渡しには例えば約１μ秒かかる。したがって、送信システムに、Ｎ（Ｎは２以上の整数）台の送信機１２０が備えられていれば、同期信号が先頭の送信機１２０から最後の送信機１２０に届くまで１×Ｎμ秒かかることになる。その結果、光ＩＤの送信のタイミングが最大Ｎμ秒ずれることになる。例えば、Ｎ台の送信機１２０が９．６ｋＨｚの周波数にしたがって光ＩＤを送信し、受信機２００が９．６ｋＨｚの周波数で光ＩＤを受信しようとしても、受信機２００は、Ｎμ秒ずれた光ＩＤを受信するため、その光ＩＤを正しく受信することができない場合がある。
【１４４１】
そこで、本実施の形態では、先頭の送信機１２０は、送信システムに含まれる送信機１２０の台数に応じて速めに光ＩＤを送信する。例えば、先頭の送信機１２０は、９．６０５ｋＨｚの周波数にしたがって光ＩＤを送信する。一方、受信機２００は、９．６ｋＨｚの周波数で光ＩＤを受信する。このとき、受信機２００はＮμ秒ずれた光ＩＤを受信しても、先頭の送信機１２０の周波数が受信機２００の周波数よりも０．００５ｋＨｚだけ高いため、その光ＩＤのずれによる受信エラーの発生を抑えることができる。
【１４４２】
また、先頭の送信機１２０は、最後の送信機１２０から同期信号をフィードバックしてもらうことによって、周波数の調整量を制御してもよい。例えば、先頭の送信機１２０は、自ら同期信号を出力してから、最後の送信機１２０からフィードバックされた同期信号を受け取るまでの時間を計測する。そして、先頭の送信機１２０は、その時間が長いほど、基準の周波数（例えば、９．６ｋＨｚ）よりも高い周波数にしたがって光ＩＤを送信する。
【１４４３】
図２６１は、本実施の形態における複数の送信機および受信機を含む送信システムの一例を示す図である。
【１４４４】
この送信システムは、例えば２つの送信機１２０と受信機２００とを備えている。２つの送信機１２０のうちの一方の送信機１２０は、９．５９９ｋＨｚの周波数にしたがって光ＩＤを送信する。他方の送信機１２０は、９．６０１ｋＨｚの周波数にしたがって光ＩＤを送信する。このような場合、２つの送信機１２０はそれぞれ、自らの光ＩＤの周波数を電波信号で受信機２００に通知する。
【１４４５】
受信機２００は、それらの周波数の通知を受けると、通知された周波数のそれぞれにしたがった復号を試みる。つまり、受信機２００は、９．５９９ｋＨｚの周波数にしたがって、復号用画像に対する復号を試み、これにより光ＩＤが受信できなければ、９．６０１ｋＨｚの周波数にしたがって、復号用画像に対する復号を試みる。このように、受信機２００は、通知された全ての周波数のそれぞれにしたがって、復号用画像に対する復号を試みる。言い換えれば、受信機２００は、通知されたそれぞれの周波数に対して総当たりを行う。または、受信機２００は、通知された全ての周波数の平均周波数にしたがった復号を試みてもよい。つまり、受信機２００は、９．５９９ｋＨｚと９．６０１ｋＨｚとの平均周波数である９．６ｋＨｚにしたがった復号を試みる。
【１４４６】
これにより、受信機２００と送信機１２０とのそれぞれの周波数の違いによる受信エラーの発生率を低下させることができる。
【１４４７】
図２６２Ａは、本実施の形態における受信機２００の処理動作の一例を示すフローチャートである。
【１４４８】
受信機２００は、まず、撮像を開始して（ステップＳ１５１）、パラメータＮを１に初期化する（ステップＳ１５２）。次に、受信機２００は、その撮像によって得られた復号用画像を、パラメータＮに対応する周波数にしたがって復号し、その復号結果に対する評価値を算出する（ステップＳ１５３）。例えば、パラメータＮ＝１、２、３、４、５のそれぞれには、９．６ｋＨｚ、９．６０１ｋＨｚ、９．５９９ｋＨｚ、９．６０２ｋＨｚなどの周波数が予め対応付けられている。評価値は、復号結果が正しい光ＩＤに類似しているほど高い数値を示す。
【１４４９】
次に、受信機２００は、パラメータＮの数値が、予め定められた１以上の整数であるＮｍａｘに等しいか否かを判定する（ステップＳ１５４）。ここで、受信機２００は、Ｎｍａｘに等しくないと判定すると（ステップＳ１５４のＮ）、パラメータＮをインクリメントして（ステップＳ１５５）、ステップＳ１５３からの処理を繰り返し実行する。一方、受信機２００は、Ｎｍａｘに等しいと判定すると（ステップＳ１５４のＹ）、最大の評価値が算出された周波数を最適周波数として、受信機２００の場所を示す場所情報に対応付けてサーバに登録する。このように登録される最適周波数および場所情報は、登録後、その場所情報に示される場所に移動してきた受信機２００による光ＩＤの受信のために用いられる。また、場所情報は、例えばＧＰＳによって計測される位置を示す情報であってもよく、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）におけるアクセスポイントの識別情報（例えば、ＳＳＩＤ：Ｓｅｒｖｉｃｅ  Ｓｅｔ  Ｉｄｅｎｔｉｆｉｅｒ）であってもよい。
【１４５０】
また、サーバへの登録を行った受信機２００は、その最適周波数による復号によって得られた光ＩＤにしたがって、例えば上述のようなＡＲ画像の表示を行う。
【１４５１】
図２６２Ｂは、本実施の形態における受信機２００の処理動作の一例を示すフローチャートである。
【１４５２】
図２６２Ａに示すサーバへの登録が行われた後、受信機２００は、自らが存在する場所を示す場所情報をサーバに送信する（ステップＳ１６１）。次に、受信機２００は、その場所情報に対応付けて登録されている最適周波数をそのサーバから取得する（ステップＳ１６２）。
【１４５３】
次に、受信機２００は、撮像を開始し（ステップＳ１６３）、その撮像によって得られた復号用画像を、ステップＳ１６２で取得した最適周波数にしたがって復号する（ステップＳ１６４）。受信機２００は、この復号によって得られた光ＩＤにしたがって、例えば上述のようなＡＲ画像の表示を行う。
【１４５４】
このように、サーバへの登録が行われた後では、受信機２００は、図２６２Ａに示す処理を実行することなく、最適周波数を取得して光ＩＤを受信することができる。なお、受信機２００は、ステップＳ１６２において最適周波数を取得することができなかったときに、図２６２Ａに示す処理を実行することによって最適周波数を取得してもよい。
【１４５５】
［実施の形態２３のまとめ］
図２６３Ａは、本実施の形態における表示方法を示すフローチャートである。
【１４５６】
本実施の形態における表示方法は、上述の受信機２００である表示装置が画像を表示する表示方法であって、ステップＳＬ１１〜ＳＬ１６を含む。
【１４５７】
ステップＳＬ１１では、イメージセンサが被写体を撮像することによって撮像表示画像および復号用画像を取得する。ステップＳＬ１２では、その復号用画像に対する復号によって光ＩＤを取得する。ステップＳＬ１３では、その光ＩＤをサーバに送信する。ステップＳＬ１４では、その光ＩＤに対応するＡＲ画像と認識情報とをサーバから取得する。ステップＳＬ１５では、撮像表示画像のうち、認識情報に応じた領域を対象領域として認識する。ステップＳＬ１６では、対象領域にＡＲ画像が重畳された撮像表示画像を表示する。
【１４５８】
これにより、ＡＲ画像が撮像表示画像に重畳されて表示されるため、ユーザに有益な画像を表示することができる。さらに、処理負荷を抑えて適切な対象領域にＡＲ画像を重畳することができる。
【１４５９】
つまり、一般的な拡張現実（すなわちＡＲ）では、予め保存されている膨大な数の認識対象画像と、撮像表示画像とを比較することによって、その撮像表示画像に何れかの認識対象画像が含まれているか否かが判定される。そして、認識対象画像が含まれていると判定されれば、その認識対象画像に対応するＡＲ画像が撮像表示画像に重畳される。このとき、認識対象画像を基準にＡＲ画像の位置合わせが行われる。このように、一般的な拡張現実では、膨大な数の認識対象画像と撮像表示画像とを比較するため、さらに、位置合わせにおいても撮像表示画像における認識対象画像の位置検出が必要となるため、計算量が多く、処理負荷が高いという問題がある。
【１４６０】
しかし、本実施の形態にける表示方法では、図２３５〜図２６２Ｂにも示すように、被写体の撮像によって得られる復号用画像を復号することによって光ＩＤが取得される。つまり、被写体である送信機から送信された光ＩＤが受信される。さらに、この光ＩＤに対応するＡＲ画像と認識情報とがサーバから取得される。したがって、サーバでは、膨大な数の認識対象画像と撮像表示画像とを比較する必要がなく、光ＩＤに予め対応付けられているＡＲ画像を選択して表示装置に送信することができる。これにより、計算量を減らして処理負荷を大幅に抑えることができる。
【１４６１】
また、本実施の形態における表示方法では、この光ＩＤに対応する認識情報がサーバから取得される。認識情報は、撮像表示画像においてＡＲ画像が重畳される領域である対象領域を認識するための情報である。この認識情報は、例えば白い四角形が対象領域であることを示す情報であってもよい。この場合には、対象領域を簡単に認識することができ、処理負荷をさらに抑えることができる。つまり、認識情報の内容に応じて、処理負荷をさらに抑えることができる。また、サーバでは、光ＩＤに応じてその認識情報の内容を任意に設定することができるため、処理負荷と認識精度とのバランスを適切に保つことができる。
【１４６２】
ここで、認識情報は、撮像表示画像のうちの基準領域を特定するための基準情報であり、対象領域の認識では、その基準情報に基づいて撮像表示画像から基準領域を特定し、撮像表示画像のうち、その基準領域の位置により対象領域を認識してもよい。
【１４６３】
または、認識情報は、撮像表示画像のうちの基準領域を特定するための基準情報と、その基準領域に対する対象領域の相対位置を示す対象情報とを含んでいてもよい。この場合、対象領域の認識では、基準情報に基づいて撮像表示画像から基準領域を特定し、撮像表示画像のうち、その基準領域の位置を基準として対象情報により示される相対位置にある領域を、対象領域として認識する。
【１４６４】
これにより、図２４４および図２４５に示すように、撮像表示画像において認識される対象領域の位置の自由度を広げることができる。
【１４６５】
また、基準情報は、撮像表示画像における基準領域の位置が、復号用画像における、イメージセンサが有する複数の露光ラインの露光によって現れる複数の輝線のパターンからなる輝線パターン領域の位置と同じであることを示してもよい。
【１４６６】
これにより、図２４４および図２４５に示すように、撮像表示画像における輝線パターン領域に対応する領域を基準にして対象領域を認識することができる。
【１４６７】
また、基準情報は、撮像表示画像における基準領域が、撮像表示画像のうちのディスプレイが映し出されている領域であることを示してもよい。
【１４６８】
これにより、図２３５に示すように、例えば駅名標をディスプレイとすれば、そのディスプレイが映し出されている領域を基準にして対象領域を認識することができる。
【１４６９】
また、撮像表示画像の表示では、上述のＡＲ画像である第１のＡＲ画像と異なる第２のＡＲ画像の表示を抑制しながら、予め定められた表示期間だけ、第１のＡＲ画像を表示してもよい。
【１４７０】
これにより、図２５０に示すように、ユーザが一度表示された第１のＡＲ画像を見ているときに、その第１のＡＲ画像がそれとは異なる第２のＡＲ画像にすぐに置き換わってしまうことを抑えることができる。
【１４７１】
また、撮像表示画像の表示では、表示期間には、新たに取得される復号用画像に対する復号を禁止してもよい。
【１４７２】
これにより、図２５０に示すように、新たに取得される復号用画像の復号は、第２のＡＲ画像の表示が抑制されているときには無駄な処理であるため、その復号を禁止することによって、消費電力を抑えることができる。
【１４７３】
また、撮像表示画像の表示では、さらに、表示期間において、表示装置の加速度を加速度センサによって計測し、計測された加速度が閾値以上か否かを判定してもよい。そして、閾値以上と判定したときには、第２のＡＲ画像の表示の抑制を解除することによって、第１のＡＲ画像の代わりに第２のＡＲ画像を表示してもよい。
【１４７４】
これにより、図２５０に示すように、閾値以上の表示装置の加速度が計測されたときに、第２のＡＲ画像の表示の抑制が解除される。したがって、例えば、ユーザが他の被写体にイメージセンサを向けようと表示装置を大きく動かしたときには、第２のＡＲ画像を直ぐに表示することができる。
【１４７５】
また、撮像表示画像の表示では、さらに、表示装置に備えられたフェイスカメラによる撮像によって、表示装置にユーザの顔が近づいている否かを判定してもよい。そして、顔が近づいていると判定すると、第１のＡＲ画像と異なる第２のＡＲ画像の表示を抑制しながら、第１のＡＲ画像を表示してもよい。または、撮像表示画像の表示では、さらに、加速度センサによって計測される表示装置の加速度によって、表示装置にユーザの顔が近づいている否かを判定してもよい。そして、顔が近づいていると判定すると、第１のＡＲ画像と異なる第２のＡＲ画像の表示を抑制しながら、第１のＡＲ画像を表示してもよい。
【１４７６】
これにより、図２５０に示すように、ユーザが第１のＡＲ画像を見ようとして表示装置に顔を近づけているときに、その第１のＡＲ画像がそれとは異なる第２のＡＲ画像に置き換わってしまうことを抑えることができる。
【１４７７】
また、図２５４に示すように、撮像表示画像および復号用画像の取得では、それぞれ画像を表示している複数のディスプレイを被写体として撮像することによって、その撮像表示画像および復号用画像を取得してもよい。このとき、対象領域の認識では、撮像表示画像のうち、複数のディスプレイのうちの光ＩＤを送信しているディスプレイである送信ディスプレイが現れている領域を対象領域として認識する。また、撮像表示画像の表示では、送信ディスプレイに表示されている画像に対応する第１の字幕をＡＲ画像として対象領域に重畳し、さらに、撮像表示画像のうちの対象領域よりも大きい領域に、第１の字幕が拡大された字幕である第２の字幕を重畳する。
【１４７８】
これにより、送信ディスプレイの画像に第１の字幕が重畳されるため、その第１の字幕が複数のディスプレイのうちの何れのディスプレイの画像に対する字幕であるかを、ユーザに容易に把握させることができる。また、第１の字幕が拡大された字幕である第２の字幕も表示されるため、第１の字幕が小さくて読み難い場合であっても、第２の字幕の表示によって、字幕を読み易くすることができる。
【１４７９】
また、撮像表示画像の表示では、さらに、上述のサーバから取得される情報に、音声情報が含まれているか否かを判定し、含まれていると判定したときには、第１および第２の字幕よりも、その音声情報が示す音声を優先して出力してもよい。
【１４８０】
これにより、音声が優先的に出力されるため、ユーザが字幕を読む負担を軽減することができる。
【１４８１】
図２６３Ｂは、本実施の形態における表示装置の構成を示すブロック図である。
【１４８２】
本実施の形態における表示装置１０は、画像を表示する表示装置であって、イメージセンサ１１と、復号部１２と、送信部１３と、取得部１４と、認識部１５と、表示部１６とを備える。なお、この表示装置１０は、上述の受信機２００に相当する。
【１４８３】
イメージセンサ１１は、被写体を撮像することによって撮像表示画像および復号用画像を取得する。復号部１２は、その復号用画像に対する復号によって光ＩＤを取得する。送信部１３は、その光ＩＤをサーバに送信する。取得部１４は、光ＩＤに対応するＡＲ画像と認識情報とをサーバから取得する。認識部１５は、撮像表示画像のうち、その認識情報に応じた領域を対象領域として認識する。表示部１６は、その対象領域にＡＲ画像が重畳された撮像表示画像を表示する。
【１４８４】
これにより、ＡＲ画像が撮像表示画像に重畳されて表示されるため、ユーザに有益な画像を表示することができる。さらに、処理負荷を抑えて適切な対象領域にＡＲ画像を重畳することができる。
【１４８５】
なお、本実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、本実施の形態の受信機２００または表示装置１０などを実現するソフトウェアは、図２３９、図２４６、図２５０、図２５６、図２５９、および図２６２Ａ〜図２６３Ａに示すフローチャートに含まれる各ステップをコンピュータに実行させるプログラムである。
【１４８６】
［実施の形態２３の変形例１］
以下、実施の形態２３の変形例１、つまり、光ＩＤを用いたＡＲを実現する表示方法の変形例１について説明する。
【１４８７】
図２６４は、実施の形態２３の変形例１における受信機がＡＲ画像を表示する例を示す図である。
【１４８８】
受信機２００は、そのイメージセンサによる被写体の撮像によって、上述の通常撮影画像である撮像表示画像Ｐｋと、上述の可視光通信画像または輝線画像である復号用画像とを取得する。
【１４８９】
具体的には、受信機２００のイメージセンサは、ロボットとして構成されている送信機１００ｃと、送信機１００ｃの隣にいる人物２１を撮像する。送信機１００ｃは、上記実施の形態１〜２２のうちの何れかの実施の形態における送信機であって、１つまたは複数の発光素子（例えばＬＥＤ）１３１を備える。この送信機１００ｃは、その１つまたは複数の発光素子１３１を点滅させることによって輝度変化し、その輝度変化によって光ＩＤ（光識別情報）を送信する。この光ＩＤは、上述の可視光信号である。
【１４９０】
受信機２００は、送信機１００ｃおよび人物２１を通常露光時間で撮像することによって、それらが映し出された撮像表示画像Ｐｋを取得する。さらに、受信機２００は、その通常露光時間よりも短い通信用露光時間で送信機１００ｃおよび人物２１を撮像することによって、復号用画像を取得する。
【１４９１】
受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、受信機２００は、送信機１００ｃから光ＩＤを受信する。受信機２００は、その光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤに対応するＡＲ画像Ｐ１０と認識情報とをサーバから取得する。受信機２００は、撮像表示画像Ｐｋのうち、その認識情報に応じた領域を対象領域として認識する。例えば、受信機２００は、送信機１００ｃであるロボットが映し出されている領域の右側にある領域を対象領域として認識する。具体的には、受信機２００は、撮像表示画像Ｐｋに映し出されている送信機１００ｃの２つのマーカ１３２ａおよび１３２ｂの間の距離を特定する。そして、受信機２００は、その距離に応じた幅および高さを有する領域を対象領域として認識する。つまり、認識情報は、マーカ１３２ａおよび１３２ｂの形状と、それらのマーカ１３２ａおよび１３２ｂを基準とする対象領域の位置および大きさとを示している。
【１４９２】
そして、受信機２００は、その対象領域にＡＲ画像Ｐ１０を重畳し、ＡＲ画像Ｐ１０が重畳された撮像表示画像Ｐｋをディスプレイ２０１に表示する。例えば、受信機２００は、送信機１００ｃとは異なる他のロボットを示すＡＲ画像Ｐ１０を取得する。この場合、撮像表示画像Ｐｋの対象領域にそのＡＲ画像Ｐ１０が重畳されるため、送信機１００ｃの隣に他のロボットが現実に存在するように、撮像表示画像Ｐｋを表示することができる。その結果、人物２１は、他のロボットが実在していなくても、送信機１００ｃと共に他のロボットと一緒に写真に写ることができる。
【１４９３】
図２６５は、実施の形態２３の変形例１における受信機２００がＡＲ画像を表示する他の例を示す図である。
【１４９４】
送信機１００は、例えば図２６５に示すように、表示パネルを有する画像表示装置として構成され、その表示パネルに静止画像ＰＳを表示しながら輝度変化することによって、光ＩＤを送信している。なお、表示パネルは、例えば液晶ディスプレイまたは有機ＥＬ（electroluminescence）ディスプレイである。
【１４９５】
受信機２００は、送信機１００を撮像することによって、上述と同様に、撮像表示画像Ｐｍと復号用画像とを取得する。受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、受信機２００は、送信機１００から光ＩＤを受信する。受信機２００は、その光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤに対応するＡＲ画像Ｐ１１と認識情報とをサーバから取得する。受信機２００は、撮像表示画像Ｐｍのうち、その認識情報に応じた領域を対象領域として認識する。例えば、受信機２００は、送信機１００における表示パネルが映し出されている領域を対象領域として認識する。そして、受信機２００は、その対象領域にＡＲ画像Ｐ１１を重畳し、ＡＲ画像Ｐ１１が重畳された撮像表示画像Ｐｍをディスプレイ２０１に表示する。例えば、ＡＲ画像Ｐ１１は、送信機１００の表示パネルに表示されている静止画像ＰＳと同一または実質的に同一のピクチャを表示順で先頭のピクチャとして有する動画像である。つまり、ＡＲ画像Ｐ１１は、静止画像ＰＳから動きだす動画像である。
【１４９６】
この場合、撮像表示画像Ｐｍの対象領域にそのＡＲ画像Ｐ１１が重畳されるため、受信機２００は、動画像を表示する画像表示装置が現実に存在するように、撮像表示画像Ｐｍを表示することができる。
【１４９７】
図２６６は、実施の形態２３の変形例１における受信機２００がＡＲ画像を表示する他の例を示す図である。
【１４９８】
送信機１００は、例えば図２６６に示すように駅名標として構成され、輝度変化することによって、光ＩＤを送信している。
【１４９９】
受信機２００は、図２６６の（ａ）に示すように、送信機１００から離れた位置から送信機１００を撮像する。これにより、受信機２００は、上述と同様に、撮像表示画像Ｐｎと復号用画像とを取得する。受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、受信機２００は、送信機１００から光ＩＤを受信する。受信機２００は、その光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤに対応するＡＲ画像Ｐ１２〜Ｐ１４と認識情報とをサーバから取得する。受信機２００は、撮像表示画像Ｐｎのうち、その認識情報に応じた２つの領域を第１および第２の対象領域として認識する。例えば、受信機２００は、送信機１００の周囲の領域を第１の対象領域として認識する。そして、受信機２００は、その第１の対象領域にＡＲ画像Ｐ１２を重畳し、ＡＲ画像Ｐ１２が重畳された撮像表示画像Ｐｎをディスプレイ２０１に表示する。例えば、ＡＲ画像Ｐ１２は、受信機２００のユーザに対して送信機１００への接近を促す矢印である。
【１５００】
この場合、撮像表示画像Ｐｎの第１の対象領域にそのＡＲ画像Ｐ１２が重畳されて表示されるため、ユーザは、受信機２００を送信機１００に向けた状態で送信機１００に近づく。このような受信機２００の送信機１００への接近によって、撮像表示画像Ｐｎに映し出されている送信機１００の領域（上述の基準領域に相当）は大きくなる。その領域の大きさが第１の閾値以上になると、受信機２００は、例えば図２６６の（ｂ）に示すように、さらに、送信機１００が映し出されている領域である第２の対象領域にＡＲ画像Ｐ１３を重畳する。つまり、受信機２００は、ＡＲ画像Ｐ１２およびＰ１３が重畳された撮像表示画像Ｐｎをディスプレイ２０１に表示する。例えば、ＡＲ画像Ｐ１３は、ユーザに対して、駅名標に示される駅周辺の概要を知らせるメッセージである。また、ＡＲ画像Ｐ１３は、撮像表示画像Ｐｎに映し出されている送信機１００の領域の大きさと等しい。
【１５０１】
また、この場合にも、撮像表示画像Ｐｎの第１の対象領域に矢印であるＡＲ画像Ｐ１２が重畳されて表示されるため、ユーザは、受信機２００を送信機１００に向けた状態で送信機１００に近づく。このような受信機２００の送信機１００への接近によって、撮像表示画像Ｐｎに映し出されている送信機１００の領域（上述の基準領域に相当）はさらに大きくなる。その領域の大きさが第２の閾値以上になると、受信機２００は、例えば図２６６の（ｃ）に示すように、第２の対象領域に重畳されているＡＲ画像Ｐ１３をＡＲ画像Ｐ１４に変更する。さらに、受信機２００は、第１の対象領域に重畳されているＡＲ画像Ｐ１２を削除する。
【１５０２】
つまり、受信機２００は、ＡＲ画像Ｐ１４が重畳された撮像表示画像Ｐｎをディスプレイ２０１に表示する。例えば、ＡＲ画像Ｐ１４は、ユーザに対して、駅名標に示される駅周辺の詳細を知らせるメッセージである。また、ＡＲ画像Ｐ１４は、撮像表示画像Ｐｎに映し出されている送信機１００の領域の大きさと等しい。この送信機１００の領域は、受信機２００が送信機１００に近いほど大きい。したがって、ＡＲ画像Ｐ１４は、ＡＲ画像Ｐ１３よりも大きい。
【１５０３】
このように、受信機２００は、送信機１００に近づくほど、ＡＲ画像を大きくし、多くの情報を表示する。また、ＡＲ画像Ｐ１２のようなユーザに接近を促す矢印が表示されるため、送信機１００に近づくと多くの情報が表示されることをユーザに容易に把握させることができる。
【１５０４】
図２６７は、実施の形態２３の変形例１における受信機２００がＡＲ画像を表示する他の例を示す図である。
【１５０５】
図２６６に示す例では、受信機２００は、送信機１００に近づくと多くの情報を表示させるが、送信機１００との間の距離に関わらず、多くの情報を例えば吹き出しの形態で表示してもよい。
【１５０６】
具体的には、受信機２００は、図２６７に示すように、送信機１００を撮像することにより、上述と同様に、撮像表示画像Ｐｏと復号用画像とを取得する。受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、受信機２００は、送信機１００から光ＩＤを受信する。受信機２００は、その光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤに対応するＡＲ画像Ｐ１５と認識情報とをサーバから取得する。受信機２００は、撮像表示画像Ｐｏのうち、その認識情報に応じた領域を対象領域として認識する。例えば、受信機２００は、送信機１００の周囲の領域を対象領域として認識する。そして、受信機２００は、その対象領域にＡＲ画像Ｐ１５を重畳し、ＡＲ画像Ｐ１５が重畳された撮像表示画像Ｐｏをディスプレイ２０１に表示する。例えば、ＡＲ画像Ｐ１５は、ユーザに対して、駅名標に示される駅周辺の詳細を吹き出しの形態で知らせるメッセージである。
【１５０７】
この場合、撮像表示画像Ｐｏの対象領域にそのＡＲ画像Ｐ１５が重畳されるため、受信機２００のユーザは送信機１００に近づかなくても多くの情報を受信機２００に表示させることができる。
【１５０８】
図２６８は、実施の形態２３の変形例１における受信機２００の他の例を示す図である。
【１５０９】
受信機２００は、上述の例ではスマートフォンとして構成されているが、図１９〜図２１および図２５８に示す例と同様に、イメージセンサを備えたヘッドマウントディスプレイ（グラスともいう）として構成されていてもよい。
【１５１０】
このような受信機２００は、復号用画像の一部の復号対象領域に対してのみ復号を行うことによって光ＩＤを取得する。例えば、受信機２００は、図２６８の（ａ）に示すように、視線検出カメラ２０３を備えている。視線検出カメラ２０３は、受信機２００であるヘッドマウントディスプレイを装着しているユーザの眼を撮像する。受信機２００は、この視線検出カメラ２０３による撮像によって得られた眼の画像に基づいて、そのユーザの視線を検出する。
【１５１１】
受信機２００は、図２６８の（ｂ）に示すように、例えば、ユーザの視界のうち、検出された視線が向けられている領域に視線枠２０４が現れるように、その視線枠２０４を表示する。したがって、この視線枠２０４は、ユーザの視線の動きに応じて移動する。受信機２００は、復号用画像のうち、その視線枠２０４内に相当する領域を復号対象領域として扱う。つまり、受信機２００は、復号用画像のうち復号対象領域外に輝線パターン領域があっても、その輝線パターン領域に対する復号を行わず、復号対象領域内の輝線パターン領域に対してのみ復号を行う。これにより、復号用画像に複数の輝線パターン領域が有る場合でも、それらの全ての輝線パターン領域に対する復号を行わないため、処理負荷を軽減することができるとともに、余計なＡＲ画像の表示を抑えることができる。
【１５１２】
また、受信機２００は、それぞれ音声を出力するための複数の輝線パターン領域が復号用画像に含まれている場合には、復号対象領域内の輝線パターン領域のみを復号して、その輝線パターン領域に対応する音声のみを出力してもよい。あるいは、受信機２００は、復号用画像に含まれる複数の輝線パターン領域のそれぞれを復号し、復号対象領域内の輝線パターン領域に対応する音声を大きく出力し、復号対象領域外の輝線パターン領域に対応する音声を小さく出力してもよい。また、復号対象領域外に複数の輝線パターン領域がある場合には、受信機２００は、復号対象領域に近い輝線パターン領域ほど、その輝線パターン領域に対応する音声を大きく出力してもよい。
【１５１３】
図２６９は、実施の形態２３の変形例１における受信機２００がＡＲ画像を表示する他の例を示す図である。
【１５１４】
送信機１００は、例えば図２６９に示すように、表示パネルを有する画像表示装置として構成され、その表示パネルに画像を表示しながら輝度変化することによって、光ＩＤを送信している。
【１５１５】
受信機２００は、送信機１００を撮像することによって、上述と同様に、撮像表示画像Ｐｐと復号用画像とを取得する。
【１５１６】
このとき、受信機２００は、復号用画像における輝線パターン領域と同じ位置にあってその輝線パターン領域と同じ大きさの領域を、撮像表示画像Ｐｐの中から特定する。そして、受信機２００は、その領域の一端から他端に向けて繰り返し移動する走査線Ｐ１００を表示してもよい。
【１５１７】
この走査線Ｐ１００が表示されている間、受信機２００は、復号用画像に対する復号によって光ＩＤを取得し、その光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤに対応するＡＲ画像と認識情報とをサーバから取得する。受信機２００は、撮像表示画像Ｐｐのうち、その認識情報に応じた領域を対象領域として認識する。
【１５１８】
このような対象領域を認識すると、受信機２００は、走査線Ｐ１００の表示を終了し、その対象領域にＡＲ画像を重畳し、そのＡＲ画像が重畳された撮像表示画像Ｐｐをディスプレイ２０１に表示する。
【１５１９】
これにより、送信機１００の撮像が行われてからＡＲ画像が表示されるまでの間、移動する走査線Ｐ１００が表示されるため、光ＩＤおよびＡＲ画像の読み取りなどの処理が行われていることをユーザに対して知らせることができる。
【１５２０】
図２７０は、実施の形態２３の変形例１における受信機２００がＡＲ画像を表示する他の例を示す図である。
【１５２１】
２つの送信機１００はそれぞれ、例えば図２７０に示すように、表示パネルを有する画像表示装置として構成され、その表示パネルに同一の静止画像ＰＳを表示しながら輝度変化することによって、光ＩＤを送信している。ここで、２つの送信機１００はそれぞれ、互いに異なる態様で輝度変化することによって、互いに異なる光ＩＤ（例えば光ＩＤ「０１」および「０２」）を送信している。
【１５２２】
受信機２００は、図２６５に示す例と同様に、２つの送信機１００を撮像することによって、撮像表示画像Ｐｑと復号用画像とを取得する。受信機２００は、その復号用画像に対する復号によって光ＩＤ「０１」および「０２」を取得する。つまり、受信機２００は、２つの送信機１００のうちの一方から光ＩＤ「０１」を受信し、他方から光ＩＤ「０２」を受信する。受信機２００は、それらの光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤ「０１」に対応するＡＲ画像Ｐ１６と認識情報とをサーバから取得する。さらに、受信機２００は、光ＩＤ「０２」に対応するＡＲ画像Ｐ１７と認識情報とをサーバから取得する。
【１５２３】
受信機２００は、撮像表示画像Ｐｑのうち、それらの認識情報に応じた領域を対象領域として認識する。例えば、受信機２００は、２つの送信機１００のそれぞれの表示パネルが映し出されている領域を対象領域として認識する。そして、受信機２００は、光ＩＤ「０１」に対応する対象領域にＡＲ画像Ｐ１６を重畳し、光ＩＤ「０２」に対応する対象領域にＡＲ画像Ｐ１７を重畳する。そして、受信機２００は、ＡＲ画像Ｐ１６およびＰ１７が重畳された撮像表示画像Ｐｑをディスプレイ２０１に表示する。例えば、ＡＲ画像Ｐ１６は、光ＩＤ「０１」に対応する送信機１００の表示パネルに表示されている静止画像ＰＳと同一または実質的に同一のピクチャを表示順で先頭のピクチャとして有する動画像である。また、ＡＲ画像Ｐ１７は、光ＩＤ「０２」に対応する送信機１００の表示パネルに表示されている静止画像ＰＳと同一または実質的に同一のピクチャを表示順で先頭のピクチャとして有する動画像である。つまり、それぞれ動画像であるＡＲ画像Ｐ１６およびＡＲ画像Ｐ１７の先頭のピクチャは同じである。しかし、ＡＲ画像Ｐ１６およびＡＲ画像Ｐ１７は互いに異なる動画像であって、それぞれの先頭以外のピクチャは異なっている。
【１５２４】
したがって、このようなＡＲ画像Ｐ１６およびＡＲ画像Ｐ１７が撮像表示画像Ｐｑに重畳されるため、受信機２００は、同じピクチャから再生される互いに異なる動画像を表示する画像表示装置が現実に存在するように、撮像表示画像Ｐｑを表示することができる。
【１５２５】
図２７１は、実施の形態２３の変形例１における受信機２００の処理動作の一例を示すフローチャートである。この図２７１のフローチャートによって示される処理動作は、具体的には、図２６５に示す送信機１００が２つある場合に、それらの送信機１００を個別に撮像する受信機２００の処理動作の一例である。
【１５２６】
まず、受信機２００は、第１の送信機１００を第１の被写体として撮像することによって第１の光ＩＤを取得する（ステップＳ２０１）。次に、受信機２００は、撮像表示画像の中から、その第１の被写体を認識する（ステップＳ２０２）。つまり、受信機２００は、第１の光ＩＤに対応する第１のＡＲ画像および第１の認識情報をサーバから取得し、その第１の認識情報に基づいて第１の被写体を認識する。そして、受信機２００は、その第１のＡＲ画像である第１の動画像の再生を最初から開始する（ステップＳ２０３）。つまり、受信機２００は、第１の動画像の先頭のピクチャから再生を開始する。
【１５２７】
ここで、受信機２００は、第１の被写体が撮像表示画像から外れたか否かを判定する（ステップＳ２０４）。つまり、受信機２００は、撮像表示画像から第１の被写体を認識することができなくなったか否かを判定する。ここで、第１の被写体が撮像表示画像から外れたと判定すると（ステップＳ２０４のＹ）、受信機２００は、第１のＡＲ画像である第１の動画像の再生を中断する（ステップＳ２０５）。
【１５２８】
次に、受信機２００は、第１の送信機１００とは異なる第２の送信機１００を第２の被写体として撮像することによって、ステップＳ２０１で取得された第１の光ＩＤとは異なる第２の光ＩＤを取得したか否かを判定する（ステップＳ２０６）。ここで、受信機２００は、第２の光ＩＤを取得したと判定すると（ステップＳ２０６のＹ）、第１の光ＩＤを取得したとき以降のステップＳ２０２〜Ｓ２０３と同様の処理を行う。つまり、受信機２００は、撮像表示画像の中から、第２の被写体を認識する（ステップＳ２０７）。そして、受信機２００は、第２の光ＩＤに対応する第２のＡＲ画像である第２の動画像の再生を最初から開始する（ステップＳ２０８）。つまり、受信機２００は、第２の動画像の先頭のピクチャから再生を開始する。
【１５２９】
一方、受信機２００は、ステップＳ２０６において、第２の光ＩＤを取得していないと判定すると（ステップＳ２０６のＮ）、第１の被写体が再び撮像表示画像に入ったか否かを判定する（ステップＳ２０９）。つまり、受信機２００は、撮像表示画像から第１の被写体を再び認識したか否かを判定する。ここで、受信機２００は、第１の被写体が撮像表示画像に入ったと判定すると（ステップＳ２０９のＹ）、さらに、予め定められた時間（すなわち所定時間）が経過したか否かを判定する（ステップＳ２１０）。つまり、受信機２００は、第１の被写体が撮像表示画像から外れてから再び入るまでにおいて、所定時間が経過したか否かを判定する。ここで、所定時間が経過していないと判定すると（ステップＳ２１０のＹ）、受信機２００は、中断された第１の動画像の途中からの再生を開始する（ステップＳ２１１）。なお、この途中からの再生開始時に最初に表示される第１の動画像のピクチャである再生再開先頭ピクチャは、第１の動画像の再生が中断されたときの最後に表示されたピクチャの次の表示順のピクチャであってもよい。あるいは、再生再開先頭ピクチャは、最後に表示されたピクチャからｎ（ｎは１以上の整数）枚だけ表示順で前のピクチャであってもよい。
【１５３０】
一方、所定時間が経過したと判定すると（ステップＳ２１０のＮ）、受信機２００は、中断された第１の動画像の最初からの再生を開始する（ステップＳ２１２）。
【１５３１】
また、上述の例では、受信機２００は、撮像表示画像の対象領域にＡＲ画像を重畳するが、このときに、ＡＲ画像の明るさを調整してもよい。つまり、受信機２００は、サーバから取得したＡＲ画像の明るさが、撮像表示画像の対象領域の明るさと一致するか否かを判定する。そして、受信機２００は、一致しないと判定すると、ＡＲ画像の明るさを調整することによって、そのＡＲ画像の明るさを対象領域の明るさに一致させる。そして、受信機２００は、明るさが調整されたＡＲ画像を撮像表示画像の対象領域に重畳する。これにより、重畳されるＡＲ画像を、より実在するオブジェクトの画像に近づけることができ、ユーザのＡＲ画像に対する違和感を抑えることができる。なお、ＡＲ画像の明るさは、そのＡＲ画像の空間的な平均の明るさであり、対象領域の明るさも、その対象領域の空間的な平均の明るさである。
【１５３２】
また、受信機２００は、図２４７に示すように、ＡＲ画像をタップすると、そのＡＲ画像を拡大してディスプレイ２０１の全体に表示してもよい。また、図２４７に示す例では、受信機２００は、ＡＲ画像がタップされるそのＡＲ画像を他のＡＲ画像に切り替えるが、タップに関わらずに、自動的にＡＲ画像を切り替えてもよい。例えば、受信機２００は、ＡＲ画像が表示されている時間があらかじめ定められた時間だけ経過すると、そのＡＲ画像を他のＡＲ画像に切り替えて表示する。また、受信機２００は、現在時刻があらかじめ定められた時刻になると、それまで表示されていたＡＲ画像を、他のＡＲ画像に切り替えて表示する。これにより、ユーザは操作を行うことなく、簡単に新たなＡＲ画像を見ることができる。
【１５３３】
［実施の形態２３の変形例２］
以下、実施の形態２３の変形例２、つまり、光ＩＤを用いたＡＲを実現する表示方法の変形例２について説明する。
【１５３４】
図２７２は、実施の形態２３またはその変形例１における受信機２００において想定されるＡＲ画像を表示するときの課題の一例を示す図である。
【１５３５】
例えば、実施の形態２３またはその変形例１における受信機２００は、時刻ｔ１に、被写体を撮像する。なお、上述の被写体は、輝度変化によって光ＩＤを送信するテレビなどの送信機、または、その送信機からの光によって照らされるポスター、案内板、もしくは看板などである。その結果、受信機２００は、イメージセンサの有効画素領域によって得られる画像の全体（以下、全撮像画像という）を、ディスプレイ２０１に撮像表示画像として表示する。このとき、受信機２００は、その撮像表示画像のうち、光ＩＤに基づいて取得された認識情報に応じた領域を、ＡＲ画像が重畳される対象領域として認識する。対象領域は、例えばテレビなどの送信機の像またはポスターなどの像を示す領域である。そして、受信機２００は、その撮像表示画像の対象領域にＡＲ画像を重畳し、ＡＲ画像が重畳された撮像表示画像をディスプレイ２０１に表示する。なお、ＡＲ画像は、静止画または動画でもよく、１つ以上の文字または記号からなる文字列であってもよい。
【１５３６】
ここで、受信機２００のユーザは、ＡＲ画像を大きく表示させるために被写体に近づくと、時刻ｔ２において、イメージセンサにおける対象領域に対応する領域（以下、認識領域という）が有効画素領域からはみ出す。なお、認識領域は、イメージセンサの有効画素領域中、撮像表示画像における対象領域の画像が投影される領域である。つまり、イメージセンサにおける有効画素領域と認識領域はそれぞれ、ディスプレイ２０１における撮像表示画像および対象領域に相当する。
【１５３７】
認識領域が有効画素領域からはみ出すことによって、受信機２００は、撮像表示画像から対象領域を認識することできず、ＡＲ画像を表示することができない状態となる。
【１５３８】
そこで、本変形例における受信機２００は、ディスプレイ２０１の全体に表示される撮像表示画像よりも画角の広い画像を全撮像画像として取得する。
【１５３９】
図２７３は、実施の形態２３の変形例２における受信機２００がＡＲ画像を表示する例を示す図である。
【１５４０】
本変形例に係る受信機２００の全撮像画像の画角、つまりイメージセンサの有効画素領域の画角は、ディスプレイ２０１の全体に表示される撮像表示画像の画角よりも広い。なお、イメージセンサにおいて、ディスプレイ２０１に表示される画像範囲に相当する領域を、以下、表示領域という。
【１５４１】
例えば、受信機２００は、時刻ｔ１に、被写体を撮像する。その結果、受信機２００は、イメージセンサの有効画素領域によって得られる全撮像画像のうち、有効画素領域よりも狭い表示領域によって得られる画像のみを、撮像表示画像としてディスプレイ２０１に表示する。このとき、受信機２００は、上述と同様、その全撮像画像のうち、光ＩＤに基づいて取得された認識情報に応じた領域を、ＡＲ画像が重畳される対象領域として認識する。そして、受信機２００は、その撮像表示画像の対象領域にＡＲ画像を重畳し、ＡＲ画像が重畳された撮像表示画像をディスプレイ２０１に表示する。
【１５４２】
ここで、受信機２００のユーザは、ＡＲ画像を大きく表示させるために被写体に近づくと、イメージセンサにおける認識領域が拡大する。そして、時刻ｔ２において、その認識領域はイメージセンサにおける表示領域からはみ出す。つまり、ディスプレイ２０１に表示されている撮像表示画像から、対象領域の画像（例えば、ポスターの像など）がはみ出してしまう。しかし、イメージセンサにおける認識領域は、有効画素領域からははみ出していない。つまり、受信機２００は、時刻ｔ２においても、対象領域を含む全撮像画像を取得している。その結果、受信機２００は、全撮像画像から対象領域を認識することでき、対象領域のうち撮像表示画像内にある一部の領域にのみ、その領域に対応するＡＲ画像の一部を重畳してディスプレイ２０１に表示する。
【１５４３】
これにより、ユーザがＡＲ画像を大きく表示させるために被写体に近づき、対象領域が撮像表示画像からはみ出しても、ＡＲ画像の表示を継続することができる。
【１５４４】
図２７４は、実施の形態２３の変形例２における受信機２００の処理動作の一例を示すフローチャートである。
【１５４５】
受信機２００は、イメージセンサが被写体を撮像することによって全撮像画像および復号用画像を取得する（ステップＳ３０１）。次に、受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する（ステップＳ３０２）。次に、受信機２００は、その光ＩＤをサーバに送信する（ステップＳ３０３）。次に、受信機２００は、その光ＩＤに対応するＡＲ画像と認識情報とをサーバから取得する（ステップＳ３０４）。次に、受信機２００は、全撮像画像のうち、認識情報に応じた領域を対象領域として認識する（ステップＳ３０５）。
【１５４６】
ここで、受信機２００は、イメージセンサの有効画素領域中の、その対象領域の画像に対応する領域である認識領域が、表示領域からはみ出しているか否かを判定する（ステップＳ３０６）。ここで、はみ出していると判定すると（ステップＳ３０６のＹｅｓ）、受信機２００は、対象領域のうち、撮像表示画像内にある一部の領域にのみ、その領域に対応するＡＲ画像の一部を表示する（ステップＳ３０７）。一方、受信機２００は、はみ出していないと判定すると（ステップＳ３０６のＮｏ）、受信機２００は、撮像表示画像の対象領域にＡＲ画像を重畳し、そのＡＲ画像が重畳された撮像表示画像を表示する（ステップＳ３０８）。
【１５４７】
そして、受信機２００は、ＡＲ画像の表示処理を終了すべきか否かを判定し（ステップＳ３０９）、終了すべきでないと判定すると（ステップＳ３０９のＮｏ）、ステップＳ３０５からの処理を繰り返し実行する。
【１５４８】
図２７５は、実施の形態２３の変形例２における受信機２００がＡＲ画像を表示する他の例を示す図である。
【１５４９】
受信機２００は、上述の表示領域に対する認識領域の大きさの比率によってＡＲ画像の画面表示を切り替えてもよい。
【１５５０】
イメージセンサの表示領域の水平方向の幅をｗ１、垂直方向の幅をｈ１とし、認識領域の水平方向の幅をｗ２、垂直方向の幅をｈ２とする場合、受信機は、比率（ｈ２／ｈ１）および（ｗ２／ｗ１）のうちの大きい方の比率を閾値と比較する。
【１５５１】
例えば、受信機２００は、図２７５の（画面表示１）のように、ＡＲ画像が対象領域に重畳された撮像表示画像を表示しているときには、その大きい方の比率を、第１の閾値（例えば、０．９）と比較する。そして、大きい方の比率が０．９以上になったときには、受信機２００は、図２７５の（画面表示２）のように、ディスプレイ２０１の全体にＡＲ画像を拡大して表示する。なお、認識領域が表示領域よりも大きくなったとき、さらに、有効画素領域よりも大きくなったときにも、受信機２００は、ディスプレイ２０１の全体にＡＲ画像を拡大して表示し続ける。
【１５５２】
また、受信機２００は、例えば、図２７５の（画面表示２）のように、ディスプレイ２０１の全体にＡＲ画像を拡大して表示しているときには、その大きい方の比率を、第２の閾値（例えば、０．７）と比較する。第２の閾値は、第１の閾値よりも小さい。そして、大きい方の比率が０．７以下になったときには、受信機２００は、図２７５の（画面表示１）のように、ＡＲ画像が対象領域に重畳された撮像表示画像を表示する。
【１５５３】
図２７６は、実施の形態２３の変形例２における受信機２００の処理動作の他の例を示すフローチャートである。
【１５５４】
受信機２００は、まず、光ＩＤ処理を行う（ステップＳ３０１ａ）。この光ＩＤ処理は、図２７４に示すステップＳ３０１〜Ｓ３０４を含む処理である。次に、受信機２００は、撮像表示画像のうち、認識情報に応じた領域を対象領域として認識する（ステップＳ３１１）。そして、受信機２００は、撮像表示画像の対象領域にＡＲ画像を重畳し、そのＡＲ画像が重畳された撮像表示画像を表示する（ステップＳ３１２）。
【１５５５】
次に、受信機２００は、認識領域の比率、すなわち比率（ｈ２／ｈ１）および（ｗ２／ｗ１）のうちの大きい方の比率が第１の閾値Ｋ（例えばＫ＝０．９）以上であるか否かを判定する（ステップＳ３１３）。ここで、第１の閾値Ｋ以上でないと判定すると（ステップＳ３１３のＮｏ）、受信機２００は、ステップＳ３１１からの処理を繰り返し実行する。一方、第１の閾値Ｋ以上であると判定すると（ステップＳ３１３のＹｅｓ）、受信機２００は、ＡＲ画像をディスプレイ２０１の全体に拡大して表示する（ステップＳ３１４）。このとき、受信機２００は、イメージセンサの電源をオンとオフとに周期的に切り換える。イメージセンサの電源を周期的にオフにすることによって、受信機２００の省電力化を図ることができる。
【１５５６】
次に、受信機２００は、イメージセンサの電源が周期的にオンにされているときに、認識領域の比率が第２の閾値Ｌ（例えばＬ＝０．７）以下であるか否かを判定する。ここで、第２の閾値Ｌ以下でないと判定すると（ステップＳ３１５のＮｏ）、受信機２００は、ステップＳ３１４からの処理を繰り返し実行する。一方、第２の閾値Ｌ以下であると判定すると（ステップＳ３１５のＹｅｓ）、受信機２００は、撮像表示画像の対象領域にＡＲ画像を重畳し、そのＡＲ画像が重畳された撮像表示画像を表示する（ステップＳ３１６）。
【１５５７】
そして、受信機２００は、ＡＲ画像の表示処理を終了すべきか否かを判定し（ステップＳ３１７）、終了すべきでないと判定すると（ステップＳ３１７のＮｏ）、ステップＳ３１３からの処理を繰り返し実行する。
【１５５８】
このように、第２の閾値Ｌを第１の閾値Ｋよりも小さい値にしておくことによって、受信機２００の画面表示が（画面表示１）と（画面表示２）とで頻繁に切り替えられることを防ぎ、画面表示の状態を安定化させることができる。
【１５５９】
なお、図２７５および図２７６に示す例では、表示領域と有効画素領域とは同一であってもよく、異なっていてもよい。また、その例では、表示領域に対する認識領域の大きさの比率を用いたが、表示領域と有効画素領域とが異なる場合には、表示領域の代わりに、有効画素領域に対する認識領域の大きさの比率を用いてもよい。
【１５６０】
図２７７は、実施の形態２３の変形例２における受信機２００がＡＲ画像を表示する他の例を示す図である。
【１５６１】
図２７７に示す例では、図２７３に示す例と同様、受信機２００のイメージセンサは、表示領域よりも広い有効画素領域を有する。
【１５６２】
例えば、受信機２００は、時刻ｔ１に、被写体を撮像する。その結果、受信機２００は、イメージセンサの有効画素領域によって得られる全撮像画像のうち、有効画素領域よりも狭い表示領域によって得られる画像のみを、撮像表示画像としてディスプレイ２０１に表示する。このとき、受信機２００は、上述と同様、その全撮像画像のうち、光ＩＤに基づいて取得された認識情報に応じた領域を、ＡＲ画像が重畳される対象領域として認識する。そして、受信機２００は、その撮像表示画像の対象領域にＡＲ画像を重畳し、ＡＲ画像が重畳された撮像表示画像をディスプレイ２０１に表示する。
【１５６３】
ここで、ユーザは、受信機２００（具体的にはイメージセンサ）の向きを変えると、イメージセンサにおける認識領域が、例えば図２７７中左上方向に移動し、時刻ｔ２では、表示領域からはみ出す。つまり、ディスプレイ２０１に表示されている撮像表示画像から、対象領域の画像（例えば、ポスターの像など）がはみ出してしまう。しかし、イメージセンサにおける認識領域は、有効画素領域からははみ出していない。つまり、受信機２００は、時刻ｔ２においても、対象領域を含む全撮像画像を取得している。その結果、受信機２００は、全撮像画像から対象領域を認識することでき、対象領域のうちの撮像表示画像内にある一部の領域にのみ、その領域に対応するＡＲ画像の一部を重畳してディスプレイ２０１に表示する。さらに、受信機２００は、イメージセンサにおける認識領域の動き、すなわち全撮像画像における対象領域の動きに応じて、表示されるＡＲ画像の一部の大きさおよび位置を変更する。
【１５６４】
また、上述のように認識領域が表示領域からはみ出したときには、受信機２００は、有効画素領域の縁と、表示領域の縁との間の距離（以下、領域間距離という）に対応するピクセル数を閾値と比較する。
【１５６５】
例えば、有効画素領域の上辺と、表示領域の上辺との間と距離と、有効画素領域の下辺と、表示領域の下辺との間と距離とのうち、短い方の距離（以下、第１の距離という）に対応するピクセル数をｄｈとする。また、有効画素領域の左辺と、表示領域の左辺との間と距離と、有効画素領域の右辺と、表示領域の右辺との間と距離とのうち、短い方の距離（以下、第２の距離という）に対応するピクセル数をｄｗとする。このとき、上述の領域間距離は、第１および第２の距離のうちの短い方の距離である。
【１５６６】
つまり、受信機２００は、ピクセル数ｄｗ、ｄｈのうちの小さい方のピクセル数を、閾値Ｎと比較する。そして、受信機２００は、例えば時刻ｔ２において、その小さい方のピクセル数が閾値Ｎ以下になれば、そのイメージセンサにおける認識領域の位置に応じてＡＲ画像の一部の大きさおよび位置を変更することなく固定する。すなわち、受信機２００は、ＡＲ画像の画面表示を切り替える。例えば、受信機２００は、表示されるＡＲ画像の一部の大きさおよび位置を、その小さい方のピクセル数が閾値Ｎとなったときにディスプレイ２０１に表示されていたＡＲ画像の一部の大きさおよび位置に固定する。
【１５６７】
したがって、時刻ｔ３において、認識領域がさらに移動し、有効画素領域からはみ出すことになっても、受信機２００は、時刻ｔ２と同様にＡＲ画像の一部を表示し続ける。すなわち、受信機２００は、ピクセル数ｄｗ、ｄｈのうちの小さい方のピクセル数が閾値Ｎ以下であるかぎり、時刻ｔ２のときと同様、大きさおよび位置が固定されたＡＲ画像の一部を撮像表示画像に重畳して表示し続ける。
【１５６８】
図２７７に示す例では、受信機２００は、イメージセンサにおける認識領域の移動に応じて、表示されるＡＲ画像の一部の大きさおよび位置を変更したが、ＡＲ画像全体の表示倍率および位置を変更してもよい。
【１５６９】
図２７８は、実施の形態２３の変形例２における受信機２００がＡＲ画像を表示する他の例を示す図である。具体的には、図２７８は、ＡＲ画像の表示倍率が変更される例を示す。
【１５７０】
例えば、図２７７に示す例と同様、時刻ｔ１の状態から、ユーザは、受信機２００（具体的にはイメージセンサ）の向きを変えると、イメージセンサにおける認識領域が、例えば図２７８中左上方向に移動し、時刻ｔ２では、表示領域からはみ出す。つまり、ディスプレイ２０１に表示されている撮像表示画像から、対象領域の画像（例えば、ポスターの像など）がはみ出してしまう。しかし、イメージセンサにおける認識領域は、有効画素領域からははみ出していない。つまり、受信機２００は、時刻ｔ２においても、対象領域を含む全撮像画像を取得している。その結果、受信機２００は、全撮像画像から対象領域を認識することできる。
【１５７１】
そこで、図２７８に示す例では、受信機２００は、対象領域のうちの撮像表示画像内にある一部の領域のサイズに、ＡＲ画像全体のサイズが一致するように、そのＡＲ画像の表示倍率を変更する。つまり、受信機２００はＡＲ画像を縮小する。そして、受信機２００は、表示倍率が変更された（すなわち縮小された）ＡＲ画像をその領域に重畳してディスプレイ２０１に表示する。さらに、受信機２００は、イメージセンサにおける認識領域の動き、すなわち全撮像画像における対象領域の動きに応じて、表示されるＡＲ画像の表示倍率および位置を変更する。
【１５７２】
また、上述のように認識領域が表示領域からはみ出したときには、受信機２００は、ピクセル数ｄｗ、ｄｈのうちの小さい方のピクセル数を、閾値Ｎと比較する。そして、受信機２００は、例えば時刻ｔ２において、その小さい方のピクセル数が閾値Ｎ以下になれば、そのイメージセンサにおける認識領域の位置に応じてＡＲ画像の表示倍率および位置を変更することなく固定する。つまり、受信機２００は、ＡＲ画像の画面表示を切り替える。例えば、受信機２００は、表示されるＡＲ画像の表示倍率および位置を、その小さい方のピクセル数が閾値Ｎとなったときにディスプレイ２０１に表示されていたＡＲ画像の表示倍率および位置に固定する。
【１５７３】
したがって、時刻ｔ３において、認識領域がさらに移動し、有効画素領域からはみ出すことになっても、受信機２００は、時刻ｔ２と同様にＡＲ画像を表示し続ける。すなわち、受信機２００は、ピクセル数ｄｗ、ｄｈのうちの小さい方のピクセル数が閾値Ｎ以下であるかぎり、時刻ｔ２のときと同様、表示倍率および位置が固定されたＡＲ画像を撮像表示画像に重畳して表示し続ける。
【１５７４】
なお、上述の例では、ピクセル数ｄｗ、ｄｈのうちの小さい方と閾値とを比較したが、その小さい方のピクセル数の比率と閾値とを比較してもよい。そのピクセル数ｄｗの比率は、例えば、有効画素領域の水平方向のピクセル数ｗ０に対するピクセル数ｄｗの比率（ｄｗ／ｗ０）である。同様に、ピクセル数ｄｈの比率は、例えば、有効画素領域の垂直方向のピクセル数ｈ０に対するピクセル数ｄｈの比率（ｄｈ／ｈ０）である。または、有効画素領域の水平方向または垂直方向のピクセル数の代わりに、表示領域の水平方向または垂直方向のピクセル数を用いて、ピクセル数ｄｗ、ｄｈのそれぞれの比率を表してもよい。ピクセル数ｄｗ、ｄｈの比率と比較される閾値は、例えば０．０５である。
【１５７５】
また、ピクセル数ｄｗ、ｄｈのうちの小さい方の画角と閾値とを比較してもよい。有効画素領域の対角線のピクセル数がｍであって、その対角線に対応する画角がθ（例えば５５°）である場合、ピクセル数ｄｗに対応する画角は、θ×ｄｗ／ｍであり、ピクセル数ｄｈに対応する画角は、θ×ｄｈ／ｍである。
【１５７６】
また、図２７７および図２７８に示す例では、受信機２００は、有効画素領域と認識領域との間の領域間距離に基づいて、ＡＲ画像の画面表示を切り替えたが、表示領域と認識領域との関係に基づいて、ＡＲ画像の画面表示を切り替えてもよい。
【１５７７】
図２７９は、実施の形態２３の変形例２における受信機２００がＡＲ画像を表示する他の例を示す図である。具体的には、図２７９は、表示領域と認識領域との関係に基づいてＡＲ画像の画面表示を切り替える例を示す。また、図２７９に示す例では、図２７３に示す例と同様、受信機２００のイメージセンサは、表示領域よりも広い有効画素領域を有する。
【１５７８】
例えば、受信機２００は、時刻ｔ１に、被写体を撮像する。その結果、受信機２００は、イメージセンサの有効画素領域によって得られる全撮像画像のうち、有効画素領域よりも狭い表示領域によって得られる画像のみを、撮像表示画像としてディスプレイ２０１に表示する。このとき、受信機２００は、上述と同様、その全撮像画像のうち、光ＩＤに基づいて取得された認識情報に応じた領域を、ＡＲ画像が重畳される対象領域として認識する。そして、受信機２００は、その撮像表示画像の対象領域にＡＲ画像を重畳し、ＡＲ画像が重畳された撮像表示画像をディスプレイ２０１に表示する。
【１５７９】
ここで、ユーザは、受信機２００の向きを変えると、受信機２００は、イメージセンサにおける認識領域の動きに応じて、表示されるＡＲ画像の位置を変更させる。そして、例えば、イメージセンサにおける認識領域が、例えば図２７９中左上方向に移動し、時刻ｔ２では、認識領域の縁の一部と表示領域の縁の一部とが一致する。つまり、ディスプレイ２０１に表示されている撮像表示画像の隅に、対象領域の画像（例えばポスターなどの像）が配置される。その結果、受信機２００は、撮像表示画像の隅にある対象領域にＡＲ画像を重畳してディスプレイ２０１に表示する。
【１５８０】
そして、認識領域がさらに移動して表示領域からはみ出すときには、受信機２００は、時刻ｔ２で表示されていたＡＲ画像の大きさおよび位置を変更することなく固定する。つまり、受信機２００は、ＡＲ画像の画面表示を切り替える。
【１５８１】
したがって、時刻ｔ３において、認識領域がさらに移動し、有効画素領域からはみ出すことになっても、受信機２００は、時刻ｔ２と同様にＡＲ画像を表示し続ける。すなわち、受信機２００は、認識領域が表示領域からはみ出ているかぎり、受信機２００は、時刻ｔ２のときと同じサイズのＡＲ画像を、撮像表示画像における時刻ｔ２のときと同じ位置に重畳して表示し続ける。
【１５８２】
このように、図２７９に示す例では、受信機２００は、認識領域が表示領域からはみ出すか否かに応じてＡＲ画像の画面表示を切り替える。また、受信機２００は、表示領域を包含し、その表示領域よりも大きく有効画素領域よりも小さい判定領域を、表示領域の代わりに用いてもよい。この場合、受信機２００は、認識領域が判定領域からはみ出すか否かに応じてＡＲ画像の画面表示を切り替える。
【１５８３】
以上、図２７３〜図２７９を用いてＡＲ画像の画面表示について説明したが、受信機２００は、全撮像画像から対象領域を認識することができなくなったときに、その直前まで認識されていた対象領域の大きさのＡＲ画像を撮像表示画像に重畳して表示してもよい。
【１５８４】
図２８０は、実施の形態２３の変形例２における受信機２００がＡＲ画像を表示する他の例を示す図である。
【１５８５】
なお、図２４３に示す例では、受信機２００は、送信機１００によって照らされた案内板１０７を撮像することによって、上述と同様に、撮像表示画像Ｐｅと復号用画像とを取得する。受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、受信機２００は、案内板１０７から光ＩＤを受信する。しかし、案内板１０７の表面全体が、光を吸収するような色（例えば暗色）であれば、その表面は送信機１００によって照らされても暗いため、受信機２００は、光ＩＤを正しく受信することができない場合がある。または、案内板１０７の表面全体が、復号用画像（すなわち輝線画像）のような縞模様であっても、受信機２００は、光ＩＤを正しく受信することができない場合がある。
【１５８６】
そこで、図２８０に示すように、案内板１０７の近くに反射板１０９を配置しておいてもよい。これにより、受信機２００は、送信機１００から反射板１０９によって反射された光、つまり、送信機１００から送信される可視光（具体的には光ＩＤ）を受けることができる。その結果、受信機２００は、適切に光ＩＤを受信してＡＲ画像Ｐ５を表示することができる。
【１５８７】
［実施の形態２３の変形例１および２のまとめ］
図２８１Ａは、本発明の一態様に係る表示方法を示すフローチャートである。
【１５８８】
本発明の一態様に係る表示方法は、ステップＳ４１〜Ｓ４３を含む。
【１５８９】
ステップＳ４１では、光の輝度変化により信号を送信する送信機によりライトアップされている対象物を被写体として撮像センサにより撮像することによって、撮像画像を取得する。ステップＳ４２では、その撮像画像から信号を復号する。ステップＳ４３では、復号された信号に対応する動画像をメモリから読み出し、撮像画像中のその被写体に対応する対象領域に、動画像を重畳させてディスプレイに表示する。ここで、ステップＳ４３では、その動画像に含まれる複数の画像のうちの何れかの画像であって、その対象物を含む画像と、前記対象物を含む画像の表示時間で前後にある所定の数の複数の画像とのうちの、何れかの画像から、その動画像を表示する。例えば、その所定の数は、１０フレームである。あるいは、対象物は、静止画であり、ステップＳ４３では、静止画と同一の画像から、その動画像を表示する。なお、動画像の表示が開始される画像は、静止画と同一の画像に限らず、その静止画と同一の画像、すなわち対象物を含む画像から、表示順で所定のフレーム数だけ前後にある画像であってもよい。また、対象物は、静止画に限らず、人形などであってもよい。
【１５９０】
なお、撮像センサおよび撮像画像は、例えば、実施の形態２３におけるイメージセンサおよび全撮像画像である。また、ライトアップされる静止画は、画像表示装置の表示パネルに表示される静止画像であってもよく、送信機からの光によって照らされるポスター、案内板、もしくは看板などであってもよい。
【１５９１】
また、このような表示方法は、さらに、信号をサーバに送信する送信ステップと、その信号に対応する動画像をサーバから受信する受信ステップとを含んでもよい。
【１５９２】
これにより、例えば図２６５に示すように、静止画が動き出すように仮想現実的に動画像を表示することができ、ユーザに有益な画像を表示することができる。
【１５９３】
また、静止画は、所定の色の外枠を有し、本発明の一態様に係る表示方法は、さらに、その所定の色により、撮像画像から対象領域を認識する認識ステップを含んでもよい。この場合、ステップＳ４３では、認識された対象領域のサイズと同一となるように、動画像をリサイズし、撮像画像中の対象領域に、リサイズされた動画像を重畳させてディスプレイに表示してもよい。例えば、所定の色の外枠は、静止画を取り囲む白色または黒色の矩形枠であり、実施の形態２３における認識情報によって示される。そして、実施の形態２３におけるＡＲ画像が動画像としてリサイズされて重畳される。
【１５９４】
これにより、動画像が被写体として実在するように、より現実的にその動画像を表示することができる。
【１５９５】
また、撮像センサの撮像領域のうち、その撮像領域よりも小さい領域である表示領域に投影される画像のみがディスプレイに表示される。この場合、ステップＳ４３では、その撮像領域において被写体が投影されている投影領域が、表示領域よりも大きい場合には、投影領域のうち、表示領域を越えた部分によって得られる画像を、ディスプレイに表示しなくてもよい。ここで、例えば図２７３に示すように、撮像領域および投影領域は、イメージセンサの有効画素領域および認識領域である。
【１５９６】
これにより、例えば図２７３に示すように、被写体である静止画に撮像センサが近づくことによって、投影領域（図２７３の認識領域）によって得られる画像の一部がディスプレイに表示されなくても、被写体である静止画の全体が撮像領域に投影されている場合がある。したがって、この場合には、被写体である静止画を適切に認識することができ、撮像画像中の被写体に対応する対象領域に、動画像を適切に重畳させることができる。
【１５９７】
また、例えば、表示領域の水平方向および垂直方向のそれぞれの幅が、ｗ１およびｈ１であり、投影領域の水平方向および垂直方向のそれぞれの幅が、ｗ２およびｈ２である。この場合、ステップＳ４３では、ｈ２／ｈ１またはｗ２／ｗ１のいずれか大きい値が所定の値以上である場合には、動画像をディスプレイの全画面に表示し、ｈ２／ｈ１またはｗ２／ｗ１のいずれか大きい値が所定の値よりも小さい場合には、撮像画像中の対象領域に動画像を重畳させてディスプレイに表示してもよい。
【１５９８】
これにより、例えば図２７５に示すように、被写体である静止画に撮像センサが近づくと、動画像が全画面に表示されるため、ユーザは、撮像センサをさらに静止画に近づけて動画像を大きく表示させる必要がない。そのため、撮像センサを静止画に近づけすぎて、投影領域（図２７５の認識領域）が撮像領域（有効画素領域）からはみ出してしまうことによって、信号を復号することができなくなることを抑えることができる。
【１５９９】
また、本発明の一態様に係る表示方法は、さらに、動画像をディスプレイの全画面に表示する場合には、撮像センサの動作をオフにする制御ステップを含んでいてもよい。
【１６００】
これにより、例えば図２７６のステップＳ３１４に示すように、撮像センサの動作をオフにすることによって、撮像センサの消費電力を抑えることができる。
【１６０１】
また、ステップＳ４３では、撮像センサが移動することにより、撮像画像から対象領域が認識できなくなった場合には、認識できなくなる直前に認識していた対象領域のサイズと同一のサイズで動画像を表示してもよい。なお、撮像画像から対象領域が認識できないとは、例えば、被写体である静止画に対応する対象領域の少なくとも一部が撮像画像に含まれていない状況である。このように、対象領域が認識できない場合には、例えば図２７９の時刻ｔ３のときのように、直前に認識していた対象領域のサイズと同じサイズの動画像が表示される。したがって、撮像センサを移動させてしまったために、動画像の少なくとも一部が表示されなくなることを抑えることができる。
【１６０２】
また、ステップＳ４３では、撮像センサが移動することにより、対象領域のうちの一部のみが、撮像画像のうちのディスプレイに表示される領域に含まれる場合には、その対象領域の一部に対応する動画像の空間領域の一部を、対象領域の一部に重畳させてディスプレイに表示してもよい。なお、動画像の空間領域の一部とは、動画像を構成する各ピクチャのうちの一部である。
【１６０３】
これにより、例えば図２７７の時刻ｔ２のときのように、動画像（図２７７のＡＲ画像）の空間領域の一部のみがディスプレイに表示される。その結果、撮像センサが被写体となる静止画に適切に向けられていないことをユーザに知らせることができる。
【１６０４】
また、ステップＳ４３では、撮像センサが移動することにより、撮像画像から対象領域が認識できなくなった場合には、認識できなくなる直前に表示されていた、対象領域の一部に対応する動画像の空間領域の一部を、継続して表示してもよい。
【１６０５】
これにより、例えば図２７７の時刻ｔ３のときのように、ユーザが、被写体となる静止画と異なる方向に撮像センサを向けたときにも、動画像（図２７７のＡＲ画像）の空間領域の一部が継続して表示される。その結果、撮像センサをどのように向ければ動画像の全体が表示されるかを、ユーザに把握しやすくすることができる。
【１６０６】
また、ステップＳ４３では、撮像センサの撮像領域における水平方向および垂直方向のそれぞれの幅が、ｗ０およびｈ０であり、撮像領域において被写体が投影されている投影領域と、その撮像領域との間の水平方向および垂直方向のそれぞれの距離が、ｄｈおよびｄｗである場合、ｄｗ／ｗ０またはｄｈ／ｈ０のいずれか小さい方の値が、所定値以下の場合に、対象領域が認識できないと判断してもよい。なお、投影領域は、例えば図２７７に示す認識領域である。または、ステップＳ４３では、撮像センサの撮像領域において被写体が投影されている投影領域と、その撮像領域との間の水平方向および垂直方向のそれぞれの距離のうちの短い方に対応する画角が所定値以下の場合に、対象領域が認識できないと判断してもよい。
【１６０７】
これにより、対象領域が認識できるか否かを適切に判断することができる。
【１６０８】
図２８１Ｂは、本発明の一態様に係る表示装置の構成を示すブロック図である。
【１６０９】
本発明の一態様に係る表示装置Ａ１０は、撮像センサＡ１１と、復号部Ａ１２と、表示制御部Ａ１３とを備える。
【１６１０】
撮像センサＡ１１は、光の輝度変化により信号を送信する送信機によりライトアップされている静止画を被写体として撮像することによって、撮像画像を取得する。
【１６１１】
復号部Ａ１２は、その撮像画像から信号を復号する復号部する。
【１６１２】
表示制御部Ａ１３は、復号された信号に対応する動画像をメモリから読み出し、その撮像画像中の被写体に対応する対象領域に、その動画像を重畳させてディスプレイに表示する。ここで、表示制御部Ａ１３は、その動画像に含まれる複数の画像のうち、静止画と同一の画像である先頭画像から、その複数の画像を順に表示する。
【１６１３】
これにより、上述の表示方法と同様の効果を奏することができる。
【１６１４】
また、撮像センサＡ１１は、複数のマイクロミラーと、フォトセンサとを有し、表示装置Ａ１０は、さらに、撮像センサを制御する撮像制御部を備えてもよい。この場合、撮像制御部は、撮像画像のうち、信号を含む領域を信号領域として特定し、複数のマイクロミラーのうち、特定した信号領域に対応するマイクロミラーの角度を制御する。そして、撮像制御部は、複数のマイクロミラーのうち、角度が制御されたマイクロミラーによる反射光のみを、上述のフォトセンサに受光させる。
【１６１５】
これにより、例えば図２３２Ａに示すように、光の輝度変化によって表される信号である可視光信号に高周波成分が含まれていても、その高周波成分を正しく復号することができる。
【１６１６】
なお、上記各実施の形態および各変形例において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。例えばプログラムは、図２７１、図２７４、図２７６および図２８１Ａのフローチャートによって示される表示方法をコンピュータに実行させる。
【１６１７】
以上、一つまたは複数の態様に係る表示方法について、上記各実施の形態および各変形例に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態および変形例における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれてもよい。
【１６１８】
［実施の形態２３の変形例３］
以下、実施の形態２３の変形例３、つまり、光ＩＤを用いたＡＲを実現する表示方法の変形例３について説明する。
【１６１９】
図２８２は、ＡＲ画像の拡大および移動の一例を示す図である。
【１６２０】
受信機２００は、図２８２の（ａ）に示すように、上記実施の形態２３もしくはその変形例１または２と同様、撮像表示画像Ｐｐｒｅの対象領域にＡＲ画像Ｐ２１を重畳する。そして、受信機２００は、そのＡＲ画像Ｐ２１が重畳された撮像表示画像Ｐｐｒｅをディスプレイ２０１に表示する。例えば、ＡＲ画像Ｐ２１は動画像である。
【１６２１】
ここで、受信機２００は、図２８２の（ｂ）に示すように、サイズ変更の指示を受け付けると、その指示に応じてＡＲ画像Ｐ２１のサイズを変更する。例えば、受信機２００は、拡大の指示を受け付けると、その指示に応じてＡＲ画像Ｐ２１を拡大する。サイズ変更の指示は、ユーザによるＡＲ画像Ｐ２１に対する例えばピンチ操作、ダブルタップまたは長押しによって行われる。具体的には、受信機２００は、ピンチアウトによって行われる拡大の指示を受け付けると、その指示に応じてＡＲ画像Ｐ２１を拡大する。逆に、受信機２００は、ピンチインによって行われる縮小の指示を受け付けると、その指示に応じてＡＲ画像Ｐ２１を縮小する。
【１６２２】
また、受信機２００は、図２８２の（ｃ）に示すように、位置変更の指示を受け付けると、その指示に応じてＡＲ画像Ｐ２１の位置を変更する。位置変更の指示は、ユーザによるＡＲ画像に対する例えばスワイプなどによって行われる。具体的には、受信機２００は、スワイプによって行われる位置変更の指示を受け付けると、その指示に応じてＡＲ画像Ｐ２１の位置を変更する。すなわち、ＡＲ画像Ｐ２１が移動する。
【１６２３】
これにより、動画像であるＡＲ画像の拡大によって、そのＡＲ画像をより見易くすることができるとともに、動画像であるＡＲ画像の縮小または移動によって、ＡＲ画像に隠れている撮像表示画像Ｐｐｒｅの領域をユーザに表示することができる。
【１６２４】
図２８３は、ＡＲ画像の拡大の一例を示す図である。
【１６２５】
受信機２００は、図２８３の（ａ）に示すように、上記実施の形態２３もしくはその変形例１または２と同様、撮像表示画像Ｐｐｒｅの対象領域にＡＲ画像Ｐ２２を重畳する。そして、受信機２００は、そのＡＲ画像Ｐ２２が重畳された撮像表示画像Ｐｐｒｅをディスプレイ２０１に表示する。例えば、ＡＲ画像Ｐ２２は、文字列が記載されている静止画像である。
【１６２６】
ここで、受信機２００は、図２８３の（ｂ）に示すように、サイズ変更の指示を受け付けると、その指示に応じてＡＲ画像Ｐ２２のサイズを変更する。例えば、受信機２００は、拡大の指示を受け付けると、その指示に応じてＡＲ画像Ｐ２２を拡大する。サイズ変更の指示は、上述と同様、ユーザによるＡＲ画像Ｐ２２に対する例えばピンチ操作、ダブルタップまたは長押しによって行われる。具体的には、受信機２００は、ピンチアウトによって行われる拡大の指示を受け付けると、その指示に応じてＡＲ画像Ｐ２２を拡大する。このＡＲ画像Ｐ２２の拡大によって、ＡＲ画像Ｐ２２に記載されている文字列をユーザに対して読み易くすることができる。
【１６２７】
また、受信機２００は、図２８３の（ｃ）に示すように、さらに、サイズ変更の指示を受け付けると、その指示に応じてＡＲ画像Ｐ２２のサイズを変更する。例えば、受信機２００は、さらなる拡大の指示を受け付けると、その指示に応じてＡＲ画像Ｐ２２をさらに拡大する。このＡＲ画像Ｐ２２の拡大によって、ＡＲ画像Ｐ２２に記載されている文字列をユーザに対してさらに読み易くすることができる。
【１６２８】
なお、受信機２００は、拡大の指示を受け付けたときに、その指示に応じたＡＲ画像の拡大率が閾値以上になる場合には、高解像度のＡＲ画像を取得してもよい。この場合、受信機２００は、既に表示されている元のＡＲ画像の代わりに、その高解像度のＡＲ画像を上述の拡大率まで拡大して表示してもよい。例えば、受信機２００は、６４０×４８０画素のＡＲ画像の代わりに、１９２０×１０８０画素のＡＲ画像を表示する。これにより、ＡＲ画像が現実に被写体として撮像されているように、そのＡＲ画像を拡大することができるとともに、光学ズームでは得られない高解像度の画像を表示することができる。
【１６２９】
図２８４は、受信機２００によるＡＲ画像の拡大および移動に関する処理動作の一例を示すフローチャートである。
【１６３０】
まず、受信機２００は、図２３９のフローチャートに示すステップＳ１０１と同様に、通常露光時間および通信用露光時間による撮像を開始する（ステップＳ４０１）。この撮像が開始されると、通常露光時間による撮像表示画像Ｐｐｒｅと、通信用露光時間による復号用画像（すなわち輝線画像）Ｐｄｅｃとがそれぞれ周期的に得られる。そして、受信機２００は、その復号用画像Ｐｄｅｃを復号することによって光ＩＤを取得する。
【１６３１】
次に、受信機２００は、図２３９のフローチャートに示すステップＳ１０２〜Ｓ１０６の処理を含むＡＲ画像重畳処理を行う（ステップＳ４０２）。このＡＲ画像重畳処理が行われると、ＡＲ画像が撮像表示画像Ｐｐｒｅに重畳されて表示される。このとき、受信機２００は、光ＩＤ取得レートを下げる（ステップＳ４０３）。光ＩＤ取得レートとは、ステップＳ４０１において開始される撮像によって得られる単位時間あたりの撮像画像の枚数のうちの、復号用画像（すなわち輝線画像）Ｐｄｅｃの枚数の割合である。例えば、光ＩＤ取得レートが下がることによって、単位時間あたりに得られる復号用画像Ｐｄｅｃの枚数は、単位時間あたりに得られる撮像表示画像Ｐｐｒｅの枚数よりも少なくなる。
【１６３２】
次に、受信機２００は、サイズ変更の指示を受け付けたか否かを判定する（ステップＳ４０４）。ここで、サイズ変更の指示を受け付けたと判定すると（ステップＳ４０４のＹｅｓ）、受信機２００は、さらに、そのサイズ変更の指示が拡大の指示か否かを判定する（ステップＳ４０５）。サイズ変更の指示が拡大の指示であると判定すると（ステップＳ４０５のＹｅｓ）、受信機２００は、さらに、ＡＲ画像の再取得が必要か否かを判定する（ステップＳ４０６）。例えば、受信機２００は、拡大の指示に応じたＡＲ画像の拡大率が閾値以上になると判断した場合に、ＡＲ画像の再取得が必要と判定する。ここで、受信機２００は、再取得が必要と判定すると（ステップＳ４０６のＹｅｓ）、高解像度のＡＲ画像を例えばサーバから取得して、重畳して表示されているＡＲ画像を、その高解像度のＡＲ画像に置き換える（ステップＳ４０７）。
【１６３３】
そして、受信機２００は、受け付けられたサイズ変更の指示に応じて、ＡＲ画像のサイズを変更する（ステップＳ４０８）。つまり、ステップＳ４０７で高解像度のＡＲ画像を取得した場合には、受信機２００は、その高解像度のＡＲ画像を拡大する。また、ステップＳ４０６で、ＡＲ画像の再取得が不要と判定された場合には（ステップＳ４０６のＮｏ）、受信機２００は、重畳されているＡＲ画像を拡大する。また、ステップＳ４０５で、サイズ変更の指示が縮小の指示であると判定すると（ステップＳ４０５のＮｏ）、受信機２００は、受け付けられたサイズ変更の指示、すなわち縮小の指示に応じて、重畳して表示されているＡＲ画像を縮小する。
【１６３４】
一方、受信機２００は、ステップＳ４０４で、サイズ変更の指示を受け付けていないと判定すると（ステップＳ４０４のＮｏ）、位置変更の指示を受け付けたか否かを判定する（ステップＳ４０９）。ここで、位置変更の指示を受け付けたと判定すると（ステップＳ４０９のＹｅｓ）、受信機２００は、その位置変更の指示に応じて、重畳して表示されているＡＲ画像の位置を変更する（ステップＳ４１０）。つまり、受信機２００は、ＡＲ画像を移動させる。また、位置変更の指示を受け付けていないと判定すると（ステップＳ４０９のＮｏ）、受信機２００は、ステップＳ４０４からの処理を繰り返し実行する。
【１６３５】
ステップＳ４０８でＡＲ画像のサイズが変更されると、または、ステップＳ４１０でＡＲ画像の位置が変更されると、受信機２００は、ステップＳ４０１から周期的に取得されている光ＩＤが、取得されなくなったか否かを判定する（ステップＳ４１１）。ここで、光ＩＤが取得されなくなったと判定すると（ステップＳ４１１のＹｅｓ）、受信機２００は、ＡＲ画像の拡大および移動に関する処理動作を終了する。一方、現在も光ＩＤが取得されていると判定すると（ステップＳ４１１のＮｏ）、受信機２００は、ステップＳ４０４からの処理を繰り返し実行する。
【１６３６】
図２８５は、受信機２００によるＡＲ画像の重畳の一例を示す図である。
【１６３７】
受信機２００は、上述のように、撮像表示画像Ｐｐｒｅ中の対象領域にＡＲ画像Ｐ２３を重畳する。ここで、図２８５に示すように、ＡＲ画像Ｐ２３は、ＡＲ画像Ｐ２３の各部位がＡＲ画像Ｐ２３の端に近いほどその部位における透過率が高くなるように構成されている。透過率は、重畳される画像が透けて表示される度合いである。例えば、ＡＲ画像の全体の透過率が１００％とは、撮像表示画像の対象領域にＡＲ画像が重畳されていても、ディスプレイ２０１にはそのＡＲ画像が表示されずに対象領域のみが表示されることを意味する。逆に、ＡＲ画像の全体の透過率が０％とは、ディスプレイ２０１には撮像表示画像の対象領域は表示されず、その対象領域に重畳されているＡＲ画像のみが表示されることを意味する。
【１６３８】
例えば、ＡＲ画像Ｐ２３が矩形状である場合、ＡＲ画像Ｐ２３における各部位の透過率は、その部位が矩形の上端、下端、左端または右端に近いほど高い。より具体的には、それらの端における透過率は１００％である。また、ＡＲ画像Ｐ２３の中央部分には、ＡＲ画像Ｐ２３よりも小さい透過率０％の矩形領域があり、その矩形領域には、例えば「Ｋｙｏｔｏ  Ｓｔａｔｉｏｎ」と英語で記載されている。つまり、ＡＲ画像Ｐ２３の周縁部では、透過率がグラデーションのように０％から１００％まで段階的に変化している。
【１６３９】
受信機２００は、このようなＡＲ画像Ｐ２３を、図２８５に示すように、撮像表示画像Ｐｐｒｅ中の対象領域に重畳する。このとき、受信機２００は、ＡＲ画像Ｐ２３のサイズを対象領域のサイズに合わせて、そのリサイズされたＡＲ画像Ｐ２３を対象領域に重畳する。例えば、対象領域には、ＡＲ画像Ｐ２３の中央部にある矩形領域と同じ背景色の駅名標の像が現れている。なお、駅名標には日本語で「京都」と記載されている。
【１６４０】
ここで、上述のように、ＡＲ画像Ｐ２３の各部位の透過率は、その部位がＡＲ画像Ｐ２３の端に近いほど高い。したがって、対象領域にＡＲ画像Ｐ２３が重畳されると、ＡＲ画像Ｐ２３の中央部分の矩形領域は表示されても、そのＡＲ画像Ｐ２３の端は表示されず、対象領域の端、すなわち、駅名標の像の端が表示される。
【１６４１】
これにより、ＡＲ画像Ｐ２３と対象領域とのずれを目立ち難くすることができる。つまり、ＡＲ画像Ｐ２３が対象領域に重畳されても、受信機２００の動きなどによって、ＡＲ画像Ｐ２３と対象領域との間にずれが生じることがある。この場合、仮にＡＲ画像Ｐ２３の全体の透過率が０％であれば、ＡＲ画像Ｐ２３の端と、対象領域の端とが表示され、そのずれが目立ってしまう。しかし、本変形例におけるＡＲ画像Ｐ２３では、端に近い部位ほどその部位の透過率が高いため、ＡＲ画像Ｐ２３の端が表示され難くすることができ、その結果、ＡＲ画像Ｐ２３と対象領域との間のずれを目立ち難くすることができる。さらに、ＡＲ画像Ｐ２３の周縁部では、グラデーションのように透過率が変化しているため、ＡＲ画像Ｐ２３が対象領域に重畳されていることを目立ち難くすることができる。
【１６４２】
図２８６は、受信機２００によるＡＲ画像の重畳の一例を示す図である。
【１６４３】
受信機２００は、上述のように、撮像表示画像Ｐｐｒｅ中の対象領域にＡＲ画像Ｐ２４を重畳する。ここで、図２８６に示すように、撮像される被写体は、例えば飲食店のメニューである。このメニューは白枠に囲われ、さらに、その白枠は黒枠に囲われている。つまり、被写体は、メニューと、そのメニューを囲う白枠と、その白枠を囲う黒枠とを含む。
【１６４４】
受信機２００は、撮像表示画像Ｐｐｒｅのうちの、白枠の像よりも大きく、黒枠の像よりも小さい領域を対象領域として認識する。そして、受信機２００は、ＡＲ画像Ｐ２４のサイズをその対象領域のサイズに合わせて、そのリサイズされたＡＲ画像Ｐ２４を対象領域に重畳する。
【１６４５】
これにより、重畳されているＡＲ画像Ｐ２４が、受信機２００の動きなどによって、対象領域からずれてしまった場合でも、そのＡＲ画像Ｐ２４を、黒枠に囲まれた状態で表示させ続けることができる。したがって、ＡＲ画像Ｐ２４と対象領域との間のずれを目立ち難くすることができる。
【１６４６】
なお、図２８６に示す例では、枠の色は黒または白であるが、これらの色に限定されず、どのような色であってもよい。
【１６４７】
図２８７は、受信機２００によるＡＲ画像の重畳の一例を示す図である。
【１６４８】
例えば、受信機２００は、夜空にライトアップされた城が描かれたポスターを被写体として撮像する。例えば、このポスターは、バックライトとして構成された上述の送信機１００によって照らされ、そのバックライトによって可視光信号（すなわち光ＩＤ）を送信している。受信機２００は、その撮像によって、そのポスターである被写体の像を含む撮像表示画像Ｐｐｒｅと、その光ＩＤに対応するＡＲ画像Ｐ２５とを取得する。ここで、ＡＲ画像Ｐ２５は、上述の城が描かれている領域が抜き取られたポスターの像と同一の形状を有する。すなわち、ＡＲ画像Ｐ２５における、ポスターの像の城に対応する領域は、マスキングされている。さらに、ＡＲ画像Ｐ２５は、上述のＡＲ画像Ｐ２３と同様、ＡＲ画像Ｐ２５の各部位がＡＲ画像Ｐ２５の端に近いほどその部位における透過率が高くなるように構成されている。また、ＡＲ画像Ｐ２５において透過率が０％である中央部分には、夜空に打ち上げられる花火が動画として表示される。
【１６４９】
受信機２００は、このようなＡＲ画像Ｐ２５のサイズを、被写体の像である対象領域のサイズに合わせて、そのリサイズされたＡＲ画像Ｐ２５を対象領域に重畳する。その結果、ポスターに描かれている城は、ＡＲ画像ではなく、被写体の像として表示され、さらに、花火の動像がＡＲ画像として表示される。
【１６５０】
これにより、ポスターの中で現実に花火が打ち上げられているように撮像表示画像Ｐｐｒｅを表示することができる。また、ＡＲ画像Ｐ２５の各部位の透過率は、その部位がＡＲ画像Ｐ２５の端に近いほど高い。したがって、対象領域にＡＲ画像Ｐ２５が重畳されると、ＡＲ画像Ｐ２５の中央部分は表示されても、そのＡＲ画像Ｐ２５の端は表示されず、対象領域の端が表示される。その結果、ＡＲ画像Ｐ２５と対象領域とのずれを目立ち難くすることができる。さらに、ＡＲ画像Ｐ２５の周縁部では、グラデーションのように透過率が変化しているため、ＡＲ画像Ｐ２５が対象領域に重畳されていることを目立ち難くすることができる。
【１６５１】
図２８８は、受信機２００によるＡＲ画像の重畳の一例を示す図である。
【１６５２】
例えば、受信機２００は、テレビとして構成されている送信機１００を被写体として撮像する。具体的には、この送信機１００は、夜空にライトアップされた城をディスプレイに表示するとともに、可視光信号（すなわち光ＩＤ）を送信している。受信機２００は、その撮像によって、送信機１００が映し出された撮像表示画像Ｐｐｒｅと、その光ＩＤに対応するＡＲ画像Ｐ２６とを取得する。ここで、受信機２００は、まず、撮像表示画像Ｐｐｒｅをディスプレイ２０１に表示する。このとき、受信機２００は、ディスプレイ２０１に、ユーザに消灯を促すメッセージｍも表示する。具体的には、そのメッセージｍは、例えば「部屋の照明をオフにして、部屋を暗くしてください」である。
【１６５３】
このメッセージｍの表示によって、ユーザが消灯し、送信機１００が設置されている部屋が暗くなると、受信機２００は、ＡＲ画像Ｐ２６を撮像表示画像Ｐｐｒｅに重畳して表示する。ここで、ＡＲ画像Ｐ２６は、撮像表示画像Ｐｐｒｅと同じサイズであって、そのＡＲ画像Ｐ２６における、撮像表示画像Ｐｐｒｅの城に対応する領域はくり抜かれている。つまり、ＡＲ画像Ｐ２６における、撮像表示画像Ｐｐｒｅの城に対応する領域はマスキングされている。したがって、その領域から撮像表示画像Ｐｐｒｅの城をユーザに見せることができる。また、ＡＲ画像Ｐ２６におけるその領域の周縁部では、上述と同様に、透過率がグラデーションのように０％から１００％まで段階的に変化していてもよい。この場合には、撮像表示画像ＰｐｒｅとＡＲ画像Ｐ２６との間のずれを目立ち難くすることができる。
【１６５４】
上述の例では、周縁部の透過率が高いＡＲ画像を、撮像表示画像Ｐｐｒｅの対象領域に重畳することによって、ＡＲ画像と対象領域とのずれを目立ち難くしている。しかし、このようなＡＲ画像の代わりに、撮像表示画像Ｐｐｒｅと同じサイズであって、全体が半透明（すなわち透過率が５０％）のＡＲ画像を撮像表示画像Ｐｐｒｅに重畳してもよい。この場合であっても、ＡＲ画像と対象領域とのずれを目立ち難くすることができる。また、撮像表示画像Ｐｐｒｅが全体的に明るい場合には、均一に透明度が低いＡＲ画像を撮像表示画像Ｐｐｒｅに重畳し、逆に、撮像表示画像Ｐｐｒｅが全体的に暗い場合には、均一に透明度が高いＡＲ画像を撮像表示画像Ｐｐｒｅに重畳してもよい。
【１６５５】
なお、ＡＲ画像Ｐ２５およびＡＲ画像Ｐ２６の花火などのオブジェクトは、ＣＧ（computer graphics）によって表現されてもよい。この場合には、マスキングを不要にすることができる。また、図２８８に示す例では、受信機２００は、ユーザに消灯を促すメッセージｍを表示するが、このような表示を行うことなく、自動的に消灯してもよい。例えば、受信機２００は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ、または特定小電力無線局等によって、テレビである送信機１００が設定されている照明装置に対して消灯信号を出力する。これによって、自動的に照明装置の消灯が行われる。
【１６５６】
図２８９Ａは、受信機２００による撮像によって得られる撮像表示画像Ｐｐｒｅの一例を示す図である。
【１６５７】
例えば、送信機１００は、スタジアムに設置されている大型ディスプレイとして構成されている。そして、送信機１００は、例えばファーストフードおよびドリンクの注文が光ＩＤで可能であることを示すメッセージを表示するとともに、可視光信号（すなわち光ＩＤ）を送信する。このようなメッセージが表示されると、ユーザは受信機２００を送信機１００に向けて撮像を行う。つまり、受信機２００は、スタジアムに設置されている大型ディスプレイとして構成されている送信機１００を被写体として撮像する。
【１６５８】
受信機２００は、その撮像によって撮像表示画像Ｐｐｒｅと復号用画像Ｐｄｅｃとを取得する。そして、受信機２００は、その復号用画像Ｐｄｅｃを復号することによって光ＩＤを取得し、その光ＩＤと撮像表示画像Ｐｐｒｅとをサーバに送信する。
【１６５９】
サーバは、光ＩＤごとに、その光ＩＤに対応付けられた設置情報の中から、受信機２００から送信された光ＩＤに対応付けられた、撮像された大型ディスプレイの設置情報を特定する。例えば、設置情報は、大型ディスプレイが設置されている位置および向きと、その大型ディスプレイの大きさとなどを示す。さらに、サーバは、その撮像表示画像Ｐｐｒｅに映し出されている大型ディスプレイの大きさおよび向きと、その設置情報とに基づいて、スタジアムにおいてその撮像表示画像Ｐｐｒｅの撮像が行われた座席の番号を特定する。そして、サーバは、その座席の番号を含むメニュー画面を受信機２００に表示させる。
【１６６０】
図２８９Ｂは、受信機２００のディスプレイ２０１に表示されるメニュー画面の一例を示す図である。
【１６６１】
メニュー画面ｍ１は、例えば商品ごとに、その商品の注文数が入力される入力欄ｍａ１と、サーバによって特定されたスタジアムの座席の番号が記載されている座席欄ｍｂ１と、注文ボタンｍｃ１とを含む。ユーザは、受信機２００を操作することによって、所望の商品に対応する入力欄ｍａ１にその商品の注文数を入力し、注文ボタンｍｃ１を選択する。これにより、注文が確定され、受信機２００は、その入力結果に応じた注文内容をサーバに送信する。
【１６６２】
サーバは、その注文内容を受信すると、その注文内容にしたがった注文数の商品を、上述のように特定された番号の座席に届けるようにスタジアムのスタッフに指示する。
【１６６３】
図２９０は、受信機２００とサーバとの処理動作の一例を示すフローチャートである。
【１６６４】
受信機２００は、まず、スタジアムの大型ディスプレイとして構成されている送信機１００を撮像する（ステップＳ４２１）。受信機２００は、その撮像によって得られる復号用画像Ｐｄｅｃを復号することによって、送信機１００から送信される光ＩＤを取得する（ステップＳ４２２）。受信機２００は、ステップＳ４２２で取得された光ＩＤと、ステップＳ４２１の撮像によって得られた撮像表示画像Ｐｐｒｅとをサーバに送信する（ステップＳ４２３）。
【１６６５】
サーバは、その光ＩＤおよび撮像表示画像Ｐｐｒｅを受信すると（ステップＳ４２４）、その光ＩＤに基づいて、スタジアムに設置されている大型ディスプレイの設置情報を特定する（ステップＳ４２５）。例えば、サーバは、光ＩＤごとに、その光ＩＤに対応付けられた大型ディスプレイの設置情報を示すテーブルを保持し、受信機２００から送信された光ＩＤに対応付けられた設置情報をそのテーブルから検索することによって、その設置情報を特定する。
【１６６６】
次に、サーバは、その特定された設置情報と、撮像表示画像Ｐｐｒｅに映っている大型ディスプレイの大きさおよび向きとに基づいて、スタジアムにおいて、その撮像表示画像Ｐｐｒｅの取得（すなわち撮像）が行われた座席の番号を特定する（ステップＳ４２６）。そして、サーバは、特定された座席の番号を含むメニュー画面ｍ１のＵＲＬ（Uniform Resource Locator）を受信機２００に送信する（ステップＳ４２７）。
【１６６７】
受信機２００は、サーバから送信されたメニュー画面ｍ１のＵＲＬを受信すると（ステップＳ４２８）、そのＵＲＬにアクセスし、メニュー画面ｍ１を表示する（ステップＳ４２９）。ここで、ユーザは、受信機２００を操作することによって、注文内容をメニュー画面ｍ１に入力し、注文ボタンｍｃ１を選択することによって、注文を確定する。これにより、受信機２００は、注文内容をサーバに送信する（ステップＳ４３０）。
【１６６８】
サーバは、その受信機２００から送信された注文内容を受信すると、その注文内容にしたがった受注処理を行う（ステップＳ４３１）。このとき、サーバは、例えば、その注文内容に応じた注文数の商品を、ステップＳ４２６で特定された番号の座席に届けるようにスタジアムのスタッフに指示する。
【１６６９】
このように、受信機２００による撮像によって得られた撮像表示画像Ｐｐｒｅに基づいて、座席の番号が特定されるため、受信機２００のユーザは、商品の注文の際に、わざわざ座席の番号を入力する必要がない。したがって、ユーザは、座席の番号の入力を省いて簡単に商品の注文を行うことができる。
【１６７０】
なお、上述の例では、サーバが座席の番号を特定したが、受信機２００が座席の番号を特定してもよい。この場合には、受信機２００は、サーバから設置情報を取得して、その設置情報と、撮像表示画像Ｐｐｒｅに映っている大型ディスプレイの大きさおよび向きとに基づいて座席の番号を特定する。
【１６７１】
図２９１は、受信機１８００ａによって再生される音声の音量を説明するための図である。
【１６７２】
受信機１８００ａは、図１２３に示す例と同様に、例えば街頭デジタルサイネージとして構成される送信機１８００ｂから送信された光ＩＤ（可視光信号）を受信する。そして、受信機１８００ａは、送信機１８００ｂによる画像再生と同じタイミングで、音声を再生する。つまり、受信機１８００ａは、送信機１８００ｂによって再生される画像と同期するように音声を再生する。なお、受信機１８００ａは、送信機１８００ｂによって再生される画像（再生画像）と同一の画像、または、その再生画像に関連するＡＲ画像（ＡＲの動画像）を、音声とともに再生してもよい。
【１６７３】
ここで、受信機１８００ａは、上述のように音声を再生するときには、送信機１８００ｂまでの距離に応じてその音声の音量を調整する。具体的には、受信機１８００ａは、送信機１８００ｂまでの距離が長いほど音量を小さく調整し、逆に、送信機１８００ｂまでの距離が短いほど音量を大きく調整する。
【１６７４】
受信機１８００ａは、送信機１８００ｂまでの距離を、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）などを利用して特定してもよい。具体的には、受信機１８００ａは、光ＩＤに対応付けられた送信機１８００ｂの位置情報をサーバなどから取得し、さらに、ＧＰＳによって受信機１８００ａの位置を特定する。そして、受信機１８００ａは、サーバから取得された位置情報によって示される送信機１８００ｂの位置と、特定された受信機１８００ａの位置との間の距離を、上述の送信機１８００ｂまでの距離として特定する。なお、受信機１８００ａは、ＧＰＳの代わりにＢｌｕｅｔｏｏｔｈ（登録商標）などを利用して、送信機１８００ｂまでの距離を特定してもよい。
【１６７５】
また、受信機１８００ａは、撮像によって得られる上述の復号用画像Ｐｄｅｃの輝線パターン領域の大きさに基づいて、送信機１８００ｂまでの距離を特定してもよい。輝線パターン領域は、図２４５および図２４６に示す例と同様、受信機１８００ａのイメージセンサが有する複数の露光ラインの通信用露光時間での露光によって現れる複数の輝線のパターンからなる領域である。この輝線パターン領域は、撮像表示画像Ｐｐｒｅに映し出されている送信機１８００ｂのディスプレイの領域に相当する。具体的には、受信機１８００ａは、輝線パターン領域が大きいほど短い距離を送信機１８００ｂまでの距離として特定し、逆に、輝線パターン領域が小さいほど長い距離を送信機１８００ｂまでの距離として特定する。また、受信機１８００ａは、輝線パターン領域の大きさと距離との関係を示す距離データを用い、その距離データにおいて、撮像表示画像Ｐｐｒｅ中の輝線パターン領域の大きさに対応付けられている距離を、送信機１８００ｂまでの距離として特定してもよい。なお、受信機１８００ａは、上述のように受信された光ＩＤをサーバに送信し、その光ＩＤに対応付けられた距離データをそのサーバから取得してもよい。
【１６７６】
このように、送信機１８００ｂまでの距離に応じて音量が調整されるため、受信機１８００ａのユーザは、受信機１８００ａによって再生される音声を、現実に送信機１８００ｂによって再生されている音声のように聞き取ることができる。
【１６７７】
図２９２は、受信機１８００ａから送信機１８００ｂまでの距離と音量との関係を示す図である。
【１６７８】
例えば、送信機１８００ｂまでの距離がＬ１〜Ｌ２［ｍ］の間では、音量は、Ｖｍｉｎ〜Ｖｍａｘ［ｄＢ］までの範囲において、その距離に比例して増加または減少する。具体的には、受信機１８００ａは、送信機１８００ｂまでの距離がＬ１［ｍ］からＬ２［ｍ］まで長くなれば、音量をＶｍａｘ［ｄＢ］からＶｍｉｎ［ｄＢ］まで直線的に減少させる。また、送信機１８００ｂまでの距離がＬ１［ｍ］よりも短くなっても、受信機１８００ａは、音量をＶｍａｘ［ｄＢ］に維持し、送信機１８００ｂまでの距離がＬ２［ｍ］よりも長くなっても、音量をＶｍｉｎ［ｄＢ］に維持する。
【１６７９】
このように、受信機１８００ａは、最大音量Ｖｍａｘと、その最大音量Ｖｍａｘの音声が出力される最長距離Ｌ１と、最小音量Ｖｍｉｎと、その最小音量Ｖｍｉｎの音声が出力される最短距離Ｌ２とを記憶している。また、受信機１８００ａは、自らに設定されている属性に応じて、その最大音量Ｖｍａｘ、最小音量Ｖｍｉｎ、最長距離Ｌ１および最短距離Ｌ２を変更してもよい。例えば、属性がユーザの年齢であって、その年齢が高齢を示す場合には、受信機１８００ａは、最大音量Ｖｍａｘを基準最大音量よりも大きくし、最小音量Ｖｍｉｎを基準最小音量よりも大きくしてもよい。また、属性は、音声の出力が、スピーカから行われるかイヤホンから行われるかを示す情報であってもよい。
【１６８０】
このように、受信機１８００ａには最小音量Ｖｍｉｎが設定されているため、受信機１８００ａが送信機１８００ｂから遠すぎるために、音声が聞こえないことを抑えることができる。さらに、受信機１８００ａには最大音量Ｖｍａｘが設定されているため、受信機１８００ａが送信機１８００ｂから近すぎるために、必要以上に大音量の音声が出力されてしまうことを抑えることができる。
【１６８１】
図２９３は、受信機２００によるＡＲ画像の重畳の一例を示す図である。
【１６８２】
受信機２００は、ライトアップされた看板を撮像する。ここで、看板は、光ＩＤを送信する上述の送信機１００である照明装置によってライトアップされている。したがって、受信機２００は、その撮像によって撮像表示画像Ｐｐｒｅと復号用画像Ｐｄｅｃとを取得する。そして、受信機２００は、復号用画像Ｐｄｅｃを復号することによって光ＩＤを取得し、その光ＩＤに対応付けられた複数のＡＲ画像Ｐ２７ａ〜Ｐ２７ｃと認識情報とをサーバから取得する。受信機２００は、認識情報に基づいて、撮像表示画像Ｐｐｒｅのうちの看板が映し出されている領域ｍ２の周辺を対象領域として認識する。
【１６８３】
具体的には、受信機２００は、図２９３の（ａ）に示すように、領域ｍ２の左側に接する領域を第１の対象領域として認識し、その第１の対象領域にＡＲ画像Ｐ２７ａを重畳する。
【１６８４】
次に、受信機２００は、図２９３の（ｂ）に示すように、領域ｍ２の下側を含む領域を第２の対象領域として認識し、その第２の対象領域にＡＲ画像Ｐ２７ｂを重畳する。
【１６８５】
次に、受信機２００は、図２９３の（ｃ）に示すように、領域ｍ２の上側に接する領域を第３の対象領域として認識し、その第３の対象領域にＡＲ画像Ｐ２７ｃを重畳する。
【１６８６】
ここで、ＡＲ画像Ｐ２７ａ〜Ｐ２７ｃのそれぞれは、例えば雪男のキャラクターの画像であって、動画であってもよい。
【１６８７】
また、受信機２００は、光ＩＤを継続して繰り返し取得している間、予め定められた順序およびタイミングで、認識される対象領域を第１〜第３の対象領域のうちの何れかに切り替えてもよい。つまり、受信機２００は、認識される対象領域を、第１の対象領域、第２の対象領域、第３の対象領域の順に切り替えてもよい。あるいは、受信機２００は、上述の光ＩＤを取得するごとに、予め定められた順序で、認識される対象領域を第１〜第３の対象領域のうちの何れかに切り替えてもよい。つまり、受信機２００は、最初に光ＩＤを取得し、その光ＩＤを継続して繰り返し取得している間には、図２９３の（ａ）に示すように、第１の対象領域を認識して、その第１の対象領域にＡＲ画像Ｐ２７ａを重畳する。そして、受信機２００は、その光ＩＤを取得できなくなった場合には、ＡＲ画像Ｐ２７ａを非表示にする。次に、受信機２００は、再び光ＩＤを取得した場合には、その光ＩＤを継続して繰り返し取得している間、図２９３の（ｂ）に示すように、第２の対象領域を認識して、その第２の対象領域にＡＲ画像Ｐ２７ｂを重畳する。そして、受信機２００は、再び、その光ＩＤを取得できなくなった場合には、ＡＲ画像Ｐ２７ｂを非表示にする。次に、受信機２００は、再び光ＩＤを取得した場合には、その光ＩＤを継続して繰り返し取得している間、図２９３の（ｃ）に示すように、第３の対象領域を認識して、その第３の対象領域にＡＲ画像Ｐ２７ｃを重畳する。
【１６８８】
このように光ＩＤを取得するごとに、認識される対象領域を切り替える場合には、受信機２００は、Ｎ（Ｎは２以上の整数）回に１回の頻度で、表示されるＡＲ画像の色を変更してもよい。Ｎ回は、ＡＲ画像が表示される回数であって、例えば２００回であってもよい。つまり、ＡＲ画像Ｐ２７ａ〜Ｐ２７ｃは、全て同じ白色のキャラクターの画像であるが、２００回に１回の頻度で、例えばピンク色のキャラクターのＡＲ画像が表示される。受信機２００は、そのピンク色のキャラクターのＡＲ画像が表示されているときに、ユーザによるそのＡＲ画像に対する操作を受け付けると、そのユーザに対してポイントを付与してもよい。
【１６８９】
このように、ＡＲ画像が重畳される対象領域を切り替えたり、ＡＲ画像の色を所定の頻度で変更することによって、送信機１００によってライトアップされた看板の撮像にユーザの興味を向けることができ、ユーザに光ＩＤを繰り返し取得させることができる。
【１６９０】
図２９４は、受信機２００によるＡＲ画像の重畳の一例を示す図である。
【１６９１】
受信機２００は、例えば建物内における複数の通路が交差する位置の床面に描かれたマークＭ４を撮像することによって、ユーザの進むべき進路を提示する、いわゆるウェイファインダー（Ｗａｙ  Ｆｉｎｄｅｒ）としての機能を有する。建物は、例えばホテルなどであって、提示される進路は、チェックインを行ったユーザが自らの部屋に向かう進路である。
【１６９２】
マークＭ４は、輝度変化によって光ＩＤを送信する上述の送信機１００である照明装置によってライトアップされている。したがって、受信機２００は、そのマークＭ４の撮像によって撮像表示画像Ｐｐｒｅと復号用画像Ｐｄｅｃとを取得する。そして、受信機２００は、復号用画像Ｐｄｅｃを復号することによって光ＩＤを取得し、その光ＩＤと受信機２００の端末情報とをサーバに送信する。受信機２００は、その光ＩＤおよび端末情報に対応付けられた複数のＡＲ画像Ｐ２８と認識情報とをサーバから取得する。なお、光ＩＤおよび端末情報は、ユーザのチェックインのときに、複数のＡＲ画像Ｐ２８および認識情報に対応付けてサーバに格納されている。
【１６９３】
受信機２００は、認識情報に基づいて、撮像表示画像ＰｐｒｅのうちのマークＭ４が映し出されている領域ｍ４の周辺において複数の対象領域を認識する。そして、受信機２００は、図２９４に示すように、その複数の対象領域のそれぞれに、例えば動物の足跡のようなＡＲ画像Ｐ２８を重畳して表示する。
【１６９４】
具体的には、認識情報は、マークＭ４の位置で右に曲がる進路を示す。受信機２００は、このような認識情報に基づいて、撮像表示画像Ｐｐｒｅにおける経路を特定し、その経路に沿って配列される複数の対象領域を認識する。この経路は、ディスプレイ２０１の下側から領域ｍ４に向かい、領域ｍ４で右に曲がる経路である。受信機２００は、あたかも動物がその経路に沿って歩いたかのように、認識された複数の対象領域のそれぞれにＡＲ画像Ｐ２８を配置する。
【１６９５】
ここで、受信機２００は、撮像表示画像Ｐｐｒｅにおける経路を特定する場合には、自らに備えられている９軸センサによって検出される地磁気を利用してもよい。この場合、認識情報は、マークＭ４の位置で進むべき方位を地磁気の向きを基準として示す。例えば、認識情報は、マークＭ４の位置で進むべき方向として西を示す。受信機２００は、このような認識情報に基づいて、撮像表示画像Ｐｐｒｅにおいて、ディスプレイ２０１の下側から領域ｍ４に向かい、領域ｍ４で西に向かう経路を特定する。そして、受信機２００は、その経路に沿って配列される複数の対象領域を認識する。なお、受信機２００は、９軸センサによる重力加速度の検出によって、ディスプレイ２０１の下側を特定する。
【１６９６】
このように、受信機２００によってユーザの進路が提示されるため、ユーザはその進路にしたがって進めば、簡単に目的地に辿り着くことができる。また、その進路は、撮像表示画像ＰｐｒｅにおけるＡＲ画像として表示されるため、ユーザに分かりやすくその進路を提示することができる。
【１６９７】
なお、送信機１００である照明装置は、短パルスの光でマークＭ４を照らすことによって、明るさを抑えながら光ＩＤを適切に送信することができる。また、受信機２００は、マークＭ４を撮像したが、ディスプレイ２０１側に配置されているカメラ（いわゆる自取りカメラ）を用いて、照明装置を撮像してもよい。また、受信機２００は、マークＭ４および照明装置の両方を撮像してもよい。
【１６９８】
図２９５は、受信機２００によるラインスキャン時間の求め方の一例を説明するための図である。
【１６９９】
受信機２００は、復号用画像Ｐｄｅｃを復号する場合には、ラインスキャン時間を用いて復号を行う。このラインスキャン時間は、イメージセンサに含まれる１つの露光ラインの露光が開始されてから、次の露光ラインの露光が開始されるまでの時間である。受信機２００は、このラインスキャン時間が判明していれば、その判明しているラインスキャン時間を用いて復号用画像Ｐｄｅｃを復号する。しかし、そのラインスキャン時間が判明していない場合には、受信機２００は、ラインスキャン時間を復号用画像Ｐｄｅｃから求める。
【１７００】
例えば、受信機２００は、図２９５に示すように、復号用画像Ｐｄｅｃにおいて輝線パターンを構成する複数の明線と複数の暗線の中から、最小幅の線を見つけ出す。なお、明線は、送信機１００の輝度が高いときに、１つまたは複数の連続する露光ラインのそれぞれが露光することによって生じる復号用画像Ｐｄｅｃ上の線である。また、暗線は、送信機１００の輝度が低いときに、１つまたは複数の連続する露光ラインのそれぞれが露光することによって生じる復号用画像Ｐｄｅｃ上の線である。
【１７０１】
受信機２００は、その最小幅の線を見つけると、その最小幅の線に対応する露光ラインのライン数、つまりピクセル数を特定する。送信機１００が光ＩＤを送信するために輝度変化するキャリア周波数が９．６ｋＨｚである場合、送信機１００の輝度が高い時間または低い時間は、最短で１０４μｓである。したがって、受信機２００は、１０４μｓを、特定された最小幅のピクセル数で除算することによって、ラインスキャン時間を算出する。
【１７０２】
図２９６は、受信機２００によるラインスキャン時間の求め方の一例を説明するための図である。
【１７０３】
受信機２００は、復号用画像Ｐｄｅｃの輝線パターンに対してフーリエ変換を行い、そのフーリエ変換によって得られる空間周波数に基づいてラインスキャン時間を求めてもよい。
【１７０４】
例えば図２９６に示すように、受信機２００は、上述のフーリエ変換によって、空間周波数と、復号用画像Ｐｄｅｃにおけるその空間周波数の成分の強度との関係を示すスペクトルを導出する。次に、受信機２００は、そのスペクトルに示される複数のピークのそれぞれを順に選択する。そして、受信機２００は、ピークを選択するごとに、その選択されたピークの空間周波数（例えば図２９６における空間周波数ｆ２）が、９．６ｋＨｚの時間周波数によって得られるようなラインスキャン時間を、ラインキャン時間候補として算出する。９．６ｋＨｚは、上述のように送信機１００の輝度変化のキャリア周波数である。これにより、複数のラインスキャン時間候補が算出される。受信機２００は、これらの複数のラインスキャン時間候補のうちの最尤の候補を、ラインスキャン時間として選択する。
【１７０５】
最尤の候補を選択するためには、受信機２００は、撮像におけるフレームレートと、イメージセンサに含まれる露光ラインの数とに基づいて、ラインスキャン時間の許容範囲を算出する。つまり、受信機２００は、１×１０６［μｓ］／｛（フレームレート）×（露光ライン数）｝によって、ラインスキャン時間の最大値を算出する。そして、受信機２００は、その最大値×定数Ｋ（Ｋ＜１）〜最大値までを、ラインスキャン時間の許容範囲として決定する。定数Ｋは、例えば０．９または０．８などである。
【１７０６】
受信機２００は、複数のラインスキャン時間候補のうち、この許容範囲にある候補を最尤の候補、すなわちラインスキャン時間として選択する。
【１７０７】
なお、受信機２００は、図２９５に示す例によって算出されたラインスキャン時間が上述の許容範囲にあるか否かによって、その算出されたラインスキャン時間の信頼性を評価してもよい。
【１７０８】
図２９７は、受信機２００によるラインスキャン時間の求め方の一例を示すフローチャートである。
【１７０９】
受信機２００は、復号用画像Ｐｄｅｃの復号を試みることによって、ラインスキャン時間を求めてもよい。具体的には、まず、受信機２００は、撮像を開始する（ステップＳ４４１）。次に、受信機２００は、ラインスキャン時間が判明しているか否かを判定する（ステップＳ４４２）。例えば、受信機２００は、自らの種類および型式をサーバに通知し、その種類および型式に応じたラインスキャン時間を問い合わせることによって、そのラインスキャン時間が判明しているか否かを判定してもよい。ここで、判明していると判定すると（ステップＳ４４２のＹｅｓ）、受信機２００は、光ＩＤの基準取得回数をｎ（ｎは２以上の整数であって、例えば４）に設定する（ステップＳ４４３）。次に、受信機２００は、その判明しているラインスキャン時間を用いて復号用画像Ｐｄｅｃを復号することによって、光ＩＤを取得する（ステップＳ４４４）。このとき、受信機２００は、ステップＳ４４１で開始された撮像によって順次得られる複数の復号用画像Ｐｄｅｃのそれぞれに対して復号を行うことによって、複数の光ＩＤを取得する。ここで、受信機２００は、同じ光ＩＤを基準取得回数（すなわちｎ回）だけ取得したか否かを判定する（ステップＳ４４５）。ｎ回取得したと判定すると（ステップＳ４４５のＹｅｓ）、受信機２００は、その光ＩＤを信用し、その光ＩＤを用いた処理（例えばＡＲ画像の重畳）を開始する（ステップＳ４４６）。一方、ｎ回取得していないと判定すると（ステップＳ４４５のＮｏ）、受信機２００は、その光ＩＤを信用せず、処理を終了する。
【１７１０】
ステップＳ４４２において、ラインスキャン時間が判明していないと判定すると（ステップＳ４４２のＮｏ）、受信機２００は、光ＩＤの基準取得回数をｎ＋ｋ（ｋは１以上の整数）に設定する（ステップＳ４４７）。つまり、受信機２００は、ラインスキャン時間が判明していないときには、ラインスキャン時間が判明しているときよりも多い基準取得回数を設定する。次に、受信機２００は、仮のラインスキャン時間を決定する（ステップＳ４４８）。そして、受信機２００は、仮決めのラインスキャン時間を用いて復号用画像Ｐｄｅｃを復号することによって、光ＩＤを取得する（ステップＳ４４９）。このとき、受信機２００は、上述と同様、ステップＳ４４１で開始された撮像によって順次得られる複数の復号用画像Ｐｄｅｃのそれぞれに対して復号を行うことによって、複数の光ＩＤを取得する。ここで、受信機２００は、同じ光ＩＤを基準取得回数（すなわち（ｎ＋ｋ）回）だけ取得したか否かを判定する（ステップＳ４５０）。
【１７１１】
（ｎ＋ｋ）回取得したと判定すると（ステップＳ４５０のＹｅｓ）、受信機２００は、仮決めのラインスキャン時間が正しいラインスキャン時間であると判断する。そして、受信機２００は、受信機２００の種類および型式と、そのラインスキャン時間とをサーバに通知する（ステップＳ４５１）。これにより、サーバでは、受信機の種類および型式と、その受信機に適したラインスキャン時間とが対応付けて記憶される。したがって、同じ種類および型式の他の受信機が撮像を開始した場合には、他の受信機は、サーバに問い合わせることによって、自らのラインスキャン時間を特定することができる。つまり、他の受信機は、ステップＳ４４２の判定において、ラインスキャン時間が判明していると判定することができる。
【１７１２】
そして、受信機２００は、（ｎ＋ｋ）回取得された光ＩＤを信用し、その光ＩＤを用いた処理（例えばＡＲ画像の重畳）を開始する（ステップＳ４４６）。
【１７１３】
また、ステップＳ４５０において、同じ光ＩＤを（ｎ＋ｋ）回取得していないと判定すると（ステップＳ４５０のＮｏ）、受信機２００は、さらに、終了条件が満たされたか否かを判定する（ステップＳ４５２）。終了条件は、例えば、撮像開始から予め定められた時間が経過したこと、あるいは、光ＩＤの取得が最大取得回数以上行われたことなどである。このような終了条件が満たされたと判定すると（ステップＳ４５２のＹｅｓ）、受信機２００は処理を終了する。一方、終了条件が満たされていないと判定すると（ステップＳ４５２のＮｏ）、受信機２００は、仮決めのラインスキャン時間を変更する（ステップＳ４５３）。そして、受信機２００は、その変更された仮決めのラインスキャン時間を用いてステップＳ４４９からの処理を繰り返し実行する。
【１７１４】
このように、受信機２００は、ラインスキャン時間が判明していなくても、図２９５〜図２９７に示す例のように、そのラインスキャン時間を求めることができる。これにより、受信機２００の種類および型式がどのようなものであっても、受信機２００は、復号用画像Ｐｄｅｃを適切に復号して光ＩＤを取得することができる。
【１７１５】
図２９８は、受信機２００によるＡＲ画像の重畳の一例を示す図である。
【１７１６】
受信機２００は、テレビとして構成されている送信機１００を撮像する。この送信機１００は、例えばテレビ番組を表示しながら輝度変化することによって、光ＩＤとタイムコードを周期的に送信している。タイムコードは、送信されるたびに、その送信時の時刻を示す情報であって、例えば図１２６に示す時間パケットであってもよい。
【１７１７】
受信機２００は、上述の撮像によって、撮像表示画像Ｐｐｒｅと復号用画像Ｐｄｅｃとを周期的に取得する。そして、受信機２００は、周期的に取得される撮像表示画像Ｐｐｒｅをディスプレイ２０１に表示しながら、復号用画像Ｐｄｅｃを復号することによって、上述の光ＩＤとタイムコードを取得する。次に、受信機２００は、その光ＩＤをサーバ３００に送信する。サーバ３００は、その光ＩＤを受信すると、その光ＩＤに対応付けられた音声データと、ＡＲ開始時刻情報と、ＡＲ画像Ｐ２９と、認識情報とを受信機２００に送信する。
【１７１８】
受信機２００は、音声データを取得すると、その音声データを送信機１００に映し出されているテレビ番組の映像と同期させて再生する。つまり、音声データは、複数の音声単位データからなり、それらの複数の音声単位データにはタイムコードが含まれている。受信機２００は、音声データのうち、光ＩＤとともに送信機１００から取得されるタイムコードと同一の時刻を示すタイムコードを含む音声単位データから、複数の音声単位データの再生を開始する。これにより、音声データの再生が、テレビ番組の映像と同期される。なお、このような音声と映像との同期は、図１２３以降の各図によって示される音声同期再生と同様の方法によって行われてもよい。
【１７１９】
受信機２００は、ＡＲ画像Ｐ２９および認識情報を取得すると、撮像表示画像Ｐｐｒｅのうち、その認識情報に応じた領域を対象領域として認識し、その対象領域にＡＲ画像Ｐ２９を重畳する。例えば、ＡＲ画像Ｐ２９は、受信機２００のディスプレイ２０１の亀裂を示す画像であって、対象領域は、撮像表示画像Ｐｐｒｅのうちの送信機１００の像を横切る領域である。
【１７２０】
ここで、受信機２００は、上述のようなＡＲ画像Ｐ２９が重畳された撮像表示画像Ｐｐｒｅを、ＡＲ開始時刻情報に応じたタイミングに表示する。ＡＲ開始時刻情報は、ＡＲ画像Ｐ２９が表示される時刻を示す情報である。つまり、受信機２００は、送信機１００から随時送信されるタイムコードのうち、ＡＲ開始時刻情報と同一の時刻を示すタイムコードを受信したタイミングに、上述のＡＲ画像Ｐ２９が重畳された撮像表示画像Ｐｐｒｅを表示する。例えば、ＡＲ開始時刻情報によって示される時刻は、テレビ番組において、魔法使いの少女が氷の魔法をかけるシーンが登場する時刻である。また、この時刻には、受信機２００は、音声データの再生によって、そのＡＲ画像Ｐ２９の亀裂が生じる音を受信機２００のスピーカから出力してもよい。
【１７２１】
これにより、ユーザは、テレビ番組のシーンを、より臨場感を持って視聴することできる。
【１７２２】
また、受信機２００は、ＡＲ開始時刻情報によって示される時刻に、受信機２００に備えられているバイブレータを振動させてもよく、光源をフラッシュのように発光させてもよく、ディスプレイ２０１を瞬間的に明るくさせたり点滅させたりしてもよい。また、ＡＲ画像Ｐ２９は、亀裂を示す画像だけでなく、ディスプレイ２０１の結露が凍り付いた状態を示す画像を含んでいてもよい。
【１７２３】
図２９９は、受信機２００によるＡＲ画像の重畳の一例を示す図である。
【１７２４】
受信機２００は、例えば玩具の杖として構成されている送信機１００を撮像する。この送信機１００は、光源を備え、その光源が輝度変化することによって、光ＩＤを送信している。
【１７２５】
受信機２００は、上述の撮像によって、撮像表示画像Ｐｐｒｅと復号用画像Ｐｄｅｃとを周期的に取得する。そして、受信機２００は、周期的に取得される撮像表示画像Ｐｐｒｅをディスプレイ２０１に表示しながら、復号用画像Ｐｄｅｃを復号することによって、上述の光ＩＤを取得する。次に、受信機２００は、その光ＩＤをサーバ３００に送信する。サーバ３００は、その光ＩＤを受信すると、その光ＩＤに対応付けられたＡＲ画像Ｐ３０と認識情報とを受信機２００に送信する。
【１７２６】
ここで、認識情報は、さらに、送信機１００を把持する人物によるジェスチャ（すなわち動作）を示すジェスチャ情報を含む。ジェスチャ情報は、例えば、人物が送信機１００を右から左に動かすジェスチャを示す。受信機２００は、各撮像表示画像Ｐｐｒｅに映し出されている、送信機１００を把持する人物によるジェスチャと、ジェスチャ情報によって示されるジェスチャとを比較する。そして、受信機２００は、それらのジェスチャが一致すると、例えば、多くの星型のＡＲ画像Ｐ３０が、そのジェスチャによって移動する送信機１００の軌跡に沿って配列されるように、それらのＡＲ画像Ｐ３０を撮像表示画像Ｐｐｒｅに重畳する。
【１７２７】
図３００は、受信機２００によるＡＲ画像の重畳の一例を示す図である。
【１７２８】
受信機２００は、上述と同様に、例えば玩具の杖として構成されている送信機１００を撮像する。
【１７２９】
受信機２００は、その撮像によって、撮像表示画像Ｐｐｒｅと復号用画像Ｐｄｅｃとを周期的に取得する。そして、受信機２００は、周期的に取得される撮像表示画像Ｐｐｒｅをディスプレイ２０１に表示しながら、復号用画像Ｐｄｅｃを復号することによって、上述の光ＩＤを取得する。次に、受信機２００は、その光ＩＤをサーバ３００に送信する。サーバ３００は、その光ＩＤを受信すると、その光ＩＤに対応付けられたＡＲ画像Ｐ３１と認識情報とを受信機２００に送信する。
【１７３０】
ここで、認識情報は、上述と同様に、送信機１００を把持する人物によるジェスチャを示すジェスチャ情報を含む。ジェスチャ情報は、例えば、人物が送信機１００を右から左に動かすジェスチャを示す。受信機２００は、各撮像表示画像Ｐｐｒｅに映し出されている、送信機１００を把持する人物によるジェスチャと、ジェスチャ情報によって示されるジェスチャとを比較する。そして、受信機２００は、それらのジェスチャが一致すると、例えば、撮像表示画像Ｐｐｒｅにおいて、その送信機１００を把持する人物が映し出されている領域である対象領域に、ドレスの衣装を示すＡＲ画像Ｐ３０を重畳する。
【１７３１】
このように、本変形例における表示方法では、光ＩＤに対応するジェスチャ情報をサーバから取得する。次に、周期的に取得される撮像表示画像によって示される被写体の動きが、サーバから取得されたジェスチャ情報によって示される動きと一致するか否かを判定する。そして、一致すると判定されたときに、ＡＲ画像が重畳された撮像表示画像Ｐｐｒｅを表示する。
【１７３２】
これにより、例えば人物などの被写体の動きに応じてＡＲ画像を表示することができる。つまり、適切なタイミングにＡＲ画像を表示することができる。
【１７３３】
図３０１は、受信機２００の姿勢に応じて取得される復号用画像Ｐｄｅｃの一例を示す図である。
【１７３４】
例えば、図３０１の（ａ）に示すように、受信機２００は、横向きの姿勢で、輝度変化によって光ＩＤを送信する送信機１００を撮像する。なお、横向きの姿勢は、受信機２００のディスプレイ２０１の長手方向が水平方向に沿う姿勢である。また、受信機２００に備えられているイメージセンサの各露光ラインは、ディスプレイ２０１の長手方向に対して直交している。上述のような撮像によって、輝線の数が少ない輝線パターン領域Ｘを含む復号用画像Ｐｄｅｃが取得される。この復号用画像Ｐｄｅｃの輝線パターン領域Ｘでは、輝線の数が少ない。つまり、輝度がＨｉｇｈまたはＬｏｗに変化する部位が少ない。したがって、受信機２００は、その復号用画像Ｐｄｅｃに対する復号によって適切に光ＩＤを取得することができない場合がある。
【１７３５】
そこで、例えば、図３０１の（ｂ）に示すように、ユーザは、受信機２００の姿勢を横向きから縦向きに変える。なお、縦向きの姿勢は、受信機２００のディスプレイ２０１の長手方向が垂直方向に沿う姿勢である。このような姿勢の受信機２００は、光ＩＤを送信する送信機１００を撮像すると、輝線の数が多い輝線パターン領域Ｙを含む復号用画像Ｐｄｅｃを取得することができる。
【１７３６】
このように、受信機２００の姿勢に応じて、光ＩＤを適切に取得することができない場合があるため、受信機２００に光ＩＤを取得させるときには、撮像している受信機２００の姿勢を適宜変更するとよい。姿勢が変更されているときには、受信機２００は、光ＩＤを取得し易い姿勢になったタイミングで、光ＩＤを適切に取得することができる。
【１７３７】
図３０２は、受信機２００の姿勢に応じて取得される復号用画像Ｐｄｅｃの他の例を示す図である。
【１７３８】
例えば、送信機１００は、喫茶店のデジタルサイネージとして構成され、映像表示期間に、喫茶店の広告に関する映像を表示し、光ＩＤ送信期間に、輝度変化によって光ＩＤを送信する。つまり、送信機１００は、映像表示期間における映像の表示と、光ＩＤ送信期間における光ＩＤの送信とを交互に繰り返し実行する。
【１７３９】
受信機２００は、送信機１００の撮像によって、撮像表示画像Ｐｐｒｅと復号用画像Ｐｄｅｃとを周期的に取得する。このとき、送信機１００の映像表示期間および光ＩＤ送信期間の繰り返し周期と、受信機２００による撮像表示画像Ｐｐｒｅおよび復号用画像Ｐｄｅｃの取得の繰り返し周期との同期によって、輝線パターン領域を含む復号用画像Ｐｄｅｃを取得することができない場合がある。さらに、受信機２００の姿勢によって、輝線パターン領域を含む復号用画像Ｐｄｅｃを取得することができない場合がある。
【１７４０】
例えば、受信機２００は、図３０２の（ａ）に示すような姿勢で、送信機１００を撮像する。つまり、受信機２００は、送信機１００に近づき、受信機２００のイメージセンサの全体に送信機１００の像が投影されるように、その送信機１００を撮像する。
【１７４１】
ここで、受信機２００が撮像表示画像Ｐｐｒｅを取得するタイミングが、送信機１００の映像表示期間内にあれば、受信機２００は、送信機１００が映し出された撮像表示画像Ｐｐｒｅを適切に取得する。
【１７４２】
そして、受信機２００が復号用画像Ｐｄｅｃを取得するタイミングが、送信機１００の映像表示期間と光ＩＤ送信期間とに跨る場合であっても、受信機２００は、輝線パターン領域Ｚ１を含む復号用画像Ｐｄｅｃを取得することができる。
【１７４３】
つまり、イメージセンサに含まれる各露光ラインの露光は、垂直方向の上端にある露光ラインから下側に順に開始される。したがって、映像表示期間において、受信機２００が復号用画像Ｐｄｅｃを取得するためにイメージセンサの露光を開始しても、輝線パターン領域を得ることはできない。しかし、その映像表示期間が光ＩＤ送信期間に切り替わると、その光ＩＤ送信期間に露光が行われる各露光ラインに対応した輝線パターン領域を得ることができる。
【１７４４】
ここで、受信機２００は、図３０２の（ｂ）に示すような姿勢で、送信機１００を撮像する。つまり、受信機２００は、送信機１００から離れ、受信機２００のイメージセンサの上側の領域のみに送信機１００の像が投影されるように、その送信機１００を撮像する。このときには、上述と同様、受信機２００が撮像表示画像Ｐｐｒｅを取得するタイミングが、送信機１００の映像表示期間内にあれば、受信機２００は、送信機１００が映し出された撮像表示画像Ｐｐｒｅを適切に取得する。しかし、受信機２００が復号用画像Ｐｄｅｃを取得するタイミングが、送信機１００の映像表示期間と光ＩＤ送信期間とに跨る場合には、受信機２００が、輝線パターン領域を含む復号用画像Ｐｄｅｃを取得することができないことがある。つまり、送信機１００の映像表示期間が光ＩＤ送信期間に切り替わっても、その光ＩＤ送信期間に露光が行われるイメージセンサの下側にある各露光ラインには、輝度変化する送信機１００の像が投影されないことがある。したがって、輝線パターン領域を有する復号用画像Ｐｄｅｃを取得することができない。
【１７４５】
一方、受信機２００は、図３０２の（ｃ）に示すように、送信機１００から離れた状態で、受信機２００のイメージセンサの下側の領域のみに送信機１００の像が投影されるように、その送信機１００を撮像する。このときには、上述と同様、受信機２００が撮像表示画像Ｐｐｒｅを取得するタイミングが、送信機１００の映像表示期間内にあれば、受信機２００は、送信機１００が映し出された撮像表示画像Ｐｐｒｅを適切に取得する。さらに、受信機２００が復号用画像Ｐｄｅｃを取得するタイミングが、送信機１００の映像表示期間と光ＩＤ送信期間とに跨る場合でも、受信機２００が輝線パターン領域を含む復号用画像Ｐｄｅｃを取得することができることがある。つまり、送信機１００の映像表示期間が光ＩＤ送信期間に切り替わると、その光ＩＤ送信期間に露光が行われるイメージセンサの下側にある各露光ラインには、輝度変化する送信機１００の像が投影される。したがって、輝線パターン領域Ｚ２を有する復号用画像Ｐｄｅｃを取得することができる。
【１７４６】
このように、受信機２００の姿勢に応じて、光ＩＤを適切に取得することができない場合があるため、受信機２００は、光ＩＤを取得するときには、受信機２００の姿勢を変えるようにユーザに促してもよい。つまり、受信機２００は、撮像が開始されると、受信機２００の姿勢が変わるように、例えば「動かしてください」または「振ってください」というメッセージの表示または音声出力を行う。これにより、受信機２００は、姿勢を変えながら撮像を行うため、光ＩＤを適切に取得することができる。
【１７４７】
図３０３は、受信機２００の処理動作の一例を示すフローチャートである。
【１７４８】
例えば、受信機２００は、撮像しているときに、受信機２００が振られているか否かを判定する（ステップＳ４６１）。具体的には、受信機２００は、受信機２００に備えられた９軸センサの出力に基づいて、振られているか否かを判定する。ここで、受信機２００は、撮像中に振られていると判定すると（ステップＳ４６１のＹｅｓ）、上述の光ＩＤ取得レートを上げる（ステップＳ４６２）。具体的には、受信機２００は、撮像中に得られる単位時間あたりの全ての撮像画像を復号用画像（すなわち輝線画像）Ｐｄｅｃとして取得し、取得された全ての復号用画像のそれぞれをデコードする。または、受信機２００は、全ての撮像画像が撮像表示画像Ｐｐｒｅとして取得されているときには、つまり、復号用画像Ｐｄｅｃの取得およびデコードが停止されているときには、その取得およびデコードを開始する。
【１７４９】
一方、受信機２００は、撮像中に振られていないと判定すると（ステップＳ４６１のＮｏ）、低い光ＩＤ取得レートで復号用画像Ｐｄｅｃを取得する（ステップＳ４６３）。具体的には、光ＩＤ取得レートがステップＳ４６２で上げられて現在も高い光ＩＤ取得レートになっていれば、受信機２００は、現在の光ＩＤ取得レートが高いため、その光ＩＤ取得レートを下げる。これにより、受信機２００による復号用画像Ｐｄｅｃの復号処理が行われる頻度が少なくなるため、消費電力を抑えることができる。
【１７５０】
そして、受信機２００は、光ＩＤ取得レートの調整処理を終了するための終了条件が満たされたか否かを判定し（ステップＳ４６４）、満たされていないと判定すると（ステップＳ４６４のＮｏ）、ステップＳ４６１からの処理を繰り返し実行する。一方、受信機２００は、終了条件が満たされたと判定すると（ステップＳ４６４のＹｅｓ）、光ＩＤ取得レートの調整処理を終了する。
【１７５１】
図３０４は、受信機２００によるカメラレンズの切り替え処理の一例を示す図である。
【１７５２】
受信機２００は、広角レンズ２１１と望遠レンズ２１２とをそれぞれカメラレンズとして備えていてもよい。広角レンズ２１１を用いた撮像によって得られる撮像画像は、画角の広い画像であって、その画像には被写体が小さく映し出される。一方、望遠レンズ２１２を用いた撮像によって得られる撮像画像は、画角の狭い画像であって、その画像には被写体が大きく映し出される。
【１７５３】
上述のような受信機２００は、撮像を行うときには、図３０４に示す方法Ａ〜Ｅの何れかの方法によって、撮像に用いられるカメラレンズを切り替えてもよい。
【１７５４】
方法Ａでは、受信機２００は、通常撮像の場合でも、光ＩＤを受信する場合でも、撮像するときには常に望遠レンズ２１２を用いる。ここで、通常撮像の場合とは、撮像によって全ての撮像画像を撮像表示画像Ｐｐｒｅとして取得する場合である。また、光ＩＤを受信する場合とは、撮像によって撮像表示画像Ｐｐｒｅと復号用画像Ｐｄｅｃを周期的に取得する場合である。
【１７５５】
方法Ｂでは、受信機２００は、通常撮像の場合には、広角レンズ２１１を用いる。一方、光ＩＤを受信する場合には、受信機２００は、まず、広角レンズ２１１を用いる。そして、受信機２００は、その広角レンズ２１１を用いているときに取得された復号用画像Ｐｄｅｃに輝線パターン領域が含まれていれば、カメラレンズを広角レンズ２１１から望遠レンズ２１２に切り替える。この切り替え後には、受信機２００は、画角の狭い、すなわち輝線パターン領域が大きく表れた復号用画像Ｐｄｅｃを取得することができる。
【１７５６】
方法Ｃでは、受信機２００は、通常撮像の場合には、広角レンズ２１１を用いる。一方、光ＩＤを受信する場合には、受信機２００は、カメラレンズを広角レンズ２１１と望遠レンズ２１２とに切り替える。つまり、受信機２００は、広角レンズ２１１を用いて撮像表示画像Ｐｐｒｅを取得し、望遠レンズ２１２を用いて復号用画像Ｐｄｅｃを取得する。
【１７５７】
方法Ｄでは、受信機２００は、通常撮像の場合でも、光ＩＤを受信する場合でも、ユーザによる操作に応じて、カメラレンズを広角レンズ２１１と望遠レンズ２１２とに切り替える。
【１７５８】
方法Ｅでは、受信機２００は、光ＩＤを受信する場合、広角レンズ２１１を用いて取得された復号用画像Ｐｄｅｃを復号し、正しく復号できなければ、カメラレンズを広角レンズ２１１から望遠レンズ２１２に切り替える。または、受信機２００は、望遠レンズ２１２を用いて取得された復号用画像Ｐｄｅｃを復号し、正しく復号できなければ、カメラレンズを望遠レンズ２１２から広角レンズ２１１に切り替える。なお、受信機２００は、復号用画像Ｐｄｅｃを正しく復号できたか否かを判定するときには、まず、その復号用画像Ｐｄｅｃに対する復号によって得られる光ＩＤをサーバに送信する。サーバは、その光ＩＤが自らに登録されている光ＩＤに一致していれば、一致していることを示す一致情報を受信機２００に通知し、一致していなければ、一致していないことを示す不一致情報を受信機２００に通知する。受信機２００は、サーバから通知された情報が一致情報であれば、復号用画像Ｐｄｅｃが正しく復号できたと判定し、サーバから通知された情報が不一致情報であれば、復号用画像Ｐｄｅｃが正しく復号できなかったと判定する。または、受信機２００は、復号用画像Ｐｄｅｃの復号によって得られる光ＩＤが、予め定められた条件を満たす場合には、復号用画像Ｐｄｅｃが正しく復号できたと判定する。一方、その条件を満たさない場合には、受信機２００は、復号用画像Ｐｄｅｃが正しく復号できなかったと判定する。
【１７５９】
このようにカメラレンズを切り替えることによって、適切な復号用画像Ｐｄｅｃを取得することができる。
【１７６０】
図３０５は、受信機２００によるカメラの切り替え処理の一例を示す図である。
【１７６１】
例えば、受信機２００は、カメラとしてインカメラ２１３とアウトカメラ（図３０５では図示せず）とを備える。インカメラ２１３は、フェイスカメラまたは自撮りカメラともいい、受信機２００におけるディスプレイ２０１と同じ面に配置されているカメラである。アウトカメラは、受信機２００におけるディスプレイ２０１の面と反対側の面に配置されているカメラである。
【１７６２】
このような受信機２００は、インカメラ２１３を上に向けた状態で、照明装置として構成された送信機１００をインカメラ２１３によって撮像する。この撮像によって、受信機２００は、復号用画像Ｐｄｅｃを取得し、その復号用画像Ｐｄｅｃに対する復号によって、送信機１００から送信される光ＩＤを取得する。
【１７６３】
次に、受信機２００は、その取得された光ＩＤをサーバに送信することによって、その光ＩＤに対応付けられたＡＲ画像および認識情報をサーバから取得する。受信機２００は、アウトカメラおよびインカメラ２１３のそれぞれによって得られる各撮像表示画像Ｐｐｒｅの中から、その認識情報に応じた対象領域を認識する処理を開始する。ここで、受信機２００は、アウトカメラおよびインカメラ２１３のそれぞれによって得られた撮像表示画像Ｐｐｒｅの何れからも、対象領域を認識することができない場合、受信機２００を動かすようにユーザに促す。受信機２００に促されたユーザは、受信機２００を動かす。具体的には、ユーザは、インカメラ２１３およびアウトカメラがユーザの前後方向を向くように、受信機２００を動かす。その結果、受信機２００は、アウトカメラによって取得された撮像表示画像Ｐｐｒｅの中から、対象領域を認識する。つまり、受信機２００は、人が映し出された領域を対象領域として認識し、撮像表示画像Ｐｐｒｅのうちのその対象領域にＡＲ画像を重畳し、そのＡＲ画像が重畳された撮像表示画像Ｐｐｒｅを表示する。
【１７６４】
図３０６は、受信機２００とサーバとの処理動作の一例を示すフローチャートである。
【１７６５】
受信機２００は、照明装置である送信機１００をインカメラ２１３で撮像することによって、その送信機１００から送信される光ＩＤを取得し、その光ＩＤをサーバに送信する（ステップＳ４７１）。サーバは、受信機２００から光ＩＤを受信し（ステップＳ４７２）、その光ＩＤに基づいて、受信機２００の位置を推定する（ステップＳ４７３）。例えば、サーバは、光ＩＤごとに、その光ＩＤを送信する送信機１００が配置されている部屋、建物、またはスペースなど示すテーブルを記憶している。そして、サーバは、そのテーブルにおいて、受信機２００から送信された光ＩＤに対応付けられた部屋などを、受信機２００の位置として推定する。さらに、サーバは、その推定された位置に対応付けられたＡＲ画像および認識情報を受信機２００に送信する（ステップＳ４７４）。
【１７６６】
受信機２００は、サーバから送信されたＡＲ画像および認識情報を取得する（ステップＳ４７５）。ここで、受信機２００は、アウトカメラおよびインカメラ２１３のそれぞれによって得られた各撮像表示画像Ｐｐｒｅの中から、その認識情報に応じた対象領域を認識する処理を開始する。そして、受信機２００は、例えばアウトカメラによって取得された撮像表示画像Ｐｐｒｅの中から対象領域を認識する（ステップＳ４７６）。受信機２００は、撮像表示画像Ｐｐｒｅのうちの対象領域にＡＲ画像を重畳し、そのＡＲ画像が重畳された撮像表示画像Ｐｐｒｅを表示する（ステップＳ４７７）。
【１７６７】
なお、上述の例では、受信機２００は、サーバから送信されたＡＲ画像および認識情報を取得すると、ステップＳ４７６において、アウトカメラおよびインカメラ２１３のそれぞれによって得られた各撮像表示画像Ｐｐｒｅの中から対象領域を認識する処理を開始した。しかし、受信機２００は、ステップＳ４７６において、アウトカメラのみによって得られた撮像表示画像Ｐｐｒｅの中から対象領域を認識する処理を開始してもよい。つまり、光ＩＤを取得するためのカメラ（上述の例ではインカメラ２１３）と、ＡＲ画像が重畳される撮像表示画像Ｐｐｒｅを取得するためのカメラ（上述の例ではアウトカメラ）とを、常に異ならせてもよい。
【１７６８】
また、上述の例では、受信機２００は、照明装置である送信機１００をインカメラ２１３で撮像したが、送信機１００によって照らされた床面をアウトカメラで撮影してもよい。このようなアウトカメラによる撮像でも、受信機２００は、送信機１００から送信される光ＩＤを取得することができる。
【１７６９】
図３０７は、受信機２００によるＡＲ画像の重畳の一例を示す図である。
【１７７０】
受信機２００は、例えばコンビニエンスストアなどの店舗に設置された電子レンジとして構成されている送信機１００を撮像する。この送信機１００は、電子レンジの庫内を撮像するためのカメラと、その庫内を照らす照明装置とを備える。そして、送信機１００は、庫内に収納された飲食物（すなわち温め対象物）を、カメラによる撮像によって認識する。また、送信機１００は、その飲食物を温めるときには、上述の照明装置を発光させるとともに、その照明装置を輝度変化させることによって、認識された飲食物を示す光ＩＤを送信する。なお、この照明装置は電子レンジの庫内を照らすが、その照明装置の光は、電子レンジの透過性を有する窓部から外部に放たれる。したがって、光ＩＤは、照明装置から電子レンジの窓部を介して、電子レンジの外部に送信される。
【１７７１】
ここで、ユーザは、コンビニエンスストアにて飲食物を購入し、その飲食物を温めるために、電子レンジである送信機１００にその飲食物を入れる。このとき、送信機１００は、カメラによってその飲食物を認識し、その認識された飲食物を示す光ＩＤを送信しながら飲食物の温めを開始する。
【１７７２】
受信機２００は、その温めを開始した送信機１００を撮像することによって、送信機１００から送信された光ＩＤを取得し、その光ＩＤをサーバに送信する。次に、受信機２００は、その光ＩＤに対応付けられたＡＲ画像、音声データおよび認識情報をサーバから取得する。
【１７７３】
上述のＡＲ画像は、送信機１００の内部の仮想的な様子を示す動画であるＡＲ画像Ｐ３２ａと、庫内に収納された飲食物を詳細に示すＡＲ画像Ｐ３２ｂと、送信機１００から湯気が出ている様子を動画によって示すＡＲ画像Ｐ３２ｃと、飲食物の温め完了までの残り時間を動画によって示すＡＲ画像Ｐ３２ｄとを含む。
【１７７４】
例えば、ＡＲ画像Ｐ３２ａは、電子レンジの庫内に収納された飲食物がピザであれば、ピザを載せたターンテーブルが回転していて、そのピザの周りを複数の小人が踊っている動画である。ＡＲ画像Ｐ３２ｂは、例えば、庫内に収納された飲食物がピザであれば、その商品名「ピザ」と、そのピザの材料とを示す画像である。
【１７７５】
受信機２００は、認識情報に基づいて、撮像表示画像Ｐｐｒｅのうちの送信機１００の窓部が映し出されている領域を、ＡＲ画像Ｐ３２ａの対象領域として認識し、その対象領域にＡＲ画像Ｐ３２ａを重畳する。さらに、受信機２００は、認識情報に基づいて、撮像表示画像Ｐｐｒｅのうちの、送信機１００が映し出されている領域よりも上にある領域を、ＡＲ画像Ｐ３２ｂの対象領域として認識し、その対象領域にＡＲ画像Ｐ３２ｂを重畳する。さらに、受信機２００は、認識情報に基づいて、撮像表示画像Ｐｐｒｅのうち、ＡＲ画像Ｐ３２ａの対象領域と、ＡＲ画像Ｐ３２ｂの対象領域との間にある領域を、ＡＲ画像Ｐ３２ｃの対象領域として認識し、その対象領域にＡＲ画像Ｐ３２ｃを重畳する。さらに、受信機２００は、認識情報に基づいて、撮像表示画像Ｐｐｒｅのうち、送信機１００が映し出されている領域の下にある領域を、ＡＲ画像Ｐ３２ｄの対象領域として認識し、その対象領域にＡＲ画像Ｐ３２ｄを重畳する。
【１７７６】
さらに、受信機２００は、音声データを再生することによって、飲食物が加熱されるときに生じる音を出力する。
【１７７７】
受信機２００によって上述のようなＡＲ画像Ｐ３２ａ〜Ｐ３２ｄが表示され、さらに、音が出力されることによって、飲食物の温めが完了するまでの間、ユーザの興味を受信機２００に引き付けることができる。その結果、温めの完了を待っているユーザの負担を軽減することができる。また、湯気などを示すＡＲ画像Ｐ３２ｃが表示され、飲食物が加熱されるときに生じる音が出力されることによって、ユーザにシズル感を与えることができる。また、ＡＲ画像Ｐ３２ｄの表示によって、ユーザは、飲食物の温め完了までの残り時間を容易に知ることができる。したがって、ユーザは、温め完了までの間、例えば、電子レンジである送信機１００から離れて店舗内に陳列されている本などを読むことができる。また、受信機２００は、残り時間が０になったときには、温めが完了したことをユーザに通知してもよい。
【１７７８】
なお、上述の例では、ＡＲ画像Ｐ３２ａは、ピザを載せたターンテーブルが回転していて、そのピザの周りを複数の小人が踊っている動画であったが、例えば、庫内の温度分布を仮想的に示す画像であってもよい。また、ＡＲ画像Ｐ３２ｂは、庫内に収納された飲食物の商品名および材料を示す画像であったが、栄養成分またはカロリーを示す画像であってもよい。あるいは、ＡＲ画像Ｐ３２ｂは、割引券を示す画像であってもよい。
【１７７９】
このように本変形例における表示方法では、被写体は、照明装置を備えた電子レンジであって、照明装置は、電子レンジの庫内を照らし、かつ、輝度変化することによって光ＩＤを電子レンジの外部に送信する。そして、撮像表示画像Ｐｐｒｅおよび復号用画像Ｐｄｅｃの取得では、光ＩＤを送信している電子レンジを撮像することによって撮像表示画像Ｐｐｒｅおよび復号用画像Ｐｄｅｃを取得する。対象領域の認識では、撮像表示画像Ｐｐｒｅに映し出されている電子レンジの窓部分を対象領域として認識する。撮像表示画像Ｐｐｒｅの表示では、庫内の状態変化を示すＡＲ画像が重畳された撮像表示画像Ｐｐｒｅを表示する。
【１７８０】
これにより、電子レンジの庫内の状態変化がＡＲ画像として表示されるため、電子レンジの利用者に庫内の様子を分かりやすく伝えることができる。
【１７８１】
図３０８は、受信機２００、電子レンジ、中継サーバおよび電子決済用サーバを含むシステムの処理動作を示すシーケンス図である。なお、電子レンジは、上述と同様、カメラおよび照明装置を備え、その照明装置の輝度を変化させることによって光ＩＤを送信する。つまり、電子レンジは送信機１００としての機能を有する。
【１７８２】
まず、電子レンジは、庫内に収納された飲食物をカメラによって認識する（ステップＳ４８１）。次に、電子レンジは、その認識された飲食物を示す光ＩＤを照明装置の輝度変化によって受信機２００に送信する。
【１７８３】
受信機２００は、電子レンジを撮像することによって、その電子レンジから送信された光ＩＤを受信し（ステップＳ４８３）、光ＩＤとカード情報とを中継サーバに送信する。カード情報は、受信機２００に予め保存されているクレジットカードなどの情報であって、電子決済に必要な情報である。
【１７８４】
中継サーバは、光ＩＤごとに、その光ＩＤに対応するＡＲ画像、認識情報および商品情報を示すテーブルを保持している。この商品情報は、光ＩＤによって示される飲食物の料金などを示す。このような中継サーバは、受信機２００から送信された光ＩＤとカード情報とを受信すると（ステップＳ４８６）、その光ＩＤに対応付けられた商品情報を上述のテーブルから見つけ出す。そして、中継サーバは、その商品情報とカード情報とを電子決済用サーバに送信する（ステップＳ４８６）。電子決済用サーバは、中継サーバから送信された商品情報とカード情報とを受信すると（ステップＳ４８７）、その商品情報とカード情報とに基づいて電子決済の処理を行う（ステップＳ４８８）。そして、電子決済用サーバは、その電子決済の処理が完了すると、その完了を中継サーバに通知する（ステップＳ４８９）。
【１７８５】
中継サーバは、電子決済用サーバからの決済完了の通知を確認すると（ステップＳ４９０）、飲食物の温め開始しを電子レンジに指示する（ステップＳ４９１）。さらに、中継サーバは、上述のテーブルにおいて、ステップＳ４８５で受信した光ＩＤに対応付けられているＡＲ画像および認識情報を受信機２００に送信する（ステップＳ４９３）。
【１７８６】
電子レンジは、中継サーバから温め開始の指示を受けると、庫内に収納された飲食物の温めを開始する（ステップＳ４９２）。また、受信機２００は、中継サーバから送信されたＡＲ画像および認識情報を受信すると、ステップＳ４８３から開始されている撮像によって周期的に取得される撮像表示画像Ｐｐｒｅから、その認識情報に応じた対象領域を認識する。そして、受信機２００は、その対象領域にＡＲ画像を重畳する（ステップＳ４９４）。
【１７８７】
これにより、受信機２００のユーザは、電子レンジの庫内に飲食物を入れて撮像を行えば、簡単に決済を済ませて、飲食物の温めを開始することができる。また、決済ができない場合には、ユーザによる飲食物の温めを禁止することができる。さらに、温めが開始されたときには、図３０７に示すＡＲ画像Ｐ３２ａなどの表示を行うことができ、庫内の様子をユーザに知らせることができる。
【１７８８】
図３０９は、ＰＯＳ端末、サーバ、受信機２００および電子レンジを含むシステムの処理動作を示すシーケンス図である。なお、電子レンジは、上述と同様、カメラおよび照明装置を備え、その照明装置の輝度を変化させることによって光ＩＤを送信する。つまり、電子レンジは送信機１００としての機能を有する。また、ＰＯＳ（ｐｏｉｎｔ−ｏｆ−ｓａｌｅ）端末は、電信レンジと同じコンビニエンスストアなどの店舗に設置された端末である。
【１７８９】
まず、受信機２００のユーザは、店舗で、商品である飲食物を選び、その飲食物を購入するためにＰＯＳ端末が設置された場所に向かう。その店舗の店員は、ＰＯＳ端末を操作し、飲食物の代金をユーザから受け取る。この店員によるＰＯＳ端末の操作によって、ＰＯＳ端末は、操作入力データと販売情報とを取得する（ステップＳ５０１）。販売情報は、例えば商品の名称、個数および値段と、販売場所と、販売日時とを示す。操作入力データは、例えば、店員によって入力されたユーザの性別および年代などを示す。ＰＯＳ端末は、その操作入力データと販売情報とをサーバに送信する（ステップＳ５０２）。サーバは、ＰＯＳ端末から送信された操作入力データと販売情報とを受信する（ステップＳ５０３）。
【１７９０】
一方、受信機２００のユーザは、店員に飲食物の代金を支払うと、その飲食物を温めるために電位レンジの庫内に飲食物を入れる。電子レンジは、庫内に収納された飲食物をカメラによって認識する（ステップＳ５０４）。次に、電子レンジは、その認識された飲食物を示す光ＩＤを照明装置の輝度変化によって受信機２００に送信する（ステップＳ５０５）。そして、電子レンジは、飲食物の温めを開始する（ステップＳ５０７）。
【１７９１】
受信機２００は、電子レンジを撮像することによって、その電子レンジから送信された光ＩＤを受信し（ステップＳ５０８）、光ＩＤと端末情報とをサーバに送信する（ステップＳ５０９）。端末情報は、受信機２００に予め保存されている情報であって、例えば、受信機２００のディスプレイ２０１に表示される言語の種別（例えば英語または日本語など）を示す。
【１７９２】
サーバは、受信機２００からアクセスされ、受信機２００から送信された光ＩＤと端末情報とを受信すると、その受信機２００からのアクセスが、最初のアクセスか否かを判定する（ステップＳ５１０）。最初のアクセスは、ステップＳ５０３の処理が行われたときから所定時間内において最初に行われるアクセスである。ここで、サーバは、その受信機２００からのアクセスが最初のアクセスであると判定すると（ステップＳ５１０のＹｅｓ）、操作入力データと端末情報とを関連付けて保存する（ステップＳ５１１）。
【１７９３】
なお、サーバは、受信機２００からのアクセスが最初のアクセスか否かを判定したが、販売情報によって示される商品が、光ＩＤによって示される飲食物に一致するか否かを判定してもよい。また、サーバは、ステップＳ５１１では、操作入力データと端末情報とを関連付けるだけでなく、販売情報もそれらに関連付けて保存してもよい。
【１７９４】
（屋内での利用）
図３１０は、地下街等の屋内での利用の様子を示す図である。
【１７９５】
受信機２００は、照明装置として構成された送信機１００の送信する光ＩＤを受信し、自身の現在位置を推定する。また、受信機２００は、地図上に現在位置を表示して道案内を行ったり、付近の店舗の情報を表示したりする。
【１７９６】
緊急時には送信機１００から災害情報や避難情報を送信することで、通信が混雑している場合や、通信基地局が故障した場合や、通信基地局からの電波が届かない場所にいる場合であっても、これらの情報を得ることができる。これは、緊急放送を聞き逃した場合や、緊急放送を聞くことができない聴覚障害者に有効である。
【１７９７】
つまり、受信機２００は、撮像することによって、送信機１００から送信された光ＩＤを取得し、さらに、その光ＩＤに対応付けられたＡＲ画像Ｐ３３と認識情報とをサーバから取得する。そして、受信機２００は、上述の撮像によって得られた撮像表示画像Ｐｐｒｅから、認識情報に応じた対象領域を認識し、その対象領域に、矢印の形状をしたＡＲ画像Ｐ３３を重畳する。これにより、受信機２００を上述のウェイファインダー（図２９４参照）として利用することができる。
【１７９８】
（拡張現実オブジェクトの表示）
図３１１は、拡張現実オブジェクトを表示する様子を示す図である。
【１７９９】
拡張現実を表示させる舞台２７１８ｅは、上述の送信機１００として構成され、発光部２７１８ａ、２７１８ｂ、２７１８ｃ、２７１８ｄの発光パターンや位置パターンで、拡張現実オブジェクトの情報や、拡張現実オブジェクトを表示させる基準位置を送信する。
【１８００】
受信機２００は、受信した情報を基に、ＡＲ画像である拡張現実オブジェクト２７１８ｆを撮像画像に重畳して表示させる。
【１８０１】
なお、これらの包括的または具体的な態様は、装置、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。また、一実施形態に関わる方法を実行するコンピュータプログラムがサーバの記録媒体に保存されており、端末の要求に応じて、サーバから端末に配信する態様で実現されてもよい。
【産業上の利用可能性】
【１８０２】
本発明の表示方法は、ユーザに有益な画像を表示することができるという効果を奏し、例えば、スマートフォン、グラスまたはタブレットなどの表示装置等に利用できる。
【符号の説明】
【１８０３】
Ａ１０    表示装置
Ａ１１    撮像センサ
Ａ１２    復号部
Ａ１３    表示制御部
【図１】
2017104666.tif 000003
【図２】
2017104666.tif 000004
【図３】
2017104666.tif 000005
【図４】
2017104666.tif 000006
【図５Ａ】
2017104666.tif 000007
【図５Ｂ】
2017104666.tif 000008
【図５Ｃ】
2017104666.tif 000009
【図５Ｄ】
2017104666.tif 000010
【図５Ｅ】
2017104666.tif 000011
【図５Ｆ】
2017104666.tif 000012
【図５Ｇ】
2017104666.tif 000013
【図５Ｈ】
2017104666.tif 000014
【図６Ａ】
2017104666.tif 000015
【図６Ｂ】
2017104666.tif 000016
【図７】
2017104666.tif 000017
【図８】
2017104666.tif 000018
【図９】
2017104666.tif 000019
【図１０】
2017104666.tif 000020
【図１１】
2017104666.tif 000021
【図１２】
2017104666.tif 000022
【図１３】
2017104666.tif 000023
【図１４】
2017104666.tif 000024
【図１５】
2017104666.tif 000025
【図１６】
2017104666.tif 000026
【図１７】
2017104666.tif 000027
【図１８】
2017104666.tif 000028
【図１９】
2017104666.tif 000029
【図２０】
2017104666.tif 000030
【図２１】
2017104666.tif 000031
【図２２】
2017104666.tif 000032
【図２３】
2017104666.tif 000033
【図２４】
2017104666.tif 000034
【図２５】
2017104666.tif 000035
【図２６】
2017104666.tif 000036
【図２７】
2017104666.tif 000037
【図２８】
2017104666.tif 000038
【図２９】
2017104666.tif 000039
【図３０】
2017104666.tif 000040
【図３１】
2017104666.tif 000041
【図３２】
2017104666.tif 000042
【図３３】
2017104666.tif 000043
【図３４】
2017104666.tif 000044
【図３５】
2017104666.tif 000045
【図３６】
2017104666.tif 000046
【図３７】
2017104666.tif 000047
【図３８】
2017104666.tif 000048
【図３９】
2017104666.tif 000049
【図４０】
2017104666.tif 000050
【図４１】
2017104666.tif 000051
【図４２】
2017104666.tif 000052
【図４３】
2017104666.tif 000053
【図４４】
2017104666.tif 000054
【図４５】
2017104666.tif 000055
【図４６】
2017104666.tif 000056
【図４７】
2017104666.tif 000057
【図４８】
2017104666.tif 000058
【図４９】
2017104666.tif 000059
【図５０】
2017104666.tif 000060
【図５１】
2017104666.tif 000061
【図５２】
2017104666.tif 000062
【図５３】
2017104666.tif 000063
【図５４】
2017104666.tif 000064
【図５５】
2017104666.tif 000065
【図５６】
2017104666.tif 000066
【図５７】
2017104666.tif 000067
【図５８】
2017104666.tif 000068
【図５９】
2017104666.tif 000069
【図６０】
2017104666.tif 000070
【図６１】
2017104666.tif 000071
【図６２】
2017104666.tif 000072
【図６３】
2017104666.tif 000073
【図６４】
2017104666.tif 000074
【図６５】
2017104666.tif 000075
【図６６】
2017104666.tif 000076
【図６７】
2017104666.tif 000077
【図６８】
2017104666.tif 000078
【図６９】
2017104666.tif 000079
【図７０】
2017104666.tif 000080
【図７１】
2017104666.tif 000081
【図７２】
2017104666.tif 000082
【図７３】
2017104666.tif 000083
【図７４】
2017104666.tif 000084
【図７５】
2017104666.tif 000085
【図７６】
2017104666.tif 000086
【図７７】
2017104666.tif 000087
【図７８】
2017104666.tif 000088
【図７９Ａ】
2017104666.tif 000089
【図７９Ｂ】
2017104666.tif 000090
【図８０】
2017104666.tif 000091
【図８１】
2017104666.tif 000092
【図８２】
2017104666.tif 000093
【図８３】
2017104666.tif 000094
【図８４】
2017104666.tif 000095
【図８５】
2017104666.tif 000096
【図８６】
2017104666.tif 000097
【図８７】
2017104666.tif 000098
【図８８】
2017104666.tif 000099
【図８９】
2017104666.tif 000100
【図９０】
2017104666.tif 000101
【図９１】
2017104666.tif 000102
【図９２】
2017104666.tif 000103
【図９３】
2017104666.tif 000104
【図９４】
2017104666.tif 000105
【図９５】
2017104666.tif 000106
【図９６】
2017104666.tif 000107
【図９７】
2017104666.tif 000108
【図９８】
2017104666.tif 000109
【図９９】
2017104666.tif 000110
【図１００】
2017104666.tif 000111
【図１０１】
2017104666.tif 000112
【図１０２】
2017104666.tif 000113
【図１０３Ａ】
2017104666.tif 000114
【図１０３Ｂ】
2017104666.tif 000115
【図１０３Ｃ】
2017104666.tif 000116
【図１０４Ａ】
2017104666.tif 000117
【図１０４Ｂ】
2017104666.tif 000118
【図１０５Ａ】
2017104666.tif 000119
【図１０５Ｂ】
2017104666.tif 000120
【図１０６】
2017104666.tif 000121
【図１０７】
2017104666.tif 000122
【図１０８】
2017104666.tif 000123
【図１０９】
2017104666.tif 000124
【図１１０】
2017104666.tif 000125
【図１１１】
2017104666.tif 000126
【図１１２】
2017104666.tif 000127
【図１１３】
2017104666.tif 000128
【図１１４Ａ】
2017104666.tif 000129
【図１１４Ｂ】
2017104666.tif 000130
【図１１５】
2017104666.tif 000131
【図１１６】
2017104666.tif 000132
【図１１７】
2017104666.tif 000133
【図１１８】
2017104666.tif 000134
【図１１９】
2017104666.tif 000135
【図１２０】
2017104666.tif 000136
【図１２１】
2017104666.tif 000137
【図１２２】
2017104666.tif 000138
【図１２３】
2017104666.tif 000139
【図１２４】
2017104666.tif 000140
【図１２５】
2017104666.tif 000141
【図１２６】
2017104666.tif 000142
【図１２７】
2017104666.tif 000143
【図１２８】
2017104666.tif 000144
【図１２９】
2017104666.tif 000145
【図１３０】
2017104666.tif 000146
【図１３１Ａ】
2017104666.tif 000147
【図１３１Ｂ】
2017104666.tif 000148
【図１３１Ｃ】
2017104666.tif 000149
【図１３２】
2017104666.tif 000150
【図１３３】
2017104666.tif 000151
【図１３４Ａ】
2017104666.tif 000152
【図１３４Ｂ】
2017104666.tif 000153
【図１３５】
2017104666.tif 000154
【図１３６】
2017104666.tif 000155
【図１３７】
2017104666.tif 000156
【図１３８】
2017104666.tif 000157
【図１３９Ａ】
2017104666.tif 000158
【図１３９Ｂ】
2017104666.tif 000159
【図１３９Ｃ】
2017104666.tif 000160
【図１３９Ｄ】
2017104666.tif 000161
【図１４０】
2017104666.tif 000162
【図１４１】
2017104666.tif 000163
【図１４２】
2017104666.tif 000164
【図１４３】
2017104666.tif 000165
【図１４４】
2017104666.tif 000166
【図１４５】
2017104666.tif 000167
【図１４６Ａ】
2017104666.tif 000168
【図１４６Ｂ】
2017104666.tif 000169
【図１４７】
2017104666.tif 000170
【図１４８】
2017104666.tif 000171
【図１４９】
2017104666.tif 000172
【図１５０】
2017104666.tif 000173
【図１５１】
2017104666.tif 000174
【図１５２】
2017104666.tif 000175
【図１５３】
2017104666.tif 000176
【図１５４】
2017104666.tif 000177
【図１５５】
2017104666.tif 000178
【図１５６】
2017104666.tif 000179
【図１５７】
2017104666.tif 000180
【図１５８】
2017104666.tif 000181
【図１５９】
2017104666.tif 000182
【図１６０】
2017104666.tif 000183
【図１６１】
2017104666.tif 000184
【図１６２】
2017104666.tif 000185
【図１６３】
2017104666.tif 000186
【図１６４】
2017104666.tif 000187
【図１６５】
2017104666.tif 000188
【図１６６】
2017104666.tif 000189
【図１６７】
2017104666.tif 000190
【図１６８】
2017104666.tif 000191
【図１６９】
2017104666.tif 000192
【図１７０】
2017104666.tif 000193
【図１７１】
2017104666.tif 000194
【図１７２】
2017104666.tif 000195
【図１７３】
2017104666.tif 000196
【図１７４】
2017104666.tif 000197
【図１７５】
2017104666.tif 000198
【図１７６】
2017104666.tif 000199
【図１７７】
2017104666.tif 000200
【図１７８】
2017104666.tif 000201
【図１７９】
2017104666.tif 000202
【図１８０Ａ】
2017104666.tif 000203
【図１８０Ｂ】
2017104666.tif 000204
【図１８１】
2017104666.tif 000205
【図１８２】
2017104666.tif 000206
【図１８３】
2017104666.tif 000207
【図１８４】
2017104666.tif 000208
【図１８５】
2017104666.tif 000209
【図１８６】
2017104666.tif 000210
【図１８７】
2017104666.tif 000211
【図１８８】
2017104666.tif 000212
【図１８９Ａ】
2017104666.tif 000213
【図１８９Ｂ】
2017104666.tif 000214
【図１８９Ｃ】
2017104666.tif 000215
【図１９０】
2017104666.tif 000216
【図１９１】
2017104666.tif 000217
【図１９２】
2017104666.tif 000218
【図１９３】
2017104666.tif 000219
【図１９４】
2017104666.tif 000220
【図１９５Ａ】
2017104666.tif 000221
【図１９５Ｂ】
2017104666.tif 000222
【図１９６】
2017104666.tif 000223
【図１９７】
2017104666.tif 000224
【図１９８】
2017104666.tif 000225
【図１９９】
2017104666.tif 000226
【図２００】
2017104666.tif 000227
【図２０１】
2017104666.tif 000228
【図２０２】
2017104666.tif 000229
【図２０３】
2017104666.tif 000230
【図２０４】
2017104666.tif 000231
【図２０５】
2017104666.tif 000232
【図２０６】
2017104666.tif 000233
【図２０７】
2017104666.tif 000234
【図２０８】
2017104666.tif 000235
【図２０９】
2017104666.tif 000236
【図２１０】
2017104666.tif 000237
【図２１１】
2017104666.tif 000238
【図２１２】
2017104666.tif 000239
【図２１３】
2017104666.tif 000240
【図２１４】
2017104666.tif 000241
【図２１５】
2017104666.tif 000242
【図２１６】
2017104666.tif 000243
【図２１７】
2017104666.tif 000244
【図２１８】
2017104666.tif 000245
【図２１９】
2017104666.tif 000246
【図２２０】
2017104666.tif 000247
【図２２１】
2017104666.tif 000248
【図２２２】
2017104666.tif 000249
【図２２３】
2017104666.tif 000250
【図２２４】
2017104666.tif 000251
【図２２５】
2017104666.tif 000252
【図２２６】
2017104666.tif 000253
【図２２７】
2017104666.tif 000254
【図２２８】
2017104666.tif 000255
【図２２９】
2017104666.tif 000256
【図２３０Ａ】
2017104666.tif 000257
【図２３０Ｂ】
2017104666.tif 000258
【図２３１】
2017104666.tif 000259
【図２３２Ａ】
2017104666.tif 000260
【図２３２Ｂ】
2017104666.tif 000261
【図２３３】
2017104666.tif 000262
【図２３４】
2017104666.tif 000263
【図２３５】
2017104666.tif 000264
【図２３６】
2017104666.tif 000265
【図２３７】
2017104666.tif 000266
【図２３８】
2017104666.tif 000267
【図２３９】
2017104666.tif 000268
【図２４０】
2017104666.tif 000269
【図２４１】
2017104666.tif 000270
【図２４２】
2017104666.tif 000271
【図２４３】
2017104666.tif 000272
【図２４４】
2017104666.tif 000273
【図２４５】
2017104666.tif 000274
【図２４６】
2017104666.tif 000275
【図２４７】
2017104666.tif 000276
【図２４８】
2017104666.tif 000277
【図２４９】
2017104666.tif 000278
【図２５０】
2017104666.tif 000279
【図２５１】
2017104666.tif 000280
【図２５２】
2017104666.tif 000281
【図２５３】
2017104666.tif 000282
【図２５４】
2017104666.tif 000283
【図２５５】
2017104666.tif 000284
【図２５６】
2017104666.tif 000285
【図２５７】
2017104666.tif 000286
【図２５８】
2017104666.tif 000287
【図２５９】
2017104666.tif 000288
【図２６０】
2017104666.tif 000289
【図２６１】
2017104666.tif 000290
【図２６２Ａ】
2017104666.tif 000291
【図２６２Ｂ】
2017104666.tif 000292
【図２６３Ａ】
2017104666.tif 000293
【図２６３Ｂ】
2017104666.tif 000294
【図２６４】
2017104666.tif 000295
【図２６５】
2017104666.tif 000296
【図２６６】
2017104666.tif 000297
【図２６７】
2017104666.tif 000298
【図２６８】
2017104666.tif 000299
【図２６９】
2017104666.tif 000300
【図２７０】
2017104666.tif 000301
【図２７１】
2017104666.tif 000302
【図２７２】
2017104666.tif 000303
【図２７３】
2017104666.tif 000304
【図２７４】
2017104666.tif 000305
【図２７５】
2017104666.tif 000306
【図２７６】
2017104666.tif 000307
【図２７７】
2017104666.tif 000308
【図２７８】
2017104666.tif 000309
【図２７９】
2017104666.tif 000310
【図２８０】
2017104666.tif 000311
【図２８１Ａ】
2017104666.tif 000312
【図２８１Ｂ】
2017104666.tif 000313
【図２８２】
2017104666.tif 000314
【図２８３】
2017104666.tif 000315
【図２８４】
2017104666.tif 000316
【図２８５】
2017104666.tif 000317
【図２８６】
2017104666.tif 000318
【図２８７】
2017104666.tif 000319
【図２８８】
2017104666.tif 000320
【図２８９Ａ】
2017104666.tif 000321
【図２８９Ｂ】
2017104666.tif 000322
【図２９０】
2017104666.tif 000323
【図２９１】
2017104666.tif 000324
【図２９２】
2017104666.tif 000325
【図２９３】
2017104666.tif 000326
【図２９４】
2017104666.tif 000327
【図２９５】
2017104666.tif 000328
【図２９６】
2017104666.tif 000329
【図２９７】
2017104666.tif 000330
【図２９８】
2017104666.tif 000331
【図２９９】
2017104666.tif 000332
【図３００】
2017104666.tif 000333
【図３０１】
2017104666.tif 000334
【図３０２】
2017104666.tif 000335
【図３０３】
2017104666.tif 000336
【図３０４】
2017104666.tif 000337
【図３０５】
2017104666.tif 000338
【図３０６】
2017104666.tif 000339
【図３０７】
2017104666.tif 000340
【図３０８】
2017104666.tif 000341
【図３０９】
2017104666.tif 000342
【図３１０】
2017104666.tif 000343
【図３１１】
2017104666.tif 000344
【国際調査報告】
2017104666.tif 000345
2017104666.tif 000346
2017104666.tif 000347
2017104666.tif 000348