(57)【要約】【課題】簡単で低コストの画像処理装置を使用する場合でも、画像中から可視光通信により送信されたデータを確実に取り出して受信できる可視光通信装置を提供することにある。【解決手段】送信側からの可視光に含まれるデータを受信する可視光通信装置において、可視光の発光源１０を撮影するカメラ１２と、カメラ１２により入力される画像の輝度値に基づいて可視光に含まれるデータのプリアンブルを検出し、このプリアンブルに基づいて当該データのデータビット列を画像中から抽出するコンピュータ１３を有する可視光通信装置である。【選択図】図１
2011055288.tif 000002
【特許請求の範囲】
【請求項１】
データが含まれた可視光の発光源を撮影した画像データを入力する画像入力手段と、
前記画像データから指定位置の画像に対する輝度値データを算出する輝度値算出手段と、
前記輝度値データに基づいて前記データの先頭に相当するプリアンブルを検出するプリアンブル検出手段と、
前記プリアンブルに基づいて、前記画像データから前記データのデータビット列を検出するビット列検出手段と、
前記データビット列からデータを再生する受信処理手段と
を具備したことを特徴とする可視光通信装置。
【請求項２】
前記画像入力手段は、一定フレーム数分の画像データを連続的に入力し、
前記プリアンブル検出手段は、
前記フレーム毎の画像データから指定位置の画像に対する輝度値データを算出する手段と、
前記各輝度値データから最大輝度値を示す画像データを選択し、当該選択した画像データの輝度値データに基づいて前記プリアンブルを検出するように構成されていることを特徴とする請求項１に記載の可視光通信装置。
【請求項３】
前記プリアンブル検出手段は、
前記選択した画像データの輝度値データのオンとオフの時間が指定の条件を満たす場合に、前記プリアンブルとして検出するように構成されていることを特徴とする請求項２に記載の可視光通信装置。
【請求項４】
前記各輝度値データから最大輝度値と最小輝度値を算出し、この算出結果に基づいて前記オンとオフを検出するための閾値を算出し、
前記閾値を前記ビット列検出手段に出力する変動閾値算出手段を更に有することを特徴とする請求項２に記載の可視光通信装置。
【請求項５】
前記各輝度値データから最大輝度値と最小輝度値を算出し、この算出結果に基づいて前記オンとオフを検出するための閾値を算出し、
前記閾値を前記プリアンブル検出手段に出力する変動閾値算出手段を更に有することを特徴とする請求項３に記載の可視光通信装置。
【請求項６】
前記画像データの輝度値の変動が大きい輝点位置を含む注目画像領域を抽出する手段を有し、
前記画像入力手段は、前記注目画像領域に対応する画像データを受信対象として入力するように構成されていることを特徴とする請求項１から請求項５のいずれか１項に記載の可視光通信装置。
【請求項７】
前記注目画像領域に対応する画像データの輝点位置を算出する輝点位置算出手段を有し、
前記輝度値算出手段は、
前記輝点位置の輝度値を算出するように構成されていることを特徴とする請求項６に記載の可視光通信装置。
【請求項８】
前記ビット列検出手段により検出されるデータビット列に対して、前記画像データのフレームレート変動に基づいてビット位置のずれを補正する補正手段を更に有することを特徴とする請求項１から請求項７のいずれか１項に記載の可視光通信装置。
【請求項９】
前記画像入力手段は、画像センサが組み込まれたカメラであることを特徴とする請求項１から請求項８のいずれか１項に記載の可視光通信装置。
【請求項１０】
前記受信処理手段は、
前記ビット列検出手段により検出されるデータビット列から文字列データに変換する手段を含むことを特徴とする請求項１から請求項９のいずれか１項に記載の可視光通信装置。
【請求項１１】
画像入力手段により可視光の発光源を撮影した画像データから、前記可視光に含まれるデータを再生する可視光通信装置に適用するデータ受信方法であって、
前記画像データから指定位置の画像に対する輝度値データを算出する処理と、
前記輝度値データに基づいて前記データの先頭に相当するプリアンブルを検出する処理と、
前記プリアンブルに基づいて、前記画像データから前記データのデータビット列を検出する処理と、
前記データビット列から前記データを再生する処理と
を実行することを特徴とするデータ受信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に画像中から、可視光に含まれるデータを受信する機能を有する可視光通信装置に関する。
【背景技術】
【０００２】
近年、可視光を変調、復調してデータの送受信を行なう可視光通信装置の開発が推進されている。可視光通信装置の受信装置には、ビデオカメラなどに含まれる画像センサを利用して、送信された可視光からデータを取り出す受信装置がある（例えば、特許文献１を参照）。特許文献１に開示されている装置は、レンズなどの光学系、画像センサ、及び信号電子回路により構成されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２４５２３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前述した先行技術文献に開示されている受信装置は、デジタル撮像装置の撮影対象確認部で可視光通信の受光状態を確認する構成である。しかしながら、撮影された画像中から可視光通信により送信されたデータを確実に取り出すためには、当該データの本体であるデータビット列を確実に抽出するための画像処理が必要である。しかも、複雑で高コストの画像処理装置ではなく、構成が簡単で低コストの画像処理装置により実現できることが要求される。
【０００５】
そこで、本発明の目的は、簡単で低コストの画像処理装置を使用する場合でも、画像中から可視光通信により送信されたデータを確実に取り出して受信できる可視光通信装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の観点は、可視光の発光源を撮影した画像の輝度値に基づいて可視光に含まれるデータのプリアンブルを検出し、このプリアンブルに基づいて当該データのデータビット列を画像中から抽出する可視光通信装置である。
【０００７】
本発明の観点に従った可視光通信装置は、データが含まれた可視光の発光源を撮影した画像データを入力する画像入力手段と、前記画像データから指定位置の画像に対する輝度値データを算出する輝度値算出手段と、前記輝度値データに基づいて前記データの先頭に相当するプリアンブルを検出するプリアンブル検出手段と、前記プリアンブルに基づいて、前記画像データから前記データのデータビット列を検出するビット列検出手段と、前記データビット列から前記データを再生する受信処理手段とを備えた構成である。
【発明の効果】
【０００８】
本発明の可視光通信装置によれば、簡単で低コストの画像処理装置を使用する場合でも、画像中から可視光通信により送信されたデータを確実に取り出して受信できる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に関する可視光通信装置の構成を説明するためのブロック図。
【図２】本実施形態に関する可視光通信装置の変形例を示すブロック図。
【図３】本実施形態に関する可視光通信装置の構成を説明するための機能ブロック図。
【図４】本実施形態に関する可視光通信装置の動作を説明するためのフローチャート。
【発明を実施するための最良の形態】
【００１０】
以下図面を参照して、本発明の実施形態を説明する。
【００１１】
［可視光通信装置の構成］
図１及び図２は、本実施形態に関する可視光通信装置の構成を説明するためのブロック図である。
【００１２】
図１に示すように、本実施形態は、データ送信側の可視光通信装置（送信側装置と表記する）と、データ受信側の可視光通信装置（受信側装置と表記する）とからなる可視光通信システムに関する。本実施形態の可視光通信装置は、主として受信側装置に関するものであり、便宜的に送信側装置を含まない構成とする。
【００１３】
送信側装置は、可視光を発光する発光源１０と、発信制御装置１１とを有する。発信制御装置１１は、発光源１０を制御して、図示しない発信装置からの送信データで可視光を変調する。
【００１４】
一方、受信側装置は、送信側装置１から可視光を受光して、可視光に含まれるデータ（変調された送信データ）を復調する受信処理を行なう。具体的には、本実施形態の受信側装置２は大別して、ビデオカメラ（以下、単にカメラと表記する）１２と、コンピュータ１３とから構成されている。カメラ１２は、ＣＣＤやＣＭＯＳなどの画像センサが組み込まれており、発光源１０を含む撮影対象の画像データを出力する。コンピュータ１３は、例えばパーソナルコンピュータであり、本実施形態の可視光受信に必要な画像処理用ソフトウェア１３０を実装している。コンピュータ１３は、当該ソフトウェア１３０を実行することにより、カメラ１２により撮影された画像（画像データ）中から可視光に含まれるデータ（変調された送信データ）を復調する受信処理を実行する。
【００１５】
なお、本実施形態の受信側装置は、図２に示すように、画像処理用ソフトウェア１３０を実装したコンピュータ１３の代わりに、専用の可視光通信受信装置１４でもよい。可視光通信受信装置１４は、主としてハードウェアにより、画像（画像データ）中から可視光に含まれるデータ（変調された送信データ）を復調する構成である。
【００１６】
［可視光通信装置の作用効果］
以下、図３の機能ブロック図及び図４のフローチャートを参照して、本実施形態の可視光通信装置の動作を説明する。
【００１７】
まず、本実施形態では、図１に示すように、送信側装置では、発信制御装置１１が設定された送信データで可視光を変調するように発光源１０を制御する。送信データは、後述するプリアンブル（信号の先頭）及びデータ本体であるデータビット列（符号化データ）からなる。
【００１８】
一方、受信側装置は、カメラ１２により発光源１０を含む撮影対象を撮影し、画像データを出力する。以下、図３及び図４を参照して、本実施形態の可視光通信装置（受信側装置）のデータ受信処理を、図３に示す機能要素３０〜４２またはコンピュータ１３を主体として説明する。ここで、図３に示す画像センサ３０以外の機能要素３１〜４２は、コンピュータ１３のハードウェア及びソフトウェア１３０により実現されるものである。
【００１９】
図４に示すように、コンピュータ１３は、カメラ１２の各種設定や画像入力に必要なタイマ設定などの初期化処理を実行する（ステップＳ１）。カメラ１２は、組み込まれた画像センサ３０により発光源１０を含む撮影対象の画像を取り込む。コンピュータ１３は、カメラ１２の性能に応じたフレームレート（フレーム／秒）で撮影された画像を、例えば１６フレーム分の画像データとして連続的に入力する（ステップＳ２）。この入力されたフレーム単位の画像データは、撮像順に画像メモリ３１に格納される。
【００２０】
コンピュータ１３は、画像メモリ３１に格納された画像データをフレーム単位で画像処理を行なって、パルス信号のオン、オフに対応した発光源１０の点滅状態で変調されたデータビット列を抽出（復調）して内部メモリに格納する（ステップＳ４）。さらに、コンピュータ１３は、当該データビット列を文字列データ（文字コード列）に変換して受信データとして出力する（ステップＳ６）。
【００２１】
コンピュータ１３は、後述するように、ビット列デコーダ３８によりデータビット列を抽出（検出）する前段階処理として、データビット列の先頭（信号先頭）であるプリアンブルを検出する処理を実行する（ステップＳ３）。このプリアンブル検出に関連する処理を、図３を参照して具体的に説明する。
【００２２】
まず、画像入力制御部３２は、画像センサ３０全体の画像データを入力するように設定する。この全体画像データは、指定のフレーム数分（ここでは１６フレーム）が連続的に画像メモリ３１に格納される。次に、ターゲット候補捕捉部３４は、指定のフレーム数分の全体画像データから画像間で輝度値の変動が大きい輝点をターゲット候補（部分画像）として抽出し、画像データ中の位置を求める。
【００２３】
ターゲット候補捕捉部３４は、ターゲット候補が複数個ある場合には、それらの位置を全て記録する。次に、注目範囲設定部３３は、ターゲット候補の一つを選択し、その輝点を囲む注目領域を画像入力制御部３２に設定する。画像入力制御部３２は、画像センサ３０からは当該注目領域の画像データ（部分画像）のみが高フレームレートで出力されて、画像メモリ３１に格納されるように制御する。
【００２４】
輝度位置算出部３５は、各画像データの注目領域の輝点位置を算出する。次に、輝度値算出部３６は、輝度位置算出部３５が算出した輝点位置の輝度値を算出し、その算出結果である輝度値データを算出する。この輝度値データは、撮影順のフレーム数分（ここでは１６フレーム）に対応するフレーム番号毎の時系列データである。
【００２５】
輝度値算出部３６は、算出した輝度値データを、信号先頭検索部３７と変動閾値算出部４１に出力する。変動閾値算出部４１は、輝度値データから輝度最大値と輝度最小値を計算し、パルス信号のオン、オフに対応する点滅の閾値を算出する。変動閾値算出部４１は、算出した閾値を、信号先頭部検索部３７およびビット列デコーダ３８に出力する。
【００２６】
信号先頭部検索部３７は、フレーム数分（ここでは１６フレーム）の画像データ毎に、変動閾値算出部４１により算出された閾値に基づいて、送信データの先頭を示すプリアンブルを検索する（ステップＳ３）。即ち、信号先頭部検索部３７は、輝度最大値を示すフレームの輝度値データにおいて、当該輝度値データのパルス信号のオン、オフに対応する時間が指定の条件を満たす場合に、プリアンブルとして検出する。換言すれば、信号先頭部検索部３７は、パルス信号のオン、オフに対応した発光源１０の点滅状態で、点灯タイミングから最初に現れるパルスをプリアンブルとして検出する。
【００２７】
ビット列デコーダ３８は、信号先頭部検索部３７により検出されたプリアンブル以降の輝度データをデータビット列に変換して出力する（ステップＳ４，Ｓ５）。ここで、ビット列デコーダ３８は、１フレーム分の輝度データから、プリアンブルの位置、データサイズ（１バイト）、データ本体であるデータビット列のサイズ（１バイト）を算出する処理を実行する。なお、フレームレート補正部４２は、変換したデータビット列のビット位置を逐次サブフレーム精度に基づいて算出し、その位置ずれを補正した結果をビット列デコーダ３８に出力する。
【００２８】
文字列デコーダ３９は、ビット列デコーダ３８から出力されたデータビット列（符号化データ）から文字列データに変換（復号化）する（ステップＳ６）。ビット列誤り訂正部４０は、文字列データ中の誤りを検知して訂正する（ステップＳ７）。または、ビット列誤り訂正部４０は、誤りが検出された文字列データを破棄する。
【００２９】
以上のようなターゲット候補１点について、注目範囲設定部３３の処理、画像入力処理、データビット列デコード、文字列デコード、及びビット誤り訂正までの一連の処理が完了した後に、別のターゲット候補について同様の処理を繰り返す。
【００３０】
以上のように本実施形態の可視光通信装置は、カメラ１２に組み込まれた画像センサ３０により発光源１０を含む撮影対象の画像を連続的に入力し、当該入力画像に対する画像処理を実行して、発光源１０の点滅状態で変調されたデータビット列を抽出（復調）する。この場合、本実施形態の可視光通信装置は、ビット列デコーダ３８によりデータビット列を抽出する前段階処理として、データビット列の先頭（信号先頭）であるプリアンブルを確実に検出する。従って、入力画像からプリアンブル以降のデータ本体であるデータビット列（符号化データ）を確実に抽出することができる。
【００３１】
換言すれば、可視光通信により送信されたデータを、カメラにより撮影された画像中から確実に取り出すことができる。この場合、本実施形態では、画像処理用ソフトウェア１３０を実装したパーソナルコンピュータ１３などのように、構成が簡単で低コストの画像処理装置によりデータ受信に必要な画像処理を実現することができる。
【００３２】
なお、本実施形態の画像処理方法であれば、図３に示す機能要素３０〜３６による一連の処理を利用することにより、撮影した画像中から可視光通信送信側の発光源１０を自動で検出する機能を提供することができる。また、データ受信中に、送信側の発光源１０の位置が移動する場合には、その位置を常時追従する機能を提供することも可能となる。さらに、画像中に複数の発光源１０が存在する場合には、順次、各発光源１０を捕捉することにより複数の送信側からのデータ受信を実現することができる。
【００３３】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００３４】
１０…発光源、１１…発信制御装置、１２…ビデオカメラ、
１３…コンピュータ、１４…専用の可視光通信受信装置、
３０…画像センサ、３１…画像メモリ、３２…画像入力制御部、
３３…注目範囲設定部、３４…ターゲット候補捕捉部、３５…輝度位置算出部、
３６…輝度値算出部、３７…信号先頭検索部、３８…ビット列デコーダ、
３９…文字列デコーダ、４０…ビット列誤り訂正部、４１…変動閾値算出部、
４２…フレームレート補正部、１３０…画像処理用ソフトウェア。
【図１】
2011055288.tif 000003
【図２】
2011055288.tif 000004
【図３】
2011055288.tif 000005
【図４】
2011055288.tif 000006