(57)【要約】【課題】複数回撮影を行う際に、撮影タイミングの時間差を小さくすることが可能な受光装置、ならびに、この受光装置を用いた伝送システムを提供する。【解決手段】受光装置は、受光部と、多重露光領域選択部と、多重露光制御部と、読み出し部と、を備える。前記多重露光領域選択部は、所定の単位時間に１回露光すべき単露光ラインと、複数回露光すべき多重露光ラインと、を選択する。前記多重露光制御部は、前記所定の単位時間に、前記単露光ラインを第１の露光時間で１回露光を行うとともに、前記多重露光ラインを前記第１の露光時間で１回目の露光を行い、その後、第２の露光時間で２回目の露光を行う。そして、前記多重露光制御部は、全ての前記単露光ラインの露光量の読み出しが完了するより前に、前記多重露光ラインの２回目の露光を開始する。【選択図】図１
2013223043.tif 000002
【特許請求の範囲】
【請求項１】
それぞれが複数の受光素子から構成されるＮ（Ｎは２以上の整数）本のラインを有する受光部と、
前記Ｎ本のラインから、所定の単位時間に１回露光すべき単露光ラインと、複数回露光すべき多重露光ラインと、を選択する多重露光領域選択部と、
前記所定の単位時間に、前記単露光ラインを第１の露光時間で１回露光を行うとともに、前記多重露光ラインを前記第１の露光時間で１回目の露光を行い、その後、第２の露光時間で２回目の露光を行う多重露光制御部と、
前記ラインの露光量を１ラインずつ読み出す読み出し部と、を備え、
前記多重露光制御部は、全ての前記単露光ラインの露光量の読み出しが完了するより前に、前記多重露光ラインの２回目の露光を開始することを特徴とする受光装置。
【請求項２】
前記読み出された露光量に対応する画像を生成するフレームバッファを備え、
前記多重露光領域選択部は、前記生成された画像に基づいて、前記単露光ラインと、前記多重露光ラインと、を選択することを特徴とする請求項１に記載の受光装置。
【請求項３】
前記フレームバッファは、前記単露光ラインの露光量および前記多重露光ラインの１回目の露光量に対応する第１の画像と、前記多重露光ラインの２回目の露光量に対応する第２の画像と、を生成し、
受光装置は、前記第１の画像および前記第２の画像を用いた画像処理を行う画像処理部を備えることを特徴とする請求項２に記載の受光装置。
【請求項４】
前記多重露光領域選択部は、所定の送信データに応じた可視光を照射する光源からの可視光により露光されるラインを、前記多重露光ラインとして選択し、
受光装置は、前記多重露光ラインの２回目の露光量に基づいて、前記送信データに対応する受信データを生成する可視光信号処理部を備えることを特徴とする請求項１に記載の受光装置。
【請求項５】
送信データに応じた可視光を照射する光源を有する送信装置と、
前記送信データに対応する受信データを生成する受信装置と、を備える伝送システムであって、
前記受信装置は、
それぞれが複数の受光素子から構成されるＮ（Ｎは２以上の整数）本のラインを有する受光部と、
前記Ｎ本のラインから、所定の単位時間に１回露光すべき単露光ラインと、複数回露光すべき多重露光ラインと、を選択する多重露光領域選択部と、
前記所定の単位時間に、前記単露光ラインを第１の露光時間で１回露光を行うとともに、前記多重露光ラインを前記第１の露光時間で１回目の露光を行い、その後、第２の露光時間で２回目の露光を行う多重露光制御部と、
前記ラインの露光量を１ラインずつ読み出す読み出し部と、
前記多重露光ラインの２回目の露光量に基づいて、前記送信データに対応する受信データを生成する可視光信号処理部を備え、
前記多重露光領域選択部は、前記光源からの可視光により露光されるラインを、前記多重露光ラインとして選択し、
前記多重露光制御部は、全ての前記単露光ラインの露光量の読み出しが完了するより前に、前記多重露光ラインの２回目の露光を開始することを特徴とする伝送システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、受光装置および伝送システムに関する。
【背景技術】
【０００２】
一般的な受光装置は、被写体を単位時間当たりに１回、撮影を行う。しかしながら、用途によっては特定の領域のみを複数回撮影することもある。この場合、１回目の撮影タイミングと２回目の撮影タイミングとの時間差が大きいと、被写体が移動するなどして、正確に撮影できないことがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１５１１４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
複数回撮影を行う際に、撮影タイミングの時間差を小さくすることが可能な受光装置、ならびに、この受光装置を用いた伝送システムを提供する。
【課題を解決するための手段】
【０００５】
実施形態によれば、受光装置は、受光部と、多重露光領域選択部と、多重露光制御部と、読み出し部と、を備える。前記受光部は、それぞれが複数の受光素子から構成されるＮ（Ｎは２以上の整数）本のラインを有する。前記多重露光領域選択部は、前記Ｎ本のラインから、所定の単位時間に１回露光すべき単露光ラインと、複数回露光すべき多重露光ラインと、を選択する。前記多重露光制御部は、前記所定の単位時間に、前記単露光ラインを第１の露光時間で１回露光を行うとともに、前記多重露光ラインを前記第１の露光時間で１回目の露光を行い、その後、第２の露光時間で２回目の露光を行う。前記読み出し部は、前記ラインの露光量を１ラインずつ読み出す。そして、前記多重露光制御部は、全ての前記単露光ラインの露光量の読み出しが完了するより前に、前記多重露光ラインの２回目の露光を開始する。
【図面の簡単な説明】
【０００６】
【図１】第１の実施形態に係る受光装置の概略構成を示すブロック図。
【図２】多重露光領域選択部２により選択された、多重露光ラインを模式的に示す図。
【図３】多重露光制御部３による露光制御、および、読み出し部７による露光量読み出し制御の一例を示すタイミング図。
【図４】多重露光制御部３による露光制御、および、読み出し部７による露光量読み出し制御の別の例を示すタイミング図。
【図５】第２の実施形態に係る受光装置の概略構成を示すブロック図。
【図６】第２の実施形態に係る受光装置の処理動作の一例を示すフローチャート。
【図７】第３の実施形態に係る受光装置の概略構成を示すブロック図。
【図８】図７の受光装置の処理動作を説明する図。
【図９】第４の実施形態に係る受光装置の概略構成を示すブロック図。
【図１０】図９の受光装置の処理動作を説明する図。
【図１１】可視光通信システムの概略構成を示すブロック図。
【図１２】第５の実施形態に係る受光装置１３の概略構成を示すブロック図。
【図１３】多重露光制御部３による露光制御、および、読み出し部７による露光量読み出し制御の例を示すタイミング図。
【図１４】第６の実施形態に係る受光装置における受光部１の受光素子の配列の例を示す図。
【図１５】各受光素子の受光特性の概略を示す図。
【図１６】第７の実施形態に係る受光装置における可視光信号処理部９ｃの内部構成を示すブロック図。
【図１７】図１６の可視光信号処理部９ｃの処理動作の一例を示すフローチャート。
【図１８】図１６の可視光信号処理部９ｃの処理動作を説明する図。
【図１９】第８の実施形態に係る受光装置の概略構成を示すブロック図。
【発明を実施するための形態】
【０００７】
以下、実施形態について、図面を参照しながら具体的に説明する。
【０００８】
（第１の実施形態）
図１は、第１の実施形態に係る受光装置の概略構成を示すブロック図である。受光装置は、受光部１と、多重露光領域選択部２と、多重露光制御部３と、Ｘ方向コントローラ４と、Ｙ方向コントローラ５と、ＡＤ（Analog to Digital）コンバータ５とを備えている。
【０００９】
受光部１は、ＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサあるいはＣＣＤ（Charge Coupled Device）センサ等であり、マトリクス状に並ぶ複数の受光素子を有する。より具体的には、Ｘ（列）方向にＭ個およびＹ（行）方向にＮ個の受光素子が並んでいる。言い換えると、受光部１はそれぞれがＭ個の受光素子から構成されるＮ本のラインを有する。そして、各受光素子が露光することにより、受光部１前方の所定範囲を撮影できる。
【００１０】
多重露光領域選択部２は、受光部１の各ラインから、所定の単位時間に１回露光すべきライン（以下、単露光ラインという）と、複数回露光すべきライン（以下、多重露光ラインという）とを選択する。本実施形態では、多重露光領域選択部２は、外部からのレジスタ設定に基づいて、選択を行うものとする。なお、Ｎ本のラインのすべてが単露光ラインおよび複数露光ラインのいずれかに設定されてもよいし、少なくとも１本のラインが全く露光されないラインであってもよい。
【００１１】
多重露光制御部３は、上記の単位時間に、単露光ラインを第１の露光時間で１回露光する。また、多重露光制御部３は、上記の単位時間に、多重露光ラインを、１回目は第１の露光時間で露光し、２回目は第２の露光時間で露光する。第２の露光時間は第１の露光時間と等しくてもよいし、第１の露光時間より短くてもよい。また、多重露光制御部３は、多重露光ラインを３回以上露光してもよく、３回目以降の露光時間については特に問わない。
【００１２】
多重露光制御部３は、例えば、蓄積されている電荷を排出するリセット動作により、任意のラインを露光する。多重露光制御部３は同時に２本以上のラインの露光を開始することもできる。また、露光の順序は任意であり、必ずしも１本目のラインからＮ本目のラインをこの順に露光しなくてもよい。
【００１３】
本実施形態の特徴の１つは、露光の順序を工夫することにより、多重露光ラインの１回目の露光と２回目（あるいはそれ以降）の露光との時間差を小さくすることである。
【００１４】
Ｘ方向コントローラ４は受光部１のどの列の受光素子の露光量を読み出すかを指定する。また、Ｙ方向コントローラ５は受光部１のどの行の受光素子の露光量を読み出すかを指定する。ＡＤコンバータ５は読み出された露光量をデジタル値に変換して出力する。Ｘ方向コントローラ４、Ｙ方向コントローラ５およびＡＤコンバータ５は、読み出し部７を形成する。読み出し部７の構成上、Ｘ方向コントローラ４は全列の受光素子を読み出すよう指定することもできるが、Ｙ方向コントローラ５は１行のみを指定できる。よって、読み出し部７は露光量を１ラインずつ読み出すことになる。
【００１５】
以下、受光装置の処理動作について詳しく説明する。
【００１６】
図２は、多重露光領域選択部２により選択された、多重露光ラインを模式的に示す図である。本実施形態では、同図に示すように、５本目のラインＬ５〜１４本目のラインＬ１４が、多重露光ラインとして選択されたものとする。
【００１７】
図３は、多重露光制御部３による露光制御、および、読み出し部７による露光量読み出し制御の一例を示すタイミング図である。同図は、受光部１のライン数を１５としている。そして、ラインＬ５〜ラインＬ１４が多重露光ラインであり、ラインＬ１〜Ｌ４，Ｌ１５が単露光ラインである。また、同図では、多重露光ラインを２回露光する例を示している。
【００１８】
多重露光制御部３は時刻ｔ０でラインＬ１の露光を開始する、すなわち、リセット動作を行う。そして、多重露光制御部３は、第１の露光時間Ｔ１が経過した時刻ｔ２で、露光を終了する。同時に、時刻ｔ２で、読み出し部７はラインＬ１の各受光素子の露光量を読み出す（以下、単に「ラインＬ１の露光量を読み出す」ともいう）。第１の露光時間Ｔ１は、例えば１／３０秒あるいは１／６０秒である。また、時刻ｔ０より後の時刻ｔ１で、多重露光制御部３はラインＬ２の露光を開始する。そして、時刻ｔ１から第１の露光時間Ｔ１が経過した時刻ｔ３で、読み出し部７はラインＬ２の露光量を読み出す。
【００１９】
このように各ラインの読み出し時間をずらす理由は、上述のように、読み出し部７が１ラインずつ読み出しを行うためである。時刻ｔ２と時刻ｔ３との時間差は、読み出し部７の読み出し周波数により定まる。
【００２０】
ラインＬ１〜ラインＬ１５まで順に露光および読み出しを行い、時刻ｔ６でラインＬ１５の露光量が読み出される。これにより、全ての単露光ラインの露光量読み出しが完了する。
【００２１】
ここで、多重露光制御部３は、全ての単露光ラインの読み出しが完了する時刻ｔ６より前に、少なくとも１つの多重露光ラインの２回目の露光を開始する。すなわち、時刻ｔ４におけるラインＬ５の１回目の露光量読み出しの直後、言い換えると、ラインＬ５に引き続いて露光されるラインＬ６の１回目の露光量読み出しとほぼ同時の時刻ｔ５に、多重露光制御部３はラインＬ５の２回目の露光を開始する。そして、時刻ｔ５から第２の露光時間Ｔ２が経過した時刻ｔ７で、読み出し部７はラインＬ５の露光量を読み出す。
【００２２】
同様に、ラインＬ６についても、多重露光制御部３は、ラインＬ７の１回目の露光量読み出しとほぼ同時刻に、２回目の露光を開始する。以下、多重露光ラインについて、露光開始時刻をずらしながら、順次読み出しを行う。
【００２３】
このように、図３では、多重露光ラインの１回目の露光量を読み出した直後に、同ラインの２回目の露光を開始する。これにより、多重露光ラインの１回目の露光と２回目の露光との時間差を小さくすることができる。
【００２４】
図４は、多重露光制御部３による露光制御、および、読み出し部７による露光量読み出し制御の別の例を示すタイミング図である。同図は、受光部１のライン数を２２としている。そして、ラインＬ５〜ラインＬ１４が多重露光ラインであり、ラインＬ１〜Ｌ４，Ｌ１５〜Ｌ２２が単露光ラインである。また、同図では、多重露光ラインを３回露光する例を示している。
【００２５】
図４では、まず、単露光ラインＬ１〜Ｌ４について、露光および読み出しが行われる。続いて、多重露光ラインＬ５〜Ｌ１４について、１回目の露光および読み出しが行われる。
【００２６】
そして、時刻ｔ１１におけるラインＬ１４の１回目の露光量読み出しの次に、ラインＬ５の２回目の露光量読み出しが時刻ｔ１２において行われるよう、時刻ｔ１２より第２の露光時間Ｔ２だけ前の時刻ｔ１０で、多重露光制御部３はラインＬ５の２回目の露光を開始する。以下、多重露光ラインＬ６〜Ｌ１４について、露光開始時刻をずらしながら、順次２回目の読み出しを行う。
【００２７】
そして、時刻ｔ１４におけるラインＬ１４の２回目の露光量読み出しの次に、ラインＬ５の３回目の露光量読み出しが時刻ｔ１５において行われるよう、時刻ｔ１５より第２の露光時間Ｔ２だけ前の時刻ｔ１３で、多重露光制御部３はラインＬ５の３回目の露光を開始する。以下、ラインＬ６〜Ｌ１４について、順次３回目の露光および読み出しが行われる。
【００２８】
そして、時刻ｔ１９におけるラインＬ１４の３回目の露光量読み出しの次に、単露光ラインＬ１５の露光量読み出しが時刻ｔ２０において行われるよう、時刻ｔ２０より第１の露光時間Ｔ１だけ前の時刻ｔ１５で、多重露光制御部３はラインＬ１５の露光を開始する。以下、単露光ラインＬ１６〜Ｌ２２について、露光開始時刻をずらしながら、順次読み出しを行う。
【００２９】
このように、図４では、単露光ラインの一部について露光および読み出しを行い、その後に、多重露光ラインの１回目および２回目（必要に応じて３回目以降があってもよい）の露光および読み出しを行い、その後に、他の単露光ラインについて露光および読み出しを行う。これにより、多重露光ラインの１回目の露光と２回目の露光との時間差を小さくすることができる。
【００３０】
以上説明したように、第１の実施形態では、１回露光すべき全てのラインの露光量の読み出しが完了する前に、多重露光ラインの２回目の露光を開始するため、多重露光ラインの１回目の露光と２回目の露光との時間差を小さくできる。
【００３１】
（第２の実施形態）
上述した第１の実施形態では、外部からのレジスタ設定に基づいて、多重露光領域選択部２が単露光ラインと多重露光ラインとを選択するものであった。これに対し、以下に説明する第２の実施形態では、露光の結果得られる画像に基づいて選択を行うとともに、１回露光したラインの露光量から得られる画像および複数回露光したラインの露光量から得られる画像を用いて、画像処理を行うものである。
【００３２】
図５は、第２の実施形態に係る受光装置の概略構成を示すブロック図である。受光装置がフレームバッファ８および画像処理部９をさらに備えること、および、多重露光領域選択部２の処理が、第１の実施形態との主な相違点である。
【００３３】
フレームバッファ８は、ＡＤコンバータの出力を用いて、各ラインから読み出された露光量に対応する画像、すなわち、受光部１により撮影された画像を生成する。画像処理部９は、生成された画像を用いて、所定の画像処理を行う。また、本実施形態の多重露光領域選択部２は、フレームバッファ８により生成された画像を用いて、単露光ラインと多重露光ラインとを選択する。
【００３４】
図６は、第２の実施形態に係る受光装置の処理動作の一例を示すフローチャートである。
【００３５】
まず、フレームバッファ８は各ラインから読み出された露光量に対応する画像を生成する（ステップＳ１）。ここで生成される画像は、通常通り、各ラインとも１回露光した時の露光量に対応する画像である。以降では、ステップＳ１で生成される画像を、多重露光領域選択用画像と呼ぶ。この多重露光領域選択用画像は、後述する全体画像および部分画像に先立って生成される画像である。
【００３６】
そして、多重露光領域選択部２は、生成された多重露光領域選択用画像を用いて、受光部１のＮ本のラインから、単露光ラインと、多重露光ラインとを選択する（ステップＳ２）。
【００３７】
次に、多重露光制御部３および読み出し部７は、第１の実施形態で説明したような露光および読み出しを行い、フレームバッファ８は露光量に対応する複数の画像を生成する（ステップＳ３）。
【００３８】
複数の画像のうちの１つは、単露光ラインの露光量および多重露光ラインの１回目の露光量に対応する画像である。言い換えると、第１の露光時間で撮影された画像である。Ｎ本のラインのすべてが単露光ラインおよび複数露光ラインのいずれかに設定される場合、この画像の画素数は受光部１の受光素子数と等しく、行方向の画素数はＮである。よって、この画像を、以降では便宜上、全体画像（第１の画像）と呼ぶ。なお、いずれかのラインが全く露光されないラインである場合は行方向の画素数はＮより少ないが、この場合も全体画像とよぶ。
【００３９】
また、複数の画像のうちの他の１つは、多重露光ラインの２回目の露光量に対応する画像である。言い換えると、第２の露光時間で撮影された画像である。この画像の行方向の画素数は多重露光ラインの数と等しい。よって、この画像を、以降では便器上、部分画像（第２の画像）と呼ぶ。なお、全ラインが多重露光ラインであってもよく、この場合、部分画像の行方向の画素数はＮであるが、この場合も部分画像と呼ぶ。また、３回以上の露光を行う場合、画像処理部９は３つ以上の画像を生成してもよい。
【００４０】
そして、必要に応じて、画像処理部９は全体画像および部分画像を用いて画像処理を行う（ステップＳ４）。
【００４１】
このように、第２の実施形態では、多重露光領域選択用画像を生成し、これを用いて多重露光ラインを選択する。そのため、外部から手動設定することなく、自動的に多重露光ラインを選択できる。
【００４２】
（第３の実施形態）
第３の実施形態は、第２の実施形態の具体例の１つであり、顔検出を行うとともに、ノイズ除去処理を行うものである。
【００４３】
図７は、第３の実施形態に係る受光装置の概略構成を示すブロック図である。本実施形態における多重露光領域選択部２は、多重露光領域選択用画像から人間の顔を検出する顔検出部２ａである。顔検出は公知の手法を用いて行われ、例えば肌色や目、鼻および口等の特徴に基づいて顔が検出される。また、本実施形態における画像処理部９は、全体画像および部分画像を用いてノイズ除去処理を行うノイズ除去部９ａである。
【００４４】
図８は、図７の受光装置の処理動作を説明する図である。
【００４５】
図８（ａ）は、フレームバッファ８により生成された多重露光領域選択用画像の例である。顔検出部２ａはこの多重露光領域選択用画像から顔８１を検出する。そして、顔検出部２ａは、顔８１を含むラインを多重露光ラインとし、他の領域を単露光ラインとする。
【００４６】
図８（ｂ１），（ｂ２）は、露光制御および露光量読み出し制御のタイミングを示す図である。多重露光制御部３および読み出し部７は、第１の実施形態で説明したような露光および読み出しを行う。なお、同図（ｂ１）は図３を模式的に描いた図であり、同図（ｂ２）は図４を模式的に描いた図である。
【００４７】
図８（ｃ）は、画像処理部９により生成される全体画像および部分画像を示す図である。ノイズ除去部９ａは、全体画像および部分画像を用いて、両画像の重複する領域を平均する等、時間方向を含む３次元ノイズ除去処理を行って出力画像を生成する。
【００４８】
このように、第３の実施形態では、人間が注目し、ノイズが目立ちやすい顔部分を複数回撮影する。そのため、ノイズ除去部９ａの処理負担が大幅に増加することなく、視覚的に重要な領域について特に高画質な出力画像を生成できる。また、顔を撮影するラインにおける１回目の露光と２回目の露光との時間差が小さいため、全体画像用に顔部分を撮影してすぐに部分画像用の撮影をでき、両画像間で被写体が大きく動いてしまうのを抑制できる。
【００４９】
（第４の実施形態）
第４の実施形態は、第２の実施形態の他の具体例の１つであり、ＨＤＲ（High Dynamic Range）処理を行うものである。ＨＤＲ処理とは、センサの構成や動作の工夫により通常よりも広い階調を得る技術であり、例えば露光時間が異なる複数の画像を合成して、広いダイナミックレンジを限られた階調で表現する。
【００５０】
図９は、第４の実施形態に係る受光装置の概略構成を示すブロック図である。本実施形態における多重露光領域選択部２は、多重露光領域選択用画像から、ＨＤＲ撮影すべき領域を検出するＨＤＲ撮影領域検出部２ｂである。また、本実施形態における画像処理部９は、ＨＤＲ処理を行うＨＤＲ処理部９ｂである。
【００５１】
ＨＤＲ撮影領域検出部２ｂは、多重露光領域選択用画像における輝度に基づいて、ＨＤＲ撮影すべきラインを検出し、多重露光ラインとする。
【００５２】
例えば、ＨＤＲ撮影領域検出部２ｂは、所定の範囲を超える輝度の画素が連続している、あるいは、ある割合以上存在する領域を検出し、そのＹ方向のラインをＨＤＲ撮影すべきラインとすることができる。所定の範囲を超えるとは輝度が飽和している場合も含む。飽和していることは、ＡＤコンバータ５が最大コードまたは最小コードを出力していることから検出できる。あるいは、第３の実施形態と同様に、ＨＤＲ撮影領域検出部２ｂは、人間の顔等、特に高画質であることが望まれる重要な領域を検出して、ＨＤＲ撮影すべきラインとしてもよい。
【００５３】
図１０は、図９の受光装置の処理動作を説明する図である。同図（ａ）はトンネル内からトンネル外を見たシーンを描いており、トンネル内は薄暗いがトンネル外は明るい。この場合、トンネル内の明るさに合わせて露光時間を長くして撮影すると、トンネル内は適切に撮影できるが、トンネル外は明るすぎるために白とびや階調不足が発生し、正確な階調が表現できなくなる。一方、トンネル外の明るさに合わせて露光時間を短くして撮影すると、トンネル外は適切に撮影できるが、トンネル内は暗すぎるために黒潰れや階調不足が発生し、正確な階調が表現できなくなる。
【００５４】
そこで、ＨＤＲ撮影領域検出部２ｂは、多重露光領域選択用画像からトンネル外に相当するラインを検出し、ＨＤＲ撮影すべきライン、すなわち、多重露光ラインとする。そして、同図（ｂ）に示すように、多重露光制御部３および読み出し部７は、第１の実施形態で説明したような露光および読み出しを行う。ここで、トンネル内よりトンネル外の方が明るいため、単露光ラインの露光時間および複数回露光すべき領域の１回目の露光時間（すなわち第１の露光時間）を長くして全体画像を生成し、多重露光ラインの２回目の露光時間（すなわち第２の露光時間）を短くして部分画像を生成する（同図（ｃ））。
【００５５】
そして、ＨＤＲ処理部９ｂは、全体画像および部分画像を用いて、ＨＤＲ処理を行う。例えば、ＨＤＲ部は、トンネル内については全体画像を、トンネル外については部分画像を用いて両画像を合成する。これにより、トンネル内もトンネル外も、階調不足等が発生することなく、高品位な画像が得られる。
【００５６】
なお、図１０では、画像の明るい部分を検出して２回目に短時間の露光を行う例を示しているが、逆に画像の暗い部分を検出して２回目に長時間の露光を行ってもよい。また、図１０では、画像の一部をＨＤＲ撮影する例を示しているが、画像全体をＨＤＲ撮影してもよい。
【００５７】
このように、第４の実施形態では、多重露光を行うことで、簡易にＨＤＲ処理を実現できる。
【００５８】
（第５の実施形態）
第５の実施形態は、受光装置を可視光通信に用いるものである。
【００５９】
図１１は、可視光通信システムの概略構成を示すブロック図である。可視光通信システムは、送信装置１００および受信装置２００を用い、データを伝送するものである。送信装置１００は、送信すべきデータを所定の周波数で変調して変調信号を生成する変調部１１と、変調信号に応じて点滅する可視光を照射するＬＥＤ（Light Emitting Diode）等の光源１２とを有する。光源１２は１つでもよいし複数個あってもよい。
【００６０】
図１２は、第５の実施形態に係る受光装置１３の概略構成を示すブロック図であり、図１１の受信装置１００に用いられるものである。
【００６１】
本実施形態における多重露光領域選択部２は、フレームバッファ８により生成された多重露光領域選択用画像を用いて、光源１２の位置を検出する光源検出部２ｃである。光源検出部２ｃは、検出された光源１２を含むラインを、多重露光ラインとする。光源１２の位置を検出するには、例えば光源１２を予め定めたパターンの同期信号で点滅させる。そして、光源検出部２ｃはこのパターンを探索することで、光源１２の位置を検出できる。
【００６２】
受光部１は光源１２から照射された可視光により露光される。読み出し部７は各ラインの露光量を読み出す。フレームバッファ８は露光量に対応した複数の画像を生成する。本実施形態における画像処理部９は、生成された複数の画像を用いて復調処理を行う、可視光信号処理部９ｃである。複数の画像を用いて復調処理を行うことにより、復調の精度を向上できる。
【００６３】
上記の複数の画像とは、上述した全体画像および部分画像であってもよいし、図１３に示すような露光制御および読み出し制御を行って生成される、光源１２およびその近辺を含むラインのみからなる複数の画像であってもよい。この場合、全体画像を生成しなくてもよい。以下では、便宜上、全体画像を生成しない場合の、光源１２およびその近辺を含むラインのみからなる複数の画像をクロップ（crop）画像と呼ぶ。可視光通信に特化する場合は、図１３に示すように検出された光源１２およびその近辺を含むラインに対してのみ、露光および読み出しを行ってもよい。この場合、１回目の露光時間を長くし、２回目以降の露光時間を短くしてもよい。
【００６４】
以下では、特に可視光通信に有用な実施形態を説明する。
【００６５】
（第６の実施形態）
第６の実施形態は、受光部１の受光素子の配列に関するものである。
【００６６】
図１４は、第６の実施形態に係る受光装置における受光部１の受光素子の配列の例を示す図である。受光部１は、Ｒ受光素子と、Ｇ受光素子と、Ｂ受光素子と、Ｗ受光素子とを含む。
【００６７】
図１５は、各受光素子の受光特性の概略を示す図である。図示のように、Ｒ受光素子は、可視光のうち、主に、赤色に相当する所定の波長（第１の波長）近辺の光を受光する。Ｇ受光素子は、可視光のうち、主に、緑色に相当する所定の波長（第１の波長より短い第２の波長）近辺の光を受光する。Ｂ受光素子は、可視光のうち、主に、青色に相当する所定の波長（第２の波長より短い第３の波長）近辺の光を受光する。Ｗ受光素子は、赤色、緑色および青色のいずれに相当する波長の光も受光する。
【００６８】
Ｒ受光素子は、例えば受光素子の上方に、赤色に対して透過率が高く他の色に対して透過率が小さいカラーフィルタを配置することで実現できる。Ｇ，Ｂ受光素子も同様である。また、Ｗ受光素子は、カラーフィルタを配置しないことで実現できる。受光部１がＲ，Ｇ，Ｂ受光素子を有することでカラー画像を生成できる。
【００６９】
さらに、本実施形態の特徴として、通常のベイヤー配列とは異なり、Ｗ受光素子の数が、Ｒ，Ｇ，Ｂ受光素子のそれぞれの数より多い。好ましくは、Ｗ受光素子の数は、Ｒ，Ｇ，Ｂ受光素子の和に等しい。波長に関わらず受光可能なＷ受光素子を多く設けることにより、可視光通信時の感度が向上する。また、Ｒ，Ｇ，Ｂ受光素子の数は特に制限はなく、互いに等しくてもよいしＧ受光素子の数を多くしてもよい。
【００７０】
具体的には、Ｒ，Ｇ，Ｂ，Ｗ受光素子の数の比は、図１４（ａ），（ｃ），（ｄ）において１：１：１：３であり、図１４（ｂ），（ｅ）において１：２：１：４である。また、図１４（ａ），（ｂ），（ｄ），（ｅ）は、連続する２ラインがＲ，Ｇ，Ｂ，Ｗ受光素子を含む配列の例であり、図１４（ｃ）、１ラインがＲ，Ｇ，Ｂ，Ｗ受光素子を含む配列の例である。
【００７１】
読み出し部７は、全体画像（あるいは、図１３における１つ目のクロップ画像）を生成する場合、Ｒ，Ｇ，Ｂ，Ｗ受光素子の露光量を読み出す。これにより通常の撮影を行うことができる。一方、読み出し部７は、部分画像（あるいは、図１３における２つ目以降のクロップ画像）を生成する場合、Ｘ方向コントローラ４の制御により、Ｗ受光素子の露光量のみを読み出す。そして、可視光信号処理部９ｃは、Ｗ受光素子の露光量に対応する画像を用いて復調処理を行う。Ｗ受光素子は短波長から長波長にわたる可視光を受光できる。よって、光源１２が照射する可視光が暗い場合や光源１２が遠い位置にある場合でも、感度よく可視光を受光でき、復調の精度が向上する。また、部分画像等を生成する際の露光時間、すなわち、図３等の第２の露光時間Ｔ２を短くすることで、光源１２が高い周波数の可視光が照射する場合にも対応できる。
【００７２】
別の手法として、部分画像等を生成する場合に、読み出し部７はＲ，Ｇ，Ｂ，Ｗ受光素子の露光量を読み出してもよいし、これらの露光量を読み出すとともに加算してもよい。Ｒ，Ｇ，Ｂ，Ｗ受光素子を用いることで、光源１２が照射する可視光の波長が長い場合や短い場合でも、受光感度を向上できる。加算する場合、例えば図１４の一点鎖線で囲んだ受光素子の露光量を加算することが考えられる。すなわち、同図（ｃ）のように、１ラインにＲ，Ｇ，Ｂ，Ｗ受光素子が含まれる場合は１列＊６行の受光素子を単位として加算すればよい。また、同図（ａ），（ｂ），（ｄ），（ｅ）のように、２ラインにまたがってＲ，Ｇ，Ｂ，Ｗ受光素子が含まれる場合は２列＊３行または２列＊４行の受光素子を単位として加算すればよい。
【００７３】
このように、第６の実施形態では、Ｗ受光素子を多く設ける。そのため、可視光通信を行う際に、可視光の受信感度を向上できる。
【００７４】
（第７の実施形態）
可視光通信を行う場合、通常の画像のみならず復調処理用の画像をも取得する必要がある。そのため、データ処理量が増大し、撮影のフレームレートを高くできないことがある。そこで、第７の実施形態では、データ量を圧縮して処理するものである。
【００７５】
図１６は、第７の実施形態に係る受光装置における可視光信号処理部９ｃの内部構成を示すブロック図である。可視光信号処理部９ｃは、可視光候補探索部２１と、可視光輝度算出部２２と、可視光信号メモリ２３と、可視光検出部２４と、可視光デコード部２５とを有する。
【００７６】
可視光候補探索部２１は、図１３における１つ目のクロップ画像の輝度に基づいて、光源１２が照射する可視光のＸ方向の位置の候補を探索し、候補の座標を出力する。より具体的には、可視光探索部２１は、輝度が所定値より高い、１または複数のＸ座標を算出する。可視光輝度算出部２２は、図１３における２つ目のクロップ画像内のライン毎に、上記Ｘ座標のそれぞれについて、当該Ｘ座標を含む所定範囲の輝度の合計値（以下、単に座標Ｘの輝度値という）を算出する。
【００７７】
可視光信号メモリ２３は、２つ目のクロップ画像内のライン毎に、Ｘ座標とＸ座標の輝度値とを関連付けて記憶する。可視光検出部２４は、可視光信号メモリ２３に記憶されたＸ座標の輝度値に基づいて、各Ｘ座標が光源１２からの可視光を撮影したものか否かを判断し、可視光の位置の候補の中から可視光のＸ座標を検出する。可視光デコード部２５は、検出された可視光の座標Ｘの輝度値に基づいて、受信データを生成する。
【００７８】
図１７は、図１６の可視光信号処理部９ｃの処理動作の一例を示すフローチャートである。また、図１８は、図１６の可視光信号処理部９ｃの処理動作を説明する図である。
【００７９】
まず、可視光候補探索部２１は、１つ目のクロップ画像の輝度に基づいて、光源１２が照射する可視光の位置の候補座標Ｘを出力する（図１７のステップＳ１１）。図１８（ａ）は、４本のラインＬ１〜Ｌ４から構成される１つ目のクロップ画像を模式的に示している。同図では、輝度が高い領域である座標Ｘ１，Ｘ２，Ｘ３が可視光の候補座標とされている。
【００８０】
続いて、可視光輝度算出部２２は、２つ目のクロップ画像内のライン毎に、座標Ｘの輝度値を算出する（図１７のステップＳ１２）。図１８（ｂ）では、２つ目のクロップ画像をライン毎に描いている。同図では、ラインＬｉ（ｉ＝１〜４）における座標Ｘｋ（ｋ＝１〜３）の輝度値をＡｉｋとしている。
【００８１】
算出されたラインＬｉの座標Ｘｋの輝度値Ａｉｋは可視光信号メモリ２３に記憶される（図１７のステップＳ１３）。実際には１ラインずつ輝度値Ａｉｋが算出されるので、２つ目のクロップ画像全体の輝度値Ａｉｋを蓄えておく必要がある。
【００８２】
記憶された輝度値Ａｉｋに基づいて、可視光検出部２４は座標Ｘｉが光源１２からの可視光を撮影したものか否かを判断する。例えば、可視光検出部２４は、座標Ｘｉの輝度値Ａ１ｉ〜Ａ４ｉが予め定めた同期信号のパターンを含んでいれば、可視光を撮影したものと判断できる。あるいは、可視光検出部２４は、パリティチェック等、符号の正しさを検定して判断してもよい。このようにして可視光検出部２４は、座標Ｘｉのうちのいずれに可視光信号が現れるかを検出する（ステップＳ１４）。言い換えると、可視光検出部２４は候補座標Ｘのいずれが光源１２を撮影したものかを検出する。
【００８３】
そして、可視光デコード部２５は、検出された可視光を撮影した座標Ｘｉにおける輝度値Ａｉ〜Ａ４ｉをデコードして、受信データを生成する（ステップＳ１５）。
【００８４】
このように、第７の実施形態では、２つ目のクロップ画像の全体を用いるのではなく、可視光信号の候補の座標の輝度値のみを可視光信号メモリ２３に記憶して処理する。そのため、可視光信号処理部９ｃの処理量を削減できる。また、可視光信号の候補の座標のみならず、その周囲の座標の輝度値の情報も用いるため、光源１２がわずかに移動した場合でも、高精度に受信データを生成できる。
【００８５】
なお、図１３における１つ目のクロップ画像に代えて全体画像を用いてもよいし、２つ目のクロップ画像に代えて部分画像を用いてもよい。
【００８６】
（第８の実施形態）
以下に説明する第８の実施形態は、１回目の露光量に基づいて、２回目の露光の感度を調整するものである。
【００８７】
図１９は、第８の実施形態に係る受光装置の概略構成を示すブロック図である。本実施形態の画像処理部９は、全体画像または１回目のクロップ画像の輝度に基づいて、１回目の露光量が適切か、過多であるか、過少であるかを判断する。例えば、画像処理部９は、画像における複数ライン（例えば４ライン）、あるいは、ある領域（例えば８＊８画素の領域）の輝度の最大値が所定範囲内であれば露光量が適切と判断し、この範囲より高ければ過多であり、この範囲より低ければ過少であると判断する。また、画像処理部９は、可視光を照射する光源１２の位置を検出し、光源１２を撮影している領域について、上記のように判断してもよい。
【００８８】
また、受光装置は感度調整部１０を備えている。感度調整部１０は、１回目の露光量に応じて、受光部１の２回目（あるいは３回目以降）の露光の感度を調整する。例えば、感度調整部１０は、１回目の露光量が過多である場合、アナログゲインを小さくしたり、電荷加算ビニング（binning）をオフしたりすることにより、感度を下げる。逆に、感度調整部１０は、１回目の露光量が過少である場合、アナログゲインを大きくしたり、電荷加算ビニングをオンしたりすることにより、感度を上げる。
【００８９】
もちろん、２回目の露光量に基づいて３回目の露光量の感度を調整してもよい。
【００９０】
このように、第８の実施形態では、１回目の露光量に基づいて２回目の露光の感度を調整するため２回目の露光の感度が適切に設定される。よって、２回目の露光量に対応する画像を用いて、高精度に可視光信号処理等の処理を行うことができる。
【００９１】
上述した実施形態で説明した受光装置の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、受光装置システムの少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【００９２】
また、受光装置システムの少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【００９３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【００９４】
なお、特許請求の範囲に記載の態様の他、下記の態様が考えられる。
【００９５】
（例１）請求項１に記載の受光装置において、
前記多重露光領域選択部は、Ｋ本目のラインから（Ｋ＋Ｌ）本目のライン（Ｋは１≦Ｋ≦Ｎを満たす整数、Ｌは０≦Ｋ＋Ｌ≦Ｎを満たす整数）を前記多重露光ラインとして選択し、
前記多重露光制御部は、前記Ｋ本目のラインから前記（Ｋ＋Ｌ）本目のラインに対してこの順で１回目の露光を行い、（Ｋ＋１）本目のラインの１回目の露光量が読み出されるのと略同時に、Ｋ本目のラインの２回目の露光を開始する。
【００９６】
（例２）請求項１に記載の受光装置において、
前記多重露光領域選択部は、Ｋ本目のラインから（Ｋ＋Ｌ）本目のライン（Ｋは１≦Ｋ≦Ｎを満たす整数、Ｌは０≦Ｋ＋Ｌ≦Ｎを満たす整数）を前記多重露光ラインとして選択し、
前記多重露光制御部は、前記Ｋ本目のラインから前記（Ｋ＋Ｌ）本目のラインに対してこの順で１回目の露光を行い、前記（Ｋ＋Ｌ）本目のラインの露光量が読み出された次に、前記Ｋ本目のラインの２回目の露光量が読み出されるよう、前記Ｋ本目のラインの２回目の露光を開始する。
【００９７】
（例３）請求項１に記載の受光装置において、
前記多重露光領域選択部は、外部からの設定に応じて、前記単露光ラインと、前記多重露光ラインと、を選択する。
【００９８】
（例４）請求項３に記載の受光装置において、
前記多重露光領域選択部は、前記フレームバッファにより生成された画像から顔検出を行い、検出された顔を含むラインを前記多重露光ラインとして選択し、
前記画像処理部は、前記第１の画像および前記第２の画像を用いて、ノイズ除去処理を行う。
【００９９】
（例５）請求項３に記載の受光装置において、
前記多重露光領域選択部は、前記フレームバッファにより生成された画像の輝度に基づき、ハイダイナミックレンジ処理を行うべきラインを前記多重露光ラインとして選択し、
前記画像処理部は、前記第１の画像および前記第２の画像を用いて、ハイダイナミックレンジ処理を行う。
【０１００】
（例６）請求項４に記載の受光装置において、
前記受光部は、
可視光のうち第１の波長近辺の光を受光する第１の受光素子、
可視光のうち前記第１の波長より短い第２の波長近辺の光を受光する第２の受光素子、
可視光のうち前記第２の波長より短い第３の波長近辺の光を受光する第３の受光素子、および
前記第１の波長から前記第３の波長の近辺の光を受光する第４の受光素子、を含み、
前記第４の受光素子の数は、前記第１の受光素子の数、前記第２の受光素子の数および前記第３の受光素子の数より多い。
【０１０１】
（例７）請求項４に記載の受光装置において、
前記第４の受光素子の数は、前記第１の受光素子、前記第２の受光素子および前記第３の受光素子の数の和と等しい。
【０１０２】
（例８）請求項４に記載の受光装置において、
前記可視光信号処理部は、前記多重露光ラインにおける前記第４の受光素子の露光量に基づいて、前記受信データを生成する。
【０１０３】
（例９）請求項４に記載の受光装置において、
前記可視光信号処理部は、前記多重露光ラインにおける前記第１乃至第４の受光素子の露光量に基づいて、前記受信データを生成する。
【０１０４】
（例１０）請求項４に記載の受光装置において、
前記読み出された露光量に対応する画像を生成するフレームバッファを備え、
前記可視光信号処理部は、
前記多重露光ラインの１回目の露光量に対応する画像の輝度に基づいて、前記光源からの可視光の候補位置を探索する可視光候補探索部と、
前記多重露光ラインの２回目の露光量に対応する画像におけるラインごとに、前記候補位置のそれぞれについて、前記候補位置を含む所定範囲の輝度値を算出する可視光輝度算出部と、を有する。
【０１０５】
（例１１）上記（例１０）に記載の受光装置において、
前記可視光信号処理部は、
前記多重露光ラインの２回目の露光量に対応する画像におけるラインごとに、前記候補位置のそれぞれについて、前記輝度値を記憶する可視光信号メモリと、
前記記憶された輝度の合計値に基づいて前記光源が照射する可視光の位置を可視光検出部と、
前記検出された位置可視光の位置における前記輝度値に基づいて、前記受信データを生成する可視光デコード部と、を有する。
【０１０６】
（例１２）請求項４に記載の受光装置において、
前記読み出された露光量に対応する画像を生成するフレームバッファと、
前記生成された画像の輝度に基づいて、前記受光部の感度を調整する感度調整部を備える。
【０１０７】
（例１３）請求項５に記載の伝送システムにおいて、
前記受光部は、
可視光のうち第１の波長近辺の光を受光する第１の受光素子、
可視光のうち前記第１の波長より長い第２の波長近辺の光を受光する第２の受光素子、
可視光のうち前記第２の波長より長い第３の波長近辺の光を受光する第３の受光素子、および
前記第１の波長から前記第３の波長の近辺の光を受光する第４の受光素子、を含み、
前記第４の受光素子の数は、前記第１の受光素子の数、前記第２の受光素子の数および前記第３の受光素子の数より多い。
【０１０８】
（例１４）請求項５に記載の伝送システムにおいて、
前記受信装置は、
前記読み出された露光量に対応する画像を生成するフレームバッファと、
前記生成された画像の輝度に基づいて、前記受光部の感度を調整する感度調整部を備える。
【０１０９】
（例１５）
それぞれが複数の受光素子から構成されるＮ（Ｎは２以上の整数）本のラインを有する受光部を有する受光装置用いた受光方法であって、
前記Ｎ本のラインから、所定の単位時間に単露光ラインと、複数回露光すべき多重ラインと、を選択するステップと、
前記所定の単位時間に、前記単露光ラインを第１の露光時間で１回露光を行うとともに、前記多重露光ラインを前記第１の露光時間で１回目の露光を行い、その後、第２の露光時間で２回目の露光を行うステップと、
前記ラインの露光量を１ラインずつ読み出すステップと、を備え、
前記露光を行うステップは、全ての前記１回露光すべきラインの露光量の読み出しが完了するより前に、前記複数回露光すべきラインの２回目の露光を開始することを特徴とする受光方法。
【符号の説明】
【０１１０】
１  受光部
２  多重露光領域選択部
２ａ  顔検出部
２ｂ  ＨＤＲ撮影領域検出部
２ｃ  光源検出部
３  多重露光制御部
４  Ｘ方向コントローラ
５  Ｙ方向コントローラ
６  ＡＤコンバータ
７  読み出し部
８  フレームバッファ
９  画像処理部
９ａ  ノイズ除去部
９ｂ  ＨＤＲ処理部
９ｃ  可視光信号処理部
１０  感度調整部
１１  変調部
１２  光源
１３  受光装置
２１  可視光候補探索部
２２  可視光輝度算出部
２３  可視光信号メモリ
２４  可視光検出部
２５  可視光デコード部
１００  送信装置
２００  受信装置
【図１】
2013223043.tif 000003
【図２】
2013223043.tif 000004
【図３】
2013223043.tif 000005
【図４】
2013223043.tif 000006
【図５】
2013223043.tif 000007
【図６】
2013223043.tif 000008
【図７】
2013223043.tif 000009
【図８】
2013223043.tif 000010
【図９】
2013223043.tif 000011
【図１０】
2013223043.tif 000012
【図１１】
2013223043.tif 000013
【図１２】
2013223043.tif 000014
【図１３】
2013223043.tif 000015
【図１４】
2013223043.tif 000016
【図１５】
2013223043.tif 000017
【図１６】
2013223043.tif 000018
【図１７】
2013223043.tif 000019
【図１８】
2013223043.tif 000020
【図１９】
2013223043.tif 000021