(57)【要約】【課題】高精度にコードを抽出する。【解決手段】撮像装置１０１は、非可視光によりコード５０を表示する対象物の像を含む、第１画像データ及び第２画像データを取得する撮影部１１１と、第１画像データ及び第２画像データに基づいて、コード５０を抽出する画像処理部１４２とを備え、撮影部１１１は、可視光に感度を有する複数の第１画素により第１画像データを取得し、非可視光に感度を有する複数の第２画素により第２画像データを取得し、画像処理部１４２は、第１画像データ及び第２画像データの少なくとも一方に補正係数を乗算する補正処理を行い、補正処理後の第１画像データ及び第２画像データの差分より第３画像データを生成し、第３画像データに基づいてコード５０を抽出する。【選択図】図９
2018201196.tif 000002
【特許請求の範囲】
【請求項１】
非可視光によりコードを表示する対象物の像を含む、第１画像データ及び第２画像データを取得する撮影部と、
前記第１画像データ及び前記第２画像データに基づいて、前記コードを抽出する画像処理部と、
を備え、
前記撮影部は、可視光に感度を有する複数の第１画素と、非可視光に感度を有する複数の第２画素とを含み、前記複数の第１画素により前記第１画像データを取得し、前記複数の第２画素により前記第２画像データを取得し、
前記画像処理部は、前記第１画像データ及び前記第２画像データの少なくとも一方に補正係数を乗算する補正処理を行い、補正処理によって得られた２つの画像データの差分より第３画像データを生成し、前記第３画像データに基づいて前記コードを抽出する、
撮像装置。
【請求項２】
前記画像処理部は、前記第２画像データにおける前記コード以外の像の信号強度が、前記第１画像データにおける前記コード以外の像の信号強度よりも大きくなるように、前記第１画像データ及び前記第２画像データの少なくとも一方に前記補正係数を乗算する前記補正処理を行う、請求項１に記載の撮像装置。
【請求項３】
前記対象物の一部は、非可視光を発光し、
前記対象物は、前記一部において非可視光を発光することで前記コードを表示する、請求項１に記載の撮像装置。
【請求項４】
前記対象物の一部は、非可視光に対する反射率が可視光に対する反射率よりも高く、
前記対象物は、前記一部において非可視光を反射することで前記コードを表示する、請求項１に記載の撮像装置。
【請求項５】
前記第２画像データにおいて、前記コードの像の信号強度のうち最も大きいものを第１強度とし、前記コード以外の像の信号強度のうち最も大きいものを第２強度とし、前記第３画像データにおいて、前記コードの像の信号強度のうち最も大きいものを第３強度とし、前記コード以外の像の信号強度のうち最も大きいものを第４強度としたとき、前記第４強度に対する前記第３強度の比は、前記第２強度に対する前記第１強度の比よりも大きい、請求項１に記載の撮像装置。
【請求項６】
前記画像処理部は、前記第１画像データにおける前記コード以外の像の信号強度と、前記第２画像データにおける前記コード以外の像の信号強度との差が小さくなるように、前記第１画像データ及び前記第２画像データの少なくとも一方に前記補正係数を乗算する前記補正処理を行う、請求項１に記載の撮像装置。
【請求項７】
前記補正係数は、前記第１画素の第１分光感度特性と、前記第２画素の第２分光感度特性とに基づいて算出される、請求項５に記載の撮像装置。
【請求項８】
前記補正係数は、前記第１分光感度特性に太陽光スペクトルを乗算することで得られる第１特性と、前記第２分光感度特性に前記太陽光スペクトルを乗算することで得られる第２特性とに基づいて算出される、請求項７に記載の撮像装置。
【請求項９】
前記第２画素は可視光にも感度を有する、請求項１に記載の撮像装置。
【請求項１０】
昼間か夜間かを判断する昼夜判断部をさらに備え、
前記昼夜判断部が昼間であると判断した場合は、前記画像処理部は前記第３画像データに基づいて前記コードを抽出し、
前記昼夜判断部が夜間であると判断した場合は、前記画像処理部は前記第２画像データに基づいて前記コードを抽出する、請求項１に記載の撮像装置。
【請求項１１】
前記画像処理部は、抽出された前記コードに対応付けられている情報を取得する、請求項１に記載の撮像装置。
【請求項１２】
前記情報は、交通情報を含む、請求項１１に記載の撮像装置。
【請求項１３】
前記第１画素と前記第２画素とは同一の第３画素であり、
前記第３画素は、可視光に感度を有する第１状態と、非可視光に感度を有する第２状態とを有し、
前記撮影部は、前記第１状態にある前記第３画素により前記第１画像データを取得し、前記第２状態にある前記第３画素により前記第２画像データを取得する、請求項１に記載の撮像装置。
【請求項１４】
前記第１画素が前記第１画像データを取得するときの露光期間の開始及び終了のタイミングは、前記第２画素が前記第２画像データを取得するときの露光期間の開始及び終了のタイミングと同一である、請求項１に記載の撮像装置。
【請求項１５】
前記撮影部は、複数のフレーム期間のそれぞれにおいて前記第１画像データ及び第２画像データを取得し、
前記画像処理部は、前記複数のフレーム期間のうちの一部のフレーム期間に対してのみ前記コードを抽出する、請求項１に記載の撮像装置。
【請求項１６】
請求項１１に記載の撮像装置と、
前記情報をユーザに通知する通知部と、
を備える、撮像システム。
【請求項１７】
請求項１１に記載の撮像装置と、
前記情報に基づいて、車両の制動及び加速を制御する車両制御部と、
を備える、車両走行制御システム。
【請求項１８】
非可視光によりコードを表示する対象物の可視光像を含む第１画像データと、前記対象物の非可視光像を含む第２画像データとに基づいて、前記コードを抽出する画像処理部を備え、
前記画像処理部は、前記第１画像データ及び前記第２画像データの少なくとも一方に補正係数を乗算する補正処理を行い、補正処理によって得られた２つの画像データの差分より第３画像データを生成し、前記第３画像データに基づいて前記コードを抽出する、
画像処理装置。
【請求項１９】
前記画像処理部は、抽出された前記コードに対応づけられている情報を取得する、請求項１８に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置、撮像システム、車両走行制御システム及び画像処理装置に関する。
【背景技術】
【０００２】
撮像装置を利用した情報の取得方法として、画像読み取り方式が知られている。画像読み取り方式とは、バーコード又はＱＲコード（登録商標）に代表される一次元又は二次元のコードから、情報を取得する技術である。この方式は、撮像された１枚の画像から情報を取得できる。また、この方式は、１枚の画像内に存在する複数のコードから情報を取得することも可能である。よって、この方式は、車両等の対象が移動中に情報を取得し、取得した情報に基づいて制御又は判断を行う際に有用である。例えば、テールランプ又は信号機にコードを表示し、コードから得られた情報を利用して車両を制御する方法も提案されている（例えば特許文献１及び２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２２１３０３号公報
【特許文献２】特開２０１４−９３７００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像読み取り方式により情報を取得するためには、高精度にコードを抽出できることが望まれている。
【課題を解決するための手段】
【０００５】
本開示の限定的ではないある例示的な実施形態によれば、以下が提供される。
【０００６】
非可視光によりコードを表示する対象物の像を含む、第１画像データ及び第２画像データを取得する撮影部と、前記第１画像データ及び前記第２画像データに基づいて、前記コードを抽出する画像処理部とを備え、前記撮影部は、可視光に感度を有する複数の第１画素により前記第１画像データを取得し、非可視光に感度を有する複数の第２画素により前記第２画像データを取得し、前記画像処理部は、前記第１画像データ及び前記第２画像データの少なくとも一方に補正係数を乗算する補正処理を行い、補正処理後の前記第１画像データ及び前記第２画像データの差分より第３画像データを生成し、前記第３画像データに基づいて前記コードを抽出する、撮像装置。
【０００７】
包括的または具体的な態様は、素子、デバイス、モジュール、システム、集積回路または方法で実現されてもよい。また、包括的または具体的な態様は、素子、デバイス、モジュール、システム、集積回路および方法の任意の組み合わせによって実現されてもよい。
【０００８】
開示された実施形態の追加的な効果および利点は、明細書および図面から明らかになる。効果および／または利点は、明細書および図面に開示の様々な実施形態または特徴によって個々に提供され、これらの１つ以上を得るために全てを必要とはしない。
【発明の効果】
【０００９】
本開示は、高精度にコードを抽出できる撮像装置、撮像システム、車両走行制御システム又は画像処理装置を提供できる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態に係る、赤外光により表示されたコードを含む画像の一例を示す図である。
【図２】第１の実施形態に係る第３画像の一例を示す図である。
【図３】第１の実施形態に係る車両走行制御システムの構成例を示す図である。
【図４】第１の実施形態に係る撮影部の構成例を示す図である。
【図５Ａ】第１の実施形態に係る画素の回路構成の一例を示す図である。
【図５Ｂ】第１の実施形態に係る画素の回路構成の一例を示す図である。
【図６】第１の実施形態に係る光電変換部の一例を示す断面図である。
【図７Ａ】第１の実施形態に係る単位画素の色配列の一例を示す図である。
【図７Ｂ】第１の実施形態に係る単位画素の色配列の一例を示す図である。
【図７Ｃ】第１の実施形態に係る単位画素の色配列の一例を示す図である。
【図７Ｄ】第１の実施形態に係る単位画素の色配列の一例を示す図である。
【図８Ａ】第１の実施形態に係るコードの一例を示す図である。
【図８Ｂ】第１の実施形態に係るコードの一例を示す図である。
【図８Ｃ】第１の実施形態に係るコードの一例を示す図である。
【図８Ｄ】第１の実施形態に係るコードの一例を示す図である。
【図９】第１の実施形態に係る車両走行制御システムのブロック図である。
【図１０】第２の実施形態に係る撮像システムのブロック図である。
【図１１】第２の実施形態に係る、第１画像と第２画像とを同時に取得する場合の情報取得処理のフローチャートである。
【図１２】第２の実施形態に係る、第１画像と第２画像とを順次に取得する場合の情報取得処理のフローチャートである。
【図１３】第３の実施形態に係る画像処理装置のブロック図である。
【図１４】第３の実施形態に係る、第１画像と第２画像とを同時に取得する場合の情報取得処理のフローチャートである。
【図１５Ａ】第３の実施形態に係るＲ画素、Ｇ画素及びＢ画素の分光感度特性の一例を示す図である。
【図１５Ｂ】第３の実施形態に係るＩＲ画素の分光感度特性の一例を示す図である。
【図１６】第３の実施形態に係る、第１画像と第２画像とを順次に取得する場合の情報取得処理のフローチャートである。
【図１７Ａ】第３の実施形態に係るＧ画素の分光感度特性の一例を示す図である。
【図１７Ｂ】第３の実施形態に係るＧ＋ＩＲ画素の分光感度特性の一例を示す図である。
【図１８】第４の実施形態に係る太陽光のスペクトルの一例を示す図である。
【図１９Ａ】第４の実施形態に係る、Ｒ画素、Ｇ画素及びＢ画素の分光感度特性と太陽光のスペクトルとの乗算結果を示す図である。
【図１９Ｂ】第４の実施形態に係る、ＩＲ画素の分光感度特性と太陽光のスペクトルとの乗算結果を示す図である。
【図２０】第５の実施形態に係る画像処理装置のブロック図である。
【図２１】第５の実施形態に係る、第１画像と第２画像とを同時に取得する場合の情報取得処理のフローチャートである。
【図２２Ａ】実施形態に係る、ローリングシャッタ動作によって撮像されたコードの像の一例を示す図である。
【図２２Ｂ】実施形態に係る、グローバルシャッタ動作によって撮像されたコードの像の一例を示す図である。
【発明を実施するための形態】
【００１１】
（本開示に至った知見）
画像読み取り方式による情報の取得においては、高精度にコードを抽出することが課題である。撮像された画像内に存在する複数のコードを高速かつ高精度に抽出できれば、ＡＤＡＳ（Ａｄｖａｎｃｅｄ  Ｄｒｉｖｅｒ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍ）技術又は自動運転技術等に対して、車両制御の自動化又は乗員に対する新たな情報提供手段として有用である。
【００１２】
本開示の一態様の概要は以下のとおりである。
【００１３】
本開示の一態様に係る撮像装置は、非可視光によりコードを表示する対象物の像を含む、第１画像データ及び第２画像データを取得する撮影部と、前記第１画像データ及び前記第２画像データに基づいて、前記コードを抽出する画像処理部とを備え、前記撮影部は、可視光に感度を有する複数の第１画素により前記第１画像データを取得し、非可視光に感度を有する複数の第２画素により前記第２画像データを取得し、前記画像処理部は、前記第１画像データ及び前記第２画像データの少なくとも一方に補正係数を乗算する補正処理を行い、補正処理後の前記第１画像データ及び前記第２画像データの差分より第３画像データを生成し、前記第３画像データに基づいて前記コードを抽出する。
【００１４】
これによれば、撮像装置は、可視光が撮影された第１画像データと、非可視光が撮影された第２画像データとの差分処理により第３画像データを生成する。これにより、第３画像データにおけるコードのコントラストを高くすることができるので、撮像装置は、高精度にコードを抽出できる。
【００１５】
また、これによれば、撮像装置は、第１画像データと第２画像データとの信号強度の差を小さくできるので、第３画像データにおけるコードのコントラストをより高くできる。これにより、撮像装置は、より高精度にコードを抽出できる。
【００１６】
例えば、前記画像処理部は、前記第２画像データにおける前記コード以外の像の信号強度が、前記第１画像データにおける前記コード以外の像の信号強度よりも大きくなるように、前記第１画像データ及び前記第２画像データの少なくとも一方に前記補正係数を乗算する前記補正処理を行ってもよい。
【００１７】
例えば、前記対象物の一部は、非可視光を発光し、前記対象物は、前記一部において非可視光を発光することで前記コードを表示してもよい。
【００１８】
例えば、前記対象物の一部は、非可視光に対する反射率が可視光に対する反射率よりも高く、前記対象物は、前記一部において非可視光を反射することで前記コードを表示してもよい。
【００１９】
例えば、前記第２画像データにおいて、前記コードの像の信号強度のうち最も大きいものを第１強度とし、前記コード以外の像の信号強度のうち最も大きいものを第２強度とし、前記第３画像データにおいて、前記コードの像の信号強度のうち最も大きいものを第３強度とし、前記コード以外の像の信号強度のうち最も大きいものを第４強度としたとき、前記第４強度に対する前記第３強度の比は、前記第２強度に対する前記第１強度の比よりも大きくてもよい。
【００２０】
例えば、前記画像処理部は、前記第１画像データにおける前記コード以外の像の信号強度と、前記第２画像データにおける前記コード以外の像の信号強度との差が小さくなるように、前記第１画像データ及び前記第２画像データの少なくとも一方に前記補正係数を乗算する前記補正処理を行ってもよい。
【００２１】
これによれば、第１画像データと第２画像データとの信号強度の差を小さくできるので、第３画像データにおけるコードのコントラストをより高くできる。これにより、撮像装置は、より高精度にコードを抽出できる。
【００２２】
例えば、前記補正係数は、前記第１画素の第１分光感度特性と、前記第２画素の第２分光感度特性とに基づいて算出されてもよい。
【００２３】
例えば、前記補正係数は、前記第１分光感度特性に太陽光スペクトルを乗算することで得られる第１特性と、前記第２分光感度特性に前記太陽光スペクトルを乗算することで得られる第２特性とに基づいて算出されてもよい。
【００２４】
これによれば、太陽光のスペクトルを考慮することで、第３画像データにおけるコードのコントラストをより高くできる。これにより、撮像装置は、より高精度にコードを抽出できる。
【００２５】
例えば、前記第２画素は可視光にも感度を有していてもよい。
【００２６】
例えば、昼間か夜間かを判断する昼夜判断部をさらに備え、前記昼夜判断部が昼間であると判断した場合は、前記画像処理部は前記第３画像データに基づいて前記コードを抽出し、前記昼夜判断部が夜間であると判断した場合は、前記画像処理部は前記第２画像データに基づいて前記コードを抽出してもよい。
【００２７】
これによれば、太陽光に含まれる非可視光の影響が少ない夜間において、撮像装置の処理量を低減できる。
【００２８】
例えば、前記画像処理部は、抽出された前記コードに対応付けられている情報を取得してもよい。また例えば、前記情報は、交通情報を含んでいてもよい。
【００２９】
例えば、前記第１画素と前記第２画素とは、別個の画素であってもよい。
【００３０】
これによれば、撮像装置は、第１画像データと第２画像データとを同時に取得できる。よって、撮像装置は、動きにより生じる第１画像データと第２画像データとの間の像のずれを低減できるので、より高精度にコードを抽出できる。
【００３１】
例えば、前記第１画素と前記第２画素とは同一の第３画素であり、前記第３画素は、可視光に感度を有する第１状態と、非可視光に感度を有する第２状態とを有し、前記撮影部は、前記第１状態にある前記第３画素により前記第１画像データを取得し、前記第２状態にある前記第３画素により前記第２画像データを取得してもよい。
【００３２】
これによれば、撮像装置は、第１画像データと第２画像データとを同一の画素で取得できる。よって、撮像装置は、画素数を低減できる。
【００３３】
例えば、前記第１画素が前記第１画像データを取得するときの露光期間の開始及び終了のタイミングは、前記第２画素が前記第２画像データを取得するときの露光期間の開始及び終了のタイミングと同一であってもよい。
【００３４】
これによれば、撮像装置は、動きにより生じるコードの像の歪みを低減できるので、より高精度にコードを抽出できる。
【００３５】
例えば、前記撮影部は、複数のフレーム期間のそれぞれにおいて前記第１画像データ及び第２画像データを取得し、前記画像処理部は、前記複数のフレーム期間のうちの一部のフレーム期間に対してのみ前記コードを抽出してもよい。
【００３６】
本開示の一態様に係る撮像システムは、前記撮像装置と、前記情報をユーザに通知する通知部とを備える。
【００３７】
本開示の一態様に係る車両走行制御システムは、前記撮像装置と、前記情報に基づいて、車両の制動及び加速を制御する車両制御部とを備える。
【００３８】
本開示の一態様に係る画像処理装置は、非可視光によりコードを表示する対象物の可視光像を含む第１画像データと、前記対象物の非可視光像を含む第２画像データとに基づいて、前記コードを抽出する画像処理部を備え、前記画像処理部は、前記第１画像データ及び前記第２画像データの少なくとも一方に補正係数を乗算する補正処理を行い、補正処理によって得られた２つの画像データの差分より第３画像データを生成し、前記第３画像データに基づいて前記コードを抽出する。
【００３９】
これによれば、画像処理装置は、可視光が撮影された第１画像データと、非可視光が撮影された第２画像データとの差分処理により第３画像データを生成する。これにより、画像処理装置は、第３画像データにおけるコードの像のコントラストを高くすることができるので、高精度にコードを抽出できる。
【００４０】
例えば、前記画像処理部は、抽出された前記コードに対応づけられている情報を取得してもよい。
【００４１】
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【００４２】
以下、図面を参照しながら、本開示の実施形態を詳細に説明する。なお、以下で説明する実施形態は、いずれも包括的又は具体的な例を示す。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ、ステップの順序などは一例であり、本開示を限定する主旨ではない。本明細書において説明される種々の態様は、矛盾が生じない限り互いに組み合わせることが可能である。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。以下の説明において、実質的に同じ機能を有する構成要素は共通の参照符号で示し、説明を省略することがある。本明細書において、「画像データ」は画像情報を含むデータを意味する。また、「画像データ」を単に「画像」と表記することがある。
【００４３】
（第１の実施形態）
まず、本実施形態に係る車両走行制御システム１００の構成及び動作を説明する。
【００４４】
車両走行制御システム１００は、車両に搭載した撮像装置１０１を含む。撮像装置１０１がコードを読み取り、コードに対応付けられた情報を取得する。
【００４５】
図３は、本実施形態に係る車両走行制御システム１００のハードウェア構成の一例を示す図である。図３に示す車両走行制御システム１００は、撮像装置１０１と、光学系１０２と、表示部１０３と、ネットワーク通信部１０４と、電子制御ユニットであるＥＣＵ１０５とを含む。撮像装置１０１は、撮影部１１１と、ＩＳＰ１１２と、システムコントローラ１１５と、画像送信部１１３と、情報取得部１１４とを備えている。ＩＳＰ１１２は、撮影部１１１からの出力データを画像処理する画像処理プロセッサである。システムコントローラ１１５は、ＩＳＰ１１２がどのように画像処理を行うかを制御する。画像送信部１１３は、ＩＳＰ１１２から出力されたデータを外部に送信する。
【００４６】
光学系１０２は、周知のレンズ群を有する。レンズ群において、例えばフォーカスレンズは光軸方向に移動してもよい。これにより、撮影部１１１において被写体像の合焦位置を調整できる。
【００４７】
撮影部１１１は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサである。図４は、撮影部１１１の構成例を示す図である。図４に示すように、撮影部１１１は、行列方向に配列された複数の画素２０１を含む画素アレイと、行走査回路２０２と、列走査回路２０３と、列毎に設けられた電流源２０４と、列毎に設けられたＡＤ変換回路２０５と、を含む。
【００４８】
各画素２０１は、対応する行の水平信号線２０７と、対応する行の垂直信号線２０８とに接続されている。行走査回路２０２及び列走査回路２０３により、各画素２０１が個々に選択される。なお、各画素２０１には、共通の電源線２０６により電源電圧が供給される。各画素２０１は、入力された光信号を電気信号に変換する。ＡＤ変換回路２０５は、画素２０１で得られた電気信号をデジタル信号に変換する。このデジタル信号は、列走査回路２０３から出力信号線２０９に出力される。なお、ＡＤ変換回路２０５が設けられず、電気信号がアナログ信号のまま出力されもよい。又は、複数の画素２０１の出力信号が加減算され、演算後の値が出力されてもよい。
【００４９】
図５Ａ及び図５Ｂは、画素２０１の一例である画素２０１Ａ及び２０１Ｂの構成を示す図である。画素２０１Ａは、図５Ａに示すように、光電変換部２１０と、電荷蓄積部２２５と、リセットトランジスタＭ３と、増幅トランジスタＭ１と、選択トランジスタＭ２と、を有する。光電変換部２１０は、入射光を光電変換する。電荷蓄積部２２５は、電荷を蓄積する。リセットトランジスタＭ３は、電荷蓄積部２２５の電位を所望のリセット電位Ｖ１にリセットする。増幅トランジスタＭ１は、電荷蓄積部２２５に蓄積された電荷の量に応じた信号を出力する。選択トランジスタＭ２は、信号を垂直信号線２０８に選択的に出力する。
【００５０】
なお、光電変換部として、図５Ｂに示すようにフォトダイオード２１１が用いられてもよい。
【００５１】
図６は、図５Ａに示した画素２０１Ａの構成例を示す断面図である。図６に示すように、光電変換部２１０は、透明電極２２１と、画素電極２２３と、光電変換層２２２と、を有する。光電変換層２２２は、透明電極２２１及び画素電極２２３の間に位置する。電荷蓄積部２２５は、少なくとも一部が半導体基板２２６内に位置していてもよい。電荷蓄積部２２５は、コンタクトプラグ２２４を介して画素電極２２３に電気的に接続されてもよい。透明電極２２１と画素電極２２３との間にバイアス電圧が印加されると電界が生じる。この電界により、光電変換層２２２で光電変換によって生じた正及び負の電荷のうちの一方が、画素電極２２３によって収集される。収集された電荷は電荷蓄積部２２５に蓄積される。
【００５２】
画素２０１は可視光及び非可視光に対して感度を有する。図７Ａ〜図７Ｄは、画素２０１の配置の一例を示す。また、非可視光の一例として、赤外光を対象とする場合で例示する。図７Ａ〜図７Ｄにおいて、四角形のそれぞれが単一の画素を示す。画素に記載されたＧは緑色の波長帯域、Ｒは赤色の波長帯域、Ｂは青色の波長帯域、ＩＲは赤外光の波長帯域、Ｗは可視光から赤外光の波長帯域に、それぞれの画素が感度を有することを示す。以下、緑色の波長帯域に感度を有する画素をＧ画素、赤色の波長帯域に感度を有する画素をＲ画素、青色の波長帯域に感度を有する画素をＢ画素、赤外光の波長帯域に感度を有する画素をＩＲ画素、可視光から赤外光の波長帯域に感度を有する画素をＷ画素と呼ぶ。画素アレイは４画素を１単位として縦横に同構成を配置している。
【００５３】
図７Ａは、ベイヤー配列において、Ｇ画素の一つをＩＲ画素に置き換えた構成例を示す。ＩＲ画素は、典型的には可視光カットフィルタを画素上に形成することで実現される。ベイヤー配列とは、一つのＲ画素と、二つのＧ画素と、一つのＢ画素との４画素を１単位として、縦横に同構成を配置した配列である。また、二つのＧ画素は斜め方向に配置され、互いに上下又は左右に隣接しない。
【００５４】
図７Ｂは、ベイヤー配列において、Ｇ画素の一つをＷ画素に置き換えた構成例を示す。Ｗ画素は、典型的にはオンチップカラーフィルタを画素上に形成しないことで実現される。
【００５５】
図７Ｃは、ベイヤー配列において、全ての画素が赤外光の波長帯域に感度を有する構成例を示す。典型的には、各画素上のオンチップカラーフィルタを、可視光（赤色光、緑色光又は青色光）の波長帯域の光と、赤外光の波長帯域の光とが透過するように構成する。さらに、赤外光カットフィルタを搭載し、撮影部１１１の前面において、赤外光カットフィルタを撮影部１１１への光路上に配置した状態と配置しない状態とを切り替える。このように制御することにより、各画素について、可視光（赤色光、緑色光又は青色光）による信号取得と、可視光（赤色光、緑色光又は青色光）及び赤外光による信号取得とを切り替えることができる。
【００５６】
図７Ｄは、ベイヤー配列における各画素において、赤外光の波長帯域に感度を有する状態と赤外光の波長帯域に感度を有さない状態とを切り替える構成例を示す。典型的には、画素に印加される電圧を制御することにより状態の切り替えが行われる。
【００５７】
例えば、図６に示す画素において、透明電極２２１と画素電極２２３との間の電位差を切り替えることで、各画素によって取得される光の波長帯域を変更できる。例えば、光電変換層２２２を吸収スペクトルの異なる２種類の材料で構成してもよい。また、透明電極２２１と画素電極２２３との間の電位差が、所定の値よりも大きい場合には画素２０１が赤外光に感度を有し、所定の値よりも小さい場合には画素２０１が赤外光に感度を有さないように構成してもよい。あるいはフォトダイオードを備える画素において、例えば、フォトダイオードの下方に位置するキャリア排出領域へのバイアス電圧を変化させて電荷の捕獲領域を変化させてもよい。これにより、各画素によって取得される光の波長帯域を変更することができる。また、例えば、キャリア排出領域に高いバイアス電圧を印加することにより、画素２０１が可視光にのみ感度を有するようにし、キャリア排出領域に低いバイアス電圧を印加することにより、赤外光にも感度を有するようにすることができる。
【００５８】
具体的には、光電変換部が図６に示す構成を有する場合、透明電極２２１及び画素電極２２３の間の電位差を変化させることで、画素２０１の単位時間当たりの感度を変更することが可能である。例えば透明電極２２１及び画素電極２２３の間の電位差を小さくすることにより、光電変換層２２２において光電変換によって生じた電荷を検出させないようにすることもできる。つまり、画素２０１の感度を実質的にゼロにすることもできる。例えば全画素において透明電極２２１を共通とし、全画素の感度を同時にゼロにすることにより、グローバルシャッタ動作が可能になる。なお、光電変換部がフォトダイオード２１１の場合には、電荷転送トランジスタ及び電荷蓄積容量を設ける構成にすることで、グローバルシャッタ動作が可能になる。撮影部１１１がグローバルシャッタ機能を備えることにより、車両が高速に移動している際も、撮影部１１１はコードを歪まずに撮像することができる。これにより、撮像装置１０１のコードの認識精度を向上させることができる。コードについての詳細は後述する。
【００５９】
再度、図３を参照する。ＩＳＰ１１２は、撮影部１１１から出力されるデータに対して、必要に応じて画像処理を行う。撮影部１１１から出力されるデータは、例えばＲＡＷデータである。画像処理は、例えば圧縮処理あるいは補正処理である。なお、撮影部１１１とＩＳＰ１１２とは同一の１チップに設けられていてもよい。それにより、処理の高速化及び装置の低コスト化を実現できる。ＩＳＰ１１２は、撮影部１１１から出力されたデータをそのまま、あるいは画像処理を行って、画像送信部１１３及び情報取得部１１４に出力する。ＩＳＰ１１２から出力されるデータは、例えば画像処理が施されていないＲＡＷデータであってもよいし、ＲＡＷデータに画像処理が行われた、所定のフォーマットのデータであってもよい。
【００６０】
画像送信部１１３は、ＩＳＰ１１２から出力されたデータを、例えば、ＥＣＵ１０５等の外部装置に出力する。情報取得部１１４は、撮像画像からコード５０を抽出する。コード５０は、情報を一定の規則に従ってコードに変換したものである。また、情報取得部１１４は、抽出したコード５０を復号することで、コード５０を交通情報等の情報に変換する。図８Ａ〜図８Ｄは、コード５０の例を示す図である。例えば、図８Ａ〜図８Ｃに示すように、コード５０は二次元のパターンである。具体的には、コード５０として、図８Ａに示すようなＱＲコード（登録商標）、図８Ｂに示すような任意のパターン、又は、図８Ｃに示すような文字或いは記号を用いることができる。もしくは、コード５０として、図８Ｄに示すような、一次元のパターンであるバーコードが用いられてもよい。
【００６１】
また、情報取得部１１４は、復号化処理として、例えば、ＱＲコード（登録商標）に対するＪＩＳ  Ｘ  ０５１０：２００４記載の復号化処理、又はパターンマッチングによる対応情報の取得を行う。また、コード５０が情報そのものである場合は、情報取得部１１４は、復号化処理として文字認識等を行う。なお、情報取得部１１４はＩＳＰ１１２で実現されてもよい。
【００６２】
抽出された情報は、例えば、後述するＥＣＵ１０５に送られ、車両の速度及び制動の制御に利用されてもよい。又は、抽出された情報は、表示部１０３に送られ、交通情報の運転者への提示、又は表示或いは音による危険の警告等に利用されてもよい。
【００６３】
システムコントローラ１１５は、入力部１２２と、出力部１２１と、プログラムメモリ１２３と、ワーキングメモリ１２５と、制御用マイコン１２６と、を備えている。プログラムメモリ１２３には、プログラム１２４が格納されている。マイコン１２６は、プログラム１２４を、ワーキングメモリ１２５を使いつつ実行することで、例えば、撮像装置１０１の制御部として機能する。なお、システムコントローラ１１５は、ＩＳＰ１１２を制御するだけでなく撮影部１１１を制御してもよい。出力部１２１は、システムコントローラ１１５での制御結果を撮影部１１１に出力する。
【００６４】
表示部１０３はカメラ画像を表示する。ネットワーク通信部１０４はワイヤレスにインターネットに接続する手段である。例えば、ネットワーク通信部１０４は、情報取得部１１４での情報取得処理で必要な情報を、ネットワーク通信部１０４を介してインターネット上から取得する。ＥＣＵ１０５は、エンジン、制動、又は加速など、様々な車体の制御をつかさどるユニットである。
【００６５】
なお、これらの構成要素はそれぞれ独立に構成される必要はなく、統合されていてもよい。
【００６６】
図９は、本実施形態に係る車両走行制御システム１００の機能構成を示すブロック図である。車両走行制御システム１００は、例えば、車両に搭載される。図９に示すように、車両走行制御システム１００は、撮像装置１０１と、車両制御部１３１とを備える。
【００６７】
撮像装置１０１は、撮影部１１１と、画像処理装置１４０とを備える。画像処理装置１４０は、例えば、図３に示すＩＳＰ１１２及び情報取得部１１４により実現される。この画像処理装置１４０は、画像処理部１４２を備える。
【００６８】
なお、画像処理装置１４０は、撮像装置１０１の外部に存在してもよい。例えば、撮像装置１０１は、撮影した画像を、外部にある画像処理装置１４０に送信してもよい。画像処理装置１４０は、受信した画像に対して処理を行ってもよい。
【００６９】
撮影部１１１は、可視光が撮影された画像であって、対象物の像を含む第１画像１６１と、非可視光が撮影された画像であって、対象物の像を含む第２画像１６２とを撮影する。なお、第２画像１６２は、可視光及び非可視光が撮影された画像であってもよい。また、非可視光とは、例えば、赤外光である。また、撮影部１１１で撮影された第１画像１６１及び第２画像１６２は、フレームメモリにそれぞれ格納される。フレームメモリは撮影部１１１又はＩＳＰ１１２に内蔵されていてもよいし、ディスクリートのメモリ素子でもよい。
【００７０】
対象物とは、例えば、コード５０を表示する表示媒体である。コード５０は、例えば、情報に対応付けられている。対象物は、例えば、標識、看板、電光掲示板、又は建造物であってもよい。コード５０は、非可視光で表示される。これにより、対象物は、可視光により観察される外観の視認性又はデザイン性を損なうことなく、情報を表示することができる。具体的には、対象物は、非可視光を発光することでコード５０を表示してもよい。例えば、対象物は、非可視光を発光する光源であってもよい。あるいは、対象物は、非可視光を反射することでコード５０を表示してもよい。例えば、対象物のコード５０を表示している部分において、非可視光に対する反射率を可視光に対する反射率よりも高くしてもよい。本明細書においてコード５０とは、例えば非可視光をより多く発光又は反射する部分とその他の部分とからなるパターンであり、特定の情報に対応付けられたものをいう。
【００７１】
図１において、表示媒体５１は道路標識であり、表示媒体５２は看板であり、表示媒体５３は車両である。図１は、表示媒体５１、表示媒体５２、表示媒体５３を、非可視光成分を撮像できるカメラで撮像した場合の画像の一例を示している。図１では、コード５０以外の背景部分も写っている。これは、日中の屋外においては、太陽光に含まれる非可視光により、人、車両、及び建築物等の一般的な対象物も非可視光を発しているためである。つまり、例え赤外領域に感度を有する撮像装置で撮像したとしても、図１に示すように、コード５０を高コントラストで抽出することが困難な場合がある。本実施形態では、後述する画像処理により、図２に示すようにコード５０を高精度に抽出する。
【００７２】
例えば、撮影部１１１は、可視光に感度を有する複数の第１画素と、非可視光に感度を有する複数の第２画素とを含んでもよい。第１画像１６１は、複数の第１画素により得られる。第２画像１６２は、複数の第２画素により得られる。第１画素とは、例えば、図７Ａ又は図７Ｂに示す、Ｒ画素、Ｇ画素及びＢ画素である。第２画素とは、例えば、図７Ａに示すＩＲ画素、又は、図７Ｂに示すＷ画素である。
【００７３】
あるいは、撮影部１１１は、複数の画素２０１を備え、各画素２０１が可視光に対する感度を有する第１撮影状態と、複数の画素２０１が非可視光に対する感度を有する第２撮影状態とを有してもよい。これにより、第１撮影状態において第１画像１６１が得られる。第２撮影状態において第２画像１６２が得られる。つまり、同一の画素２０１により第１画像１６１と第２画像１６２とが得られる。例えば、図７Ｃ又は図７Ｄに示す構成のように、同一の画素２０１について、可視光の波長帯域に感度を有する状態と、非可視光の波長帯域に感度を有する状態とを切り替えてもよい。これにより、同一の画素２０１により第１画像１６１と第２画像１６２とを得ることができる。
【００７４】
画像処理部１４２は、撮影部１１１から第１画像１６１及び第２画像１６２を取得する。画像処理部１４２は、差分処理部１５１と、抽出部１５２とを備える。
【００７５】
差分処理部１５１は、第１画像１６１と第２画像１６２との差分処理によって対象物の像を含む第３画像１６３を生成する。この差分処理により、コード５０の発光部分の像の信号強度と、コード５０以外の像の信号強度との比が、第２画像１６２よりも大きい第３画像１６３が生成される。これにより、第３画像１６３からコード５０の像を抽出しやすくしている。つまり、第２画像１６２において、コード５０の像の信号強度のうち最も大きいものを第１強度とし、コード５０以外の像の信号強度のうち最も大きいものを第２強度とする。また、第３画像１６３において、コード５０の像の信号強度のうち最も大きいものを第３強度とし、コード５０以外の像の信号強度のうち最も大きいものを第４強度とする。この場合、第４強度に対する第３強度の比は、第２強度に対する第１強度の比よりも大きい。
【００７６】
抽出部１５２は、第３画像１６３からコード５０を抽出する。また、抽出部１５２は、抽出したコード５０に対応付けられている情報１４４を取得する。情報１４４は、例えば交通情報である。交通情報とは、例えば道路標識の内容を示す情報である。具体的には、例えば、接近禁止又は進入禁止を示す情報である。
【００７７】
車両制御部１３１は、情報１４４に基づいて、車両の制動及び加速を制御する。例えば、車両制御部１３１は、図２に示すＥＣＵ１０５により実現される。
【００７８】
なお、本開示は、車両走行制御システム１００として実現できるだけでなく、撮像装置１０１又は画像処理装置１４０として実現されてもよい。
【００７９】
（第２の実施形態）
本実施形態においては、情報１４４は、ユーザに通知される。ユーザは、例えば車両の運転手である。図１０は、本実施形態に係る撮像システム１００Ａのブロック図である。撮像システム１００Ａは、車両制御部１３１の代わりに通知部１３２を備える点で、第１の実施形態の車両走行制御システム１００と異なる。
【００８０】
通知部１３２は、情報１４４をユーザに通知する。例えば、通知部１３２は情報１４４を表示する。又は、通知部１３２は、音声等により情報１４４をユーザに通知してもよい。例えば、通知部１３２は、図３に示す表示部１０３により実現される。なお、情報１４４そのものがユーザに通知されてもよいし、情報１４４に基づく警告等がユーザに通知されてもよい。なお、車両走行制御システム１００がさらに通知部１３２を備えてもよい。
【００８１】
以下、上記のように構成された車両走行制御システム１００の動作を説明する。
【００８２】
以下、図１１に示すフローチャートに基づいて、撮影部１１１による情報取得処理について説明する。本実施形態においては、撮影部１１１は、図７Ａ又は図７Ｂに示す画素構成を備えている。すなわち、撮影部１１１は第１画像１６１と第２画像１６２とを同時に取得可能である。
【００８３】
撮影部１１１は撮像を開始する。撮像は、車両の乗員による手動制御によって開始されてもよい。あるいは、撮像は、車両のエンジンスタート等の起点となる動作に対応して自動的に開始されてもよい。
【００８４】
次に、撮影部１１１は、第１画像１６１及び第２画像１６２を撮影する（Ｓ１０１）。
【００８５】
次に、画像処理部１４２は、撮影部１１１で撮影された第１画像１６１及び第２画像１６２を取得する。差分処理部１５１は第１画像１６１と第２画像１６２との差分処理により第３画像１６３を生成する（Ｓ１０２）。例えば、差分処理部１５１は、Ｒ画素、Ｇ画素及びＢ画素の出力値の合計と、ＩＲ画素又はＷ画素の出力値との差分を演算する。なお、差分処理部１５１は、Ｒ画素、Ｇ画素及びＢ画素のうち予め定められたいずれか１つの出力値と、ＩＲ画素又はＷ画素の出力値との差分を演算してもよい。また、差分処理部１５１は、第１画像１６１及び第２画像１６２の対応する画素同士について差分処理を行う。
【００８６】
次に、抽出部１５２は、得られた第３画像１６３に対して予め定められた閾値で二値化処理を行うことで二値画像を生成する（Ｓ１０３）。閾値は撮影部１１１の特性又は実験結果をもとに予め設定される。
【００８７】
次に、抽出部１５２は、パターンマッチング等既知の手法を用いて、二値画像からコード５０を抽出する（Ｓ１０４）。具体的には、抽出部１５２は、画像内の全てのコード５０を抽出し、抽出したコード５０と、そのコード５０の種類とをメモリに格納する。ここでコード５０の種類とは、バーコード又はＱＲコード（登録商標）等である。
【００８８】
最後に、抽出部１５２は、抽出されたコード５０に対応する情報１４４を取得する（Ｓ１０５）。例えば、抽出部１５２は、コード５０に対応する情報１４４を示すテーブルを保持している。抽出部１５２は、このテーブルを用いて、コード５０に対応する情報１４４を取得する。なお、抽出部１５２は、ネットワーク上のデータと照合することで、コード５０に対応する情報１４４を取得してもよい。又は、情報１４４の取得処理自体がクラウド上で行われてもよい。
【００８９】
なお、コード５０の抽出（Ｓ１０４）では、複数のコード５０が抽出される可能性がある。複数のコード５０が抽出された場合には、抽出部１５２は、複数のコード５０のそれぞれについて情報１４４を取得する。この場合、抽出部１５２は、１つ目のコード５０が抽出された時点で、そのコード５０に対応する情報１４４の取得処理を行うことが可能である。よって、抽出部１５２は、ステップＳ１０４とＳ１０５とを並列に実行してもよい。
【００９０】
図１２は、撮影部１１１の構成が異なる場合の情報取得処理のフローチャートを示す。この場合、撮影部１１１は、図７Ｃ又は図７Ｄに示す構成を有する。すなわち、撮影部１１１は第１画像１６１と第２画像１６２とをこの順に取得する。図１２に示すフローチャートでは、ステップＳ１０１がステップＳ１０１Ａ及びＳ１０１Ｂに置き換えられている点で図９に示すフローチャートと異なる。
【００９１】
撮影部１１１は、第１画像１６１を撮像する（Ｓ１０１Ａ）。その後、撮影状態を切り替え、第２画像１６２を撮像する（Ｓ１０１Ｂ）。例えば、図７Ｃに示す構成では、ステップＳ１０１Ａでは赤外光カットフィルタを撮影部１１１への光路上に配置する。一方、ステップＳ１０１Ｂでは赤外光カットフィルタを撮影部１１１への光路上から除く。このことにより撮影状態の切り替えが行われる。また、図７Ｄに示す構成では、画素２０１への印加電圧を制御することで撮影状態の切り替えが行われる。具体的には、透明電極２２１と画素電極２２３の間の電位差を変更することにより、撮影状態を切り替えることができる。
【００９２】
なお、以降の処理は図１１と同一のため説明を省略する。なお、本例において、第１画像１６１及び第２画像１６２の撮像順は逆でもよい。
【００９３】
本実施形態に示すような差分処理を行うことにより、第２画像１６２の出力値のうち太陽光に含まれる非可視光に起因するものを、第１画像１６１を用いて低減することができる。これにより、コード５０をコード５０以外の部分に比べて高コントラストにできるので、高速かつ高精度にコードを抽出できる。
【００９４】
図１１又は図１２に示す情報取得処理は、車両のエンジンがかかっている間は常に行われてもよい。あるいは、ある一定の間隔で行われてもよい。また、この情報取得処理は、外部情報を起点にして行われてもよい。例えば、車両がスクールゾーン等の特定の地域に入ったことを検知し、それを起点にして情報取得処理が開始されてもよい。また、この情報取得処理は、ギアが変更された等の車両内部の制御情報の変化を起点にして開始されてもよい。
【００９５】
上記した説明では、第１画像１６１及び第２画像１６２の差分処理によって第３画像１６３を生成している。しかし状況によっては、単なる差分処理だけでは正確にコード５０を検出し難い場合があり得る。例えば、第２画像１６２におけるコード５０の発光部分の像の信号強度が、第１画像１６１におけるコード５０の発光部分の像の信号強度よりも小さい場合である。このような場合には、第２画像１６２から第１画像１６１を減算すると、コード５０の発光部分の像の差分の絶対値がコード５０以外の像の差分の絶対値よりも小さくなる場合がある。すなわち、第３画像１６３においてコード５０の像が反転してしまうことが起こり得る。
【００９６】
ここで、第２画像１６２におけるコード５０の発光部分の像の信号強度は、コード５０が非可視光を発光しないと仮定したときのコード５０の発光部分の像の信号強度に、コード５０の発光部分が発光する非可視光に起因する信号強度が加算されたものである。また、コード５０が非可視光を発光しないと仮定したときのコード５０の発光部分の像の信号強度は、コード５０以外の像の信号強度と同等と考えられる。したがって、第２画像１６２におけるコード５０以外の像の信号強度が、第１画像１６１におけるコード５０以外の像の信号強度とほぼ同じかより大きくなるように補正すれば、第２画像１６２におけるコード５０の発光部分の像の信号強度を、第１画像１６１におけるコード５０の発光部分の像の信号強度よりも大きくできる。すなわち、第３画像１６３におけるコード５０の像の反転を抑制できる。
【００９７】
このような補正として、例えば、第１画像１６１及び第２画像１６２においてコード５０以外の任意の領域を設定し、その領域における第２画像１６２の信号強度の最小値が、同じ領域における第１画像１６１の信号強度の最小値よりも大きくなるように補正係数を算出してもよい。あるいは、第１画像１６１を取得する第１画素の分光感度特性と、第２画像１６２を取得する第２画素の分光感度特性とに基づいて、第２画像１６２におけるコード５０以外の像の信号強度が、第１画像１６１におけるコード５０以外の像の信号強度とほぼ等しくなるように補正係数を算出してもよい。また、補正係数の算出において太陽光のスペクトルを考慮してもよい。具体的な実施形態を次に説明する。
【００９８】
（第３の実施形態）
本実施形態では、画像処理装置１４０Ａは、第１画像１６１及び第２画像１６２の対応する画素の出力値が同じ強度の光に対して同一となるように、第１画像１６１及び第２画像１６２の少なくとも一方を補正する。より詳細には、画像処理装置１４０Ａは、第１画像１６１及び第２画像１６２の撮像に用いられた画素の量子効率及び分光感度特性の違いに基づいて補正を行う。これにより、第２画像１６２におけるコード５０の発光部分の像の信号強度が、第１画像１６１におけるコード５０の発光部分の像の信号強度よりも大きくなるように補正することができる。
【００９９】
図１３は、本実施形態に係る画像処理装置１４０Ａの構成を示すブロック図である。画像処理装置１４０Ａは、画像処理部１４２Ａが補正部１５３を備える点で画像処理装置１４０と異なる。
【０１００】
以下、画像処理装置１４０Ａを用いた情報取得処理を図１４に示すフローチャートを用いて説明する。なお、撮影部１１１は、図７Ａ又は図７Ｂに示す画素構成を有する。すなわち、撮影部１１１は、第１画像１６１と第２画像１６２とを同時に取得する。図１４に示す処理は、図１１に示す処理に対して、ステップＳ１０６が追加されている点が異なる。
【０１０１】
ステップＳ１０６では、補正部１５３は、コード５０以外の領域において、第１画像１６１及び第２画像１６２の対応する画素の出力値の差が小さくなるように、第１画像１６１及び第２画像１６２に補正係数を乗算する。すなわち、補正部１５３は、第１画像１６１に第１補正係数を乗算することで補正後の第１画像１６１Ａを生成する。また、補正部１５３は、第２画像１６２に第２補正係数を乗算することで補正後の第２画像１６２Ａを生成する。なお、補正部１５３は、第１画像１６１及び第２画像１６２のいずれか一方のみに補正係数を乗算してもよい。
【０１０２】
次に、差分処理部１５１は、補正後の第１画像１６１Ａと補正後の第２画像１６２Ａとの差分処理により第３画像１６３を生成する（Ｓ１０２）。なお、以降の処理は図１１と同様であり、説明は省略する。
【０１０３】
第１補正係数及び第２補正係数、又は補正係数は、第１画像１６１の撮像に用いられた画素２０１の第１分光感度特性と、第２画像１６２の撮像に用いられた画素２０１の第２分光感度特性とに基づき算出される。
【０１０４】
図１５Ａは、Ｒ画素、Ｇ画素及びＢ画素の分光感度特性の一例を示す図である。図１５Ｂは、ＩＲ画素の分光感度特性の一例を示す図である。例えば、補正係数は、Ｒ画素、Ｇ画素及びＢ画素の分光感度特性のグラフの積分値の合計と、ＩＲ画素の分光感度特性のグラフの積分値とが同じになるように予め設定されている。本例においては、Ｒ画素のグラフの積分値が４．１であり、Ｇ画素のグラフの積分値が４．３であり、Ｂ画素のグラフの積分値が２．６であり、ＩＲ画素のグラフの積分値が５．４である。よって、例えば第１画像１６１のみに補正係数を乗算する場合には、補正係数として５．４／（４．１＋４．３＋２．６）＝０．４９を用いることで、Ｒ画素、Ｇ画素及びＢ画素の各出力値の合計とＩＲ画素の出力値とが同等になるように補正できる。
【０１０５】
また、第２画像１６２のみに補正係数を乗算する場合には、補正係数は、本例の数値の逆数となる。すなわち、補正係数として１／０．４９＝２．０４を用いる。また、第１画像１６１及び第２画像１６２の両方を補正する場合には、第１画像１６１に乗算される第１補正係数と、第２画像１６２に乗算される第２補正係数との比が、第２画像１６２の出力値と第１画像１６１の出力値との比と同じになるように設定される。
【０１０６】
なお、図７Ｂに示すように、ＩＲ画素の代わりにＷ画素が用いられる場合も同様である。なお、各画素の分光感度特性は予め設定されていてもよく、補正係数はシステム開発時に予め設定されていてもよい。
【０１０７】
図１６は、撮影部１１１の構成が異なる場合の情報取得処理のフローチャートを示す。この場合、撮影部１１１は、図７Ｃ又は図７Ｄに示す画素構成を有する。すなわち、撮影部１１１は第１画像１６１と第２画像１６２とをこの順に取得する。図１６に示すフローチャートは、ステップＳ１０１がステップＳ１０１Ａ及びステップＳ１０１Ｂに置き換えられている点で、図１４に示すフローチャートと異なる。
【０１０８】
図１７Ａ及び図１７Ｂを用いて、Ｇ＋ＩＲ画素の分光感度特性について説明する。Ｇ＋ＩＲ画素は、緑色光の波長帯域及び赤外光の波長帯域に感度を有し得る。図１７Ａは、Ｇ＋ＩＲ画素を緑色光の波長帯域に感度を有するように設定した場合の分光感度特性の一例を示す図である。以下、図１７ＡをＧ状態のグラフと呼ぶ。図１７Ｂは、Ｇ＋ＩＲ画素を緑色光の波長帯域及び赤外光の波長帯域に感度を有するように設定した場合の分光感度特性の一例を示す図である。以下、図１７ＢをＧ＋ＩＲ状態のグラフと呼ぶ。例えば、補正係数は、Ｇ状態のグラフの積分値と、Ｇ＋ＩＲ状態のグラフの積分値とが同じになるように予め設定されている。本例においては、Ｇ状態のグラフの積分値が４．３であり、Ｇ＋ＩＲ状態のグラフの積分値が９．７である。よって、第１画像１６１のみに補正係数を乗算する場合には、補正係数として９．７／４．３＝２．２５を用いることで、第１画像１６１の取得時のＧ画素の出力値と、第２画像１６２の取得時のＧ＋ＩＲ画素の出力値とが同等になるように補正できる。
【０１０９】
また、第２画像１６２のみに補正係数を乗算する場合には、補正係数は、本例の数値の逆数となる。すなわち、補正係数として１／２．２５＝０．４４を用いる。また、第１画像１６１及び第２画像１６２の両方を補正する場合には、第１画像１６１に乗算される第１補正係数と、第２画像１６２に乗算される第２補正係数との比が第２画像１６２の出力値と第１画像１６１の出力値との比と同じになるように設定される。
【０１１０】
このように、第１画像１６１及び第２画像１６２の対応する画素の感度が同一となるように、補正部１５３が補正を行う。これにより、コード５０の背景の出力値をさらに低減できる。従って、抽出部１５２は、コード５０のみを精度よく抽出できる。
【０１１１】
（第４の実施形態）
本実施形態では、第３の実施形態の変形例について説明する。本実施形態では、さらに太陽光のスペクトルを補正係数の算出に用いる。より詳細には、第１画像１６１の撮像に用いられた画素の分光感度特性と第２画像１６２の撮像に用いられた画素の分光感度特性に対して、太陽光のスペクトルを掛け合わせたものを補正係数として使用する。これにより、第２画像１６２におけるコード５０の発光部分の像の信号強度が、第１画像１６１におけるコード５０の発光部分の像の信号強度よりも大きくなるように、より精度よく補正できる。
【０１１２】
図１８は、太陽光のスペクトルを示す図である。このように太陽光は５００ｎｍ付近を最大値とし、長波長側に緩やかに強度が低下するスペクトルを持つ。そのため、この太陽光のスペクトルの影響を考慮した補正係数を導入することで、より精度よく太陽光の影響を除去することが可能となる。太陽光入射時の撮影部１１１の出力値は、太陽光のスペクトルと撮影部１１１の分光感度特性との各波長での掛け合わせで得られる。つまり、本実施形態では、補正係数、又は第１補正係数及び第２補正係数は、第１画像１６１が得られた際の画素２０１の第１分光感度特性に太陽光スペクトルを乗算することで得られた第１特性と、第２画像１６２が得られた際の画素２０１の第２分光感度特性に太陽光スペクトルを乗算することで得られた第２特性と、に基づき算出される。
【０１１３】
図１９Ａは、図１８に示す太陽光のスペクトルと図１５Ａに示すＲ画素、Ｇ画素及びＢ画素の各分光感度特性との乗算結果を示すグラフである。図１９Ｂは、図１８に示す太陽光のスペクトルと図１５Ｂに示すＩＲ画素の分光感度特性との乗算結果を示すグラフである。第３の実施形態と同様に、例えば、図１９Ａに示すグラフの積分値の合計と、図１９Ｂに示すグラフの積分値とが同じになるように補正係数が設定される。本例においては、図１９Ａに示す、Ｒ画素に対応するグラフの積分値が３．４であり、Ｇ画素に対応するグラフの積分値が３．９であり、Ｂ画素に対応するグラフの積分値が２．０である。また、図１９Ｂに示すＩＲ画素に対応するグラフの積分値が３．２である。よって、第１画像１６１のみを補正する場合には、補正係数として３．２／（３．４＋３．９＋２．０）＝０．３４を用いることで、Ｒ画素とＧ画素とＢ画素との出力の合計とＩＲ画素の出力とを同等にできる。なお、図７ＢのようにＩＲ画素の代わりにＷ画素が用いられる場合も同様である。
【０１１４】
また、第２画像１６２のみを補正する場合には、補正係数は、本例の数値の逆数となる。また、第１画像１６１及び第２画像１６２の両方を補正する場合には、第１画像１６１に乗算される第１補正係数と、第２画像１６２に乗算される第２補正係数との比が第２画像１６２の出力と第１画像１６１の出力との比と同じになるように設定される。
【０１１５】
このように、太陽光のスペクトルを考慮して、第１画像１６１及び第２画像１６２の対応する画素の出力値が同一となるように、補正部１５３が補正を行う。これにより、コード５０の背景部分の出力値をさらに低減できる。従って、抽出部１５２は、コード５０のみを精度よく抽出できる。
【０１１６】
（第５の実施形態）
図２０は、本実施形態に係る画像処理装置１４０Ｂの構成を示すブロック図である。図２０に示す画像処理装置１４０Ｂは、昼夜判断部１４３を備える点で画像処理装置１４０と異なる。
【０１１７】
図２１は、本実施形態に係る情報取得処理のフローチャートである。図２１に示す処理は、ステップＳ１１１〜Ｓ１１３が追加されている点で図１１に示す処理と異なる。
【０１１８】
まず、昼夜判断部１４３は、現在が昼間であるか夜間であるかを判定する（Ｓ１１１）。例えば、昼夜判断部１４３は、車両に設けられた照度センサの検知結果に基づき、現在が昼間であるか夜間であるかを判定する。又は、昼夜判断部１４３は、現在の時刻に基づき、現在が昼間であるか夜間であるかを判定してもよい。
【０１１９】
現在が昼間である場合（Ｓ１１１でＹｅｓ）、図１１に示す処理と同様に、ステップＳ１０１以降の処理が行われる。つまり、差分処理部１５１により第３画像１６３が生成され、抽出部１５２は、第３画像１６３からコード５０を抽出する。
【０１２０】
一方、現在が夜間である場合（Ｓ１１１でＮｏ）、画像処理装置１４０Ｂは、第３画像１６３の生成は行わず、第２画像１６２からコード５０を抽出する。具体的には、撮影部１１１は第２画像１６２を撮影し、画像処理部１４２は、撮影された第２画像１６２を取得する（Ｓ１１２）。次に、抽出部１５２は、第２画像１６２に対して予め定められた閾値で二値化処理を行うことで二値画像を生成する（Ｓ１１３）。次に、抽出部１５２は、二値画像からコード５０を抽出する（Ｓ１０４）。そして、抽出部１５２は、抽出されたコード５０に対応する情報１４４を取得する（Ｓ１０５）。
【０１２１】
夜間においては、非可視光成分の大きな発生源である太陽の影響が小さい。そのため、差分処理を行わなくとも、比較的高い精度でコードを抽出することができる。画像処理装置１４０Ｂは、夜間においては差分処理を行わないことにより、処理量を低減し、高速にコードを抽出することができる。
【０１２２】
なお、ここでは、第１画像１６１と第２画像１６２とを同時に取得する場合の例を説明したが、第１画像１６１と第２画像１６２とを、順次に取得する場合も同様である。また、ここでは、第１の実施形態の構成をベースに説明を行ったが、第２の実施形態、第３の実施形態又は第４の実施形態の構成に対しても同様の変形例を適用できる。
【０１２３】
また、上記第１〜第５の実施形態において、撮像装置１０１はグローバルシャッタ機能を有してもよい。つまり、撮影部１１１は、複数の第１画素と複数の第２画素を用いて、１フレーム期間内の単一の露光期間において第１画像１６１及び第２画像１６２を撮影する。上記露光期間において、複数の第１画素と複数の第２画素との露光の開始及び終了のタイミングは同一である。
【０１２４】
図２２Ａは、ローリングシャッタ動作により得られた画像におけるコード５０の像一例を示す図である。図２２Ｂは、グローバルシャッタ動作により得られた画像におけるコード５０の像の一例を示す図である。図２２Ａ及び図２２Ｂに示すように、グローバルシャッタ動作により、コード５０の像の歪みを低減できる。例えば、車両が高速に移動している際も、撮影部１１１は、コード５０の像を歪まさずに撮像することができる。よって、コード５０の認識精度を向上できる。
【０１２５】
また、上記第１〜第５の実施形態において、画像処理部１４２は、複数のフレーム期間のうちの一部のフレーム期間に対してのみコードを抽出するようにしてもよい。すなわち、撮像装置１０１は複数のフレーム期間のそれぞれにおいて第１画像１６１及び第２画像１６２を取得し、画像処理部１４２は、そのうちのある一部のフレーム期間に対してのみ前記コードを抽出するようにしてもよい。
【０１２６】
以上、それぞれの実施形態により、図２に示すようなコード５０を高精度に抽出することが可能になる。
【０１２７】
以上、実施形態に係るシステム及び装置について説明したが、本開示は、この実施の形態に限定されるものではない。
【０１２８】
例えば、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。
【０１２９】
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
【０１３０】
また、上記実施形態に係る各装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
【０１３１】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１３２】
また、上記各実施の形態において、各構成要素の一部は、当該構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【０１３３】
以上、一つ又は複数の態様に係るシステム及び装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つ又は複数の態様の範囲内に含まれてもよい。
【０１３４】
本開示は、種々の撮像装置として有用である。また、本開示は、デジタルカメラ、デジタルビデオカメラ、カメラ付携帯電話、電子内視鏡などの医療用カメラ、車載カメラ、及びロボット用カメラ等の用途にも応用できる。
【符号の説明】
【０１３５】
５０  コード
５１、５２、５３  表示媒体
１００  車両走行制御システム
１００Ａ  撮像システム
１０１  撮像装置
１０２  光学系
１０３  表示部
１０４  ネットワーク通信部
１０５  電子制御ユニット（ＥＣＵ）
１１１  撮影部
１１２  ＩＳＰ
１１３  画像送信部
１１４  情報取得部
１１５  システムコントローラ
１２１  出力部
１２２  入力部
１２３  プログラムメモリ
１２４  プログラム
１２５  ワーキングメモリ
１２６  マイコン
１３１  車両制御部
１３２  通知部
１４０、１４０Ａ、１４０Ｂ  画像処理装置
１４２、１４２Ａ  画像処理部
１４３  昼夜判断部
１４４  情報
１５１  差分処理部
１５２  抽出部
１５３  補正部
１６１、１６１Ａ  第１画像
１６２、１６２Ａ  第２画像
１６３  第３画像
２０１、２０１Ａ、２０１Ｂ  画素
２０２  行走査回路
２０３  列走査回路
２０４  電流源
２０５  ＡＤ変換回路
２０６  電源線
２０７  水平信号線
２０８  垂直信号線
２０９  出力信号線
２１０  光電変換部
２１１  フォトダイオード
２２１  透明電極
２２２  光電変換層
２２３  画素電極
２２４  コンタクトプラグ
２２５  電荷蓄積部
２２６  半導体基板
Ｍ１  増幅トランジスタ
Ｍ２  選択トランジスタ
Ｍ３  リセットトランジスタ
【図１】
2018201196.tif 000003
【図２】
2018201196.tif 000004
【図３】
2018201196.tif 000005
【図４】
2018201196.tif 000006
【図５Ａ】
2018201196.tif 000007
【図５Ｂ】
2018201196.tif 000008
【図６】
2018201196.tif 000009
【図７Ａ】
2018201196.tif 000010
【図７Ｂ】
2018201196.tif 000011
【図７Ｃ】
2018201196.tif 000012
【図７Ｄ】
2018201196.tif 000013
【図８Ａ】
2018201196.tif 000014
【図８Ｂ】
2018201196.tif 000015
【図８Ｃ】
2018201196.tif 000016
【図８Ｄ】
2018201196.tif 000017
【図９】
2018201196.tif 000018
【図１０】
2018201196.tif 000019
【図１１】
2018201196.tif 000020
【図１２】
2018201196.tif 000021
【図１３】
2018201196.tif 000022
【図１４】
2018201196.tif 000023
【図１５Ａ】
2018201196.tif 000024
【図１５Ｂ】
2018201196.tif 000025
【図１６】
2018201196.tif 000026
【図１７Ａ】
2018201196.tif 000027
【図１７Ｂ】
2018201196.tif 000028
【図１８】
2018201196.tif 000029
【図１９Ａ】
2018201196.tif 000030
【図１９Ｂ】
2018201196.tif 000031
【図２０】
2018201196.tif 000032
【図２１】
2018201196.tif 000033
【図２２Ａ】
2018201196.tif 000034
【図２２Ｂ】
2018201196.tif 000035