(57)【要約】  撮像装置（３）は、撮像素子（７）と、制御部（９）と、を備える。制御部（９）は、赤外光線が所定値の光量より高いときに撮像素子７が生成した赤外光線画像を取得する。制御部（９）は、赤外光線が所定値の光量より低いときに撮像素子（７）が生成した通常画像を取得する。制御部（９）は、赤外光線画像と通常画像とに基づいて合成画像を生成する。これにより、暗い環境でも、複数の赤外光源を備えることなく、輝度のコントラストが高く、かつ色を含む画像を生成することができる。
2018079372.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子と、
赤外光線が所定値の光量より高いときに前記撮像素子が生成した赤外光線画像と、前記赤外光線が前記所定値の光量より低いときに前記撮像素子が生成した通常画像とを取得し、前記赤外光線画像と前記通常画像とに基づいて合成画像を生成する制御部と、
を備える撮像装置。
【請求項２】
前記制御部は、赤外光源における赤外光線の点灯状態を示す点灯状態信号を受信し、当該点灯状態信号に基づいて、前記赤外光線が前記所定値の光量より高いときに前記赤外光線画像を取得し、前記赤外光線が前記所定値の光量より低いときに前記通常画像を取得する請求項１に記載の撮像装置。
【請求項３】
前記制御部は、第１の期間に赤外光源が赤外光線を前記所定値の光量より高くし、前記第１の期間とは異なる第２の期間に前記赤外光源が赤外光線を前記所定値の光量より低くするよう前記赤外光源を制御する請求項１に記載の撮像装置。
【請求項４】
前記制御部は、前記赤外光線画像の輝度信号と、前記通常画像の色差信号とに基づいて前記合成画像を生成する請求項１から３のいずれか一項に記載の撮像装置。
【請求項５】
前記制御部は、前記色差信号のゲインを補正して補正色差信号を生成し、前記補正色差信号と前記輝度信号とに基づいて前記合成画像を生成する請求項４に記載の撮像装置。
【請求項６】
前記制御部は、前記輝度信号の強度及び前記色差信号の強度に基づいて前記色差信号のゲインを補正する請求項５に記載の撮像装置。
【請求項７】
前記制御部は、前記色差信号のいずれか１つ以上の強度に基づく値と前記輝度信号の強度との差又は比が所定の範囲内となるように前記色差信号のゲインを補正する請求項６に記載の撮像装置。
【請求項８】
赤外光線を出射する赤外光源と、
撮像素子と、
前記赤外光線が所定値の光量より高いときに前記撮像素子が生成した赤外光線画像と、前記赤外光線が前記所定値の光量より低いときに前記撮像素子が生成した通常画像とを取得し、前記赤外光線画像と前記通常画像とに基づいて合成画像を生成する制御部と、
を含む撮像装置と、
を備える撮像システム。
【請求項９】
前記撮像装置が撮像する範囲に白色光を出射する白色光源をさらに備え、
前記白色光源は、前記赤外光源が前記所定値の光量より高いときに前記白色光を消灯し、前記赤外光源が前記所定値の光量より低いときに前記白色光を点灯する請求項８に記載の撮像システム。
【請求項１０】
前記撮像装置が撮像する範囲に白色光を出射する白色光源をさらに備え、
前記白色光源は、常時、前記白色光を出射する請求項８に記載の撮像システム。
【請求項１１】
赤外光線を出射する赤外光源と、撮像素子と、前記赤外光線が所定値の光量より高いときに前記撮像素子が生成した赤外光線画像と、前記赤外光線が前記所定値の光量より低いときに前記撮像素子が生成した通常画像とを取得し、前記赤外光線画像と前記通常画像とに基づいて合成画像を生成する制御部と、を有する撮像装置と、を含む撮像システム
を備える移動体。
【請求項１２】
前記赤外光源は、第１の照射範囲と、当該第１の照射範囲より鉛直上方を含む第２の照射範囲との照射を切り替え可能な白色光源の前記第２の照射範囲を照射する請求項１１に記載の移動体。
【請求項１３】
撮像装置の撮像方法であって、
前記撮像装置が、赤外光線が所定値の光量より高いときに撮像素子が生成した赤外光線画像を取得し、前記赤外光線が前記所定値の光量より低いときに前記撮像素子が生成した通常画像を取得し、前記赤外光線画像と前記通常画像とに基づいて合成画像を生成する撮像方法。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本出願は、２０１６年１０月２８日出願の日本国特許出願２０１６−２１２３２５の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
【技術分野】
【０００２】
本開示は、撮像装置、撮像システム、移動体、及び撮像方法に関する。
【背景技術】
【０００３】
従来、夜間等の暗い環境において撮像する場合、撮像画像において被写体をよりよく識別するために、赤外光線を被写体に対して照射して被写体を撮像することが知られている。しかし、赤外光線を照射した被写体を撮像すると、明るい環境であれば人間の目に見える該被写体の色を撮像画像において十分に再現することができない。【０００４】
そこで、可視光が少ない環境で被写体の色を再現するための撮像装置が、例えば、特許文献１に記載されている。特許文献１に記載の撮像装置は、赤、青、緑の各色にそれぞれ対応付けられた異なる波長を有する赤外光を順次、点灯する。該撮像装置は、それぞれの赤外光が点灯されている間に撮像された画像に基づいて合成画像を生成する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−１４９５８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の従来技術においては、異なる波長を有する赤外光を点灯させるための複数の赤外光源を備えることが必要となる。このため、撮像装置の大型化するという課題がある。【０００７】
本開示は、簡便な構成で、暗い環境でも輝度のコントラストが高く、かつ色を含む画像を生成することができる撮像システム、移動体、及び撮像方法を提供する。
【課題を解決するための手段】
【０００８】
本開示の撮像装置は、撮像素子と、制御部と、を備える。前記制御部は、赤外光線が所定値の光量より高いときに前記撮像素子が生成した赤外光線画像を取得する。前記制御部は、前記赤外光線が所定値の光量より低いときに前記撮像素子が生成した通常画像を取得する。前記制御部は、前記赤外光線画像と前記通常画像とに基づいて合成画像を生成する。【０００９】
本開示の撮像システムは、赤外光源と、撮像装置とを備える。前記赤外光源は、赤外光線を出射する。前記撮像装置は、撮像素子と、制御部とを含む。前記制御部は、前記赤外光線が所定値の光量より高いときに前記撮像素子が生成した赤外光線画像を取得する。前記制御部は、前記赤外光線が所定値の光量より低いときに前記撮像素子が生成した通常画像を取得する。前記制御部は、前記赤外光線画像と前記通常画像とに基づいて合成画像を生成する。【００１０】
本開示の移動体は、撮像システムを備える。前記撮像システムは、赤外光源と、撮像装置とを含む。前記赤外光源は、赤外光線を出射する。前記撮像装置は、撮像素子と、制御部とを有する。前記制御部は、前記赤外光線が所定値の光量より高いときに前記撮像素子が生成した赤外光線画像を取得する。前記制御部は、前記赤外光線が所定値の光量より低いに前記撮像素子が生成した通常画像を取得する。前記制御部は、前記赤外光線画像と前記通常画像とに基づいて合成画像を生成する。【００１１】
本開示の撮像方法は、撮像装置の撮像方法である。前記撮像装置が、赤外光線が所定値の光量より高いときに撮像素子が撮像した赤外光線画像を取得する。前記撮像装置が、前記赤外光線が所定値の光量より低いときに前記撮像素子が撮像した通常画像を取得する。前記撮像装置が、前記赤外光線画像と前記通常画像とに基づいて合成画像を生成する。
【発明の効果】
【００１２】
本開示の一実施形態によれば、簡便な構成で、暗い環境でも輝度のコントラストが高く、かつ色を含む画像を生成することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本実施形態に係る撮像システムを搭載した移動体の例を示す図である。
【図２】本実施形態に係る撮像システムの概略構成を示す機能ブロック図である。
【図３】本実施形態に係る赤外光源、白色光源、及び撮像装置の動作のタイミングの一例を示すタイミングチャートである。
【図４】本実施形態に係る撮像装置の処理フローを示すフロー図である。
【図５】本実施形態に係るゲイン補正の詳細な処理フローを示すフロー図である。
【図６】他の例に係る撮像システムの赤外光源、白色光源、及び撮像装置の動作のタイミングの他の例を示すタイミングチャートである。
【発明を実施するための形態】
【００１４】
以下、本開示の本実施形態について、図面を参照して説明する。
【００１５】
図１に示すように、本実施形態に係る撮像装置３を含む撮像システム１は、移動体２に取り付けることができる。撮像装置３は、移動体２からみて所定の方向を撮像するように配置される。赤外光源４及び白色光源５は、撮像装置３の撮像範囲にそれぞれ赤外光及び白色光を照射可能に取り付けられる。
【００１６】
本開示における「移動体」は、車両、船舶、航空機を含む。本開示における「車両」は、自動車、鉄道車両、産業車両、及び生活車両を含むが、これに限られない。例えば車両は、滑走路を走行する飛行機を含んでよい。自動車は、乗用車、トラック、バス、二輪車、及びトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。軌道車両は、機関車、貨車、客車、路面電車、案内軌道鉄道、ロープウエー、ケーブルカー、リニアモーターカー、及びモノレールを含むがこれに限られない。軌道車両は、軌道に沿って進む他の車両を含んでよい。産業車両は、農業及び建設向けの産業車両を含む。産業車両は、フォークリフト、及びゴルフカートを含むがこれに限られない。農業向けの産業車両は、トラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機を含むが、これに限られない。建設向けの産業車両は、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラを含むが、これに限られない。生活車両は、自転車、車いす、乳母車、手押し車、及び電動立ち乗り二輪車を含むが、これに限られない。車両の動力機関は、ディーゼル機関、ガソリン機関、及び水素機関を含む内燃機関、並びにモーターを含む電気機関を含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。
【００１７】
図２に示すように、撮像システム１は、撮像装置３と、赤外光源４と、白色光源５と、を備える。
【００１８】
撮像装置３は、光学系６と、撮像素子７と、通信部８と、制御部９と、メモリ１０とを有する。
【００１９】
光学系６は、所望の光学特性に合わせてレンズ、絞り等少なくとも１つの光学素子を有する。光学系６は焦点距離及び焦点深度等の所望の光学特性を満たすように設計されている。光学系６は、被写体の像を撮像素子７に結像させる。
【００２０】
撮像素子７は、該撮像素子７の受光面が光学系６の光軸に垂直となるように配置される。また、撮像素子７は、光学系６の光軸と受光面の略中心で交差するように配置される。
【００２１】
撮像素子７は、光学系６を介して受光面上に結像される被写体の像を撮像して撮像画像に対応する画像信号を出力する。撮像素子７としては、例えばＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等を用いることができる。
【００２２】
撮像素子７は、少なくとも可視光及び近赤外光に対して感度を有し、受光面に受光した可視光及び近赤外光を画像信号に変換する。撮像素子７が近赤外光の波長より長い波長の赤外光に対して感度を有する場合、撮像素子７の被写体側に近赤外光の波長より長い波長の赤外光を吸収又は反射するフィルタが配置されてもよい。
【００２３】
通信部８は、制御部９によって出力される制御信号を赤外光源４に送信する。制御信号は、赤外光線が所定値の光量より高くなるように、又は低くなるように赤外光源４を制御するための信号である。赤外光線の点灯により、赤外光線は所定値の光量より高くなる。また、赤外光線の消灯により、赤外光線は所定値の光量より低くなる。
【００２４】
また、通信部８は、撮像装置３の外部に画像信号を送信することが可能である。これにより、通信部８は、制御部９によって生成された合成画像を撮像装置３の外部に送信することができる。合成画像は、撮像装置３の外部の、例えば、移動体２に搭載されている表示装置１１、移動体２のＥＣＵ（Electric Control Unit）１２、または無線通信ネットワークを介して接続される移動体２の外部の装置等に送信される。
【００２５】
制御部９は、撮像素子７が撮像した画像を取得して処理する、例えばＩＳＰ（Image Signal Processor）である。
【００２６】
メモリ１０は、制御部９が撮像素子７から取得した画像を記憶する。また、メモリ１０は、制御部９が処理した画像を記憶する。
【００２７】
赤外光源４は、赤外光線を出射する。赤外光源４の照射範囲は、後述する白色光源５の照射範囲の一部である。赤外光源４は、通信部１３と、制御部１４と、発光素子１７とを含んで構成される。
【００２８】
通信部１３は、外部の装置と信号を送受信する。また、制御部１４は、発光素子１７を制御して赤外光線が点灯したり、消灯したりするよう制御する。発光素子１７は、制御部１４の制御に基づいて、赤外光線を点灯させたり消灯させたりする。発光素子１７は、撮像素子７の撮像範囲の少なくとも一部に赤外光を照射可能なように、移動体２に取付けられる。
【００２９】
白色光源５は、白色光を出射する。白色光源５は、通信部１５と、制御部１６と、発光素子１８とを含んで構成される。
【００３０】
通信部１５は、外部の装置と信号を送信する。また、制御部１６は、白色光が点灯したり、消灯したりするよう発光素子１８を制御する。
【００３１】
発光素子１８は、制御部１６の制御に基づいて、白色光を点灯させたり消灯させたりする。発光素子１７は、撮像素子７の撮像範囲の少なくとも一部に白色光を照射可能なように、移動体２に取付けられる。
【００３２】
白色光源５は、移動体２に取り付けられる。白色光源５は、いわゆるヘッドライトとされうる。白色光源５は、白色光を照射する２つの照射範囲を切り替えることができる。２つの照射範囲は、少なくとも路面の鉛直方向に異なる。鉛直下方の照射範囲が「第１の照射範囲」に、鉛直上方の照射範囲が第１の照射範囲より鉛直上方の範囲を含む「第２の照射範囲」に対応する。白色光源５が鉛直下方の照射範囲を照射している場合、白色光源５から照射される白色光は、いわゆるロービームである。白色光源５が鉛直上方の照射範囲を照射している場合、白色光源５から照射される白色光はいわゆるハイビームである。
【００３３】
ここで、撮像装置３について詳細に説明する。
【００３４】
撮像素子７は、赤外光源４が赤外光線を照射可能で、白色光源５が白色光を照射可能な方向の被写体を撮像して画像を生成する。
【００３５】
制御部９は、フレーム撮像時間ごとに撮像素子７に撮像を実行させる。これにより、撮像素子７は、予め設定されたフレームレートに応じたフレーム撮像時間に被写体を撮像して１フレームの画像を生成する。
【００３６】
また、制御部９は、フレーム撮像時間に同期した制御信号を、通信部８を介して赤外光源４に送信する。具体的には、図３に示すように、制御部９は、期間Ｐ1に赤外光源４に赤外光線を照射させるよう、制御信号を送信する。また、制御部９は、期間Ｐ1に撮像素子７に画像を生成させる。また、制御部９は、期間Ｐ1に対応するフレーム撮像時間の次のフレーム撮像時間（期間Ｐ2）に赤外光源４に赤外光線の照射を停止させるよう、制御信号を送信する。期間Ｐ1が「第１の期間」に、期間Ｐ2が「第２の期間」に対応する。同じく、制御部９は、さらに次のフレーム撮像時間（期間Ｐ1）に赤外光源４に赤外光線を照射させるよう、制御信号を送信する。このように、制御部９は、期間Ｐ1と期間Ｐ2のフレーム撮像時間が交互に繰り返されるのに対応して、赤外光線に点灯及び消灯を繰り返させるための制御信号を赤外光源４に繰り返し送信する。赤外光源４の通信部１３は、撮像装置３から送信された制御信号を受信する。赤外光源４の制御部１４は、通信部１３が受信した制御信号に基づいて、赤外光線を点灯させたり、消灯させたりする。
【００３７】
これにより、赤外光線は、撮像装置３のフレームレートに応じたフレーム撮像時間と同期して点灯及び消灯を繰り返す。具体的には、赤外光線は一のフレーム撮像時間に点灯し、次のフレーム撮像時間に消灯する。そして、このような赤外光線の点灯と消灯が繰り返し実行される。
【００３８】
また、制御部９は、本実施形態に係る撮像処理の間、常時、白色光を点灯させるための制御信号を、通信部８を介して白色光源５に送信する。白色光源５の通信部１５は、撮像装置３から送信された制御信号を受信する。白色光源５の制御部１６は、通信部１５が受信した制御信号に基づいて、白色光を点灯させる。これにより、図３に示すように、白色光は常時、点灯する。
【００３９】
制御部９は、赤外光線が点灯または消灯しているときに撮像素子７が撮像した画像を取得する。赤外光線が点灯しているときの画像が「赤外光線画像」、赤外光線が消灯しているときの画像が「通常画像」に対応する。
【００４０】
制御部９は、撮像素子７から取得した赤外光線画像と通常画像とに基づいて合成画像を生成する。具体的には、制御部９は、赤外光線画像を構成する各画素の画素信号から輝度信号Ｙの強度を算出する。また、制御部９は、通常画像を構成する各画素の画素信号から色差信号Ｃｂ及びＣｒの強度を算出する。そして、制御部９は、それぞれ算出した各画素の輝度信号Ｙ、並びに対応する各画素の色差信号Ｃｂ及びＣｒを用いて、色信号を生成する。
【００４１】
制御部９は、合成画像を生成するにあたって、色差信号Ｃｂ及びＣｒに対してゲイン補正を行ってもよい。具体的には、制御部９は、輝度信号Ｙの強度並びに色差信号Ｃｂ及びＣｒの強度に基づいてゲイン補正を行う。例えば、制御部９は、赤外光線画像を構成する全ての画素の輝度信号Ｙの強度に基づく値を算出する。全ての画素の輝度信号Ｙの強度に基づく値は、例えば、輝度信号Ｙの代表値Ｙｒ（平均値、中央値、最大値等の統計値）である。また、制御部９は、通常画像を構成する全ての画素の色差信号Ｃｂ及びＣｒに基づく値を算出する。全ての画素の色差信号Ｃｂ及びＣｒに基づく値は、例えば、色差信号Ｃｂ及びＣｒそれぞれの強度の代表値Ｃｂｒ及びＣｒr（平均値、中央値、最大値等の統計値）である。
【００４２】
この場合、制御部９は、代表値Ｃｂr及びＣｒrの平均値と、代表値Ｙrとの差又は比が所定の範囲内となるように各画素の色差信号Ｃｂ及びＣｒに乗じるゲインを算出する。また、制御部９は、算出したゲインを各画素の色差信号Ｃｂ及びＣｒに乗じる。制御部９は、各画素の輝度信号Ｙ、並びに対応する各画素の補正色差信号Ｃｂ１及びＣｒ１とによって色信号を生成する。
【００４３】
制御部９は、赤外光線画像及び通常画像を構成する全ての画素に基づいて代表値Ｙｒ、Ｃｂr、及びＣｒrを算出したが、赤外光線画像及び通常画像の一部を構成する画素に基づいて代表値Ｙr、Ｃｂr、及びＣｒrを算出してもよい。
【００４４】
続いて、本実施形態の撮像装置３の撮像方法について、図４を参照して説明する。撮像装置３は、白色光源５が白色光の照射を開始したときに、処理を開始する。白色光源５は、撮像システム１の利用者による動作開始の指示を受けたときに白色光の照射を開始する。また、白色光源５は、光量センサによって環境が暗くなったことを検知したＥＣＵからの制御により、白色光の照射を開始してもよい。
【００４５】
まず、制御部９は、撮像素子７が撮像の実行を開始させる（ステップＳ１）。すなわち、制御部９は、予め設定されたフレームレートに従って、撮像素子７に連続して画像を撮像させる。
【００４６】
また、制御部９は、赤外光線を点灯させるための制御信号を、通信部８を介して赤外光源４に送信する（ステップＳ２）。
【００４７】
制御部９は、ステップＳ２の制御信号による赤外光線の点灯のときに撮像された赤外光線画像を取得し、メモリ１０に記憶させる（ステップＳ３）。
【００４８】
制御部９は、ステップＳ３でメモリ１０に記憶させた赤外光線画像の輝度信号Ｙと、既にメモリ１０に記憶されている通常画像のうち直近に撮像された通常画像の補正色差信号Ｃｒ１及びＣｂ１とに基づいて合成画像を生成する（ステップＳ４）。
【００４９】
続いて、制御部９は、次のフレーム撮像時間に同期して、赤外光線を消灯させるための制御信号を、通信部８を介して赤外光源４に送信する（ステップＳ５）。
【００５０】
ステップＳ５で制御信号が送信されると、制御部９は、ステップＳ５の制御信号による赤外光線の消灯のときに撮像された通常画像を取得し、メモリ１０に記憶させる（ステップＳ６）。
【００５１】
制御部９は、ステップＳ６で取得された通常画像の色差信号Ｃｒ及びＣｂに対してゲイン補正を行う（ステップＳ７）。
【００５２】
ここで、制御部９によるゲイン補正について図５を参照して詳細に説明する。
【００５３】
まず、制御部９は、ステップＳ５で通常画像が取得される直前に取得されて、メモリ１０に記憶されている赤外光線画像の輝度信号Ｙの強度の代表値Ｙｒを算出する（ステップＳ７１）。
【００５４】
制御部９は、ステップＳ５で取得した通常画像の色差信号Ｃｒ及びＣｂの強度のそれぞれ代表値Ｃｒｒ及びＣｂｒを算出する（ステップＳ７２）。ステップＳ７１の処理の前にステップＳ７２の処理が行われてもよい。
【００５５】
制御部９は、代表値Ｙｒ、並びに代表値Ｃｒｒ及びＣｂｒに基づいて、各画素の色差信号Ｃｒ及びＣｂにゲイン補正を行って、補正色差信号Ｃｒ１及びＣｂ１を生成する（ステップＳ７３）。具体的には、例えば、制御部９は、代表値Ｃｒｒ及びＣｂｒの平均値と代表値Ｙｒとの差又は比が所定の範囲内となるように各画素の色差信号Ｃｂ及びＣｒの強度に対して乗じるゲインを算出してもよい。そして、制御部９は、各画素の色差信号Ｃｂ及びＣｒの強度にゲインを乗じる。
【００５６】
図４に戻って、ステップＳ７でゲイン補正が行われると、制御部９は、通常画像の補正色差信号Ｃｒ１及びＣｂ１と、既にメモリ１０に記憶されている赤外光線画像のうち直近に撮像された赤外光線画像の輝度信号Ｙとに基づいて合成画像を生成する（ステップＳ８）。
【００５７】
ステップＳ８で合成画像が送信されると、制御部９は、撮像装置３に停止の指示が入力されているか判定する（ステップＳ９）。
【００５８】
ステップＳ９で停止の指示が入力されていると判定された場合、撮像装置３は処理を終了する。ステップＳ９で停止の指示が入力されていないと判定された場合、撮像装置３は、再びステップＳ２に戻って、制御信号を送信する。そして、制御部９は、ステップＳ２〜Ｓ９の処理を繰り返す。
【００５９】
本実施形態によれば、撮像装置３は、赤外光線画像と通常画像とに基づいて画像を生成する。具体的には、撮像装置３は、赤外光線画像の輝度信号Ｙと通常画像の色差信号Ｃｂ及びＣｒとを有する合成画像を生成する。赤外光線は、暗い環境であっても白色光に比べて被写体からの反射率が高い。したがって、制御部９は、通常画像に比べて、強度が高く、コントラストの大きな輝度信号Ｙを赤外光線画像から得ることができる。また、制御部９は、通常画像から、色差信号Ｃｒ及びＣｂを得ることができる。このため、撮像装置３は、夜間等の暗い環境であっても、輝度信号Ｙに基づく、Ｓ／Ｎ比が低くコントラストの高い画像であって、色差信号Ｃｂ及びＣｒに基づく色味を含んだ画像を生成することができる。
【００６０】
また、本実施形態によれば、撮像装置３は通常画像の色差信号Ｃｂ及びＣｒに対してのみゲイン補正を行う。暗い環境においては画素信号の強度が全体的に小さいため、色差信号Ｃｂ及びＣｒの強度も比較的小さく、合成画像の色味が弱くなり得る。しかし、ゲイン補正により、色差信号Ｃｂ及びＣｒの強度が高められ、色味が強く再現され得る。輝度信号Ｙに対してゲイン補正は行われないため、画像全体が白色に近づくことが防がれ得る。このため、撮像装置３は、輝度のコントラストが高く、鮮やかな色を含んだ画像を生成することができる。
【００６１】
また、本実施形態によれば、赤外光源４は赤外光線をハイビームとして照射する。移動体２に対向する又は前走する移動体の利用者に眩しさを与えるのを防ぐために、通常、多くの運転者は、白色光源５から照射される白色光をロービームとして照射する。人間の目は赤外光線を感知しない。そのため、撮像装置３は、赤外光源４をハイビームで照射することによって、利用者に眩しさを感知させず、被写体を検知可能に撮像し得る。
【００６２】
また、本実施形態によれば、白色光源５は、常時、白色光を照射する。そのため、赤外光線が点灯するときに白色光が消灯し、赤外光線が消灯するときに白色光が点灯する場合の白色光の点滅による違和感を、撮像システム１の利用者に与えないという利点がある。
【００６３】
上述の実施形態は代表的な例として説明したが、本開示の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本開示は、上述の実施形態及び実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態及び実施例に記載の複数の構成ブロックを１つに組合せたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【００６４】
例えば、制御部９は、通信部８を介して、赤外光源４による赤外光線の点灯を制御するための制御信号を送信するとしたが、この限りではない。例えば、制御部９は、通信部８を介して、赤外光源４から赤外光線の点灯状態を示す点灯状態信号を受信してもよい。点灯状態信号は、赤外光線が点灯していること及び赤外光線が消灯していることのいずれか１つ以上を示す信号である。
【００６５】
この場合、制御部９は、赤外光源４から赤外光線の点灯を示す点灯状態信号を受信すると、赤外光線が点灯しているときに撮像素子７が生成した画像を赤外光線画像として取得する。また、制御部９は、通信部８が赤外光源４から赤外光線の消灯を示す点灯状態信号を受信すると、赤外光線が消灯しているときに撮像素子７が生成した画像を通常画像として取得する。
【００６６】
また、変形例として、図６に示すように、白色光源５は、赤外光源４が赤外光線を照射しているときに白色光の照射を停止し、赤外光源４が赤外光線の照射を停止しているときに白色光を照射してもよい。この場合、白色光の点灯及び消灯は、人間の目に認識されないように高速に繰り返されるのがよい。これにより、点灯及び消灯の連続によって人間が不快感を催すことが回避され得る。
【００６７】
また、制御部９は、代表値Ｃｂr及びＣｒrの両方を用いてゲインを算出するとしたが、この限りではない。例えば、制御部９は、代表値Ｃｂr及びＣｒrのいずれかを用いて、該代表値に係る色差信号Ｃｂ及びＣｒのいずれかを補正するためのゲインを算出してもよい。制御部９がゲインを算出する方法は、利用者によって用途に応じて求められる合成画像の特性に応じて、適宜、決定される。
【符号の説明】
【００６８】
１              撮像システム
２              移動体
３              撮像装置
４              赤外光源
５              白色光源
６              光学系
７              撮像素子
８,１３,１５    通信部
９,１４,１６    制御部
１０            メモリ
１１            表示装置
１２            ＥＣＵ
１７,１８       発光素子
【図１】
2018079372.tif 000003
【図２】
2018079372.tif 000004
【図３】
2018079372.tif 000005
【図４】
2018079372.tif 000006
【図５】
2018079372.tif 000007
【図６】
2018079372.tif 000008
【国際調査報告】
2018079372.tif 000009
2018079372.tif 000010
2018079372.tif 000011
2018079372.tif 000012