(57)【要約】【課題】高輝度部分の検出の信頼性と、近赤外線の反射による高輝度部分の輝度の再現性とを向上させる【解決手段】近赤外光照射機４，５は、近赤外光照射機４により照射される近赤外光が通過する照射領域Ｒ１と、近赤外光照射機５により照射される近赤外光が通過する照射領域Ｒ２とが一部重なるように近赤外光を照射する。さらに近赤外光照射機４，５は、照射領域Ｒ１と照射領域Ｒ２とが重なる照射重複領域Ｒ３内に、運転者ＤＲの頭全体が配置されるように近赤外光を照射する。またカメラ２は、運転者ＤＲの顔全体が撮影可能となるように配置される。そしてカメラ２は、近赤外光照射機４及び近赤外光照射機５のうち、近赤外光照射機４のみが近赤外光を照射しているときに撮影を行うとともに、近赤外光照射機５のみが近赤外光を照射しているときに撮影を行う。【選択図】図３
2010124043.tif 000002
【特許請求の範囲】
【請求項１】
光を照射する第１光照射手段と、
光を照射する第２光照射手段と、
光を受光することによって画像を撮影する撮像手段と
を備える画像撮影装置であって、
前記第１光照射手段および前記第２光照射手段は、
前記第１光照射手段により照射される光が通過する領域である第１照射領域と、前記第２光照射手段により照射される光が通過する領域である第２照射領域とが一部重なるように、光を照射し、
前記撮像手段は、
前記第１光照射手段および前記第２光照射手段により照射された光のうちで、前記第１照射領域と前記第２照射領域とが重なる照射重複領域内に配置された物体で反射した光を受光することができる位置に配置され、
前記第１光照射手段および前記第２光照射手段のうち前記第１光照射手段のみに光を照射させる第１照射制御手段と、
前記第１光照射手段および前記第２光照射手段のうち前記第１光照射手段のみが光を照射しているときに前記撮像手段により撮影された画像を取得する第１画像取得手段と、
前記第１光照射手段および前記第２光照射手段のうち前記第２光照射手段のみに光を照射させる第２照射制御手段と、
前記第１光照射手段および前記第２光照射手段のうち前記第２光照射手段のみが光を照射しているときに前記撮像手段により撮影された画像を取得する第２画像取得手段とを備える
ことを特徴とする画像撮影装置。
【請求項２】
前記第１画像取得手段により取得された画像である第１撮影画像の輝度と、前記第２画像取得手段により取得された画像である第２撮影画像の輝度とが加算された画像である加算画像を作成する画像加算手段と、
前記第１撮影画像の輝度と前記第２撮影画像の輝度との差分の絶対値を示す画像である第１差分画像を作成する第１画像差分手段と、
前記画像加算手段により作成された前記加算画像の輝度と、前記第１画像差分手段により作成された前記第１差分画像の輝度とが差分された画像である第２差分画像を作成する第２画像差分手段と
を備えることを特徴とする請求項１に記載の画像撮影装置。
【請求項３】
前記撮像手段は、
前記第１光照射手段が配置される位置と前記第２光照射手段が配置される位置との間の中間的な位置に配置される
ことを特徴とする請求項１または請求項２に記載の画像撮影装置。
【請求項４】
前記第１照射制御手段および前記第２照射制御手段はそれぞれ、前記第１光照射手段および前記第２光照射手段に、交互に光を照射させ、
前記第１画像取得手段は、前記第１光照射手段が光を照射する毎に前記第１撮影画像を取得し、
前記第２画像取得手段は、前記第２光照射手段が光を照射する毎に前記第２撮影画像を取得し、
前記画像加算手段は、前記第１画像取得手段および前記第２画像取得手段の何れかが画像を取得する毎に、前記第１画像取得手段により取得された最新の前記第１撮影画像と、前記第２画像取得手段により取得された最新の前記第２撮影画像とを用いて、前記加算画像を作成し、
前記第１画像差分手段は、前記第１画像取得手段および前記第２画像取得手段の何れかが画像を取得する毎に、前記第１画像取得手段により取得された最新の前記第１撮影画像と、前記第２画像取得手段により取得された最新の前記第２撮影画像とを用いて、前記第１差分画像を作成する
ことを特徴とする請求項１〜請求項３の何れかに記載の画像撮影装置。
【請求項５】
前記第１光照射手段および前記第２光照射手段が照射する光は、近赤外光であり、
前記第１光照射手段および前記第２光照射手段が共に近赤外光を照射していないときに前記撮像手段により撮影された画像を取得する第３画像取得手段を備える
ことを特徴とする請求項１〜請求項４の何れかに記載の画像撮影装置。
【請求項６】
当該画像撮影装置は、車両に搭載され、
前記照射重複領域内に配置された物体は、前記車両を運転する運転者の頭であり、
前記第１光照射手段および前記第２光照射手段は、前記運転者の顔に向けて光を照射する
ことを特徴とする請求項１〜請求項５の何れかに記載の画像撮影装置。
【請求項７】
前記第１光照射手段、前記第２光照射手段、及び前記撮像手段は、
前記車両のインストルメントパネルまたはステアリングコラムの付近に配置される
ことを特徴とする請求項６に記載の画像撮影装置。
【請求項８】
光を照射する第１光照射手段と、
光を照射する第２光照射手段と、
光を受光することによって画像を撮影する撮像手段と
を用いる画像撮影方法であって、
前記第１光照射手段および前記第２光照射手段は、
前記第１光照射手段により照射される光が通過する領域である第１照射領域と、前記第２光照射手段により照射される光が通過する領域である第２照射領域とが一部重なるように、光を照射し、
前記撮像手段は、
前記第１光照射手段および前記第２光照射手段により照射された光のうちで、前記第１照射領域と前記第２照射領域とが重なる照射重複領域内に配置された物体で反射した光を受光することができる位置に配置され、
前記第１光照射手段および前記第２光照射手段のうち前記第１光照射手段のみに光を照射させる第１照射制御手順と、
前記第１光照射手段および前記第２光照射手段のうち前記第１光照射手段のみが光を照射しているときに前記撮像手段により撮影された画像を取得する第１画像取得手順と、
前記第１光照射手段および前記第２光照射手段のうち前記第２光照射手段のみに光を照射させる第２照射制御手順と、
前記第１光照射手段および前記第２光照射手段のうち前記第２光照射手段のみが光を照射しているときに前記撮像手段により撮影された画像を取得する第２画像取得手順とを備える
ことを特徴とする画像撮影方法。
【請求項９】
前記第１画像取得手順により取得された画像である第１撮影画像の輝度と、前記第２画像取得手順により取得された画像である第２撮影画像の輝度とが加算された画像である加算画像を作成する画像加算手順と、
前記第１撮影画像の輝度と前記第２撮影画像の輝度との差分の絶対値を示す画像である第１差分画像を作成する第１画像差分手順と、
前記画像加算手順により作成された前記加算画像の輝度と、前記第１画像差分手順により作成された前記第１差分画像の輝度とが差分された画像である第２差分画像を作成する第２画像差分手順と
を備えることを特徴とする請求項８に記載の画像撮影方法。
【請求項１０】
前記撮像手段は、
前記第１光照射手段が配置される位置と前記第２光照射手段が配置される位置との間の中間的な位置に配置される
ことを特徴とする請求項８または請求項９に記載の画像撮影方法。
【請求項１１】
前記第１照射制御手順および前記第２照射制御手順はそれぞれ、前記第１光照射手段および前記第２光照射手段に、交互に光を照射させ、
前記第１画像取得手順は、前記第１光照射手段が光を照射する毎に前記第１撮影画像を取得し、
前記第２画像取得手順は、前記第２光照射手段が光を照射する毎に前記第２撮影画像を取得し、
前記画像加算手順は、前記第１画像取得手順および前記第２画像取得手順の何れかが画像を取得する毎に、前記第１画像取得手順により取得された最新の前記第１撮影画像と、前記第２画像取得手順により取得された最新の前記第２撮影画像とを用いて、前記加算画像を作成し、
前記第１画像差分手順は、前記第１画像取得手順および前記第２画像取得手順の何れかが画像を取得する毎に、前記第１画像取得手順により取得された最新の前記第１撮影画像と、前記第２画像取得手順により取得された最新の前記第２撮影画像とを用いて、前記第１差分画像を作成する
ことを特徴とする請求項８〜請求項１０の何れかに記載の画像撮影方法。
【請求項１２】
前記第１光照射手段および前記第２光照射手段が照射する光は、近赤外光であり、
前記第１光照射手段および前記第２光照射手段が共に近赤外光を照射していないときに前記撮像手段により撮影された画像を取得する第３画像取得手順を備える
ことを特徴とする請求項８〜請求項１１の何れかに記載の画像撮影方法。
【請求項１３】
前記照射重複領域内に配置された物体は、車両を運転する運転者の頭であり、
前記第１光照射手段および前記第２光照射手段は、前記運転者の顔に向けて光を照射する
ことを特徴とする請求項８〜請求項１２の何れかに記載の画像撮影方法。
【請求項１４】
前記第１光照射手段、前記第２光照射手段、及び前記撮像手段は、
前記車両のインストルメントパネルまたはステアリングコラムの付近に配置される
ことを特徴とする請求項１３に記載の画像撮影方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光を照射して、照射した光の反射光を受光することにより画像を撮影する画像撮影装置および方法に関する。
【背景技術】
【０００２】
近年、人間の顔を撮像した画像データに基づいて顔向きや視線を検出する技術を自動車に適用することにより、運転者の脇見を判断したり、顔特徴点の位置変化に基づいて運転者の生理状態または心理状態を推定したりすることで、自動車の安全性、利便性、及び快適性を向上させる運転支援システムが提案されている（例えば、特許文献１を参照）。
【０００３】
また従来、人間の顔に近赤外線を照射し、近赤外線が照射されたときの人間の顔を撮影するとともに、近赤外線が照射されていないときの人間の顔を撮影する撮影方法が知られている（例えば、特許文献２を参照）。この撮影方法によれば、近赤外線が照射されたときの撮影画像と、近赤外線が照射されていないときの撮影画像とを差分した差分画像を作成することで、太陽光などの外乱光の影響が低減された撮影画像を取得することができる。
【０００４】
しかしながら、眼鏡を装着した人間の顔に近赤外線を照射すると、眼鏡のレンズ部分やフレーム部分において近赤外線が反射することにより高輝度となった部分が撮影画像上に現れることがある。
【０００５】
この高輝度部分を除去するために、種々の方法が提案されている。例えば、撮影画像を構成する画素の輝度ヒストグラムを作成し、或る閾値以上の輝度を有する画素を高輝度部分と特定するとともに、この高輝度部分の輝度を周辺画素の輝度の平均値で置換することにより、高輝度部分の輝度を再現するものが知られている（例えば、特許文献３を参照）。また、人間の眼球からの反射像を抽出するための第１の閾値と、人間が装着する眼鏡からの反射像を抽出するための第２の閾値とを有し、撮影画像について第１の閾値と第２の閾値を用いて処理した２値化処理画像の形状に基づいて、眼鏡からの反射像を除去するものが知られている（例えば、特許文献４を参照）。
【特許文献１】特開２００６−２３１９６３号公報
【特許文献２】特開２００７−４４４８号公報
【特許文献３】特開２００２−２６９５４５号公報
【特許文献４】特開平８−１８５５０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献３，４に記載の技術では、閾値の大きさによっては、近赤外線の反射とは無関係の画素を検出したり、近赤外線の反射による高輝度部分を検出することができなかったりする場合がある。このため、実用面で、高輝度部分の検出の信頼性に問題があった。
【０００７】
さらに、上記特許文献３に記載の技術では、高輝度部分の輝度を周辺画素の輝度の平均値で置換するため、置換された部分で画像がボケたり、輝度ムラが生じたりするおそれがある。すなわち、高輝度部分の画素の輝度の再現性に問題があった。
【０００８】
本発明は、こうした問題に鑑みなされたものであり、高輝度部分の検出の信頼性と、近赤外線の反射による高輝度部分の輝度の再現性とを向上させる技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するためになされた請求項１に記載の画像撮影装置では、光を照射する第１光照射手段および第２光照射手段が、第１光照射手段により照射される光が通過する領域である第１照射領域と、第２光照射手段により照射される光が通過する領域である第２照射領域とが一部重なるように、光を照射する。また、光を受光することによって画像を撮影する撮像手段が、第１光照射手段および第２光照射手段により照射された光のうちで、第１照射領域と第２照射領域とが重なる照射重複領域内に配置された物体で反射した光を受光することができる位置に配置される。
【００１０】
そして第１照射制御手段が、第１光照射手段および第２光照射手段のうち第１光照射手段のみに光を照射させるとともに、第１画像取得手段が、第１光照射手段および第２光照射手段のうち第１光照射手段のみが光を照射しているときに撮像手段により撮影された画像を取得する。
【００１１】
さらに第２照射制御手段が、第１光照射手段および第２光照射手段のうち第２光照射手段のみに光を照射させるとともに、第２画像取得手段が、第１光照射手段および第２光照射手段のうち第２光照射手段のみが光を照射しているときに撮像手段により撮影された画像を取得する。
【００１２】
このように構成された画像撮影装置では、撮像手段が、照射重複領域内に配置された物体（以下、撮影対象物体ともいう）で反射した光を受光することができる位置に配置されている。このため撮像手段は、第１光照射手段が撮影対象物体に光を照射したときの撮影対象物体と、第２光照射手段が撮影対象物体に光を照射したときの撮影対象物体を撮影することができる。
【００１３】
そして、第１照射領域と第２照射領域とが一部重なっている。すなわち、第１照射領域と第２照射領域は同一ではない。このため、第１光照射手段が、撮影対象物体に光を照射し、この照射光が撮影対象物体上で反射することにより高輝度となる、撮影対象物体上の位置（以下、第１反射高輝度位置ともいう）と、第２光照射手段が撮影対象物体に光を照射し、この照射光が撮影対象物体上で反射することにより高輝度となる、撮影対象物体上の位置（以下、第２反射高輝度位置ともいう）とが異なる。
【００１４】
すなわち、第１画像取得手段が取得した第１撮影画像では、第１反射高輝度位置において画像情報が失われているのに対し、第２画像取得手段が取得した第２撮影画像では、第１反射高輝度位置において画像情報が失われていない。同様に、第２画像取得手段が取得した第２撮影画像では、第２反射高輝度位置において画像情報が失われているのに対し、第１画像取得手段が取得した第１撮影画像では、第２反射高輝度位置において画像情報が失われていない。
【００１５】
このため、例えば、以下に示す手順で、高輝度部分を再現した画像を作成することができる。
【００１６】
まず、第１撮影画像と第２撮影画像とを差分した画像（以下、第１差分画像ともいう）を作成する。
【００１７】
ここで、第１撮影画像における第１反射高輝度位置では高輝度になっているのに対し、第２撮影画像における第１反射高輝度位置では高輝度になっていない。同様に、第２撮影画像における第２反射高輝度位置では高輝度になっているのに対し、第１撮影画像における第２反射高輝度位置では高輝度になっていない。そして、第１反射高輝度位置および第２反射高輝度位置以外の部分において、第１撮影画像と第２撮影画像とで重複している部分の輝度が、第１撮影画像と第２撮影画像とで同じであるとする。
【００１８】
この場合に、第１差分画像は、第１撮影画像と第２撮影画像とで重複している部分において、第１反射高輝度位置と第２反射高輝度位置で高輝度となり、第１反射高輝度位置と第２反射高輝度位置以外では、輝度が０となる。
【００１９】
これにより第１差分画像では、第１反射高輝度位置と第２反射高輝度位置のみで高輝度となる。このため、高輝度部分を検出することができる。
【００２０】
したがって、高輝度部分を検出するために閾値を用いる必要がない。これにより、閾値の大きさによって、高輝度部分ではない部分を検出してしまったり、高輝度部分を検出することができなかったりすることがない。このため、高輝度部分の検出の信頼性を向上させることができる。
【００２１】
そして次に、第１撮影画像と第１差分画像と比較する。これにより、第１撮影画像における高輝度部分を特定することができる。さらに、第２撮影画像と第１差分画像と比較する。これにより、第２撮影画像における高輝度部分を特定することができる。
【００２２】
その後、第１撮影画像の第１反射高輝度位置における画像情報を、第２撮影画像の第１反射高輝度位置における画像情報に置き換えるか、第２撮影画像の第２反射高輝度位置における画像情報を、第１撮影画像の第２反射高輝度位置における画像情報に置き換える。これにより、高輝度部分の輝度を再現することができる。
【００２３】
すなわち、高輝度部分の輝度を周辺画素の輝度に基づいて置換する必要がなく、実際に撮影した画像に基づいて置換するため、高輝度部分の輝度の再現性を向上させることができる。
【００２４】
また請求項１に記載の画像撮影装置では、高輝度部分を再現した画像を作成するために、請求項２に記載のように、画像加算手段が、第１画像取得手段により取得された画像である第１撮影画像の輝度と、第２画像取得手段により取得された画像である第２撮影画像の輝度とが加算された画像である加算画像を作成し、第１画像差分手段が、第１撮影画像の輝度と第２撮影画像の輝度との差分の絶対値を示す画像である第１差分画像を作成し、第２画像差分手段が、画像加算手段により作成された加算画像の輝度と、第１画像差分手段により作成された第１差分画像の輝度とが差分された画像である第２差分画像を作成するようにしてもよい。
【００２５】
なお、「第１撮影画像の輝度と第２撮影画像の輝度とを加算する」ということは、第１撮影画像と第２撮影画像において、撮影対象物体の位置が同じである部分の輝度を加算するということである。また、「第１撮影画像の輝度と第２撮影画像の輝度とを差分する」ということは、第１撮影画像と第２撮影画像において、撮影対象物体の位置が同じである部分の輝度を差分するということである。同様に、「加算画像の輝度と第１差分画像の輝度とを差分する」ということは、加算画像と第１差分画像において、撮影対象物体の位置が同じである部分の輝度を差分するということである。
【００２６】
以下に、請求項２に記載の画像撮影装置により、高輝度部分を再現した画像を作成可能であることを説明する。
【００２７】
まず、第１撮影画像の第１反射高輝度位置における輝度をＡ１、第１撮影画像の第１反射高輝度位置以外における輝度をＡ２、第２撮影画像の第２反射高輝度位置における輝度をＢ１、第２撮影画像の第２反射高輝度位置以外における輝度をＢ２とする。なお、輝度Ａ１および輝度Ｂ１は、輝度Ａ２および輝度Ｂ２よりも大きいとする。また、輝度Ａ２と輝度Ｂ２の輝度は同一であるとする。
【００２８】
この場合に、画像加算手段により作成される加算画像の第１反射高輝度位置における輝度Ｃ１、第２反射高輝度位置における輝度Ｃ２、第１反射高輝度位置および第２反射高輝度位置以外の輝度Ｃ３はそれぞれ、式（１）、式（２）、式（３）で表される。
【００２９】
Ｃ１  ＝  Ａ１＋Ｂ２    ・・・（１）
Ｃ２  ＝  Ａ２＋Ｂ１    ・・・（２）
Ｃ３  ＝  Ａ２＋Ｂ２    ・・・（３）
また、第１画像差分手段により作成される第１差分画像の第１反射高輝度位置における輝度Ｄ１、第２反射高輝度位置における輝度Ｄ２、第１反射高輝度位置および第２反射高輝度位置以外の輝度Ｄ３はそれぞれ、式（４）、式（５）、式（６）で表される。
【００３０】
Ｄ１  ＝  ｜Ａ１−Ｂ２｜  ＝  Ａ１−Ｂ２    ・・・（４）
Ｄ２  ＝  ｜Ａ２−Ｂ１｜  ＝  Ｂ１−Ａ２    ・・・（５）
Ｄ３  ＝  ｜Ａ２−Ｂ２｜  ＝  ０            ・・・（６）
したがって、第２画像差分手段により作成される第２差分画像の第１反射高輝度位置における輝度Ｅ１、第２反射高輝度位置における輝度Ｅ２、第１反射高輝度位置および第２反射高輝度位置以外の輝度Ｅ３はそれぞれ、式（７）、式（８）、式（９）で表される。
【００３１】
Ｅ１  ＝  Ｃ１−Ｄ１  ＝  （Ａ１＋Ｂ２）―（Ａ１−Ｂ２）  ＝  ２×Ｂ２  ・・・（７）
Ｅ２  ＝  Ｃ２−Ｄ２  ＝  （Ａ２＋Ｂ１）―（Ｂ１−Ａ２）  ＝  ２×Ａ２  ・・・（８）
Ｅ３  ＝  Ｃ３−Ｄ３  ＝  （Ａ２＋Ｂ２）―０  ＝  Ａ２＋Ｂ２          ・・・（９）
すなわち、第２差分画像の第１反射高輝度位置における輝度Ｅ１を、式（７）に示すように、第２撮影画像の第１反射高輝度位置における輝度Ｂ２に対応した値にすることができる。また、第２差分画像の第２反射高輝度位置における輝度Ｅ２を、式（８）に示すように、第１撮影画像の第２反射高輝度位置における輝度Ａ２に対応した値にすることができる。
【００３２】
つまり、第１撮影画像の第１反射高輝度位置における画像情報を、第２撮影画像の第１反射高輝度位置における画像情報に置き換えるとともに、第２撮影画像の第２反射高輝度位置における画像情報を、第１撮影画像の第２反射高輝度位置における画像情報に置き換えることにより、高輝度部分の輝度を再現することができる。
【００３３】
また、請求項１または請求項２に記載の画像撮影装置では、撮像手段が、第１光照射手段が配置される位置と第２光照射手段が配置される位置との間の中間的な位置に配置されるようにするとよい。
【００３４】
このように構成された画像撮影装置では、第１光照射手段または第２光照射手段が配置される位置に近接した位置に撮像手段が配置される場合と比較して、第１撮影画像内に示される撮影対象物体の像と、第２撮影画像内に示される撮影対象物体の像との相違が小さくなる。すなわち、第１撮影画像内に示される撮影対象物体と第２撮影画像内に示される撮影対象物体とで重複する領域が多くなる。つまり、撮像手段が撮影した画像について、高輝度部分の輝度を再現することができる領域を多くすることができる。
【００３５】
また、請求項１〜請求項３の何れかに記載の画像撮影装置では、請求項４に記載のように、第１照射制御手段および第２照射制御手段はそれぞれ、第１光照射手段および第２光照射手段に、交互に光を照射させ、第１画像取得手段は、第１光照射手段が光を照射する毎に第１撮影画像を取得し、第２画像取得手段は、第２光照射手段が光を照射する毎に第２撮影画像を取得し、画像加算手段は、第１画像取得手段および第２画像取得手段の何れかが画像を取得する毎に、第１画像取得手段により取得された最新の第１撮影画像と、第２画像取得手段により取得された最新の第２撮影画像とを用いて、加算画像を作成し、第１画像差分手段は、第１画像取得手段および第２画像取得手段の何れかが画像を取得する毎に、第１画像取得手段により取得された最新の第１撮影画像と、第２画像取得手段により取得された最新の第２撮影画像とを用いて、第１差分画像を作成するようにしてもよい。
【００３６】
このように構成された画像撮影装置では、第１光照射手段および第２光照射手段の何れかが光を照射する毎に、加算画像および第１差分画像が作成される。このため第２画像差分手段は、第１光照射手段および第２光照射手段の何れかが光を照射する毎に、第２差分画像、すなわち高輝度部分を再現した画像を作成することができる。
【００３７】
また、請求項１〜請求項４の何れかに記載の画像撮影装置では、請求項５に記載のように、第１光照射手段および第２光照射手段が照射する光は近赤外光であり、第３画像取得手段が、第１光照射手段および第２光照射手段が共に近赤外光を照射していないときに撮像手段により撮影された画像を取得するようにしてもよい。
【００３８】
このように構成された画像撮影装置では、第３画像取得手段により撮影された画像（以下、第３撮影画像ともいう）は、近赤外光以外の光（例えば、太陽光などの外乱光）の影響を含む一方、近赤外光の影響を含まない画像となる。このため、第１撮影画像または第２撮影画像と、第３撮影画像とを差分した差分画像を作成することにより、近赤外光以外の光の影響が低減された撮影画像を取得することができる。
【００３９】
ところで、車両を運転する運転者の顔向きや視線を検出するために運転者の顔を撮影する場合に、運転者が装着している眼鏡のレンズ部分やフレーム部分において光が反射することにより高輝度となった部分が発生すると、運転者の眼の画像情報が得られなくなり、運転者の顔向きや視線の検出精度が低下するおそれがある。
【００４０】
そこで、請求項１〜請求項５の何れかに記載の画像撮影装置では、請求項６に記載のように、当該画像撮影装置は、車両に搭載され、照射重複領域内に配置された物体は、車両を運転する運転者の頭であり、第１光照射手段および第２光照射手段は、運転者の顔に向けて光を照射するようにしてもよい。
【００４１】
このように構成された画像撮影装置では、運転者の顔を撮影した画像について、高輝度部分を再現性よく再現した画像を作成することができる。このため、運転者の顔を撮影した画像について運転者の眼の部分が高輝度になっても、運転者の眼の部分の画像情報を再現することができるため、運転者の顔向きや視線の検出精度を向上させることができる。
【００４２】
また請求項６に記載の画像撮影装置では、運転者の顔に向けて光を照射して運転者の顔を撮影するため、請求項７に記載のように、第１光照射手段、第２光照射手段、及び撮像手段は、車両のインストルメントパネルまたはステアリングコラムの付近に配置されるようにしてもよい。車両のインストルメントパネルまたはステアリングコラムは、運転席の前方に配置されているからである。
【００４３】
また請求項８に記載の画像撮影方法では、第１照射制御手順で、第１光照射手段および第２光照射手段のうち第１光照射手段のみに光を照射させるとともに、第１画像取得手順で、第１光照射手段および第２光照射手段のうち第１光照射手段のみが光を照射しているときに撮像手段により撮影された画像を取得する。
【００４４】
さらに第２照射制御手順で、第１光照射手段および第２光照射手段のうち第２光照射手段のみに光を照射させるとともに、第２画像取得手順で、第１光照射手段および第２光照射手段のうち第２光照射手段のみが光を照射しているときに撮像手段により撮影された画像を取得する。
【００４５】
この画像撮影方法は、請求項１に記載の画像撮影装置にて実行される方法であり、当該方法を実行することで、請求項１に記載の画像撮影装置と同様の効果を得ることができる。
【００４６】
また請求項８に記載の画像撮影方法では、請求項９に記載のように、画像加算手順で、第１画像取得手順により取得された画像である第１撮影画像の輝度と、第２画像取得手順により取得された画像である第２撮影画像の輝度とが加算された画像である加算画像を作成し、第１画像差分手順で、第１撮影画像の輝度と第２撮影画像の輝度との差分の絶対値を示す画像である第１差分画像を作成し、第２画像差分手順で、画像加算手順により作成された加算画像の輝度と、第１画像差分手順により作成された第１差分画像の輝度とが差分された画像である第２差分画像を作成するようにしてもよい。
【００４７】
この画像撮影方法は、請求項２に記載の画像撮影装置にて実行される方法であり、当該方法を実行することで、請求項２に記載の画像撮影装置と同様の効果を得ることができる。
【００４８】
また、請求項８または請求項９に記載の画像撮影方法では、請求項１０に記載のように、撮像手段が、第１光照射手段が配置される位置と第２光照射手段が配置される位置との間の中間的な位置に配置されるようにするとよい。
【００４９】
この画像撮影方法は、請求項３に記載の画像撮影装置にて実行される方法であり、当該方法を実行することで、請求項３に記載の画像撮影装置と同様の効果を得ることができる。
【００５０】
また、請求項８〜請求項１０の何れかに記載の画像撮影方法では、請求項１１に記載のように、第１照射制御手順および第２照射制御手順でそれぞれ、第１光照射手段および第２光照射手段に、交互に光を照射させ、第１画像取得手順で、第１光照射手段が光を照射する毎に第１撮影画像を取得し、第２画像取得手順で、第２光照射手段が光を照射する毎に第２撮影画像を取得し、画像加算手順で、第１画像取得手順および第２画像取得手順の何れかで画像を取得する毎に、第１画像取得手順により取得された最新の第１撮影画像と、第２画像取得手順により取得された最新の第２撮影画像とを用いて、加算画像を作成し、第１画像差分手順で、第１画像取得手順および第２画像取得手順の何れかで画像を取得する毎に、第１画像取得手順により取得された最新の第１撮影画像と、第２画像取得手順により取得された最新の第２撮影画像とを用いて、第１差分画像を作成するようにしてもよい。
【００５１】
この画像撮影方法は、請求項４に記載の画像撮影装置にて実行される方法であり、当該方法を実行することで、請求項４に記載の画像撮影装置と同様の効果を得ることができる。
【００５２】
また、請求項８〜請求項１１の何れかに記載の画像撮影方法では、請求項１２に記載のように、第１光照射手段および第２光照射手段が照射する光は近赤外光であり、第３画像取得手順で、第１光照射手段および第２光照射手段が共に近赤外光を照射していないときに撮像手段により撮影された画像を取得するようにしてもよい。
【００５３】
この画像撮影方法は、請求項５に記載の画像撮影装置にて実行される方法であり、当該方法を実行することで、請求項５に記載の画像撮影装置と同様の効果を得ることができる。
【００５４】
また、請求項８〜請求項１２の何れかに記載の画像撮影方法では、請求項１３に記載のように、照射重複領域内に配置された物体は、車両を運転する運転者の頭であり、第１光照射手段および第２光照射手段は、運転者の顔に向けて光を照射するようにしてもよい。
【００５５】
この画像撮影方法は、請求項６に記載の画像撮影装置にて実行される方法であり、当該方法を実行することで、請求項６に記載の画像撮影装置と同様の効果を得ることができる。
【００５６】
また請求項１３に記載の画像撮影方法では、請求項１４に記載のように、第１光照射手段、第２光照射手段、及び撮像手段は、車両のインストルメントパネルまたはステアリングコラムの付近に配置されるようにしてもよい。
【００５７】
この画像撮影方法は、請求項７に記載の画像撮影装置にて実行される方法であり、当該方法を実行することで、請求項７に記載の画像撮影装置と同様の効果を得ることができる。
【発明を実施するための最良の形態】
【００５８】
（第１実施形態）
以下に本発明の第１実施形態について図面とともに説明する。
【００５９】
図１は、本実施形態の画像撮影装置１の構成を示すブロック図である。図２は、車両の運転席から車両前方を眺めた際のカメラ２及び近赤外光照射機４，５の配置を示す図である。
【００６０】
画像撮影装置１は、車両に搭載され、図１に示すように、車両の運転席に座っている人ＤＲ（以下、運転者ＤＲという。図３を参照）の顔を連続して撮影するカメラ２と、カメラ２により撮影された画像のデータを一時的に記憶する画像キャプチャーボード３と、運転者の顔に向けて近赤外光を照射する近赤外光照射機４，５と、カメラ２により撮影された画像を用いて画像処理を行うとともにカメラ２及び近赤外光照射機４，５を制御する制御部６とを備えている。
【００６１】
これらのうちカメラ２は、個体撮像素子を二次元格子状に配列することで構成されたイメージセンサ（ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサ）、及び被写体からの光をイメージセンサ上に集光するレンズ等を用いて構成された周知のものである。
【００６２】
そして、カメラ２が撮影を行うことにより得られる画像データ（以下、撮影画像データという）は、横方向にＭ個、縦方向にＮ個の画素が並んで構成されている（Ｍ，Ｎは正の整数）。すなわち撮影画像データは、Ｍ個×Ｎ個の画素データＰ（Ｘ，Ｙ）から構成されている。Ｘは画素の横方向の座標値、Ｙは縦方向の座標値であり、Ｘについては０，１，２，・・・・Ｍ、Ｙについては０，１，２，・・・・，Ｎの値が付されている。また画素データＰ（Ｘ，Ｙ）は、（Ｘ，Ｙ）の位置に配置された画素の輝度を０〜２５５の２５６階調で示す。
【００６３】
さらにカメラ２は、運転者ＤＲの顔を撮影するために、図２に示すように、インストルメントパネルＩＰの付近に配置されている。
【００６４】
また近赤外光照射機４，５は、例えば波長８５０ｎｍの近赤外光を照射するＬＥＤ光源を用いて構成されている。そして近赤外光照射機４，５は、運転者ＤＲの顔に向けて近赤外光を照射するために、インストルメントパネルＩＰの付近に配置されている。
【００６５】
図３（ａ）は、カメラ２の撮影可能領域と近赤外光照射機４，５の照射領域を示すためのカメラ２、近赤外光照射機４，５及び運転者ＤＲの平面図である。図３（ｂ）は、図３（ａ）の側面図である。
【００６６】
また近赤外光照射機４，５は、図３（ａ）に示すように、近赤外光照射機４により照射される近赤外光が通過する照射領域Ｒ１（図３（ａ）中の直線Ｌ１と直線Ｌ２とで囲まれる領域）と、近赤外光照射機５により照射される近赤外光が通過する照射領域Ｒ２（図３（ａ）中の直線Ｌ３と直線Ｌ４とで囲まれる領域）とが一部重なるように近赤外光を照射する。
【００６７】
さらに近赤外光照射機４，５は、図３（ａ），（ｂ）に示すように、照射領域Ｒ１と照射領域Ｒ２とが重なる照射重複領域Ｒ３内に、運転者ＤＲの頭全体が配置されるように近赤外光を照射する（図３（ａ）の照射重複領域Ｒ３と、図３（ｂ）の直線Ｌ５，Ｌ６を参照）。
【００６８】
なおカメラ２は、運転者ＤＲの顔全体が撮影可能となるように配置される（図３（ａ）の直線Ｌ１１，Ｌ１２と、図３（ｂ）の直線Ｌ１３，Ｌ１４を参照）。またカメラ２は、近赤外光照射機４の配置位置と近赤外光照射機５の配置位置とを結ぶ線上において、近赤外光照射機４の配置位置と近赤外光照射機５の配置位置との略中間点となる位置に配置されている。
【００６９】
また制御部６は、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏ及びこれらの構成を接続するバスラインなどからなる周知のマイクロコンピュータを中心に構成されており、ＲＯＭ及びＲＡＭに記憶されたプログラムに基づいて各種処理を実行する。
【００７０】
このように構成された画像撮影装置１において、制御部６は、運転者ＤＲの顔を撮影するとともに、撮影した画像から反射光の影響を除去する反射光除去処理を実行する。
【００７１】
ここで、画像撮影装置１の制御部６が実行する反射光除去処理の手順を、図４を用いて説明する。図４は反射光除去処理を示すフローチャートである。この反射光除去処理は、制御部６が起動（電源オン）している間に繰り返し実行される処理である。
【００７２】
この反射光除去処理が実行されると、制御部６は、まずＳ１０にて、第１撮影判定タイマＴＭ１の値（以下、第１撮影判定タイマ値という）が予め設定された撮影間隔判定値（本実施形態では例えば１６．６ｍｓに相当する値）以上であるか否かを判断する。なお、第１撮影判定タイマＴＭ１は例えば１μｓごとに自動的にインクリメントするタイマであり、ある時点でその値が０に設定されると、その時点で再び０からインクリメントする。
【００７３】
ここで、第１撮影判定タイマ値が撮影間隔判定値未満である場合には（Ｓ１０：ＮＯ）、Ｓ１０に移行して上述の処理を繰り返すことにより待機する。一方、第１撮影判定タイマ値が撮影間隔判定値以上である場合には（Ｓ１０：ＹＥＳ）、Ｓ２０にて、第１撮影判定タイマＴＭ１の値を０に設定する。そしてＳ３０にて、カメラ２による撮影を行い、カメラ２により撮影した画像のデータ（撮影画像データ）を作成する。以下、Ｓ３０で作成した撮影画像データを非照射撮影画像データＣＤ１という。その後Ｓ４０にて、Ｓ３０で作成した非照射撮影画像データＣＤ１を、制御部６内のＲＡＭに記憶する。
【００７４】
次にＳ５０にて、第１撮影判定タイマ値が撮影間隔判定値以上であるか否かを判断する。ここで、第１撮影判定タイマ値が撮影間隔判定値未満である場合には（Ｓ５０：ＮＯ）、Ｓ５０に移行して上述の処理を繰り返すことにより待機する。一方、第１撮影判定タイマ値が撮影間隔判定値以上である場合には（Ｓ５０：ＹＥＳ）、Ｓ６０にて、第１撮影判定タイマＴＭ１の値を０に設定する。そしてＳ７０にて、近赤外光照射機４に、近赤外光の照射を開始させる。
【００７５】
その後Ｓ８０にて、カメラ２による撮影を行い、カメラ２により撮影した画像のデータ（撮影画像データ）を作成する。以下、Ｓ８０で作成した撮影画像データを第１照射撮影画像データＣＤ２という。そしてＳ９０にて、Ｓ８０で作成した第１照射撮影画像データＣＤ２を、制御部６内のＲＡＭに記憶する。
【００７６】
さらにＳ１００にて、近赤外光照射機４に、近赤外光の照射を終了させる。そしてＳ１１０にて、Ｓ３０で作成した非照射撮影画像データＣＤ１の輝度と、Ｓ８０で作成した第１照射撮影画像データＣＤ２の輝度とを差分した画像データ（以下、第１差分画像データＳＤ１という）を作成する。
【００７７】
なお、「非照射撮影画像データＣＤ１の輝度と第１照射撮影画像データＣＤ２の輝度とを差分する」とは、非照射撮影画像データＣＤ１を構成する画素データＰｎ（Ｘ，Ｙ）と、第１照射撮影画像データＣＤ２を構成する画素データＰａ（Ｘ，Ｙ）について、横方向の座標値と縦方向の座標値が同じ画素データ同士の輝度値を差分することをいう。
【００７８】
すなわち、第１差分画像データＳＤ１について、横方向の座標値がＸ、縦方向の座標値がＹである画素データをＰｃ（Ｘ，Ｙ）とすると、式（１０）で表される。
【００７９】
Ｐｃ（Ｘ，Ｙ）  ＝  Ｐａ（Ｘ，Ｙ）−Ｐｎ（Ｘ，Ｙ）    ・・・（１０）
ただし、ノイズによる差分画像の劣化を防ぐために、Ｐｃ（Ｘ，Ｙ）が０より小さくなる場合には、Ｐｃ（Ｘ，Ｙ）＝０とする。
【００８０】
次にＳ１２０にて、第１撮影判定タイマ値が撮影間隔判定値以上であるか否かを判断する。ここで、第１撮影判定タイマ値が撮影間隔判定値未満である場合には（Ｓ１２０：ＮＯ）、Ｓ１２０に移行して上述の処理を繰り返すことにより待機する。一方、第１撮影判定タイマ値が撮影間隔判定値以上である場合には（Ｓ１２０：ＹＥＳ）、Ｓ１３０にて、第１撮影判定タイマＴＭ１の値を０に設定する。そしてＳ１４０にて、近赤外光照射機５に、近赤外光の照射を開始させる。
【００８１】
その後Ｓ１５０にて、カメラ２による撮影を行い、カメラ２により撮影した画像のデータ（撮影画像データ）を作成する。以下、Ｓ１５０で作成した撮影画像データを第２照射撮影画像データＣＤ３という。そしてＳ１６０にて、Ｓ１５０で作成した第２照射撮影画像データＣＤ３を、制御部６内のＲＡＭに記憶する。
【００８２】
さらにＳ１７０にて、近赤外光照射機５に、近赤外光の照射を終了させる。そしてＳ１８０にて、Ｓ３０で作成した非照射撮影画像データＣＤ１の輝度と、Ｓ１５０で作成した第２照射撮影画像データＣＤ３の輝度とを差分した画像データ（以下、第２差分画像データＳＤ２という）を作成する。
【００８３】
なお、「非照射撮影画像データＣＤ１の輝度と第２照射撮影画像データＣＤ３の輝度とを差分する」とは、非照射撮影画像データＣＤ１を構成する画素データＰｎ（Ｘ，Ｙ）と、第２照射撮影画像データＣＤ３を構成する画素データＰｂ（Ｘ，Ｙ）について、横方向の座標値と縦方向の座標値が同じ画素データ同士の輝度値を差分することをいう。
【００８４】
すなわち、第２差分画像データＳＤ２について、横方向の座標値がＸ、縦方向の座標値がＹである画素データをＰｄ（Ｘ，Ｙ）とすると、式（１１）で表される。
【００８５】
Ｐｄ（Ｘ，Ｙ）  ＝  Ｐｂ（Ｘ，Ｙ）−Ｐｎ（Ｘ，Ｙ）    ・・・（１１）
ただし、ノイズによる差分画像の劣化を防ぐために、Ｐｄ（Ｘ，Ｙ）が０より小さくなる場合には、Ｐｃ（Ｘ，Ｙ）＝０とする。
【００８６】
そしてＳ１９０にて、Ｓ１１０で作成した第１差分画像データＳＤ１の輝度と、Ｓ１８０で作成した第２差分画像データＳＤ２の輝度とを加算した画像データ（以下、加算画像データＡＤ１という）を作成する。
【００８７】
すなわち、加算画像データＡＤ１について、横方向の座標値がＸ、縦方向の座標値がＹである画素データをＰｅ（Ｘ，Ｙ）とすると、式（１２）で表される演算を行う。
【００８８】
Ｐｅ（Ｘ，Ｙ）  ＝  Ｐｃ（Ｘ，Ｙ）＋Ｐｄ（Ｘ，Ｙ）    ・・・（１２）
さらにＳ２００にて、Ｓ１１０で作成した第１差分画像データＳＤ１の輝度と、Ｓ１８０で作成した第２差分画像データＳＤ２の輝度との差分の絶対値を示す画像データ（以下、差分絶対値画像データＳＤ３という）を作成する。
【００８９】
すなわち、差分絶対値画像データＳＤ３について、横方向の座標値がＸ、縦方向の座標値がＹである画素データをＰｆ（Ｘ，Ｙ）とすると、式（１３）で表される演算を行う。
【００９０】
Ｐｆ（Ｘ，Ｙ）  ＝  ｜Ｐｃ（Ｘ，Ｙ）−Ｐｄ（Ｘ，Ｙ）｜    ・・・（１３）
そしてＳ２１０にて、Ｓ１９０で作成した加算画像データＡＤ１の輝度と、Ｓ２００で作成した差分絶対値画像データＳＤ３の輝度とを差分した画像データ（以下、第３差分画像データＳＤ４という）を作成する。
【００９１】
すなわち、第３差分画像データＳＤ４について、横方向の座標値がＸ、縦方向の座標値がＹである画素データをＰｇ（Ｘ，Ｙ）とすると、式（１４）で表される演算を行う。
【００９２】
Ｐｇ（Ｘ，Ｙ）  ＝  Ｐｅ（Ｘ，Ｙ）−Ｐｆ（Ｘ，Ｙ）    ・・・（１４）
ただし、ノイズによる差分画像の劣化を防ぐために、Ｐｇ（Ｘ，Ｙ）が０より小さくなる場合には、Ｐｇ（Ｘ，Ｙ）＝０とする。
【００９３】
そして、Ｓ２１０の処理が終了すると、反射光除去処理を一旦終了する。
【００９４】
このように構成された画像撮影装置１では、カメラ２が、照射重複領域Ｒ３内に配置された運転者ＤＲの頭（以下、撮影対象物体という）で反射した光を受光することができる位置に配置されている。このためカメラ２は、近赤外光照射機４が撮影対象物体に近赤外光を照射したときの撮影対象物体と、近赤外光照射機５が撮影対象物体に近赤外光を照射したときの撮影対象物体を撮影することができる。
【００９５】
そして、照射領域Ｒ１と照射領域Ｒ２とが一部重なっている。すなわち、照射領域Ｒ１と照射領域Ｒ２は同一ではない。このため、近赤外光照射機４が、撮影対象物体に近赤外光を照射し、この近赤外光が撮影対象物体上で反射することにより高輝度となる、撮影対象物体上の位置（以下、第１反射高輝度位置ＬＰ１ともいう）と、近赤外光照射機５が撮影対象物体に近赤外光を照射し、この近赤外光が撮影対象物体上で反射することにより高輝度となる、撮影対象物体上の位置（以下、第２反射高輝度位置ＬＰ２ともいう）とが異なる。
【００９６】
すなわち、Ｓ１１０で作成した第１差分画像データＳＤ１では、第１反射高輝度位置ＬＰ１において画像情報が失われているのに対し、Ｓ１８０で作成した第２差分画像データＳＤ２では、第１反射高輝度位置ＬＰ１において画像情報が失われていない。同様に、Ｓ１８０で作成した第２差分画像データＳＤ２では、第２反射高輝度位置ＬＰ２において画像情報が失われているのに対し、Ｓ１１０で作成した第１差分画像データＳＤ１では、第２反射高輝度位置ＬＰ２において画像情報が失われていない。
【００９７】
このため、例えば、以下に示す手順で、高輝度部分を再現した画像を作成することができる。
【００９８】
まず、第１差分画像データＳＤ１と第２差分画像データＳＤ２とを差分した画像（以下、２回差分画像データともいう）を作成する。
【００９９】
ここで、第１差分画像データＳＤ１における第１反射高輝度位置ＬＰ１では高輝度になっているのに対し、第２差分画像データＳＤ２における第１反射高輝度位置ＬＰ１では高輝度になっていない。同様に、第２差分画像データＳＤ２における第２反射高輝度位置ＬＰ２では高輝度になっているのに対し、第１差分画像データＳＤ１における第２反射高輝度位置ＬＰ２では高輝度になっていない。そして、第１反射高輝度位置ＬＰ１および第２反射高輝度位置ＬＰ２以外の部分において、第１差分画像データＳＤ１と第２差分画像データＳＤ２とで重複している部分の輝度が、第１差分画像データＳＤ１と第２差分画像データＳＤ２とで同じであるとする。
【０１００】
この場合に、２回差分画像データは、第１差分画像データＳＤ１と第２差分画像データＳＤ２とで重複している部分において、第１反射高輝度位置ＬＰ１と第２反射高輝度位置ＬＰ２で高輝度となり、第１反射高輝度位置ＬＰ１と第２反射高輝度位置ＬＰ２以外では、輝度が０となる。
【０１０１】
これにより２回差分画像データでは、第１反射高輝度位置ＬＰ１と第２反射高輝度位置ＬＰ２のみで高輝度となる。このため、高輝度部分を検出することができる。
【０１０２】
したがって、高輝度部分を検出するために閾値を用いる必要がない。これにより、閾値の大きさによって、高輝度部分ではない部分を検出してしまったり、高輝度部分を検出することができなかったりすることがない。このため、高輝度部分の検出の信頼性を向上させることができる。
【０１０３】
そして次に、第１差分画像データＳＤ１と２回差分画像データと比較する。これにより、第１差分画像データＳＤ１における高輝度部分を特定することができる。さらに、第２差分画像データＳＤ２と２回差分画像データと比較する。これにより、第２差分画像データＳＤ２における高輝度部分を特定することができる。
【０１０４】
その後、第１差分画像データＳＤ１の第１反射高輝度位置ＬＰ１における画像情報を、第２撮影画像の第１反射高輝度位置ＬＰ１における画像情報に置き換えるか、第２差分画像データＳＤ２の第２反射高輝度位置ＬＰ２における画像情報を、第１差分画像データＳＤ１の第２差分画像データＳＤ２における画像情報に置き換える。これにより、高輝度部分の輝度を再現することができる。
【０１０５】
すなわち、高輝度部分の輝度を周辺画素の輝度に基づいて置換する必要がなく、実際に撮影した画像に基づいて置換するため、高輝度部分の輝度の再現性を向上させることができる。
【０１０６】
また、近赤外光照射機４，５が照射する光は近赤外光であり、近赤外光照射機４，５が共に近赤外光を照射していないときに、カメラ２による撮影を行い、非照射撮影画像データＣＤ１を作成する（Ｓ３０）。
【０１０７】
したがって、非照射撮影画像データＣＤ１は、近赤外光以外の光（例えば、太陽光などの外乱光）の影響を含む一方、近赤外光の影響を含まない画像となる。このため、Ｓ８０で作成した第１照射撮影画像データＣＤ２またはＳ１５０で作成した第２照射撮影画像データＣＤ３と、非照射撮影画像データＣＤ１とを差分した差分画像データ（第１差分画像データＳＤ１または第２差分画像データＳＤ２）を作成することにより、近赤外光以外の光の影響が低減された撮影画像データを取得することができる。
【０１０８】
以下に、図４に示す反射光除去処理により、高輝度部分を再現した画像を作成可能であることを、図５及び図６とともに説明する。
【０１０９】
図５は、眼鏡を装着した運転者ＤＲの顔を撮影することにより得られる非照射撮影画像データＣＤ１、第１照射撮影画像データＣＤ２、第２照射撮影画像データＣＤ３、第１差分画像データＳＤ１、及び第２差分画像データＳＤ２を模式的に示す図である。図６は、眼鏡を装着した運転者ＤＲの顔を撮影することにより得られる第１差分画像データＳＤ１、及び第２差分画像データＳＤ２、加算画像データＡＤ１、差分絶対値画像データＳＤ３、及び第３差分画像データＳＤ４を模式的に示す図である。
【０１１０】
非照射撮影画像データＣＤ１は、近赤外光照射機４，５が近赤外光を照射していないときに撮影されたものであるので、図５に示すように、顔全体において輝度が低い画像となる。また第１照射撮影画像データＣＤ２は、運転者ＤＲの右斜め前から近赤外光照射機４が近赤外光を照射しているときに撮影されたものであるので、顔の左端部で輝度が低く、左端部以外で輝度が高い画像となる。また第２照射撮影画像データＣＤ３は、運転者ＤＲの左斜め前から近赤外光照射機５が近赤外光を照射しているときに撮影されたものであるので、顔の右端部で輝度が低く、右端部以外で輝度が高い画像となる。
【０１１１】
このため、非照射撮影画像データＣＤ１の輝度と第１照射撮影画像データＣＤ２の輝度とを差分した第１差分画像データＳＤ１は、顔全体のうち左端部が除去された画像となる。また、非照射撮影画像データＣＤ１の輝度と第２照射撮影画像データＣＤ３の輝度とを差分した第２差分画像データＳＤ２は、顔全体のうち右端部が除去された画像となる。
【０１１２】
すなわち、第１差分画像データＳＤ１及び第２差分画像データＳＤ２は、近赤外光以外の光を受光することにより撮影された部分が除去された画像となる。
【０１１３】
なお、第１差分画像データＳＤ１の第１反射高輝度位置ＬＰ１は、第２差分画像データＳＤ２の第２反射高輝度位置ＬＰ２と異なる。
【０１１４】
ここで図６（ａ）に示すように、第１差分画像データＳＤ１の第１反射高輝度位置ＬＰ１における輝度を２３０、第１差分画像データＳＤ１の第１反射高輝度位置ＬＰ１以外における輝度を１００、第２差分画像データＳＤ２の第２反射高輝度位置ＬＰ２における輝度を２３０、第２差分画像データＳＤ２の第２反射高輝度位置ＬＰ２における輝度を１００とする。
【０１１５】
この場合、第１差分画像データＳＤ１の輝度と第２差分画像データＳＤ２の輝度とを加算した加算画像データＡＤ１では、図６（ｂ）に示すように、第１反射高輝度位置ＬＰ１及び第２反射高輝度位置ＬＰ２において輝度が３３０、第１反射高輝度位置ＬＰ１及び第２反射高輝度位置ＬＰ２以外の顔の中央部において輝度が２００、顔の左端部および右端部において輝度が１００となる。
【０１１６】
また、第１差分画像データＳＤ１の輝度と第２差分画像データＳＤ２の輝度との差分の絶対値を示す差分絶対値画像データＳＤ３では、図６（ｃ）に示すように、第１反射高輝度位置ＬＰ１及び第２反射高輝度位置ＬＰ２において輝度が１３０、第１反射高輝度位置ＬＰ１及び第２反射高輝度位置ＬＰ２以外の顔の中央部において輝度が０、顔の左端部および右端部において輝度が１００となる。
【０１１７】
このため、加算画像データＡＤ１の輝度と差分絶対値画像データＳＤ３の輝度とを差分した第３差分画像データＳＤ４では、図６（ｄ）に示すように、第１反射高輝度位置ＬＰ１及び第２反射高輝度位置ＬＰ２において輝度が２００、第１反射高輝度位置ＬＰ１及び第２反射高輝度位置ＬＰ２以外の顔の中央部において輝度が２００、顔の左端部および右端部において輝度が０となる。すなわち、高輝度部分である第１反射高輝度位置ＬＰ１及び第２反射高輝度位置ＬＰ２における輝度が再現されている。
【０１１８】
次に、本実施形態の画像撮影装置１を用いて反射光除去を行った結果を実施例として以下に説明する。
【０１１９】
図７は、「大きい眼鏡」を装着して「正面」に向いている人間ＨＭの顔を撮影することにより得られる非照射撮影画像データＣＤ１、第１照射撮影画像データＣＤ２、第２照射撮影画像データＣＤ３、第１差分画像データＳＤ１、第２差分画像データＳＤ２、及び第３差分画像データＳＤ４を示す図である。
【０１２０】
図７に示すように、非照射撮影画像データＣＤ１には、人間ＨＭの上方に配置された照明に起因した高輝度部分ＨＢ１と、人間ＨＭの後ろに配置されている背景物ＢＯが写っている。
【０１２１】
また第１照射撮影画像データＣＤ２には、高輝度部分ＨＢ１と背景物ＢＯと、近赤外光照射機４の近赤外光に起因した高輝度部分ＨＢ２が写っている。
【０１２２】
また第２照射撮影画像データＣＤ３には、高輝度部分ＨＢ１と背景物ＢＯと、近赤外光照射機５の近赤外光に起因した高輝度部分ＨＢ３が写っている。
【０１２３】
そして第１差分画像データＳＤ１には、高輝度部分ＨＢ１と背景物ＢＯが写っておらず、高輝度部分ＨＢ２が写っている。すなわち第１差分画像データＳＤ１は、近赤外光以外の光を受光することにより撮影された部分（高輝度部分ＨＢ１と背景物ＢＯ）が除去された画像となる。
【０１２４】
同様に第２差分画像データＳＤ２には、高輝度部分ＨＢ１と背景物ＢＯが写っておらず、高輝度部分ＨＢ３が写っている。すなわち第２差分画像データＳＤ２は、近赤外光以外の光を受光することにより撮影された部分（高輝度部分ＨＢ１と背景物ＢＯ）が除去された画像となる。
【０１２５】
そして第３差分画像データＳＤ４には、高輝度部分ＨＢ１、背景物ＢＯ、高輝度部分ＨＢ２、及び高輝度部分ＨＢ３が写っていない。すなわち第３差分画像データＳＤ４は、近赤外光以外の光を受光することにより撮影された部分が除去されるとともに、高輝度部分ＨＢ２及び高輝度部分ＨＢ３が再現された画像となる。
【０１２６】
図８は、「小さい眼鏡」を装着して「正面」に向いている人間の顔を撮影することにより得られる非照射撮影画像データＣＤ１、第１照射撮影画像データＣＤ２、第２照射撮影画像データＣＤ３、第１差分画像データＳＤ１、第２差分画像データＳＤ２、及び第３差分画像データＳＤ４を示す図である。
【０１２７】
図８に示すように、「小さい眼鏡」を装着している場合でも、第３差分画像データＳＤ４は、高輝度部分ＨＢ２及び高輝度部分ＨＢ３が再現された画像となる。
【０１２８】
図９は、「大きい眼鏡」を装着して「斜め」に向いている人間の顔を撮影することにより得られる非照射撮影画像データＣＤ１、第１照射撮影画像データＣＤ２、第２照射撮影画像データＣＤ３、第１差分画像データＳＤ１、第２差分画像データＳＤ２、及び第３差分画像データＳＤ４を示す図である。
【０１２９】
図９に示すように、眼鏡を装着して「斜め」に向いている場合でも、第３差分画像データＳＤ４は、高輝度部分ＨＢ２及び高輝度部分ＨＢ３が再現された画像となる。
【０１３０】
図１０は、第３差分画像データＳＤ４を作成するための動作を説明するタイムチャートである。
【０１３１】
図１０に示すように、カメラ２は、撮影間隔Ｔｃ毎に撮影を行う。また近赤外光照射機４は、カメラ２が撮影を行うタイミングと一致するようにして、撮影間隔Ｔｃの３倍の時間間隔毎に近赤外光を照射する。また近赤外光照射機５は、近赤外光照射機４による照射開始から撮影間隔Ｔｃ経過後となるタイミングで、撮影間隔Ｔｃの３倍の時間間隔毎に近赤外光を照射する。
【０１３２】
したがって画像撮影装置１は、撮影間隔Ｔｃ毎に、非照射撮影画像データＣＤ１、第１照射撮影画像データＣＤ２、第２照射撮影画像データＣＤ３の順で撮影画像データを作成する。
【０１３３】
そして画像撮影装置１は、第１照射撮影画像データＣＤ２が作成される毎に第１差分画像データＳＤ１を作成するとともに、第２照射撮影画像データＣＤ３が作成される毎に第２差分画像データＳＤ２を作成する。
【０１３４】
さらに画像撮影装置１は、第２差分画像データＳＤ２が作成される毎に第３差分画像データＳＤ４を作成する。つまり画像撮影装置１は、撮影間隔Ｔｃの３倍の時間間隔毎に第３差分画像データＳＤ４を作成する。
【０１３５】
またカメラ２は、近赤外光照射機４の配置位置と近赤外光照射機５の配置位置との間の中間的な位置に配置されている。このため、近赤外光照射機４または近赤外光照射機５の配置位置に近接した位置にカメラ２が配置される場合と比較して、第１照射撮影画像データＣＤ２により表される画像（以下、第１撮影画像ともいう）内に示される撮影対象物体の像と、第２照射撮影画像データＣＤ３により表される画像（以下、第２撮影画像ともいう）内に示される撮影対象物体の像との相違が小さくなる。すなわち、第１撮影画像内に示される撮影対象物体と第２撮影画像内に示される撮影対象物体とで重複する領域が多くなる。つまり、カメラ２が撮影した画像について、高輝度部分の輝度を再現することができる領域を多くすることができる。
【０１３６】
また画像撮影装置１は、車両に搭載され、車両を運転する運転者の顔を撮影する。これにより、運転者の顔を撮影した画像について、高輝度部分を再現性よく再現した画像を作成することができる。このため、運転者の顔を撮影した画像について運転者の眼の部分が高輝度になっても、運転者の眼の部分の画像情報を再現することができるため、運転者の顔向きや視線の検出精度を向上させることができる。
【０１３７】
以上説明した実施形態において、近赤外光照射機４は本発明における第１光照射手段、近赤外光照射機５は本発明における第２光照射手段、カメラ２は本発明における撮像手段、Ｓ７０およびＳ１００の処理は本発明における第１照射制御手段および第１照射制御手順、Ｓ８０の処理は本発明における第１画像取得手段および第１画像取得手順、Ｓ１４０およびＳ１７０の処理は本発明における第２照射制御手段および第２照射制御手順、Ｓ１５０の処理は本発明における第２画像取得手段および第２画像取得手順、照射領域Ｒ１は本発明における第１照射領域、照射領域Ｒ２は本発明における第２照射領域である。
【０１３８】
また、Ｓ１９０の処理は本発明における画像加算手段および画像加算手順、Ｓ２００の処理は本発明における第１画像差分手段および第１画像差分手順、Ｓ２１０の処理は本発明における第２画像差分手段および第２画像差分手順、Ｓ３０の処理は本発明における第３画像取得手段および第３画像取得手順、第１照射撮影画像データＣＤ２は本発明における第１撮影画像、第２照射撮影画像データＣＤ３は本発明における第２撮影画像、加算画像データＡＤ１は本発明における加算画像、差分絶対値画像データＳＤ３は本発明における第１差分画像、第３差分画像データＳＤ４は本発明における第２差分画像である。
【０１３９】
（第２実施形態）
以下に本発明の第２実施形態を図面とともに説明する。なお、第２実施形態では、第１実施形態と異なる部分のみを説明する。
【０１４０】
第２実施形態の画像撮影装置１は、反射光除去処理の代わりに、近赤外光の照射タイミングとカメラ２の撮影タイミングを制御するための照射撮影処理と、第１差分画像データＳＤ１及び第２差分画像データＳＤ２を作成する差分画像作成処理と、反射光の影響を除去した画像を作成する反射光除去画像作成処理とをそれぞれ独立に実行する点以外は第１実施形態と同じである。
【０１４１】
まず、画像撮影装置１の制御部６が実行する照射撮影処理の手順を、図１１を用いて説明する。図１１は照射撮影処理を示すフローチャートである。この照射撮影処理は、制御部６が起動（電源オン）している間に繰り返し実行される処理である。
【０１４２】
この照射撮影処理が実行されると、制御部６は、まずＳ３１０にて、第１撮影判定タイマＴＭ１の値（第１撮影判定タイマ値）が撮影間隔判定値以上であるか否かを判断する。
【０１４３】
ここで、第１撮影判定タイマ値が撮影間隔判定値未満である場合には（Ｓ３１０：ＮＯ）、Ｓ３１０に移行して上述の処理を繰り返すことにより待機する。一方、第１撮影判定タイマ値が撮影間隔判定値以上である場合には（Ｓ３１０：ＹＥＳ）、Ｓ３２０にて、第１撮影判定タイマＴＭ１の値を０に設定する。そしてＳ３３０にて、カメラ２による撮影を行い、カメラ２により撮影した画像のデータ（非照射撮影画像データＣＤ１）を作成する。その後Ｓ３４０にて、Ｓ３３０で作成した非照射撮影画像データＣＤ１を、制御部６内のＲＡＭに記憶する。
【０１４４】
次にＳ３５０にて、第１撮影判定タイマ値が撮影間隔判定値以上であるか否かを判断する。ここで、第１撮影判定タイマ値が撮影間隔判定値未満である場合には（Ｓ３５０：ＮＯ）、Ｓ３５０に移行して上述の処理を繰り返すことにより待機する。一方、第１撮影判定タイマ値が撮影間隔判定値以上である場合には（Ｓ３５０：ＹＥＳ）、Ｓ３６０にて、第１撮影判定タイマＴＭ１の値を０に設定する。そしてＳ３７０にて、近赤外光照射機４に、近赤外光の照射を開始させる。
【０１４５】
その後Ｓ３８０にて、カメラ２による撮影を行い、カメラ２により撮影した画像のデータ（第１照射撮影画像データＣＤ２）を作成する。そしてＳ３９０にて、Ｓ３８０で作成した第１照射撮影画像データＣＤ２を、制御部６内のＲＡＭに記憶する。さらにＳ４００にて、近赤外光照射機４に、近赤外光の照射を終了させる。
【０１４６】
次にＳ４１０にて、第１撮影判定タイマ値が撮影間隔判定値以上であるか否かを判断する。ここで、第１撮影判定タイマ値が撮影間隔判定値未満である場合には（Ｓ４１０：ＮＯ）、Ｓ４１０に移行して上述の処理を繰り返すことにより待機する。一方、第１撮影判定タイマ値が撮影間隔判定値以上である場合には（Ｓ４１０：ＹＥＳ）、Ｓ４２０にて、第１撮影判定タイマＴＭ１の値を０に設定する。そしてＳ４３０にて、近赤外光照射機５に、近赤外光の照射を開始させる。
【０１４７】
その後Ｓ４４０にて、カメラ２による撮影を行い、カメラ２により撮影した画像のデータ（第２照射撮影画像データＣＤ３）を作成する。そしてＳ４５０にて、Ｓ４４０で作成した第２照射撮影画像データＣＤ３を、制御部６内のＲＡＭに記憶する。さらにＳ４６０にて、近赤外光照射機４に、近赤外光の照射を終了させて、撮影間隔判定値を一旦終了する。
【０１４８】
次に、画像撮影装置１の制御部６が実行する差分画像作成処理の手順を、図１２を用いて説明する。図１２は差分画像作成処理を示すフローチャートである。この差分画像作成処理は、制御部６が起動（電源オン）している間に繰り返し実行される処理である。
【０１４９】
この差分画像作成処理が実行されると、制御部６は、まずＳ５１０にて、第２撮影判定タイマＴＭ２の値（以下、第２撮影判定タイマ値という）が撮影間隔判定値以上であるか否かを判断する。なお、第２撮影判定タイマＴＭ２は例えば１μｓごとに自動的にインクリメントするタイマであり、ある時点でその値が０に設定されると、その時点で再び０からインクリメントする。また第２撮影判定タイマＴＭ２は、制御部６が起動した直後に、第１撮影判定タイマＴＭ１がインクリメントを開始してから予め設定された第１遅延時間が経過した後にインクリメントを開始するようにされている。
【０１５０】
ここで、第２撮影判定タイマ値が撮影間隔判定値未満である場合には（Ｓ５１０：ＮＯ）、Ｓ５１０に移行して上述の処理を繰り返すことにより待機する。一方、第２撮影判定タイマ値が撮影間隔判定値以上である場合には（Ｓ５１０：ＹＥＳ）、Ｓ５２０にて、第２撮影判定タイマＴＭ２の値を０に設定する。そしてＳ５３０にて、Ｓ３３０で作成した非照射撮影画像データＣＤ１の輝度と、Ｓ３８０で作成した第１照射撮影画像データＣＤ２の輝度とを差分した画像データ（第１差分画像データＳＤ１）を作成する。
【０１５１】
その後Ｓ５４０にて、第２撮影判定タイマ値が撮影間隔判定値以上であるか否かを判断する。ここで、第２撮影判定タイマ値が撮影間隔判定値未満である場合には（Ｓ５４０：ＮＯ）、Ｓ５４０に移行して上述の処理を繰り返すことにより待機する。一方、第２撮影判定タイマ値が撮影間隔判定値以上である場合には（Ｓ５４０：ＹＥＳ）、Ｓ５５０にて、第２撮影判定タイマＴＭ２の値を０に設定する。そしてＳ５６０にて、Ｓ３３０で作成した非照射撮影画像データＣＤ１の輝度と、Ｓ４４０で作成した第１照射撮影画像データＣＤ２の輝度とを差分した画像データ（第２差分画像データＳＤ２）を作成し、差分画像作成処理を一旦終了する。
【０１５２】
次に、画像撮影装置１の制御部６が実行する反射光除去画像作成処理の手順を、図１３を用いて説明する。図１３は反射光除去画像作成処理を示すフローチャートである。この反射光除去画像作成処理は、制御部６が起動（電源オン）している間に繰り返し実行される処理である。
【０１５３】
この反射光除去画像作成処理が実行されると、制御部６は、まずＳ６１０にて、第３撮影判定タイマＴＭ３の値（以下、第３撮影判定タイマ値という）が撮影間隔判定値以上であるか否かを判断する。なお、第３撮影判定タイマＴＭ３は例えば１μｓごとに自動的にインクリメントするタイマであり、ある時点でその値が０に設定されると、その時点で再び０からインクリメントする。また第３撮影判定タイマＴＭ３は、制御部６が起動した直後に、第２撮影判定タイマＴＭ２がインクリメントを開始してから予め設定された第２遅延時間が経過した後にインクリメントを開始するようにされている。
【０１５４】
ここで、第３撮影判定タイマ値が撮影間隔判定値未満である場合には（Ｓ６１０：ＮＯ）、Ｓ６１０に移行して上述の処理を繰り返すことにより待機する。一方、第３撮影判定タイマ値が撮影間隔判定値以上である場合には（Ｓ６１０：ＹＥＳ）、Ｓ６２０にて、第３撮影判定タイマＴＭ３の値を０に設定する。
【０１５５】
そしてＳ６３０にて、Ｓ５３０で作成した第１差分画像データＳＤ１の輝度と、Ｓ５６０で作成した第２差分画像データＳＤ２の輝度とを加算した画像データ（加算画像データＡＤ１）を作成する。さらにＳ６４０にて、Ｓ５３０で作成した第１差分画像データＳＤ１の輝度と、Ｓ５６０で作成した第２差分画像データＳＤ２の輝度との差分の絶対値を示す画像データ（差分絶対値画像データＳＤ３）を作成する。
【０１５６】
その後Ｓ６５０にて、Ｓ６３０で作成した加算画像データＡＤ１の輝度と、Ｓ６４０で作成した差分絶対値画像データＳＤ３の輝度とを差分した画像データ（第３差分画像データＳＤ４）を作成し、反射光除去画像作成処理を一旦終了する。
【０１５７】
図１４は、第３差分画像データＳＤ４を作成するための動作を説明するタイムチャートである。
【０１５８】
このように構成された画像撮影装置１では、図１４に示すように、カメラ２が、撮影間隔Ｔｃ毎に撮影を行う。また近赤外光照射機４は、カメラ２が撮影を行うタイミングと一致するようにして、撮影間隔Ｔｃの３倍の時間間隔毎に近赤外光を照射する。また近赤外光照射機５は、近赤外光照射機４による照射開始から撮影間隔Ｔｃ経過後となるタイミングで、撮影間隔Ｔｃの３倍の時間間隔毎に近赤外光を照射する。
【０１５９】
したがって画像撮影装置１は、撮影間隔Ｔｃ毎に、非照射撮影画像データＣＤ１、第１照射撮影画像データＣＤ２、第２照射撮影画像データＣＤ３の順で撮影画像データを作成する。
【０１６０】
そして画像撮影装置１は、作成された最新の非照射撮影画像データＣＤ１と最新の第１照射撮影画像データＣＤ２とを用いて第１差分画像データＳＤ１を作成する処理と、作成された最新の非照射撮影画像データＣＤ１と最新の第２照射撮影画像データＣＤ３とを用いて第２差分画像データＳＤ２を作成する処理とを、撮影間隔Ｔｃ毎に交互に行う。
【０１６１】
さらに画像撮影装置１は、第１差分画像データＳＤ１または第２差分画像データＳＤ２が作成される毎に、作成された最新の第１差分画像データＳＤ１と、作成された最新の第２差分画像データＳＤ２とを用いて、第３差分画像データＳＤ４を作成する。
【０１６２】
つまり画像撮影装置１は、撮影間隔Ｔｃ毎に第３差分画像データＳＤ４を作成することができる。
【０１６３】
以上、本発明の一実施例について説明したが、本発明は上記実施例に限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採ることができる。
【０１６４】
例えば上記実施形態においては、画像撮影装置１が運転者の顔を撮影するものを示したが、画像撮影装置１の撮影対象はこれに限られるものではなく、反射光の影響を除去する必要がある撮影対象であればよい。
【０１６５】
また上記実施形態においては、運転者の顔全体を撮影対象とするものを示したが、運転者の目周辺のみを撮影対象とするようにしてもよい。
【０１６６】
また上記実施形態においては、近赤外光照射機４の配置位置と近赤外光照射機５の配置位置とを結ぶ線（以下、照射機連結線ともいう）上において、近赤外光照射機４の配置位置と近赤外光照射機５の配置位置との略中間点となる位置にカメラ２が配置されるとともに、近赤外光照射機４，５の配置位置の高さとカメラ２の配置位置の高さとが等しいものを示したが、これに限られるものではなく、近赤外光照射機４の配置位置と近赤外光照射機５の配置位置との間の中間的な位置にカメラ２が配置されるものとしては、例えば以下のものが挙げられる。
【０１６７】
まず図１５（ａ），（ｂ）に示すように、照射機連結線上の上記中間点に直交する線上にカメラ２が配置されるようにして、近赤外光照射機４，５の配置位置の高さとカメラ２の配置位置の高さとが異なるようにしてもよい。
【０１６８】
また図１６（ａ），（ｂ）に示すように、近赤外光照射機４の配置位置の高さと近赤外光照射機５の配置位置の高さとが異なり、照射機連結線上において、近赤外光照射機４の配置位置と近赤外光照射機５の配置位置との略中間点となる位置にカメラ２が配置されるようにしてもよい。
【０１６９】
また、近赤外光照射機４，５による近赤外光の照射方向は上記実施形態に示すものに限られるものではない。
【０１７０】
例えば図１７（ａ）に示すように、近赤外光照射機４，５がそれぞれ異なる照射方向で運転者ＤＲの顔に向けて近赤外光を照射すると、図１７（ｂ）に示すように、第１照射撮影画像データＣＤ２における第１反射高輝度位置ＬＰ１と、第２照射撮影画像データＣＤ３における第２反射高輝度位置ＬＰ２とが異なる。
【０１７１】
また図１８（ａ）に示すように、近赤外光照射機４により照射されて運転者ＤＲの顔で反射した反射光ＲＬ１と、近赤外光照射機５により照射されて運転者ＤＲの顔で反射した反射光ＲＬ２は、カメラ２のレンズ２１を通過して、二次元格子状に配列された複数の個体撮像素子２２により構成されたイメージセンサ２３上に集光される。
【０１７２】
そして図１８（ｂ）に示すように、二次元格子状に配列された複数の個体撮像素子２２上において、第１反射高輝度位置ＬＰ１に対応する反射光ＲＬ１が到達する位置ＡＰ１と、第２反射高輝度位置ＬＰ２に対応する反射光ＲＬ２が到達する位置ＡＰ２とが、個体撮像素子２２の配列間隔ＳＰ以上離れているように、近赤外光照射機４，５による近赤外光の照射方向が設定される必要がある。第１反射高輝度位置ＬＰ１と第２反射高輝度位置ＬＰ２とが重ならないようにするためである。
【０１７３】
すなわち、近赤外光照射機４，５の照射方向は、位置ＡＰ１と位置ＡＰ２とがイメージセンサ２３上で１画素以上離れているように設定されていればよい。
【０１７４】
また上記実施形態においては、式（１２）〜（１４）を用いて第３差分画像データＳＤ４を作成するものを示したが、例えば、式（１５）または式（１６）を用いて第３差分画像データＳＤ４を作成するようにしてもよい。
【０１７５】
【数１】
2010124043.tif 000003
また上記実施形態においては、式（１０）及び式（１１）を用いて第１差分画像データＳＤ１及び第２差分画像データＳＤ２を作成するとともに、Ｐｃ（Ｘ，Ｙ）が０より小さくなる場合にはＰｃ（Ｘ，Ｙ）＝０とし、Ｐｄ（Ｘ，Ｙ）が０より小さくなる場合にはＰｄ（Ｘ，Ｙ）＝０とするものを示した。しかし、近赤外光照射機４，５により照射される近赤外光の光量が十分に大きい場合には、式（１７）及び式（１８）を用いて第１差分画像データＳＤ１及び第２差分画像データＳＤ２を作成するようにしてもよい。この場合には、Ｐｃ（Ｘ，Ｙ）及びＰｄ（Ｘ，Ｙ）が０より小さくなることはない。このため、Ｐｃ（Ｘ，Ｙ）が０より小さくなる場合にはＰｃ（Ｘ，Ｙ）＝０とし、Ｐｄ（Ｘ，Ｙ）が０より小さくなる場合にはＰｄ（Ｘ，Ｙ）＝０とする処理は不要となる。
【０１７６】
Ｐｃ（Ｘ，Ｙ）  ＝  ｜Ｐａ（Ｘ，Ｙ）−Ｐｎ（Ｘ，Ｙ）｜    ・・・（１７）
Ｐｄ（Ｘ，Ｙ）  ＝  ｜Ｐｂ（Ｘ，Ｙ）−Ｐｎ（Ｘ，Ｙ）｜    ・・・（１８）
また上記実施形態においては、カメラ２及び近赤外光照射機４，５がインストルメントパネルＩＰの付近に配置されているものを示したが、運転者ＤＲの顔を撮影するとともに運転者ＤＲの顔に向けて近赤外光を照射することができれば、これに限られることはなく、例えば、ステアリングコラムの付近に配置されるようにしてもよい。
【０１７７】
また画像撮影装置１は、第３差分画像データＳＤ４により表される画像を表示するための表示手段を備えるようにしてもよい。
【図面の簡単な説明】
【０１７８】
【図１】画像撮影装置１の構成を示すブロック図である。
【図２】車両の運転席から車両前方を眺めた際のカメラ２及び近赤外光照射機４，５の配置を示す図である。
【図３】第１実施形態におけるカメラ２の撮影可能領域と近赤外光照射機４，５の照射領域を示すための平面図および側面図である。
【図４】反射光除去処理を示すフローチャートである。
【図５】運転者の顔を撮影して得られる画像データを模式的に示す図である。
【図６】運転者の顔を撮影して得られる差分画像データ等を模式的に示す図である。
【図７】大きい眼鏡を装着して正面に向いている人間の顔を撮影した画像データを示す図である。
【図８】小さい眼鏡を装着して正面に向いている人間の顔を撮影した画像データを示す図である。
【図９】大きい眼鏡を装着して斜めに向いている人間の顔を撮影した画像データを示す図である。
【図１０】第１実施形態の第３差分画像データＳＤ４を作成するための動作を説明するタイムチャートである。
【図１１】照射撮影処理を示すフローチャートである。
【図１２】差分画像作成処理を示すフローチャートである。
【図１３】反射光除去画像作成処理を示すフローチャートである。
【図１４】第２実施形態の第３差分画像データＳＤ４を作成するための動作を説明するタイムチャートである。
【図１５】別の実施形態におけるカメラ２の撮影可能領域と近赤外光照射機４，５の照射領域を示すための平面図および側面図である。
【図１６】別の実施形態におけるカメラ２の撮影可能領域と近赤外光照射機４，５の照射領域を示すための平面図および側面図である。
【図１７】近赤外光照射機４，５の照射方向を示すための平面図、及び第１反射高輝度位置ＬＰ１及び第２反射高輝度位置ＬＰ２を示す図である。
【図１８】反射光ＲＬ１及び反射光ＲＬ２の経路を示すイメージセンサ２３の側面図および平面図である。
【符号の説明】
【０１７９】
１…画像撮影装置、２…カメラ、３…画像キャプチャーボード、４，５…近赤外光照射機、６…制御部、ＡＤ１…加算画像データ、ＣＤ１…非照射撮影画像データ、ＣＤ２…第１照射撮影画像データ、ＣＤ３…第２照射撮影画像データ、ＳＤ１…第１差分画像データ、ＳＤ２…第２差分画像データ、ＳＤ３…差分絶対値画像データ、ＳＤ４…第３差分画像データ
【図１】
2010124043.tif 000004
【図２】
2010124043.tif 000005
【図４】
2010124043.tif 000006
【図１０】
2010124043.tif 000007
【図１１】
2010124043.tif 000008
【図１２】
2010124043.tif 000009
【図１３】
2010124043.tif 000010
【図１４】
2010124043.tif 000011
【図３】
2010124043.tif 000012
【図５】
2010124043.tif 000013
【図６】
2010124043.tif 000014
【図７】
2010124043.tif 000015
【図８】
2010124043.tif 000016
【図９】
2010124043.tif 000017
【図１５】
2010124043.tif 000018
【図１６】
2010124043.tif 000019
【図１７】
2010124043.tif 000020
【図１８】
2010124043.tif 000021