(57)【要約】【課題】ユーザの撮像を適切に行う。【解決手段】撮像装置１０は、発光部１１と、ユーザと発光部１１との第一距離が第一閾値以下であるか否かを検出する検出部１２と、第一距離が第一閾値以下であることを検出部１２が検出した場合に、ユーザに照射される光の量が低下するように発光部１１の制御をする制御部１３と、制御部１３による制御の下で発光部１１が出射してユーザにより反射された光によって、ユーザを撮像する撮像部１４とを備える。【選択図】図２
2020102667.tif 000002
【特許請求の範囲】
【請求項１】
発光部と、
ユーザと前記発光部との第一距離が第一閾値以下であるか否かを検出する検出部と、
前記第一距離が前記第一閾値以下であることを前記検出部が検出した場合に、前記ユーザに照射される光の量が低下するように前記発光部の制御をする制御部と、
前記制御部による前記制御の下で前記発光部が出射してユーザにより反射された光によって、前記ユーザを撮像する撮像部とを備える
撮像装置。
【請求項２】
前記検出部は、
前記発光部に近傍に配置される近接センサを有し、
前記近接センサによって前記ユーザと前記発光部とが前記第一閾値以下にまで近接したことを検出したことに基づいて、前記第一距離が前記第一閾値以下であることを検出する
請求項１に記載の撮像装置。
【請求項３】
前記発光部は、前記撮像部の近傍に配置されており、前記ユーザと前記撮像部との第二距離が前記第一距離と略同一であり、
前記検出部は、前記撮像部が撮像した画像における輝度値が所定値以上であることを判定したことに基づいて、前記第一距離が前記第一閾値以下であることを検出する
請求項１に記載の撮像装置。
【請求項４】
前記発光部は、前記撮像部の近傍に配置されており、前記ユーザと前記撮像部との第二距離が前記第一距離と略同一であり、
前記撮像部は、オートフォーカス機能を有し、
前記検出部は、
前記撮像部が前記ユーザにフォーカスすることで得られる前記第二距離に基づいて前記第一距離を取得し、取得した前記第一距離が前記第一閾値以下であることを検出する
請求項１に記載の撮像装置。
【請求項５】
前記発光部は、前記撮像部の近傍に配置されており、前記ユーザと前記撮像部との第二距離が前記第一距離と略同一であり、
前記撮像部は、ステレオカメラであり、前記ユーザを繰り返し撮像し、
前記検出部は、前記撮像部が前記ユーザを撮像することにより得られる前記第二距離に基づいて前記第一距離を取得し、取得した前記第一距離が前記第一閾値以下であることを検出する
請求項１に記載の撮像装置。
【請求項６】
前記検出部は、
（ａ）前記撮像部である第一撮像部とは異なる位置に配置され、前記ユーザを撮像するオートフォーカス機能を有する第二撮像部を有する他の撮像装置から、前記第二撮像部が前記ユーザにフォーカスすることで得られる、前記ユーザと前記第二撮像部との距離と、
（ｂ）前記第二撮像部が撮像した画像における前記ユーザの位置から得られる、前記第二撮像部から前記第一撮像部へ向かう方向と、前記第二撮像部から前記ユーザへ向かう方向とのなす角の角度と、
（ｃ）前記第一撮像部と前記第二撮像部との距離と、
に基づいて、前記第一距離を算出し、算出した前記第一距離が前記第一閾値以下であるか否かを検出する
請求項１に記載の撮像装置。
【請求項７】
前記制御部は、前記発光部が光を出射する頻度を低下させることで前記制御をする
請求項１〜６のいずれか１項に記載の撮像装置。
【請求項８】
前記制御部は、前記発光部が光を出射する強度を低下させることで前記制御をする
請求項１〜７のいずれか１項に記載の撮像装置。
【請求項９】
前記発光部は、複数の発光素子を有し、
前記制御部は、前記複数の発光素子のうち、発光させる発光素子の個数を減少させることで前記制御をする
請求項１〜８のいずれか１項に記載の撮像装置。
【請求項１０】
前記撮像装置は、さらに、
前記発光部である第一発光部と比較して、前記ユーザが存在する位置として想定される位置より遠方に配置される第二発光部を備え、
前記制御部は、前記第一発光部による光の出射を停止し、かつ、第二発光部による光の出射を開始することで、前記制御をする
請求項１〜９のいずれか１項に記載の撮像装置。
【請求項１１】
請求項１〜１０のいずれか１項に記載の撮像装置である第一撮像装置と、
請求項１〜１０のいずれか１項に記載の撮像装置である第二撮像装置とを備え、
前記第一撮像装置の前記検出部が、前記第一距離が第一閾値以下であることを検出した場合に、前記第二撮像装置の前記撮像部が前記ユーザを撮像する
撮像システム。
【請求項１２】
発光部を備える撮像装置の制御方法であって、
ユーザと前記発光部との第一距離が第一閾値以下であるか否かを検出する検出ステップと、
前記第一距離が前記第一閾値以下であることを前記検出ステップで検出した場合に、前記ユーザに照射される光の量が低下するように前記発光部の制御をする制御ステップと、
前記制御ステップによる前記制御の下で前記発光部が出射してユーザにより反射された光によって、前記ユーザを撮像する撮像ステップとを含む
制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像システム、及び、制御方法に関する。
【背景技術】
【０００２】
車両の運転者などの乗員を撮像し、撮像により生成した画像に基づいて運転者の視線又は運転者の状態を判定する装置がある。この撮像の際には、光源からユーザに照射され、ユーザによって反射された光を用いて、ユーザが撮像される。
【０００３】
従来、車両の乗員の状態を監視する装置において、消費電力の低減を目的として、発光機能を停止すべき状況において発光機能を低下させる技術がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１０３５３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の装置では、通常使用時、言い換えれば発光機能を停止すべき状況でないときには、発光機能を低下させる制御はなされない。
【０００６】
一方、ユーザが発光部に近づきすぎると、ユーザに照射され反射される光が強すぎることによって撮像された画像に映っているユーザの画像部分の画素値が飽和する現象（いわゆる白とび）が起こり、ユーザの撮像が適切に行えないという問題がある。
【０００７】
そこで、本発明は、ユーザの撮像を適切に行うことができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様に係る撮像装置は、発光部と、ユーザと前記発光部との第一距離が第一閾値以下であるか否かを検出する検出部と、前記第一距離が前記第一閾値以下であることを前記検出部が検出した場合に、前記ユーザに照射される光の量が低下するように前記発光部の制御をする制御部と、前記制御部による前記制御の下で前記発光部が出射してユーザにより反射された光によって、前記ユーザを撮像する撮像部とを備える。
【０００９】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【００１０】
本発明に係る撮像装置は、ユーザの撮像を適切に行うことができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施の形態１に係る撮像装置が車両に搭載された状態の第一例を示す模式図である。
【図２】図２は、実施の形態１に係る撮像装置の機能構成を示すブロック図である。
【図３】図３は、実施の形態１に係る撮像装置の外観を示す模式図である。
【図４】図４は、実施の形態１に係る発光部が出射する光の量の調整を示す説明図である。
【図５】図５は、実施の形態１に係る撮像装置が行う処理を示すフロー図である。
【図６】図６は、実施の形態１の変形例１に係る撮像装置が車両に搭載された状態の第三例を示す模式図である。
【図７】図７は、実施の形態１の変形例１に係る撮像装置が車両に搭載された状態の第四例を示す模式図である。
【図８】図８は、実施の形態１の変形例２に係る撮像装置の機能構成を示すブロック図である。
【図９】図９は、実施の形態１の変形例３に係る撮像装置の機能構成を示すブロック図である。
【図１０】図１０は、実施の形態１の変形例３に係る処理部による距離の算出の原理を示す説明図である。
【図１１】図１１は、実施の形態２に係る撮像装置が車両に搭載された状態の例を示す模式図である。
【発明を実施するための形態】
【００１２】
本発明の一態様に係る撮像装置は、発光部と、ユーザと前記発光部との第一距離が第一閾値以下であるか否かを検出する検出部と、前記第一距離が前記第一閾値以下であることを前記検出部が検出した場合に、前記ユーザに照射される光の量が低下するように前記発光部の制御をする制御部と、前記制御部による前記制御の下で前記発光部が出射してユーザにより反射された光によって、前記ユーザを撮像する撮像部とを備える。
【００１３】
上記態様によれば、撮像装置は、発光機能を停止すべき状況でない通常使用時であっても、発光部から第一閾値の距離以内にユーザが近づいた場合に発光機能を低下させる。これにより、ユーザに照射される光の量が低下し、撮像された画像におけるユーザの画像部分の画素値の飽和（いわゆる白とび）が回避される。このように、撮像装置は、通常使用時においても必要に応じて発光機能を低下させることによって、ユーザの撮像を適切に行うことができる。
【００１４】
例えば、前記検出部は、前記発光部に近傍に配置される近接センサを有し、前記近接センサによって前記ユーザと前記発光部とが前記第一閾値以下にまで近接したことを検出したことに基づいて、前記第一距離が前記第一閾値以下であることを検出してもよい。
【００１５】
上記態様によれば、撮像装置は、近接センサによる近接の検出を用いて、より容易に、発光部から第一閾値の距離以内にユーザが近づいたことを検出できる。よって、撮像装置は、ユーザの撮像をより容易に行うことができる。
【００１６】
例えば、前記発光部は、前記撮像部の近傍に配置されており、前記ユーザと前記撮像部との第二距離が前記第一距離と略同一であり、前記検出部は、前記撮像部が撮像した画像における輝度値が所定値以上であることを判定したことに基づいて、前記第一距離が前記第一閾値以下であることを検出してもよい。
【００１７】
上記態様によれば、撮像装置は、実際に撮像することで生成した画像における輝度値を用いて、発光部から第一閾値の距離以内にユーザが近づいたことを検出できる。よって、撮像装置は、実際の撮像された画像に基づいてユーザの撮像をより容易に行うことができる。
【００１８】
例えば、前記発光部は、前記撮像部の近傍に配置されており、前記ユーザと前記撮像部との第二距離が前記第一距離と略同一であり、前記撮像部は、オートフォーカス機能を有し、前記検出部は、前記撮像部が前記ユーザにフォーカスすることで得られる前記第二距離に基づいて前記第一距離を取得し、取得した前記第一距離が前記第一閾値以下であることを検出してもよい。
【００１９】
上記態様によれば、撮像装置は、ユーザにフォーカスすることで得られるフォーカス位置を利用して、発光部から第一閾値の距離以内にユーザが近づいたことを検出できる。よって、撮像装置は、オートフォーカス機能に基づいてユーザの撮像をより容易に行うことができる。
【００２０】
例えば、前記発光部は、前記撮像部の近傍に配置されており、前記ユーザと前記撮像部との第二距離が前記第一距離と略同一であり、前記撮像部は、ステレオカメラであり、前記ユーザを繰り返し撮像し、前記検出部は、前記撮像部が前記ユーザを撮像することにより得られる前記第二距離に基づいて前記第一距離を取得し、取得した前記第一距離が前記第一閾値以下であることを検出してもよい。
【００２１】
上記態様によれば、撮像装置は、ステレオカメラにより得られる奥行き情報を利用して、発光部から第一閾値の距離以内にユーザが近づいたことを検出できる。よって、撮像装置は、ステレオカメラ機能に基づいてユーザの撮像をより容易に行うことができる。
【００２２】
例えば、前記検出部は、（ａ）前記撮像部である第一撮像部とは異なる位置に配置され、前記ユーザを撮像するオートフォーカス機能を有する第二撮像部を有する他の撮像装置から、前記第二撮像部が前記ユーザにフォーカスすることで得られる、前記ユーザと前記第二撮像部との距離と、（ｂ）前記第二撮像部が撮像した画像における前記ユーザの位置から得られる、前記第二撮像部から前記第一撮像部へ向かう方向と、前記第二撮像部から前記ユーザへ向かう方向とのなす角の角度と、（ｃ）前記第一撮像部と前記第二撮像部との距離と、に基づいて、前記第一距離を算出し、算出した前記第一距離が前記第一閾値以下であるか否かを検出してもよい。
【００２３】
上記態様によれば、撮像装置は、オートフォーカス機能を有する撮像部を備える他の撮像装置から得られる距離及び角度の情報と、予め定められた撮像部間の距離とを用いて、発光部から第一閾値の距離以内にユーザが近づいたことを検出できる。よって、撮像装置は、他の撮像装置を利用してユーザの撮像をより容易に行うことができる。
【００２４】
例えば、前記制御部は、前記発光部が光を出射する頻度を低下させることで前記制御をしてもよい。
【００２５】
上記態様によれば、撮像装置は、光を出射する頻度を制御することによって、より容易に、ユーザに照射される光の量を低下させ、ユーザの撮像をより容易に行うことができる。
【００２６】
例えば、前記制御部は、前記発光部が光を出射する強度を低下させることで前記制御をしてもよい。
【００２７】
上記態様によれば、撮像装置は、光を出射する強度を制御することによって、より容易に、ユーザに照射される光の量を低下させ、ユーザの撮像をより容易に行うことができる。
【００２８】
例えば、前記発光部は、複数の発光素子を有し、前記制御部は、前記複数の発光素子のうち、発光させる発光素子の個数を減少させることで前記制御をしてもよい。
【００２９】
上記態様によれば、撮像装置は、発光させる発光素子の個数を制御することによって、より容易に、ユーザに照射される光の量を低下させ、ユーザの撮像をより容易に行うことができる。
【００３０】
例えば、前記撮像装置は、さらに、前記発光部である第一発光部と比較して、前記ユーザが存在する位置として想定される位置より遠方に配置される第二発光部を備え、前記制御部は、前記第一発光部による光の出射を停止し、かつ、第二発光部による光の出射を開始することで、前記制御をしてもよい。
【００３１】
上記態様によれば、撮像装置は、発光させる発光部を切り替えることによって、より容易に、ユーザに照射される光の量を低下させ、ユーザの撮像をより容易に行うことができる。
【００３２】
また、本発明の一態様に係る撮像システムは、上記の撮像装置である第一撮像装置と、上記の撮像装置である第二撮像装置とを備え、前記第一撮像装置の前記検出部が、前記第一距離が第一閾値以下であることを検出した場合に、前記第二撮像装置の前記撮像部が前記ユーザを撮像する。
【００３３】
上記態様によれば、撮像システムは、２つの撮像装置の間でユーザを撮像する役割を切り替えることにより、ユーザを継続して監視する。このようにして、撮像システムは、１つの撮像装置がユーザを適切に撮影できない状態になった場合であっても、ユーザの撮像を継続して行うことができる。
【００３４】
また、本発明の一態様に係る制御方法は、発光部を備える撮像装置の制御方法であって、ユーザと前記発光部との第一距離が第一閾値以下であるか否かを検出する検出ステップと、前記第一距離が前記第一閾値以下であることを前記検出ステップで検出した場合に、前記ユーザに照射される光の量が低下するように前記発光部の制御をする制御ステップと、前記制御ステップによる前記制御の下で前記発光部が出射してユーザにより反射された光によって、前記ユーザを撮像する撮像ステップとを含む。
【００３５】
これにより、上記撮像装置と同様の効果を奏する。
【００３６】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【００３７】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【００３８】
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００３９】
（実施の形態１）
本実施の形態において、ユーザの撮像を適切に行うことができる撮像装置について説明する。
【００４０】
図１は、本実施の形態に係る撮像装置１０が車両１に搭載された状態の第一例を示す模式図である。図２は、本実施の形態に係る撮像装置１０の機能構成を示すブロック図である。図３は、本実施の形態に係る撮像装置１０の外観を示す模式図である。
【００４１】
なお、以降の説明において特に断らない場合には、前後方向、左右方向及び上下方向の各方向、車両１の進行方向を前方とした場合の各方向とし、これは車両１の運転手にとっての各方向ともいえる。
【００４２】
図１に示されるように、撮像装置１０は、車両１に搭載され、ユーザＵを撮像する。撮像装置１０は、車両１内の所定の位置に固定的に設置される。車両１が設置される位置は、ユーザＵが乗車すると想定される位置を撮像できる位置であり、図１の例では、ダッシュボードの上部であって左右方向における中央の位置である。ユーザＵは、例えば、運転席３の乗員、つまり、車両１の運転手であるが、助手席の乗員、又は、他の座席の乗員であってもよい。
【００４３】
また、撮像装置１０は、ユーザＵの撮像によって得た画像に基づいてユーザＵの視線又は状態を検出するなどの処理を行う。
【００４４】
図２に示されるように、撮像装置１０は、発光部１１と、検出部１２と、制御部１３と、撮像部１４と、処理部１５とを備える。図３に示されるように、発光部１１と検出部１２と撮像部１４とは、一例として撮像装置１０の筐体のうち、ユーザＵの想定される存在位置に近い面に配置されている。この場合、検出部１２及び撮像部１４それぞれが発光部１１の近傍に配置されており、検出部１２及び撮像部１４それぞれとユーザＵとの距離は、発光部１１とユーザＵとの距離と略同一（図３におけるＬ）である。なお、撮像装置１０の筐体は、縦、横及び高さ方向それぞれに数ｃｍ〜１０ｃｍ程度以内である。
【００４５】
発光部１１は、光を出射する光源素子を有する。発光部１１が出射する光は、例えば、近赤外線（ピーク波長は８５０ｎｍ〜９５０ｎｍ程度）である。光源素子は、例えば、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）である。発光部１１は、出射する光がユーザＵに向かって進行するように、その位置及び向きが定められている。発光部１１は、所定周期（例えば１／６０秒、又は、１／３０秒程度）で繰り返し光を出射する。発光部１１の発光パターン（具体的には、発光周期及び発光強度など）は、制御部１３により制御される。
【００４６】
検出部１２は、ユーザＵと発光部１１との距離（第一距離ともいう）を取得し、その距離についての検出の処理をする処理部である。検出部１２は、具体的には、ユーザＵと発光部１１との距離である第一距離が第一閾値以下であるか否かを検出する。また、検出部１２は、第一距離が第一閾値であることを検出した後に、さらに繰り返し第一距離を計測し、計測した第一距離が第二閾値以上であるか否かを検出する。
【００４７】
検出部１２が第一距離を得る方法には、さまざまな方法がある。
【００４８】
検出部１２は、一例として、発光部１１に近傍に配置される近接センサ（不図示）を有し、近接センサによってユーザＵと発光部１１とが第一閾値以下にまで近接したことを検出したことに基づいて、第一距離が第一閾値以下であることを検出してもよい。発光部１１と近接センサとの距離は、例えば数ｃｍ程度以内である。近接センサは、例えば、赤外線センサ又は静電センサである。なお、検出部１２は、一例として、距離センサ（不図示）を有し、距離センサによって第一距離を計測することで取得してもよい。
【００４９】
制御部１３は、発光部１１が出射する光の量を制御する処理部である。制御部１３は、具体的には、第一距離が第一閾値以下であることを検出部１２が検出した場合に、ユーザＵに照射される光の量が低下するように発光部１１の制御をする。制御部１３は、発光部１１の発光パターンを制御しており、その発光パターンを規定する発光周期又は発光強度などを含む制御パラメータを保持している。制御部１３は、一例として、発光周期又は発光強度などを変更することで上記制御をする。
【００５０】
また、発光部１１が２つの発光部（不図示）を少なくとも有している場合であって、一方の発光部（第一発光部に相当）と比較して、ユーザＵが存在する位置として想定される位置より遠方に他方の発光部（第二発光部に相当）がある場合、制御部１３は、第一発光部による光の出射を停止し、かつ、第二発光部による光の出射を開始することで、発光部１１が出射する光の量を低下させる制御をすることもできる。
【００５１】
また、制御部１３が上記のように発光部１１が出射する光の量を低下させた後の状態において、第一距離が第二閾値以上であることを検出部１２が検出した場合に、制御部１３は、発光部１１が出射する光の量を上昇させることで初期状態に戻す制御をする。
【００５２】
撮像部１４は、発光部１１が出射した光によってユーザＵを撮像する。撮像部１４は、具体的には、制御部１３による制御の下で発光部１１が出射してユーザＵにより反射された光によって、ユーザＵを撮像する。撮像部１４による撮像のタイミングは、発光部１１が光を出射しているタイミングになるように制御部１３により制御される。撮像部１４は、ユーザＵを撮像することによってユーザＵが映された画像を生成し、生成した画像を処理部１５に提供する。
【００５３】
処理部１５は、撮像部１４が生成した画像を取得し、その画像を用いて所定の処理を行う処理部である。処理部１５は、例えば、撮像部１４が生成した画像に映っているユーザＵの視線又は状態を画像処理によって判別する処理をする。また、制御部１３は、発光部１１が出射する光の量を低下する制御がなされた場合にタイマのカウントを開始し、その後に第一距離が第二閾値以上であることを検出するまでタイマをカウントアップさせる。そしてタイマが規定値以上になった場合に、処理部１５は、所定のエラー処理を実行する。エラー処理は、例えば、ユーザＵと発光部１１との距離を大きくすること、つまり、ユーザＵが発光部１１から離れることを指示するメッセージであってもよいし、ユーザＵが比較的長い時間、発光部１１から第一閾値の距離以内に近づいていることを外部装置に通信によって送信することであってもよい。
【００５４】
なお、撮像部１４が撮像に用いる光、及び、発光部１１が出射する光は、近赤外線の代わりに可視光線を用いることも可能である。ただし、近赤外線を用いれば、近赤外線が視認されにくいないことにより、ユーザＵが撮像されていることを意識しにくいという利点がある。
【００５５】
図４は、本実施の形態に係る発光部１１が出射する光の量の調整を示す説明図である。
【００５６】
図４には、（ａ）制御部１３による制御がなされない場合、（ｂ）制御部１３による光の量を低下させる制御の第一例がなされた場合、及び、（ｃ）制御部１３による光の量を低下させる制御の第二例がなされた場合のそれぞれについて、発光部１１が光源素子に流す電流の時間的な変化が示されている。発光部１１が出射する光の量（発光強度）は、図４に示される電流の量に比例する。
【００５７】
図４の（ａ）に示されるように、制御部１３による制御がなされない場合において、発光部１１は、周期Ｔごとに、時間Ｓだけ電流Ｉを発光素子に流すとする。ただし、Ｔは、例えば１／６０秒、又は、１／３０秒程度であり、ＳはＴより小さい。
【００５８】
発光部１１が出射する光の量を低下させる制御の第一例は、発光部１１が光を出射する頻度を低下させる制御である。発光部１１は、上記制御により、光を出射する周期を長くする。図４の（ｂ）に示されるように、制御部１３による光の量を低下させる制御の第一例がなされた場合、発光部１１は、例えば周期２Ｔごとに、時間Ｓだけ電流Ｉを発光素子に流す。このとき、制御部１３による制御がなされない場合（ａ）と比較して、光を出射する周期を２倍にする制御がなされているともいえる。この場合、発光の周期２Ｔに対して撮像の周期をＴとし、周期２Ｔ毎に得られる発光時の画像と未発光時の画像を合成することで白とびを抑制することができる。
【００５９】
発光部１１が出射する光の量を低下させる制御の第二例は、発光部１１が光を出射する強度を低下させる制御である。発光部１１は、上記制御により、一度に出射する光の量を少なくする。図４の（ｃ）に示されるように、制御部１３による光の量を低下させる制御の第二例がなされた場合、発光部１１は、周期Ｔごとに、時間Ｓだけ例えば電流Ｉ／２を発光素子に流す。このとき、制御部１３による制御がなされない場合（ａ）と比較して、一度に出射する光の量を半分にする制御がなされているともいえる。
【００６０】
なお、発光部１１が複数の発光素子（不図示）を有している場合には、制御部１３は、発光部１１が有する複数の発光素子のうち、発光させる発光素子の個数を減少させることで、発光部１１が出射する光の量を低下させる制御をすることもできる。
【００６１】
図５は、本実施の形態に係る撮像装置１０が行う処理を示すフロー図である。
【００６２】
ステップＳ１０１において、制御部１３は、発光制御パラメータを初期値に設定する。この設定の後、発光部１１は、設定された初期値に基づく発光パターンに従って繰り返し光を出射する。
【００６３】
ステップＳ１０２において、検出部１２は、ユーザＵと発光部１１との第一距離を検出し、第一距離が第一閾値以下であるか否かを検出する。第一距離が第一閾値以下であると判定した場合にはステップＳ１０３に進み、そうでない場合には、ステップＳ１０２を再び実行する。つまり、検出部１２は、第一距離が第一閾値以下になるまでステップＳ１０２で待機する。
【００６４】
ステップＳ１０３において、制御部１３は、発光部１１が出射する光の量を低下させるように発光制御パラメータを変更する。その変更の後、発光部１１は、変更された発光制御パラメータに従って繰り返し光を出射する。
【００６５】
ステップＳ１０４において、制御部１３は、タイマのカウントを開始する。
【００６６】
ステップＳ１０５において、検出部１２は、ユーザＵと発光部１１との第一距離を検出し、第一距離が第二閾値以上であるか否かを検出する。第一距離が第二閾値以上であると判定した場合にはステップＳ１０６に進み、そうでない場合には、ステップＳ１１１に進む。
【００６７】
ステップＳ１０６において、制御部１３は、発光制御パラメータを初期値に設定する。その設定の後、発光部１１は、設定された初期値に基づく発光パターンに従って繰り返し光を出射する。
【００６８】
ステップＳ１０７において、制御部１３は、タイマをリセットし、ステップＳ１０２に進む。
【００６９】
ステップＳ１１１において、制御部１３は、タイマが規定値以上であるか否かを判定する。タイマが規定値以上であると判定した場合、ステップＳ１１２に進み、そうでない場合、ステップＳ１２１に進む。
【００７０】
ステップＳ１１２において、処理部１５は、所定のエラー処理を実行する。
【００７１】
ステップＳ１１３において、制御部１３は、タイマをリセットし、ステップＳ１０４に進む。
【００７２】
ステップＳ１２１において、制御部１３は、タイマのカウントアップをし、ステップＳ１０５に進む。
【００７３】
以上の一連の処理により、撮像装置１０は、ユーザＵの撮像を適切に行うことができる。
【００７４】
（実施の形態１の変形例１）
本変形例では、撮像装置１０が設置され得る位置についての別の例を説明する。
【００７５】
図６は、撮像装置１０が車両１に搭載された状態の第三例を示す模式図である。図６の例では、撮像装置１０が、車室内の天井であって、ユーザＵの前方の位置に設置されている。なお、撮像装置１０が設置される左右方向の位置は限定されないが、例えばユーザＵの前方の位置、つまり、ユーザＵが運転手である場合には運転席３の前方の位置に設置され得る。この場合、ユーザＵを正面から撮像でき、ユーザＵの視線又は状態をより適切に判断できる利点がある。また、撮像装置１０とユーザＵとの間の空間には、発光部１１が出射する光、又は、その反射光を遮る障害物が比較的少ないので、障害物の影響を未然に防止しながらユーザＵの撮像をし得る利点がある。
【００７６】
図７は、撮像装置１０が車両１に搭載された状態の第四例を示す模式図である。図７の例では、撮像装置１０が、ユーザＵに比較的近いＡピラーに設置されている。この場合、上記と同様に、障害物の影響を未然に防止しながらユーザＵの撮像をし得る利点がある。
【００７７】
これらのような位置に設置された撮像装置１０によってユーザＵが撮像され、必要な場合に発光機能が低下され得る。
【００７８】
（実施の形態１の変形例２）
本変形例では、検出部が第一距離を得る方法の別の例について説明する。
【００７９】
図８は、本変形例に係る撮像装置１０Ａの機能構成を示すブロック図である。
【００８０】
図８に示されるように、撮像装置１０Ａは、発光部１１と、検出部１２Ａと、制御部１３と、撮像部１４Ａと、処理部１５とを備える。上記実施の形態と同じ構成要素については、同じ符号を付し詳細な説明を省略する。
【００８１】
検出部１２Ａは、撮像部１４Ａから得る情報に基づいてユーザＵと発光部１１との距離（第一距離）を取得し、その距離についての検出の処理をする。
【００８２】
撮像部１４Ａは、撮像部１４と同様に、発光部１１が出射した光によってユーザＵを撮像する。また、撮像部１４Ａは、ユーザＵと発光部１１との距離（第一距離）に関する情報を検出部１２Ａに提供する。
【００８３】
撮像部１４Ａが検出部１２Ａに提供する情報と、その情報を利用した検出部１２Ａによる検出の処理について以下で説明する。
【００８４】
（１）撮像部１４Ａが露光制御機能を有する場合
露光制御機能とは、撮像部１４Ａが撮像した画像における輝度値に基づいて、その後に撮像部１４Ａが撮像するときの露光時間を制御する機能である。
【００８５】
撮像部１４Ａが露光制御機能を有する場合には、撮像部１４Ａは、撮像した画像における輝度値を、第一距離に関する情報に含めて検出部１２Ａに提供する。
【００８６】
ここで、露光制御が正しく機能している場合、上記輝度値が一定の範囲内に収まるように露光時間が制御されている。しかし、露光時間を最小にしても白とびする状態までユーザＵが発光部１１に近づいた場合、撮像が適切に行われないこととなる。
【００８７】
発光部１１が撮像部１４Ａの近傍に配置されており、ユーザＵと撮像部１４Ａとの距離（第二距離に相当）が第一距離と略同一であることが想定される場合、検出部１２Ａは、撮像部１４Ａが撮像した画像における輝度値を取得し、上記輝度値が所定値以上であることを判定したことに基づいて、第一距離が第一閾値以下であることを検出することができる。このとき、露光時間は最小となっている。なお、発光部１１が撮像部１４Ａの近傍に配置されているという場合、例えば、発光部１１と撮像部１４Ａとの距離は、数ｃｍ程度以内である。以降でも同様とする。
【００８８】
このとき、検出部１２Ａは、撮像部１４Ａが撮像した画像の一部だけを検出の対象としてもよい。より具体的には、検出部１２Ａは、撮像部１４Ａが撮像した画像のうちのユーザＵの顔が映っていると予め想定される位置の画像だけを検出の対象としてもよい。また、検出部１２Ａは、撮像部１４Ａが撮像した画像から画像処理によってユーザＵの顔が映っている部分を特定し、その特定した部分の画像だけを検出の対象としてもよい。
【００８９】
（２）撮像部１４Ａがオートフォーカス機能を有する場合
オートフォーカス機能とは、撮像部１４Ａが、撮像部１４Ａ内の光学系の位置を変化させるなどして被写体であるユーザＵに自動的にフォーカスする（つまり焦点を合わせる）機能である。
【００９０】
撮像部１４Ａがオートフォーカス機能を有する場合には、撮像部１４Ａは、撮像部１４ＡがユーザＵにフォーカスすることで得られる、ユーザＵと撮像部１４Ａとの距離（第二距離）を、第一距離に関する情報に含めて検出部１２Ａに提供する。
【００９１】
発光部１１が撮像部１４Ａの近傍に配置されており、ユーザＵと撮像部１４Ａとの距離（第二距離に相当）が第一距離と略同一であることが想定される場合、検出部１２Ａは、撮像部１４ＡがユーザＵにフォーカスすることで得られる第二距離に基づいて第一距離を取得し、取得した第一距離が第一閾値以下であることを検出することができる。
【００９２】
（３）撮像部１４Ａがステレオカメラ機能を有する場合
ステレオカメラ機能とは、複数の方向から被写体を撮像することで被写体の奥行き方向の距離を取得し記録する機能である。
【００９３】
撮像部１４Ａがステレオカメラ機能を有する場合には、撮像部１４Ａは、撮像部１４Ａが取得するユーザＵまでの奥行き方向の距離を、第一距離に関する情報に含めて検出部１２Ａに提供する。
【００９４】
発光部１１が撮像部１４Ａの近傍に配置されており、ユーザＵと撮像部１４Ａとの距離（第二距離）が第一距離と略同一であることが想定される場合であって、撮像部１４Ａは、ステレオカメラである場合には、検出部１２Ａは、撮像部１４ＡがユーザＵを撮像することにより得られる第二距離に基づいて第一距離を取得し、取得した第一距離が第一閾値以下であることを検出することができる。
【００９５】
（実施の形態１の変形例３）
本変形例では、検出部が第一距離を得る方法として、２台の撮像装置を用いて第一距離を得る方法の例を説明する。
【００９６】
図９は、本変形例に係る撮像装置１０Ｂ及び１０Ｃの機能構成を示すブロック図である。
【００９７】
図９に示されるように、撮像装置１０Ｂは、発光部１１と、検出部１２Ｂと、制御部１３と、撮像部１４と、処理部１５とを備える。また、撮像装置１０Ｃは、発光部１１と、検出部１２と、制御部１３と、撮像部１４と、処理部１５Ｃとを備える。上記実施の形態と同じ構成要素については、同じ符号を付し詳細な説明を省略する。撮像装置１０Ｂと撮像装置１０Ｃとは異なる位置に配置されている。
【００９８】
撮像装置１０Ｂの検出部１２Ｂは、撮像装置１０Ｃの処理部１５Ｃから得る情報に基づいて、ユーザＵと撮像装置１０Ｂの発光部１１との距離（第一距離）を取得し、その距離についての検出の処理をする。
【００９９】
撮像装置１０Ｃの処理部１５Ｃは、撮像装置１０Ｃの撮像部１４が生成した画像に基づいて算出した情報を、撮像装置１０Ｂの検出部１２Ｂに提供する。
【０１００】
より具体的には、撮像装置１０Ｂの検出部１２Ｂは、（ａ）撮像装置１０Ｂの撮像部１４とは異なる位置に配置され、ユーザＵを撮像するオートフォーカス機能を有する撮像部１４を有する撮像装置１０Ｃ（「他の撮像装置」に相当）から、撮像装置１０Ｃの撮像部１４がユーザＵにフォーカスすることで得られる、ユーザＵと撮像装置１０Ｃの撮像部１４との距離と、（ｂ）撮像装置１０Ｃの撮像部１４が撮像した画像におけるユーザＵの位置から得られる、撮像装置１０Ｃの撮像部１４から撮像装置１０Ｂの撮像部１４へ向かう方向と、撮像装置１０Ｃの撮像部１４からユーザＵへ向かう方向とのなす角の角度と、（ｃ）撮像装置１０Ｂの撮像部１４と、撮像装置１０Ｃの撮像部１４との距離と、に基づいて、ユーザＵと発光部１１との距離（第一距離）を算出する。
【０１０１】
図１０は、本変形例に係る撮像装置１０Ｃの処理部１５Ｃによる距離の算出の原理を示す説明図である。なお、撮像装置１０Ｂの位置は、撮像装置１０Ｂの発光部１１の位置とほぼ等しいと考え、同じとみなしている。
【０１０２】
図１０において、撮像装置１０Ｂと撮像装置１０Ｃとの離間距離ａは、既知である。
【０１０３】
撮像装置１０Ｃの検出部１２は、撮像装置１０ＣとユーザＵとの距離ｘを検出して処理部１５Ｃに提供する。また、撮像装置１０Ｃの処理部１５Ｃは、撮像装置１０ＣからユーザＵに延びる直線と、撮像装置１０Ｃから撮像装置１０Ｂに延びる直線とのなす角の角度θを、撮像装置１０Ｃの撮像部１４が撮像により生成した画像におけるユーザＵの位置から算出する。
【０１０４】
処理部１５Ｃは、距離ｘと角度θとを撮像装置１０Ｂの検出部１２Ｂに提供する。
【０１０５】
撮像装置１０Ｂの検出部１２Ｂは、距離ａ、距離ｘ及び角度θを用いて、余弦定理に従って、以下の関係式から距離ｙを得る。
【０１０６】
ｙ２＝ａ２＋ｘ２−２ａｘ・ｃｏｓθ
【０１０７】
このようにして、撮像装置１０Ｂの検出部１２Ｂは、撮像装置１０ＢとユーザＵとの距離ｙを第一距離として得ることができる。
【０１０８】
以上のように、上記実施の形態及び上記変形例の撮像装置は、発光機能を停止すべき状況でない通常使用時であっても、発光部から第一閾値の距離以内にユーザが近づいた場合に発光機能を低下させる。これにより、ユーザに照射される光の量が低下し、撮像された画像におけるユーザの画像部分の画素値の飽和（いわゆる白とび）が回避される。このように、撮像装置は、通常使用時においても必要に応じて発光機能を低下させることによって、ユーザの撮像を適切に行うことができる。
【０１０９】
また、撮像装置は、近接センサによる近接の検出を用いて、より容易に、発光部から第一閾値の距離以内にユーザが近づいたことを検出できる。よって、撮像装置は、ユーザの撮像をより容易に行うことができる。
【０１１０】
また、撮像装置は、実際に撮像することで生成した画像における輝度値を用いて、発光部から第一閾値の距離以内にユーザが近づいたことを検出できる。よって、撮像装置は、実際の撮像された画像に基づいてユーザの撮像をより容易に行うことができる。
【０１１１】
また、撮像装置は、ユーザにフォーカスすることで得られるフォーカス位置を利用して、発光部から第一閾値の距離以内にユーザが近づいたことを検出できる。よって、撮像装置は、オートフォーカス機能に基づいてユーザの撮像をより容易に行うことができる。
【０１１２】
また、撮像装置は、ステレオカメラにより得られる奥行き情報を利用して、発光部から第一閾値の距離以内にユーザが近づいたことを検出できる。よって、撮像装置は、ステレオカメラ機能に基づいてユーザの撮像をより容易に行うことができる。
【０１１３】
また、撮像装置は、オートフォーカス機能を有する撮像部を備える他の撮像装置から得られる距離及び角度の情報と、予め定められた撮像部間の距離とを用いて、発光部から第一閾値の距離以内にユーザが近づいたことを検出できる。よって、撮像装置は、他の撮像装置を利用してユーザの撮像をより容易に行うことができる。
【０１１４】
また、撮像装置は、光を出射する頻度を制御することによって、より容易に、ユーザに照射される光の量を低下させ、ユーザの撮像をより容易に行うことができる。
【０１１５】
また、撮像装置は、光を出射する強度を制御することによって、より容易に、ユーザに照射される光の量を低下させ、ユーザの撮像をより容易に行うことができる。
【０１１６】
また、撮像装置は、発光させる発光素子の個数を制御することによって、より容易に、ユーザに照射される光の量を低下させ、ユーザの撮像をより容易に行うことができる。
【０１１７】
また、撮像装置は、発光させる発光部を切り替えることによって、より容易に、ユーザに照射される光の量を低下させ、ユーザの撮像をより容易に行うことができる。
【０１１８】
（実施の形態２）
本実施の形態において、ユーザの撮像を適切に行いながら、１台の撮像装置により適切な撮像ができない場合にもユーザの撮像を継続する技術について説明する。
【０１１９】
本実施の形態では、上記実施の形態１及び変形例で説明した撮像装置を少なくとも２台備える撮像システムについて説明する。この撮像システムは、１台の撮像装置によって乗員を監視している場合に、乗員が当該１台の撮像装置に近づきすぎたときに、別の１台の撮像装置によって車両１の乗員の撮像をすることによって、撮像を継続する。なお、撮像装置の台数は２に限られず、３以上であっても同様の説明が成立する。
【０１２０】
図１１は、本実施の形態に係る撮像システムが車両１に搭載された状態の例を示す模式図である。撮像システムは、撮像装置１０Ｄ及び１０Ｅを備える。撮像装置１０Ｄは、図１の撮像装置１０のようにダッシュボードの上部であって左右方向における中央の位置に配置されている。撮像装置１０Ｅは、図７の撮像装置１０のようにＡピラーに配置されている。
【０１２１】
撮像装置１０Ｄは、実施の形態１における撮像装置１０と同じ機能を有し、さらに、他の撮像装置１０Ｅに撮像をさせる制御信号を送信する機能を有する。制御信号は、例えば、撮像を開始させるための撮像開始信号、撮像を終了させるための撮像終了信号、撮像時の発光制御パターンなどの情報を含む。
【０１２２】
撮像装置１０Ｅは、実施の形態１における撮像装置１０と同じ機能を有し、さらに、他の撮像装置１０Ｄから制御信号を受信して、受信した制御信号に基づいてユーザＵの撮像をする機能を有する。そして、撮像装置１０Ｄの検出部１２が、第一距離が第一閾値以下であることを検出した場合に、撮像装置１０Ｅの撮像部１４がユーザＵを撮像する。このようにして、ユーザＵを撮像する撮像部が、撮像装置１０Ｂの撮像部１４から撮像装置１０Ｃの撮像部１４に切り替えられるように制御される。
【０１２３】
例えば、図１１に示されるように、撮像装置１０ＤがユーザＵを撮像している状態で、ユーザＵが前方に倒れ込んで撮像装置１０Ｄに近づいた場合、上記の制御信号の送信及び受信がなされ、撮像装置１０Ｅがユーザを撮像する状態になる。撮像装置１０ＤがユーザＵを撮像すると、ユーザＵの頭部だけが映った画像が生成され、ユーザＵの視線又は状態の判別が困難であるが、撮像装置１０ＥがユーザＵを撮像すれば、ユーザＵが前方に倒れ込んでいることが判別される。
【０１２４】
なお、撮像装置１０Ｅの発光部である第二発光部は、撮像装置１０Ｄの発光部１１である第一発光部と比較して、ユーザＵが存在すると想定される位置より遠方に配置されていてもよい。この場合、ユーザＵが上記想定位置にいる場合にも、ユーザＵを撮像する撮像部の切り替えによって、ユーザＵに照射される光の量を低下させる効果がある。
【０１２５】
図１１を参照しながら、ユーザＵを監視する撮像装置を、撮像装置１０Ｄから撮像装置１０Ｅに切り替える方法をより具体的に説明する。
【０１２６】
当初、撮像装置１０ＤによってユーザＵを監視している。このとき、撮像装置１０Ｄの検出部１２は、ユーザＵと発光部１１との距離を取得する。そして、検出部１２は、ユーザＵと発光部１１との距離が第一閾値以下であることを検出した場合に、撮像装置１０Ｅに撮像開始信号を送信する。なお、検出部１２は、撮像開始信号とともに発光制御パターンなどの情報を送信してもよい。
【０１２７】
撮像装置１０Ｅは、当初、ユーザＵの撮像をしておらず、撮像装置１０Ｄから撮像開始信号を受信するための待ち状態をとっている。そして、撮像装置１０Ｄは、撮像装置１０Ｄから撮像開始信号を受信した場合に、撮像開始信号に従ってユーザＵの撮像を開始する。なお、撮像装置１０Ｄから発光制御パラメータを受信した場合には、その発光制御パラメータに従って発光部１１の発光周期及び光の量を制御してもよい。
【０１２８】
このようにすることで、１台の撮像装置にユーザＵが近すぎることによってユーザＵの視線又は状態を把握することが困難である場合に、別の一台の撮像装置によってユーザＵの撮像を継続し、ユーザＵの視線又は状態の把握を継続することができる利点がある。
【０１２９】
このように、本実施の形態の撮像システムは、撮像装置１０Ｄの検出部１２が、第一距離が第一閾値以下であることを検出した場合に、撮像装置１０Ｅの撮像部１４がユーザＵを撮像する。そして、２つの撮像装置の間でユーザを撮像する役割を切り替えることにより、ユーザを継続して監視する。このようにして、撮像システムは、１つの撮像装置がユーザを適切に撮影できない状態になった場合であっても、ユーザの撮像を継続して行うことができる。
【０１３０】
なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態の撮像装置などを実現するソフトウェアは、次のようなプログラムである。
【０１３１】
すなわち、このプログラムは、コンピュータに、発光部を備える撮像装置の制御方法であって、ユーザと前記発光部との第一距離が第一閾値以下であるか否かを検出する検出ステップと、前記第一距離が前記第一閾値以下であることを前記検出ステップで検出した場合に、前記ユーザに照射される光の量が低下するように前記発光部の制御をする制御ステップと、前記制御ステップによる前記制御の下で前記発光部が出射してユーザにより反射された光によって、前記ユーザを撮像する撮像ステップとを含む制御方法を実行させる。
【０１３２】
以上、一つまたは複数の態様に係る撮像装置などについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
【産業上の利用可能性】
【０１３３】
本発明は、車室内のユーザの視線又は状態を監視する撮像装置に利用可能である。
【符号の説明】
【０１３４】
１    車両
３    運転席
１０、１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、１０Ｅ    撮像装置
１１    発光部
１２、１２Ａ、１２Ｂ    検出部
１３    制御部
１４、１４Ａ    撮像部
１５、１５Ｃ    処理部
Ｕ    ユーザ
【図１】
2020102667.tif 000003
【図２】
2020102667.tif 000004
【図３】
2020102667.tif 000005
【図４】
2020102667.tif 000006
【図５】
2020102667.tif 000007
【図６】
2020102667.tif 000008
【図７】
2020102667.tif 000009
【図８】
2020102667.tif 000010
【図９】
2020102667.tif 000011
【図１０】
2020102667.tif 000012
【図１１】
2020102667.tif 000013