(57)【要約】【課題】装置コストの軽減を図りつつ、撮像対象領域内の物体検出等の状況検出が精度よく実現できる撮像制御装置を提供する。【解決手段】撮像制御装置は、例えば、車室内において搭乗者が乗車しうる領域を撮像可能な撮像部の露光の長さを、少なくとも第１露光期間と、第１露光期間より長い第２露光期間と、に制御する露光制御部と、第１露光期間で撮像した第１撮像画像データと、第２露光期間で撮像した第２撮像画像データと、を取得する画像取得部と、第１撮像画像データと第２撮像画像データとを別々に処理する処理部と、を備える。【選択図】図３
2020205551.tif 000002
【特許請求の範囲】
【請求項１】
車室内において搭乗者が乗車しうる領域を撮像可能な撮像部の露光の長さを、少なくとも第１露光期間と、前記第１露光期間より長い第２露光期間と、に制御する露光制御部と、
前記第１露光期間で撮像した第１撮像画像データと、前記第２露光期間で撮像した第２撮像画像データと、を取得する画像取得部と、
前記第１撮像画像データと前記第２撮像画像データとを別々に処理する処理部と、
を備える、撮像制御装置。
【請求項２】
前記露光制御部は、前記第１露光期間と前記第２露光期間とが交互に切り替わるように制御する、請求項１に記載の撮像制御装置。
【請求項３】
前記露光制御部は、前回撮影時に前記第１露光期間で撮像した前記第１撮像画像データにおいて前記撮像部から近い第１領域の平均輝度値に基づき、今回撮像時の前記第１露光期間の長さを補正し、前回撮影時に前記第２露光期間で撮像した前記第２撮像画像データにおいて前記撮像部から前記第１領域より遠い第２領域の平均輝度値に基づき、今回撮像時の前記第２露光期間の長さを補正する、請求項１または請求項２に記載の撮像制御装置。
【請求項４】
前記露光制御部は、前記撮像部として赤外線画像を撮像する赤外線撮像部の露光期間の長さを制御する、請求項１から請求項３のいずれか１項に記載の撮像制御装置。
【請求項５】
前記露光制御部は、前記赤外線撮像部が撮像可能な領域に照射する赤外光の照射期間を前記第１露光期間および前記第２露光期間と同期させる、請求項４に記載の撮像制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像制御装置に関する。
【背景技術】
【０００２】
従来、対象領域を撮像部（カメラ）で撮像した撮像画像に用いて、対象領域内に写り込んでいる物体の検出や物体の姿勢や周囲の状況等を検出して、状況把握や制御等に利用する技術が知られている。このように撮像画像を状況把握や制御に利用する場合、その精度は、撮像画像の品質に左右されやすい。例えば、周囲の環境（可視光カメラの場合は明暗差等、赤外線カメラの場合は温度差等）により、撮像画像の一部に「白飛び」や「黒つぶれ」が生じて、撮像画像の内容を正確に認識できないことがある。そのため、明るい画像と暗い画像を撮像して、合成画像を生成して、ダイナミックレンジを稼ぎ、認識性を向上させる技術が種々提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−５０３５１５号公報
【特許文献２】特開２０１９−１６８９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の文献で提案されるような画像合成を行う場合、合成した後の画像のビット数が増加し処理負荷が大きくなり、高性能の処理装置が必要になったり、高処理負荷による発熱量の増加に対応するための放熱対策等が必要になったりするため、装置全体のコストが増加してしまうという問題があった。
【０００５】
そこで、本発明の課題の一つは、装置コストの軽減を図りつつ、撮像対象領域内の物体検出等の状況検出が精度よく実現できる撮像制御装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明の実施形態にかかる撮像制御装置は、例えば、車室内において搭乗者が乗車しうる領域を撮像可能な撮像部の露光の長さを、少なくとも第１露光期間と、上記第１露光期間より長い第２露光期間と、に制御する露光制御部と、上記第１露光期間で撮像した第１撮像画像データと、上記第２露光期間で撮像した第２撮像画像データと、を取得する画像取得部と、上記第１撮像画像データと上記第２撮像画像データとを別々に処理する処理部と、を備える。この構成によれば、例えば、露光期間が相対的に短い第１露光期間で撮像を行うことで、撮像部に対して相対的に遠い領域で明るさが不足する画像となる可能性があるものの、撮像部に対して相対的に近い領域では、画像が明る過ぎる、いわゆる「白飛び」が生じ難くい撮像ができる。一方、露光期間が第１露光期間より相対的に長い第２露光期間で撮像を行うことで、撮像部に対して相対的に近い領域では、画像が明るすぎる可能性があるものの、撮像部から相対的に遠い領域では、画像が暗すぎる、いわゆる「黒つぶれ」が生じ難くい撮像ができる。つまり、露光期間の切り替えを行うとともに、撮像画像データを別々に扱うことで、撮像画像の合成処理を必要とすることなく、明るすぎない領域の撮像および暗すぎない領域の撮像を扱うことが可能となる。その結果、合成処理の削減による装置コストの軽減を実現するとともに、撮像部から近い領域における車室内状況を認識し易い撮像画像データ、および撮像部から遠い領域における車室内状況を認識し易い撮像画像データのいずれも精度よく取得し、制御に利用することができる。
【０００７】
本発明の実施形態にかかる撮像制御装置の上記露光制御部は、例えば、上記第１露光期間と上記第２露光期間とが交互に切り替わるように制御してもよい。この構成によれば、例えば、第１撮像画像データと第２撮像画像データを効率的に取得できるとともに、第１領域の状況認識と第２領域の状況認識を実質的に同じタイミングで行うことが可能となり、状況認識をスムーズに行うことができる。
【０００８】
本発明の実施形態にかかる撮像制御装置の上記露光制御部は、例えば、前回撮影時に上記第１露光期間で撮像した上記第１撮像画像データにおいて上記撮像部から近い第１領域の平均輝度値に基づき、今回撮像時の上記第１露光期間の長さを補正し、前回撮影時に上記第２露光期間で撮像した上記第２撮像画像データにおいて上記撮像部から上記第１領域より遠い第２領域の平均輝度値に基づき、今回撮像時の上記第２露光期間の長さを補正するようにしてもよい。この構成によれば、例えば、撮像時の周囲の条件変化に対応した露光期間の設定が実行しやすく、より撮像内容の認識がし易い適切な明るさで表現される第１撮像画像データおよび第２撮像画像データを取得することができる。
【０００９】
本発明の実施形態にかかる撮像制御装置の上記露光制御部は、例えば、上記撮像部として赤外線画像を撮像する赤外線撮像部の露光期間の長さを制御するようにしてもよい。この構成によれば、例えば、昼夜（明状態、暗状態）を問わず、車室内に搭乗者に認識されることなく、より撮像内容の認識がし易い適切な明るさで表現された第１撮像画像データおよび第２撮像画像データを取得することができる。
【００１０】
本発明の実施形態にかかる撮像制御装置の上記露光制御部は、例えば、上記赤外線撮像部の撮像可能な領域に照射する赤外光の照射期間を上記第１露光期間および上記第２露光期間と同期させるようにしてもよい。この構成によれば、例えば、撮像時のみに赤外光の照射を実施することができるので、撮像コストの軽減に寄与できるとともに、発熱量の軽減が可能になり、熱対策構造の簡略化に寄与することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施形態にかかる撮像制御装置を搭載可能な車両の構成および車両における撮像範囲を説明するための例示的かつ模式的な図である。
【図２】図２は、実施形態にかかる撮像制御装置を搭載する車両における前席に着座した搭乗者の撮像の様子および撮像部の配置を説明する例示的かつ模式的な図である。
【図３】図３は、実施形態にかかる撮像制御装置（撮像制御部）を含む監視制御システムの概略的なハードウェア構成を示した例示的かつ模式的なブロック図である。
【図４】図４は、実施形態にかかる撮像制御装置における前席および後席における露光期間と照明（赤外線ＬＥＤ）の駆動期間を説明する例示的かつ模式的な図である。
【図５】図５は、実施形態にかかる撮像制御装置において、第１露光期間で露光した場合に撮像される車室内の撮像画像を示す例示的かつ模式的な図である。
【図６】図６は、実施形態にかかる撮像制御装置において、第２露光期間で露光した場合に撮像される車室内の撮像画像を示す例示的かつ模式的な図である。
【図７】図７は、実施形態にかかる撮像制御装置が実行する一連の処理を含む、撮像制御装置の運用形態を説明する例示的かつ模式的なフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本開示の実施形態を図面に基づいて説明する。以下に説明される実施形態の構成、ならびに当該構成によってもたらされる作用および効果は、あくまで一例であって、以下の記載内容に限られるものではない。
【００１３】
図１は、実施形態にかかる撮像制御装置の適用対象としての車両１０の構成および車両１０における撮像部の撮像範囲を説明するための例示的かつ模式的な図である。
【００１４】
本実施形態における撮像制御装置は、車両１０の車室１０ａ内の状況を検出（認識）するための撮像画像データを取得するための制御を行う。車室１０ａ内の状況とは、例えば、車室１０ａに搭乗者が存在するか否か（搭乗状況）、搭乗者の姿勢状況、搭乗者の車室１０ａにおける装備の利用状況等である。また、車室１０ａ内の状況には、車室１０ａ内に持ち込まれた物体（荷物、生き物等）の有無状況等も含むことができる。
【００１５】
本実施形態において、撮像制御装置（撮像制御部）を搭載する車両１０は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよい。また、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。
【００１６】
図１に例示されるように、車両１０は、不図示の搭乗者（運転者、同乗者）が乗車する車室１０ａを構成している。車室１０ａ内には、例えば、ステアリングホイール１２と対面する位置に運転者用のシート１４ａ（運転席）、シート１４ａの隣に同乗者用のシート１４ｂ（助手席）が、前列シート１４（前席）として配置されている。また、例えば、同乗者用のシート１６ａ，１６ｂ，１６ｃが、後列シート１６（後席）として配置されている。なお、図１では、前列シート１４を２シート、後列シート１６を３シートとする５シート（５人乗り）の例を示すが、シートレイアウトは、例えば、車種等に応じて適宜選択可能である。例えば、後列シート１６を２シート（前列シート１４と合わせて４人乗り）で構成してもよい。また、３列シート構成でもよいし、３列以上の構成でもよい。また、搭搭乗者用としては前列シート１４の１列構成として、前列シート１４の後方は荷物スペースとして構成してもよい。
【００１７】
図２は、実施形態にかかる撮像制御装置を搭載する車両１０における前列シート１４（シート１４ａ）に着座した搭乗者１８の撮像の様子および撮像部の配置を説明する例示的かつ模式的な図である。
【００１８】
前列シート１４（シート１４ａ）は、シートクッション１４ｃ、シートバック１４ｄ、ヘッドレスト１４ｅ等で構成され、シートクッション１４ｃを支持するフレームが図示しない、レールによって車室１０ａの床面に車両前後方向に位置調整可能固定されている。また、前列シート１４には、リクライニング機構等の各種調整機構が設けられ、シートベルト２０を装着し、ステアリングホイール１２を把持する搭乗者１８（運転者）の姿勢を運転に適した状態に維持し易いように調整できるように構成されている。
【００１９】
前述したように、本実施形態の撮像制御装置は、車室１０ａ内の状況を検出（認識）するために、車室１０ａ内を見渡せる位置に撮像部として、例えば赤外線撮像部２２が配置されている。また、赤外線撮像部２２の近傍には、赤外線照射部２４が配置されている。本実施形態の場合、赤外線撮像部２２および赤外線照射部２４は、車両１０のフロントウインドウの内側上部のほぼ中央部(例えば、バックビューミラーの付近)に配置されている。なお、赤外線撮像部２２は、車室１０ａ内を見渡せる位置であれば、他の位置に配置されてもよい。また、赤外線撮像部２２の撮像領域の全体に赤外光を照射できれば、赤外線照射部２４の位置も適宜変更可能であり、赤外線撮像部２２と赤外線照射部２４とを異なる位置に配置してもよい。また、赤外線撮像部２２と赤外線照射部２４とは、一体のカメラユニットとして構成されてもよい。
【００２０】
赤外線撮像部２２は、例えば、赤外線による撮影に対応した、ＣＣＤ（Charge  Coupled  Device）やＣＩＳ（CMOS  image  sensor）等の撮像素子を内蔵するデジタルカメラである。赤外線撮像部２２は、所定のフレームレートで動画データ(撮像画像データ)を逐次出力することができる。赤外線照射部２４は、例えば、赤外線を照射するＬＥＤ（Light  Emitting  Diode）ライト等とすることがでる。赤外線撮像部２２は、図１にハッチングを付して示すように、例えば、車室１０ａ内において搭乗者１８が乗車しうる領域（前列シート１４、後列シート１６のある領域）を１台で撮像可能である。また、赤外線照射部２４は、赤外線撮像部２２の撮像範囲を少なくとも含む領域に赤外光を照射できるように照射角および照射強度が設定されている。
【００２１】
赤外線撮像部２２は、その撮像領域に、少なくとも前列シート１４、後列シート１６に着座する各搭乗者１８が含まれるように、視野角および姿勢が調整されて固定されている。赤外線撮像部２２の撮像領域には、例えば、図２に示すように、シート１４ａ（運転席）に搭乗者１８が着座している場合、その搭乗者１８の顔および少なくとも上半身が含まれる。同様に、シート１４ｂ（助手席）に搭乗者１８が着座している場合、その搭乗者１８の顔および少なくとも上半身が含まれる。また、後列シート１６のシート１６ａ〜１６ｃに搭乗者１８が着座している場合、その搭乗者１８の顔および少なくとも上半身が含まれる。
【００２２】
赤外線照射部２４は、シート１４ａ，シート１６ａ等に着座した搭乗者１８に赤外光を照射するが、人の眼には光として認識されないため、赤外線が搭乗者１８の顔の方向に照射されても、搭乗者１８にまぶしさを感じさせない。したがって、搭乗者１８の車室１０ａ内における快適性を確保しつつ、赤外線撮像部２２による搭乗者１８等の撮像が容易に実現できる。
【００２３】
ところで、図１に示すように、赤外線撮像部２２および赤外線照射部２４が車室１０ａの前方部分に配置されている場合、撮像される赤外線撮像画像で前列シート１４および後列シート１６の全領域について、その撮像内容を識別できる程度の撮像品質が得られない場合がある。例えば、赤外線撮像部２２から後列シート１６までの距離が前列シート１４までの距離より大きいため、撮像された赤外線画像は、前列シート１４側に比べて後列シート１６側で反射光(赤外光)の減衰が大きくなるため暗くなる傾向がある。この場合、赤外線撮像部２２に相対的に近い前列シート１４の領域（以下、第１領域という場合がある）付近で、制御等で利用可能な明るさの赤外線撮像画像が得られるように撮像を行ったと仮定する。この場合、撮像された赤外線撮像画像において、赤外線撮像部２２から相対的に遠い後列シート１６の領域（以下、第２領域という場合がある）付近については、反射光の減衰が大きくなり「黒つぶれ」が生じる傾向が強くなる。その結果、第２領域は、制御等で利用し難い撮像画像になってしまう。逆に、後列シート１６が含まれる第２領域付近で、制御等で利用可能な明るさの赤外線撮像画像が得られるように撮像を行ったと仮定する。この場合、撮像された撮像画像において、赤外線撮像部２２に相対的に近い前列シート１４が含まれる第１領域付近については、反射光の減衰が小さいので受光量が増加して、「白飛び」してしまう傾向が強くなる。その結果、第１領域については、制御等で利用し難い撮像画像になってしまう。
【００２４】
そこで、本実施形態の撮像制御装置では、車室１０ａ内を赤外線撮像部２２で逐次撮像して所定のフレームレートで赤外線撮像画像データ（以下、単に撮像画像データと記す）を出力する際に、前列シート１４が含まれる第１領域用に露光して撮像した第１撮像画像データと、後列シート１６が含まれる第２領域用に露光して撮像した第２撮像画像データを、例えば交互に出力するように露光制御を行う。つまり、前列シート１４用として、第１領域が適切な明るさで表現できる赤外線撮像された第１撮像画像データと、後列シート１６用として、第２領域が適切な明るさで表現される赤外線撮影された第２撮像画像データと、を取得し、それぞれの撮像画像データを独立的に処理し（扱い）、例えば、各種監視制御に利用する。第１撮像画像データおよび第２撮像画像データを用いた監視制御としては、例えば、搭乗者１８や搭載物の有無検出制御やその識別制御、シートベルト２０の装着の有無検出制御および未装着の場合の警告制御、搭乗者１８が車載機器を操作する場合のジェスチャ検出制御等である。また、車室１０ａ内の忘れ物検出制御等にも利用できる。また、第１撮像画像データおよび第２撮像画像データの解析をさらに行うことで、例えば、運転者の眠気レベルの判定やエアバックの制御、前列シート１４や後列シート１６に着座する搭乗者１８の識別、例えば、大人男性、大人女性、子供等の識別を行い、それぞれに適した制御を実行することもできる。なお、これらの場合、第１撮像画像データと第２撮像画像データとの合成処理を行わず、各撮像画像データをそれぞれ制御に利用する。その結果、画像の合成処理が不要となり、処理負荷の軽減が可能となり、装置コストの低減に寄与できる。
【００２５】
図３は、上述したような撮像制御を実行する撮像制御装置（撮像制御部）の構成を示す例示的かつ模式的なブロック図である。なお、図３は、撮像制御装置（撮像制御部）として機能するＥＣＵ２６（Electronic  Control  Unit）に、当該撮像制御装置が取得した第１撮像画像データと第２撮像画像データを用いて、車両１０における種々の監視制御を実行する機器制御部２８が含まれる監視制御システム１００を示している。
【００２６】
図３に示すように、ＥＣＵ２６は、赤外線撮像部２２および赤外線照射部２４を制御して撮像を実行するとともに、取得した第１撮像画像データや第２撮像画像データを機器制御部２８に提供する。そして、機器制御部２８は、車内ネットワーク３０を介して電気的に接続された出力装置３２や車載機器３４の制御を実行する。車内ネットワーク３０は、例えば、ＣＡＮ（Controller  Area  Network）として構成されている。また、車内ネットワーク３０は、機器制御部２８で制御を実行する際に参照する各種センサが電気的に接続されている。図３の場合、一例として、前列シート１４、後列シート１６に装備されるシートベルト２０の装着の有無を検出するシートベルトセンサ３６（３６ａ〜３６ｅ）が示されている。
【００２７】
ＥＣＵ２６は、例えば、機器制御部２８、ＣＰＵ３８（Central  Processing  Unit）の他、ＲＯＭ４０（Read  Only  Memory）、ＲＡＭ４２（Random  Access  Memory）、ＳＳＤ４４（Solid  State  Drive、フラッシュメモリ）等を有している。ＣＰＵ３８は、例えば、ＲＯＭ４０等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ４２は、ＣＰＵ３８での演算で用いられる各種のデータを一時的に記憶する。ＳＳＤ４４は、書き換え可能な不揮発性の記憶部であって、ＥＣＵ２６の電源がオフされた場合にあってもデータを記憶することができる。なお、機器制御部２８、ＣＰＵ３８や、ＲＯＭ４０、ＲＡＭ４２等は、同一パッケージ内に集積されうる。また、ＥＣＵ２６は、ＣＰＵ３８に替えて、ＤＳＰ（Digital  Signal  Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ４４に替えてＨＤＤ（Hard  Disk  Drive）が設けられてもよいし、ＳＳＤ４４やＨＤＤは、ＥＣＵ２６とは別に設けられてもよい。なお、撮像制御装置（撮像制御部）として機能するＥＣＵ２６は、車両１０を制御する複数の他のＥＣＵのＣＰＵにおいて実現されてもよい。また、図３において、機器制御部２８は、ＥＣＵ２６に独立的なモジュールとして実装される例が示されている。別の実施形態では、機器制御部２８は、ＣＰＵ３８においてＲＯＭ４０等にインストールされたプログラムを実行することによって実現されてもよいし、ＥＣＵ２６とは別に、独立して設けられてもよい。
【００２８】
ＣＰＵ３８は、ＲＯＭ４０等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで露光制御部３８ａ、画像取得部３８ｂ、処理部３８ｃ等を実現する。
【００２９】
露光制御部３８ａは、車室１０ａ内において搭乗者１８が乗車しうる領域（前列シート１４が含まれる第１領域、後列シート１６が含まれる第２領域）を撮像可能な赤外線撮像部２２の露光の長さを、少なくとも第１露光期間と、第１露光期間より長い第２露光期間と、に制御する。また、画像取得部３８ｂは、第１露光期間で撮像した第１撮像画像データと、第２露光期間で撮像した第２撮像画像データと、を取得し、逐次ＲＡＭ４２等の記憶装置に一時的に保存する。処理部３８ｃは、第１撮像画像データと第２撮像画像データとを別々に処理して、機器制御部２８に提供して、各種制御を実行させる。
【００３０】
例えば、露光制御部３８ａは、第１露光期間と第２露光期間とが交互に切り替わるように、赤外線撮像部２２を制御する。つまり、赤外線撮像部２２の撮像した撮像画像データは、前列シート１４が含まれる第１領域を認識し易い輝度で表現する（撮像する）フレームと、後列シート１６が含まれる第２領域を認識し易い輝度で表現する（撮像する）フレームとが交互に存在するような動画データを構成する。例えば、奇数フレームを第１露光期間で撮像し、偶数フレームを第２露光期間で撮像する。この場合、撮像画像における輝度を例えば、０〜２５５の２５６階調（「０」が暗く、「２５５」が明るい）で表すとする。また、予め試験等により、車室１０ａ内の状況を認識（検出）するのに適した撮像画像の輝度は「１２８」であると定めていたとする。この場合、奇数フレームを撮像する場合に、第１領域の輝度の平均が例えば「１２８」になるように、第１露光期間を設定する。また、偶数フレームを撮像する場合に、第２領域の平均輝度が例えば「１２８」になるように、第２露光期間を設定する。第１露光期間による撮像を奇数フレームで行い、第２露光期間による撮像を偶数フレームで行うことにより、第１露光期間による撮像時と第２露光期間による撮像時とのタイムラグを最小限とすることができ、実質的に同じタイミングで、前列シート１４が含まれる第１領域の状況と後列シート１６が含まれる第２領域の状況を取得したと見なすことができる。なお、赤外線撮像部２２の設置姿勢は固定されているので、撮像される撮像画像データにおける第１領域に対応する位置と第２領域に対応する位置は既知である。したがって、撮像画像データにおける第１領域と第２領域の平均輝度値の算出は容易である。
【００３１】
前述したように、第１領域は、赤外線撮像部２２に相対的に近いため、赤外線照射部２４から赤外光が照射された場合、その反射光は相対的に減衰が小さいので第１領域示は相対的に明るくなる。したがって、図４に示すように、前列シート１４側の第１領域の平均輝度を例えば「１２８」にするための第１露光期間は、相対的にＯＮ期間が短くなるように制御する（ラインＥ１）。一方、第２領域は、第１領域より赤外線撮像部２２から相対的に遠いため、赤外線照射部２４から赤外光が照射された場合、その反射光は相対的に減衰が大きいので第２領域は第１領域より相対的に暗くなる。したがって、図４に示すように、後列シート１６側の第２領域の平均輝度を例えば「１２８」にするための第２露光期間のＯＮ期間は、第１露光期間より相対的に長くなるように制御する（ラインＥ２）。
【００３２】
なお、赤外線撮像部２２は、物体から放射される赤外線、または物体に反射された赤外線を可視化する。そのため、撮像対象の温度や周囲の温度の変化に伴い撮像画像の輝度が変化してしまう場合がある。そこで、露光制御部３８ａは、ＲＡＭ４２等に保存されている前回撮影時に第１露光期間で撮像した第１撮像画像データにおいて赤外線撮像部２２から近い第１領域の平均輝度値に基づき、今回撮像時の第１露光期間の長さを補正する。同様に、露光制御部３８ａは、ＲＡＭ４２等に保存されている前回撮影時に第２露光期間で撮像した第２撮像画像データにおいて赤外線撮像部２２から第１領域より遠い第２領域の平均輝度値に基づき、今回撮像時の前記第２露光期間の長さを補正する。このように、前回撮像した撮像画像データに基づき露光期間の補正を行うことにより、例えば、撮像時の周囲の条件(例えば温度条件)が変化した場合でも、その変化に対応しやすく、より撮像内容の認識がし易い適切な明るさで表現される第１撮像画像データおよび第２撮像画像データを取得することができる。なお、補正のために参照する撮影済みの撮像画像データは、例えば、第１露光期間は、奇数フレームを、第２露光期間は偶数フレームをそれぞれ参照すればよく、過去複数回にわたり奇数フレームまたは偶数フレームを参照して露光期間の微調整を行うようにしてもよい。
【００３３】
なお、露光制御部３８ａは、図４に示すように、第１露光期間と同期するように赤外線照射部２４を第１照明駆動期間(ラインＦ１)で駆動して赤外線を照射し、第２露光期間と同期するように赤外線照射部２４を第２照明駆動期間(ラインＦ２)で駆動して赤外線を照射するようにすることができる。この場合、撮像時のみに赤外光の照射を実施することになり、撮像コストの軽減に寄与できるとともに、発熱量の軽減が可能になり、熱対策構造の簡略化に寄与することができる。
【００３４】
上述したように、前列シート１４が含まれる第１領域と後列シート１６が含まれる第２領域とで、露光期間を変更して撮像した場合の例示的かつ模式的な撮像画像データ（撮像画像）を図５および図６に示す。図５は、主として前列シート１４が含まれる第１領域が制御に利用しやすい輝度で表現されるように第１露光期間で撮像した結果としての第１撮像画像データ（第１撮像画像Ｍ１）である。また、図６は、主として後列シート１６が含まれる第２領域が制御に利用しやすい輝度で表現されるように第２露光期間で撮像した結果としての第２撮像画像データ（第２撮像画像Ｍ２）である。
【００３５】
図１に示すように、赤外線撮像部２２および赤外線照射部２４はフロントウインドウの内側上部のほぼ中央部に配置されているので、前列シート１４(第１領域)の場合、赤外線照射部２４が照射した赤外光の反射光は減衰の少ない状態で赤外線撮像部２２に到達する。したがって、露光制御部３８ａが相対的に短い第１露光期間で赤外線撮像部２２に撮像を行わせることにより、前列シート１４側は、白飛びが抑制された認識し易い輝度の第１撮像画像Ｍ１が撮像できる。したがって、前列シート１４のシート１４ａ（運転席）に着座する搭乗者１８ａ、搭乗者１８ａが装着するシートベルト２０ａ等の認識(検出)がし易くなる。同様に、前列シート１４のシート１４ｂ（助手席）に着座する搭乗者１８ｂ、搭乗者１８ｂが装着するシートベルト２０ｂ等の認識(検出)がし易くなる。その結果、第１露光期間で撮像した第１撮像画像Ｍ１（第１撮像画像データ）は、前列シート１４の搭乗者１８や搭載物（荷物等）の有無検出制御やその識別制御、シートベルト２０の装着の有無検出制御、前列シート１４の搭乗者１８が車載機器を操作する場合のジェスチャ検出制御等を良好に行うことができる。また、シート１４ａとシート１４ｂとの間の収納ボックス４８やその周辺も白飛びすることなく認識し易くなる。したがって、第１露光期間で撮像した第１撮像画像Ｍ１（第１撮像画像データ）は、前列シート１４における忘れ物検出等にも利用することができる。
【００３６】
一方、後列シート１６(第２領域)の場合、赤外線照射部２４が照射した赤外光の反射光は、前列シート１４に比べて減衰した状態で、かつ相対的に短い第１露光期間で撮像が行われる。したがって、赤外線撮像部２２が第１露光期間で撮像（受光）した赤外線反射光に基づいて後列シート１６側を可視化すると、黒つぶれが生じ易くなる。その結果、後列シート１６のシート１６ａ（運転席後方座席）に着座する搭乗者１８ｃ、後列シート１６のシート１６ｂ（助手席後方座席）に着座する搭乗者１８ｄ等は識別し難く、また、搭乗者１８ｃや搭乗者１８ｄがシートベルト２０を装着しているか否かの判別も困難になる。ただし、前述したように、本実施形態では、第１撮像画像Ｍ１は、搭乗者１８や搭載物の有無検出制御やその識別制御、シートベルト２０の装着の有無検出制御および未装着の場合の警告制御、搭乗者１８が車載機器を操作する場合のジェスチャ検出制御等に利用するものである。つまり、第１撮像画像Ｍ１（第１撮像画像データ）を直接搭乗者１８等に視認させることを目的とするものではない。したがって、前列シート１４側の状況の認識（検出）を行う第１撮像画像Ｍ１(第１撮像画像データ)に、後列シート１６側の黒つぶれの領域が存在して、後列シート１６側が識別困難でも不都合は生じない。
【００３７】
露光制御部３８ａが第１露光期間より相対的に長い第２露光期間で赤外線撮像部２２に撮像を行わせることにより、赤外線撮像部２２は、より長く赤外線反射光を受光することができる。その結果、図６に示すように、後列シート１６側は、黒つぶれが抑制された認識し易い輝度の第２撮像画像Ｍ２が撮像できる。したがって、後列シート１６のシート１６ａに着座する搭乗者１８ｃ、搭乗者１８ｃが装着するシートベルト２０ｃ等の認識(検出)がし易くなる。同様に、後列シート１６のシート１６ｂに着座する搭乗者１８ｄ、搭乗者１８ｄが装着するシートベルト２０ｄ等の認識(検出)がし易くなる。その結果、第２露光期間で撮像した第２撮像画像Ｍ２（第２撮像画像データ）は、後列シート１６の搭乗者１８や搭載物（荷物等）の有無検出制御やその識別制御、シートベルト２０の装着の有無検出制御、後列シート１６の搭乗者１８が車載機器を操作する場合のジェスチャ検出制御等を良好に行うことができる。また、シート１６ａとシート１６ｂとの間のシート１６ｃやその周辺に置かれている物体５０（例えば、衣類等）も黒つぶれすることなく認識し易くなる。したがって、第２露光期間で撮像した第２撮像画像Ｍ２（第２撮像画像データ）は、後列シート１６における忘れ物検出等にも利用することができる。
【００３８】
一方、前列シート１４(第１領域)の場合、赤外線照射部２４が照射した赤外光の反射光は、後列シート１６に比べて減衰量が少ない状態で、かつ適切な輝度となる第１露光期間より長い第２露光期間で撮像が行われる。したがって、赤外線撮像部２２が第２露光期間で撮像（受光）した赤外線反射光に基づいて前列シート１４側を可視化すると、白飛びが生じ易くなる。その結果、前列シート１４のシート１４ａに着座する搭乗者１８ａ、前列シート１４のシート１４ｂに着座する搭乗者１８ｂ等は識別し難く、また、搭乗者１８ａや搭乗者１８ｂがシートベルト２０を装着しているか否かの判別も困難になる。ただし、前述したように、本実施形態では、第２撮像画像Ｍ２は、搭乗者１８や搭載物の有無検出制御やその識別制御、シートベルト２０の装着の有無検出制御および未装着の場合の警告制御、搭乗者１８が車載機器を操作する場合のジェスチャ検出制御等に利用するものである。つまり、第２撮像画像Ｍ２（第２撮像画像データ）を直接搭乗者１８等に視認させることを目的とするものではない。したがって、後列シート１６側の状況の認識（検出）を行う第２撮像画像Ｍ２(第２撮像画像データ)に、前列シート１４側の白飛びの領域が存在して、前列シート１４側が識別困難でも不都合は生じない。なお、前列シート１４のシート１４ａやシート１４ｂ、収納ボックス４８等は、搭乗者１８に比べて赤外線の放射量は少ないため、図６の例では、白飛びしていない状態で示されている。
【００３９】
図３に戻り、機器制御部２８は、第１露光期間および第２露光期間の切替制御により撮像された第１撮像画像データおよび第２撮像画像データを処理部３８ｃを介して取得し、各種制御を実行する。例えば、機器制御部２８は、取得した第１撮像画像データ（第１撮像画像）において、シート１４ａ(運転席)に搭乗者１８ａが検出されたにも拘わらず、シートベルト２０ａの装着を示すシートベルトセンサ３６ａの信号が受信できない場合、搭乗者１８ａがシートベルト２０ａを装着していないと判定する。したがって、機器制御部２８は、出力装置３２（例えば、スピーカや表示灯、表示装置等）にシートベルト未装着を示す警報を出力させることができる。また、機器制御部２８が、第２撮像画像データ（第２撮像画像）に基づいて、後列シート１６の搭乗者１８ｃが所定のジェスチャ（例えば、左手を頭上に上げ前後に動かす操作）を検出した場合、サンルーフを開閉するジェスチャを搭乗者１８ｃがしていると判定する。その場合、機器制御部２８は、車載機器３４（例えば、サンルーフの開閉モータ等）を駆動して、サンルーフの開閉を実行させることができる。この場合、サンルーフの開閉操作がしにくいシートに着座している搭乗者１８でもスムーズかつ容易にサンルーフの開閉操作を行うことができる。
【００４０】
なお、上述した機器制御部２８の制御は、一例であり、例えば、他の搭乗者１８に対してもシートベルトセンサ３６ｂ〜３６ｅを用いて、シートベルト２０の未装着がある場合、警報を出力するようにすることができる。この場合、搭乗者１８が検出（認識）されないシートや荷物が乗せられたシートについては、シートベルト２０の未装着判定は行われない。また、機器制御部２８は、車載機器３４として、例えば、オーディオ装置やナビゲーションシステムも操作対象にすること可能であり、従来特定の搭乗者１８以外では、操作し難かった車載機器３４を同乗者が代わりに行うことが可能になり、利便性の向上ができる。
【００４１】
図７は、実施形態にかかる撮像制御装置を含む監視制御システム１００が実行する一連の処理を示した例示的かつ模式的なフローチャートである。
【００４２】
ＥＣＵ２６は、車室１０ａ内の状況確認開始要求信号を受信したか否か常時監視し（Ｓ１００）、状況確認開始要求信号を受信していない場合（Ｓ１００のＮｏ）、このフローを一旦終了する。状況確認開始要求信号は、例えば、車両１０のイグニッションスイッチがＯＮになった場合に生成され、ＥＣＵ２６が受信するようにしてもよいし、搭乗者１８のスイッチ操作等により生成され、ＥＣＵ２６が受信するようにしてもよい。
【００４３】
Ｓ１００において、ＥＣＵ２６が状況確認開始要求信号を受信した場合（Ｓ１００のＹｅｓ）、撮像時のフレーム番号を特定するための係数ｎをリセットし「ｎ＝１」とする（Ｓ１０２）。なお、本実施形態の赤外線撮像部２２のフレームレートは、例えば「３０」とする。
【００４４】
続いて、露光制御部３８ａは、予め試験等で定めた前列シート１４用の第１露光期間(初期値)で２ｎ−１枚目のフレーム(１枚目のフレーム：奇数フレーム)の撮像を行い（Ｓ１０４）、ＲＡＭ４２に一時的に保存する。前述したように、撮影時の環境によって同じ露光期間でも白飛びが生じたり黒つぶれが生じたりする。そこで、画像取得部３８ｂは、撮像(取得)した第１撮像画像データが前席（前列シート１４）の状況確認が可能なデータであるか否か判定する（Ｓ１０６）。例えば、前列シート１４に対応する第１領域の平均輝度が、予め定めた例えば「１２８」(例えば許容値±２を含んでもよい)であるか否か判定する。そして、平均輝度値が「１２８±２」の範囲に入らない場合、前席（前列シート１４）の状況認識ができないと判定する（Ｓ１０６のＮｏ）。そして、露光制御部３８ａは現在の撮像環境において、前席（第１領域）の状況確認が可能な露光期間の補正値（例えば、−１ｍｓ等）の算出を行い（Ｓ１０８）、２ｎ＋１枚目のフレーム(３枚フレーム：奇数フレーム)の補正された第１露光期間を決定する。また、同時に赤外線照射部２４の照明期間を補正された第１露光期間に対応して決定する（Ｓ１１０）。
【００４５】
なお、Ｓ１０６において、平均輝度値が「１２８±２」の範囲に入っている場合、前席（前列シート１４）の状況認識が可能であると判定し（Ｓ１０６のＹｅｓ）、処理部３８ｃは、第１撮像画像データを機器制御部２８に提供し、前列シート１４が含まれる第１領域の状況にしたがい、前席側制御として、出力装置３２の出力制御や車載機器３４の制御を実行させる（Ｓ１１２）。
【００４６】
続いて、露光制御部３８ａは、予め試験等で定めた後列シート１６用の第２露光期間(初期値)で２ｎ枚目のフレーム(２枚目のフレーム：偶数フレーム)の撮像を行い（Ｓ１１４）、ＲＡＭ４２に一時的に保存する。画像取得部３８ｂは、撮像(取得)した第２撮像画像データが後席（後列シート１６）の状況確認が可能なデータであるか否か判定する（Ｓ１１６）。例えば、後列シート１６に対応する第２領域の平均輝度が、予め定めた例えば「１２８」(例えば許容値±２を含んでもよい)であるか否か判定する。そして、平均輝度値が「１２８±２」の範囲に入らない場合、後席（後列シート１６）の状況認識ができないと判定する（Ｓ１１６のＮｏ）。そして、露光制御部３８ａは現在の撮像環境において、後席（第２領域）の状況確認が可能な露光期間の補正値（例えば、＋３ｍｓ等）の算出を行い（Ｓ１１８）、２ｎ＋２枚目のフレーム(４枚フレーム：偶数フレーム)の補正された第２露光期間を決定する。また、同時に赤外線照射部２４の照明期間を補正された第２露光期間に対応して決定する（Ｓ１２０）。
【００４７】
なお、Ｓ１１６において、平均輝度値が「１２８±２」の範囲に入っている場合、後席（後列シート１６）の状況認識が可能であると判定し（Ｓ１１６のＹｅｓ）、処理部３８ｃは、第２撮像画像データを機器制御部２８に提供し、後列シート１６が含まれる第２領域の状況にしたがい、後席側制御として、出力装置３２の出力制御や車載機器３４の制御を実行させる（Ｓ１２２）。
【００４８】
ＥＣＵ２６は、出力装置３２による撮像制御処理が実行されている場合、車室１０ａ内の状況確認終了要求信号を受信したか否か常時監視している（Ｓ１２４）。そして、ＥＣＵ２６が状況確認終了要求信号を受信していない場合（Ｓ１２４のＮｏ）、露光制御部３８ａは撮像時のフレーム番号を特定するための係数ｎをインクリメント（ｎ＋１）し（Ｓ１２６）、Ｓ１０４に移行する。そして、露光制御部３８ａにより３枚目のフレームの撮像、４枚のフレームの撮像を実行する。すなわち、赤外線撮像部２２による奇数フレームの第１撮像画像データ、偶数フレームの第２撮像画像データの撮像を繰り返し実行する。また、機器制御部２８による出力装置３２の出力制御や車載機器３４の制御を繰り返し実行する。
【００４９】
また、Ｓ１２４において、ＥＣＵ２６が状況確認終了要求信号を受信した場合（Ｓ１２４のＹｅｓ）、このフローを一旦終了する。状況確認終了要求信号は、例えば、車両１０のイグニッションスイッチがＯＦＦになった場合に生成され、ＥＣＵ２６が受信するようにしてもよいし、搭乗者１８のスイッチ操作等により生成され、ＥＣＵ２６が受信するようにしてもよい。
【００５０】
なお、図７のフローチャートでは、取得した第１撮像画像データ、第２撮像画像データにより前席や後席の状況確認が可能になる度に、機器制御部２８による制御を実行する例を示した。別の実施形態では、第１撮像画像データ、第２撮像画像データの取得ごとのＳ１１２やＳ１２２の処理を省略し、第１露光期間、第２露光期間による撮像を連続して行い、所定数のフレーム撮像が終了したときに、機器制御部２８による制御を実行するようにしてもよい。
【００５１】
上述したように、撮像制御装置は、露光制御部３８ａは、車室１０ａ内において搭乗者１８が乗車しうる領域を撮像可能な赤外線撮像部２２の露光の長さを、少なくとも第１露光期間と、第１露光期間より長い第２露光期間と、に制御する。また、画像取得部３８ｂは、第１露光期間で撮像した第１撮像画像データと、第２露光期間で撮像した第２撮像画像データと、を取得する。そして、処理部３８ｃは、第１撮像画像データと第２撮像画像データとを別々処理し、例えば、機器制御部２８に提供する。この構成によれば、例えば、露光期間が相対的に短い第１露光期間で撮像を行うことで、赤外線撮像部２２に対して相対的に遠い第２領域で明るさが不足する画像となる可能性があるものの、赤外線撮像部２２に対して相対的に近い第１領域では、画像が明る過ぎる、いわゆる「白飛び」が生じ難くい撮像ができる。一方、露光期間が第１露光期間より相対的に長い第２露光期間で撮像を行うことで、赤外線撮像部２２に対して相対的に近い第１領域では、画像が明るすぎる白飛びが発生する可能性があるものの、赤外線撮像部２２から相対的に遠い第２領域では、画像が暗すぎる、いわゆる「黒つぶれ」が生じ難くい撮像ができる。つまり、露光期間の切り替えを行うことで、撮像画像の合成処理を必要とすることなく、明るすぎない領域の撮像および暗すぎない領域の撮像を扱うことが可能となる。その結果、合成処理の削減による装置コストの軽減を実現するとともに、赤外線撮像部２２から近い第１領域における車室１０ａ内の状況を認識し易い第１撮像画像データ、および赤外線撮像部２２から遠い第２領域における車室１０ａ内の状況を認識し易い第２撮像画像データのいずれも精度よく取得し、制御に利用することができる。
【００５２】
また、上述した撮像制御装置の３２ａは、例えば、第１露光期間と第２露光期間とが交互に切り替わるように制御してもよい。この構成によれば、例えば、第１撮像画像データと第２撮像画像データを効率的に取得できるとともに、第１領域の状況認識と第２領域の状況認識を実質的に同じタイミングで行うことが可能となり、状況認識をスムーズに行うことができる。
【００５３】
また、上述した撮像制御装置の３２ａは、例えば、前回撮影時に第１露光期間で撮像した第１撮像画像データにおいて赤外線撮像部２２から近い第１領域の平均輝度値に基づき、今回撮像時の第１露光期間の長さを補正してもよい。また、前回撮影時に第２露光期間で撮像した第２撮像画像データにおいて赤外線撮像部２２から第１領域より遠い第２領域の平均輝度値に基づき、今回撮像時の第２露光期間の長さを補正するようにしてもよい。この構成によれば、例えば、撮像時の周囲の条件変化に対応した露光期間の設定が実行しやすく、より撮像内容の認識がし易い適切な明るさで表現される第１撮像画像データおよび第２撮像画像データを取得することができる。
【００５４】
また、上述した撮像制御装置の３２ａは、赤外線撮像部２２の露光期間の長さを制御する。この構成によれば、例えば、昼夜（明状態、暗状態）を問わず、車室１０ａ内に搭乗者１８に認識されることなく、より撮像内容の認識がし易い適切な明るさで表現された第１撮像画像データおよび第２撮像画像データを取得することができる。
【００５５】
また、上述した撮像制御装置の３２ａは、例えば、赤外線撮像部２２の撮像可能な領域に照射する赤外線照射部２４の赤外光の照射期間を第１露光期間および第２露光期間と同期させるようにしてもよい。この構成によれば、例えば、撮像時のみに赤外光の照射を実施することができるので、撮像コストの軽減に寄与できるとともに、発熱量の軽減が可能になり、熱対策構造の簡略化に寄与することができる。
【００５６】
なお、上述した実施形態では、赤外線撮像部２２で撮像する場合を説明したが、撮像部として、例えば、ＴＯＦカメラ（Time-of-Flight  Camera）を用いてもよく、同様に第１露光期間と第２露光期間の切替制御を行ってもよい。この場合も、前列シート１４を含む第１領域の状況および後列シート１６を含む第２領域の状況を良好に認識できる白飛びや黒つぶれが抑制された撮像画像の取得が可能であり、赤外線撮像部２２を用いた場合と同様の効果を得ることができる。
【００５７】
また、上述した例では、前列シート１４を含む第１領域と後列シート１６を含む第２領域とで、露光期間の長さを変化させる例を示した。別の実施形態では、例えば、３列シートの車両にも撮像制御装置は適用可能である。その場合、前列シートを含む第１領域用の第１露光期間、中列シートを含む第２領域用の第２露光期間、後列シートを含む第３領域用の第３露光期間をそれぞれ設定し、赤外線撮像部２２から遠くなるほど露光時間を長くするように露光期間の切替制御を実行する。その結果、それぞれの領域の状況を良好に認識できる白飛びや黒つぶれが抑制された撮像画像の取得が可能であり、上述した２列シートの場合と同様の効果を得ることができる。４列シート以上の車両でも同様である。
【００５８】
本実施形態のＣＰＵ３８で実行される撮像制御プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００５９】
さらに、撮像制御プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される撮像制御プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【００６０】
本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６１】
１０  車両、１０ａ  車室、１４  前列シート、１６  後列シート、１８，１８ａ，１８ｂ，１８ｃ，１８ｄ  搭乗者、２０  シートベルト、２２  赤外線撮像部、２４  赤外線照射部、２６  ＥＣＵ、２８  機器制御部、３２  出力装置、３４  車載機器、３６  シートベルトセンサ、３８  ＣＰＵ、３８ａ  露光制御部、３８ｂ  画像取得部、３８ｃ  処理部、１００  監視制御システム、Ｍ１  第１撮像画像、Ｍ２  第２撮像画像
【図１】
2020205551.tif 000003
【図２】
2020205551.tif 000004
【図３】
2020205551.tif 000005
【図４】
2020205551.tif 000006
【図５】
2020205551.tif 000007
【図６】
2020205551.tif 000008
【図７】
2020205551.tif 000009