(57)【要約】  ドライブレコーダ１０は、車両に取り付けられるカメラ４２により撮像される画像データを取得する画像取得部と、画像データの第１画像領域を基準とする第１撮像条件を決定し、画像データの第２画像領域を基準とする第２撮像条件を決定する撮像条件決定部と、時間的に異なるフレームにおいて、第１撮像条件を用いる第１画像および第２撮像条件を用いる第２画像をカメラに撮像させる撮像制御部と、第１画像に基づく動画像データを記録する画像記録部と、車両の乗員を検出する乗員検出部と、乗員検出部により検出される乗員が含まれる第２画像に基づいて、乗員が含まれる画像部分の視認性が第２画像よりも高い表示態様の乗員画像を生成する画像処理部と、乗員画像に基づく動画像を表示装置に表示させる表示制御部と、を備える。
2019176391.tif 000002
【特許請求の範囲】
【請求項１】
車両に取り付けられるカメラにより撮像される画像データを取得する画像取得部と、
前記画像取得部が取得する画像データの第１画像領域を基準として前記カメラの露出、色および輝度の少なくとも一つに関する第１撮像条件を決定し、前記画像取得部が取得する画像データの前記第１画像領域とは異なる第２画像領域を基準として前記カメラの露出、色および輝度の少なくとも一つに関する第２撮像条件を決定する撮像条件決定部と、
時間的に異なるフレームにおいて、前記第１撮像条件を用いる第１画像および前記第２撮像条件を用いる第２画像を前記カメラに撮像させる撮像制御部と、
前記第１画像に基づく動画像データを記録する画像記録部と、
前記車両の乗員を検出する乗員検出部と、
前記乗員検出部により検出される乗員が含まれる第２画像に基づいて、前記乗員が含まれる画像領域の視認性が前記第２画像よりも高い表示態様の乗員画像を生成する画像処理部と、
前記乗員画像に基づく動画像を表示装置に表示させる表示制御部と、を備えることを特徴とするドライブレコーダ。
【請求項２】
前記撮像条件決定部は、前記画像取得部が取得する画像データの前記第１画像領域および前記第２画像領域とは異なる第３画像領域を基準として前記カメラの露出、色および輝度の少なくとも一つに関する第３撮像条件をさらに決定し、
前記撮像制御部は、前記第１画像および前記第２画像の撮像とは時間的に異なるフレームにおいて、前記第３撮像条件を用いる第３画像を前記カメラに撮像させ、
前記画像処理部は、前記乗員検出部により検出される前記乗員とは別の乗員が含まれる第３画像に基づいて、前記別の乗員が含まれる画像領域の視認性が前記第３画像よりも高い表示態様の別の乗員画像をさらに生成し、
前記表示制御部は、前記乗員画像に基づく動画像および前記別の乗員画像に基づく動画像を前記表示装置に表示させることを特徴とする請求項１に記載のドライブレコーダ。
【請求項３】
前記乗員検出部は、乗員の着座位置をさらに検出し、
前記撮像条件決定部は、前記乗員検出部により検知される乗員の着座位置を基準として前記第２撮像条件を決定することを特徴とする請求項１または２に記載のドライブレコーダ。
【請求項４】
車両に関する情報および前記車両の周辺状況に関する情報の少なくとも一方を取得する車両情報取得部と、
前記車両情報取得部が取得する情報に基づいて、車両走行の安全性のレベルを判定する安全性判定部と、をさらに備え、
前記画像処理部は、前記安全性判定部により判定される安全性のレベルに応じて、生成する乗員画像の表示態様を変化させることを特徴とする請求項１から３のいずれか一項に記載のドライブレコーダ。
【請求項５】
車両に関する情報および前記車両の周辺状況に関する情報の少なくとも一方を取得する車両情報取得部と、
前記車両情報取得部が取得する情報に基づいて、車両走行の安全性のレベルを判定する安全性判定部と、
前記安全性判定部により判定される安全性のレベルに応じて、車両走行に関する注意喚起のための報知内容を決定する報知内容決定部と、をさらに備え、
前記安全性判定部は、前記表示装置に前記乗員画像に基づく動画像が表示されている場合、そうでない場合とは異なる判定基準を用いて安全性のレベルを判定することを特徴とする請求項１から３のいずれか一項に記載のドライブレコーダ。
【請求項６】
前記画像処理部は、前記報知内容決定部により報知内容が決定される場合、前記報知内容を示す報知画像を重畳した乗員画像を生成し、
前記表示制御部は、前記報知画像が重畳された乗員画像に基づく動画像を前記表示装置に表示させることを特徴とする請求項５に記載のドライブレコーダ。
【請求項７】
車両に取り付けられるカメラにより撮像される画像データを取得するステップと、
前記取得した画像データの第１画像領域を基準として前記カメラの露出、色および輝度の少なくとも一つに関する第１撮像条件を決定し、前記取得した画像データの前記第１画像領域とは異なる第２画像領域を基準として前記カメラの露出、色および輝度の少なくとも一つに関する第２撮像条件を決定するステップと、
時間的に異なるフレームにおいて、前記第１撮像条件を用いる第１画像および前記第２撮像条件を用いる第２画像を前記カメラに撮像させるステップと、
前記第１画像に基づく動画像データを記録するステップと、
前記車両の乗員を検出するステップと、
前記検出される乗員が含まれる第２画像に基づいて、前記乗員が含まれる画像部分の視認性が前記第２画像よりも高い表示態様の乗員画像を生成するステップと、
前記乗員画像に基づく動画像を表示装置に表示させるステップと、を備えることを特徴とする表示制御方法。
【請求項８】
車両に取り付けられるカメラにより撮像される画像データを取得する機能と、
前記取得した画像データの第１画像領域を基準として前記カメラの露出、色および輝度の少なくとも一つに関する第１撮像条件を決定し、前記取得した画像データの前記第１画像領域とは異なる第２画像領域を基準として前記カメラの露出、色および輝度の少なくとも一つに関する第２撮像条件を決定する機能と、
時間的に異なるフレームにおいて、前記第１撮像条件を用いる第１画像および前記第２撮像条件を用いる第２画像を前記カメラに撮像させる機能と、
前記第１画像に基づく動画像データを記録する機能と、
前記車両の乗員を検出する機能と、
前記検出される乗員が含まれる第２画像に基づいて、前記乗員が含まれる画像部分の視認性が前記第２画像よりも高い表示態様の乗員画像を生成する機能と、
前記乗員画像に基づく動画像を表示装置に表示させる機能と、をコンピュータに実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ドライブレコーダ、表示制御方法およびプログラムに関する。
【背景技術】
【０００２】
近年、走行中の車両の前方画像を撮像して記録するドライブレコーダが広く普及している。ドライブレコーダは、車両の側方や後方といった車両の室外の画像に加えて、車両の室内の画像を同時に撮像することもある。例えば、運転中の運転者から見えにくい後部座席を撮像するカメラを設置し、運転者から見やすい位置に設置される表示装置に後部座席の子供の様子を表示するような装置が挙げられる。また、単一の広角カメラを用いて車両の室内および室外の双方を撮像する装置も知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２２８９３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
単一のカメラで車両の室内および室外といった複数の領域を撮像する場合、露出やホワイトバランスといった撮像条件の最適値が領域ごとに異なることがある。その場合、複数の領域全てを良好に撮像することが困難となる。【０００５】
本発明は、上述の事情に鑑みてなされたものであり、単一のカメラで複数の領域を適切に撮像するための技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明のある態様のドライブレコーダは、車両に取り付けられるカメラにより撮像される画像データを取得する画像取得部と、画像取得部が取得する画像データの第１画像領域を基準として前記カメラの露出、色および輝度の少なくとも一つに関する第１撮像条件を決定し、前記画像取得部が取得する画像データの第１画像領域とは異なる第２画像領域を基準としてカメラの露出、色および輝度の少なくとも一つに関する第２撮像条件を決定する撮像条件決定部と、時間的に異なるフレームにおいて、第１撮像条件を用いる第１画像および第２撮像条件を用いる第２画像をカメラに撮像させる撮像制御部と、第１画像に基づく動画像データを記録する画像記録部と、車両の乗員を検出する乗員検出部と、乗員検出部により検出される乗員が含まれる第２画像に基づいて、乗員が含まれる画像領域の視認性が第２画像よりも高い表示態様の乗員画像を生成する画像処理部と、乗員画像に基づく動画像を表示装置に表示させる表示制御部と、を備える。【０００７】
本発明の別の態様は、表示制御方法である。この方法は、車両に取り付けられるカメラにより撮像される画像データを取得するステップと、取得した画像データの第１画像領域を基準としてカメラの露出、色および輝度の少なくとも一つに関する第１撮像条件を決定し、取得した画像データの第１画像領域とは異なる第２画像領域を基準としてカメラの露出、色および輝度の少なくとも一つに関する第２撮像条件を決定するステップと、時間的に異なるフレームにおいて、第１撮像条件を用いる第１画像および第２撮像条件を用いる第２画像をカメラに撮像させるステップと、第１画像に基づく動画像データを記録するステップと、車両の乗員を検出するステップと、検出される乗員が含まれる第２画像に基づいて、乗員が含まれる画像部分の視認性が第２画像よりも高い表示態様の乗員画像を生成するステップと、乗員画像に基づく動画像を表示装置に表示させるステップと、を備える。【０００８】
なお、以上の構成要素の任意の組合せや本発明の構成要素や表現を、方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によれば、ドライブレコーダのカメラを利用して乗員の様子を適切に映し出すことができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態に係るドライブレコーダが搭載される車両を模式的に示す図である。
【図２】カメラにより撮像される画像の一例を示す図である。
【図３】ドライブレコーダの機能構成を模式的に示すブロック図である。
【図４】表示制御方法の流れを示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について、図面を参照しつつ説明する。かかる実施の形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１２】
図１は、実施の形態に係るドライブレコーダ１０が搭載される車両７０を模式的に示す図である。ドライブレコーダ１０は、車両７０の室内および室外の双方を撮像するカメラ４２から画像データを取得して記録し、必要に応じて表示装置５０に画像を表示させる。カメラ４２は、画角φが１５０度〜１８０度程度となる超広角カメラである。カメラ４２は、車両７０のウインドシールド７２越しに車両前方を撮像するとともに、車両７０の前部座席７４に着座する運転者８０や後部座席７６に着座する同乗者８２を撮像する。カメラ４２の取り付け位置は特に限定されないが、例えば、車両７０のリヤビューミラーの位置に取り付けできる。
【００１３】
図２は、カメラ４２により撮像される画像の一例を示す図である。図示される例では、カメラ４２の周りの全方位が撮像対象となっており、カメラ４２の前方領域Ａ、側方領域Ｂおよび後方領域Ｃが撮像される画像に含まれる。前方領域Ａには、車両７０が走行する道路や対向車などが含まれており、側方領域Ｂには車両７０の左右の窓枠や窓越しに見える風景などが含まれる。また、後方領域Ｃには、運転席に着座する運転者８０、助手席に着座する同乗者８１および後部座席に着座する同乗者８２などが含まれる。カメラ４２を用いて図示されるような画像を撮像することにより、一つの画像で車両７０の室内および室外の双方の状況を把握できる。
【００１４】
なお、カメラ４２は図２に示されるような超広角画像を撮像するものに限られず、車両７０の室内および室外の双方を撮像範囲とするカメラであればどのようなものであってもよい。例えば、カメラが車両７０の室内と車両後方とを撮像するように設置されてもよい。具体的には、車両７０のリヤビューミラーの位置から車両後方を撮像するようにカメラが設置されてもよい。その他、車両７０の前部座席７４の後側や後部座席７６の天井などにカメラを設置し、後部座席７６と車両後方の双方がカメラにより撮像されるようにしてもよい。
【００１５】
実際の使用状況下において、図２の前方領域Ａ、側方領域Ｂおよび後方領域Ｃの全てを明瞭に撮像することは容易ではない。なぜなら、各領域の明るさやホワイトバランスが大きく異なることがあり、全ての領域に対して適切となる一つの撮像条件を決めることができない場合があるからである。例えば、晴天時の日中であれば、前方領域Ａが明るい一方で後方領域Ｃが暗くなる。このような状況下で撮像領域全体の平均となる露出やホワイトバランス等の撮像条件を適用すると、前方領域Ａが全体的に白くなり、後方領域Ｃが全体的に黒くなってしまい、双方の領域とも状況が分かりづらい画像となる。また、夜間に室内灯を点灯させた状況下や対向車のヘッドライトの明かりで室内の一部が照らされる状況下においても、撮像領域全体の視認性が高い画像を取得することは難しい。
【００１６】
そこで、本実施の形態では、動画像を撮像するための時間的に異なるフレームにおいて、異なる撮像条件を適用して車両の室内および室外の双方を撮像する。具体的には、車両の室外を撮像した画像領域を基準とする第１撮像条件を用いる第１画像と、車両の室内を撮像した画像領域を基準とする第２撮像条件を用いる第２画像とを異なるフレームにて撮像する。さらに、第１画像に基づく動画像と、第２画像に基づく動画像とを別々に作成することにより、車外の視認性が高い動画像と車内の視認性が高い動画像をそれぞれ提供できる。さらに、車内の乗員を検出し、検出した乗員の位置において最適となる第２撮像条件を用いることにより、乗員の様子のモニタリングに適した動画像を提供できる。例えば、後部座席に着座する子供の様子を撮像した鮮明な動画像を提供できる。
【００１７】
図３は、ドライブレコーダ１０の機能構成を模式的に示すブロック図である。図示する各機能ブロックは、ハードウェア的には、コンピュータのＣＰＵやメモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックとして描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組み合わせによっていろいろなかたちで実現できることは、当業者には理解されるところである。
【００１８】
ドライブレコーダ１０は、取得部１２、撮像制御部１４、入出力部１６および処理部１８を備える。取得部１２は、車両情報取得部２０および画像取得部２２を含む。入出力部１６は、操作受付部２４、表示制御部２６、音声制御部２８および画像記録部３０を含む。処理部１８は、乗員検出部３２、撮像条件決定部３４、安全性判定部３５、報知内容決定部３６および画像処理部３８を含む。
【００１９】
車両情報取得部２０は、車載装置４０から車両７０に関する情報や車両７０の周辺状況に関する情報を取得する。車載装置４０の具体例として、車速センサ、舵角センサ、加速度センサ、車載カメラ、レーダセンサ、位置情報センサ（ＧＰＳセンサ）、ナビゲーション装置、着座センサなどが挙げられるが、これらに限定されるものではない。車両情報取得部２０は、車両７０のＣＡＮ（Controller Area Network）を通じてこれらの情報を取得してもよい。画像取得部２２は、上述のカメラ４２が撮像する画像データを取得する。
【００２０】
撮像制御部１４は、カメラ４２の動作を制御する。撮像制御部１４は、撮像条件決定部３４が決定する撮像条件にしたがってカメラ４２に画像を撮像させる。撮像制御部１４は、動画像を撮像するときの時間的に異なるフレームにおいて、第１撮像条件を用いる第１画像と、第２撮像条件を用いる第２画像とをカメラ４２に撮像させる。撮像制御部１４は、カメラ４２に第１画像と第２画像を交互に撮像させてもよく、例えば、奇数番号のフレームにおいて第１画像を撮像させ、偶数番号のフレームにおいて第２画像を撮像させる。カメラ４２は、高フレームレートであることが好ましい。例えば、６０ｆｐｓ（flames per second）のカメラを用いることで、第１画像および第２画像の双方を３０ｆｐｓで撮像できる。
【００２１】
操作受付部２４は、入力装置４８からの操作入力を受け付ける。表示制御部２６は、画像処理部３８が生成する画像を表示装置５０に表示させる。図示する例において、表示装置５０は、液晶ディスプレイ等の表示装置であり、車両７０のセンターコンソールやダッシュボードの位置に取り付けられる。表示装置５０は、カメラ４２の位置に取り付けられてもよい。入力装置４８は、いわゆるタッチパネル式のセンサであり、表示装置５０の表示領域に設けられる。なお、入力装置４８はタッチ式ではなく、表示装置５０の周辺に配置されるボタン等で構成されてもよい。
【００２２】
音声制御部２８は、報知内容決定部３６が決定する報知内容に応じた音声をスピーカ５２に出力する。音声制御部２８は、例えば、車両走行に関する注意喚起のための報知音声をスピーカ５２に出力する。画像記録部３０は、画像取得部２２が取得する画像データや、取得した画像データに画像処理を施して生成される画像データなどを記録装置５４に記録させる。記録装置５４は、例えば、フラッシュメモリやハードディスクなどである。記録装置５４は、Ｗｉ−Ｆｉ（登録商標）などの無線通信により接続されるスマートフォンやタブレットなどの外部機器に設けられてもよい。
【００２３】
乗員検出部３２は、取得部１２が取得する情報に基づいて、車両７０に搭乗する乗員を検出する。乗員検出部３２は、例えば、車両情報取得部２０が取得する着座センサの情報に基づいて乗員を検出する。乗員検出部３２は、例えば、車両７０の後部座席の乗員の有無を検出し、後部座席に乗員がいる場合には乗員の着座位置（例えば、左側、中央、右側）を検出する。乗員検出部３２は、画像取得部２２が取得する画像データに基づいて乗員の有無や乗員の着座位置を検出してもよい。乗員検出部３２の検出対象とする乗員の種類や位置は、入力装置４８からの操作入力を通じてユーザにより指定されてもよい。例えば、チャイルドシートなどの特定の座席を検出対象としたり、乳幼児や子供を検出対象としたりする指定がなされてもよい。また、犬や猫などのペットとして飼っている動物を検出対象としてもよく、本実施の形態における「乗員」とは人間と動物の双方を含む概念であってもよい。その他、車両７０に搭載される貴重品などの物体を検出対象としてもよい。
【００２４】
撮像条件決定部３４は、画像取得部２２が取得する画像データに基づいて、カメラ４２の撮像条件を決定する。撮像条件決定部３４は、カメラ４２が撮像する画像上に基準点または基準領域を設定し、基準点または基準領域における露出や色などの条件が最適となるように撮像条件を決定する。撮像条件決定部３４は、車両の室外となる画像上の位置を基準として第１撮像条件を決定し、車両の室内となる画像上の位置を基準として第２撮像条件を決定する。例えば、図２に示す画像の前方領域Ａに第１基準点８４を設定し、第１基準点８４における輝度や色度が最適となるように第１撮像条件を決定する。また、図２に示す画像の後方領域Ｃに第２基準点８６を設定し、第２基準点８６における輝度や色度が最適となるように第２撮像条件を決定する。撮像条件決定部３４は、それぞれの撮像条件を用いて撮像される画像において、基準点または基準領域における急激な輝度や色度の変化を抑制するフィードバック制御が実現されるように第１撮像条件および第２撮像条件を決定する。撮像条件決定部３４は、乗員検出部３２により検出される乗員の位置に第２基準点を設定して第２撮像条件を決定してもよく、例えば、図２の同乗者８２の位置に第２基準点を設定してもよい。本実施の形態における「撮像条件」には、露光条件を決めるためのカメラのシャッタースピードおよび絞り値を決定することと、撮像後の画像の輝度や色を補償するための自動利得制御（ＡＧＣ；Auto Gain Control）や自動ホワイトバランス制御（ＡＷＣ；Auto White Barance Control）といった画像処理方法を決定することの双方が含まれる。
【００２５】
安全性判定部３５は、取得部１２が取得する情報に基づいて、車両走行の安全性のレベルを判定する。安全性判定部３５は、車両７０の速度、舵角、加速度、車両周辺の他車両や構造物といった障害物の有無や障害物までの距離、走行車線に対する自車両の位置、走行中の道路の属性などに基づいて安全性のレベルを判定する。安全性判定部３５は、例えば、三段階のレベルで安全性を判定する。レベル１は、「安全」とみなされる状態であり、例えば、交差点で信号待ちをしている状況や、高速道路や幹線道路などの直線的な道路を走行しており、周囲に障害物が存在していないような状況に対応する。レベル２は、「要注意」とみなされる状態であり、カーブする道路の走行中や交差点の近傍の走行中、衝突可能性は低いものの周囲に他車両が存在するような状況に対応する。レベル３は、「要警告」とみなされる状態であり、衝突可能性が予見される程度に近くに他車両が存在するような状況や、走行中の車線から自車両が大きく逸脱するような状況に対応する。なお、安全性の判定レベルは３段階に限られず、「通常」と「注意」などの２段階で判定してもよい。例えば、上述のレベル１の状況に加えて、一般道路を制限速度以内といった通常速度で走行中の場合に「通常」と判定してもよい。また、安全性の判定レベルは４段階以上としてもよい。
【００２６】
安全性判定部３５は、車両の走行速度や加速度の情報、アクセル、ブレーキおよびハンドルなどの操作情報を車両から取得して安全性を判定してもよいし、走行中の道路の道路幅、渋滞情報、車両周囲の明るさといった周辺情報を車両に設けられるセンサやナビゲーションシステムから取得して安全性を判定してもよい。安全性判定部３５は、無線通信等により車両の外部の機器から取得する情報を用いて安全性を判定してもよい。また、アダプティブ・クルーズ・コントロール（ＡＣＣ；Adaptive Cruise Control）やレーン・キープ・アシスト（LKAS；Lane Keeping Assistance System）といった運転支援機能が作動中であるか否かに応じて安全性レベルを判定してもよく、運転支援機能が作動中の場合に安全性レベルが相対的に高いと判定してもよい。
【００２７】
報知内容決定部３６は、安全性判定部３５により判定される安全性のレベルに応じて、車両走行に関する注意喚起のための報知内容を決定する。報知内容決定部３６は、安全性判定部３５が運転者への警告が必要とされる安全性のレベル（例えばレベル３）であると判定した場合、運転者に報知すべき内容を決定する。報知内容決定部３６は、例えば、自車両の前方の障害物までの距離が車速に応じた基準値以下となる場合に「前方衝突警告」の報知を決定し、走行車線に対する自車両の位置の逸脱量が基準値を超える場合に「車線逸脱警告」の報知を決定する。報知内容決定部３６は、車両の走行速度が制限速度を超えた場合に「速度超過警告」の報知を決定してもよいし、急発進や急ブレーキ、急ハンドルといった操作がなされた場合に「車両挙動警告」の報知を決定してもよい。報知内容決定部３６により報知が決定された場合、表示装置５０に報知画像（警告画像）を表示させ、スピーカ５２から報知音を出力させる。報知画像として、危険を示す標識を模した画像を用いることができ、例えば、黄色背景に「！」の文字またはマークを表示した画像や、「危険」「前方注意」などの文字を表示した画像を用いることができる。報知音として、ブザー音やアラーム音などを用いることができ、「前方にご注意ください」「速度を落としてください」などのメッセージを読み上げる音声を用いてもよい。また、判定される安全性レベルや決定される報知内容に応じて、報知画像の表示サイズや報知音の音量が変更されてもよい。
【００２８】
画像処理部３８は、取得部１２が取得する情報に基づいて、表示装置５０に表示するための画像や記録装置５４に記録する画像データを生成する。画像処理部３８は、画像取得部２２が取得する画像データを撮像条件ごとに分類して別々の動画像データを生成する。画像処理部３８は、第１撮像条件を用いて撮像された第１画像のフレームのみを用いて第１動画像データを生成し、第２撮像条件を用いて撮像された第２画像のフレームのみを用いて第２動画像データを生成する。このようにして生成された第１動画像データは、ドライブレコード用の動画像データとして記録装置５４に記録される。なお、第１動画データとは別に第２動画像データも併せて記録装置５４に記録されてもよい。
【００２９】
画像処理部３８は、乗員検出部３２により乗員が検出される場合、第２撮像条件を用いて撮像された第２画像に基づいて乗員画像を生成する。ここで「乗員画像」とは、乗員の様子を鮮明に映し出すための画像であり、元データとなる第２画像よりも乗員が含まれる画像領域の視認性が高い表示態様となるように画像処理が施された画像である。画像処理部３８は、図２に示される極座標系の画像を直交座標系の画像に座標変換したり、第２画像のうち乗員が含まれる一部領域を切り出して拡大したり、画像の輝度や色度を調整したりする画像処理により乗員画像を生成する。このようにして生成される乗員画像は、表示装置５０に乗員をモニタするための動画像として表示され、例えば乳幼児や子供、病人などが後部座席に着座している場合に運転者がその乗員の様子を容易に知ることができる。る。なお、画像処理部３８は、乗員検出部３２により乗員が検出されない場合、乗員画像を生成しなくてもよい。したがって、乗員検出部３２により乗員が検出されない場合、乗員画像に基づく動画像が表示装置５０に表示されなくてもよい。
【００３０】
画像処理部３８は、安全性判定部３５により判定される安全性のレベルに応じて、生成する乗員画像の表示態様を変化させてもよい。例えば、安全性が相対的に高いと判定される場合、例えば安全性が「レベル１」の場合、乗員画像に基づく動画像が表示装置５０に継続的に表示されるように乗員画像を生成する。一方、安全性が相対的に低いと判定される場合、例えば安全性が「レベル２」の場合、乗員画像に基づく動画像の表示時間が制限されるように乗員画像を生成する。例えば、一定時間（１秒や２秒など）ごとに乗員画像の表示期間と非表示期間を交互に繰り返し、乗員画像が継続的に表示されないようにする。これにより、運転者が長時間（例えば１秒以上や２秒以上）にわたって乗員画像に注視するのを防ぐようにする。画像処理部３８は、車速に応じて乗員画像の表示時間を変化させてもよく、車速が大きくなるにつれて乗員画像の表示時間を短くしてもよい。画像処理部３８は、車両のアクセル、ブレーキ、ハンドルなどの操作がなされている場合、その操作中において乗員画像を表示しないようにしてもよい。画像処理部３８は、地図情報などに基づいて、車両が交差点やカーブの手前を走行していると判定される場合に、乗員画像の表示態様を変更し、車両が交差点やカーブに近づくにつれて乗員画像の表示時間を短くするようにしてもよい。画像処理部３８は、安全性が低いと判定される場合、例えば安全性が「レベル３」の場合、乗員画像に基づく動画像を非表示としたり、乗員画像の視認性が低くなるように表示を変更してもよい。この場合、画像処理部３８は、乗員画像の代わりに警告画像を生成して表示装置５０に表示させてもよいし、乗員画像の上に警告画像を重畳した画像を生成して表示装置５０に表示させてもよい。このように乗員画像の表示態様を安全性の判定レベルに基づいて変更することにより、運転者が後部座席の様子を把握しやすくするとともに、車両のより安全な運転を支援することができる。
【００３１】
安全性判定部３５は、表示装置５０に乗員画像が表示されているか否かに応じて、安全性のレベルの判定に用いる判定基準を切り替えてもよい。安全性判定部３５は、複数の判定基準を備え、表示装置５０に乗員画像が表示されていない場合には通常の第１判定基準を使用し、表示装置５０に乗員画像が表示されている場合には第１判定基準とは異なる第２判定基準を使用してもよい。第２判定基準は、第１判定基準に比べて同一の事象に対して判定される安全性が相対的に低くなるように判定基準が定められる。例えば、第１判定基準を用いた場合には「レベル１」と判定されるような事象の一部について、「レベル１」ではなく「レベル２」と判定されるように判定基準が定められる。つまり、第２判定基準では第１判定基準よりも安全性が厳しく判定される。表示装置５０に乗員画像が表示される場合には運転者の注意が表示装置５０に向かいやすくなるため、そのような状況において安全性のレベルを厳しく判定することで、早めに警告または報知したり、より適切に表示装置５０の表示態様を変化させたりできる。運転者の視線方向を検出する視線検出部をさらに設け、運転者が乗員画像を注視していることが検出される場合に安全性が相対的に低く判定されるように判定基準を切り替えてもよい。
【００３２】
図４は、表示制御方法の流れを示すフローチャートである。撮像条件決定部３４は、車両の室外を基準としてカメラ４２の露出および色の少なくとも一方に関する第１撮像条件を決定し、車両の室内を基準としてカメラ４２の露出および色の少なくとも一方に関する第２撮像条件を決定する（Ｓ１０）。撮像制御部１４は、時間的に異なるフレームにおいて、第１撮像条件を用いる第１画像および第２撮像条件を用いる第２画像をカメラ４２に撮像させ、画像取得部２２は、第１画像データおよび第２画像データを取得する（Ｓ１２）。画像記録部３０は、第１画像に基づく動画像データを記録装置５４に記録させる（Ｓ１４）。乗員検出部３２により乗員が検出される場合（Ｓ１６のＹ）、画像処理部３８は、第２画像に基づいて、乗員が含まれる画像部分の視認性が第２画像よりも高い表示態様の乗員画像を生成する（Ｓ１８）。表示制御部２６は、生成した乗員画像に基づく動画像を表示装置５０に表示させる（Ｓ２０）。乗員検出部３２により乗員が検出されない場合（Ｓ１６のＮ）、Ｓ１８およびＳ２０の処理をスキップする。
【００３３】
本実施の形態によれば、単一のカメラを共用して、車両の室外の視認性が高い第１画像および車両の室内の視認性が高い第２画像をまとめて撮像することができる。また、乗員が検出される場合に第２画像に基づく乗員画像を生成して表示することにより、乗員のモニタリングに適した画像を提供することができる。本実施の形態によれば、車内や乗員を撮像するための専用カメラを設ける場合と比べて、低コストでドライブレコード機能とモニタリング機能の双方を提供できる。
【００３４】
本実施の形態によれば、安全性判定部の判定レベルに応じて乗員画像の表示態様を変化させることにより、安全性が相対的に低いと判定される状況下で運転者が乗員画像を注視する時間が長くなるのを防ぐことができる。また、乗員画像が表示されている場合に安全性の判定基準を切り替えることにより、運転者が乗員画像を注視するような状況下で車両走行に関する注意喚起をより適切に実行できる。
【００３５】
以上、本発明を上述の実施の形態を参照して説明したが、本発明は上述の実施の形態に限定されるものではなく、各表示例に示す構成を適宜組み合わせたものや置換したものについても本発明に含まれるものである。
【００３６】
上述の実施の形態では、単一のカメラで車両の室外と室内の双方を良好に撮像する方法について示した。変形例においては、単一のカメラで撮像される画像データに含まれる任意の複数の画像領域のそれぞれを良好に撮像するために上述の処理を適用してもよい。この場合、車両に取り付けられるカメラは、車両の室外のみを撮像してもよいし、車両の室内のみを撮像してもよいし、車両の室外と室内の双方を撮像してもよい。
【００３７】
撮像条件決定部は、画像取得部が取得する画像データに含まれる任意の複数の画像領域のそれぞれについてカメラの露出、色および輝度の少なくとも一つに関する個別の撮像条件を決定してもよい。例えば、画像データの第１画像領域について第１撮像条件を決定し、画像データの第１画像領域とは異なる第２画像領域について第２撮像条件を決定してもよい。撮像条件決定部は、３以上の撮像条件を決定してもよく、例えば、画像データの第１画像領域および第２画像領域とは異なる第３画像領域について第３撮像条件を決定してもよいし、画像データの第１画像領域、第２画像領域および第３画像領域とは異なる第４画像領域について第４撮像条件を決定してもよい。つまり、撮像条件決定部は、画像取得部が取得する一つの画像データを複数のｎ個の画像領域に分割し、ｎ個の画像領域のそれぞれに対応するｎ個の撮像条件を決定してもよい。ｎ個の画像領域のそれぞれは、全てが車外であってもよいし、全てが車内であってもよいし、一部が車外、残りが車内であってもよい。
【００３８】
撮像条件決定部は、車両の室外を基準とする撮像条件について、車両が走行する路面や空が写る領域を除いた画像領域、例えば、車両周辺の他車両や通行人、建築物などが写る領域を基準として撮像条件を決定してもよい。撮像条件決定部は、車両の室内を基準とする撮像条件について、乗員が含まれる画像領域を基準として撮像条件を決定してもよい。
【００３９】
撮像制御部は、撮像条件決定部が決定した複数の撮像条件のそれぞれを用いる画像を時間的に異なるフレームにおいてカメラに撮像させてもよい。例えば、第１撮像条件を用いる第１画像と、第２撮像条件を用いる第２画像とを時間的に異なるフレームにおいてカメラに撮像させてもよい。撮像制御部は、第１画像および第２画像の撮像とは時間的に異なるフレームにおいて、第３撮像条件を用いる第３画像や、第４撮像条件を用いる第４画像をカメラに撮像させてもよい。つまり、撮像制御部は、撮像条件決定部が決定したｎ個の撮像条件のそれぞれに対応するｎ個の画像を互いに時間的に異なるフレームにおいてカメラに撮像させてもよい。
【００４０】
乗員検出部は、複数の乗員を検出してもよい。乗員検出部は、例えば、後部座席の右側の第１乗員、後部座席の中央の第２乗員、後部座席の左側の第３乗員、運転席の隣の第４乗員などを同時に検出してもよい。画像処理部は、検出した複数の乗員のそれぞれに対応する乗員画像を生成してもよい。画像処理部は、複数の乗員のそれぞれが含まれる画像領域の視認性が高い表示態様の複数の乗員画像を乗員ごとに生成してもよい。例えば、第１乗員の視認性が高い第１乗員画像、第２乗員の視認性が高い第２乗員画像、第３乗員の視認性が高い第３乗員画像、第４乗員の視認性が高い第４乗員画像を生成してもよい。各乗員画像の生成に用いる画像は、互いに撮像条件が異なってもよく、対応する乗員が含まれる画像領域について最適化された撮像条件を用いて撮像された画像であってもよい。第１乗員画像は、第１乗員が含まれる画像領域を基準とする撮像条件（例えば第２撮像条件）を用いる第２画像に基づいて生成され、第２乗員画像は、第２乗員が含まれる画像領域を基準とする撮像条件（例えば第３撮像条件）を用いる第３画像に基づいて生成されてもよい。
【００４１】
表示制御部は、複数の乗員が検出される場合、複数の乗員のそれぞれに対応する複数の乗員画像に基づく動画像を表示装置に表示させてもよい。例えば、第１乗員および第２乗員の二名が検出される場合、表示制御部は、第１乗員画像に基づく第１動画像および第２乗員画像に基づく第２動画像を表示装置に表示させてもよい。第１動画像および第２動画像は、表示装置の異なる領域に同時に表示されてもよいし、時間的に異なるタイミングで表示装置に別々に表示されてもよい。後者の場合、第１動画像が表示される期間と第２動画像が表示される期間が交互に繰り返されてもよく、例えば、５秒ごとに表示される乗員が切り替えられてもよい。
【００４２】
本変形例によれば、単一のカメラを用いて任意の複数の画像領域のそれぞれを適切な撮像条件で撮像できる。例えば、車外を基準とする第１撮像条件を用いることでドライブレコーダの記録に適した画像を撮像しつつ、車内の複数の乗員を基準とする第２撮像条件や第３撮像条件を用いることで複数の乗員のそれぞれのモニタに適した画像を撮像できる。
【符号の説明】
【００４３】
１０…ドライブレコーダ、１２…取得部、１４…撮像制御部、１８…処理部、２０…車両情報取得部、２２…画像取得部、２６…表示制御部、３０…画像記録部、３２…乗員検出部、３４…撮像条件決定部、３５…安全性判定部、３６…報知内容決定部、３８…画像処理部、４２…カメラ、５０…表示装置、７０…車両。
【産業上の利用可能性】
【００４４】
本発明によれば、ドライブレコーダのカメラを利用して乗員の様子を適切に映し出すことができる。
【図１】
2019176391.tif 000003
【図２】
2019176391.tif 000004
【図３】
2019176391.tif 000005
【図４】
2019176391.tif 000006
【国際調査報告】
2019176391.tif 000007
2019176391.tif 000008