(57)【要約】【課題】赤外線撮像素子の撮像画像の画質特性を向上させる。【解決手段】赤外線撮像装置２０は、レンズ２１と、赤外線撮像素子２２と、プロセッサ２４と、を備える。レンズ２１は、透過する赤外線を結像する。赤外線撮像素子２２は、レンズ２１を透過した赤外線の結像面に２次元配列された複数の画素を有し、複数の画素の画素信号の読み出しが水平ライン毎に行われる。プロセッサ２４は、赤外線撮像素子２２の各水平ラインの読出時間の合計がフレームレートの逆数以下となる範囲内において、各水平ラインの読出時間を制御する。【選択図】図２
2018107636.tif 000002
【特許請求の範囲】
【請求項１】
透過する赤外線を結像するレンズと、
前記レンズを透過した赤外線の結像面に２次元配列された複数の画素を有し、前記複数の画素の画素信号の読み出しが水平ライン毎に行われる赤外線撮像素子と、
前記赤外線撮像素子の各水平ラインの読出時間の合計がフレームレートの逆数以下となる範囲内において、各水平ラインの読出時間を制御するプロセッサと、
を備える、赤外線撮像装置。
【請求項２】
請求項１に記載の赤外線撮像装置であって、
前記プロセッサは、
前記赤外線撮像素子の撮像画像を用いて被写体認識を実行し、
前記被写体認識の実行結果に基づいて、各水平ラインの読出時間を制御する、赤外線撮像装置。
【請求項３】
請求項２に記載の赤外線撮像装置であって、
前記プロセッサは、移動する被写体が認識された場合、該被写体が含まれる前記撮像画像上の領域に対応する１つ以上の水平ラインそれぞれの読出時間を、他の水平ラインそれぞれの読出時間よりも長くする、赤外線撮像装置。
【請求項４】
請求項２または３に記載の赤外線撮像装置であって、
前記プロセッサは、認識された被写体が人または移動体である場合、該被写体が含まれる前記撮像画像上の領域に対応する１つ以上の水平ラインそれぞれの読出時間を、他の水平ラインそれぞれの読出時間よりも長くする、赤外線撮像装置。
【請求項５】
請求項１に記載の赤外線撮像装置であって、
前記２次元配列された複数の画素の垂直方向における中央部分の水平ラインそれぞれの読出時間が端部分の水平ラインそれぞれの読出時間よりも長い、赤外線撮像装置。
【請求項６】
移動体に搭載される車載カメラであって、
透過する赤外線を結像するレンズと、
前記レンズを透過した赤外線の結像面に２次元配列された複数の画素を有し、前記複数の画素の画素信号の読み出しが水平ライン毎に行われる赤外線撮像素子と、
前記赤外線撮像素子の各水平ラインの読出時間の合計がフレームレートの逆数以下となる範囲内において、各水平ラインの読出時間を制御するプロセッサと、
を備える、車載カメラ。
【請求項７】
請求項６に記載の車載カメラであって、
前記プロセッサは、
前記赤外線撮像素子の撮像画像上の一部領域を特定領域として決定し、
前記特定領域に対応する１つ以上の水平ラインそれぞれの読出時間を、他の水平ラインそれぞれの読出時間よりも長くする、車載カメラ。
【請求項８】
請求項７に記載の車載カメラであって、
前記プロセッサは、
前記赤外線撮像素子の撮像画像上の走行路の消失点を検出し、
前記消失点を基準として前記特定領域を決定する、車載カメラ。
【請求項９】
請求項７または８に記載の車載カメラであって、
前記移動体に関する移動体情報を取得する通信部をさらに備え、
前記プロセッサは、前記移動体情報に基づいて前記特定領域を決定する、車載カメラ。
【請求項１０】
請求項９に記載の車載カメラであって、
前記移動体情報は、前記移動体の速度、姿勢、および周辺環境のうち少なくとも１つを示す情報を含む、車載カメラ。
【請求項１１】
透過する赤外線を結像するレンズと、
前記レンズを透過した赤外線の結像面に２次元配列された複数の画素を有し、前記複数の画素の画素信号の読み出しが水平ライン毎に行われる赤外線撮像素子と、
前記赤外線撮像素子の各水平ラインの読出時間の合計がフレームレートの逆数以下となる範囲内において、各水平ラインの読出時間を制御するプロセッサと、
を備える、移動体。
【請求項１２】
透過する赤外線を結像するレンズと、前記レンズを透過した赤外線の結像面に２次元配列された複数の画素を有する赤外線撮像素子と、を備える赤外線撮像装置の制御方法であって、
前記赤外線撮像素子の各水平ラインの読出時間の合計がフレームレートの逆数以下となる範囲内において、各水平ラインの読出時間を制御し、
前記複数の画素の画素信号を水平ライン毎に読み出す、制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、赤外線撮像装置、車載カメラ、移動体、および制御方法に関する。
【背景技術】
【０００２】
従来、例えばＣＣＤ（Charge Coupled Device）センサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の光電変換を行う撮像素子が知られている。例えば特許文献１には、撮像画像の画質特性を向上させるために、撮像素子のシャッタ速度およびゲインを調整する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２８９０３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、赤外線撮像装置に用いられる赤外線撮像素子は、光電変換を行う上記の撮像素子とは原理が異なる。このため、赤外線撮像素子においては、例えばシャッタ速度およびゲインを調整しても、撮像画像の画質特性の向上を図ることができない。
【０００５】
本開示は、赤外線撮像素子の撮像画像の画質特性を向上させる赤外線撮像装置、車載カメラ、移動体、および制御方法に関する。
【課題を解決するための手段】
【０００６】
本開示の一実施形態に係る赤外線撮像装置は、レンズと、赤外線撮像素子と、プロセッサと、を備える。レンズは、透過する赤外線を結像する。赤外線撮像素子は、レンズを透過した赤外線の結像面に２次元配列された複数の画素を有し、複数の画素の画素信号の読み出しが水平ライン毎に行われる。プロセッサは、赤外線撮像素子の各水平ラインの読出時間の合計がフレームレートの逆数以下となる範囲内において、各水平ラインの読出時間を制御する。
【０００７】
本開示の一実施形態に係る車載カメラは、移動体に搭載される車載カメラであって、レンズと、赤外線撮像素子と、プロセッサと、を備える。レンズは、透過する赤外線を結像する。赤外線撮像素子は、レンズを透過した赤外線の結像面に２次元配列された複数の画素を有し、複数の画素の画素信号の読み出しが水平ライン毎に行われる。プロセッサは、赤外線撮像素子の各水平ラインの読出時間の合計がフレームレートの逆数以下となる範囲内において、各水平ラインの読出時間を制御する。
【０００８】
本開示の一実施形態に係る移動体は、レンズと、赤外線撮像素子と、プロセッサと、を備える。レンズは、透過する赤外線を結像する。赤外線撮像素子は、レンズを透過した赤外線の結像面に２次元配列された複数の画素を有し、複数の画素の画素信号の読み出しが水平ライン毎に行われる。プロセッサは、赤外線撮像素子の各水平ラインの読出時間の合計がフレームレートの逆数以下となる範囲内において、各水平ラインの読出時間を制御する。
【０００９】
本開示の一実施形態に係る制御方法は、透過する赤外線を結像するレンズと、前記レンズを透過した赤外線の結像面に２次元配列された複数の画素を有する赤外線撮像素子と、を備える赤外線撮像装置の制御方法である。赤外線撮像素子の各水平ラインの読出時間の合計がフレームレートの逆数以下となる範囲内において、各水平ラインの読出時間を制御し、複数の画素の画素信号を水平ライン毎に読み出す。
【発明の効果】
【００１０】
本開示の一実施形態に係る赤外線撮像装置、車載カメラ、移動体、および制御方法によれば、赤外線撮像素子の撮像画像の画質特性が向上する。
【図面の簡単な説明】
【００１１】
【図１】本開示の一実施形態に係る移動体における赤外線撮像装置の配置を示す図である。
【図２】赤外線撮像装置の概略構成を示す機能ブロック図である。
【図３】赤外線撮像素子の各水平ラインの読出時間の第１例を示す図である。
【図４】赤外線撮像素子の各水平ラインの読出時間の第２例を示す図である。
【図５】撮像画像上の特定領域の第１例を示す図である。
【図６】撮像画像上の特定領域の第２例を示す図である。
【図７】撮像画像上の特定領域の第３例を示す図である。
【図８】赤外線撮像装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本開示の実施形態について、図面を参照して説明する。
【００１３】
図１を参照して、本開示の一実施形態に係る移動体１０について説明する。
【００１４】
本開示における「移動体」は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。
【００１５】
移動体１０は、赤外線撮像装置２０を備える。赤外線撮像装置２０は、例えば車載カメラとして構成されてよい。赤外線撮像装置２０は、移動体１０の任意の位置に備えられてよい。例えば図１に示すように、赤外線撮像装置２０は、移動体１０の前方の外部領域を撮像可能となるように、移動体１０の前方を向いて配置される。赤外線撮像装置２０は、移動体１０の前方に存在する被写体から放射される赤外線を検出し、撮像画像を生成可能である。例えば可視光の光量が少ない夜間において移動体１０の運転者が直接視認しにくい被写体が、赤外線撮像装置２０の撮像画像上に撮像され得る。赤外線撮像装置２０の撮像画像は、例えば夜間における移動体１０の運転を補助するために利用可能である。従来、赤外線撮像装置２０の撮像画像の画質特性の向上が望まれている。
【００１６】
図２を参照して、赤外線撮像装置２０の構成について詳細に説明する。赤外線撮像装置２０は、撮像光学系２１と、赤外線撮像素子２２と、通信部２３と、制御部２４と、を備える。
【００１７】
撮像光学系２１は、赤外線を透過する。撮像光学系２１は、例えば絞りおよび１つ以上のレンズを含んでよい。撮像光学系２１は、透過する赤外線を結像するレンズを含んでよい。
【００１８】
赤外線撮像素子２２は、任意の赤外線検出器を含んでよい。例えば、赤外線撮像素子２２は、２次元配列された複数のボロメータを含んでよい。各ボロメータが各画素を構成する。赤外線撮像素子２２の受光面には、複数の画素が２次元配列されている。赤外線撮像素子２２は、撮像光学系２１を透過した赤外線の結像面に受光面が略一致するように配置される。
【００１９】
赤外線撮像素子２２において、２次元配列された複数の画素の画素信号の読み出しが、水平ライン毎に順次行われる。全ての水平ラインから１回ずつ読み出された画素信号によって、１フレームの撮像画像が生成される。例えば、赤外線撮像素子２２は、垂直シフトレジスタと、アンプアレイと、サンプルホールド回路と、水平シフトレジスタと、を含んでよい。垂直シフトレジスタは、後述するように制御部２４から入力される垂直駆動信号に応じて、水平ライン毎に各ボロメータから読み出した画素信号をアンプアレイに転送する。アンプアレイは、転送された画素信号をＩ／Ｖ変換して、サンプルホールド回路に転送する。サンプルホールド回路は、転送された画素信号をサンプルホールドしてから、後述するように制御部２４から入力される駆動信号に応じて水平シフトレジスタへ転送する。水平シフトレジスタは、後述するように制御部２４から入力される水平駆動信号に応じて画素信号を出力する。
【００２０】
通信部２３は、外部装置と通信可能なインタフェースを含む。
【００２１】
本開示における「通信インタフェース」は、例えば物理コネクタ、および無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、および電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、ＥＩＡＪ  ＣＰ−１２１１Ａに規定されるＳ端子に対応するコネクタ、ＥＩＡＪ  ＲＣ−５２３７に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、およびＢＮＣ（British Naval ConnectorまたはBaby-series N Connector等）を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、ＩＥＣ  ６１７５４に準拠する種々のコネクタを含んでよい。無線通信機は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、およびＩＥＥＥ８０２．１１を含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも１つのアンテナを含む。
【００２２】
通信部２３は、任意の通信経路を介して外部装置と通信可能であってよい。通信経路は例えば有線、無線、およびＣＡＮ（Controller Area Network）等を含んでよい。外部装置は、例えば移動体１０に備えられたＥＣＵ（Electronic Control UnitまたはEngine Control unit）、速度センサ、加速度センサ、回転角センサ、ジャイロセンサ、ステアリング舵角センサ、エンジン回転数センサ、アクセルセンサ、ブレーキセンサ、照度センサ、雨滴センサ、走行距離センサ、ミリ波レーダ、超音波ソナー等を用いた障害物検出装置、ＥＴＣ（Electronic Toll Collection System）受信装置、ＧＰＳ（Global Positioning System）装置、ナビゲーション装置、インターネット上のサーバ、および携帯電話等を含んでよい。
【００２３】
通信部２３は、外部装置から多様な情報を取得可能である。例えば、通信部２３は、移動体１０に関する移動体情報を取得してよい。
【００２４】
移動体情報は、移動体１０に関する任意の情報を含んでよい。例えば、移動体情報は、移動体１０の速度、姿勢、および周辺環境のうち少なくとも１つを示す情報を含んでよい。移動体１０の速度は、例えば速度センサから取得可能であってよい。移動体１０の姿勢は、例えばパン角、ロール角、およびチルト角の少なくとも１つを含んでよい。移動体１０の姿勢は、例えばジャイロセンサから取得可能であってよい。移動体１０の周辺環境は、移動体１０の外部環境に関する任意の情報を示してよい。例えば移動体の周辺環境は、移動体１０の現在位置が市街地、高速道路、および渋滞している道路等のいずれであるかを示してよい。移動体１０の周辺環境は、移動体１０の例えば前方における走行路の傾斜を示してよい。移動体１０の周辺環境は、天気を示してよい。移動体１０の周辺環境は、例えばＧＰＳ装置、ナビゲーション装置、インターネット上のサーバ、携帯電話、照度センサ、および雨滴センサ等から取得可能であってよい。
【００２５】
移動体情報は、上述した例に限られない。例えば、移動体情報は、移動体１０の加速度、旋回重力、傾き、方角、および旋回状況、ステアリングホイールの舵角、冷却水の温度、燃料の残量、バッテリの残量、バッテリの電圧、エンジン回転数、エンジンの動作状態、ギアポジション、リバース信号の有無、アクセル操作の有無、アクセル開度、ブレーキ操作の有無、ブレーキ踏度、パーキングブレーキの作動有無、前後輪もしくは４輪の回転数差、タイヤ空気圧、ダンパの伸縮量、運転手の目の空間位置、乗員の数および座席位置、シートベルトの装着情報、ドアの開閉、窓の開閉、車内温度、空調の動作有無、空調の設定温度、空調の送風量、外気循環の設定、ワイパーの作動状況、走行モード、外部機器との接続情報、現在時刻、平均燃費、瞬間燃費、各種ランプの点灯状態、移動体１０の位置情報、ならびに移動体１０の目的地までの経路情報等を含んでよい。各種ランプは、例えばヘッドランプ、フォグランプ、バックランプ、ポジションランプ、およびターンシグナルを含んでよい。
【００２６】
制御部２４は、１つ以上のプロセッサを含む。本開示における「プロセッサ」は、特定の処理に特化した専用のプロセッサ、および特定のプログラムを読み込むことによって特定の機能を実行する汎用のプロセッサを含んでよい。専用のプロセッサには、ＤＳＰ（Digital Signal Processor）および特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれてよい。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれてよい。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれてよい。制御部２４は、１つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、およびＳｉＰ（System In a Package）のいずれかであってよい。
【００２７】
制御部２４は、赤外線撮像装置２０全体の動作を制御する。制御部２４は、赤外線撮像素子２２の駆動制御を行う。例えば、制御部２４は、垂直シフトレジスタへ垂直駆動信号を出力する。制御部２４は、サンプルホールド回路へ駆動信号を出力する。制御部２４は、水平シフトレジスタへ水平駆動信号を出力する。制御部２４は、任意のフレームレートで赤外線撮像素子２２に撮像画像を生成させてよい。
【００２８】
制御部２４は、赤外線撮像素子２２の各水平ラインの読出時間を制御する。例えば、制御部２４は、垂直シフトレジスタへ出力する垂直駆動信号を水平ライン毎に調整することによって、各水平ラインの読出時間を制御してよい。読出時間の制御によって、水平ライン毎に読出時間が設定され得る。
【００２９】
以下、各水平ラインの読出時間を制御する制御部２４の動作について、詳細に説明する。赤外線撮像素子２２の各水平ラインにおいて画素信号を読み出す期間は、時間的に互いに重なることができない。このため、各水平ラインの読出時間の合計は、フレームレートの逆数以下である必要がある。例えば、フレームレートが３０ｆｐｓ（Frame per Seconds）であって、水平ラインの数がｎ列である場合を考える。ｍ列目の水平ラインの読出時間をｔｍとすると、各水平ラインの読出時間の合計ｔは、次式（１）を満たす必要がある。
ｔ＝ｔ１＋ｔ２＋…＋ｔｎ≦１／３０                              （１）
【００３０】
赤外線撮像素子２２の撮像画像の画質特性を示す指標の１つに、雑音透過温度差（ＮＥＴＤ：Noise-Equivalent Temperature）が知られている。画素であるボロメータの読出時間が長いほど、ボロメータの電圧感度が大きくなり、ＮＥＴＤが小さくなる。ＮＥＴＤが小さいほど、撮像画像のノイズが相対的に小さくなり、撮像画像の鮮明さが向上する。
【００３１】
制御部２４は、式（１）を満たすように、各水平ラインの読出時間を制御する。換言すると、制御部２４は、赤外線撮像素子２２の各水平ラインの読出時間の合計ｔがフレームレートの逆数以下となる範囲内において、各水平ラインの読出時間を制御する。
【００３２】
例えば図３および図４は、横軸が時間を示し、縦軸が各水平ラインに対応する垂直駆動信号を示す、１フレーム分のタイミングチャートである。時間Ｔは、フレームレートの逆数である。垂直駆動信号がハイである期間が、対応する水平ラインにおいて画素信号を読み出す期間である。垂直駆動信号がハイである時間が、対応する水平ラインの読出時間に相当する。
【００３３】
図３は、各水平ラインにおいて均等な長さの読出時間が設定されている様子を示す。かかる場合、生成される撮像画像の全領域において画質特性が略均一であり得る。各水平ラインにおいて均等な長さの読出時間が設定された場合の撮像画像を、基準画像ともいう。図４は、例えば３列目の水平ラインに長い読出時間が設定され、他の列の水平ラインに短い読出時間が設定されている様子を示す。かかる場合、３列目の水平ラインに対応する撮像画像上の領域は、基準画像と比較して画質特性が向上する。他の列の水平ラインに対応する撮像画像上の領域は、基準画像と比較して画質特性が低下する。
【００３４】
制御部２４は、撮像画像上の一部領域を特定領域として決定する。特定領域を決定するアルゴリズムについては後述する。制御部２４は、撮像画像上の特定領域に対応する１つ以上の水平ラインの読出時間を、他の水平ラインの読出時間よりも長くする。したがって、撮像画像上の特定領域の画質特性が向上する。
【００３５】
制御部２４は、赤外線撮像素子２２の撮像画像を用いて、被写体認識を行ってよい。被写体認識によって、撮像画像上の所望の被写体が認識され得る。制御部２４は、被写体認識によって、例えば撮像画像上の走行路、人、および他の移動体等を認識可能であってよい。制御部２４は、例えば図５に示すように、撮像画像上の走行路３０の消失点３１を検出してよい。制御部２４は、検出された消失点３１を基準として、撮像画像上における特定領域を決定してよい。例えば、制御部２４は、消失点３１の位置を、移動体１０の遠景の基準として認識してよい。制御部２４は、通信部２３を介して移動体情報を取得し、移動体情報に基づいて特定領域を決定してよい。
【００３６】
特定領域の決定には、任意のアルゴリズムが採用可能であってよい。以下、特定領域を決定するアルゴリズムの３つの具体例について説明する。
【００３７】
特定領域を決定するアルゴリズムの第１例について説明する。例えば、移動体１０が比較的高速で走行する場合、移動体１０の遠景に位置する被写体に、移動体１０の運転者が注目する蓋然性が高い。制御部２４は、通信部２３を介して移動体情報を取得する。制御部２４は、移動体情報に基づいて、移動体１０が高速で走行し得るか否かを判定する。当該判定には、移動体情報を用いる任意のアルゴリズムが採用可能であってよい。例えば、制御部２４は、移動体情報に示される移動体１０の速度、加速度、またはアクセル開度度が所定の基準値以上である場合、移動体１０が高速で走行し得ると判定してよい。制御部２４は、移動体情報に示される移動体１０の周辺環境が高速道路であることを示す場合、移動体１０が高速で走行し得ると判定してよい。
【００３８】
移動体１０が高速で走行し得ると判定された場合、制御部２４は、例えば移動体１０の遠景に位置する被写体が含まれ得る撮像画像上の一部領域を、特定領域に定めてよい。当該一部領域は、例えば走行路３０の消失点３１を含む領域であってよい。例えば図５は、ｐ列目からｑ列目までの水平ラインに対応する撮像画像上の領域が、特定領域に定められた例を示す。ここで、１＜ｐ＜ｑ＜Ｎである。かかる構成によって、移動体１０が高速で走行し得る場合に運転者が注目する蓋然性の高い遠景の被写体の画質特性が向上する。
【００３９】
特定領域を決定するアルゴリズムの第２例について説明する。例えば、移動体１０が比較的低速で走行する場合、移動体１０の近景に位置する被写体に、移動体１０の運転者が注目する蓋然性が高い。制御部２４は、移動体情報に基づいて、移動体１０が低速で走行し得るか否かを判定する。当該判定には、移動体情報を用いる任意のアルゴリズムが採用可能であってよい。例えば、制御部２４は、移動体情報に示される移動体１０の速度、加速度、またはアクセル開度度が所定の基準値未満である場合、移動体１０が低速で走行し得ると判定してよい。制御部２４は、移動体情報に示される移動体１０の周辺環境が市街地または渋滞した走行路であることを示す場合、移動体１０が低速で走行し得ると判定してよい。
【００４０】
移動体１０が低速で走行し得ると判定された場合、制御部２４は、例えば移動体１０の近景に位置する被写体が含まれ得る撮像画像上の一部領域を、特定領域に定めてよい。当該一部領域は、例えば走行路３０の消失点３１よりも下方の領域であってよい。当該一部領域は、消失点３１を含んでもよく、含まなくてもよい。当該一部領域は、上述したアルゴリズムの第１例において決定される特定領域よりも、上下方向の幅が長くてよい。例えば図６は、ｒ列目からｓ列目までの水平ラインに対応する撮像画像上の領域が、特定領域に定められた例を示す。ここで、１＜ｒ＜ｓ＜Ｎである。かかる構成によって、移動体１０が低速で走行し得る場合に運転者が注目する蓋然性の高い近景の被写体の画質特性が向上する。
【００４１】
特定領域を決定するアルゴリズムの第３例について説明する。例えば、移動体１０の運転者は、移動する被写体に注目する蓋然性が高い。移動する被写体は、例えば人および他の移動体を含んでよい。制御部２４は、移動する被写体が被写体認識によって認識された場合、当該被写体が含まれる撮像画像上の一部領域を、特定領域に定めてよい。制御部２４は、互いに離れた複数の特定領域を決定してよい。例えば図７は、撮像画像上で認識された他の移動体３２が含まれる第１特定領域と、人３３が含まれる第２特定領域と、を示す。第１特定領域は、ｔ列目からｕ列目までの水平ラインに対応する。第２特定領域は、ｖ列目からｗ列目までの水平ラインに対応する。ここで、１＜ｔ＜ｕ＜ｖ＜ｗ＜Ｎである。かかる構成によって、運転者が注目する蓋然性の高い、移動する被写体の画質特性が向上する。
【００４２】
特定領域を決定するアルゴリズムは、上述した具体例に限られない。制御部２４は、被写体認識の処理結果および移動体情報の少なくとも一方に基づく任意のアルゴリズムを用いて、特定領域を決定してよい。
【００４３】
図８を参照して、赤外線撮像装置２０の動作について説明する。
【００４４】
ステップＳ１００：制御部２４は、赤外線撮像素子２２に撮像画像を生成させる。
【００４５】
ステップＳ１０１：制御部２４は、通信部２３を介して外部装置から、移動体情報を取得する。
【００４６】
ステップＳ１０２：制御部２４は、ステップＳ１００の撮像画像を用いて被写体認識を行う。
【００４７】
ステップＳ１０３：制御部２４は、例えばステップＳ１０１の移動体情報およびステップＳ１０２の被写体認識の処理結果の少なくとも一方に基づいて、撮像画像上の一部領域を特定領域として決定する。
【００４８】
ステップＳ１０４：制御部２４は、赤外線撮像素子２２の各水平ラインの読出時間の合計がフレームレートの逆数以下となる範囲内において、赤外線撮像素子２２の各水平ラインの読出時間を制御する。例えば、制御部２４は、ステップＳ１０３の特定領域に対応する１つ以上の水平ラインそれぞれの読出時間を、他の水平ラインそれぞれの読出時間よりも長くしてよい。
【００４９】
以上述べたように、本開示の一実施形態に係る赤外線撮像装置２０は、赤外線撮像素子２２の各水平ラインの読出時間の合計がフレームレートの逆数以下となる範囲内において、各水平ラインの読出時間を制御する。かかる構成によれば、所望のフレームレートが維持されつつ、撮像画像上の所望の領域の画質特性が向上可能である。
【００５０】
本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、あるいは分割したりすることが可能である。
【００５１】
例えば、上述した実施形態に係る赤外線撮像装置２０の構成および機能は、再配置可能であってよい。例えば、赤外線撮像装置２０の構成または機能に一部または全部が、赤外線撮像装置２０と通信可能な追加の他の装置に包含されてよい。例えば、撮像画像上の特定領域を決定する機能を、移動体１０のＥＣＵまたは当該他の装置に包含させる構成等が考えられる。
【符号の説明】
【００５２】
１０    移動体
２０    赤外線撮像装置
２１    撮像光学系
２２    赤外線撮像素子
２３    通信部
２４    制御部
３０    走行路
３１    消失点
３２    移動体
３３    人
【図１】
2018107636.tif 000003
【図２】
2018107636.tif 000004
【図３】
2018107636.tif 000005
【図４】
2018107636.tif 000006
【図５】
2018107636.tif 000007
【図６】
2018107636.tif 000008
【図７】
2018107636.tif 000009
【図８】
2018107636.tif 000010