(57)【要約】  撮像制御装置（１４０）が、画像データに基づいて、周囲の状況が所定の状況に該当するか否かを判定する認識部（１４１）と、認識部（１４１）が所定の状況に該当すると判定した場合に、ターゲットに照射する送信パルスの数を増やすように赤外光照射部（１１０）を制御する制御部（１４２）と、を有している。
2018110183.tif 000002
【特許請求の範囲】
【請求項１】
ＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）方式によりターゲットまでの距離を測定する距離検出部と、
画像データに基づいて、周囲の状況が所定の状況に該当するか否かを判定する認識部と、
前記認識部が前記所定の状況に該当すると判定した場合に、前記ターゲットに照射する送信パルスの数を増やすように赤外光照射部を制御する制御部と、
を備える撮像制御装置。
【請求項２】
前記所定の状況は、前記送信パルスに対する反射率が、反射率に関する所定の閾値よりも低い色である低反射色を前記ターゲットが有している状況である、請求項１に記載の撮像制御装置。
【請求項３】
前記距離検出部は、前記距離検出部が生成する赤外画像データに基づいて距離画像データを生成し、前記距離画像データから前記ターゲットを抽出し、前記ターゲットに物標ＩＤ（identification）を付与する、請求項２に記載の撮像制御装置。
【請求項４】
前記認識部は、前記画像データから前記ターゲットの輪郭を抽出し、前記輪郭内に前記低反射色が存在するか否かを判定する、請求項３に記載の撮像制御装置。
【請求項５】
前記認識部は、前記距離画像データにおける前記輪郭の内側に相当する部分に、所定の大きさ以上の距離差を有する部分が存在するか否かを判定し、前記距離差を有する部分が存在すると判定した場合に、前記画像データに基づいて前記所定の状況に該当するか否かを判定する、請求項４に記載の撮像制御装置。
【請求項６】
前記制御部は、前記送信パルスの数に応じて、前記距離検出部が生成する赤外画像データのフレームレートを、前記制御を実行する以前のフレームレートよりも下げる、請求項２に記載の撮像制御装置。
【請求項７】
前記制御部は、前記画像データにおいて、前記ターゲット全体に対する、前記ターゲットのうちの前記低反射色の部分の面積率が、面積率に関する所定の閾値以下であるか否かを判定し、前記面積率が前記面積率に関する所定の閾値以下であると判定した場合には、前記赤外画像データのフレームレートを下げない、請求項６に記載の撮像制御装置。
【請求項８】
前記制御部は、前記ターゲットが移動物体であるか否かを判定し、前記ターゲットが移動物体であると判定した場合には、前記赤外画像データのフレームレートを下げない、請求項６に記載の撮像制御装置。
【請求項９】
前記制御部は、前記送信パルスの数を増やすと共に、前記送信パルスのパルス強度を上げるように前記赤外光照射部を制御する、請求項２に記載の撮像制御装置。
【請求項１０】
前記認識部は、前記ターゲットが自動車である場合に、前記自動車の四箇所のコーナー部のうち、前記画像データで検出可能な三箇所のコーナー部の色に基づいて前記低反射色の検出を行う、請求項２に記載の撮像制御装置。
【請求項１１】
前記認識部は、前記距離検出部が生成する赤外画像データから、前記ターゲットに関するデータを領域分割した一部の赤外画像データを抽出し、前記一部の赤外画像データに基づいて距離画像データを生成する、請求項２に記載の撮像制御装置。
【請求項１２】
前記制御部は、前記低反射色を前記ターゲットが有していると前記認識部が判定し、かつ、前記ターゲットとの相対速度が、速度に関する所定の閾値以下の場合に、前記制御を実行する、請求項２に記載の撮像制御装置。
【請求項１３】
前記所定の状況が、逆光が存在する状況である、請求項１に記載の撮像制御装置。
【請求項１４】
前記所定の状況が、霧が存在する状況である、請求項１に記載の撮像制御装置。
【請求項１５】
ＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）方式によりターゲットまでの距離を測定するステップと、
画像データに基づいて、周囲の状況が所定の状況に該当するか否かを判定するステップと、
前記所定の状況に該当すると判定した場合に、ターゲットに照射する送信パルスの数を増やすように赤外光照射部を制御するステップと、
を備えた撮像制御方法。
【請求項１６】
コンピュータに、
ＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）方式によりターゲットまでの距離を測定するステップと、
画像データに基づいて、周囲の状況が所定の状況に該当するか否かを判定するステップと、
前記所定の状況に該当すると判定した場合に、ターゲットに照射する送信パルスの数を増やすように赤外光照射部を制御するステップと、
を実行させるプログラム。
【請求項１７】
コンピュータに、
ＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）方式によりターゲットまでの距離を測定する
画像データに基づいて、周囲の状況が所定の状況に該当するか否かを判定するステップと、
前記所定の状況に該当すると判定した場合に、ターゲットに照射する送信パルスの数を増やすように赤外光照射部を制御するステップと、
を実行させるプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像制御装置、撮像制御方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
特許文献１には、移動または静止する測定対象物（以下、「ターゲット」という）を画像としてとらえると共にこのターゲットとの距離を測定するためのセンサとして、ＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）方式の距離画像センサが開示されている。【０００３】
このようなＴＯＦ方式の距離画像センサは、赤外光照射部と赤外光受光部とを有している。そして、赤外光照射部が照射した照射光の照射タイミングと、反射光（つまり、照射光がターゲットで反射された光）の赤外光受光部における受光タイミングとの時間差または位相差に基づいて、距離画像センサとターゲットとの距離を測定する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開昭５９−７９１７３号公報
【発明の概要】
【０００５】
本開示は、ターゲットまでの距離を精度よく測定する技術を提供しようとするものである。
【０００６】
本開示の一形態は、画像データに基づいて、周囲の状況が所定の状況に該当するか否かを判定する認識部と、認識部が所定の状況に該当すると判定した場合に、ターゲットに照射する送信パルスの数を増やすように赤外光照射部を制御する制御部と、を有した撮像制御装置である。
【０００７】
なお、本開示の一形態は、方法、プログラムおよびプログラムを記録した一時的でない有形の記録媒体のいずれかであっても良い。
【０００８】
本開示によれば、ターゲットまでの距離を精度よく測定できる。
【図面の簡単な説明】
【０００９】
【図１】本開示の実施の形態に係る撮像制御装置が組み込まれた撮像装置の構成を示す概略図
【図２】本開示の実施の形態に係る撮像制御装置の構成を示す模式図
【図３】ＴＯＦ方式の距離画像センサの構成を説明するための模式図
【図４Ａ】実施の形態の撮像制御方法を実施していない状態の照射光および反射光の状態を示す模式図
【図４Ｂ】実施の形態の撮像制御方法を実施している状態の照射光および反射光の状態を示す模式図
【図４Ｃ】実施の形態の撮像制御方法を実施している状態の照射光および反射光の変形例を示す模式図
【図５Ａ】黒い自動車の可視画像データを表示した図
【図５Ｂ】実施の形態の撮像制御方法を実施しない状態で得られる図５Ａに示す自動車の距離画像データを表示した図
【図５Ｃ】輪郭抽出部が抽出した輪郭を図５Ｂの距離画像に表示した図
【図５Ｄ】実施の形態の撮像制御方法を実施した状態で得られる図５Ａに示す自動車の距離画像データを表示した図
【図６】距離検出方法に関するフローチャート
【図７】ターゲットの色を検出する処理に関するフローチャート
【図８】三箇所のコーナー部が見えている状態の自動車の模式図
【発明を実施するための形態】
【００１０】
本開示の実施の形態の説明に先立ち、従来の技術における問題点を簡単に説明する。特許文献１等に開示された距離画像センサは、例えば、周囲に赤外光受光部が受光する上記反射光の光強度を低下させるような状況が存在する場合に、距離の測定精度が低下する可能性がある。
【００１１】
（実施の形態）
図１〜８を参照して、本開示に係る実施の形態について説明する。なお、以下の実施の形態の説明において、その構成要素（要素ステップなどを含む）は、必須であることを明示した場合および原理的に明らかに必須であると考えられる場合などを除き、必ずしも必須のものではない。なお、以下の実施の形態で説明する赤外光は近赤外光であってもよい。
【００１２】
[１  撮像装置について]
まず、図１を参照して、本開示に係る撮像制御装置が組み込まれる撮像装置１００の構成の概略について説明する。図１は、撮像装置の構成例の一例を示すブロック図である。
【００１３】
図１に示す撮像装置１００は、ターゲットの外観を確認するための画像である可視画像データ、および、赤外画像データ（以下、「ＩＲ画像データ」という）、ならびに、撮像装置１００とターゲットとの距離に関する距離画像データなどの画像データを生成する。また、撮像装置は、ターゲットに関する物標ＩＤ（identification）データを生成する。
【００１４】
上述のような撮像装置１００は、例えば、車両の周囲（典型的には前方）を撮像する装置として車両に搭載される。そして、撮像装置１００が生成した画像データおよび物標ＩＤデータは、撮像装置１００の後段に配置された先進運転支援システム（Advanced Driving Assistant System、以下、「ＡＤＡＳ」という）のＥＣＵ（Electronic Control Unit）に送信される。
【００１５】
[１．1  撮像装置の具体的構成について]
以下、図１に示す撮像装置１００の具体的構成について説明する。撮像装置１００は、赤外光照射部１１０と、赤外光受光部１２０と、可視光受光部１３０と、撮像制御装置１４０と、を有している。
【００１６】
[１．２  赤外光照射部について]
赤外光照射部１１０は、少なくとも距離画像データに関する撮像範囲に向けて赤外光パルス（以下、「送信パルス」という）を照射する。具体的には、例えば、赤外光照射部１１０は、図４Ａ、４Ｂに示すような照射光１１１ａ、１１１ｂを照射する。照射光１１１ａ、１１１ｂについては後述する。
【００１７】
赤外光照射部１１０が照射する送信パルスの条件（例えば、幅、振幅、パルス間隔、パルス数など）は、後述する撮像制御装置１４０により制御される。
【００１８】
[１．３  赤外光受光部について]
赤外光受光部１２０は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサであって、赤外光を受光して、ＩＲ画像データを生成する。
【００１９】
赤外光受光部１２０の、受光の条件（露光時間、露光タイミング、露光回数など）は、後述する撮像制御装置１４０により制御される。
【００２０】
[１．４  可視光受光部について]
可視光受光部１３０は、例えばＣＭＯＳイメージセンサであって、白黒ＢＷ（Black and White）の可視光、または、カラーＲＧＢ（Red Green Blue）の可視光をそれぞれ受光して、可視画像データを生成する。
【００２１】
可視光受光部１３０の受光の条件（露光時間、露光タイミング、露光回数など）は、後述する撮像制御装置１４０により制御される。
【００２２】
本実施の形態の場合、赤外光受光部１２０と可視光受光部１３０とは、共通のイメージセンサ１６０により構成されている。ただし、赤外光受光部１２０と可視光受光部１３０とを異なるイメージセンサにより構成することもできる。
【００２３】
また、本実施の形態の場合、赤外光受光部１２０および可視光受光部１３０に光（赤外光および可視光）を導入する光学系（図示省略）は、共通の光学系である。ただし、赤外光受光部１２０および可視光受光部１３０に光を導入する光学系は、異なる光学系でもよい。
【００２４】
[１．５  撮像制御装置について]
撮像制御装置１４０は、撮像装置１００を構成する各部の制御を行う。撮像制御装置１４０は、認識部１４１と、制御部１４２と、出力部１５０と、を有している。
【００２５】
撮像制御装置１４０は、例えば図２に示す、入力端子１４０Ａ、出力端子１４０Ｂ、マイクロプロセッサ１４０Ｃ、プログラムメモリ１４０Ｄおよびメインメモリ１４０Ｅなどにより構成する。
【００２６】
上記プログラムメモリは、プログラムＰ１を保持する。プログラムメモリは、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）のような不揮発性半導体メモリであってよい。
【００２７】
上記メインメモリには、プログラムの実行に関する各種データが格納される。メインメモリは、ＳＲＡＭ（Static Random Access Memory）またはＤＲＡＭ（Dynamic Random Access Memory）のような揮発性半導体メモリであってよい。
【００２８】
マイクロプロセッサは、プログラムメモリからプログラムを読み出して、上記メインメモリを用いてプログラムを実行することにより、撮像制御装置１４０が有する各種機能を実現する。
【００２９】
また、撮像制御装置１４０の機能は、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）などの論理回路、あるいは、プログラムとして実現されてもよい。
【００３０】
以下、撮像制御装置１４０が有する各種機能について説明する。
【００３１】
[１．６  認識部について]
認識部１４１は、可視光受光部１３０が生成する可視画像データに基づいて、周囲の状況が所定の状況に該当するか否かを判定する。認識部１４１は、距離検出部１４３と、輪郭抽出部１４４と、色検出部１４５と、逆光検出部１４６と、霧検出部１４７と、物標抽出部１４８と、を有している。なお、認識部１４１は、必ずしも上述した全ての構成を有する必要はなく、一部の構成のみを有してもよい。
【００３２】
所定の状況とは、赤外光照射部１１０の照射光１１１ａ、１１１ｂがターゲットで反射された光である反射光の光強度を低下させるような状況である。具体的には、所定の状況とは、周囲に逆光が存在している状況、周囲に霧が存在している状況、および、ＩＲ光に対する反射率が、反射率に関する所定の閾値よりも低い色（例えば、黒、グレーであって、以下、「低反射色」という）を有している状況である。
【００３３】
[１．７  距離検出部について]
距離検出部１４３は、赤外光受光部１２０が生成するＩＲ画像データに基づいて、ターゲットまでの距離を検出する。また、距離検出部１４３は、検出した距離に基づいて距離画像データを生成する。距離検出部１４３が、距離を検出する方法については後述する。
【００３４】
距離検出部１４３は、ＩＲ画像データを領域分割して一部のＩＲ画像データを抽出できる。そして、抽出した一部のＩＲ画像データに基づいて、距離画像データを生成する。なお、一部のＩＲ画像データとは、例えば、ターゲットに関するＩＲ画像データを含む。
【００３５】
[１．８  輪郭抽出部について]
輪郭抽出部１４４は、可視光受光部１３０が生成する可視画像データまたは赤外光受光部１２０が生成するＩＲ画像データから、ターゲットの輪郭を抽出し、輪郭データを生成する。なお、輪郭抽出部１４４がＩＲ画像データからターゲットの輪郭を抽出して輪郭データを生成する場合、撮像装置１００は可視光受光部１３０を有しなくてもよい。
【００３６】
具体的には、ターゲットの可視画像データまたはＩＲ画像データが図５Ａに示す自動車２０１である場合、輪郭抽出部１４４は、この可視画像データから図５Ｃに示すような輪郭２００を抽出する。なお、可視画像データまたはＩＲ画像データを単に画像データと称することもある。
【００３７】
[１．９  色検出部について]
色検出部１４５は、可視画像データまたはＩＲ画像データに基づいて、ターゲットが低反射色を有しているか否かを判定する。なお、反射率に関する所定の閾値は、例えば、輝度に関する値を設定する。
【００３８】
具体的には、色検出部１４５は、可視画像データまたはＩＲ画像データのうち、輪郭抽出部１４４が抽出したターゲットの輪郭内に、低反射色の部分が存在するか否かを判定する。色検出部１４５は、輪郭内の全面積に対する、低反射色の部分の面積の割合を検出する。
【００３９】
[１．１０  逆光検出部について]
逆光検出部１４６は、可視画像データまたはＩＲ画像データに基づいて、逆光の有無を判定する。なお、逆光の有無は、例えば、可視画像データまたはＩＲ画像データにおける輝度に関する情報に基づいて判定する。この他、逆光の有無を判定する方法は、従来から知られている各種方法を採用できる。
【００４０】
[１．１１  霧検出部について]
霧検出部１４７は、可視画像データまたはＩＲ画像データに基づいて、霧の有無を判定する。なお、霧の有無に関しても、例えば、可視画像データまたはＩＲ画像データの輝度に関する情報に基づいて判定する。この他、逆光の有無を判定する方法は、従来から知られている各種方法を採用できる。
【００４１】
[１．１２  物標抽出部について]
物標抽出部１４８は、距離検出部１４３が生成する距離画像データから、ターゲット（換言すれば、物標）を抽出する。そして、物標抽出部１４８は、距離検出部１４３が生成する距離画像データのうち、ターゲットに相当する部分の距離画像データを抽出する。なお、撮像装置１００が車両に搭載されている場合には、ターゲットは、他の車両、歩行者または標識など、車両の走行に関連する各種物体である。
【００４２】
また、物標抽出部１４８は、ターゲットに関する距離画像データ内に、距離が適切に検出されていない部分が存在するか否かを判定する。
【００４３】
また、物標抽出部１４８は、ターゲットに関する距離画像データが適切でないと判定した場合には、輪郭抽出部１４４に対して、可視画像データまたはＩＲ画像データからターゲットの輪郭を抽出するように指示する。物標抽出部１４８は、輪郭抽出部１４４への指示を、直接または後述する制御部１４２を介して行う。
【００４４】
また、色検出部１４５が、ターゲットが低反射色を有していると判定した場合、物標抽出部１４８は、制御部１４２に対して、赤外光照射部１１０の送信パルス数を増やすまたは減らす旨の指示を出すことができる。なお、送信パルス数を増やすまたは減らす旨の指示は、物標抽出部１４８の代わりに輪郭抽出部１４４が出してもよい。
【００４５】
また、物標抽出部１４８または輪郭抽出部１４４は、制御部１４２に対して、送信パルス数を増やすまたは減らす旨の指示を出した場合に、制御部１４２に対して、ＩＲ画像データのフレームレートを下げる旨の指示を出す。
【００４６】
さらに、物標抽出部１４８は、ターゲットの物標ＩＤデータを生成する。そして、物標抽出部１４８は、距離画像データにおけるターゲットに対して物標ＩＤを付与する。
【００４７】
なお、認識部１４１は、物標ＩＤデータやＩＲ画像データ、距離画像データ、可視画像データ等の出力データを出力部１５０の出力端子から出力する。この出力データは、例えば、上述のＡＤＡＳのＥＣＵに送信される。なお、この出力データは、物標ＩＤデータ、ＩＲ画像データ、距離画像データまたは可視画像データのうちの少なくとも一つのデータを含んでいる。
【００４８】
[１．１３  制御部について]
制御部１４２は、赤外光照射部１１０が照射する送信パルスの幅や振幅（強度）、パルス間隔、送信パルス数などを制御する。
【００４９】
具体的には、認識部１４１が所定の状況に該当すると判定した場合に、制御部１４２は、送信パルス数を増やすまたは減らすように赤外光照射部１１０を制御する。
【００５０】
また、ターゲットが低反射色を有している（つまり、所定の状況に該当する）と認識部１４１が判定した場合に、制御部１４２は、送信パルス数を増やすまたは減らすように赤外光照射部１１０を制御する。なお、車両速度（または、撮像装置１００とターゲットとの相対速度）が、速度に関する所定の閾値を超える場合には送信パルス回数を増加しなくてもよいことはもちろんのことである。なお、車両速度は、例えば、車両のＥＣＵ等から取得する。
【００５１】
制御部１４２は、送信パルス数を増やすまたは減らすと共に、送信パルスの強度（光度）を上げるように赤外光照射部１１０を制御してもよい。
【００５２】
また、距離画像データにおけるターゲットの輪郭内に、距離に関する所定の閾値以上の距離差を有する部分が存在する場合に、制御部１４２は、可視画像データに基づいて所定の状況に該当するか否かの判定を実施するように、認識部１４１を制御してもよい。
【００５３】
制御部１４２は、送信パルス数を増やすまたは減らすと共に、赤外光受光部１２０が生成するＩＲ画像データを領域分割して、一部のＩＲ画像データを抽出するように距離検出部１４３を制御してもよい。
【００５４】
この場合に、制御部１４２は、抽出した一部のＩＲ画像データに基づいて距離画像データを生成するように距離検出部１４３を制御してもよい。なお、一部のＩＲ画像データとは、例えば、ターゲットに関するＩＲ画像データを含む。
【００５５】
制御部１４２は、赤外光受光部１２０の露光時間およびタイミングに関する制御を行う。また、制御部１４２は、可視光受光部１３０の露光時間およびタイミングに関する制御を行う。
【００５６】
本実施の形態の場合、赤外光受光部１２０と可視光受光部１３０とを共通のイメージセンサにより構成している。このため、赤外光受光部１２０と可視光受光部１３０との露光時間およびタイミングは同期している。
【００５７】
なお、赤外光受光部１２０と可視光受光部１３０とを異なるイメージセンサにより構成することもできる。この場合には、制御部１４２は、ＩＲ画像データ、距離画像データおよび可視光画像データが一対一で対応するように、赤外光受光部１２０および可視光受光部１３０を制御する。
【００５８】
また、制御部１４２は、赤外光受光部１２０が生成するＩＲ画像データ、および、可視光受光部１３０が生成する可視画像データに関するフレームレートを設定する。
【００５９】
具体的には、制御部１４２は、赤外光照射部１１０が照射する送信パルス数に応じて、ＩＲ画像データおよび可視画像データに関するフレームレートを設定する。
【００６０】
例えば、制御部１４２は、赤外光照射部１１０が照射する送信パルス数が通常状態よりも増えている場合には、ＩＲ画像データに関するフレームレートを通常状態よりも小さく設定する。
【００６１】
また、色検出部１４５がターゲットの輪郭内の全面積に対する、低反射色部分の面積率が、面積率に関する所定の閾値以下であると判定した場合には、制御部１４２は、ＩＲ画像データに関するフレームレートを下げなくてもよい。
【００６２】
また、ターゲットが移動物体である場合には、制御部１４２は、ＩＲ画像データに関するフレームレートを下げなくてもよい。
【００６３】
また、制御部１４２は、車両のＥＣＵから取得した車両速度に応じて、ＩＲ画像データに関するフレームレートを設定してもよい。
【００６４】
具体的には、車両速度（または、撮像装置１００とターゲットとの相対速度）が速度に関する所定の閾値以上の場合には、制御部１４２は、ＩＲ画像データに関するフレームレートを下げなくてもよい。
【００６５】
[１．１４  出力部について]
出力部１５０は、出力端子を有している。出力部１５０は、出力端子から出力信号を、例えばＡＤＡＳのＥＣＵに出力する。なお、出力信号には、例えば、ＩＲ画像データ、可視画像データ、距離画像データまたは物標ＩＤデータのうちの少なくとも１種類のデータが含まれる。
【００６６】
[２  撮像装置が生成する撮像データについて]
以下、撮像装置１００が生成する可視画像データ、ＩＲ画像データ、距離画像データおよび物標ＩＤデータについて説明する。
【００６７】
[２．１  可視画像データについて]
可視画像データは、可視光受光部１３０が受光する可視光に基づいて生成される。可視画像データは、輪郭抽出部１４４がターゲットの輪郭を抽出する際に使用される。
【００６８】
また、可視画像データは、逆光検出部１４６が逆光を検出する際に使用される。また、可視画像データは、霧検出部１４７が霧を検出する際に使用される。
【００６９】
本実施の形態の場合、可視画像データは、赤外光受光部１２０で生成されるＩＲ画像データと、一対一に対応した状態で生成される。従って、可視画像データにおけるターゲットの位置と、ＩＲ画像データにおけるターゲットの位置とは、一対一に対応している。なお、可視画像データは、出力データの一部として出力部１５０の出力端子から出力される。
【００７０】
[２．２  ＩＲ画像データについて]
ＩＲ画像データは、赤外光受光部１２０が受光するＩＲ光に基づいて生成される。ＩＲ画像データは、距離検出部１４３に送られて距離画像データの生成に使用される。また、ＩＲ画像データは、出力データの一部として出力部１５０の出力端子から出力される。さらに、ＩＲ画像データは、輪郭抽出部１４４に送られて、輪郭抽出に使用される。
【００７１】
[２．３  距離画像データについて]
距離画像データは、距離検出部１４３が検出したターゲットまでの距離データに基づいて生成される。距離画像データは、座標情報および距離情報を有するデータとして生成される。距離画像データは、出力データの一部として出力部１５０の出力端子から出力される。
【００７２】
[２．４  物標ＩＤデータについて]
物標ＩＤデータは、物標抽出部１４８が距離画像データから抽出した物標（つまり、ターゲット）に対して付与される識別子である。物標ＩＤデータは、出力データの一部として出力部１５０の出力端子から出力される。
【００７３】
なお、撮像装置１００が生成するデータは、例えば、撮像装置１００が有するメモリ（図示省略）などの記録媒体に記憶される。この場合には、出力部１５０は、適宜のタイミングで上記記録媒体から上記データを出力してもよい。
【００７４】
[３  距離検出方法について]
以下、図１、３、６、７を参照して、図１に示す撮像装置１００により、ターゲットまでの距離を測定する方法について説明する。
【００７５】
[３．１  距離画像センサについて]
先ず、撮像装置１００が有する距離画像センサの構成について、図１、３を参照して簡単に説明する。
【００７６】
図１に示す撮像装置１００の場合、ターゲットまでの距離の測定を、ＴＯＦ方式の距離画像センサにより行う。距離画像センサは、上述した赤外光照射部１１０、赤外光受光部１２０および距離検出部１４３により構成されている。
【００７７】
ＴＯＦ方式の距離画像センサは、図３に示すように、赤外光照射部１１０が照射した照射光１１１ａ、１１１ｂの照射タイミングと、照射光１１１ａ、１１１ｂがターゲット（図３の場合、人）で反射された光である反射光１１２ａ、１１２ｂの赤外光受光部１２０における受光タイミングとの時間差または位相差に基づいて、ターゲットまでの距離Ｚを測定する。なお、距離画像センサは、各種方式のＴＯＦセンサを採用できる。
【００７８】
[３．２  距離検出方法について]
次に、図１に示す撮像装置１００を使用して行う距離検出方法について、図６、７を参照して説明する。なお、図６は、距離検出方法のフローチャートである。図７は、色検出処理に関するフローチャートである。
【００７９】
なお、以下の説明では、ターゲットが、図５Ａに示すような黒い自動車２０１である場合について説明する。図５Ａでは、色の黒い部分に斜格子を付している。
【００８０】
本実施の形態の撮像制御方法は、先ず、図６のステップ１０において、赤外光受光部１２０が受光したＩＲ光に基づいてＩＲ画像データを生成する。
【００８１】
次に、ステップ１１において、距離検出部１４３は、ＩＲ画像データから検出した距離データに基づいて距離画像データを生成する。なお、距離の検出方法については後述する。
【００８２】
次に、ステップ１２において、物標抽出部１４８は、距離画像データからターゲットを抽出する。
【００８３】
次に、ステップ１３において、物標抽出部１４８は、物標に関する物標ＩＤデータを生成すると共に、物標に物標ＩＤを付与する。
【００８４】
次に、ステップ１４において、物標抽出部１４８は、物標の距離画像データ内の、非検出部の有無を判定する。なお、非検出部とは、距離を正確に検出できていない部分である。
【００８５】
ターゲット（換言すれば、物標）の距離画像データ内に非検出部が存在する場合について、図５Ａ〜５Ｄを参照して説明する。なお、図５Ａは、黒い自動車の可視画像データを表示したものである。図５Ｂは、本実施の形態の撮像制御方法を実施しない状態で得られた図５Ａに示す自動車の距離画像データを表示したものである。
【００８６】
また、図５Ｃは、輪郭抽出部が可視画像データから抽出した物標の輪郭を図５Ｂの距離画像に重ねて表示したものである。さらに、図５Ｄは、本実施の形態の撮像制御を実施した状態で得られた図５Ａに示す自動車の距離画像データを表示したものである。
【００８７】
なお、物標に関する距離画像データ内に非検出部が存在する場合とは、例えば、図５Ａに示す自動車２０１の距離画像データが、図５Ｂに示す状態である場合が挙げられる。
【００８８】
即ち、正確な距離が検出されている場合には、図５Ａに示す自動車２０１の距離画像データは図５Ｄに示す状態となる。ところが、図５Ｂに示す距離画像データは、自動車２０１のライト、ナンバープレートおよびフロントグリル以外の部分（つまり、黒色部分）の距離画像データが適切に生成されていない。
【００８９】
換言すれば、図５Ａに示す自動車２０１の黒色部分の距離が正確に検出されていない。この場合には、図５Ｂに示す距離画像データのうち、図５Ａに示す自動車２０１の黒色部分（斜格子部分）に相当する部分が、非検出部となる。
【００９０】
ステップ１４において、「非検出部なし」と判定した場合（ステップ１４：ＮＯ）には、本実施の形態の撮像制御方法を実施せずに、今回の距離検出処理を終了する。
【００９１】
一方、ステップ１４において、「非検出部あり」と判定した場合（ステップ１４：ＹＥＳ）には、認識部１４１は、ステップ１５において、周囲の状況が所定の状況に該当するかを検出する。
【００９２】
具体的には、ステップ１５において、認識部１４１は、可視光受光部１３０が生成する可視画像データに基づいて、逆光、霧および低反射色の有無を判定する。なお、逆光の検出は逆光検出部１４６で行われる。また、霧の検出定は霧検出部１４７で行われる。さらに、低反射色の検出は色検出部１４５で行われる。
【００９３】
以下、ステップ１５において、色検出部１４５がターゲットの色を検出する方法について説明する。
【００９４】
[３．３  低反射色を検出する方法について]
図７は、色検出処理に関するフローチャートである。
【００９５】
以下の処理は、図６のステップ１４において、ターゲットに関する距離画像データに非検出部が存在すると判定された場合に行う。以下の説明は、ターゲットを図５Ａの自動車２０１とした場合について説明する。ただし、ターゲットは自動車に限定されるものではない。
【００９６】
先ず、ステップ１５０において、物標抽出部１４８は、輪郭抽出部１４４に対して、ターゲットの輪郭を抽出するように指示する。具体的には、ターゲットとは、例えば、図５Ｂに示す距離画像データにおけるライト、ナンバープレートおよびフロントグリルを有する物品（即ち、図５Ａの自動車２０１）である。
【００９７】
次に、ステップ１５１において、輪郭抽出部１４４は、可視光画像データからターゲットの輪郭を抽出する。具体的には、輪郭抽出部１４４は、図５Ａに示す可視画像データから自動車２０１の輪郭２００を抽出する。
【００９８】
次に、ステップ１５２において、色検出部１４５は、可視画像データのうち、輪郭抽出部１４４が抽出したターゲットの輪郭の内から、低反射色を検出する。具体的には、図５Ａに示す可視画像データのうち、自動車２０１の輪郭２００の内側に存在する黒またはグレーを検出する。そして、色検出処理を終了して、処理を図６のステップ１５に戻す。
【００９９】
なお、可視画像データのうちのターゲットの輪郭内から低反射色が検出された場合でも、低反射色の部分の面積が、面積に関する所定の閾値以下である場合には、低反射色が検出されなかったとしてもよい。
【０１００】
また、例えば、図８に示す自動車２０１ａのように、自動車２０１ａの前端部かつ幅方向両端部の二箇所のコーナー部（換言すれば、隅部）および同じく後端部かつ幅方向両端部の二箇所のコーナー部（換言すれば、隅部）のうち、可視画像データで検出可能な三箇所のコーナー部２０２ａ、２０２ｂ、２０３ａの色に基づいて、低反射色が存在するか否かを判定してもよい。
【０１０１】
次に、ステップ１６において、認識部１４１は、所定の状況が検出された（換言すれば、所定の状況に該当する）か否かを判定する。ステップ１６で、所定の状況に該当しないと判定された場合（ステップ１６：ＮＯ）には、本実施の形態の撮像制御方法を実施せずに今回の距離検出処理を終了する。
【０１０２】
なお、所定の状況に該当しない場合とは、可視光画像データから、逆光、霧が検出されず、かつ、可視光画像データ内のターゲットから低反射色が検出されていない状況である。
【０１０３】
一方、ステップ１６において、所定の状況に該当すると判定された場合（ステップ１５：ＹＥＳ）には、処理をステップ１７に進める。
【０１０４】
次に、ステップ１７において、認識部１４１は、制御部１４２に対して、赤外光照射部１１０の送信パルス数を増やす旨の指示を出す。
【０１０５】
次に、ステップ１８において、制御部１４２は、送信パルス数を通常状態の送信パルス数よりも増やすように赤外光照射部１１０を制御する。これと共に、制御部１４２は、赤外光照射部１１０が照射する送信パルス数に応じて、赤外光受光部１２０および可視光受光部１３０に関する露光時間およびタイミングを制御する。
【０１０６】
さらに、制御部１４２は、赤外光照射部１１０が照射する送信パルス数に応じて、前述したようにＩＲ画像データおよび可視画像データに関するフレームレートを設定してもよい。
【０１０７】
次に、ステップ１９において、赤外光受光部１２０は、赤外光照射部１１０が照射する送信パルス数を増やした状態（以下、「制御状態」という）で受光したＩＲ光に基づいてＩＲ画像データ（以下、「制御状態のＩＲ画像データ」という）を生成する。
【０１０８】
次に、距離検出部１４３は、ステップ２０において、制御状態のＩＲ画像データから検出した距離データに基づいて距離画像データ（以下、「制御状態の距離画像データ」という）を生成する。そして、制御部１４２は、処理をステップ１４に戻す。
【０１０９】
なお、制御状態の距離画像データは、制御状態のＩＲ画像データの全てに対して生成される必要はない。すなわち、距離検出部１４３が有する機能に基づいて、距離検出部１４３は、制御状態のＩＲ画像データを領域分割して、ターゲットに関するデータを含んだ一部のＩＲ画像データを抽出する。そして、距離検出部１４３は、この一部のＩＲ画像データに基づいて距離画像データを生成してもよい。このように距離画像データの一部のみを処理するようにすれば、距離検出部１４３の処理の負担を減らすことができるため、フレームレートの下げ幅を小さくできる。
【０１１０】
なお、制御状態でステップ１４に戻った後、制御状態の距離画像データのうちのターゲットに関する距離画像データに、非検出部が存在していない場合には、制御部１４２は、送信パルス数を通常状態の送信パルス数に戻すように赤外光照射部１１０を制御する。そして、今回の距離検出処理を終了する。
【０１１１】
なお、本実施の形態では可視光画像データからターゲットの輪郭を抽出する場合について説明したが、例えば、ＩＲ画像データに基づく距離画像が図５Ｂに示す状況であった場合には、距離画像と内部テーブルに記憶されたパターンとを照合することによって低反射色の物標であることを判断し、同様の手順により送信パルス回数を増加させることで同等の効果が期待できることは言うまでもない。
【０１１２】
[４  距離検出方法および本実施の形態の作用・効果について]
次に、図４Ａ、４Ｂを参照して、距離検出方法および本実施の形態の作用・効果について説明する。以下の説明は、いわゆる間接ＴＯＦ方式の距離画像センサにより距離を検出する方法の一例である。
【０１１３】
なお、本実施の形態に係る撮像制御方法を実施する場合には、距離画像センサとして、間接ＴＯＦ方式または直接ＴＯＦ方式のものを採用できる。また、本実施の形態に係る撮像制御方法によれば、距離画像センサの方式に拘わらず、同様の作用・効果を得られる。
【０１１４】
［４．１  距離検出方法について］
先ず、制御部１４２が、送信パルス数を増やすように赤外光照射部１１０を制御していない状態（以下、「通常状態」という）でターゲットまでの距離を検出する方法について、図４Ａを参照して説明する。
【０１１５】
通常状態において、赤外光照射部１１０の照射光１１１ａは、図４Ａに示すように、最初に照射される第一パルス１１３と、第一パルス１１３とパルス間隔Ｌ１だけ空けて照射される第二パルス１１４とからなる。第一パルス１１３および第二パルス１１４の振幅Ｈ１および幅Ｔｐは、それぞれ等しい。
【０１１６】
なお、通常状態では、制御部１４２は、照射能力の上限に対して余裕を持った数の送信パルスを照射するように、赤外光照射部１１０を制御している。
【０１１７】
図４Ａには、説明の便宜上、第一パルス１１３および第二パルス１１４からなる一組のパルスセットのみを図示している。ただし、複数組のパルスセットにより照射光を構成することもできる。
【０１１８】
赤外光受光部１２０は、第一パルス１１３および第二パルス１１４のタイミングと同期したタイミングで露光するように制御部１４２により制御されている。本実施の形態の場合、図４Ａに示すように、赤外光受光部１２０は、照射光１１１ａがターゲットで反射した光である反射光１１２ａに対してＳ０露光、Ｓ１露光およびＢＧ露光の３回の露光を行う。
【０１１９】
具体的には、Ｓ０露光は、第一パルス１１３の照射開始（つまり、第一パルス１１３の立ち上り）と同時に露光を開始し、照射光１１１ａとの関係で予め設定される露光時間Ｔ０だけ露光して終了する。Ｓ０露光は、第一パルス１１３の反射光を受光するための露光である。
【０１２０】
なお、Ｓ０露光による受光データ（換言すれば、光量情報）Ｄ０は、図４Ａにおいて、斜格子を付した第一パルス１１３の反射光成分Ｓ０、および、梨地模様を付した背景成分ＢＧを含んでいる。反射光１１２ａは、照射光１１１ａよりも減衰しているため、反射光成分Ｓ０の振幅Ｈ２は、第一パルス１１３の振幅Ｈ１よりも小さい。
【０１２１】
ここで、第一パルス１１３の立ち上りと、第一パルス１１３の反射光成分Ｓ０の立ち上りとの間には、時間差Δｔが存在している。即ち、第一パルス１１３の反射光成分Ｓ０は、第一パルス１１３の立ち上がりから時間差Δｔだけ遅れて立ち上る。
【０１２２】
時間差Δｔは、撮像装置１００からターゲットまでの距離Ｚ（図３参照）の経路を、光が往復するのに要した時間である。
【０１２３】
Ｓ１露光は、第二パルス１１４の照射終了（つまり、第二パルス１１４の立ち下り）と同時に露光を開始し、Ｓ０露光と同様の露光時間Ｔ０だけ露光して終了する。Ｓ１露光は、第二パルス１１４の反射光を受光するための露光である。
【０１２４】
Ｓ１露光による受光データＤ１は、第二パルス１１４の反射光成分の一部の成分Ｓ１（図４Ａの斜格子部分）、および、同じく図４Ａの梨地模様で示す背景成分ＢＧを含んでいる。
【０１２５】
なお、反射光成分の一部の成分Ｓ１は、次の式（１）で表せる。
【０１２６】
【数１】
2018110183.tif 000003
【０１２７】
ＢＧ露光は、第一パルス１１３および第二パルス１１４の反射光成分を含まないタイミングで露光を開始し、Ｓ０露光およびＳ１露光と同じ露光時間Ｔ０だけ露光して終了する。
【０１２８】
ＢＧ露光は、外光中の赤外光成分（換言すれば、背景成分）のみを受光するための露光である。従って、ＢＧ露光による受光データＤＢＧは、図４Ａの梨地模様で示す背景成分ＢＧのみを含む。
【０１２９】
上述のような照射光１１１ａと反射光１１２ａとの関係から、撮像装置１００からターゲットまでの距離Ｚは、以下の式（２）〜（４）で算出できる。「Ｔｐ」は第一パルス１１３および第二パルス１１４の幅であり、「ｃ」は光速である。なお、以下の式のＤＢＧは、上述のＢＧ露光により生成された受光データである。
【０１３０】
【数２】
2018110183.tif 000004
【０１３１】
【数３】
2018110183.tif 000005
【０１３２】
【数４】
2018110183.tif 000006
【０１３３】
ところで、上述のような方法により距離Ｚを検出する場合、第一パルス１１３および第二パルス１１４の反射光成分の振幅が小さい（換言すれば、強度が低下している）と、受光データＤ０および受光データＤ１のＳＮ比が小さくなって、距離Ｚの検出精度が低下してしまう可能性がある。
【０１３４】
そこで、本実施の形態の撮像制御方法の場合には、第一パルス１１３および第二パルス１１４の反射光成分の光強度が低下する状況（つまり、所定の状況）が存在する場合には、制御部１４２が、送信パルス数を増やすように赤外光照射部１１０を制御する。
【０１３５】
以下、制御状態でターゲットまでの距離を検出する方法について、図４Ｂを参照して説明する。
【０１３６】
以下の説明では、１フレーム当たりの送信パルス数を通常状態の送信パルス数の２倍に増やした例について説明する。なお、通常状態の説明と重複する部分の説明については省略する。
【０１３７】
制御状態において、赤外光照射部１１０の照射光１１１ｂは、図４Ｂに示すように、通常状態の２倍のパルスセットで構成されている。すなわち、制御状態の照射光１１１ｂは、図４Ａに示す通常状態と同様のパルスセットを、二組有している。パルスセットを構成する第一パルス１１３および第二パルス１１４の振幅Ｈ１および幅Ｔｐは、通常状態と同様である。
【０１３８】
制御状態においては、第一パルス１１３および第二パルス１１４からなる二組のパルスセットにより、距離画像データの１フレームを構成している。これに伴い、制御部１４２は、可視光受光部１３０が生成する可視画像データ、および、反射光１１２ｂを受信した赤外光受光部１２０が生成するＩＲ画像データに関するフレームレートを、通常状態のフレームレートよりも下げている。
【０１３９】
なお、図４Ｂに示す照射光１１１ｂは、説明の便宜上、図４Ａに示す照射光１１１ａの送信パルス数を２倍に増やしたものである。ただし、制御状態の照射光は、図４Ｂの場合に限定されない。
【０１４０】
赤外光受光部１２０の露光のタイミングは、図４Ａに示す場合と同様である。即ち、赤外光受光部１２０は、照射光１１１ｂを構成する２個のパルスセットのそれぞれに対して、Ｓ０露光、Ｓ１露光およびＢＧ露光の３回の露光を行う。
【０１４１】
特に、制御状態においては、１個目のパルスセットの第一パルス１１３の反射光成分Ｓ０と、２個目のパルスセットの第一パルス１１３の反射光成分Ｓ０とを加算する。なお、反射光成分Ｓ０は、上記式（２）により算出する。
【０１４２】
一方、１個目のパルスセットにおける第二パルス１１４の反射光成分の一部の成分Ｓ１と、２個目のパルスセットにおける第二パルス１１４の反射光成分の一部の成分Ｓ１とを加算する。なお、反射光成分の一部の成分Ｓ１は、上記式（３）により算出する。
【０１４３】
そして、加算した値を、上記式（４）に代入することにより、撮像装置１００からターゲットまでの距離Ｚを検出する。なお、上述の加算の際に、ホワイトノイズは低減されるため、距離Ｚの検出精度へのホワイトノイズの影響は抑えられる。
【０１４４】
［４．２  本実施の形態の作用・効果］
以上のように、本実施の形態によれば、周囲に逆光、霧が存在したり、ターゲットが低反射光反射色を有している場合（つまり、所定の状況に該当する場合）でも、撮像装置１００からターゲットまでの距離を、精度よく検出できる。この結果、ターゲットまでの距離を正確に反映した距離画像データを生成できる。
【０１４５】
すなわち、本実施の形態の場合、所定の状況に該当する場合に、赤外光照射部１１０の送信パルス数を増やす制御を行う。
【０１４６】
具体的には、本実施の形態の撮像制御方法を実施していない通常状態において、第一パルス１１３および第二パルス１１４の反射光成分の強度が低下している（換言すれば、ＳＮ比が小さくなっている）場合に、通常状態の照射光１１１ａよりも送信パルス数を増やした照射光１１１ｂを照射するように、赤外光照射部１１０を制御する。
【０１４７】
そして、反射光１１２ｂの反射光成分Ｓ０同士、および、反射光１１２ｂの反射光成分の一部の成分Ｓ１同士を加算する。この結果、距離の検出に使用するデータのＳＮ比が大きくなり、距離Ｚを精度よく検出することができる。
【０１４８】
従って、図５Ｂに示すように、ターゲットに関する距離画像データに非検出部が存在した場合でも、本実施の形態の撮像制御方法を実施して距離Ｚを精度よく検出できれば、図５Ｄに示すような、ターゲットまでの距離を正確に反映した距離画像データを生成できる。
【０１４９】
なお、図５Ｄは、説明の便宜のため、距離が近い部分３００に斜格子を付すと共に、距離が遠い部分３０１に梨地模様を付している。
【０１５０】
［５  付記］
図６のフローチャートのステップ１７、１８において、制御部１４２は、赤外光照射部１１０が照射する送信パルスの条件として、送信パルス数を減らすようにしてもよい。具体的には、ステップ１４で非検出部が存在し、ステップ１５、１６で反射板による反射光など、赤外光受光部１２０で受光した反射率が所定よりも高い場合や輝度データが飽和している場合に、制御部１４２は赤外光照射部１１０に対し、ステップ１７で送信パルス数を減らす指示を行い、赤外光照射部１１０はステップ１８で送信パルス数を減らす制御を行うようにしてもよい。
【０１５１】
また、他の例として、制御部１４２は、制御状態において、図４Ｃに示すタイミングで露光を行うように、赤外光受光部１２０を制御することもできる。具体的には、制御部１４２は、図４Ｂに示す各露光のうちの２回目のＢＧ露光を省略するように、赤外光受光部１２０を制御する。
【０１５２】
また、撮像制御装置１４０の認識部１４１および制御部１４２の各構成はそれぞれコンピュータプログラムで実現されても良い。コンピュータプログラムは、ＤＶＤ（Digital Versatile Disc）等のような記録媒体に格納されて提供されても良いし、ネットワークを介してダウンロード可能にネットワーク上のサーバ装置などの記録媒体に格納されても良い。
【０１５３】
また、撮像制御装置１４０の認識部１４１および制御部１４２は、それぞれＬＳＩ（Large-Scale Integration）等の物理的な回路として実現することもできる。
【産業上の利用可能性】
【０１５４】
本開示に係る撮像制御装置、撮像制御方法、プログラムおよび記録媒体は、例えば、車両に搭載される撮像装置に好適である。
【符号の説明】
【０１５５】
１００  撮像装置
１１０  赤外光照射部
１１１ａ，１１１ｂ  照射光
１１２ａ，１１２ｂ  反射光
１１３  第一パルス
１１４  第二パルス
１２０  赤外光受光部
１３０  可視光受光部
１４０  撮像制御装置
１４１  認識部
１４２  制御部
１４３  距離検出部
１４４  輪郭抽出部
１４５  色検出部
１４６  逆光検出部
１４７  霧検出部
１４８  物標抽出部
１５０  出力部
１６０  イメージセンサ
２０１，２０１ａ  自動車
２００  輪郭
２０２ａ，２０２ｂ  コーナー部
２０３ａ  コーナー部
３００  近い部分
３０１  遠い部分
【図１】
2018110183.tif 000007
【図２】
2018110183.tif 000008
【図３】
2018110183.tif 000009
【図４Ａ】
2018110183.tif 000010
【図４Ｂ】
2018110183.tif 000011
【図４Ｃ】
2018110183.tif 000012
【図５Ａ】
2018110183.tif 000013
【図５Ｂ】
2018110183.tif 000014
【図５Ｃ】
2018110183.tif 000015
【図５Ｄ】
2018110183.tif 000016
【図６】
2018110183.tif 000017
【図７】
2018110183.tif 000018
【図８】
2018110183.tif 000019
【手続補正書】
【提出日】令和1年6月13日(2019.6.13)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
制御部１４２は、送信パルス数を増やすまたは減らすと共に、送信パルスの強度（光度）を上げるまたは下げるように赤外光照射部１１０を制御してもよい。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
赤外光照射部と赤外光受光部と可視光受光部とを備えた撮像装置を制御する撮像制御装置であって、
前記赤外光照射部から送信パルスを照射した時間と、前記赤外光受光部が赤外線を受光した時間と、の時間差に基づき、ＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）方式により、前記送信パルスを反射したターゲットまでの距離を測定する距離検出部と、
可視光を受光した前記可視光受光部が生成した画像データに基づいて、前記撮像装置の周囲の状況が所定の状況に該当するか否かを判定する認識部と、
前記認識部が前記所定の状況に該当すると判定した場合に、前記ターゲットに照射する前記送信パルスの数を増やすように赤外光照射部を制御する制御部と、
を備える撮像制御装置。
【請求項２】
前記所定の状況は、前記送信パルスに対する反射率が、反射率に関する所定の閾値よりも低い色である低反射色を前記ターゲットが有している状況である、請求項１に記載の撮像制御装置。
【請求項３】
前記距離検出部は、前記距離検出部が生成する赤外画像データに基づいて距離画像データを生成し、前記認識部は、前記距離画像データから前記ターゲットを抽出し、前記ターゲットに物標ＩＤ（identification）を付与する、請求項２に記載の撮像制御装置。
【請求項４】
前記認識部は、前記画像データから前記ターゲットの輪郭を抽出し、前記輪郭内に前記低反射色が存在するか否かを判定する、請求項３に記載の撮像制御装置。
【請求項５】
前記認識部は、前記距離画像データにおける前記輪郭の内側に相当する部分に、所定値以上の距離差を有する部分が存在するか否かを判定し、前記距離差を有する部分が存在すると判定した場合に、前記画像データに基づいて前記所定の状況に該当するか否かを判定する、請求項４に記載の撮像制御装置。
【請求項６】
前記制御部は、前記送信パルスの数に応じて、前記距離検出部が生成する赤外画像データのフレームレートを、前記制御を実行する以前のフレームレートよりも下げる、請求項２に記載の撮像制御装置。
【請求項７】
前記制御部は、前記画像データにおいて、前記ターゲット全体に対する、前記ターゲットのうちの前記低反射色の部分の面積率が、面積率に関する所定の閾値以下であるか否かを判定し、前記面積率が前記面積率に関する所定の閾値以下であると判定した場合には、前記赤外画像データのフレームレートを下げない、請求項６に記載の撮像制御装置。
【請求項８】
前記制御部は、前記ターゲットが移動物体であるか否かを判定し、前記ターゲットが移動物体であると判定した場合には、前記赤外画像データのフレームレートを下げない、請求項６に記載の撮像制御装置。
【請求項９】
前記制御部は、前記送信パルスの数を増やすと共に、前記送信パルスのパルス強度を上げるように前記赤外光照射部を制御する、請求項２に記載の撮像制御装置。
【請求項１０】
前記認識部は、前記距離検出部が生成する赤外画像データから、前記ターゲットに関するデータを領域分割した一部の赤外画像データを抽出し、前記一部の赤外画像データに基づいて距離画像データを生成する、請求項２に記載の撮像制御装置。
【請求項１１】
前記制御部は、前記低反射色を前記ターゲットが有していると前記認識部が判定し、かつ、前記ターゲットとの相対速度が、速度に関する所定の閾値以下の場合に、前記制御を実行する、請求項２に記載の撮像制御装置。
【請求項１２】
前記所定の状況が、前記周囲に逆光が存在する状況である、請求項１に記載の撮像制御装置。
【請求項１３】
前記所定の状況が、前記周囲に霧が存在する状況である、請求項１に記載の撮像制御装置。
【請求項１４】
赤外光照射部と赤外光受光部と可視光受光部とを備えた撮像装置を制御する撮像制御方法であって、
前記赤外光照射部から送信パルスを照射した時間と、前記赤外光受光部が赤外線を受光した時間と、の時間差に基づき、ＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）方式により、前記送信パルスを反射したターゲットまでの距離を測定するステップと、
可視光を受光した前記可視光受光部が生成した画像データに基づいて、前記撮像装置の周囲の状況が所定の状況に該当するか否かを判定するステップと、
前記所定の状況に該当すると判定した場合に、ターゲットに照射する前記送信パルスの数を増やすように赤外光照射部を制御するステップと、
を備えた撮像制御方法。
【請求項１５】
赤外光照射部と赤外光受光部と可視光受光部とを備えた撮像装置を制御する撮像制御方法であって、
コンピュータに、
前記赤外光照射部から送信パルスを照射した時間と、前記赤外光受光部が赤外線を受光した時間と、の時間差に基づき、ＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）方式により、前記送信パルスを反射したターゲットまでの距離を測定するステップと、
可視光を受光した前記可視光受光部が生成した画像データに基づいて、周囲の状況が所定の状況に該当するか否かを判定するステップと、
前記所定の状況に該当すると判定した場合に、ターゲットに照射する前記送信パルスの数を増やすように赤外光照射部を制御するステップと、
を実行させるプログラム。
【請求項１６】
赤外光照射部と赤外光受光部と可視光受光部とを備えた撮像装置を制御する撮像制御方法であって、
コンピュータに、
前記赤外光照射部から送信パルスを照射した時間と、前記赤外光受光部が赤外線を受光した時間と、の時間差に基づき、ＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）方式により、前記送信パルスを反射したターゲットまでの距離を測定するステップと、
可視光を受光した前記可視光受光部が生成した画像データに基づいて、周囲の状況が所定の状況に該当するか否かを判定するステップと、
前記所定の状況に該当すると判定した場合に、ターゲットに照射する前記送信パルスの数を増やすように赤外光照射部を制御するステップと、
を実行させるプログラムを記録した記録媒体。
【国際調査報告】
2018110183.tif 000020
2018110183.tif 000021
2018110183.tif 000022
2018110183.tif 000023