(57)【要約】  画像処理装置は、指向性を有する光が照射された空間を撮像した撮像画像の走査ライン上において、判定対象画素を含む第一画素ブロックと、第一画素ブロックと隣り合う第二画素ブロックと、第二画素ブロックと反対側で第一画素ブロックと隣り合う第三画素ブロックとを決定する。さらに、画像処理装置は、第一画素ブロックに含まれる画素の輝度値の和に基づく第一輝度和と、第二画素ブロックに含まれる画素の輝度値の和に基づく第二輝度和と、第三画素ブロックに含まれる画素の輝度値の和に基づく第三輝度和との関係に基づき、判定対象画素が照射光を写し出す画素であるか否かを判定する。
2019039017.tif 000002
【特許請求の範囲】
【請求項１】
指向性を有する照射光を空間に照射する照射部と、
前記空間を撮像し撮像画像を生成する撮像部と、
前記撮像画像上における前記照射光が照射された領域を検出する処理部と、を備え、
前記処理部は、
前記撮像画像を走査ラインに沿って走査し、
前記走査ライン上において、判定対象画素を含む少なくとも１つの画素を含む第一画素ブロックと、少なくとも１つの画素を含み且つ前記第一画素ブロックと隣り合う第二画素ブロックと、少なくとも１つの画素を含み且つ前記第二画素ブロックと反対側で前記第一画素ブロックと隣り合う第三画素ブロックと、を決定し、
前記第一画素ブロックに含まれる画素の輝度値の和に基づく第一輝度和と、前記第二画素ブロックに含まれる画素の輝度値の和に基づく第二輝度和と、前記第三画素ブロックに含まれる画素の輝度値の和に基づく第三輝度和と、を算出し、
前記第一輝度和、前記第二輝度和及び前記第三輝度和の関係に基づき、前記判定対象画素が前記照射光を写し出す画素であるか否かを判定する、
画像処理装置。
【請求項２】
指向性を有する照射光が照射された空間を撮像した撮像画像を格納する記憶部と、
前記撮像画像上における前記照射光が照射された領域を検出する処理部と、を備え、
前記処理部は、
前記撮像画像を走査ラインに沿って走査し、
前記走査ライン上において、判定対象画素を含む少なくとも１つの画素を含む第一画素ブロックと、少なくとも１つの画素を含み且つ前記第一画素ブロックと隣り合う第二画素ブロックと、少なくとも１つの画素を含み且つ前記第二画素ブロックと反対側で前記第一画素ブロックと隣り合う第三画素ブロックと、を決定し、
前記第一画素ブロックに含まれる画素の輝度値の和に基づく第一輝度和と、前記第二画素ブロックに含まれる画素の輝度値の和に基づく第二輝度和と、前記第三画素ブロックに含まれる画素の輝度値の和に基づく第三輝度和と、を算出し、
前記第一輝度和、前記第二輝度和及び前記第三輝度和の関係に基づき、前記判定対象画素が前記照射光を写し出す画素であるか否かを判定する、
画像処理装置。
【請求項３】
前記第一輝度和は、前記第一画素ブロックに含まれる画素の輝度値の和であり、
前記第二輝度和は、前記第二画素ブロックに含まれる画素の輝度値の和であり、
前記第三輝度和は、前記第三画素ブロックに含まれる画素の輝度値の和であり、
前記処理部は、前記第一輝度和の２倍から前記第二輝度和及び前記第三輝度和を減算した評価値を算出し、前記評価値が第一閾値よりも大きい場合、前記判定対象画素が前記照射光を写し出す画素であると判定する、
請求項１または２に記載の画像処理装置。
【請求項４】
前記処理部はさらに、前記第二輝度和及び前記第三輝度和の差異が第二閾値よりも小さい場合、前記判定対象画素が前記照射光を写し出す画素であると判定する、
請求項３に記載の画像処理装置。
【請求項５】
前記処理部は、前記第二輝度和及び前記第三輝度和が第三閾値以下である場合、又は、前記第一輝度和が第四閾値以上である場合、前記第一閾値を変更する、
請求項３または４に記載の画像処理装置。
【請求項６】
前記処理部は、
前記走査ライン上において、太陽光判定対象画素を含む複数の画素を含む第四画素ブロックを決定し、
前記第四画素ブロックに含まれる画素の輝度値の平均値及び分散値を算出し、
前記平均値が平均閾値よりも大きい、又は、前記分散値が分散閾値よりも大きい場合、前記太陽光判定対象画素が太陽光を写し出す画素であると判定する、
請求項１〜５のいずれか一項に記載の画像処理装置。
【請求項７】
前記処理部は、
前記撮像画像における全ての前記太陽光判定対象画素のうち、太陽光を写し出す画素であると判定した画素の割合が第一割合閾値よりも大きい場合、前記撮像画像が太陽光を写し出す画像であると判定する、
請求項６に記載の画像処理装置。
【請求項８】
前記処理部は、
前記走査ライン上における全ての前記太陽光判定対象画素のうち、太陽光を写し出す画素であると判定した画素の割合が第二割合閾値よりも大きい場合、前記走査ライン上の撮像画像が太陽光を写し出す画像であると判定する、
請求項６に記載の画像処理装置。
【請求項９】
前記照射光は、少なくとも２つの対向する方向への拡がりが抑えられた光である、
請求項１〜８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記第一画素ブロック、前記第二画素ブロック及び前記第三画素ブロックのそれぞれにおける前記走査ラインに沿う方向の幅は、前記撮像画像上での前記照射光の幅以上であり且つ前記照射光の幅の２倍以下の大きさである、
請求項１〜９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記第二画素ブロック及び前記第三画素ブロックは、前記走査ライン上で前記第一画素ブロックに対して第一間隔をあけた位置に決定され、
前記第一間隔は、前記撮像画像上での前記照射光の幅以上であり且つ前記照射光の幅の２倍以下の大きさである、
請求項１〜１０のいずれか一項に記載の画像処理装置。
【請求項１２】
前記撮像画像は、前記照射光を透過させるバンドパスフィルタを介して撮像された画像である、
請求項１〜１１のいずれか一項に記載の画像処理装置。
【請求項１３】
請求項１〜１２のいずれか一項に記載の画像処理装置と、
前記処理部によって検出された前記照射光が照射された領域の前記撮像画像上での位置に基づき、前記照射光が反射された位置までの距離を算出し出力する距離取得部と、を備える、
距離検出装置。
【請求項１４】
指向性を有する照射光が照射された空間を撮像した撮像画像を取得し、
前記撮像画像上における前記照射光が照射された領域を検出し、
前記照射光が照射された領域の検出では、
前記撮像画像を走査ラインに沿って走査し、
前記走査ライン上において、判定対象画素を含む少なくとも１つの画素を含む第一画素ブロックと、少なくとも１つの画素を含み且つ前記第一画素ブロックと隣り合う第二画素ブロックと、少なくとも１つの画素を含み且つ前記第二画素ブロックと反対側で前記第一画素ブロックと隣り合う第三画素ブロックと、を決定し、
前記第一画素ブロックに含まれる画素の輝度値の和に基づく第一輝度和と、前記第二画素ブロックに含まれる画素の輝度値の和に基づく第二輝度和と、前記第三画素ブロックに含まれる画素の輝度値の和に基づく第三輝度和と、を算出し、
前記第一輝度和、前記第二輝度和及び前記第三輝度和の関係に基づき、前記判定対象画素が前記照射光を写し出す画素であるか否かを判定する、
画像処理方法。
【請求項１５】
指向性を有する照射光が照射された空間を撮像した撮像画像を取得し、
前記撮像画像上における前記照射光が照射された領域を検出し、
前記照射光が照射された領域の検出では、
前記撮像画像を走査ラインに沿って走査し、
前記走査ライン上において、判定対象画素を含む少なくとも１つの画素を含む第一画素ブロックと、少なくとも１つの画素を含み且つ前記第一画素ブロックと隣り合う第二画素ブロックと、少なくとも１つの画素を含み且つ前記第二画素ブロックと反対側で前記第一画素ブロックと隣り合う第三画素ブロックと、を決定し、
前記第一画素ブロックに含まれる画素の輝度値の和に基づく第一輝度和と、前記第二画素ブロックに含まれる画素の輝度値の和に基づく第二輝度和と、前記第三画素ブロックに含まれる画素の輝度値の和に基づく第三輝度和と、を算出し、
前記第一輝度和、前記第二輝度和及び前記第三輝度和の関係に基づき、前記判定対象画素が前記照射光を写し出す画素であるか否かを判定する、
ことを、コンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、距離検出装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
レーザー等の指向性を有する光を照射した空間を撮像した画像を解析することによって、空間内の物体を検出する技術が検討されている。このような技術では、指向性を有する光が物体に反射することによって生じる、撮像画像上での当該光の像の形状及び位置等の変化から、物体の有無が検出される。例えば、特許文献１には、仮想面内に延びるレーザービームの発射器と、仮想面と交差する視界をカバーする画像センサと、画像解析手段とを備えた障害物検出装置が記載されている。画像解析手段は、画像センサが生成する画像におけるレーザービームの像の変化を検出することによって、障害物を検出する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１７−５１８５７９号公報
【発明の概要】
【０００４】
画像センサ等の撮像装置が撮像する画像には、レーザービームの像だけでなく、太陽光の像が写り込む場合がある。レーザービームの波長は、太陽光の波長に含まれる場合があるため、撮像画像上での太陽光の像の輝度がレーザービームの像の輝度と近くなる。このため、太陽光の像がレーザービームの像として画像解析される可能性があり、物体の検出誤差が生じることになる。
【０００５】
本開示は、撮像画像上における特定の光の検出精度を向上する画像処理装置、距離検出装置、画像処理方法及びプログラムを提供する。
【０００６】
本開示の非限定的で例示的な一態様に係る画像処理装置は、指向性を有する照射光を空間に照射する照射部と、前記空間を撮像し撮像画像を生成する撮像部と、前記撮像画像上における前記照射光が照射された領域を検出する処理部とを備える。前記処理部は、前記撮像画像を走査ラインに沿って走査し、前記走査ライン上において、判定対象画素を含む少なくとも１つの画素を含む第一画素ブロックと、少なくとも１つの画素を含み且つ前記第一画素ブロックと隣り合う第二画素ブロックと、少なくとも１つの画素を含み且つ前記第二画素ブロックと反対側で前記第一画素ブロックと隣り合う第三画素ブロックと、を決定し、前記第一画素ブロックに含まれる画素の輝度値の和に基づく第一輝度和と、前記第二画素ブロックに含まれる画素の輝度値の和に基づく第二輝度和と、前記第三画素ブロックに含まれる画素の輝度値の和に基づく第三輝度和と、を算出し、前記第一輝度和、前記第二輝度和及び前記第三輝度和の関係に基づき、前記判定対象画素が前記照射光を写し出す画素であるか否かを判定する。
【０００７】
本開示の非限定的で例示的な一態様に係る画像処理装置は、指向性を有する照射光が照射された空間を撮像した撮像画像を格納する記憶部と、前記撮像画像上における前記照射光が照射された領域を検出する処理部と、を備える。前記処理部は、前記撮像画像を走査ラインに沿って走査し、前記走査ライン上において、判定対象画素を含む少なくとも１つの画素を含む第一画素ブロックと、少なくとも１つの画素を含み且つ前記第一画素ブロックと隣り合う第二画素ブロックと、少なくとも１つの画素を含み且つ前記第二画素ブロックと反対側で前記第一画素ブロックと隣り合う第三画素ブロックと、を決定し、前記第一画素ブロックに含まれる画素の輝度値の和に基づく第一輝度和と、前記第二画素ブロックに含まれる画素の輝度値の和に基づく第二輝度和と、前記第三画素ブロックに含まれる画素の輝度値の和に基づく第三輝度和と、を算出し、前記第一輝度和、前記第二輝度和及び前記第三輝度和の関係に基づき、前記判定対象画素が前記照射光を写し出す画素であるか否かを判定する。
【０００８】
本開示の非限定的で例示的な一態様に係る距離検出装置は、上記画像処理装置と、前記処理部によって検出された前記照射光が照射された領域の前記撮像画像上での位置に基づき、前記照射光が反射された位置までの距離を算出し出力する距離取得部と、を備える。
【０００９】
本開示の非限定的で例示的な一態様に係る画像処理方法は、指向性を有する照射光が照射された空間を撮像した撮像画像を取得し、前記撮像画像上における前記照射光が照射された領域を検出する。前記照射光が照射された領域の検出では、前記撮像画像を走査ラインに沿って走査し、前記走査ライン上において、判定対象画素を含む少なくとも１つの画素を含む第一画素ブロックと、少なくとも１つの画素を含み且つ前記第一画素ブロックと隣り合う第二画素ブロックと、少なくとも１つの画素を含み且つ前記第二画素ブロックと反対側で前記第一画素ブロックと隣り合う第三画素ブロックとを決定し、前記第一画素ブロックに含まれる画素の輝度値の和に基づく第一輝度和と、前記第二画素ブロックに含まれる画素の輝度値の和に基づく第二輝度和と、前記第三画素ブロックに含まれる画素の輝度値の和に基づく第三輝度和とを算出し、前記第一輝度和、前記第二輝度和及び前記第三輝度和の関係に基づき、前記判定対象画素が前記照射光を写し出す画素であるか否かを判定する。
【００１０】
本開示の非限定的で例示的な一態様に係るプログラムは、指向性を有する照射光が照射された空間を撮像した撮像画像を取得し、前記撮像画像上における前記照射光が照射された領域を検出し、前記照射光が照射された領域の検出では、前記撮像画像を走査ラインに沿って走査し、前記走査ライン上において、判定対象画素を含む少なくとも１つの画素を含む第一画素ブロックと、少なくとも１つの画素を含み且つ前記第一画素ブロックと隣り合う第二画素ブロックと、少なくとも１つの画素を含み且つ前記第二画素ブロックと反対側で前記第一画素ブロックと隣り合う第三画素ブロックとを決定し、前記第一画素ブロックに含まれる画素の輝度値の和に基づく第一輝度和と、前記第二画素ブロックに含まれる画素の輝度値の和に基づく第二輝度和と、前記第三画素ブロックに含まれる画素の輝度値の和に基づく第三輝度和とを算出し、前記第一輝度和、前記第二輝度和及び前記第三輝度和の関係に基づき、前記判定対象画素が前記照射光を写し出す画素であるか否かを判定することを、コンピュータに実行させる。
【００１１】
なお、上記の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の不揮発性の記録媒体を含む。
【００１２】
本開示の技術によれば、撮像画像上における特定の光の検出精度を向上することができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、実施の形態に係る物体検出装置の概略的な構成を示す図である。
【図２】図２は、実施の形態に係る物体検出装置の機能的な構成を示す図である。
【図３Ａ】図３Ａは、照射部の走査光がラインレーザーである場合の撮像部の撮像画像（物体が近い）の一例を示す図である。
【図３Ｂ】図３Ｂは、照射部の走査光がラインレーザーである場合の撮像部の撮像画像（物体が遠い）の一例を示す図である。
【図４Ａ】図４Ａは、演算処理部のハードウェア構成の一例を示す図である。
【図４Ｂ】図４Ｂは、距離取得部のハードウェア構成の一例を示す図である。
【図５】図５は、実施の形態に係る演算処理部の処理動作の全体の流れの一例を示すフローチャートである。
【図６】図６は、図５における凸フィルタ判定処理の流れの詳細な一例を示すフローチャートである。
【図７】図７は、撮像画像の構成の一例を模式的に示す図である。
【図８Ａ】図８Ａは、撮像画像の列番号１の走査ライン上において設定される判定対象領域の例を示す図である。
【図８Ｂ】図８Ｂは、判定対象領域内に設定される画素ブロックの例を示す図である。
【図９】図９は、判定対象領域が走査光の像を含む場合の画素の輝度分布と、画素の位置に対応する走査光の輝度分布の一例を示す図である。
【図１０】図１０は、変形例に係る演算処理部の処理動作の全体の流れの一例を示すフローチャートである。
【図１１】図１１は、図１０における太陽光フィルタ判定処理の流れの詳細な一例を示すフローチャートである。
【図１２】図１２は、太陽光の像を含む撮像画像の一例を示す図である。
【図１３】図１３は、太陽光の輝度値の平均及び分散と、太陽光以外の光の輝度値の平均及び分散との関係の一例を示す図である。
【発明を実施するための形態】
【００１４】
［発明者による知見］
本開示に係る発明者ら、つまり本発明者らは、ロボット等の移動体に周囲の障害物等の物体を検知させる技術として、指向性を有する光を走査光として照射し、走査光を撮像した画像を解析することによって、走査光上の物体を検知する技術に着目した。移動体は、太陽光等の光が照射される明所から暗所までにわたって活動し、それぞれの場所で、周囲の物体を検知し避けて移動する必要がある。指向性に優れた光の１つにレーザーがあるが、レーザーの波長は、太陽光の波長に含まれる場合があるため、撮像画像上での太陽光の像の輝度がレーザーの像の輝度と近くなる。このため、例えば、特許文献１に記載されるような画像解析技術において、太陽光がレーザーとして認識される可能性があることを、本発明者らは見出した。このため、本発明者らは、撮像画像上において、レーザー等の指向性を有する特定の光を、太陽光等の、特定の光以外の光から区別して検出する画像処理技術を検討した。そこで、本発明者らは、撮像画像上における特定の光の検出精度を向上するために、以下に示す技術を考案した。
【００１５】
本開示の一態様に係る画像処理装置は、指向性を有する照射光を空間に照射する照射部と、前記空間を撮像し撮像画像を生成する撮像部と、前記撮像画像上における前記照射光が照射された領域を検出する処理部と、を備える。前記処理部は、前記撮像画像を走査ラインに沿って走査し、前記走査ライン上において、判定対象画素を含む少なくとも１つの画素を含む第一画素ブロックと、少なくとも１つの画素を含み且つ前記第一画素ブロックと隣り合う第二画素ブロックと、少なくとも１つの画素を含み且つ前記第二画素ブロックと反対側で前記第一画素ブロックと隣り合う第三画素ブロックと、を決定する。そして、前記処理部は、前記第一画素ブロックに含まれる画素の輝度値の和に基づく第一輝度和と、前記第二画素ブロックに含まれる画素の輝度値の和に基づく第二輝度和と、前記第三画素ブロックに含まれる画素の輝度値の和に基づく第三輝度和と、を算出し、前記第一輝度和、前記第二輝度和及び前記第三輝度和の関係に基づき、前記判定対象画素が前記照射光を写し出す画素であるか否かを判定する。
【００１６】
上記態様において、照射光の像は、幅を有するため、幅方向に少なくとも１つの画素を含む。例えば、判定対象画素を含む第一画素ブロックが照射光の像をより多く含む場合、第二画素ブロック及び第三画素ブロックが照射光の像をより少なく含む又は含まないような状態が生じ得る。よって、画素ブロックを用いることによって、照射光の像を含む領域つまりブロックと、照射光の像を含まない領域つまりブロックとを明確に区分することができる。さらに、このような第一画素ブロック、第二画素ブロック及び第三画素ブロックそれぞれの第一輝度和、第二輝度和及び第三輝度和の間にも、明確な変化が生じる。よって、第一輝度和、第二輝度和及び第三輝度和の関係に基づき、第一画素ブロック内の判定対象画素が照射光を写し出す画素であるか否かの判定が可能である。
【００１７】
本開示の別の一態様に係る画像処理装置は、指向性を有する照射光が照射された空間を撮像した撮像画像を格納する記憶部と、前記撮像画像上における前記照射光が照射された領域を検出する処理部とを備える。前記処理部は、前記撮像画像を走査ラインに沿って走査し、前記走査ライン上において、判定対象画素を含む少なくとも１つの画素を含む第一画素ブロックと、少なくとも１つの画素を含み且つ前記第一画素ブロックと隣り合う第二画素ブロックと、少なくとも１つの画素を含み且つ前記第二画素ブロックと反対側で前記第一画素ブロックと隣り合う第三画素ブロックと、を決定する。そして、前記処理部は、前記第一画素ブロックに含まれる画素の輝度値の和に基づく第一輝度和と、前記第二画素ブロックに含まれる画素の輝度値の和に基づく第二輝度和と、前記第三画素ブロックに含まれる画素の輝度値の和に基づく第三輝度和と、を算出し、前記第一輝度和、前記第二輝度和及び前記第三輝度和の関係に基づき、前記判定対象画素が前記照射光を写し出す画素であるか否かを判定する。上記態様によると、本開示の一態様に係る画像処理装置と同様の効果が得られる。
【００１８】
本開示の一態様及び別の一態様に係る画像処理装置において、前記第一輝度和は、前記第一画素ブロックに含まれる画素の輝度値の和であり、前記第二輝度和は、前記第二画素ブロックに含まれる画素の輝度値の和であり、前記第三輝度和は、前記第三画素ブロックに含まれる画素の輝度値の和である。前記処理部は、前記第一輝度和の２倍から前記第二輝度和及び前記第三輝度和を減算した評価値を算出し、前記評価値が第一閾値よりも大きい場合、前記判定対象画素が前記照射光を写し出す画素であると判定してもよい。
【００１９】
上記態様によると、評価値が第一閾値よりも大きい場合、第一画素ブロックに含まれる画素の輝度値の和が、第二画素ブロック及び第三画素ブロックに含まれる画素の輝度値の和よりも大きくなり得る。よって、第一画素ブロックは、照射光の像を含み、判定対象画素が照射光を写し出す画素であると見なすことができる。
【００２０】
本開示の一態様及び別の一態様に係る画像処理装置において、前記処理部はさらに、前記第二輝度和及び前記第三輝度和の差異が第二閾値よりも小さい場合、前記判定対象画素が前記照射光を写し出す画素であると判定してもよい。
【００２１】
上記態様によると、第二輝度和及び第三輝度和の一方が他方よりも大幅に大きいケースが除外される。例えば、第二輝度和及び第三輝度和の大きい方が、第一輝度和に近い場合、第一画素ブロックに含まれる光の像は、第二輝度和及び第三輝度和の大きい方の画素ブロックにも含まれる可能性がある。このような光の像を、照射光から除外することが可能になる。よって、撮像画像上における照射光の検出精度が向上する。
【００２２】
本開示の一態様及び別の一態様に係る画像処理装置において、前記処理部は、前記第二輝度和及び前記第三輝度和が第三閾値以下である場合、又は、前記第一輝度和が第四閾値以上である場合、前記第一閾値を変更してもよい。
【００２３】
上記態様によると、第二輝度和及び第三輝度和が小さい場合、又は、第一輝度和が大きい場合、第一閾値が変更される。例えば、第二画素ブロック及び第三画素ブロックが、照射光が反射しない暗い色の対象物の像を示す場合、第二輝度和及び第三輝度和が小さくなる。また、例えば、第一画素ブロックが、照射光が反射する明るい色の対象物の像を示す場合、第一輝度和が大きくなる。よって、判定対象画素が照射光を写し出す画素であるという判定精度が低下する可能性がある。このような場合、第一閾値を変更することによって、判定精度の向上が可能になる。
【００２４】
本開示の一態様及び別の一態様に係る画像処理装置において、前記処理部は、前記走査ライン上において、太陽光判定対象画素を含む複数の画素を含む第四画素ブロックを決定し、前記第四画素ブロックに含まれる画素の輝度値の平均値及び分散値を算出し、前記平均値が平均閾値よりも大きい、又は、前記分散値が分散閾値よりも大きい場合、前記太陽光判定対象画素は太陽光を写し出す画素であると判定してもよい。
【００２５】
上記態様において、太陽光は、その像が含む複数の画素の輝度値の平均値及び分散値に関して、太陽光以外の光と異なる特徴を有する。太陽光における上記平均値及び分散値は、太陽光以外の光よりも大きくなる傾向にある。よって、上記平均値が平均閾値よりも大きい、又は、上記分散値が分散閾値よりも大きい場合、第四画素ブロックは、太陽光の像を示すと見なすことができる。従って、太陽光判定対象画素は太陽光を写し出す画素であると見なすことができる。
【００２６】
本開示の一態様及び別の一態様に係る画像処理装置において、前記処理部は、前記撮像画像における全ての前記太陽光判定対象画素のうち、太陽光を写し出す画素であると判定した画素の割合が第一割合閾値よりも大きい場合、前記撮像画像が太陽光を写し出す画像であると判定してもよい。上記態様によると、撮像画像全体に対する太陽光の像の有無の判定が可能である。
【００２７】
本開示の一態様及び別の一態様に係る画像処理装置において、前記処理部は、前記走査ライン上における全ての前記太陽光判定対象画素のうち、太陽光を写し出す画素であると判定した画素の割合が第二割合閾値よりも大きい場合、前記走査ライン上の撮像画像が太陽光を写し出す画像であると判定してもよい。上記態様によると、撮像画像において、走査ライン毎の太陽光の像の有無の判定が可能である。
【００２８】
本開示の一態様及び別の一態様に係る画像処理装置において、前記照射光は、２つの対向する方向への拡がりが少なくとも抑えられた光であってもよい。上記態様によると、照射光は、撮像画像上において、点状又は線状の像を形成する。撮像画像上における照射光とその周囲との輝度の違いが、第一輝度和、第二輝度和及び第三輝度和の関係に反映されやすくなる。
【００２９】
本開示の一態様及び別の一態様に係る画像処理装置において、前記第一画素ブロック、前記第二画素ブロック及び前記第三画素ブロックのそれぞれにおける前記走査ラインに沿う方向の幅は、前記撮像画像上での前記照射光の幅以上であり且つ前記照射光の幅の２倍以下の大きさであってもよい。上記態様によると、照射光が、第一画素ブロック、第二画素ブロック及び第三画素ブロックの全てに含まれることが抑えられる。さらに、照射光が第一画素ブロックのみに含まれるようにすることも可能である。よって、第一輝度和、第二輝度和及び第三輝度和の関係に基づく判定対象画素の判定精度が向上する。
【００３０】
本開示の一態様及び別の一態様に係る画像処理装置において、前記第二画素ブロック及び前記第三画素ブロックは、前記走査ライン上で前記第一画素ブロックに対して第一間隔をあけた位置に決定され、前記第一間隔は、前記撮像画像上での前記照射光の幅以上であり且つ前記照射光の幅の２倍以下の大きさであってもよい。上記態様によると、照射光が、第一画素ブロック、第二画素ブロック及び第三画素ブロックのうちの２つ以上の画素ブロックに含まれることが抑えられる。よって、第一輝度和、第二輝度和及び第三輝度和の関係に基づく判定対象画素の判定精度が向上する。
【００３１】
本開示の一態様及び別の一態様に係る画像処理装置において、前記撮像画像は、前記照射光を透過させるバンドパスフィルタを介して撮像された画像であってもよい。上記態様によると、撮像画像は、照射光及び照射光の波長の近傍の波長の光のみを写し出す画像となる。よって、撮像画像上における照射光を検出する処理が簡易になる。
【００３２】
本開示の一態様に係る距離検出装置は、上記画像処理装置と、前記処理部によって検出された前記照射光が照射された領域の前記撮像画像上での位置に基づき、前記照射光が反射された位置までの距離を算出し出力する距離取得部と、を備える。上記態様によると、本開示の一態様に係る画像処理装置と同様の効果が得られる。さらに、高い精度で検出された照射光の位置に基づき算出される照射光が反射された位置までの距離は、高い精度を有することができる。
【００３３】
本開示の一態様に係る画像処理方法は、指向性を有する照射光が照射された空間を撮像した撮像画像を取得し、前記撮像画像上における前記照射光が照射された領域を検出し、前記照射光が照射された領域の検出では、前記撮像画像を走査ラインに沿って走査し、前記走査ライン上において、判定対象画素を含む少なくとも１つの画素を含む第一画素ブロックと、少なくとも１つの画素を含み且つ前記第一画素ブロックと隣り合う第二画素ブロックと、少なくとも１つの画素を含み且つ前記第二画素ブロックと反対側で前記第一画素ブロックと隣り合う第三画素ブロックとを決定し、前記第一画素ブロックに含まれる画素の輝度値の和に基づく第一輝度和と、前記第二画素ブロックに含まれる画素の輝度値の和に基づく第二輝度和と、前記第三画素ブロックに含まれる画素の輝度値の和に基づく第三輝度和とを算出し、前記第一輝度和、前記第二輝度和及び前記第三輝度和の関係に基づき、前記判定対象画素が前記照射光を写し出す画素であるか否かを判定する。上記態様によると、本開示の一態様に係る画像処理装置と同様の効果が得られる。
【００３４】
本開示の一態様に係るプログラムは、指向性を有する照射光が照射された空間を撮像した撮像画像を取得し、前記撮像画像上における前記照射光が照射された領域を検出し、前記照射光が照射された領域の検出では、前記撮像画像を走査ラインに沿って走査し、前記走査ライン上において、判定対象画素を含む少なくとも１つの画素を含む第一画素ブロックと、少なくとも１つの画素を含み且つ前記第一画素ブロックと隣り合う第二画素ブロックと、少なくとも１つの画素を含み且つ前記第二画素ブロックと反対側で前記第一画素ブロックと隣り合う第三画素ブロックとを決定し、前記第一画素ブロックに含まれる画素の輝度値の和に基づく第一輝度和と、前記第二画素ブロックに含まれる画素の輝度値の和に基づく第二輝度和と、前記第三画素ブロックに含まれる画素の輝度値の和に基づく第三輝度和とを算出し、前記第一輝度和、前記第二輝度和及び前記第三輝度和の関係に基づき、前記判定対象画素が前記照射光を写し出す画素であるか否かを判定することを、コンピュータに実行させる。上記態様によると、本開示の一態様に係る画像処理装置と同様の効果が得られる。
【００３５】
なお、上記の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ等の不揮発性の記録媒体を含む。
【００３６】
［実施の形態］
以下、本開示の実施の形態に係る画像処理装置等について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ（工程）、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、以下の実施の形態の説明において、略平行、略直交のような「略」を伴った表現が、用いられる場合がある。例えば、略平行とは、完全に平行であることを意味するだけでなく、実質的に平行である、すなわち、例えば数％程度の差異を含むことも意味する。他の「略」を伴った表現についても同様である。また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。
【００３７】
実施の形態に係る画像処理装置を備える物体検出装置１を説明する。物体検出装置１は、指向性を有する光を走査光として照射し、走査光を撮像した画像を解析することによって、走査光上に存在する物体の３次元的な位置を検出する装置である。図１には、実施の形態に係る物体検出装置１の概略的な構成が示されている。図２には、実施の形態に係る物体検出装置１の機能的な構成が示されている。図１に示すように、物体検出装置１は、検出対象とする空間に走査光を出射する照射部３と、当該空間を撮像する撮像部２と、撮像制御部４と、撮像記憶部５とを備える。なお、物体検出装置１の各構成要素は、１つの装置に搭載されてもよく、複数の装置に分かれて搭載されてもよい。本明細書では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。ここで、物体検出装置１は距離検出装置の一例である。
【００３８】
照射部３は、本実施の形態では、１つの走査光Ｌを出射する。しかしながら、照射部３は２つ以上の走査光を出射してもよい。照射部３が出射する走査光Ｌは、指向性を有する光である。走査光Ｌは、２つの対向する方向への拡がりが少なくとも抑えられた光であってもよい。走査光Ｌの例は、赤外光を用いたラインレーザー又は点状レーザーであるが、これに限定されない。ラインレーザーは、２つの対向する方向への拡がりが抑えられた光であり、壁等の遮断物に照射されたとき、線状の反射光を形成する。点状レーザーは、周囲の拡がりが抑えられた光であり、壁等の遮断物に照射されたとき、点状の反射光を形成する。照射部３の例は、レーザー照射器である。走査光Ｌは照射光の一例である。
【００３９】
撮像部２は、照射部３が走査光を出射する空間を撮像する。撮像部２は、撮像画像を撮像記憶部５に格納する。撮像部２を中心とする線分ＣＦ１及び線分ＣＦ２の間の撮像部２の視野内に、走査光Ｌが出射されるように、撮像部２及び照射部３は配置されている。撮像部２及び照射部３の相対的な位置及び向きは、固定されていてもよく、固定されていなくてもよい。撮像部２及び照射部３の一方が他方に対して可動である場合、その動作は、撮像制御部４によって制御されてもよい。さらに、撮像制御部４は、図示しないセンサ等を介して撮像部２又は照射部３の動作量及び動作方向を検出し、撮像部２及び照射部３の相対的な位置及び向きを算出してもよい。撮像部２は、その視野内において、走査光Ｌが物体で反射した反射光を撮像する。撮像部２の例は、デジタル式のカメラ又はビデオカメラである。
【００４０】
撮像部２は、図示しないバンドパスフィルタを備え、バンドパスフィルタを介して入射する像を撮像してもよい。バンドパスフィルタは、照射部３の走査光Ｌ及び走査光Ｌの波長の近傍の波長の光のみを透過させ且つその他の波長の光の透過を遮断するフィルタである。バンドパスフィルタを備える撮像部２が有する複数の撮像画素は、走査光Ｌ及び走査光Ｌの波長の近傍の波長の光の輝度を取得し、その他の波長の光の輝度をほとんど取得しない。例えば、照射部３の走査光Ｌがラインレーザーである場合の撮像部２の撮像画像の例が、図３Ａ及び図３Ｂに示されている。図３Ａ及び図３Ｂに示すように、撮像画像では、ラインレーザーの像が明瞭に示され、ラインレーザー以外の像が暗く示される。なお、図３Ａは、照射部３の走査光がラインレーザーである場合に、近い位置の物体で反射した走査光を撮像部２が撮像した画像の一例を示す図である。図３Ｂは、照射部３の走査光がラインレーザーである場合に、遠い位置の物体で反射した走査光を撮像部２が撮像した画像の一例を示す図である。
【００４１】
撮像制御部４は、撮像部２及び照射部３の動作を制御する。例えば、撮像制御部４は、照射部３の走査光Ｌの出射動作と、撮像部２の撮像動作とを連動させるように制御する。例えば、照射部３は、走査光Ｌによって検出対象空間を３次元的に走査する場合、可動である。撮像制御部４は、３次元的な走査の際の照射部３の移動を制御してもよい。３次元的な走査は、走査光Ｌを、上下方向及び左右方向を含む様々な方向に出射する走査である。さらに、撮像制御部４は、撮像部２及び照射部３の相対的な位置及び向きを算出してもよい。そして、撮像制御部４は、相対的な位置及び向きと、当該相対的な位置及び向きのときに撮像された撮像画像とを対応付けて、当該撮像画像を撮像記憶部５に格納してもよい。さらに、撮像制御部４は、照射部３で出力される走査光を制御してもよい。例えば、照射部３の走査光の出力をＯｎ／Ｏｆｆした際の画像を撮像部２で撮像してもよく、走査光の出力をＯｎ／Ｏｆｆした際の画像間で差分を取れば、走査光自体の輝度値を求めることが可能である。この場合、物体検出装置１及び検出対象の物体が静止する場合は有効な手段である。
【００４２】
撮像制御部４は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）又はＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）等のプロセッサ、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）等のメモリなどからなるコンピュータシステム（図示せず）により構成されてもよい。撮像制御部４の一部又は全部の機能は、ＣＰＵ又はＤＳＰがＲＡＭを作業用のメモリとして用いてＲＯＭに記録されたプログラムを実行することによって達成されてもよい。また、撮像制御部４の一部又は全部の機能は、電子回路又は集積回路等の専用のハードウェア回路によって達成されてもよい。撮像制御部４の一部又は全部の機能は、上記のソフトウェア機能とハードウェア回路との組み合わせによって構成されてもよい。プログラムは、ＲＯＭに予め記録されたものであってもよく、アプリケーションとして、インターネット等の通信網を介した通信、モバイル通信規格による通信、その他の無線ネットワーク、有線ネットワーク、又は放送等で提供されるものであってもよい。
【００４３】
撮像記憶部５は、情報を格納することができ、且つ、格納した情報の取り出しを可能にする。撮像記憶部５が格納する情報の例は、撮像部２の撮像画像である。撮像記憶部５は、撮像画像と対応付けられた撮像部２及び照射部３の相対的な位置及び向きを格納してもよい。撮像記憶部５は、例えば、ＲＯＭ、ＲＡＭ、フラッシュメモリなどの半導体メモリ、ハードディスクドライブ、又は、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等の記憶装置によって実現される。
【００４４】
図２に示すように、物体検出装置１は、画像処理部６と、出力部９とをさらに備える。画像処理部６は、撮像記憶部５に格納された撮像画像を処理し、処理結果を出力部９に出力する。画像処理部６は、撮像画像において、走査光の像を検出し、検出した走査光の像の撮像画像上での位置に基づき、検出した走査光が反射した対象物と物体検出装置１との距離を算出する。画像処理部６はさらに、算出した距離と、照射部３による走査光の投射方向とから、対象物の３次元的な位置を算出する。そして、画像処理部６は、算出した対象物の３次元位置を出力部９に出力する。例えば、図１から、点Ｐ１、Ｐ２及びＰ３のそれぞれで反射する走査光Ｌの像の位置が撮像画像上において異なることがわかる。なお、図１において、仮想面ＶＰ１、ＶＰ２及びＶＰ３は、点Ｐ１、Ｐ２及びＰ３をそれぞれ通り且つ撮像画像面に平行な仮想面である。仮想面ＶＰ１、ＶＰ２及びＶＰ３の順で撮像部２から遠くなる。撮像画像上でのこのような各像の位置から、物体検出装置１と各点との距離の算出が可能である。例えば、図３Ａは、撮像部２から近い点Ｐ１で反射する走査光Ｌを撮像した画像の例を示す図であり、図３Ｂは、撮像部２から遠い点Ｐ３で反射する走査光Ｌを撮像した画像の例を示す図である。画像処理部６の詳細は、後述する。
【００４５】
出力部９は、画像処理部６から取得した対象物の位置を出力する。出力部９は、情報を視覚化して出力するディスプレイであってもよく、情報を音にして出力するスピーカであってもよく、情報を外部に出力する通信インターフェースであってもよい。通信インターフェースは、有線通信用のインターフェースであってもよく、無線通信用のインターフェースであってもよい。ディスプレイの例は、液晶パネル、有機又は無機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）等の表示パネルである。また、出力部９は、位置を出力する以外に、位置から障害物の有無を判断し出力してもよく、例えば障害物がある場合、音や映像で外部に伝えてもよい。
【００４６】
画像処理部６は、撮像画像上で走査光の像の領域を検出する演算処理部７と、撮像画像上での走査光の像の位置から走査光を反射した対象物と物体検出装置１との距離を算出する距離取得部８とを含む。距離取得部８は、演算処理部７が検出した走査光の像の、撮像画像上における位置及び形状から、走査光を反射した対象物と物体検出装置１との距離を算出する。例えば、図３Ａ又は図３Ｂに示す撮像画像において、撮像画像の横方向に延びる像Ａが、演算処理部７によって、ラインレーザーである走査光の像として検出される。距離取得部８は、撮像画像上における像Ａの各列における画像上の縦方向の位置と、撮像部２及び照射部３の相対的な位置及び向きとに基づき、物体検出装置１から走査光を反射した対象部分のそれぞれまでの距離を算出する。さらに、距離取得部８は、算出した距離と、撮像部２及び照射部３の相対的な位置及び向きとに基づき、各対象部分の３次元的な位置を算出してもよい。各対象部分までの距離及び３次元位置を算出する方法は、例えば、三角測量等の技術を用いた既知の技術であるため、その詳細な説明を省略する。ここで、演算処理部７は画像処理装置の処理部の一例である。また、画像処理部６は、距離検出装置の一例である。
【００４７】
図４Ａ及び図４Ｂに示すように、演算処理部７及び距離取得部８はそれぞれ、ＣＰＵ又はＤＳＰ等のプロセッサ７ｂ及び８ｂ、ＲＡＭ及びＲＯＭ等のメモリ７ｃ及び８ｃなどからなる処理回路７ａ及び８ａにより構成されてもよい。図４Ａ及び図４Ｂはそれぞれ、演算処理部７及び距離取得部８のハードウェア構成の一例を示す図である。演算処理部７及び距離取得部８の一部又は全部の機能は、ＣＰＵ又はＤＳＰがＲＡＭを作業用のメモリとして用いてＲＯＭに記録されたプログラムを実行することによって達成されてもよい。また、演算処理部７及び距離取得部８の一部又は全部の機能は、電子回路又は集積回路等の専用のハードウェア回路によって達成されてもよい。演算処理部７及び距離取得部８の一部又は全部の機能は、上記のソフトウェア機能とハードウェア回路との組み合わせによって構成されてもよい。プログラムは、ＲＯＭに予め記録されたものであってもよく、アプリケーションとして、インターネット等の通信網を介した通信、モバイル通信規格による通信、その他の無線ネットワーク、有線ネットワーク、又は放送等で提供されるものであってもよい。演算処理部７及び距離取得部８のプロセッサ７ｂ及び８ｂは、１つに統合されてもよく、演算処理部７及び距離取得部８のメモリ７ｃ及び８ｃは、１つに統合されてもよい。ここで、演算処理部７は、画像処理装置の一例であり、演算処理部７のプロセッサ７ｂは、画像処理装置の処理部の一例であり、演算処理部７のメモリ７ｃは、画像処理装置の記憶部の一例である。
【００４８】
演算処理部７の処理動作の詳細を説明する。図５には、演算処理部７の処理動作の全体の流れの一例を示すフローチャートが、示されている。図６には、図５における凸フィルタ判定処理の流れの詳細な一例を示すフローチャートが、示されている。図５に示すように、ステップＳ１において、演算処理部７は、撮像画像における全ての画素列の画像処理が完了したか否かを判定する。演算処理部７は、完了済みの場合（ステップＳ１でＹｅｓ）、撮像画像に対する処理を終了し、未完了の場合（ステップＳ１でＮｏ）、ステップＳ２に進む。なお、上記画像処理は、ステップＳ２〜Ｓ５の処理である。
【００４９】
これに限定するものではないが、本実施の形態では、撮像画像は、横３２０画素×縦１８０画素の格子状に配列された複数の画素で構成されるとして、以降の説明をする。図７に示すように、演算処理部７は、撮像画像に対して、図面上での撮像画像の左上の角を原点とし且つｘ軸及びｙ軸を座標軸とする画素座標を設定する。なお、図７は、撮像画像の構成の一例を模式的に示す図である。ｘ軸は、横３２０画素の配列方向に沿う軸であり、ｙ軸は、縦１８０画素の配列方向に沿う軸である。演算処理部７は、撮像画像の各画素の画素値、つまり、輝度値が、走査光の像を示すものであるかをステップＳ１〜Ｓ５の処理で判定する。
【００５０】
この際、演算処理部７は、撮像画像のｙ軸に平行な走査ラインを設定する。さらに、演算処理部７は、走査ライン上の画素列に含まれる画素を順に走査し、走査した各画素に対して上記判定を行う。撮像画像には、３２０の画素列が含まれる。本実施の形態では、演算処理部７は、処理速度の高速化のために、３２０の画素列の一部の画素列に対して、上記判定のための走査を行う。具体的には、演算処理部７は、２７の画素列を走査する。走査対象の画素列は、１２画素列毎に選定される。つまり、列番号１〜２７の画素列が、演算処理部７によって選定される。そして、ステップＳ１での全ての画素列とは、列番号１〜２７の画素列の全てを意味する。なお、演算処理部７が処理する画素列の数量及び画素列間の間隔は、上記に限定されず、いかなる数量及び間隔であってもよい。また、演算処理部７は、撮像画像に含まれる全ての画素列を走査してもよい。
【００５１】
ステップＳ２において、演算処理部７は、列番号１〜２７の画素列のうち、後述するステップＳ３〜Ｓ５の処理が完了していない列番号の画素列を、画像処理対象の画素列に決定する。なお、演算処理部７は、画像処理済みの画素列の列番号をメモリ７ｃに記憶させ、メモリ７ｃに記憶された列番号に基づき、画像処理対象の列番号を決定してもよい。この際、演算処理部７は、例えば、列番号を昇順又は降順に決定する。
【００５２】
次いで、ステップＳ３において、演算処理部７は、決定した画素列に含まれる複数の画素、つまり、走査ライン上の複数の画素の全てに対して、後述するステップＳ４及びＳ５の処理が完了しているか否かを判定する。演算処理部７は、完了済みの場合（ステップＳ３でＹｅｓ）、ステップＳ１に戻り、未完了の場合（ステップＳ３でＮｏ）、ステップＳ４に進む。なお、処理対象は、走査ライン上の複数の画素の全てでなくてもよい。
【００５３】
ステップＳ４において、演算処理部７は、走査ライン上の画素のうち、後述するステップＳ５の処理が完了していない画素を、処理対象の画素に決定する。なお、演算処理部７は、処理済みの画素の画素座標をメモリ７ｃに記憶させ、メモリ７ｃに記憶された画素座標に基づき、処理対象の画素を決定してもよい。この際、演算処理部７は、ｙ軸正方向を走査方向として、走査方向に沿って順に画素を決定するが、これに限定されない。
【００５４】
ステップＳ５において、演算処理部７は、ステップＳ４で決定した画素に対して、凸フィルタを通過可能な画素であるか否かを判定する、つまり、凸フィルタ判定をする。凸フィルタは、画像処理における画素の判定処理である。演算処理部７は、凸フィルタを通過可能な画素の輝度値は、走査光の像を示すと判定し、凸フィルタを通過不可能な画素の輝度値は、走査光の像を示さないと判定する。さらに、演算処理部７は、凸フィルタ判定の中で、同一の走査ライン上において凸フィルタを通過する画素を複数検出した場合、検出された複数の画素が、当該走査ライン上において連続する１つの走査光の像を示すか、分かれた走査光の像を示すかを判定する。演算処理部７は、各画素の判定結果をメモリ７ｃに記憶させる。又は、演算処理部７は、各画素の判定結果を撮像記憶部５に記憶させてもよい。凸フィルタ判定処理の詳細は、後述する。ステップＳ５の処理完了後、演算処理部７は、ステップＳ３に戻る。
【００５５】
上述のように、演算処理部７は、各走査ラインにおいて、当該走査ラインに含まれる全ての画素に対して、凸フィルタ判定処理を行い、各画素が走査光の像を示すか否かを判定する。さらに、演算処理部７は、走査光の像を示す複数の画素が、連続する１つの走査光の像を示すか、分かれた走査光の像を示すかを判定し、当該画素が示す走査光の像を特定する。
【００５６】
さらに、ステップＳ５における凸フィルタ判定処理の詳細を説明する。図６に示すように、ステップＳ５１において、演算処理部７は、ステップＳ４で決定された画素（以下、「判定対象画素」と呼ぶ）に対して、凸フィルタ判定処理を開始する。図８Ａに示されるように、演算処理部７は、判定対象画素を含む走査ライン上において、判定対象領域を設定する。なお、図８Ａは、撮像画像の列番号１の走査ライン上において設定される判定対象領域の例を示す図である。これに限定されるものではないが、本実施の形態では、判定対象領域は、判定対象画素を含む２５画素で構成される。判定対象画素は、２５画素の中央の画素である。つまり、判定対象領域は、判定対象画素と、判定対象画素を中心としたｙ軸正方向及び負方向の１２画素とを含む領域である。なお、判定対象画素のｙ座標が小さい場合、判定対象領域に含まれるｙ軸負方向の画素数が、１２未満になる場合がある。また、判定対象領域における判定対象画素の位置は、中央に限定されない。
【００５７】
図８Ｂに示されるように、演算処理部７は、判定対象領域内において、判定対象画素と、判定対象画素を中心としたｙ軸正方向及び負方向の２画素とを含む第一画素ブロックを画成する。第一画素ブロックは、５つの画素を含む。なお、図８Ｂは、判定対象領域内に設定される画素ブロックの例を示す図である。また、演算処理部７は、第一画素ブロックにｙ軸正方向で隣り合う第二画素ブロックと、第一画素ブロックにｙ軸負方向で隣り合う第三画素ブロックとを設定する。第二画素ブロック及び第三画素ブロックは、第一画素ブロックと同様に５つの画素を含む。第二画素ブロック及び第三画素ブロックはそれぞれ、走査ライン上で第一画素ブロックから第一間隔あけて位置する。本実施の形態では、第一間隔には、５つの画素が含まれる。なお、第一画素ブロック、第二画素ブロック、第三画素ブロック及び第一間隔のｙ軸方向の幅は、５画素分の幅に限定されない。また、第一画素ブロック、第二画素ブロック、第三画素ブロック及び第一間隔のｙ軸方向の幅は、同一でなくてもよい。また、第一画素ブロックと第二画素ブロックとの間、及び第一画素ブロックと第三画素ブロックとの間は同一の第一間隔であるが、必ずしも同一でなくてもよい。ｙ軸方向の幅が同一でない場合は、各画素ブロックの輝度は、１画素当たりの平均輝度で比較する。
【００５８】
第一画素ブロック、第二画素ブロック、第三画素ブロック及び第一間隔のｙ軸方向の幅は、撮像画像上において走査光の像が取り得る幅以上の大きさであることが好ましい。この場合、第一画素ブロック、第二画素ブロック、第三画素ブロック及び第一間隔は、ｙ軸方向において、１つの走査光の像の全体を含むことができる。さらに、１つの走査光の像が、第一画素ブロック及び第二画素ブロックに跨がること、並びに、第一画素ブロック及び第三画素ブロックに跨がることが抑えられる。
【００５９】
また、第一画素ブロック、第二画素ブロック、第三画素ブロック及び第一間隔のｙ軸方向の幅は、撮像画像上において走査光の像が取り得る幅の２倍以下の大きさであることが好ましい。この場合、第一画素ブロック、第二画素ブロック、第三画素ブロック及び第一間隔は、ｙ軸方向に並ぶ２つの走査光の像の全体を含むことが抑えられる。
【００６０】
例えば、図９には、判定対象領域が走査光の像を含む場合の画素の輝度分布と、画素の位置に対応する走査光の輝度分布の一例が示されている。走査光の輝度分布は、破線曲線における第一画素ブロックと重なる凸状の山の部分で示される。走査光の輝度分布は、略一定の極大値が連続する極大部分を有する。図９の例では、判定対象画素の位置は、極大部分の略中央の位置に対応する。極大部分のｙ軸方向の幅は、撮像画像上における走査光の像の幅に相当し、走査光の極大部分の像は、第一画素ブロック内に含まれる。上述のような走査光の像を写し出す判定対象領域の画素において、第一画素ブロック内の画素はいずれも、走査光の輝度を反映する高い輝度値を示し、第二画素ブロック及び第三画素ブロック内の画素はいずれも、走査光の輝度を反映せず、低い輝度値を示す。
【００６１】
第一画素ブロック、第二画素ブロック、第三画素ブロック及び第一間隔のｙ軸方向の幅を、上述のような範囲内に設定することによって、第一画素ブロック内に走査光の像が存在するとき、図９に示すように、第一画素ブロックの輝度分布が第二画素ブロック及び第三画素ブロックの輝度分布から突出する輝度分布を得ることができる。言い換えれば、第一画素ブロック、第二画素ブロック及び第三画素ブロックの輝度分布が、図９に示すような凸状の輝度分布を示す場合、第一画素ブロック内に走査光の像が存在し得ると見なすことができる。例えば、判定対象領域の画素が太陽光又はその反射光を受光した場合、拡散光である太陽光の像は、第一画素ブロック内に収まらず、第二画素ブロック及び第三画素ブロックに至る可能性がある。
【００６２】
演算処理部７は、判定対象画素が凸状の輝度分布を形成する画素に含まれる場合に、判定対象画素の輝度値が走査光の像を示すと判断する。本明細書では、このような凸状の輝度分布に基づく画素の判定処理を、凸フィルタ判定処理と呼ぶ。以降のステップは、判定対象画素が凸状の輝度分布を形成する画素に含まれるか否か、つまり凸フィルタを通過するか否かの具体的な判定方法を示す。
【００６３】
図６のステップＳ５２において、演算処理部７は、凸フィルタ判定のための計算を行う。具体的には、演算処理部７は、第一画素ブロックに含まれる全ての画素（算出対象画素）の輝度値の和である第一輝度和ｓＦＶ＿ｍを算出する。さらに、演算処理部７は、第二画素ブロックに含まれる全ての画素（算出対象画素）の輝度値の和である第二輝度和ｓＦＶ＿ｔを算出する。また、演算処理部７は、第三画素ブロックに含まれる全ての画素（算出対象画素）の輝度値の和である第三輝度和ｓＦＶ＿ｂを算出する。そして、演算処理部７は、第一輝度和の２倍から第二輝度和及び第三輝度和を減算した評価値ｓＦＶを算出する。つまり、評価値ｓＦＶ＝２×ｓＦＶ＿ｍ−ｓＦＶ＿ｂ−ｓＦＶ＿ｔとなる。以下において、評価値ｓＦＶ、第一輝度和ｓＦＶ＿ｍ、第二輝度和ｓＦＶ＿ｂ及び第三輝度和ｓＦＶ＿ｔを用いて、判定対象画素の凸フィルタ通過判定が行われる。そして、第一間隔に含まれる１０画素は、上記凸フィルタ通過判定に用いられない。つまり、第一間隔は、不使用領域であり、１つの走査光の像が２つの画素ブロックに跨がることを抑制するマージン領域でもある。
【００６４】
次いで、ステップＳ５３において、演算処理部７は、第一輝度和、第二輝度和、第三輝度和及び評価値が凸フィルタ通過条件を満たすか否かを判定する。演算処理部７は、凸フィルタ通過条件が満たされる場合（ステップＳ５３でＹｅｓ）、ステップＳ５４に進み、凸フィルタ通過条件が満たされない場合（ステップＳ５３でＮｏ）、ステップＳ５７に進む。なお、凸フィルタ通過条件が満たされる場合、第一画素ブロックの判定対象画素の輝度値は、走査光の像を示し、凸フィルタ通過条件が満たされない場合、判定対象画素の輝度値は、走査光の像を示さない。
【００６５】
凸フィルタ通過条件は、演算処理部７のメモリ７ｃに予め記憶されている。凸フィルタ通過条件は、以下の３つの条件で構成される。
−第一条件：評価値が第一閾値よりも大きい、つまり、
ｓＦＶ＞第一閾値
−第二条件：第二輝度和及び第三輝度和の差異が第二閾値よりも小さい、つまり、
｜ｓＦＶ＿ｂ−ｓＦＶ＿ｔ｜＜第二閾値
−第三条件：第二輝度和及び第三輝度和が第三閾値以下である、又は、第一輝度和が第四閾値以上である、つまり、
ｓＦＶ＿ｂ，ｓＦＶ＿ｔ≦第三閾値、又は、ｓＦＶ＿ｍ≧第四閾値
第一条件は、第一画素ブロック、第二画素ブロック及び第三画素ブロックの輝度分布が、凸状の輝度分布を示すことを意味する。第二条件は、第二輝度和及び第三輝度和の一方が大幅に大きく、他方が大幅に小さいケースを除外することを意味する。このような場合、第一条件が満たされていても、大きい方の輝度和が、第一輝度和に近くなることがある。このような輝度分布の画素が示す像は、走査光の像を示さない可能性が高い。第三条件は、走査光が反射する対象物の周囲の影響を考慮し、第一閾値及び第二閾値を変更する条件である。対象物及びその周囲の色に応じて、第一輝度和、第二輝度和及び第三輝度和は、変化する。
【００６６】
例えば、対象物又はその周囲が黒壁である等の対象物又はその周囲が暗い色であり、且つ第一画素ブロックが走査光の像を含む場合、第二輝度和及び第三輝度和が非常に小さくなることがある。さらに、第一輝度和も小さくなる。この場合、評価値は、小さくなる傾向にあり、第一閾値よりも小さくなる可能性が高い。また、対象物又はその周囲が白壁である等の対象物又はその周囲が明るい色であり、且つ第一画素ブロックが走査光の像を含む場合、第一輝度和が非常に大きくなることがある。この場合、評価値は、大きくなる傾向にあり、第一閾値よりも大きくなる可能性が高い。このため、演算処理部７は、ｓＦＶ＿ｂ，ｓＦＶ＿ｔ≦第三閾値である場合、第一閾値及び第二閾値の少なくとも一方を、例えば５０に変更（減少）する。又は、演算処理部７は、ｓＦＶ＿ｍ≧第四閾値である場合、第一閾値及び第二閾値の少なくとも一方を、例えば４８０に変更（増加）する。
【００６７】
なお、第一閾値とは、例えば２４０という閾値である。あらゆる条件下で、例えば黒壁や白壁等で、複数枚撮像した画像の評価値の平均値を基準に決定する。第三閾値により変更された第一閾値は、第二画素ブロック及び第三画素ブロックの輝度値が小さくなりやすい条件下、例えば黒壁等で、複数枚撮像した画像の評価値の平均値を基準に決定する。第四閾値により変更された第一閾値は、第一画素ブロックの輝度値が大きくなりやすい条件下、例えば白壁等で、複数枚撮像した画像の評価値の平均値を基準に決定する。
【００６８】
第二閾値とは、例えば５０という閾値である。第二画素ブロック又は第三画素ブロックの輝度値が大きくなりやすい条件下、例えば白壁等で、複数枚撮像した画像の差異｜ｓＦＶ＿ｂ−ｓＦＶ＿ｔ｜の平均値を基準に決定する。
【００６９】
第三閾値とは、例えば６０という閾値である。第二画素ブロック又は第三画素ブロックの輝度値が小さくなりやすい条件下、例えば黒壁等で、複数枚撮像した画像の第二画素ブロックの第二輝度和及び第三画素ブロックの第三輝度和の平均値を基準に決定する。
【００７０】
第四閾値とは、例えば５５０という閾値である。第一画素ブロックの輝度値が大きくなりやすい条件下、例えば白壁等で、複数枚撮像した画像の第一画素ブロックの第一輝度和の平均値を基準に決定する。
【００７１】
演算処理部７は、第一条件〜第三条件のうち少なくとも第一条件が満たされることを凸フィルタ通過条件とする。演算処理部７は、第一条件と、第二条件及び第三条件の少なくとも一方とが満たされることを、凸フィルタ通過条件としてもよい。凸フィルタ通過条件が、第二条件を含む場合、第二輝度和又は第三輝度和が第一輝度和に近くなるような、走査光の像の輝度分布に対応しない可能性があるケースが、第一条件を満たすケースから除外される。よって、凸フィルタの精度が向上する。凸フィルタ通過条件が、第三条件を含む場合、走査光が反射する対象物又はその周囲の色に応じて、第一条件及び第二条件の閾値が変更される。よって、凸フィルタは、対象物又はその周囲の環境に応じた機能を有することができ、その精度が向上する。
【００７２】
次いで、ステップＳ５４において、演算処理部７は、撮像画像上において、以前の検出画素の位置から判定対象画素の位置までの距離が第五閾値以上であるか否かを判定する。以前の検出画素は、判定対象画素と同じ走査ライン上において、判定対象画素の直前に凸フィルタを通過した画素である。ステップＳ５４では、判定対象画素及び以前の検出画素が、同一の走査光の像を示すか否かが判定される。演算処理部７は、上記距離が第五閾値以上である場合（ステップＳ５４でＹｅｓ）、ステップＳ５５に進み、上記距離が第五閾値未満である場合（ステップＳ５４でＮｏ）、ステップＳ５６に進む。なお、第五閾値は、撮像画像上において走査光の像が取り得る幅よりも大きいことが好ましい。本実施の形態では、第五閾値は、１５画素分の距離である。
【００７３】
また、上記距離は、判定対象画素と以前の検出画素との間の距離であってもよく、判定対象画素を含む判定対象領域のいかなる位置と以前の検出画素との間の距離であってもよく、判定対象画素を含む判定対象領域のいかなる位置と以前の検出画素を含む判定対象領域のいかなる位置との間の距離であってもよい。また、上記距離は、判定対象画素と以前の検出画素を含む判定対象領域における輝度が最大の画素との距離であってもよく、判定対象画素を含む判定対象領域における輝度が最大の画素と以前の検出画素との距離であってもよく、２つの判定対象領域における輝度が最大の画素間の距離であってもよい。
【００７４】
ステップＳ５５において、演算処理部７は、判定対象画素は、新たな走査光の像を示すと判定し、メモリ７ｃに登録する。判定対象画素が新たな走査光の像を示すとは、判定対象画素が示す走査光の像が、以前の検出画素が示す走査光の像と、同じ走査ライン上において連続せず、１つの像を形成しないということである。例えば、走査光が反射する対象部に凹凸又は段差がある場合、１つの走査光が撮像画像上で形成する像は、連続する１つのラインを形成せずに、分離した複数のラインを形成することがある。このようなケースにおいて、本ステップの判定対象画素が生じ得る。また、太陽光の反射像が撮像画像上に写る場合、横長に伸びた場合などでは、異なる走査光として検出される場合もある。更に、本実施の形態では、照射部３が一例として、１つの走査光を出力したが、２つ以上の走査光を出射してもよく、ステップＳ５４〜Ｓ５６を処理することで、異なる走査光か同じ走査光かを区別することが可能である。
【００７５】
ステップＳ５６において、演算処理部７は、判定対象画素は、以前と同一の走査光の像を示すと判定し、メモリ７ｃに登録する。判定対象画素が以前と同一の走査光の像を示すとは、判定対象画素が示す走査光の像が、以前の検出画素が示す走査光の像と、同じ走査ライン上において連続し、１つの像を形成するということである。これにより、メモリ７ｃには、同一の走査光の像を示す画素の情報が格納される。画素の情報は、当該画素に対応する走査光、画素の画素座標等を含む情報であってもよい。また、演算処理部７は、同じ走査ライン上において同一の走査光の像を示すと判定した画素の中から、当該走査光の像の中心位置を算出し、メモリ７ｃに登録してもよい。この場合、演算処理部７は、走査光の中心位置を、走査光の像における輝度値が最大の画素の位置としてもよく、走査ライン上での走査光の像の幅の中央となる画素の位置としてもよい。このように算出された走査光の像の中心位置は、距離取得部８によって距離算出の際に利用され得る。なお、距離取得部８が、メモリ７ｃに格納された同一の走査光の像を示す画素の情報から、走査光の像の中心位置を算出してもよい。
【００７６】
ステップＳ５３、Ｓ５５及びＳ５６に続くステップＳ５７において、演算処理部７は、判定対象画素に対する凸フィルタ判定処理を終了し、ステップＳ３へ進む。上述のようなステップＳ５１〜Ｓ５７の処理を行うことによって、演算処理部７は、判定対象画素が走査光の像を示すか否か、及び、判定対象画素が示す走査光の像を特定する。
【００７７】
また、演算処理部７は、各画素に対する凸フィルタ判定が終了した走査ラインにおいて、判定結果に基づき、走査光を示す複数の画素（以下、「検出画素」とも呼ぶ）が形成する走査光の像の数量を算出してもよい。さらに、演算処理部７は、走査光の像の数量が第六閾値以下である場合、走査ライン上の走査光の像が、本当の走査光の像であると判定し、第六閾値超である場合、走査ライン上の走査光の像が、本当の走査光の像でないと判定してもよい。上述したように、１つの走査光が撮像画像上で形成する像は、走査光が反射する対象部の凹凸又は段差等の影響により、分離した複数のラインを形成することがある。このようなラインの数量の上限は、走査光が反射する対象物に応じて変化するが、限定されている。第六閾値は、このような上限値又はその近傍の値である。本実施の形態では、第六閾値は、「２」である。第六閾値を超える数量の走査光の像が存在する場合、これらの像の中に走査行為以外の像が含まれている可能性が高い。
【００７８】
上述したような実施の形態によると、演算処理部７は、撮像画像の走査ライン上において、判定対象画素を含む第一画素ブロックと、第一画素ブロックと隣り合う第二画素ブロックと、第二画素ブロックと反対側で第一画素ブロックと隣り合う第三画素ブロックとを決定する。さらに、演算処理部７は、第一画素ブロックに含まれる画素の輝度値の和に基づく第一輝度和と、第二画素ブロックに含まれる画素の輝度値の和に基づく第二輝度和と、第三画素ブロックに含まれる画素の輝度値の和に基づく第三輝度和との関係に基づき、判定対象画素が走査光を写し出す画素であるか否かを判定する。
【００７９】
上記構成において、走査光の像は、幅を有するため、幅方向に少なくとも１つの画素を含む。例えば、判定対象画素を含む第一画素ブロックが走査光の像をより多く含む場合、第二画素ブロック及び第三画素ブロックは走査光の像をより少なく含む又は含まないような状態が生じ得る。よって、画素ブロックを用いることによって、走査光の像を含む領域と、走査光の像を含まない領域とを明確に区分することができる。さらに、このような第一画素ブロック、第二画素ブロック及び第三画素ブロックそれぞれの第一輝度和、第二輝度和及び第三輝度和の間にも、明確な変化が生じる。よって、第一輝度和、第二輝度和及び第三輝度和の関係に基づき、第一画素ブロック内の判定対象画素が走査光を写し出す画素であるか否かの判定が可能である。
【００８０】
実施の形態において、第一輝度和は、第一画素ブロックに含まれる画素の輝度値の和であり、第二輝度和は、第二画素ブロックに含まれる画素の輝度値の和であり、第三輝度和は、第三画素ブロックに含まれる画素の輝度値の和である。演算処理部７は、第一輝度和の２倍から第二輝度和及び第三輝度和を減算した評価値が、第一閾値よりも大きい場合、判定対象画素が走査光を写し出す画素であると判定する。上記構成によると、評価値が第一閾値よりも大きい場合、第一画素ブロックに含まれる画素の輝度値の和が、第二画素ブロック及び第三画素ブロックに含まれる画素の輝度値の和よりも大きくなり得る。よって、第一画素ブロックは、走査光の像を含み、判定対象画素が走査光を写し出す画素であると見なすことができる。
【００８１】
実施の形態において、演算処理部７は、評価値に基づく判定の際、第二輝度和及び第三輝度和の差異が第二閾値よりも小さい場合、判定対象画素が走査光を写し出す画素であると判定する。上記構成によると、第二輝度和及び第三輝度和の一方が他方よりも大幅に大きいケースが除外される。例えば、第二輝度和及び第三輝度和の大きい方が、第一輝度和に近い場合、第一画素ブロックに含まれる光の像は、第二輝度和及び第三輝度和の大きい方の画素ブロックにも含まれる可能性がある。このような光の像を、走査光から除外することが可能になる。よって、撮像画像上における走査光の検出精度が向上する。
【００８２】
実施の形態において、演算処理部７は、評価値に基づく判定の際、第二輝度和及び第三輝度和が第三閾値以下である場合、又は、第一輝度和が第四閾値以上である場合、第一閾値を変更する。上記構成によると、第二輝度和及び第三輝度和が小さい場合、又は、第一輝度和が大きい場合、第一閾値が変更される。例えば、第二画素ブロック及び第三画素ブロックが、走査光が反射しない暗い色の対象物の像を示す場合、第二輝度和及び第三輝度和が小さくなる。さらに、第一画素ブロックの第一輝度和も小さくなり得る。このような場合、評価値は、小さくなる傾向にあり、第一閾値よりも小さくなる可能性が高い。また、例えば、第一画素ブロックが、走査光が反射する明るい色の対象物の像を示す場合、第一輝度和が大きくなる。このような場合、評価値は、大きくなる傾向にあり、第一閾値よりも大きくなる可能性が高い。よって、判定対象画素が走査光を写し出す画素であるという判定精度が低下する可能性がある。このような場合、第一閾値を変更することによって、判定精度の向上が可能になる。
【００８３】
実施の形態において、走査光は、２つの対向する方向への拡がりが少なくとも抑えられた光である。上記態様によると、走査光は、撮像画像上において、点状又は線状の像を形成する。撮像画像上における走査光とその周囲との輝度の違いが、第一輝度和、第二輝度和及び第三輝度和の関係に反映されやすくなる。
【００８４】
実施の形態において、第一画素ブロック、第二画素ブロック及び第三画素ブロックのそれぞれにおける走査ラインに沿う方向の幅は、撮像画像上での走査光の幅以上であり且つ走査光の幅の２倍以下の大きさである。上記態様によると、走査光が、第一画素ブロック、第二画素ブロック及び第三画素ブロックの全てに含まれることが抑えられる。さらに、走査光が第一画素ブロックのみに含まれるようにすることも可能である。よって、第一輝度和、第二輝度和及び第三輝度和の関係に基づく判定対象画素の判定精度が向上する。
【００８５】
実施の形態において、第二画素ブロック及び第三画素ブロックは、走査ライン上で第一画素ブロックに対して第一間隔をあけた位置に決定され、第一間隔は、撮像画像上での走査光の幅以上であり且つ走査光の幅の２倍以下の大きさである。上記態様によると、走査光が、第一画素ブロック、第二画素ブロック及び第三画素ブロックのうちの２つ以上の画素ブロックに含まれることが抑えられる。よって、第一輝度和、第二輝度和及び第三輝度和の関係に基づく判定対象画素の判定精度が向上する。
【００８６】
実施の形態において、撮像画像は、走査光を透過させるバンドパスフィルタを介して撮像された画像である。上記態様によると、撮像画像は、走査光及び走査光の波長の近傍の波長の光のみを写し出す画像となる。よって、撮像画像上における走査光を検出する処理が簡易になる。
【００８７】
実施の形態によると、距離取得部８は、演算処理部７によって検出された走査光の領域の撮像画像上での位置に基づき、走査光が反射された位置までの距離を算出し出力する。上記構成によると、高い精度で検出された走査光の位置に基づき算出される走査光が反射された位置までの距離は、高い精度を有することができる。
【００８８】
［変形例］
実施の形態に係る画像処理装置における演算処理部７の処理の変形例を説明する。演算処理部７は、実施の形態では、撮像画像の画素が走査ラインの像を示すか否かを検出していたが、本変形例では、撮像画像の画素が太陽光の像を示すか否かを検出する。以下において、変形例について、実施の形態と異なる点を中心に説明する。
【００８９】
図１０には、変形例に係る演算処理部７の処理動作の全体の流れの一例を示すフローチャートが、示されている。図１１には、図１０における太陽光フィルタ判定処理の流れの詳細な一例を示すフローチャートが、示されている。図１０に示すように、ステップＳ１０１において、演算処理部７は、撮像画像における全ての画素列の画像処理が完了したか否かを判定する。演算処理部７は、完了済みの場合（ステップＳ１０１でＹｅｓ）、ステップＳ１０６に進み、未完了の場合（ステップＳ１０１でＮｏ）、ステップＳ１０２に進む。なお、本変形例でも、画像処理対象の画素列は、図７に示す列番号１〜２７の画素列である。また、上記画像処理は、ステップＳ１０２〜Ｓ１０５の処理である。
【００９０】
ステップＳ１０２において、演算処理部７は、列番号１〜２７の画素列のうち、後述するステップＳ１０３〜Ｓ１０５の処理が完了していない列番号の画素列を、画像処理対象の画素列に決定する。
【００９１】
次いで、ステップＳ１０３において、演算処理部７は、決定した画素列に含まれる複数の画素、つまり、走査ライン上の複数の画素の全てに対して、後述するステップＳ１０４及びＳ１０５の処理が完了しているか否かを判定する。演算処理部７は、完了済みの場合（ステップＳ１０３でＹｅｓ）、ステップＳ１０１に戻り、未完了の場合（ステップＳ１０３でＮｏ）、ステップＳ１０４に進む。なお、処理対象は、走査ライン上の複数の画素の全てでなくてもよい。
【００９２】
ステップＳ１０４において、演算処理部７は、走査ライン上の画素のうち、後述するステップＳ１０５の処理が完了していない画素を、処理対象の画素に決定する。さらに、ステップＳ１０５において、演算処理部７は、ステップＳ１０４で決定した画素に対して、太陽光フィルタを通過可能な画素であるか否かを判定する、つまり、太陽光フィルタ判定をする。太陽光フィルタは、画像処理における画素の判定処理である。演算処理部７は、太陽光フィルタを通過可能な画素の輝度値は、太陽光の像を示すと判定し、太陽光フィルタを通過不可能な画素の輝度値は、太陽光の像を示さないと判定する。演算処理部７は、各画素の判定結果をメモリ７ｃに記憶させる。又は、演算処理部７は、各画素の判定結果を撮像記憶部５に記憶させてもよい。太陽光フィルタ判定の処理の詳細は、後述する。ステップＳ１０５の処理完了後、演算処理部７は、ステップＳ１０３に戻る。
【００９３】
ステップＳ１０６において、演算処理部７は、列番号１〜２７の画素列に含まれる全ての画素に対して太陽光フィルタ判定を行った結果、上記の全ての画素の数量に対する太陽光フィルタを通過した画素の数量の割合が、第一割合閾値以上であるか否かを判定する。演算処理部７は、第一割合閾値以上の場合（ステップＳ１０６でＹｅｓ）、ステップＳ１０７に進み、第一割合閾値未満の場合（ステップＳ１０６でＮｏ）、ステップＳ１０８に進む。
【００９４】
ステップＳ１０７では、演算処理部７は、太陽光フィルタを通過した画素が太陽光の像を示すと判定する。つまり、演算処理部７は、撮像画像に太陽光の像が含まれると判定する。例えば、図１２に示すように、撮像画像が太陽光の像を含む場合、太陽光の像は、走査光の像のように線状又は点状の規則的な形状で存在せず、広範囲に広がって存在する。このため、撮像画像が太陽光の像を含み得るか否かを、撮像画像の全画素数に対する太陽光を示す画素数の割合に基づき、判定することが可能である。図７に示す横３２０画素×縦１８０画素の撮像画像において、２７の画素列に対して太陽光フィルタ判定を行う場合、太陽光フィルタ判定を受ける画素数は、１８０／１０×２７＝４８６である。つまり、上記の全画素数は、４８６である。なお、上記画素数の根拠は後述する。本変形例では、４８６画素のうち太陽光フィルタを通過した画素数が１００以上である場合、撮像画像に太陽光の像が含まれるとする。つまり、第一割合閾値は、２０％である。このような第一割合閾値は、１５〜２０％であることが好ましい。
【００９５】
また、ステップＳ１０８では、演算処理部７は、太陽光フィルタを通過した画素が太陽光の像を示さないと判定する。
【００９６】
上述のように、演算処理部７は、各走査ラインにおいて、当該走査ラインに含まれる全ての画素に対して、太陽光フィルタ判定処理を行い、各画素が太陽光の像を示すか否かを判定する。さらに、演算処理部７は、太陽光フィルタ判定対象の画素数に対する太陽光の像を示し得る画素数の割合が第一割合閾値以上であれば、撮像画像に太陽光の像が含まれると判定する。
【００９７】
さらに、ステップＳ１０５における太陽光フィルタ判定処理の詳細を説明する。図１１に示すように、ステップＳ１５１において、演算処理部７は、ステップＳ１０４で決定された画素に対して、太陽光フィルタ判定処理を開始する。本変形例では、演算処理部７の処理速度の高速化と、撮像画像に写し出される太陽光の像の領域が広いこととから、走査ライン上の一部の画素に対して、太陽光フィルタ判定処理が行われる。具体的には、１０画素毎に太陽光フィルタ判定処理が行われる。そして、この１０画素毎に選ばれる画素が、判定対象画素である。なお、走査ラインにおける太陽光フィルタ判定対象の画素数は、上記に限定されず、いかなる数量でもよい。ここで、太陽光フィルタ判定処理が行われる対象として選ばれた判定対象画素は、太陽光判定対象画素の一例である。
【００９８】
次いで、ステップＳ１５２において、演算処理部７は、ステップＳ１０４で決定された画素の画素番号が１０の倍数であるか否かを判定する。画素番号は、走査ライン上の画素に対して、ｙ軸正方向に昇順に付けられる番号である。画素番号が１０の倍数である場合、当該画素は、判定対象画素である。例えば、図７の例では、走査ライン上に、画素番号１〜１８０の画素が存在し、判定対象画素の数量は、１８である。演算処理部７は、１０の倍数の場合（ステップＳ１５２でＹｅｓ）、ステップＳ１５３に進み、１０の倍数でない場合（ステップＳ１５２でＮｏ）、ステップＳ１５６に進む。
【００９９】
ステップＳ１５３において、演算処理部７は、走査ライン上において、判定対象画素を含む判定対象領域を設定する。本変形例では、判定対象領域は、判定対象画素を含む２０画素で構成される。判定対象領域における判定対象画素の位置は、いかなる位置でもよい。判定対象領域の画素数は、走査ライン上で隣り合う判定対象領域が部分的に重複するように設定されることが好ましい。このように設定される複数の判定対象領域は、走査ライン上の全画素をカバーすることができる。さらに、演算処理部７は、判定対象領域内の全ての画素、つまり２０画素の輝度値の平均値及び分散値を算出する。ここで、太陽光フィルタ判定処理が行われる判定対象領域は、第四画素ブロックの一例である。
【０１００】
次いで、ステップＳ１５４において、演算処理部７は、算出した平均値及び分散値が太陽光の範疇に含まれるか否かを判定する。演算処理部７は、太陽光の範疇に含まれる場合（ステップＳ１５４でＹｅｓ）、ステップＳ１５５に進み、太陽光の範疇に含まれない場合（ステップＳ１５４でＮｏ）、ステップＳ１５６に進む。
【０１０１】
ここで、太陽光の輝度値の平均及び分散と、太陽光以外の光の輝度値の平均及び分散とは、図１３に示すような関係を有している。なお、図１３は、太陽光の輝度値の平均及び分散と、太陽光以外の光の輝度値の平均及び分散との関係の一例を示す図である。この関係は、太陽光の輝度値が比較的大きく、太陽光が拡散光であることに起因する。図１３に示すように、対象領域内の画素の輝度値の平均値が平均閾値よりも大きい、又は、当該領域内の画素の輝度値の分散値が分散閾値よりも大きい場合、当該領域は、太陽光を含む。
【０１０２】
よって、演算処理部７は、ステップＳ１５３算出した平均値が平均閾値よりも大きい、又は、ステップＳ１５３算出した分散値が分散閾値よりも大きい場合、当該平均値及び分散値が太陽光の範疇に含まれると判定する。つまり、演算処理部７は、判定対象領域が太陽光の像を含み、判定対象画素が太陽光フィルタを通過すると判定する。
【０１０３】
次いで、ステップＳ１５５において、演算処理部７は、走査ライン上における、太陽光フィルタを通過する判定対象画素のカウント数を１つ追加し、ステップＳ１５６に進む。このように、１つの走査ライン上における全ての画素に対して太陽光フィルタ判定処理が行われることによって、当該走査ライン上における太陽光フィルタを通過する判定対象画素の数量が算出される。
【０１０４】
ステップＳ１５６において、演算処理部７は、ステップＳ１０４で決定された画素に対する太陽光フィルタ判定処理を終了し、ステップＳ１０３へ進む。上述のようなステップＳ１５１〜Ｓ１５６の処理を行うことによって、演算処理部７は、判定対象画素を抽出し、判定対象画素が太陽光フィルタを通過するか否かを判定し、通過する場合、走査ライン上でカウントする太陽光フィルタの通過カウント数を１つ増加する。また、演算処理部７は、ステップＳ１５１〜Ｓ１５５の処理結果を、メモリ７ｃに登録する。
【０１０５】
また、上述したように、演算処理部７は、図７に示す横３２０画素×縦１８０画素の撮像画像において、２７の画素列に対して太陽光フィルタ判定を行い、さらに、１８０画素の各画素列における１８の判定対象画素に対して太陽光フィルタの通過判定を行う。これにより、４８６の判定対象画素が太陽光フィルタの通過判定を受ける。そして、演算処理部７は、４８６の判定対象画素のうち太陽光フィルタを通過した判定対象画素数の割合が第一割合閾値よりも大きい場合、撮像画像に太陽光の像が含まれると判断する。例えば、物体検出装置１において、画像処理部６は、このような撮像画像を距離取得部８の処理対象から除外してもよい。
【０１０６】
また、演算処理部７は、画素列毎に、当該画素列が太陽光の像を含むか否かを判定してもよい。演算処理部７は、１つの画素列、つまり、１つの走査ライン上において、太陽光フィルタを通過した判定対象画素数をカウントする。演算処理部７は、走査ライン上の１８の判定対象画素のうち太陽光フィルタを通過した判定対象画素数の割合が第二割合閾値よりも大きい場合、走査ライン上の画素列に太陽光の像が含まれると判断する。そして、演算処理部７は、実施の形態において、撮像画像上で走査光の像を検出する際、太陽光の像を含む画素列を検出対象から除外してもよい。これにより、太陽光の像を含む撮像画像を、距離取得部８の処理に用いることが可能になり、物体検出装置１の検出精度が向上する。なお、第二割合閾値は、第一割合閾値を同じであってもよく、１５〜２５％であってもよい。
【０１０７】
また、演算処理部７は、走査ライン上において、判定対象画素を抽出し、判定対象画素に基づき、判定対象領域を決定していたが、これに限定されない。演算処理部７は、走査ライン上において、判定対象画素を決定せずに、判定対象領域を決定してもよい。判定対象領域に含まれる画素数、及び、判定対象領域間の重なり長が設定されていれば、判定対象領域を直接決定することが可能である。
【０１０８】
上述したように、本変形例では、演算処理部７は、太陽光判定対象画素を含む第四画素ブロックとしての判定対象領域に含まれる画素の輝度値の平均値及び分散値を算出し、平均値が平均閾値よりも大きい、又は、分散値が分散閾値よりも大きい場合、太陽光判定対象画素は太陽光を写し出す画素であると判定する。上記構成において、太陽光は、その像が含む複数の画素の輝度値の平均値及び分散値に関して、太陽光以外の光と異なる特徴を有する。太陽光における上記平均値及び分散値は、太陽光以外の光よりも大きくなる傾向にある。よって、上記平均値が平均閾値よりも大きい、又は、上記分散値が分散閾値よりも大きい場合、判定対象領域は、太陽光の像を示すと見なすことができる。従って、太陽光判定対象画素は太陽光を写し出す画素であると見なすことができる。
【０１０９】
本変形例において、演算処理部７は、撮像画像における全ての太陽光判定対象画素のうち、太陽光を写し出す画素であると判定した画素の割合が第一割合閾値よりも大きい場合、撮像画像が太陽光を写し出す画像であると判定する。上記態様によると、撮像画像全体に対する太陽光の像の有無の判定が可能である。
【０１１０】
本変形例において、演算処理部７は、走査ライン上における全ての太陽光判定対象画素のうち、太陽光を写し出す画素であると判定した画素の割合が第二割合閾値よりも大きい場合、走査ライン上の撮像画像が太陽光を写し出す画像であると判定する。上記態様によると、撮像画像において、走査ライン毎の太陽光の像の有無の判定が可能である。
【０１１１】
［その他］
以上のように、本出願において開示する技術の例示として、実施の形態及び変形例を説明した。しかしながら、本開示における技術は、これらに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態の変形例又は他の実施の形態にも適用可能である。また、実施の形態及び変形例で説明する各構成要素を組み合わせて、新たな実施の形態又は変形例とすることも可能である。
【０１１２】
例えば、実施の形態及び変形例に係る画像処理装置は、物体検出装置に備えられ、撮像画像上での走査光の像の位置に基づき走査光が反射した対象物の位置を検出するために用いられたが、画像処理装置の用途はこれに限定されない。画像処理装置は、撮像画像上において、指向性を有する特定の光の像を検出するいかなる技術に適用されてもよい。
【０１１３】
また、本開示の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ等の不揮発性の記録媒体を含む。
【０１１４】
例えば、実施の形態及び変形例に係る画像処理装置等に含まれる各構成要素は典型的には集積回路であるＬＳＩ（大規模集積回路、Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１１５】
なお、実施の形態及び変形例において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ等のプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【０１１６】
また、上記構成要素の一部又は全部は、脱着可能なＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）カード又は単体のモジュールから構成されてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等から構成されるコンピュータシステムである。ＩＣカード又はモジュールは、上記のＬＳＩ又はシステムＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカード又はモジュールは、その機能を達成する。これらＩＣカード及びモジュールは、耐タンパ性を有するとしてもよい。
【０１１７】
また、本開示の技術は、画像処理装置に限定されず、画像処理方法によって、実現されてもよい。なお、画像処理方法は、ＭＰＵ、ＣＰＵ、プロセッサ、ＬＳＩなどの回路、ＩＣカード又は単体のモジュール等によって、実現されてもよい。
【０１１８】
また、本開示の技術は、ソフトウェアプログラム又はソフトウェアプログラムからなるデジタル信号によって実現されてもよく、プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。なお、上記プログラム及び上記プログラムからなるデジタル信号は、コンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＳＳＤ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ）、半導体メモリ等に記録したものであってもよい。また、上記プログラム及び上記プログラムからなるデジタル信号は、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものであってもよい。また、上記プログラム及び上記プログラムからなるデジタル信号は、記録媒体に記録して移送されることにより、又はネットワーク等を経由して移送されることにより、独立した他のコンピュータシステムにより実施されてもよい。
【０１１９】
また、上記で用いた序数、数量等の数字は、全て本開示の技術を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。また、構成要素間の接続関係は、本開示の技術を具体的に説明するために例示するものであり、本開示の機能を実現する接続関係はこれに限定されない。また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを１つの機能ブロックとして実現したり、１つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【産業上の利用可能性】
【０１２０】
本開示は、光を照射した対象物の画像において、当該光を検出する技術に利用可能である。
【符号の説明】
【０１２１】
１  物体検出装置（距離検出装置）
２  撮像部
３  照射部
４  撮像制御部
５  撮像記憶部
６  画像処理部（距離検出装置）
７  演算処理部（画像処理装置又は処理部）
７ａ  処理回路
７ｂ  プロセッサ（処理部）
７ｃ  メモリ（記憶部）
８  距離取得部
８ａ  処理回路
８ｂ  プロセッサ
８ｃ  メモリ
９  出力部
【図１】
2019039017.tif 000003
【図２】
2019039017.tif 000004
【図３Ａ】
2019039017.tif 000005
【図３Ｂ】
2019039017.tif 000006
【図４Ａ】
2019039017.tif 000007
【図４Ｂ】
2019039017.tif 000008
【図５】
2019039017.tif 000009
【図６】
2019039017.tif 000010
【図７】
2019039017.tif 000011
【図８Ａ】
2019039017.tif 000012
【図８Ｂ】
2019039017.tif 000013
【図９】
2019039017.tif 000014
【図１０】
2019039017.tif 000015
【図１１】
2019039017.tif 000016
【図１２】
2019039017.tif 000017
【図１３】
2019039017.tif 000018
【国際調査報告】
2019039017.tif 000019
2019039017.tif 000020