(57)【要約】【課題】映像内の画像の明るさが変わる場合でも、画像内の物体を背景から分離して検出する。【解決手段】画像処理装置は、撮影装置によって撮影された複数の画像を記憶する記憶部と、処理対象の画像の色値の代表値と、前記処理対象の画像が撮影された時刻より前の時刻に撮影された一つ以上の過去の画像の色値の代表値と、に基づいて、前記処理対象の画像の色値を、明暗を強調するように補正する補正部と、補正された前記処理対象の画像の色値を閾値と比較することによって、前記処理対象の画像から、検出対象の物体を検出し、その結果を出力する検出部と、を有する。【選択図】図１
2015194829.tif 000002
【特許請求の範囲】
【請求項１】
撮影装置によって撮影された複数の画像を記憶する記憶部と、
処理対象の画像の色値の代表値と、前記処理対象の画像が撮影された時刻より前の時刻に撮影された一つ以上の過去の画像の色値の代表値と、に基づいて、前記処理対象の画像の色値を、明暗を強調するように補正する補正部と、
補正された前記処理対象の画像の色値を閾値と比較することによって、前記処理対象の画像から、検出対象の物体を検出し、その結果を出力する検出部と、を有することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記各画像の色値の代表値は、前記各画像の色値の平均値であり、
前記補正部は、
前記処理対象の画像の色値の平均値と、前記一つ以上の過去の画像の色値の平均値と、の間の倍率値を計算し、
前記処理対象の画像の色値の平均値との差が前記倍率値に従って拡大するように、前記処理対象の画像の各画素の色値を補正することを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置であって、
前記検出部は、前記処理対象の画像の色値の代表値と、前記一つ以上の過去の画像の色値の代表値と、に基づいて前記閾値を計算することを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記各画像の色値の代表値は、前記各画像の色値の最小値および平均値であり、
前記検出部は、前記一つ以上の過去の画像の色値の最小値及び前記処理対象の画像の色値の最小値を用いて、前記処理対象の画像の色値の最小値をそれより前の時刻に撮影された一つ以上の画像の色値の最小値に合成した値と、前記一つ以上の過去の画像の色値の平均値及び前記処理対象の画像の色値の平均値を用いて、前記処理対象の画像の色値の平均値をそれより前の時刻に撮影された一つ以上の画像の色値の平均値に合成した値と、のそれぞれに所定の係数を乗じて加算した値を前記閾値として計算することを特徴とする画像処理装置。
【請求項５】
請求項３に記載の画像処理装置であって、
前記検出部は、
前記各画像を複数の領域に分割し、前記処理対象の画像の前記各領域の色値の代表値と、前記一つ以上の過去の画像の前記各領域の色値の代表値と、に基づいて、前記領域ごとに前記閾値を計算し、
いずれかの前記領域について計算された前記閾値を用いて、検出対象の物体の検出に成功した場合、前記検出の結果を出力することを特徴とする画像処理装置。
【請求項６】
請求項１に記載の画像処理装置であって、
前記各画像の色値の代表値は、前記各画像の色値の最小値、最大値、平均値または中央値の少なくともいずれかを含むことを特徴とする画像処理装置。
【請求項７】
請求項１に記載の画像処理装置であって、
前記画像処理装置は、前記各画像の色空間をＬａｂ色空間に変換する色空間変換部をさらに有し、
前記各画像の色値は、前記Ｌａｂ色空間におけるａ値であることを特徴とする画像処理装置。
【請求項８】
撮影装置によって撮影された複数の画像を記憶する記憶部と、前記記憶部に接続される制御部と、を有する画像処理装置が実行する画像処理方法であって、
処理対象の画像の色値の代表値と、前記処理対象の画像が撮影された時刻より前の時刻に撮影された一つ以上の過去の画像の色値の代表値と、に基づいて、前記処理対象の画像の色値を、明暗を強調するように補正する補正手順と、
補正された前記処理対象の画像の色値を閾値と比較することによって、前記処理対象の画像から、検出対象の物体を検出し、その結果を出力する検出手順と、を含むことを特徴とする画像処理方法。
【請求項９】
請求項８に記載の画像処理方法であって、
前記各画像の色値の代表値は、前記各画像の色値の平均値であり、
前記補正手順は、
前記処理対象の画像の色値の平均値と、前記一つ以上の過去の画像の色値の平均値と、の間の倍率値を計算する手順と、
前記処理対象の画像の色値の平均値との差が前記倍率値に従って拡大するように、前記処理対象の画像の各画素の色値を補正する手順と、を含むことを特徴とする画像処理方法。
【請求項１０】
請求項８に記載の画像処理方法であって、
前記検出手順は、前記処理対象の画像の色値の代表値と、前記一つ以上の過去の画像の色値の代表値と、に基づいて前記閾値を計算する手順を含むことを特徴とする画像処理方法。
【請求項１１】
請求項１０に記載の画像処理方法であって、
前記各画像の色値の代表値は、前記各画像の色値の最小値および平均値であり、
前記検出手順は、前記一つ以上の過去の画像の色値の最小値及び前記処理対象の画像の色値の最小値を用いて、前記処理対象の画像の色値の最小値をそれより前の時刻に撮影された一つ以上の画像の色値の最小値に合成した値と、前記一つ以上の過去の画像の色値の平均値及び前記処理対象の画像の色値の平均値を用いて、前記処理対象の画像の色値の平均値をそれより前の時刻に撮影された一つ以上の画像の色値の平均値に合成した値と、のそれぞれに所定の係数を乗じて加算した値を前記閾値として計算する手順を含むことを特徴とする画像処理方法。
【請求項１２】
請求項１０に記載の画像処理方法であって、
前記検出手順は、
前記各画像を複数の領域に分割し、前記処理対象の画像の前記各領域の色値の代表値と、前記一つ以上の過去の画像の前記各領域の色値の代表値と、に基づいて、前記領域ごとに前記閾値を計算する手順と、
いずれかの前記領域について計算された前記閾値を用いて、検出対象の物体の検出に成功した場合、前記検出の結果を出力する手順と、を含むことを特徴とする画像処理方法。
【請求項１３】
請求項８に記載の画像処理方法であって、
前記各画像の色値の代表値は、前記各画像の色値の最小値、最大値、平均値または中央値の少なくともいずれかを含むことを特徴とする画像処理方法。
【請求項１４】
請求項８に記載の画像処理方法であって、
前記各画像の色空間をＬａｂ色空間に変換する色空間変換手順をさらに含み、
前記各画像の色値は、前記Ｌａｂ色空間におけるａ値であることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、車載映像を用いて、道路や道路上付属物を簡易に点検することで点検コストを抑えたいというニーズが高まっている。従来は、車両に最低２人が搭乗し、一人は車両の運転を行い、もう一人は道路上の点検物を見つけた場合に、ドライブレコーダーの撮影ボタンを押して点検物の画像を取得している。しかし、走行車両の速度が速いため、点検物の見逃しまたは撮影ボタン押下の遅れによって点検物が画像に映っていないなどの課題があり、効率よく点検できず、全ての点検物の画像を取得するために点検車両が同じ経路を数回走行しなければならない。
【０００３】
従来技術として、特許文献１に記載された車両環境認識装置は、画像内のエッジ検出および画像の色変換を行い、画像内の色の平均値と速度標識などの形状を参考にして、車載映像内から速度標識を検出している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−０４４４４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、道路の経路に応じて車両の走行方向が変わり、光線の状態が順光、逆光、または直射日光等へ変化することによって、映像内の画像の明るさが徐々に変わるため、画像毎に、画像内の色の平均値を用いても、画像内の背景と背景内の物体（点検物）を分離できず、その結果、背景内の物体を検出できないという問題がある。
【０００６】
図２は、本発明が解決しようとする課題の説明図である。
【０００７】
図２（ａ）には、直射日光等によって画像が明るい場合の画像の例として、画像２１０を示す。画像２１０は、空２１１、壁２１２、番号板２１３及び道路２１４を含む。この例において、壁２１２は道路２１４の側壁であり、番号板２１３は、番号（例えば「１２３」）が表示され、側壁に設置された物体である。図２（ａ）の例では、直射日光等のため、空２１１、壁２１２、番号板２１３及び道路２１４がいずれも明るく写っている。このため、画像２１０の画素の階調値は、ヒストグラムＨ１に示すように高い値の範囲に偏って分布する。
【０００８】
図２（ｂ）には、順光等によって画像が鮮明な場合の画像の例として、画像２２０を示す。画像２２０は、空２２１、壁２２２、番号板２２３及び道路２２４を含む。これらは、それぞれ空２１１、壁２１２、番号板２１３及び道路２１４と同様のものであってよいが、少なくとも壁２２２、番号板２２３及び道路２２４は、それぞれ壁２１２、番号板２１３及び道路２１４より暗く写っている。このため、画像２２０の画素の階調値は、ヒストグラムＨ２に示すように中程度の値の範囲に分布する。
【０００９】
図２（ｃ）には、逆光等によって画像が暗い場合の画像の例として、画像２３０を示す。画像２３０は、空２３１、壁２３２、番号板２３３及び道路２３４を含む。これらは、それぞれ空２２１、壁２２２、番号板２２３及び道路２２４と同様のものであってよいが、少なくとも壁２３２、番号板２３３及び道路２３４は、それぞれ壁２２２、番号板２２３及び道路２２４よりさらに暗く写っている。このため、画像２３０の画素の階調値は、ヒストグラムＨ３に示すように低い値の範囲に偏って分布する。
【００１０】
本発明の目的は、上記課題を鑑み、映像内の画像の明るさが変わる場合でも、画像内の背景と背景内の物体とを分離して、背景内の物体検知を実現する画像処理装置およびその方法を提供することである。
【課題を解決するための手段】
【００１１】
上記の課題を解決するために、本発明は、撮影装置によって撮影された複数の画像を記憶する記憶部と、処理対象の画像の色値の代表値と、前記処理対象の画像が撮影された時刻より前の時刻に撮影された一つ以上の過去の画像の色値の代表値と、に基づいて、前記処理対象の画像の色値を、明暗を強調するように補正する補正部と、補正された前記処理対象の画像の色値を閾値と比較することによって、前記処理対象の画像から、検出対象の物体を検出し、その結果を出力する検出部と、を有することを特徴とする。
【発明の効果】
【００１２】
本発明の一形態によれば、動画を処理する画像処理装置において、映像内の画像の明るさが変わる場合でも、画像内の背景と背景内の物体を分離して、背景内の物体を検出することができる。上記した以外の課題、構成、および効果は、以下の実施形態の説明によって明らかにされる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施例１に係る画像処理装置を示すブロック図である。
【図２】本発明が解決しようとする課題の説明図である。
【図３】本発明の実施例１に係る画像処理装置の明暗補正部の動作の一例を説明する図である。
【図４】本発明の実施例１に係る画像処理装置の物体検出部の動作の一例を説明する図である。
【図５】本発明の実施例１に係る画像処理装置の描画部の動作の一例を説明する図である。
【図６】本発明の実施例１に係る画像処理装置の画像処理方法の動作を示すフローチャートである。
【図７】本発明の実施例２に係る画像処理装置を示すブロック図である。
【図８】本発明の実施例２に係る画像処理装置の物体検出部の動作の一例を説明する図である。
【図９】本発明の実施例２に係る画像処理装置の画像処理方法の動作を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の各実施例を、図面を参照して説明する。各図面において共通の構成要素には同一の符号を付与した。
【実施例１】
【００１５】
図１は、本発明の実施例１に係る画像処理装置１を示すブロック図である。画像処理装置１は、入力部１０、画像補正部１１、色空間変換部１２、明暗補正部１３、物体検出部１４、描画部１５、記録部１６、制御部９１およびメモリ９０を備えている。
【００１６】
各部の動作を説明する。入力部１０には動画像データが入力される。例えば入力部１０は、ドライブレコーダー等の撮像手段（図示省略）が、所定時間間隔で撮像した、ＪＰＧ、Ｊｐｅｇ２０００、ＰＮＧ、ＢＭＰ形式等の符号化された静止画像データ等を取得して、その画像を入力画像として画像補正部１１に出力してもよい。また、入力部１０は、ＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４、ＨＤ／ＳＤＩ形式等の動画像データから、所定間隔のフレームの静止画像データを抜き出して、その画像を入力画像として画像補正部１１に出力してもよい。また、入力部１０は、撮像手段がバスまたはネットワーク等を介して取得した画像を入力画像として画像補正部１１に出力してもよい。
【００１７】
また、入力部１０は、後述するように、脱着可能な記録媒体に、既に記憶されていた画像を取得し、それを入力画像として画像補正部１１に出力してもよい。
【００１８】
画像補正部１１は、入力画像に対して画像の平滑化、輪郭強調およびコントラスト強調を行って、補正後の入力画像を作成する。この補正は、公知の方法を含む任意の方法によって実行することができる。
【００１９】
色空間変換部１２では、補正後の入力画像の色空間を変換した画像を作成する。
【００２０】
明暗補正部１３では、現在の画像（すなわち補正後の入力画像）の明るさ情報と、メモリ９０に記憶した過去画像（すなわち現在の画像より古い補正後の入力画像）の明るさ情報とを用いて、現在の画像の明るさ変化量を求め、その明るさ変化量を用いて明暗を補正した画像を作成する。
【００２１】
物体検出部１４は、明暗補正後の画像から閾値を求め、その閾値を用いて、その画像内の背景と背景内の物体を分離して、背景内の物体を検出する。
【００２２】
描画部１５は、物体検出部１４で検出した物体を囲むように検出枠を画像上に描画する。
【００２３】
記録部１６は、描画部１５で原画像上に検出枠を描画した画像をメモリ９０に保存する。
【００２４】
制御部９１は、画像処理装置１内の各要素（例えば上記の入力部１０〜記録部１６およびメモリ９０）に接続される。画像処理装置１の各要素は、自律的に動作してもよいし、制御部９１の指示に従って動作してもよい。
【００２５】
なお、上記の入力部１０〜記録部１６は、それぞれが専用のハードウェアによって実現されてもよいし、汎用のプロセッサがメモリ９０に格納されたプログラムを実行することによって実現されてもよい。後者の場合、制御部９１が入力部１０〜記録部１６を実現するプロセッサであってもよい。
【００２６】
このように、本実施例の画像処理装置１の特徴は、色空間変換部１２で求めた色変換後の画像と、明暗補正部１３で算出した画像の明るさ変化量を用いて、画像毎に画像の明暗強調割合を変更し、物体検出部１４で明暗補正後の画像から閾値を求め、その閾値を用いて、画像内の背景と背景内の物体を分離して、背景内の物体を検出することである。
【００２７】
以下、各部の構成と動作を詳細に説明する。
【００２８】
色空間変換部１２は、例えば、従来技術を用いて、入力画像のＲＧＢ色空間をＬａｂ色空間に変換した画像を作成する。
【００２９】
図３は、本発明の実施例１に係る画像処理装置１の明暗補正部１３の動作の一例を説明する図である。
【００３０】
入力され、補正された画像Ｎから色空間変換部１２が求めたＬａｂ色空間へ変換後の画像を画像ＮＡとすると、明暗補正部１３は、画像ＮＡの色値であるａ値を用いて、画像Ｎの領域Ｒ２内のａ値の代表値を算出する。以下の例では、明暗補正部１３は、ａ値の代表値として平均値ａｖｅＲ２およびａ値の最小値ｍｉｎＲ２を算出する。また、明暗補正部１３は、メモリ９０から、画像Ｎ−１の領域Ｒ１内のａ値の代表値として、平均値ａｖｅＲ１および最小値ｍｉｎＲ１を読込む。
【００３１】
ここで、画像Ｎ−１は、画像Ｎより前に撮影された画像である。例えば、走行中の車両に搭載された撮像手段がある時刻Ｎに撮影した画像が画像Ｎであり、当該車両の当該撮像手段が時刻Ｎより前の時刻Ｎ−１に撮影した画像が画像Ｎ−１である。以下、検出対象の物体が、図２の例と同様の番号板である場合を例として説明する。すなわち、画像Ｎは、空３２１、壁３２２、壁３２２上に設置された物体３２３及び道路３２４を含み、物体３２３は、画像処理装置１による検出の対象となる番号板である。本実施例では、この物体３２３が、ユーザによる点検の対象物である。
【００３２】
同様に、画像Ｎ−１は、空３１１、壁３１２、物体３１３及び道路３１４を含む。これらは、それぞれ、空３２１、壁３２２、壁３２２上に設置された物体３２３及び道路３２４と同種ではあるが、別の時刻に別の場所で撮影されたものである。例えば、車両の進行方向によって太陽光の角度が変わることで明るさが変化し、物体３１３は、物体３２３と明るさが異なる番号板である。したがって、画像Ｎの明るさは、画像Ｎ−１の明るさと異なる場合がある。
【００３３】
また、領域Ｒ２は、画像Ｎ内の所定の範囲に相当する領域であり、例えば画像Ｎの全体または所定の一部が領域Ｒ２であってもよい。例えば、撮像手段の設置位置、姿勢及び撮影される番号板の取り付け位置等の関係から、画像Ｎにおいて番号板が写っている可能性がある範囲が限定される場合、その範囲を領域Ｒ２と設定してもよい。画像Ｎ−１における領域Ｒ１は、画像Ｎにおける領域Ｒ２と同様である。
【００３４】
次に、明暗補正部１３は、式１を用いて、画像Ｎ−１およびそれよりさらに過去の画像の明るさ（上記の例ではａ値）の平均値をブレンドしたａｖｅＲ１に、さらに画像Ｎの明るさの平均値ａｖｅＲ２をブレンドした平均値ａｖｅＲＮを算出する。ただし、式１において、Ｃ１＝Ｃ２＋Ｃ３である。
【００３５】
【数１】
2015194829.tif 000003
【００３６】
また、明暗補正部１３は、式２を用いて、画像Ｎ−１およびそれよりさらに過去の画像の明るさの最小値をブレンドしたｍｉｎＲ１に、さらに画像Ｎの明るさの最小値ｍｉｎＲ２をブレンドした最小値ｍｉｎＲＮを算出する。ただし、式２において、Ｄ１＝Ｄ２＋Ｄ３である。
【００３７】
【数２】
2015194829.tif 000004
【００３８】
なお、処理対象である画像Ｎ及びそれより過去の画像に関して上記のようにａｖｅＲＮおよびｍｉｎＲＮを算出した後、画像Ｎより後に撮影された画像を新たな処理対象として新たなａｖｅＲＮおよびｍｉｎＲＮを計算する場合、明暗補正部１３は、当該新たな処理対象の画像を新たな画像Ｎとし、前回計算されたａｖｅＲＮを新たなａｖｅＲ１とし、前回計算されたｍｉｎＲＮを新たなｍｉｎＲ１として式１および式２を計算する。このような計算方法は、処理対象の画像の画素値の代表値（上記の例では平均値および最小値）と、それより前の時刻に撮影された一つ以上の画像の画素値の代表値とを用いて、処理対象の画像の画素値の代表値をそれより前の時刻に撮影された一つ以上の画像の画素値の代表値に合成するための計算方法の一例である。
【００３９】
なお、Ｃ１〜Ｃ３およびＤ１〜Ｄ３の値は、予め適切に設定しておくことができる。例えば、Ｃ２に対するＣ３の比率が小さいほど、撮影時刻が新しい画像の画素値の平均値の合成割合が小さくなる。同様に、Ｄ２に対するＤ３の比率が小さいほど、撮影時刻が新しい画像の画素値の最小値の合成割合が小さくなる。Ｃ１〜Ｃ３の値はそれぞれＤ１〜Ｄ３の値と同一であってもよいが、異なっていてもよい。一般に、画像全体が明るい場合と暗い場合とで物体の検出の困難性に相違があるため、Ｃ１〜Ｃ３とＤ１〜Ｄ３とを異なる値に設定することで物体の検出精度が向上する場合がある。
【００４０】
また、明暗補正部１３は、式３を用いて、倍率値ｖを算出する。ただし、式３において、ａｖｅＲ１＞＝ａｖｅＲ２の場合、Ｅ１をａｖｅＲ２、Ｅ２をａｖｅＲ１とし、ａｖｅＲ１＜ａｖｅＲ２の場合、Ｅ１をａｖｅＲ１、Ｅ２をａｖｅＲ２とする。
【００４１】
【数３】
2015194829.tif 000005
【００４２】
さらに、明暗補正部１３は、式４を用いて、画像Ｎの明暗を強調するために、画像Ｎの領域Ｒ２内の平均値よりも暗い画素についてはより暗く、また、画像Ｎの領域Ｒ２内の平均値よりも明るい画素についてはより明るく画像Ｎを補正する。ただし、式４のａｎは、画像ＮＡの各画素のａ値を示す。
【００４３】
【数４】
2015194829.tif 000006
【００４４】
明暗補正部１３は、画素毎に、補正後のａ値であるａｎＣｏｒ値を求め、これによって明暗を補正した画像ＮＢを作成する。言い換えると、明暗補正部１３は、画像Ｎの領域Ｒ２内の各画素のａ値（画像ＮＡのａ値）を、領域Ｒ２内の平均値との差が拡大するように補正し、その拡大率が式３の倍率値ｖである。式３に示すように、倍率値ｖは、ａｖｅＲ１とａｖｅＲ２との間の倍率値である。
【００４５】
物体検出部１４は、式５を用いて、画像毎に閾値Ｔｈを求める。例えば、α＝０．５、β＝０．５を用いても良い。
【００４６】
【数５】
2015194829.tif 000007
【００４７】
物体検出部１４は、画像毎に求めた閾値Ｔｈを用いて、画像内の各画素値（上記の例ではａｎＣｏｒ値）と閾値Ｔｈを比較し、各画素値≦Ｔｈの場合はｓ値（例えば、ｓ＝２５５）、各画素値＞Ｔｈの場合はｔ値（例えば、ｔ＝０）を設定し、その設定に基づいて、背景と物体を分離した画像を作成する。
【００４８】
図４は、本発明の実施例１に係る画像処理装置１の物体検出部１４の動作の一例を説明する図である。
【００４９】
図４の例では、画像Ｎの階調値（上記の例ではａ値）は、ヒストグラムＨ４に示すように、中程度の値の範囲に偏って分布している。この画像Ｎから式３および式４を用いて生成した画像ＮＢの階調値（上記の例ではａｎＣｏｒ値）は、ヒストグラムＨ５に示すように、ヒストグラムＨ４より広い範囲に分散して分布する。これによって、閾値Ｔｈによる背景と物体の分離が容易になる。
【００５０】
閾値Ｔｈ以下のａｎＣｏｒ値をＳ値に、閾値Ｔｈより大きいａｎＣｏｒ値をｔ値に変更することで得られた画像ＮＤは、例えば図４に示すように、領域Ｒ２内の物体４０２として検出された部分が白く、それ以外の背景４０１の部分が黒く塗りつぶされた画像となる。この例において、検出された物体４０２の領域は、実際の物体３２３の領域と一致する。これによって、検出対象の物体を背景から分離することが可能となる。
【００５１】
描画部１５は、図５に示すように、前記物体検出部１４が検出した物体を囲むように検出枠を画像上に描画する。
【００５２】
図５は、本発明の実施例１に係る画像処理装置１の描画部１５の動作の一例を説明する図である。
【００５３】
描画部１５は、図３または図４に示した画像Ｎに、画像ＮＤのｓ値とｔ値の境界線に相当する検出枠５０１を重畳して描画することによって、画像ＮＥを生成する。この検出枠５０１は、物体検出部１４によって検出された物体４０２（上記の例では番号板）とその背景４０１の境界に相当する。例えばこの検出枠５０１をユーザが視認しやすい態様で（例えば目立つ色彩で）表示することによって、ユーザによる物体の点検を支援することができる。
【００５４】
記録部１６は、前記描画部１５が原画像上に検出枠を描画した画像ＮＥをメモリ９０に保存する。
【００５５】
図６は、本発明の実施例１に係る画像処理装置１の画像処理方法の動作を示すフローチャートである。その手順を説明する。
【００５６】
ステップ（Ｓ）６０１において、入力部１０は、入力画像を画像補正部１１に出力する。
【００５７】
ステップ６０２において、画像補正部１１は、従来技術である画像の平滑化、輪郭強調およびコントラスト強調を行って、補正後の画像Ｎを作成する。
【００５８】
ステップ６０３において、色空間変換部１２は、画像補正部１１が出力した補正後の画像、すなわち、一例として、ＲＧＢの色空間画像をＬａｂ色空間画像に変換した画像ＮＡを求める。
【００５９】
ステップ６０４において、明暗補正部１３は、色空間変換部１２が求めた画像ＮＡから、画像Ｎの領域Ｒ２内の平均値ａｖｅＲ２および最小値ｍｉｎＲ２を算出する。また、明暗補正部１３は、メモリ９０から画像Ｎ−１の領域Ｒ１内の平均値ａｖｅＲ１および最小値ｍｉｎＲ１を読込む。次に、明暗補正部１３は、式３および式４を用いて、明暗を補正した画像ＮＢを作成する。
【００６０】
ステップ６０５において、物体検出部１４は、式１、式２および式５を用いて、画像毎に閾値Ｔｈを求める。次に、ステップ６０６において、物体検出部１４は、明暗を補正した画像ＮＢの各画素値ａｎＣｏｒについて、閾値Ｔｈとの比較を行う。すなわち、ａｎＣｏｒ≦閾値Ｔｈの場合、ステップ６０７に進み、ａｎＣｏｒ≦閾値Ｔｈでない場合、ステップ６０８に進む。物体検出部１４は、ステップ６０７において、補正値にｓ値（例えば、２５５）を設定し、ステップ６０８において、補正値にｔ値（例えば、０）を設定する。
【００６１】
ステップ６０９において、物体検出部１４は、対象画像内の全ての画素について、補正値を求めたか否かを判定し、対象画像内の全ての画素について補正値を求めたと判定されるまで、上記ステップ６０６から６０８を繰り返す。上記ステップ６０５から６０９を行うことによって、例えば、図４の画像Ｎの領域Ｒ２は、物体検出後の画像ＮＤに示すように背景４０１と物体４０２に分離可能となる。
【００６２】
ステップ６１０において、描画部１５は、物体検出部１４が検出した物体４０２を囲むように検出枠５０１を画像上に描画する
【００６３】
ステップ６１１において、記録部１６は、物体の検出枠を描画した画像ＮＥをメモリ９０に保存する。
【００６４】
画像Ｎについて図６のステップ６０１からステップ６１１までの処理が終了し、次に、当該画像Ｎより後に撮影された画像について図６の処理が実行される場合、前回の処理における画像Ｎが今回の処理における画像Ｎ−１となり、前回の画像Ｎの後に撮影された画像が今回の処理における画像Ｎとなって、上記の式１〜式５が計算される。このとき、前回式１によって計算されたａｖｅＲＮが今回のａｖｅＲ１となり、前回式２によって計算されたｍｉｎＲＮが今回のｍｉｎＲ１となる。これによって、過去の画像の明るさを示す値がブレンドされる。
【００６５】
このように本実施例の画像処理装置１は、画像Ｎ−１までの過去の画像の明るさの平均値をブレンドしたａｖｅＲ１と画像の明るさの最小値をブレンドしたｍｉｎＲ１、および画像Ｎの明るさの平均値ａｖｅＲ２と画像Ｎの明るさの最小値ｍｉｎＲ２を用いて明暗を補正した画像ＮＢを作成し、画像ＮＢ毎に閾値Ｔｈを求めている。したがって、閾値Ｔｈを用いて、画像Ｎ内の背景と背景内の物体を分離することが可能となる。
【００６６】
上記の実施例１では、各画像の明るさ（具体例はａ値）の代表値として平均値及び最小値を使用する例を示したが、他の代表値を使用することもできる。代表値は、画像に含まれる画素の明るさの偏りの状況（例えば明るい方に偏っているか暗い方に偏っているか、狭い範囲に集中しているか広い範囲に分散しているか、等）を示すパラメータであり、上記以外の使用可能な代表値の例として、最大値及び中央値が挙げられる。本実施例では検出対象である番号板がその背景の壁面より常に暗いことを想定しているため、閾値Ｔｈが平均値より暗くなるように、代表値として平均値及び最小値が使用される。しかし、例えば番号板が背景より常に明るいことが想定される場合には、代表値として最小値の代わりに最大値を使用してもよい。また、平均値の代わりに中央値を使用してもよい。いずれの場合も、上記の計算方法を適用することができる。ただし、画像全体の明るさをより強く反映するのは中央値より平均値であると考えられるため、平均値を使用することでより高い検出精度が期待できる。
【００６７】
本実施例によれば、過去画像と対象画像の明るさ情報を用いて対象画像の明暗を強調した画像を作成し、画像毎に画像内の領域を分離する閾値を求めることで、移動車両の進む方向によって映像内の画像の明るさが変わる場合でも、画像内の物体をその背景から分離して検出することが可能となる。例えば、走行中の車両から撮像手段が連続的に撮影した膨大な画像の中から、上記の方法によって物体が検出された画像のみを抽出して、検出枠と共にユーザに提示することによって、点検作業に要するユーザの労力を低減することができる。
【実施例２】
【００６８】
次に、本発明の実施例２を説明する。以下に説明する相違点を除き、実施例２の画像処理装置２の各部は、図１〜図６に示された実施例１の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。
【００６９】
図７は、本発明の実施例２に係る画像処理装置２を示すブロック図である。画像処理装置２は、実施例１の図１と同じ構成を含んでいるが、物体検出部２４および制御部９２の動作が図１と異なる。
【００７０】
図８は、本発明の実施例２に係る画像処理装置２の物体検出部２４の動作の一例を説明する図である。
【００７１】
図８（ａ）に示すように、移動車両（例えば画像Ｎを撮影した撮像手段を搭載した車両）の影８０１が領域Ｒ２内の背景（すなわち空３２１、壁３２２及び道路３２４の少なくとも一部）および物体３２３に重畳する場合、画像が暗くなり、背景と物体３２３の輝度および色の差が小さくなるため、画像毎に、画像内の色の平均値を用いても、背景と背景内の物体が適切に分離できないという課題がある。そこで、物体検出部２４は、画像内の領域をさらに複数の小さい領域に分け、それらの領域毎に閾値を算出する。
【００７２】
例えば、物体検出部２４は、図８（ｂ）に示すように、画像Ｎの領域Ｒ２を３つの領域Ｒ２１、Ｒ２２およびＲ２３に分ける。次に、物体検出部２４は、各領域Ｒ２１〜Ｒ２３について、最小値と平均値、すなわち、ｍｉｎＲ２１、ａｖｅＲ２１、ｍｉｎＲ２２、ａｖｅＲ２２、ｍｉｎＲ２３、ａｖｅＲ２３を求める。次に、物体検出部２４は、式６を用いて、領域毎に閾値Ｔｈ２１、Ｔｈ２２、Ｔｈ２３を求める。すなわち、閾値Ｔｈ２１を求めるためには、式６のγに２１を設定する。例えば、α＝０．５、β＝０．５を用いても良い。図８（ｂ）の例では、領域Ｒ２１の明るさ（上記の例ではａ値）の最小値および平均値が他の領域の値より高く、領域Ｒ２３の明るさの最小値および平均値が他の領域の値より低いため、Ｔｈ２１≧Ｔｈ２２≧Ｔｈ２３となる。
【００７３】
【数６】
2015194829.tif 000008
【００７４】
次に、物体検出部２４は、閾値Ｔｈ２１を用いて、各画素値≦Ｔｈ２１の場合はｓ値（例えば、ｓ＝２５５）、各画素値＞Ｔｈ２１の場合はｔ値（例えば、ｔ＝０）を設定し、図８（ｃ）に示す画像Ｎ２１を作成する。同様に、閾値Ｔｈ２２およびＴｈ２３を用いて、図８（ｄ）および図８（ｅ）に示すように、画像Ｎ２２および画像Ｎ２３を作成する。図８の例において、画像Ｎ２１では領域Ｒ２の全体が物体８０２として検出され、画像Ｎ２３では領域Ｒ２の全体が背景８０５として検出されており、背景と物体の分離ができていない。一方、領域Ｒ２２の閾値Ｔｈ２の値に基づいて、番号板の明るさが暗くなるため、図８（ｄ）に示すように、画像Ｎ２２では、背景８０３と、物体３２３に相当する物体８０４との分離に成功している。したがって、背景８０３と物体８０４の分離に成功した画像Ｎ２２の結果を用いることで、物体検出部２４は、図８（ｆ）に示すように、検出枠を描画した画像ＮＦを作成することが可能となる。物体検出部２４は、各画像の領域Ｒ２内で、ｓ値とｔ値が１つ以上あれば、背景と物体の分離が成功したと判断する。従って、物体検出部２４によって、移動車両の影を抑制して、画像内の背景と背景内の物体が分離可能となる。
【００７５】
制御部９２は、画像処理装置２内の各要素（例えば上記の入力部１０〜記録部１６と物体検出部２４およびメモリ９０）に接続される。画像処理装置２の各要素は、自律的に動作してもよいし、制御部９２の指示に従って動作してもよい。
【００７６】
図９は、本発明の実施例２に係る画像処理装置２の画像処理方法の動作を示すフローチャートである。その手順を説明する。
【００７７】
ステップ９０１において、入力部１０は、入力画像を画像補正部１１に出力する。
【００７８】
ステップ９０２において、画像補正部１１は、従来技術である画像の平滑化、輪郭強調およびコントラスト強調を行って、補正後の画像を作成する。
【００７９】
ステップ９０３において、色空間変換部１２は、画像補正部１１が出力した補正後の画像、すなわち、一例として、ＲＧＢの色空間画像をＬａｂ色空間画像に変換した画像ＮＡを求める。
【００８０】
ステップ９０４において、明暗補正部１３は、色空間変換部１２が求めた画像ＮＡから、画像Ｎの領域Ｒ２内の平均値ａｖｅＲ２および最小値ｍｉｎＲ２を算出する。また、明暗補正部１３は、メモリ９０から画像Ｎ−１の領域Ｒ１内の平均値ａｖｅＲ１および最小値ｍｉｎＲ１を読込む。次に、明暗補正部１３は、式３および式４を用いて、明暗を補正した画像ＮＢを作成する。
【００８１】
ステップ９０５において、物体検出部２４は、式１、式２および式６を用いて、領域毎にｎ個の閾値Ｔｈｎを求める。すなわち、一例として、領域が３つの場合（ｎ＝３）、３つの閾値Ｔｈ１、Ｔｈ２、Ｔｈ３を求める。次に、ステップ９０６において、物体検出部２４は、ｉに１を設定する。次に、ステップ９０７において、物体検出部２４は、明暗を補正した画像ＮＢの各画素値ａｎＣｏｒについて、閾値Ｔｈｎ（例：領域が３つの場合、ｎは１〜３）との比較を行う。すなわち、ａｎＣｏｒ≦閾値Ｔｈｎの場合、ステップ９０８に進み、ａｎＣｏｒ≦閾値Ｔｈｎでない場合、ステップ９０９に進む。物体検出部２４は、ステップ９０８において、補正値にｓ値（例えば、２５５）を設定し、ステップ９０９において、補正値にｔ値（例えば、０）を設定する。
【００８２】
ステップ９１０において、物体検出部２４は、対象画像の領域内の全ての画素について、補正値を求めたか否かを判定し、対象画像の領域内の全ての画素について補正値を求めたと判定されるまで、上記ステップ９０７から９０９を繰り返す。ステップ９１０において、全画素について補正値を求めたと判定され場合、ステップ９１１に進む。
【００８３】
ステップ９１１において、物体検出部２４は、ｉ＞ｎか否かを判定する。ステップ９１１において、ｉ≦ｎの場合、全ての領域から求められた全ての閾値Ｔｈｎ（例：領域が３つの場合、Ｔｈ１〜Ｔｈ３の全て）について補正値が求められていないため、物体検出部２４は、次の（すなわちまだ物体検出に使用されていない）閾値Ｔｈｎについて、上記ステップ９０７から９０９を繰り返す。ステップ９１１において、ｉ＞ｎの場合、全ての閾値Ｔｈｎについて、補正値を求めたことになる。例えば、図８（ｂ）の領域Ｒ２を３つの領域Ｒ２１〜Ｒ２３に分けた場合、物体検出部２４は、図８（ｂ）の画像Ｎについて、図８（ｃ）の画像Ｎ２１、図８（ｄ）の画像Ｎ２２、および図８（ｅ）の画像Ｎ２３を求める。
【００８４】
上記９０７から９１１のステップを領域の個数分繰返し行い、背景と背景内の物体を分離した情報を用いることで、例えば、図８（ｂ）の画像Ｎの領域Ｒ２は、物体検出後の画像Ｎ２２に示す背景８０３と物体８０４に分離可能となる。
【００８５】
ステップ９１２において、描画部１５は、図８（ｆ）の画像ＮＦに示すように、物体検出部２４が検出した物体８０４を囲むように検出枠５０１を画像上に描画する。
【００８６】
ステップ９１３において、記録部１６は、物体の検出枠を描画した画像ＮＦをメモリ９０に保存する。
【００８７】
このように本実施例の画像処理装置２は、画像Ｎ−１までの過去の画像の明るさの平均値をブレンドしたａｖｅＲ１と画像の明るさの最小値をブレンドしたｍｉｎＲ１、および画像Ｎの明るさの平均値ａｖｅＲ２と画像Ｎの明るさの最小値ｍｉｎＲ２を用いて明暗を補正した画像ＮＢを作成し、画像ＮＢを複数の領域に分割し、領域毎に領域の個数分の閾値Ｔｈｎを求めている。したがって、領域個数分の閾値Ｔｈｎを用いて、閾値Ｔｈｎ毎に補正値を求めることで、移動車両の影が背景および背景内の物体にかかった場合でも、画像ＮＢ内の背景と背景内の物体を分離することが可能となる。
【００８８】
本実施例によれば、過去画像と対象画像の明るさ情報を用いて対象画像の明暗を強調した画像を作成し、画像内の領域毎に背景と背景内の物体を分離するための閾値を求めることで、移動車両の影が背景や背景内の物体にかかった場合でも、画像内の物体をその背景から分離して検出することが可能となる。
【００８９】
以上説明した各実施例によれば、いずれの場合も、より好適に背景内の物体を検出することが可能となる。なお、上記各実施例においては、次のような特有の効果を有する。
【００９０】
実施例１によれば、過去画像と対象画像の明るさ情報を用いて対象画像の明暗を強調した画像が作成され、時系列に変化する画像の明るさに応じて画像毎に画像内の領域を分離する閾値が求められる。これによって、移動車両の進む方向に応じて映像内の画像の明るさが変わる場合でも、画像内の背景と背景内の物体を分離できるため、背景内の物体を検出することが可能となる。
【００９１】
実施例２によれば、過去画像と対象画像の明るさ情報を用いて対象画像の明暗を強調した画像が作成され、時系列に変化する画像の明るさに応じて画像内の領域毎に背景と背景内の物体を分離するための閾値が求められ、それらの閾値を用いて画像が分離される。これによって、例えば移動車両の影が背景や背景内の物体にかかったために画像の一部の明るさが変わった場合でも、画像内の背景と背景内の物体を分離して、背景内の物体を検出することが可能となる。
【００９２】
以上説明した各実施例については、次のような変形が可能である。
【００９３】
色空間変換部１２では、入力画像をＬａｂ色空間に変換した画像を作成したが、ＨＳＶ色空間等の他の色空間の画像に変換してもよく、その場合も上記と同様の効果を有する。検出対象の物体と背景との間の色彩及び明るさの関係に応じて、それらを分離しやすい色値が得られる変換方法を選択することができる。
【００９４】
物体検出部２４では、図８（ｂ）の領域Ｒ２を３つに分けたが、２つまたは４つ以上の領域に分けてもよく、いずれの場合も上記と同様の効果を有する。例えば、領域Ｒ２を領域Ｒ２の画像のライン数分に分けてライン数分の閾値を求め、それらの閾値を用いて、背景と背景内の物体を分離してもよく、その場合も上記と同様の効果を有する。  
【００９５】
なお、本発明は上述した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【００９６】
上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によってハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによってソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。
【００９７】
また、図面には、実施例を説明するために必要と考えられる制御線及び情報線を示しており、必ずしも、本発明が適用された実際の製品に含まれる全ての制御線及び情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【００９８】
１…画像処理装置、１０…入力部、１１…画像補正部、１２…色空間変換部、１３…明暗補正部、１４…物体検出部、１５…描画部、１６…記録部、９１…制御部、２…画像処理装置、２４…物体検出部、９２…制御部
【図１】
2015194829.tif 000009
【図２】
2015194829.tif 000010
【図３】
2015194829.tif 000011
【図４】
2015194829.tif 000012
【図５】
2015194829.tif 000013
【図６】
2015194829.tif 000014
【図７】
2015194829.tif 000015
【図８】
2015194829.tif 000016
【図９】
2015194829.tif 000017