(57)【特許請求の範囲】
【請求項１】
画像内を移動する検査対象を撮像した複数の画像が入力される入力部と、
第１画像から抽出した情報および前記第１画像の時間的に前に位置する第２画像から抽出した情報を用いて生成した差分情報と、前記第１画像から抽出したエッジ情報または前記第２画像から抽出したエッジ情報と、を用いて、前記エッジ情報を抽出した画像内にある候補点を検出する候補点検出部と、
を有し、
前記第２画像は、前記第１画像とともに一の動画像を構成し、
前記第１画像に写っている前記検査対象の一部の領域と、前記第２画像に写っている前記検査対象の一部の領域とが共通し、
複数の画像に対して前記候補点検出部における検出処理を行う対象となる対象領域を設定する領域設定部と、
前記対象領域の輝度値に基づいて、前記検出処理を行うかを判定する判定部と、
複数の前記候補点から有効線分を求め、前記有効線分の数に基づいて、複数の前記候補点を検出対象である対象物として検出する物体検出部と、
前記対象物が検出された画像を選択して出力する出力部と、をさらに有することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記判定部は、前記対象領域を複数の詳細領域に分割し、それぞれの前記詳細領域の輝度値に基づいて前記検出処理を行うかを判定することを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記物体検出部は、前記有効線分に挟まれた領域に含まれる複数の前記候補点を対象物として検出することを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、
前記物体検出部は、前記有効線分を形成する前記候補点とは異なる複数の前記候補点からなる領域を対象物として検出することを特徴とする画像処理装置。
【請求項５】
画像内を移動する検査対象を撮像した複数の画像が入力される第１ステップと、
第１画像から抽出した情報および前記第１画像の時間的に前に位置する第２画像から抽出した情報を用いて生成した差分情報と、前記第１画像から抽出したエッジ情報または前記第２画像から抽出したエッジ情報と、を用いて、前記エッジ情報を抽出した画像内にある候補点を検出する第２ステップと、
を有し、
前記第２画像は、前記第１画像とともに一の動画像を構成し、
前記第１画像に写っている前記検査対象の一部の領域と、前記第２画像に写っている前記検査対象の一部の領域とが共通し、
前記第２ステップでは、複数の画像に対して前記候補点の検出処理を行う対象となる対象領域を設定すると共に、前記対象領域の輝度値に基づいて、前記検出処理を行うかを判定し、
複数の前記候補点から有効線分を求め、前記有効線分の数に基づいて、複数の前記候補点を検出対象である対象物として検出する第３ステップと、
前記対象物が検出された画像を選択して出力する第４ステップと、をさらに有することを特徴とする画像処理方法。
【請求項６】
請求項５に記載の画像処理方法において、
前記第２ステップでは、前記対象領域を複数の詳細領域に分割し、それぞれの前記詳細領域の輝度値に基づいて前記検出処理を行うかを判定することを特徴とする画像処理方法。
【請求項７】
請求項５に記載の画像処理方法において、
前記第２ステップでは、前記有効線分に挟まれた領域に含まれる複数の前記候補点を対象物として検出することを特徴とする画像処理方法。
【請求項８】
請求項５に記載の画像処理方法において、
前記２ステップでは、前記有効線分を形成する前記候補点とは異なる複数の前記候補点からなる領域を対象物として検出することを特徴とする画像処理方法。
【請求項９】
画像内を移動する検査対象が写っている複数のフレームを含む動画像が入力される第１のステップと、
対象フレームおよび対象フレームの時間的に前に位置する過去フレームの２枚のフレームから抽出した差分情報を用いて背景を除去し、前記対象フレームまたは前記過去フレームのいずれか片方から抽出したエッジ情報と前記差分情報とを用いて検出対象の候補となる候補点を特定する第２のステップと、
を有し、
前記第２ステップでは、前記対象フレームおよび前記過去フレームに対して前記候補点の検出処理を行う対象となる対象領域を設定すると共に、前記対象領域の輝度値に基づいて、前記検出処理を行うかを判定し、
複数の前記候補点から有効線分を求め、前記有効線分の数に基づいて、複数の前記候補点を検出対象である対象物として検出する第３ステップと、
前記対象物が検出された画像を出力する第４ステップと、をさらに有することを特徴とする検査方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像内に含まれる物体を検出するための画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、道路やケーブル等の検査対象に沿って移動する撮像装置によって撮像された映像を用いて、道路上にある付属物やケーブル上の劣化箇所を簡易に点検することで点検コストを抑えたいというニーズが高まっている。
【０００３】
従来技術として、特許文献１では、稼働している装置を撮影した画像Ｎと画像Ｎ＋１から差分画像を求め、静止している装置を撮影した基準画像Ｘからエッジ画像を求め、エッジ画像で差分画像をマスクすることで、異常個所を検出している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−６７１０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１では、カメラおよび検査対象のいずれも移動しておらず、何らかの動き情報を持っているものや変化している部分を特定すれば異常が検出できる、という技術思想に基づいている。そのため、差分画像からノイズを除去する際には、検査対象が稼働していない状態の画像を基準として用いればよい。
【０００６】
しかし、特許文献１の方法では、検査対象物をマスク画像として除去してしまうため、検査対象となる道路やケーブル等の表面にあらわれている検出対象物体を切り出して検出対象物体のみを検出することは困難である。検査対象と検出対象物とが一緒になって時系列の画像内を移動する場合には、特許文献１の方法で検出しようとしても、検査対象と検出対象物とをうまく切り分けることができず、必要な個所を検出することができない。
【０００７】
本発明の目的は、上記課題を鑑み、映像内の検査対象と検査対象上の物体が一緒に移動する場合に、時系列の画像内の検査対象と検査対象上の物体とを切り分け、形状が不明確な検出対象物体を検出可能とする画像処理装置およびその方法を提供することである。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、例えば請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、画像処理装置であって、画像内を移動する検査対象を撮像した複数の画像が入力される入力部と、第１画像から抽出した情報および前記第１画像の時間的に前に位置する第２画像から抽出した情報を用いて生成した差分情報と、前記第１画像から抽出したエッジ情報または前記第２画像から抽出したエッジ情報と、を用いて、前記エッジ情報を抽出した画像内にある候補点を検出する候補点検出部と、を有し、前記第２画像は、前記第１画像とともに一の動画像を構成し、前記第１画像に写っている前記検査対象の一部の領域と、前記第２画像に写っている前記検査対象の一部の領域とが共通し、複数の画像に対して前記候補点検出部における検出処理を行う対象となる対象領域を設定する領域設定部と、前記対象領域の輝度値に基づいて、前記検出処理を行うかを判定する判定部と、複数の前記候補点から有効線分を求め、前記有効線分の数に基づいて、複数の前記候補点を検出対象である対象物として検出する物体検出部と、前記対象物が検出された画像を選択して出力する出力部と、をさらに設けるようにした。
【０００９】
あるいは、画像処理方法であって、画像内を移動する検査対象を撮像した複数の画像が入力される第１ステップと、第１画像から抽出した情報および前記第１画像の時間的に前に位置する第２画像から抽出した情報を用いて生成した差分情報と、前記第１画像から抽出したエッジ情報または前記第２画像から抽出したエッジ情報と、を用いて、前記エッジ情報を抽出した画像内にある候補点を検出する第２ステップと、を有し、前記第２画像は、前記第１画像とともに一の動画像を構成し、前記第１画像に写っている前記検査対象の一部の領域と、前記第２画像に写っている前記検査対象の一部の領域とが共通し、前記第２ステップでは、複数の画像に対して前記候補点の検出処理を行う対象となる対象領域を設定すると共に、前記対象領域の輝度値に基づいて、前記検出処理を行うかを判定し、複数の前記候補点から有効線分を求め、前記有効線分の数に基づいて、複数の前記候補点を検出対象である対象物として検出する第３ステップと、前記対象物が検出された画像を選択して出力する第４ステップと、をさらに設けるようにした。
あるいは、検査方法であって、画像内を移動する検査対象が写っている複数のフレームを含む動画像が入力される第１のステップと、対象フレームおよび対象フレームの時間的に前に位置する過去フレームの２枚のフレームから抽出した差分情報を用いて背景を除去し、前記対象フレームまたは前記過去フレームのいずれか片方から抽出したエッジ情報と前記差分情報とを用いて検出対象の候補となる候補点を特定する第２のステップと、を有し、前記第２ステップでは、前記対象フレームおよび前記過去フレームに対して前記候補点の検出処理を行う対象となる対象領域を設定すると共に、前記対象領域の輝度値に基づいて、前記検出処理を行うかを判定し、複数の前記候補点から有効線分を求め、前記有効線分の数に基づいて、複数の前記候補点を検出対象である対象物として検出する第３ステップと、前記対象物が検出された画像を出力する第４ステップと、をさらに設けるようにした。
【発明の効果】
【００１０】
本発明によれば、形状が不明確な背景内の物体を検出することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る画像処理装置１を示すブロック図。
【図２】本発明に係る画像処理装置１のハードウェア構成を示す図。
【図３】品質判定部１２の動作の一例を説明する図。
【図４】候補点検出部１３の動作の一例を説明する図。
【図５】物体検出部１４の動作の一例を説明する図。
【図６】画像処理装置１の動作を示すフローチャート。
【図７】候補点検出部１３の動作の一例を説明する図。
【図８】物体検出部１４の動作の一例を説明する図。
【図９】画像処理装置２の動作を示すフローチャート。
【発明を実施するための形態】
【００１２】
以下、本発明の各実施例を、図面を参照して説明する。各図面において共通の構成要素には同一の符号を付与した。
＜実施例１＞
図１は、本発明の第１の実施例に係る画像処理装置を示すブロック図である。画像処理装置１の構成は、入力部１０、領域設定部１１、品質判定部１２、候補点検出部１３、物体検出部１４、出力部１５、制御部９１を備えている。
【００１３】
なお、本実施例で述べる候補点とは、画像上の検出対象物が写っている可能性のある点を意味している。一方、検出対象物とは、候補点の集合として画像に写っている対象物（例えば、道路のジョイント部やケーブルの傷など）を意味する。本実施例中で候補点と言った場合には、あくまで画像上の画素として表される一点にすぎず、検出対象物、検出された物体と言った場合には、複数の候補点の集合により形成される領域であって、かつ対象物と判定された領域をさす。
【００１４】
まず、各部の動作を説明する。入力部１０には動画像データが入力される。例えば入力部１０は、ドライブレコーダーやカメラおよびＧＰＳ付き移動ロボット等の撮像手段が、所定時間間隔で撮像した、ＪＰＧ、Ｊｐｅｇ２０００、ＰＮＧ、ＢＭＰ形式等の符号化された静止画像データ等を取得して、その画像を入力画像としてもよい。また、入力部１０は、ＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４、ＨＤ／ＳＤＩ形式等の動画像データから、所定間隔のフレームの静止画像データを抜き出して、その画像を入力画像としてもよい。また、入力部１０は、撮像手段がバスやネットワーク等を介して取得した画像を入力画像としてもよい。
【００１５】
入力画像のフレームレートは、一般的な３０ｆｐｓや６０ｆｐｓを想定しているが、これに限定されるものではない。ただ、あまりにフレームレートが小さいか、撮像装置の移動速度が大きいと検査対象上をもれなく撮影することができないため、前のフレームで撮像された検査対象上の領域の一部と、次のフレームで撮像された検査対象上の領域の一部とが共通するように、フレームレートまたは撮像装置の移動速度を設定することが好ましい。
また、入力部１０は、図２に示すように、脱着可能な記録媒体１０１に記憶されている画像を入力画像としてもよい。
【００１６】
領域設定部１１では、物体を検出するための画像内の検出対象領域を設定する。
【００１７】
品質判定部１２では、撮影時の入力画像の品質を判定する。
【００１８】
候補点検出部１３では、メモリ９０に記憶した過去画像の情報と現在の画像の情報を用いて、差分画像を求める。その差分画像と現在の画像のエッジ情報を用いて候補点を検出する。
【００１９】
物体検出部１４では、候補点検出部１３で検出した候補点と閾値を比較して、一定量の候補点を有する画像を求める。次に、その画像の候補点から構成される物体の形状を求めて、求めた物体の形状情報を用いて、背景内の形状が不明確な物体を検出する。
【００２０】
出力部１５では、前記物体検出部１４で検出した物体を囲むように検出枠を画像上に描画して画像を出力する。また、メモリ９０に入力画像および入力画像撮影時のＧＰＳ位置情報を保存する。
【００２１】
制御部９１は、画像処理装置内の各機能部（入力部、領域設定部など）に接続される。画像処理装置の各要素の動作は、上述した各構成要素の自律的な動作、又は制御部９１の指示により動作する。
【００２２】
このように本実施例の画像処理装置１では、候補点検出部１３で求めた差分画像とエッジ画像を用いて、画像内の候補点を検出する。次に、物体検出部１４で候補点から構成される物体の形状を求め、その形状の情報を用いて、背景内の形状が不明確な物体を検出することを特徴とする。
【００２３】
図２は、本発明の実施例１の画像処理装置１のハードウェア構成図である。
【００２４】
サーバ計算機１０５は、例えば、相互に接続されたプロセッサ２０１および記憶装置２０２を有する一般的な計算機である。記憶装置２０２は任意の種類の記憶媒体によって構成される。例えば、記憶装置２０２は、半導体メモリ及びハードディスクドライブを含んでもよい。
【００２５】
この例において、図１に示した制御部９１、入力部１０、領域設定部１１、品質判定部１２、候補点検出部１３、物体検出部１４および出力部１５といった機能部はプロセッサ２０１が記憶装置２０２に格納された処理プログラム２０３を実行することによって実現される。言い換えれば、この例において、上記の各機能部が実行する処理は、実際には、処理プログラム２０３に記述された命令に従うプロセッサ２０１によって実行される。また、画像を蓄積するメモリ９０は、記憶装置２０２に含まれる。
【００２６】
サーバ計算機１０５は、さらに、プロセッサに接続されたネットワークインターフェース装置（ＮＩＦ）２０４を含む。映像撮影装置１０２は、例えば、ネットワークインターフェース装置２０４を介してサーバ計算機１０５に接続される。映像記憶装置１０１は、ネットワークインターフェース装置２０４を介してサーバ計算機１０５に接続されたＮＡＳまたはＳＡＮであってもよいし、記憶装置２０２に含まれてもよい。ＧＰＳ１０６からの情報もネットワークインターフェース装置２０４を介してサーバ計算機１０５に送信される。
【００２７】
以下、具体例を用いて各部の構成と動作を詳細に説明する。本発明は、時系列の画像内を検査対象と検出対象物が一緒に移動する映像を対象としており、実施例１では検査対象として道路面を、検出対象物として路面上に現れるジョイント部を例に挙げて説明する。本実施例以外にも、例えば停止したカメラで動く歩道のランディングプレート上の傷を撮影するような映像も、時系列の画像内を検査対象が移動する映像に含まれる。
【００２８】
領域設定部１１では、例えば、図３（ａ）に示すような道路同士を繋ぐ接合部（例：ジョイント）を検出する場合、車両が走行する道路上の対象領域Ｒ１を予め設定する。これは、検査対象上に検出対象物が現れるため、検査対象上以外の領域（たとえば、道路の脇の背景など）は検出に不要な情報である。そこで、予め領域Ｒ１を設定することで、画像処理装置の負荷を下げることができる。この設定は、例えば入力装置１０３からユーザによって入力され、制御部９１を通して領域設定部１１へと送信される。このような値の設定は、入力装置１０３からユーザが自由に設定することができる。他の処理において登場する閾値も同様に設定できる。
【００２９】
品質判定部１２では、例えば、検出対象領域である領域Ｒ１を図３（ｂ）に示す４つの詳細領域（Ｒ１１、Ｒ１２、Ｒ１３、Ｒ１４）に分割して各詳細領域の画素ごとの輝度を平均した平均輝度を求める。もちろん、４つの領域に分割せずに、対象領域の平均輝度を用いて品質を判定しても良いが、４から１６程度の領域に分割することで、対象領域の一部のみに建物の影が写っている等の理由により候補点をうまく検出できない画像を検出処理の対象から外すことができ、処理負荷を軽減することができる。本実施例では、太陽の位置により、影ができるパターンは、太陽が右上にあるとき、左上にあるとき、カメラ前方にあるとき、カメラ後方にあるときの４パターンに大きく分かれていることを利用し、４領域に分割している。こうすることで、対象領域Ｒ１の一部に影がかかっている画像については、検出処理の対象から外すことができる。逆にあまり小さな領域に分け過ぎても、処理が煩雑になるだけで、候補点の検出に影響がない程度の影や白浮きなどを検出処理の対象から除外することになり、効率的ではない。
【００３０】
このように分割した各詳細領域の平均輝度について、閾値Ｔｈ１≦平均輝度≦閾値Ｔｈ２の条件を満たすか否かを判定する。いずれの領域も条件を満たしていれば、明るすぎることも暗すぎることもなく、物体検出に適した品質の画像であると考えられるため、物体検出処理を行う画像と判定する。一つでも条件を満たさない詳細領域が有る場合は、対象領域の映像の一部が暗過ぎるもしくは明る過ぎると考えられるため、物体検出には適さないと判定し、この画像に対して候補点検出処理および物体検出処理は行わない。
【００３１】
このように検出処理を行わない画像が撮影された場合には、品質判定部は、ステップ６１３のように制御部９１を通じ表示装置１０４に対してエラーメッセージを送信する。こうすることで、表示装置１０４でエラーメッセージが表示された領域については、対象領域全体の撮影が一通り終わった後に再度撮影することができる。たとえば高速道路などが検査対象である場合には点検車両での画像撮影による検査業務を終了する前にエラーメッセージを確認することで、改めて別の日に撮影を行う必要がなくなり、効率的に検査を行うことが可能となる。
【００３２】
なお、本実施例の物体検出処理において、撮影条件によっては、品質判定部は無くても良い場合が有る。しかし、このように品質判定部を設けることで、より正確に物体検出できる画像のみを選択的に処理することができるため、システム全体の負荷を減らすことができる。さらに、検出結果の画像に検出できなかったミス画像が紛れ込む確率を減らすこともできる。
【００３３】
図４は、候補点検出部１３の動作の一例を説明する図である。候補点検出部１３では、現在の画像Ｎと過去の画像Ｎ−１を用いて、画像Ｎ−１の画素値をａ、画像Ｎの画素値をｂとした場合、式１に示すように、画素ごとにａとｂの差分の絶対値を求め、差分の絶対値が閾値Ｔｈ３以上となる画素を用いて差分画像を算出する。ここでは、撮像装置のブレ等によるわずかな差分はノイズとして除去できるように閾値Ｔｈ３を設定している。
【００３４】
【数１】
0006348020.tif 000002
【００３５】
近傍の道路の色や形状は類似しているため、２枚の画像の差分をとると重なったジョイントのみが差分画像に含まれることになる。ここでは、実際の画像同士を使って差分画像を求めているが、画像Ｎや画像Ｎ−１から抽出したエッジ情報同士を使って差分画像を求めることもできる。特に、検出対象物がある程度大きいものである場合には、エッジ情報同士の差分を用いることで、差分情報を生成する際の処理負荷を減らすことができる。一方、検出対象物が小さいものである場合には、画像からエッジ情報にする際には輝度等の情報が減っているため、あえて画像同士から差分情報を生成することで検出漏れの可能性を減らすことができる。
【００３６】
さらに、候補点検出部１３は、従来技術であるＬａｐｌａｃｉａｎやＳｏｂｅｌ等を用いて、画像Ｎからエッジ画像を求める。ただし、エッジ画像において、エッジではない画素の画素値を０とする。前記差分画像と前記エッジ画像を用いて、差分画像の画素値をｃ、エッジ画像の画素値をｄとした場合、式２に示すように、
【００３７】
【数２】
0006348020.tif 000003
【００３８】
画素ごとにｃとｄの論理積（アンド）演算を行ってｅ値を求めることで、画像Ｎ内の背景と背景内の物体が一緒に移動する場合や、画像Ｎ内の背景内の物体の形状が不明な場合でも、画像Ｎ内のジョイントを構成する候補点のみを検出することが可能となる。図４では、画像Ｎの全領域のエッジ情報を求めているが、もちろん対象領域Ｒ１のみでもかまわない。対象領域Ｒ１のみのエッジ情報を用いることで、処理負荷は減らすことができる。
【００３９】
本発明のポイントは、時系列的に前後する２枚のフレームから差分情報を抽出し、そのうちの１枚のみからエッジ情報を抽出することで、候補点を検出することにある。そのため、エッジ情報を抽出するのは対象画像ではなく過去画像の方からでも本発明の効果を奏することは言うまでもない。過去画像のほうからエッジ情報を抽出した場合には、上述の領域設定部および品質判定部における処理で過去画像を用いて同様の処理をすることになる。
【００４０】
なお、本実施例では、対象画像Ｎとその直前の過去フレームＮ−１を用いて差分画像を求めたが、直前のフレームでなくとも、画像Ｎに写っている検査対象と重なっている領域が写っている過去画像であれば何フレーム前であってもかまわない。このように、対象画像と検査対象上で重なっている領域を有する過去画像とを用いて差分を取ることで、検査対象上の検出対象物をもれなく検知することができる。特に、対象画像と過去画像とを同一の動画像に含まれるフレームとすることで、撮影時のカメラの角度・高さによる検査対象の写り具合を調整せずに差分検出を行うことができ、処理負荷が軽減する。
【００４１】
本実施例では、この後さらに候補点が検出したい対象物体であるかの確実性を高めるための物体検出処理や、検出された物体位置が見やすいように枠をつけて出力する処理を行うが、候補点のみの検出でも十分に対象物体を目視で特定できるような場合には、画像Ｎに対して候補点位置をマーキングし、物体検出処理を行わずに出力しても問題ない。
【００４２】
物体検出部１４では、前記候補点検出部１３で求めた候補点の情報から、例えば、従来技術であるＨｏｕｇｈ変換等を用いて、有効線分を検出する。有効線分とは、候補点から構成される線分のことであり、候補点がばらばらの位置に存在して線分を構成していない時には、有効線分は検出されない。
【００４３】
図５は、有効線分および物体を検出する一例を示す。図５の例では、図５（ａ）に示す候補点から、３本の有効線分が検出された。有効線分の数≧閾値Ｔｈ４の条件を満たす場合、検出した候補点で構成される領域を物体として判定し、その領域をジョイントとして検出する。本実施例では、検出対象はジョイントであるため、条件を満たす有効線分がない場合には、その候補点はジョイントではない可能性が高いため物体として検出しない。一般的なジョイントの形状としては長方形の領域とその中心に接合部とから構成されるため、有効線分が最低２本検出されれば、その間に挟まれた領域をジョイントと判断している。このように、ユーザーが検出対象の形状についての情報を持っている場合には、有効線分の数の閾値Ｔｈ４を入力することで、有効線分の情報を用いて検出対象物か否かを判定することができ、効率的に検査することができる。
【００４４】
出力部１５では、例えば、図５（ｃ）に示すように、前記物体検出部１４で求めた候補点から成る有効線分を囲むように検出枠を画像上に描画して、画像を出力する。また、メモリ９０に時系列の入力画像を保存する。もちろん、候補点検出部の処理で述べたように、物体検出処理を行わずに出力する場合には、候補点位置を画像上に描画して画像を出力してもかまわない。
【００４５】
制御部９１は、画像処理装置内の各要素に接続される。画像処理装置の各要素の動作は、上述した各構成要素の自律的な動作、又は制御部９１の指示により動作する。
【００４６】
図６は、画像処理装置１の画像処理方法の動作を示すフローチャートである。その手順を説明する。
【００４７】
ステップ６０１において、入力部１０は、入力画像を領域設定部１１に出力する。
【００４８】
ステップ６０２において、領域設定部１１は、物体を検出するための画像内の検出対象領域を設定する。画像中のどの領域を検出対象領域とするかについては、入力装置１０３からの入力に基づいて決定する。
【００４９】
ステップ６０３において、品質判定部１２は、領域設定部１１で設定した画像内の検出対象領域Ｒ１を複数の領域、例えば、４つの領域（Ｒ１１、Ｒ１２、Ｒ１３、Ｒ１４）に分割して各領域の平均輝度を求める。さらにステップ６０４において、閾値Ｔｈ１≦各平均輝度≦閾値Ｔｈ２の条件を満たすか否かを判定する。いずれの領域も条件を満たしていれば、撮影された映像の品質は良いと考えられるため、ステップ６０５に進む。一つでも条件を満たさない領域がある場合には、映像が暗過ぎるもしくは明る過ぎると考えられるため、物体検出には適さない映像と判定して、次の候補点検出処理や物体検出処理には進めない。かわりに、表示装置にエラーメッセージを出力して終了する（ステップ６１３）。このように、表示装置にエラーメッセージを出力することにより、この画像処理方法を用いて検査を行う場合に、検出に使えない画像を撮影しなおすことができる。また、撮影条件によっては、ステップ６０４をスキップし、ステップ６０３からステップ６０５に直接進めることも可能である。
【００５０】
ステップ６０５において、候補点検出部１３は、メモリ９０から過去の画像Ｎ−１を読み込み、現在の画像Ｎと過去の画像Ｎ−１を用いて、式１により、差分画像を算出する。次に、画像Ｎからエッジ画像を求める。前記差分画像と前記エッジ画像を用いて、式２により、画像Ｎ内の候補点を検出する。
【００５１】
ステップ６０６において、物体検出部１４は、例えば、従来技術であるＨｏｕｇｈ変換等を用いて、ステップ６０５で求めた候補点の情報から有効線分を検出し、有効線分の数Ｃｎｔを求める。
【００５２】
ステップ６０７において、線分数Ｃｎｔと閾値Ｔｈ４との比較を行う。すなわち、Ｃｎｔ≧閾値Ｔｈ４の場合、物体検出部１４は、ステップ６０８に進む。ステップ６０８において、物体検出部１４は、候補点で構成される領域を物体と判定し、検出フラグｆにｓ値（例えば、１）を設定する。ステップ６０７において、条件を満たさなかった場合、物体検出部１４は、ステップ６０９に進む。物体検出部１４は、ステップ６０９において、検出フラグｆにｔ値（例えば、０）を設定する。
【００５３】
ステップ６１０において、出力部１５は、物体検出部１４で求めた検出フラグｆがｓ値の場合、ステップ６０６で求めた全ての線分を囲むように、検出枠を画像Ｎ上に描画する。一方、検出フラグｆがｔ値の場合には、物体は検出されなかったと判定し、ステップ６１２に進む。上記６０５から６１０のステップを行うことにより、例えば、画像Ｎ内から図５（ｃ）に示す物体（ジョイント等）を検出することが可能となる。
【００５４】
さらに、ステップ６１１、６１２において、物体の検出枠を描画した画像、入力画像および入力画像撮影時のＧＰＳ位置情報をメモリ９０に保存する。このように、入力された複数の画像のうち、検出フラグｆがｓ値の画像のみを出力してメモリに保存することで、本方法を用いて検査を行うユーザーは、物体が検出されたフレームのみを効率的にチェックすることができる。
【００５５】
以上を踏まえ、本実施例に記載の画像処理装置は、時系列の画像内を移動する検査対象を撮像した複数の画像が入力される入力部と、第１画像から抽出した情報および第１画像の時間的に前に位置する第２画像から抽出した情報を用いて生成した差分情報と、第１画像から抽出したエッジ情報または第２画像から抽出したエッジ情報と、を用いて、エッジ情報を抽出した画像内にある候補点を検出する候補点検出部と、を有することを特徴とする。
【００５６】
また、本実施例に記載の画像処理方法は、時系列の画像内を移動する検査対象を撮像した複数の画像が入力される第１ステップと、第１画像から抽出した情報および第１画像の時間的に前に位置する第２画像から抽出した情報を用いて生成した差分情報と、第１画像から抽出したエッジ情報または第２画像から抽出したエッジ情報と、を用いて、エッジ情報を抽出した画像内にある候補点を検出する第２ステップと、を有することを特徴とする。
【００５７】
このように、過去画像と対象画像との２枚の画像から作成した差分画像と、検出対象が写っている１枚の対象画像から作成したエッジ画像を用いて、差分画像により検出対象以外の背景をキャンセルし、エッジ情報により差分画像上で重なってしまった検出対象を分離することができる。差分情報を抽出したうちの１枚の画像からエッジ情報を抽出することで、基準となる画像を別に用意することなく、様々な条件化で撮影された画像を用いて、対象物を検出することが可能となる。
＜実施例２＞
第２の実施例に係る画像処理装置２は、実施例１の図１と同じ構成であるが、候補点検出部１３、物体検出部１４、出力部１５の動作が図１と異なる。従って、ここでは装置構成の図面は図１と同様、物理的な構成は図２と同様なので省略し、図６とは異なる全体の処理フローについて図９を用いて説明をする。
【００５８】
図７（ｂ）の画像Ｎに示すように、電線ケーブル等の検査対象に沿って移動する撮像装置によって撮像された映像の場合、ケーブル上の傷等の劣化箇所は様々な形状をしており、背景内の検出すべき物体の形状が不明であるという問題がある。
【００５９】
また、小さな傷を検出するために、ケーブルと撮影装置の距離が近いことが多く、太陽の位置によって、撮影装置の影がケーブルにかかってしまい、適切に影と傷の分離ができないという課題もある。
【００６０】
そこで、本実施例での候補点検出部１３では、例えば、図７（ｂ）に示す現在の画像Ｎと図７（ａ）に示す過去の画像Ｎ−１を用いて、画像Ｎ−１の画素値をｇ、画像Ｎの画素値をｈとした場合、式３に示すように、画素ごとにｇとｈの差分の絶対値を求め、差分の絶対値が閾値Ｔｈ５以上となる画素を用いて差分画像を算出する。ただし、ケーブル上の微小な傷も検出するために、式３の閾値Ｔｈ５は小さな値（例えば、１０）とする。
【００６１】
【数３】
0006348020.tif 000004
【００６２】
図７（ｃ）に示すように、電線等のケーブルの色や形状は類似しているため、重なった傷が差分画像に含まれることになる。ただし、ケーブル上を撮影装置が走行する際に、小さな揺れが発生するため、影の輪郭が差分画像に含まれてしまう場合がある。
【００６３】
そこでまずは、実施例１と同様に式２を用いて候補点を検出する。
【００６４】
次に、物体検出部１４では、前記候補点検出部１３で求めた候補点の情報から有効線分を検出する。図８は、有効線分および物体を検出する一例を示す。図８の例では、図８（ａ）に示す候補点から、図８（ｂ）に示す３本の有効線分が検出されている。図８（ｃ）に示すように、有効線分を構成する候補点を全てマスク処理することで影の輪郭を除去する。これは、有効線分を構成する候補点は、撮像装置の影である可能性が高く、検出対象物である傷では無い可能性が高いためである。一般に、ケーブル上の傷は、様々な形をしており、必ずしも線分の形状であるとは限らない。そのため、本実施例では線分形状ではない候補点、すなわち、有効線分を構成する候補点ではない候補点を傷として検出する処理としている。このように、ユーザーが検出対象の形状についての情報を持っている場合には、有効線分の数の閾値Ｔｈ４を入力することで、有効線分の情報を用いて検出対象物か否かを判定することができ、効率的に検査することができる。
【００６５】
影の輪郭除去後に残った候補点を傷、すなわち検出対象物と判定し、その候補点を対象物として検出する。従って、物体検出部１４により、撮影装置の影を抑制して、画像内の背景と背景内の傷が分離可能となる。
【００６６】
さらに、出力部１５において、式２で求めたｅ値に関して、ｅ値＞０を満たす候補点の個数をｅ＿ｃｎｔとすると、閾値Ｔｈ６とＴｈ７を用いた式４を満たす候補点を含む画像のみを抽出することで、特定の形状や大きさの傷を構成する候補点を含む画像のみを出力することも可能となる。また、出力部１５は、入力画像撮影時のＧＰＳ位置情報をメモリに保存する。
【００６７】
【数４】
0006348020.tif 000005
【００６８】
図９は、画像処理装置２の画像処理方法の動作を示すフローチャートである。その手順を説明する。
【００６９】
ステップ１００１において、入力部１０は、入力画像を領域設定部１１に出力する。
【００７０】
ステップ１００２において、領域設定部１１は、物体を検出するための画像内の検出対象領域を設定する。
【００７１】
ステップ１００３において、品質判定部１２は、領域設定部１１で設定した画像内の検出対象領域Ｒ１を複数の領域、例えば、４つの領域（Ｒ１１、Ｒ１２、Ｒ１３、Ｒ１４）に分割して各領域の平均輝度を求める。さらにステップ１００４において、閾値Ｔｈ１≦各平均輝度≦閾値Ｔｈ２の条件を満たすか否かを判定する。いずれの領域も条件を満たしていれば、撮影された映像の品質は良いと考えられるため、ステップ１００５に進む。一つでも条件を満たさない詳細領域が有る場合は、物体検出には適さない映像と判定して、表示装置にエラーメッセージを送信し（ステップ１０１２）、処理を終了する。ここまでは、実施例１のステップ６０１から６０４と同様の処理である。
【００７２】
ステップ１００５において、候補点検出部１３は、メモリ９０から過去の画像Ｎ−１を読み込み、現在の画像Ｎと過去の画像Ｎ−１を用いて、式３により、差分画像を算出する。次に、画像Ｎからエッジ画像を求める。前記差分画像と前記エッジ画像を用いて、式２により、画像Ｎ内の候補点を検出する。画像Ｎ−１は必ずしも、直前の画像Ｎの直前のフレームである必要はない。しかし、画像Ｎに写っている検査対象の領域と重複する部分が写っている画像を画像Ｎ−１の代わりに用いることで、検出対象物体をもれなく検出することが可能となる。
【００７３】
ステップ１００６において、物体検出部１４は、例えば、従来技術であるＨｏｕｇｈ変換等を用いて、ステップ１００５で求めた候補点の情報から有効線分を検出し、有効線分の数Ｃｎｔ２を求める。
【００７４】
ステップ１００７において、線分数Ｃｎｔ２と閾値Ｔｈ８（例えば、１）との比較を行う。すなわち、Ｃｎｔ２≧閾値Ｔｈ８の場合、物体検出部１４は、ステップ１００８に進む。ステップ１００８において、物体検出部１４は、有効線分を構成する候補点を全てマスク処理で除去することで、撮像装置の影を示す候補点を除去する。ステップ１００７において、有効線分の数が条件を満たさなかった場合には影は写っていなかったと判定され、物体検出部１４はステップ１００９に進む。
【００７５】
ステップ１００９において、出力部１５は、物体検出部１４で求めた候補点の個数ｅ＿ｃｎｔが、式４を満たすか否かを判定する。閾値Ｔｈ６≦ｅ＿ｃｎｔ≦閾値Ｔｈ７の場合、出力部１５は、ステップ１０１０に進む。ステップ１０１０において、検出した全ての候補点を囲む検出枠を画像上に描画し、検出枠描画後の画像およびその画像撮影時のＧＰＳ位置情報をメモリ９０に保存する。ステップ１００９において、条件を満たさなかった場合、出力部１５は、ステップ１０１１に進む。ステップ１０１１において、入力画像および入力画像撮影時のＧＰＳ位置情報をメモリ９０に保存する。
【００７６】
このように、本実施例では実施例１とは異なり、有効線分を構成する候補点は、検出対象物ではないとして除去する処理を行っている。これにより、撮像装置等の影が写りこんでいる場合でも、影を除去して候補点を抽出することができる。とくに、検出対象の形状が不明な場合には、パターン認識技術で検出対象だけを切り出すことができないため、本発明による効果が大きい。
【００７７】
以上説明した各実施例によれば、いずれの場合も、より好適に背景内の物体を検出することが可能となる。また、以上説明した各図、各方法等の実施例のいずれを組み合わせても、本発明の実施の形態となりうる。
【符号の説明】
【００７８】
１…画像処理装置、
１０…入力部、
１１…領域設定部、
１２…品質判定部、
１３…候補点検出部、
１４…物体検出部、
１５…出力部、
９０…メモリ、
９１…制御部。
【図１】
0006348020.tif 000006
【図２】
0006348020.tif 000007
【図３】
0006348020.tif 000008
【図４】
0006348020.tif 000009
【図５】
0006348020.tif 000010
【図６】
0006348020.tif 000011
【図７】
0006348020.tif 000012
【図８】
0006348020.tif 000013
【図９】
0006348020.tif 000014