(57)【要約】【課題】簡易な構成で直線成分を検出することができる画像監視装置および画像監視システムを提供する。【解決手段】本発明の一形態に係る画像監視装置は、取得部と、前処理部と、判定部とを具備する。上記取得部は、移動体に設置されたカメラにより撮像された視野画像を取得する。上記前処理部は、上記視野画像を所定の輝度閾値で二値化した二値化画像に変換する。上記判定部は、上記二値化画像に基づいて一軸方向に連続する上記輝度閾値以上の対象画素をカウントし、上記対象画素の数が所定値以上の画素領域を検出対象として抽出する。【選択図】図１
2019080125.tif 000002
【特許請求の範囲】
【請求項１】
移動体に設置されたカメラにより撮像された視野画像を取得する取得部と、
前記視野画像を所定の輝度閾値で二値化した二値化画像に変換する前処理部と、
前記二値化画像に基づいて一軸方向に連続する前記輝度閾値以上の対象画素をカウントし、前記対象画素の数が所定値以上の画素領域を検出対象として抽出する判定部と
を具備する画像監視装置。
【請求項２】
請求項１に記載の画像監視装置であって、
前記判定部は、前記対象画素を中心とする周辺の８画素のうち少なくとも１つの画素が前記輝度閾値以上である場合は、前記１つの画素を対象画素としてカウントする
画像監視装置。
【請求項３】
請求項１又は２に記載の画像監視装置であって、
前記判定部は、前記対象画素の数が所定値以上の画素領域のうち、前記対象画素の数が最大値となる線を検出対象として抽出する
画像監視装置。
【請求項４】
請求項１〜３のいずれか１つに記載の画像監視装置であって、
前記取得部は、前記視野画像として移動体の走行路面の画像を取得し、
前記判定部は、水平方向に延びる所定以上の長さの直線を検出対象として抽出する
画像監視装置。
【請求項５】
請求項１〜４のいずれか１つに記載の画像監視装置であって、
検出対象の存在を知らせる画像情報、あるいは音、光等の報知情報を出力するための制御信号を生成する信号生成部をさらに具備する
画像監視装置。
【請求項６】
請求項５に記載の画像監視装置であって、
前記判定部は、前記視野画像の所定領域を検出対象の探索領域として設定し、
前記信号生成部は、前記探索領域内に検出対象が抽出された場合に前記制御信号を生成する
画像監視装置。
【請求項７】
移動体に設置されたカメラと、
前記カメラにより撮像された視野画像を取得する取得部と、
前記視野画像を所定の輝度閾値で二値化した二値化画像に変換する前処理部と、
前記二値化画像に基づいて一軸方向に連続する前記輝度閾値以上の対象画素をカウントし、前記対象画素の数が所定値以上の画素領域を検出対象として抽出する判定部と、
前記視野画像を表示する表示部と、
検出対象の存在を知らせる画像情報を前記表示部に前記視野画像に重畳して表示させるための制御信号を生成する表示制御部と
を具備する画像監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視野画像から検出対象を検出する画像監視装置および画像監視システムに関する。
【背景技術】
【０００２】
画像上に存在する対象物の中で線成分を持つものを抽出するアルゴリズムとして、ハフ変換が知られている。例えば特許文献１には、車両に対し所定状態で取り付けられた撮像装置により取得した路面画像を画像処理して、平行に描かれた車線を、ハフ変換を基本としたアルゴリズムで検出する車線検出方法および装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２１９７６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ハフ変換処理は、アルゴリズムが複雑で演算負荷が高く、処理時間に問題がある。そのため、高速演算が可能な演算装置が必要となり、低コストで簡易な画像監視システムを構築することが困難である。
【０００５】
以上のような事情に鑑み、本発明の目的は、簡易な構成で直線成分を検出することができる画像監視装置および画像監視システムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一形態に係る画像監視装置は、取得部と、前処理部と、判定部とを具備する。
上記取得部は、移動体に設置されたカメラにより撮像された視野画像を取得する。
上記前処理部は、上記視野画像を所定の輝度閾値で二値化した二値化画像に変換する。
上記判定部は、上記二値化画像に基づいて一軸方向に連続する上記輝度閾値以上の対象画素をカウントし、上記対象画素の数が所定値以上の画素領域を検出対象として抽出する。
【０００７】
上記画像監視装置においては、一軸方向に連続する対象画素の数（直線の長さ）に着目し、これが所定値以上の画素領域を検出対象として抽出するように構成される。これにより、処理速度が改善され、高価な演算装置を用いることなく簡易な構成で直線成分を検出することができる。
【０００８】
上記判定部は、上記対象画素を中心とする周辺の８画素のうち少なくとも１つの画素が上記輝度閾値以上である場合は、上記１つの画素を対象画素としてカウントするように構成されてもよい。
視野画像の二値化画像における対象画素とそれ以外の画素との境界部は必ずしもきれいな直線になるとは限られない。そこで、注目すべき対象画素の周囲画素に１つでも他の対象画素が存在する場合は、これらを同一の直線を形成する画素とみなしてカウントの対象とすることで、長さの誤検出を防ぐことが可能となる。
【０００９】
上記判定部は、上記対象画素の数が所定値以上の画素領域のうち、上記対象画素の数が最大値となる線を検出対象として抽出するように構成されてもよい。
これにより検出対象をさらに限定することができるため、例えば、目的とする検出対象の有無等の判定に好適である。
【００１０】
上記取得部は、上記視野画像として移動体の走行路面の画像を取得し、上記判定部は、水平方向に延びる所定以上の長さの直線を検出対象として抽出するように構成されてもよい。
これにより、例えば、停止線や横断歩道などの路上標示物を検出することができる。
【００１１】
上記画像監視装置は、信号生成部をさらに具備してもよい。上記信号生成部は、検出対象の存在を知らせる画像情報、あるいは音、光等の報知情報を出力するための制御信号を生成する。
これにより、ユーザに路上への注意喚起を促すことができる。
【００１２】
上記判定部は、上記視野画像の所定領域を検出対象の探索領域として設定し、上記信号生成部は、上記探索領域内に検出対象が抽出された場合に上記制御信号を生成するように構成されてもよい。
探索領域を設定することにより、演算負荷の更なる低減を図ることができるとともに、検出対象の位置の特定が容易となる。
【００１３】
本発明の一形態に係る画像監視システムは、カメラと、取得部と、前処理部と、判定部と、表示部と、表示制御部とを具備する。
上記カメラは、移動体に設置される。
上記取得部は、上記カメラにより撮像された視野画像を取得する。
上記前処理部は、上記視野画像を所定の輝度閾値で二値化した二値化画像に変換する。
上記判定部は、上記二値化画像に基づいて一軸方向に連続する上記輝度閾値以上の対象画素をカウントし、上記対象画素の数が所定値以上の画素領域を検出対象として抽出する。
上記表示部は、上記視野画像を表示する。
上記表示制御部は、検出対象の存在を知らせる画像情報を上記表示部に上記視野画像に重畳して表示させるための制御信号を生成する。
【発明の効果】
【００１４】
以上述べたように、本発明によれば、簡易な構成で直線成分を検出することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る画像監視システムの構成を示すブロック図である。
【図２】上記画像監視システムを備えた移動体の概略側面図である。
【図３】上記画像監視システムの作用を説明する図である。
【図４】上記画像監視システムにおける表示部に表示される視野画像の一例を示す模式図である。
【図５】本発明の一実施形態に係る画像監視装置の動作手順を示すフローチャートである。
【図６】視野画像に設定される探索領域の配置の変形例を示す模式図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照しながら、本発明の実施形態を説明する。
【００１７】
図１は本発明の一実施形態に係る画像監視システム１００の構成を示すブロック図、図２は画像監視システム１００を備えた移動体１の概略側面図、図３は画像監視システム１００の作用の説明図である。
【００１８】
［画像監視システム］
図１及び図２に示すように、本実施形態の画像監視システム１００は、画像監視装置１０と、カメラ２０と、表示部３０とを備える。
【００１９】
画像監視システム１００は、例えば、工場内で運行される移動体１（本例では、フォークリフト）に搭載され、移動体の走行路上における所定の検出対象の存在の有無を判定し、検出対象を検出した場合にはその旨をオペレータへ報知する運行支援システムとして構成される。検出対象としては、後述する路上標示物や路上落下物等が含まれる。
【００２０】
画像監視装置１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のコンピュータに用いられるハードウェア要素および必要なソフトウェアにより実現され得る。ＣＰＵに代えて、またはこれに加えて、ＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ(Programmable Logic Device)、あるいは、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、その他ＡＳＩＣ（Application Specific Integrated Circuit）等が用いられてもよい。
【００２１】
［画像監視装置］
画像監視装置１０は、機能ブロックとして、取得部１１と、前処理部１２と、判定部１３と、表示制御部１４と、通信部１５と、メモリ１６とを有する。
【００２２】
（取得部）
取得部１１は、移動体１に設置されたカメラ２０（２１，２２）により撮像された視野画像を時系列的に取得するように構成される。取得部１１は、カメラ２０に対する撮影の指示およびその停止を制御することが可能に構成されてもよい。
【００２３】
カメラ２０は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を有し、移動体１の進行方向の視野を撮影するビデオカメラで構成される。カメラ２０は、図２に示すように前進用および後退用の２台のカメラ２１，２２を備えていてもよい。カメラ２０は、移動体１の走行方向の路面（あるいは床面）Ｓを撮影することが可能に移動体１の適宜の場所に設置される。
【００２４】
視野画像は、典型的には、移動体１の走行方向の視野を撮影した動画であり、主として、移動体１の走行方向における路面Ｓおよびその周囲の画像を含む。取得した視野画像のデータは、メモリ１６に蓄積され、あるいは、通信部１５を介して管理装置４０へ無線送信される。
【００２５】
（前処理部）
前処理部１２は、図３（Ａ），（Ｂ）に示すように、取得部１１で取得された視野画像Ｖ１を所定の輝度閾値で二値化した二値化画像Ｖ２に変換するように構成される。二値化画像Ｖ２への変換方法は特に限定されず、例えば特定色を抽出する適宜のアルゴリズムを用いることができる。
【００２６】
典型的には、前処理部１２は、視野画像がカラー画像の場合はそれをグレースケール画像に変換し、そのグレースケール画像の濃淡を白と黒の２階調に変換する。視野画像がモノクロ画像の場合には、その濃淡が白と黒の２階調に変換される。これにより視野画像の各画素は、その輝度値に基づいて、当該輝度値が閾値以上の場合は白に、閾値未満の場合は黒にそれぞれ置き換えられる。
【００２７】
前処理部１２は、生成された二値化画像Ｖ２をエッジ処理（エッジ検出）するように構成されてもよい。これにより、視野画像Ｖ１内の各種構造物（路上物や路面標示物）の輪郭あるいは路面との境界部が強調表示されたエッジ画像Ｖ３を得ることができる（図３（Ｃ））。
【００２８】
（判定部）
判定部１３は、視野画像Ｖ１の二値化画像Ｖ２（あるいはエッジ画像Ｖ３）に基づいて、一軸方向に連続する輝度閾値以上の対象画素（白画素）をカウントし、上記対象画素の数が所定値以上の画素領域を検出対象として抽出するように構成される。
【００２９】
検出対象は特に限定されず、本実施形態では、移動体１が走行する路面（床面）上に存在する直線成分をもった路上物、例えば、走行領域を規定する車線、荷物の載置区画を表示する枠線、一時停止ラインや進行方向の標識（あるいは標示）といった路上標示物が対象とされる。これらの路上標示物は、路面を構成する床材（コンクリートやアスファルト、あるいはこれらの上に塗工された塗膜）の上に、床材とは異なる色でペイントされ、あるいは貼り付けられている。
【００３０】
本実施形態では、水平方向に延びる所定以上の長さの直線（以下単に、横線ともいう）を検出対象としている。このような横線としては、典型的には、一時停止ラインや横断歩道等が挙げられる。この場合、判定部１３は、二値化画像Ｖ３に基づいて水平方向に連続する輝度閾値以上の対象画素をカウントし、その対象画素の数が所定値以上の画素領域を検出対象（路上標示物ＶＦ）として抽出するように構成される（図３（Ｄ））。
【００３１】
検出対象として所定値以上の数の対象画素に限定することにより、視野画像Ｖ１内において一軸方向に所定以上の長さにわたって連続する有意の横線のみを選択的に抽出することが可能となる。これにより、視野画像Ｖ１内のあらゆる横線成分を抽出するよりも処理速度の向上を図ることができるとともに、ノイズの影響を少なくして検出対象の誤検出を抑えることができる。
【００３２】
これに代えて、判定部１３は、対象画素の数が所定値以上の画素領域のうち、対象画素の数が最大値となる線を検出対象として抽出するように構成されてもよい。これにより、検出対象をさらに限定することができるため、例えば、目的とする検出対象の有無等の判定に好適である。
【００３３】
上記所定値は特に限定されず、検出すべき対象物の横線の長さに応じて適宜設定することができる。上記所定値は固定値でもよいが、ユーザによって任意に設定可能な可変値であってもよい。
【００３４】
対象画素のカウント方法も特に限定されず、典型的には、視野画像Ｖ１（エッジ画像Ｖ３）のＸ座標方向（水平方向）に操作を行い、上記輝度閾値以上の画素を対象画素としてカウントするのが簡便である。その一方で、線を画素単位で見ると、対象画素がきれいな直線として水平方向に連続して配列されることは少なく、図３（Ｅ）に示すように、アンチエイリアス上にデータが存在する場合が多いため、単純な横線操作では長さを誤って検出するおそれがある。
【００３５】
そこで本実施形態において判定部１３は、対象画素を中心とする周辺の８画素のうち少なくとも１つの画素が輝度閾値以上である場合は、当該１つの画素を対象画素としてカウントするように構成される。例えば図３（Ｅ）に示すように、注目すべき対象画素Ｖｐを中心とする９つの画素領域Ｆのうち対象画素Ｖｐ以外に１つでも対象画素（白画素）がある場合は、当該画素がカウントに含められる。これにより、対象画素Ｖｐの同一の行（水平ライン）に属する画素だけでなく、その直上または直下の行（水平ライン）に属する画素も対象画素としてカウントするため、検出するべき横線を精度よく抽出することができる。
【００３６】
判定部１３は、所定のフレーム単位で視野画像における検出対象（路上標示物ＶＦ）の存在の有無を判定するように構成される。判定部１３は、典型的には、取得部１１により時系列的に取得される視野画像Ｖ１を１フレーム単位で更新するが、数フレームあるいは数十フレーム単位で更新するようにしてもよい。
【００３７】
（表示制御部）
表示制御部１４（信号生成部）は、視野画像Ｖ１を表示する表示部３０へ検出対象の存在を知らせる画像情報を表示させるための制御信号を生成するように構成される。これにより、表示部３０を介してユーザ（あるいはオペレータ）に路上への注意喚起を促すことができる。上記制御信号は、上記画像情報に代えて又はこれに加えて、図示しないスピーカやランプ等から音や光等の報知情報を出力することが可能に構成されてもよい。
【００３８】
表示部３０は、カメラ２０で撮影された視野画像Ｖ１を表示することが可能な液晶表示装置や有機ＥＬ表示装置等で構成され、典型的には、図２に示すように移動体１の運転席等に設置される。
【００３９】
図４（Ａ），（Ｂ）は、表示部３０に表示される視野画像Ｖ１の一例を示す模式図である。同図に示すように、表示部３０には視野画像Ｖ１として移動体１の進行方向の前方視野が表示される。ここで前方視野とは、移動体１が前進している場合はカメラ２１により撮影される画像であり、移動体１が後退している場合はカメラ２２により撮影される画像である。
【００４０】
表示制御部１４は、視野画像Ｖ１に重畳して、図４（Ａ），（Ｂ）において二点鎖線で示す探索領域Ｗが表示される。探索領域Ｗは、検出対象の存在の有無を判定する領域であり、ここでは、探索領域Ｗとして、視野画像Ｖ１の一部に設定された矩形の枠線で表示される。これに限られず、探索領域Ｗは、円形が楕円形、台形等の他の形状の枠線で表示されてもよい。また、探索領域Ｗは、単数に限られず、後述するように複数設定されてもよい。
【００４１】
表示制御部１４は、判定部１３において探索領域Ｗ内に検出対象（路上標示物ＶＦ）が存在しないと判定されたときは、探索領域Ｗを囲む矩形の枠線を例えば緑色で表示する。一方、表示制御部１４は、判定部１３において探索領域Ｗ内に検出対象（路上標示物ＶＦ）が存在すると判定されたとき、探索領域Ｗを囲む矩形の枠線を例えば赤色で強調表示する。この場合、枠線を太線で表示したり、点滅表示したりしてもよい。
【００４２】
（その他）
通信部１５は、画像監視装置１０と管理装置４０との間で情報を送受信することが可能なアンテナ等を含む通信モジュールを備える。通信部１５は、取得部１１で取得されたカメラ２０の画像、判定部１３において上記所定のフレーム単位で抽出された横線や検出対象の存在の有無に関する情報等を管理装置４０へ出力するように構成される。
なお、通信部１５の設置は任意であり、必要に応じて省略されてもよい。
【００４３】
メモリ１６は、画像監視装置１０の各部の動作を実行するプログラムソフトウェアや演算パラメータが格納される。メモリ１６は、取得部１１において取得された視野画像Ｖ１、前処理部１２において変換され又は生成されたグレースケール画像Ｖ２やエッジ画像Ｖ３、判定部１３における検出対象の存在の有無の判定結果等が格納されてもよい。
なお、メモリ１６は、画像監視装置１０とは別の記憶装置で構成されてもよい。
【００４４】
［画像監視システムの動作］
次に、本実施形態の画像監視システム１００の典型的な動作について説明する。
【００４５】
図５は、画像監視装置１０の動作手順を示すフローチャートである。
【００４６】
移動体１が走行を開始すると、取得部１１は、カメラ２０から路面Ｓの視野画像Ｖ１を時系列的に取得する（ステップ１０１）。視野画像Ｖ１は、表示部３０に表示される。表示部３０には、図４（Ａ）に示すように、検出対象の探索領域Ｗが視野画像Ｖ１と重畳して表示される。
【００４７】
続いて、前処理部１２は、図３（Ａ）〜（Ｃ）に示すように、視野画像Ｖ１を所定の輝度閾値で二値化した二値化画像Ｖ２に変換し、さらにその二値化画像Ｖ２のエッジ画像Ｖ３を生成する（ステップ１０２）。
【００４８】
続いて、判定部１３は、図３（Ｄ），（Ｅ）に示すように、エッジ画像Ｖ３に基づいて、水平方向に連続する上記輝度閾値以上の対象画素をカウントする。そして、対象画素のカウント数が所定値以上であるか否かに基づいて、視野画像Ｖ１内における検出対象（路上標示物ＶＦ）の有無を判定し、対象画素のカウント数が所定値以上の場合に、その画素領域を検出対象として抽出する（ステップ１０３）。
【００４９】
表示制御部１４は、図４（Ａ）に示すように、探索領域Ｗにおいて検出対象（路上標示物ＶＦ）が発見されない場合は、次フレームの視野画像を対象として上述の検出対象の抽出作業が実行される。一方、表示制御部１４は、図４（Ｂ）に示すように、探索領域Ｗにおいて検出対象（路上標示物ＶＦ）が発見された場合は、視野画像Ｖ１の探索領域Ｗの枠線を強調表示させる制御信号を生成する（ステップ１０５）。
【００５０】
以上の処理は、移動体１の運転が終了するまで繰り返し実行される（ステップ１０６）。
【００５１】
本実施形態の画像監視システム１および画像監視装置１０は、一軸方向（水平方向）に連続する対象画素の数（直線の長さ）に着目し、これが所定値以上の画素領域を検出対象として抽出するように構成される。これにより、しかもハフ変換のような複雑なアルゴリズムを処理するのに必要な高価な演算装置を用いることなく、簡易な構成で直線成分を検出することができる。
【００５２】
また本実施形態によれば、一軸方向に連続する対象画素の数をカウントし、対象画素の数が所定値以上の画素領域を検出対象として抽出するように構成されているため、演算に要する時間を短くすることができ、したがって比較的短時間で検出対象の有無を判定することができる。
【００５３】
さらに本実施形態によれば、視野画像Ｖ１の所定領域を検出対象の探索領域Ｗとして設定し、その探索領域内に検出対象が抽出された場合に表示を制御するように構成されている。このように視野画像の一部に探索領域を設定することにより、検出対象の有無の判定に必要な演算負荷がよりいっそう低減されるとともに、検出対象の位置の特定が容易となる。
【００５４】
探索領域Ｗは、１つに限られず、複数設定されてもよい。例えば図６（Ａ），（Ｂ）に２つの探索領域Ｗ１，Ｗ２が設定された視野画像Ｖ１を示す。探索領域Ｗ１，Ｗ２は、視野画像Ｖ１において上下方向に配置された矩形の枠線で区画される。移動体１が走行すると、検出対象（路上標示物ＶＦ）は探索領域Ｗ１および探索領域Ｗ２において順次検出される。これにより、検出対象が移動体１に接近する様子がすることができる。
【００５５】
以上、本発明の実施形態について説明したが、本発明は上述の実施形態にのみ限定されるものではなく種々変更を加え得ることは勿論である。
【００５６】
例えば以上の実施形態では、検出対象として、停止線等の水平方向に連続する所定長さの線成分を有する路上標示物ＶＦを例に挙げて説明したが、車線等の垂直方向（視野画像内では斜め方向）に連続する所定長さの線成分を有する路上標示物を検出対象とすることも可能である。
【００５７】
以上の実施形態では、移動体１としてフォークリフトを例に挙げて説明したが、これに限られず、一般車両や自律走行ロボット等の有人または無人の他の移動体であってもよい。また、移動体１は、走行体に限られず、ドローン等の飛行体であってもよい。この場合、天井の梁や柱、建物の壁面等を検出対象とすることができる。
【００５８】
また、以上の実施形態では検出対象として路上標示物ＶＦを例に挙げて説明したが、これに限られず、路面Ｓに落下した物体（路上落下物）等の標示物以外の他の物体の検出にも、本発明は適用可能である。
【００５９】
さらに以上の実施形態では、視野画像Ｖ１の探索領域Ｗに検出対象が検出された場合、探索領域Ｗを区画する枠線を表示部３０において強調表示するように構成されたが、上述したように、これに代えて又は加えて、音や光等によりオペレータへ注意を喚起することが可能なブザー、ランプその他の警報器が設置されてもよい。
【符号の説明】
【００６０】
１０…画像監視システム
１０…画像監視装置
１１…取得部
１２…前処理部
１３…判定部
１４…表示制御部（信号生成部）
２０…カメラ
３０…表示部
Ｖ１…視野画像
Ｖ２…グレースケール画像
Ｖ３…エッジ画像
ＶＦ…路上標示物
Ｗ，Ｗ１，Ｗ２…探索領域
【図１】
2019080125.tif 000003
【図２】
2019080125.tif 000004
【図３】
2019080125.tif 000005
【図４】
2019080125.tif 000006
【図５】
2019080125.tif 000007
【図６】
2019080125.tif 000008