(57)【特許請求の範囲】
【請求項１】
撮像装置の撮像画像に検出対象に関する画像が含まれるかを検出する物体検出システムであって、
画像から画像特徴を抽出する画像特徴抽出部と、
各検出対象に関する参照用画像から抽出した画像特徴である参照用画像特徴の各検出対象に対する特有性を表す尤度を参照可能に記憶する尤度記憶部と、
前記撮像画像の各画像特徴に最も類似する参照用画像特徴の各検出対象に対する尤度に基づいて各検出対象に対応する尤度画像を生成する尤度画像生成部と、
各検出対象に対応する尤度画像に基づいて前記検出対象の存否を判定する存否判定部と、
を有する物体検出システム。
【請求項２】
特定の１つの検出対象に対応する尤度画像の各画素は、前記撮像画像の各画素に対応し、且つ、前記撮像画像の各画像特徴に最も類似する参照用画像特徴の該特定の１つの検出対象に対する尤度を画素値として有する、
請求項１に記載の物体検出システム。
【請求項３】
前記存否判定部は、各検出対象に対応する尤度画像から生成される積分画像に基づいて前記撮像画像に含まれる前記検出対象に関する画像の前記撮像画像における位置を特定し、
前記積分画像の各画素の画素値は、対応する尤度画像の原点画素と各画素との２画素で定まる矩形領域に含まれる全画素の画素値の合計である、
請求項２に記載の物体検出システム。
【請求項４】
請求項１乃至３の何れか一項に記載の物体検出システムを搭載する作業機械。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体検出システム及びその物体検出システムを搭載する作業機械に関する。
【背景技術】
【０００２】
ショベルに取り付けられたカメラで撮像したショベルの周囲の画像における二次元コードとしてのマーカーの画像をパターンマッチングで認識する運転補助装置が知られている（特許文献１参照。）。この運転補助装置は、認識したマーカーの画像が表す内容（進入禁止領域に関する情報）を解読してその内容に応じてショベルの運転を補助する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１５１８３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の運転補助装置は、撮像した画像の全域にわたって探索窓の大きさと位置を変化させながらその探索窓内の画像と既登録の参照マーカー画像との照合処理を繰り返してマーカー画像を認識する。そのため、照合回数が膨大となり処理時間を増大させてしまう。
【０００５】
上述の点に鑑み、撮像画像内に所定の検出対象に関する画像が含まれるか否かをより効率的に検出できる物体検出システム及びその物体検出システムを搭載する作業機械を提供することが求められる。
【課題を解決するための手段】
【０００６】
本発明の実施例に係る物体検出システムは、撮像装置の撮像画像に検出対象に関する画像が含まれるかを検出する物体検出システムであって、画像から画像特徴を抽出する画像特徴抽出部と、各検出対象に関する参照用画像から抽出した画像特徴である参照用画像特徴の各検出対象に対する特有性を表す尤度を参照可能に記憶する尤度記憶部と、前記撮像画像の各画像特徴に最も類似する参照用画像特徴の各検出対象に対する尤度に基づいて各検出対象に対応する尤度画像を生成する尤度画像生成部と、各検出対象に対応する尤度画像に基づいて前記検出対象の存否を判定する存否判定部と、を有する。
【０００７】
また、本発明の実施例に係る作業機械は、上述の物体検出システムを搭載する。
【発明の効果】
【０００８】
上述の手段により、撮像画像内に所定の検出対象に関する画像が含まれるか否かをより効率的に検出できる物体検出システム及びその物体検出システムを搭載する作業機械を提供できる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施例に係る物体検出システムが搭載されるショベルの側面図である。
【図２】物体検出システムの構成例を示す機能ブロック図である。
【図３】尤度記憶部による処理の説明図である。
【図４】尤度記憶処理の流れを示すフローチャートである。
【図５】尤度画像生成処理の流れを示すフローチャートである。
【図６】存否判定処理の流れを示すフローチャートである。
【図７】入力画像、尤度画像、及び出力画像の関係の一例を示す図である。
【図８】積分画像の特徴を説明する図である。
【発明を実施するための形態】
【００１０】
図１は、本発明の実施例に係る物体検出システム１００が搭載される作業機械としてのショベルの側面図を示す。ショベルの下部走行体１には旋回機構２を介して上部旋回体３が搭載される。上部旋回体３にはブーム４が取り付けられる。ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にはバケット６が取り付けられる。ブーム４、アーム５、及びバケット６は掘削アタッチメントを構成し、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９によりそれぞれ油圧駆動される。また、上部旋回体３にはキャビン１０が設けられ且つエンジン等の動力源が搭載される。また、キャビン１０内にはコントローラ３０及び出力装置５０が設置される。また、上部旋回体３の上部には撮像装置４０が取り付けられる。なお、破線領域Ｒ４０は撮像装置４０の撮像範囲を表す。
【００１１】
図２は、物体検出システム１００の構成例を示す機能ブロック図である。物体検出システム１００は、主に、コントローラ３０、撮像装置４０、及び出力装置５０を含む。
【００１２】
コントローラ３０は、ショベルの駆動制御を行う制御装置である。本実施例では、コントローラ３０は、ＣＰＵ及び内部メモリを含む演算処理装置で構成され、内部メモリに格納されたプログラムをＣＰＵに実行させて各種機能を実現する。
【００１３】
また、コントローラ３０は、撮像装置４０の撮像画像に基づいてショベルの周辺に所定の検出対象が存在するかを判定し、その判定結果に応じて各種装置を制御する。所定の検出対象は予め設定される物体であり、例えば、ショベルの作業現場に設置される標識、ポスター、看板等である。なお、所定の検出対象は作業者等の人物であってもよい。本実施例では、コントローラ３０は、撮像装置４０の出力を受け、画像特徴抽出部３１、尤度記憶部３２、尤度画像生成部３３、及び存否判定部３４のそれぞれに対応するプログラムを実行する。そして、その実行結果に応じてショベルの駆動制御を実行し、或いは、出力装置５０から各種情報を出力させる。なお、コントローラ３０は、物体検出処理専用の制御装置であってもよい。
【００１４】
撮像装置４０は、監視空間としての所定の空間範囲を撮像して画像データを取得する装置であり、取得した画像データをコントローラ３０に対して出力する。本実施例では、撮像装置４０は、ＣＣＤ等の撮像素子を採用するカメラであり、ショベル後方の所定の空間範囲を撮像するようにショベルに取り付けられる。
【００１５】
出力装置５０は、各種情報を出力する装置であり、例えば、各種画像情報を表示する車載ディスプレイ、各種音声情報を音声出力する車載スピーカ等を含む。本実施例では、出力装置５０は、コントローラ３０からの制御指令に応じて各種情報を出力する。
【００１６】
画像特徴抽出部３１は、画像から画像特徴を抽出する機能要素である。本実施例では、画像特徴抽出部３１は、ＳＩＦＴ（Scale-Invariant Feature Transform）アルゴリズムを用いて画像中の画像特徴点（２次元座標）を特定し、それぞれの画像特徴点の画像特徴量（１２８次元の特徴ベクトル）を画像特徴として抽出する。なお、画像特徴抽出部３１は、ＳＵＲＦ(Speeded-Up Robust Features)アルゴリズム、ＯＲＢ(ORiented BRIEF (Binary Robust Independent Elementary Features))アルゴリズム、ＨＯＧ(Histograms of Oriented Gradients)アルゴリズム等の他のアルゴリズムを用いて画像特徴点及びその画像特徴量を抽出してもよい。また、画像特徴点はデンスサンプリング又はスパースサンプリングにより所定数のピクセル間隔で抽出されてもよい。例えば、６４０×４８０の画像から３ピクセル間隔で約３４０００点の特徴点を抽出する。なお、本実施例では、画像特徴抽出部３１は、撮像装置４０が出力する画像データの画像特徴点及びその画像特徴量を画像特徴として抽出する。
【００１７】
尤度記憶部３２は、各検出対象に関する参照用画像から抽出した画像特徴である参照用画像特徴の各検出対象に対する特有性を表す尤度を参照可能に記憶する機能要素である。参照用画像は学習フェーズで取得される画像である。本実施例では、尤度記憶部３２は、学習フェーズにおいて、予め選択された５種類の標識のそれぞれに関する参照用画像から参照用画像特徴を抽出する。例えば、参照用画像は１つの標識につき１００枚用意され、参照用画像特徴は１枚の参照用画像から１００個抽出される。１００枚の参照用画像は、１つの標識を様々な角度から撮像した画像である。この場合、尤度記憶部３２は、５００００個（５種類×１００枚×１００個）の参照用画像特徴のそれぞれについて、５種類の標識のそれぞれに対する特有性を表す２５００００個（５００００個×５種類）の尤度を導き出す。すなわち、１個の参照用画像特徴につき５つの尤度を導き出す。具体的には、尤度記憶部３２は、例えばＴＦ−ＩＤＦを尤度として採用する。ＴＦ−ＩＤＦは、本来、文書中の単語に関する重みであり、ｔｆ（term Frequency：単語の出現頻度）及びｉｄｆ(invert document frequency：逆文書頻度）の２つの指標で表される。本実施例では、ｔｆは５００枚の参照用画像における出現頻度の高い参照用画像特徴ほど高い値を示し、ｉｄｆは複数種類の標識に関する画像から横断的に抽出される参照用画像特徴ほど低い値を示す。そのため、ｔｆとｉｄｆの積であるｔｆ×ｉｄｆは、特定の標識のみで高い頻度で表れる参照用画像特徴ほど、すなわち特有性が高いほど高い値を示す。具体的には、第１の標識に関するｔｆは、第１の標識に関する参照用画像から抽出された参照用画像特徴の数を参照用画像特徴の総数で除した値である。また、第１の標識に関するｉｄｆは、参照用画像の総数を、第１の標識に関する参照用画像から抽出された参照用画像特徴を含む参照用画像の数で除した値である。第２〜第５の標識についても同様である。
【００１８】
図３は、尤度記憶部３２による処理を説明する図であり、図３（Ａ）が５種類の標識を示し、図３（Ｂ）及び図３（Ｃ）がそれぞれ５００００個の参照用画像特徴のうちの１つに関する尤度分布図を示す。具体的には、図３（Ｂ）は、標識Ｂの参照用画像から抽出した１つの参照用画像特徴の標識Ｂに対する尤度が他の４つの標識のそれぞれに対する尤度より顕著に高く、その１つの参照用画像特徴の特有性が高いことを表す。一方で、図３（Ｃ）は、標識Ａの参照用画像から抽出した１つの参照用画像特徴の５つの標識のそれぞれに対する尤度が何れも同程度であり、その１つの参照用画像特徴の特有性が低いことを表す。
【００１９】
また、尤度記憶部３２は、上述のようにして導き出した各参照用画像特徴に対応する５つの尤度を参照可能に尤度データベースに記憶する。そのため、尤度データベースを参照するコントローラ３０は、参照用画像特徴を特定することで５つの尤度を特定できる。
【００２０】
また、尤度記憶部３２は、ベクトル量子化により画像特徴量である特徴ベクトルをクラスタリングして代表ベクトルを求めることで参照用画像特徴の数を減らしてもよい。なお、ベクトル量子化には、例えば、ｋ−ｍｅａｎｓ＋＋法と階層的ｋ−ｍｅａｎｓ−ｔｒｅｅの組み合わせ、ｋ−ｍｅａｎｓ＋＋法とｋｄ−ｔｒｅｅの組み合わせ等が利用される。
【００２１】
ここで、図４を参照し、コントローラ３０が尤度を記憶する処理（以下、「尤度記憶処理」とする。）の具体例について説明する。なお、図４は、尤度記憶処理の流れを示すフローチャートであり、コントローラ３０は、学習フェーズにおいてこの尤度記憶処理を実行する。
【００２２】
最初に、コントローラ３０は、参照用画像を取得する（ステップＳ１）。本実施例では、コントローラ３０は、撮像装置４０の撮像画像から参照用画像を取得する。例えば、ショベルの操作者は、タッチパネル等の入力装置（図示せず。）を利用し、出力装置５０としての車載ディスプレイに表示される参照用画像取得画面の画像取得開始ボタンを押下して参照用画像の取得を開始させる。このとき、ショベルの周囲にいる作業者は、撮像装置４０の撮像範囲内の所定位置に検出対象（標識）を提示する。提示の際、作業者は、様々な角度及び大きさで検出対象が撮像されるようにその標識の姿勢を変化させる。このようにして、コントローラ３０は、標識に関する所定枚数の参照用画像を取得する。
【００２３】
その後、コントローラ３０は全ての参照用画像を取得したかを判定する（ステップＳ２）。本実施例では、コントローラ３０は、全ての検出対象（標識）の提示が終了したかの確認を操作者に求める確認画面を車載ディスプレイに表示する。そして、操作者が確認画面の終了ボタンを押下した場合に、全ての参照用画像を取得したと判定する。また、操作者は、別の検出対象（標識）の参照用画像を取得させる場合には、確認画面の画像取得開始ボタンを押下して別の標識の参照用画像の取得を開始させる。そして、ショベルの周囲にいる作業者は、上述のように、撮像装置４０の撮像範囲内の所定位置に別の検出対象（標識）を提示する。
【００２４】
参照用画像の取得はコントローラ３０が全ての参照用画像を取得したと判定するまで繰り返される（ステップＳ２のＮＯ）。
【００２５】
そして、全ての参照用画像を取得したと判定すると（ステップＳ２のＹＥＳ）、コントローラ３０の画像特徴抽出部３１は、各参照用画像から参照用画像特徴を抽出する（ステップＳ３）。本実施例では、５種類の標識に関して１００枚ずつ参照用画像が取得されたときに操作者は確認画面の終了ボタンを押下する。そして、終了ボタンが押下されると、画像特徴抽出部３１は、５００枚の参照用画像から１００個ずつ参照用画像特徴を抽出する。
【００２６】
その後、コントローラ３０の尤度記憶部３２は、各参照用画像特徴の各検出対象に対する尤度を算出して記憶する（ステップＳ４）。本実施例では、尤度記憶部３２は、５００００個の参照用画像特徴のそれぞれについて５種類の標識に対する尤度を算出して尤度データベースに記憶する。
【００２７】
次に、尤度画像生成部３３について説明する。尤度画像生成部３３は、撮像画像の各画像特徴に最も類似する参照用画像特徴（以下、「最類似参照用画像特徴」とする。）の各検出対象に対する尤度に基づいて各検出対象に対応する尤度画像を生成する機能要素である。本実施例では、尤度画像生成部３３は、学習フェーズが終了した後の認識フェーズにおいて、撮像装置４０が撮像した撮像画像の画像特徴に最も類似する参照用画像特徴を導き出す。なお、撮像画像の画像特徴は、画像特徴抽出部３１によって抽出される。具体的には、尤度画像生成部３３は、尤度データベースを参照し、５００００個の参照用画像特徴からその撮像画像の画像特徴に最も類似する参照用画像特徴を導き出す。例えば、尤度画像生成部３３は、任意の公知の手法を用いて撮像画像の画像特徴が有する画像特徴量と参照用画像特徴のそれぞれが有する画像特徴量との類似度を導き出し、最も高い類似度を示した参照用画像特徴を最も類似する参照用画像特徴として導き出す。類似度には、例えば、２つの画像特徴量間のユークリッド距離が採用される。
【００２８】
また、尤度画像生成部３３は、撮像画像の各画像特徴について最類似参照用画像特徴を導き出した上で尤度データベースを参照してその最類似参照用画像特徴に対応する５つの尤度を導き出す。５つの尤度は、５種類の標識のそれぞれに対する尤度である。そして、尤度画像生成部３３は、このようにして導き出した尤度を画素値とし、１つの撮像画像に対応する５つの尤度画像を生成する。そのため、本実施例では、５種類の標識のそれぞれに対応する５つの尤度画像のサイズは撮像画像のサイズと同じにしてある。なお、画素の配置形状が相似形であれば尤度画像のサイズは必ずしも撮像画像のサイズと同じである必要はない。例えば、１００×１００画素のサイズの撮像画像に対して尤度画像のサイズを１０×１０画素とし、撮像画像を１０×１０画素でエリア分けし、それぞれのエリアの画素合計値を尤度画像の１画素の画素値に対応させるようにすることもできる。
【００２９】
ここで、図５を参照し、コントローラ３０が尤度画像を生成する処理（以下、「尤度画像生成処理」とする。）の具体例について説明する。なお、図５は、尤度画像生成処理の流れを示すフローチャートであり、コントローラ３０は、認識フェーズにおいて撮像画像を取得する度にこの尤度画像生成処理を実行する。
【００３０】
最初に、コントローラ３０の画像特徴抽出部３１は、撮像画像の１画素の画像特徴量を抽出する（ステップＳ１１）。本実施例では、画像特徴抽出部３１は、デンスサンプリング又はスパースサンプリングでサンプリングされた画素の画像特徴量を抽出する。なお、画像特徴抽出部３１は、撮像画像の全ての画素から画像特徴量を抽出してもよい。
【００３１】
その後、コントローラ３０の尤度画像生成部３３は、現に抽出した画像特徴量を有する画像特徴に関して最類似参照用画像特徴を特定する（ステップＳ１２）。そして、尤度画像生成部３３は、最類似参照用画像特徴についての各検出対象に対する尤度を特定する（ステップＳ１３）。本実施例では、尤度画像生成部３３は、現に抽出した画像特徴量と尤度データベースに記憶された５００００個の参照用画像特徴のそれぞれが有する画像特徴量とを比較する。２つの画像特徴量の比較には、例えば２つの画像特徴量間のユークリッド距離が用いられるが、他の任意の公知の手法が用いられてもよい。そして、尤度画像生成部３３は、この比較結果に基づいて最類似参照用画像特徴を特定し、その最類似参照用画像特徴に対応付けられた５種類の標識のそれぞれに対応する５つの尤度を特定する。
【００３２】
その後、尤度画像生成部３３は、特定した各検出対象に対する尤度を、各検出対象に対応する尤度画像における対応画素の画素値に設定する（ステップＳ１４）。本実施例では、尤度画像生成部３３は、撮像画像の左上隅の画素の画像特徴量を抽出した場合には、現に特定した５つの尤度のそれぞれを、５つの尤度画像のそれぞれの左上隅の画素の画素値に設定する。具体的には、最類似参照用画像特徴の標識Ａに対する尤度を、標識Ａに対応する尤度画像の左上隅の画素の画素値に設定する。最類似参照用画像特徴の標識Ｂ〜標識Ｅのそれぞれに対する尤度についても同様である。
【００３３】
その後、尤度画像生成部３３は、サンプリングされた画素の全てから画像特徴量を抽出したかを判定する（ステップＳ１５）。本実施例では、尤度画像生成部３３は、デンスサンプリング又はスパースサンプリングでサンプリングされた画素の全てから画像特徴量を抽出したかを判定する。
【００３４】
そして、尤度画像生成部３３は、サンプリングされた画素の全てから画像特徴量を抽出するまで（ステップＳ１５のＮＯ）、ステップＳ１１〜ステップＳ１４までの処理を繰り返す。
【００３５】
そして、尤度画像生成部３３は、サンプリングされた画素の全てから画像特徴量を抽出したと判定した場合（ステップＳ１５のＹＥＳ）、今回の尤度画像生成処理を終了する。
【００３６】
次に、存否判定部３４について説明する。存否判定部３４は、各検出対象に対応する尤度画像に基づいて検出対象の存否を判定する機能要素である。本実施例では、存否判定部３４は、５種類の標識のそれぞれに対応する５つの尤度画像に基づいて撮像装置４０の監視空間内に標識が存在するか否かを判定する。
【００３７】
具体的には、存否判定部３４は、例えば標識Ａに対応する尤度画像における所定サイズの領域に含まれる画素の画素値（尤度）の合計が所定の閾値以上の場合に、その所定サイズの領域に標識Ａに関する画像が存在すると判定し、且つ、撮像装置４０の監視範囲内に標識Ａが存在すると判定する。また、存否判定部３４は、標識Ａに対応する尤度画像におけるその所定サイズの領域の位置から撮像装置４０の監視範囲内における標識Ａの存在位置を特定できる。なお、所定の閾値は、全ての検出対象に対して共通の値であってもよく、検出対象毎に異なる値であってもよい。
【００３８】
ここで、図６を参照し、コントローラ３０が監視空間における検出対象の存否を判定する処理（以下、「存否判定処理」とする。）の具体例について説明する。なお、図６は、存否判定処理の流れを示すフローチャートであり、コントローラ３０は、認識フェーズにおいて尤度画像を生成する度にこの存否判定処理を実行する。
【００３９】
最初に、コントローラ３０の存否判定部３４は、尤度画像上の所定サイズの矩形領域に含まれる画素の合計画素値を算出する（ステップＳ２１）。本実施例では、存否判定部３４は、最初に、標識Ａに対応する尤度画像における所定サイズの矩形領域に含まれる画素の合計画素値（合計尤度値）を算出する。
【００４０】
その後、存否判定部３４は、合計画素値が所定の閾値以上であるかを判定する（ステップＳ２２）。
【００４１】
そして、合計画素値が所定の閾値以上であると判定した場合（ステップＳ２２）、存否判定部３４は、監視空間内に検出対象が存在すると判定し、現在の矩形領域を検出対象の存在領域として表示する（ステップＳ２３）。本実施例では、存否判定部３４は、標識Ａに対応する尤度画像における所定サイズの矩形領域に含まれる画素の合計画素値が所定の閾値以上であると判定した場合、監視空間内に標識Ａが存在すると判定する。そして、標識Ａに対応する尤度画像における矩形領域に対応する撮像画像上の矩形領域に標識Ａに関する画像が存在すると判定する。そして、その撮像画像上の矩形領域を他の領域と区別できるようにした出力画像を出力装置５０に表示させる。
【００４２】
その後、存否判定部３４は、全ての尤度画像の全領域を探索したかを判定する（ステップＳ２４）。本実施例では、存否判定部３４は、５つの尤度画像のそれぞれの全領域にわたって矩形領域を移動させたかを判定する。
【００４３】
そして、全ての尤度画像の全領域をまだ探索していないと判定した場合（ステップＳ２４のＮＯ）、存否判定部３４は、矩形領域を移動させた上で（ステップＳ２５）、ステップＳ２１〜ステップＳ２３の処理を実行する。具体的には、存否判定部３４は、同じ尤度画像上で矩形領域を移動させ、或いは、別の尤度画像上に矩形領域を移動させた上で、ステップＳ２１〜ステップＳ２３の処理を実行する。
【００４４】
また、全ての尤度画像の全領域の探索が完了したと判定した場合（ステップＳ２４のＹＥＳ）、存否判定部３４は、今回の存否判定処理を終了する。
【００４５】
なお、存否判定部３４は、尤度画像上の位置に応じて矩形領域のサイズを適切に変更する。検出対象が撮像装置４０から遠くにあるほど検出対象に関する画像部分が小さくなるためである。また、矩形領域は、円形領域、楕円領域等の他の形状であってもよい。
【００４６】
次に、図７を参照し、撮像装置４０の撮像画像（入力画像）から生成される出力画像について説明する。なお、図７は、撮像装置４０の撮像画像（入力画像）Ｇ１と、５種類の標識のそれぞれに対応する５つの尤度画像Ｇ２Ａ〜Ｇ２Ｅと、出力装置５０に表示される出力画像Ｇ３との関係の一例を示す図である。この例では、入力画像Ｇ１は、標識Ａ及び標識Ｂのそれぞれに関する画像部分Ｇ１１及び画像部分Ｇ１２を含み、標識Ｃ〜Ｅのそれぞれに関する画像部分を含まない。また、尤度画像Ｇ２Ａ〜Ｇ２Ｅは、画素値（尤度）が高い画素を濃い色で表し、画素値（尤度）が低い画素を薄い色で表す。また、出力画像Ｇ３の矩形領域Ｇ３１及び矩形領域Ｇ３２は、コントローラ３０により検出対象（この例では標識Ａ及び標識Ｂ）に関する画像が存在すると判定された領域を表す。
【００４７】
コントローラ３０の尤度画像生成部３３は、入力画像Ｇ１の各画素から画像特徴量を抽出し、尤度データベースを参照してその画像特徴量を有する画像特徴に対する最類似参照用画像特徴を導き出す。そして、その最類似参照用画像特徴に対応付けられた５つの尤度のそれぞれを５つの尤度画像における対応する画素の画素値として設定する。そして、尤度画像生成部３３は、入力画像Ｇ１の１画素からの画像特徴量の抽出、最類似参照用画像特徴の導出、及び５つの尤度画像における対応する画素の画素値の設定を含む処理を入力画像Ｇ１の全ての画素に対して実行する。このようにして、尤度画像生成部３３は、標識Ａに対応する尤度画像Ｇ２Ａ、標識Ｂに対応する尤度画像Ｇ２Ｂ、標識Ｃに対応する尤度画像Ｇ２Ｃ、標識Ｄに対応する尤度画像Ｇ２Ｄ、及び標識Ｅに対応する尤度画像Ｇ２Ｅの５つの尤度画像を生成する。
【００４８】
その後、コントローラ３０の存否判定部３４は、５つの尤度画像のそれぞれで所定サイズの矩形領域に含まれる画素の合計画素値を導き出す。この例では、存否判定部３４は、標識Ａに対応する尤度画像Ｇ２Ａにおける矩形領域Ｇ２１Ａの合計画素値、及び、標識Ｂに対応する尤度画像Ｇ２Ｂにおける矩形領域Ｇ２２Ｂの合計画素値がともに所定の閾値以上であると判定する。また、存否判定部３４は、標識Ｃ〜標識Ｅのそれぞれに対応する尤度画像Ｇ２Ｃ〜Ｇ２Ｅには合計画素値が所定の閾値以上となる矩形領域が存在しないと判定する。
【００４９】
そして、存否判定部３４は、その判定結果から、矩形領域Ｇ２１Ａに対応する入力画像Ｇ１上の矩形領域に標識Ａに関する画像が存在すると判定し、且つ、矩形領域Ｇ２２Ｂに対応する入力画像Ｇ１上の矩形領域に標識Ｂに関する画像が存在すると判定する。また、存否判定部３４は、入力画像Ｇ１上には標識Ｃ〜標識Ｅのそれぞれに関する画像が存在しないと判定する。
【００５０】
その後、存否判定部３４は、上述の判定結果に基づいて出力画像Ｇ３を生成する。具体的には、標識が存在すると判定された入力画像Ｇ１上の矩形領域を他の領域と区別できるようにした出力画像Ｇ３を出力装置５０に表示させる。この例では、存否判定部３４は、矩形領域の境界線を強調表示させる。なお、出力画像Ｇ３における矩形領域Ｇ３１は、標識Ａが存在すると判定された入力画像Ｇ１上の矩形領域を表し、矩形領域Ｇ３２は、標識Ｂが存在すると判定された入力画像Ｇ１上の矩形領域を表す。
【００５１】
このように、存否判定部３４は、矩形領域Ｇ３１及び矩形領域Ｇ３２を含む出力画像Ｇ３を操作者に提示することで、標識Ａ及び標識Ｂの存在を操作者に通知できる。また、コントローラ３０は、存否判定部３４の判定結果に応じてショベルを適切に自動制御できる。
【００５２】
以上の構成により、物体検出システム１００は、各検出対象に関する参照用画像から抽出した参照用画像特徴の各検出対象に対する尤度を参照可能に記憶する。そして、撮像画像の各画像特徴に最も類似する参照用画像特徴の各検出対象に対する尤度に基づいて各検出対象に対応する尤度画像を生成する。その上で、各検出対象に対応する尤度画像に基づいて検出対象の存否を判定する。そのため、物体検出システム１００は、尤度画像を生成せずに撮像画像上の所定サイズの矩形領域に検出対象に関する画像が含まれるか否かを判定する度に合計画素値を算出する構成に比べ、監視空間内における検出対象の存否をより効率的に判定できる。
【００５３】
また、特定の１つの検出対象に対応する尤度画像の各画素は、撮像画像の各画素に対応し、且つ、撮像画像の各画像特徴に最も類似する参照用画像特徴のその特定の１つの検出対象に対する尤度を画素値として有する。そのため、物体検出システム１００は、尤度画像を利用することで、尤度の高い領域すなわち検出対象が存在する領域を高速に検出できる。そのため、検出対象に関する画像が撮像画像内に含まれるかをより効率的に判定できる。
【００５４】
次に、図８を参照し、積分画像を利用して存否判定部３４による判定の高速化を図る手法について説明する。なお、図８は、積分画像の特徴を説明する図である。
【００５５】
積分画像は、各尤度画像から生成される画像であり、基となる尤度画像と同じサイズを有する。また、積分画像の各画素の画素値は、対応する尤度画像の原点画素と各画素との２画素で定まる矩形領域に含まれる全画素の画素値の合計である。
【００５６】
具体的には、存否判定部３４は、図８（Ａ１）に示す標識Ａに対応する尤度画像Ｇ２Ａから、図８（Ａ２）に示す積分画像Ｇ４Ａを生成する。積分画像Ｇ４Ａの画素Ｐ０の画素値は、尤度画像Ｇ２Ａの左上隅の画素Ｘ０を原点画素とすると、斜線ハッチングで示す矩形領域Ｒ０に含まれる全ての画素の合計画素値となる。
【００５７】
そこで、図８（Ｂ１）に示す尤度画像Ｇ２Ａ上の矩形領域Ｔ１の合計画素値を導き出す場合を考える。
【００５８】
この場合、存否判定部３４は、図８（Ｂ１）及び図８（Ｂ２）に示すように、積分画像Ｇ４Ａの画素Ｐ１の画素値を取得する。画素Ｐ１は、矩形領域Ｔ１の右下隅の画素Ｘ１に対応し、画素Ｐ１の画素値は、図８（Ｂ１）の斜線ハッチングで示す矩形領域Ｒ１に含まれる全ての画素の合計画素値に対応する。
【００５９】
また、存否判定部３４は、図８（Ｃ１）及び図８（Ｃ２）に示すように、積分画像Ｇ４Ａの画素Ｐ２の画素値を取得する。画素Ｐ２は、矩形領域Ｔ１の右上隅の画素の真上にある画素Ｘ２に対応し、画素Ｐ２の画素値は、図８（Ｃ１）の斜線ハッチングで示す矩形領域Ｒ２に含まれる全ての画素の合計画素値に対応する。
【００６０】
また、存否判定部３４は、図８（Ｄ１）及び図８（Ｄ２）に示すように、積分画像Ｇ４Ａの画素Ｐ３の画素値を取得する。画素Ｐ３は、矩形領域Ｔ１の左下隅の画素の左隣にある画素Ｘ３に対応し、画素Ｐ３の画素値は、図８（Ｄ１）の斜線ハッチングで示す矩形領域Ｒ３に含まれる全ての画素の合計画素値に対応する。
【００６１】
同様に、存否判定部３４は、図８（Ｅ１）及び図８（Ｅ２）に示すように、積分画像Ｇ４Ａの画素Ｐ４の画素値を取得する。画素Ｐ４は、矩形領域Ｔ１の左上隅の画素の左斜め上にある画素Ｘ４に対応し、画素Ｐ４の画素値は、図８（Ｅ１）の斜線ハッチングで示す矩形領域Ｒ４に含まれる全ての画素の合計画素値に対応する。
【００６２】
その上で、存否判定部３４は、画素Ｐ１の画素値から、画素Ｐ２及び画素Ｐ３の画素値を減算し、画素Ｐ４の画素値を加算して矩形領域Ｔ１の合計画素値を導き出す。
【００６３】
このように、存否判定部３４は、積分画像Ｇ４Ａにおける画素の画素値の加算及び減算のみによって尤度画像Ｇ２Ａにおける矩形領域Ｔ１に含まれる画素の合計画素値を導き出すことができる。そのため、存否判定部３４は、積分画像を利用することで矩形領域Ｔ１に含まれる画素の合計画素値を高速に導き出すことができる。
【００６４】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
【００６５】
例えば、上述の実施例では、尤度記憶部３２は、撮像装置４０の監視範囲の撮像範囲内の所定位置に提示された検出対象（標識）を撮像することで参照用画像を取得する。しかしながら、本発明はこの構成に限定されるものではない。例えば、尤度記憶部３２は、通信等を介して取得した参照用画像を用いて参照用画像特徴の各検出対象に対する尤度を算出してもよい。この場合、操作者はショベルの作業現場で参照用画像を撮像する必要はない。また、コントローラ３０は、通信等を介して尤度データベースそのものを取得してもよい。この場合、コントローラ３０はショベルに搭載された状態で機械学習を実行する必要はない。
【００６６】
また、上述の実施例では、ショベルの上部旋回体３の上に取り付けられる撮像装置４０を用いて標識を検出する構成を想定するが、本発明はこの構成に限定されるものではない。例えば、アスファルトフィニッシャ、クレーン、フォークリフト等の他の作業機械に取り付けられる撮像装置を用いる構成にも適用され得る。
【符号の説明】
【００６７】
１・・・下部走行体  ２・・・旋回機構  ３・・・上部旋回体  ４・・・ブーム  ５・・・アーム  ６・・・バケット  ７・・・ブームシリンダ  ８・・・アームシリンダ  ９・・・バケットシリンダ  １０・・・キャビン  ３０・・・コントローラ  ３１・・・画像特徴抽出部  ３２・・・尤度記憶部  ３３・・・尤度画像生成部  ３４・・・存否判定部  ４０・・・撮像装置  ５０・・・出力装置  １００・・・物体検出システム  Ｇ１・・・入力画像  Ｇ１１、Ｇ１２・・・画像部分  Ｇ２Ａ〜Ｇ２Ｅ・・・尤度画像  Ｇ２１Ａ、Ｇ２１Ｂ・・・矩形領域  Ｇ３・・・出力画像  Ｇ３１、Ｇ３２・・・矩形領域  Ｇ４Ａ・・・積分画像
【図１】
0006282538.tif 000002
【図２】
0006282538.tif 000003
【図３】
0006282538.tif 000004
【図４】
0006282538.tif 000005
【図５】
0006282538.tif 000006
【図６】
0006282538.tif 000007
【図７】
0006282538.tif 000008
【図８】
0006282538.tif 000009