(57)【要約】      （修正有）【課題】物体検出の精度及び速度を向上させることができる、建設機械用の物体検出装置を提供する。【解決手段】物体検出装置１は、検出対象となる物体を撮影し、建設機械に搭載されたカメラ２によって撮影された画像Ｉｍに対して、射影変換を用いて画像Ｉｍの歪みを補正する補正部４１と、カメラ２と物体との距離に応じて設けられ、面積がそれぞれ異なる複数の領域を、補正後の画像Ｉｍに設定し、画像Ｉｍのうち、複数の領域のそれぞれと対応する部分に対して物体を検出する画像処理をする処理部４２と、を備える。【選択図】図２
2020013220.tif 000002
【特許請求の範囲】
【請求項１】
検出対象となる物体を撮影し、建設機械に搭載されたカメラによって撮影された画像に対して、射影変換を用いて前記画像の歪みを補正する補正部と、
前記カメラと前記物体との距離に応じて設けられ、面積がそれぞれ異なる複数の領域を、補正後の前記画像に設定し、前記画像のうち、複数の前記領域のそれぞれと対応する部分に対して前記物体を検出する画像処理をする処理部と、を備える建設機械用の物体検出装置。
【請求項２】
前記補正部は、前記画像に対して、前記画像の垂直方向の下側から上側に向かうに従って、前記画像の水平方向の長さを小さくする前記射影変換をして、前記画像の形状を台形にすることにより、前記画像の歪みを補正する、請求項１に記載の建設機械用の物体検出装置。
【請求項３】
複数の前記領域の形状は、四角形であり、
前記処理部は、複数の前記領域のうち、予め定められた値より大きい前記距離での物体検出に用いられる前記領域を、補正後の前記画像の水平方向において、前記領域の両端を補正後の前記画像に収めて設定し、複数の前記領域のうち、前記値以下の前記距離での物体検出に用いられる前記領域を、補正後の前記画像の水平方向において、前記領域の両端を補正後の前記画像の両端からはみだして設定する、請求項２に記載の建設機械用の物体検出装置。
【請求項４】
前記処理部は、複数の前記領域のうち、予め定められた値より大きい前記距離での物体検出に用いられる前記領域を、補正後の前記画像に収めて設定し、複数の前記領域のうち、前記値以下の前記距離での物体検出に用いられる前記領域を、補正後の前記画像からはみだして設定する、請求項１に記載の建設機械用の物体検出装置。
【請求項５】
前記カメラの位置の高さと前記カメラの光軸の角度との組み合わせに応じて算出された、前記射影変換に用いる射影変換行列について、前記カメラの位置の高さと前記カメラの光軸の角度との複数の組み合わせと、複数の前記射影変換行列と、を紐づけて予め記憶する第１記憶部をさらに備え、
前記補正部は、前記建設機械に搭載された前記カメラの位置の高さと前記カメラの光軸の角度との組み合わせに紐づけられた前記射影変換行列を選択し、前記補正を実行する、請求項１〜４のいずれか一項に記載の建設機械用の物体検出装置。
【請求項６】
前記カメラの位置の高さと前記カメラの光軸の角度との組み合わせに応じて定められた、複数の前記領域が前記画像に設定される条件を示す領域情報について、前記カメラの位置の高さと前記カメラの光軸の角度との複数の組み合わせと、複数の前記領域情報と、を紐づけて予め記憶する第２記憶部をさらに備え、
前記処理部は、前記建設機械に搭載された前記カメラの位置の高さと前記カメラの光軸の角度との組み合わせに紐づけられた前記領域情報を選択し、前記画像処理を実行する、請求項１〜５のいずれか一項に記載の建設機械用の物体検出装置。
【請求項７】
前記処理部は、複数の前記領域のそれぞれを用いた物体検出の時間間隔について、前記距離が長いと、前記時間間隔を長くし、前記距離が短いと、前記時間間隔を短くする、請求項１〜６のいずれか一項に記載の建設機械用の物体検出装置。
【請求項８】
直立状態、中腰状態、しゃがんだ状態のそれぞれの人物を検出するための機械学習がされた学習モデルを予め記憶する第３記憶部をさらに備え、
前記処理部は、前記学習モデルを用いて、補正後の前記画像に写された前記物体である人物を検出する、請求項１〜７のいずれか一項に記載の建設機械用の物体検出装置。
【請求項９】
前記第３記憶部は、前記カメラの位置の高さと前記カメラの光軸の角度との組み合わせに応じて構築された前記学習モデルについて、前記カメラの位置の高さと前記カメラの光軸の角度との複数の組み合わせと、複数の前記学習モデルと、を紐づけて予め記憶しており、
前記処理部は、前記建設機械に搭載された前記カメラの位置の高さと前記カメラの光軸の角度との組み合わせに紐づけられた前記学習モデルを選択し、前記機械学習を実行する、請求項８に記載の建設機械用の物体検出装置。
【請求項１０】
前記機械学習は、ＨＯＧ特徴量を用いて、前記人物を検出する、請求項８又は９に記載の建設機械用の物体検出装置。
【請求項１１】
検出対象となる物体を撮影し、建設機械に搭載されたカメラによって撮影された画像に対して、射影変換を用いて前記画像の歪みを補正する補正ステップと、
前記カメラと前記物体との距離に応じて設けられ、面積がそれぞれ異なる複数の領域を、補正後の前記画像に設定し、前記画像のうち、複数の前記領域のそれぞれと対応する部分に対して前記物体を検出する画像処理をする処理ステップと、を備える建設機械用の物体検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮影された画像を基にして物体を検出する技術に関する。
【背景技術】
【０００２】
カメラで撮影された画像に対して、画像処理をして物体検出をする技術が知られている。例えば、特許文献１に開示された物体検出装置は、カメラと検知対象物との距離に応じた距離区分で入力映像の１フレーム中のスキャン範囲を変更するスキャン範囲変更手段と、前記距離区分で検出窓のサイズを変更する検出窓サイズ変更手段と、前記距離区分で前記検出窓の移動量を変更する検出窓移動量変更手段とを有するパラメータ設定手段、前記カメラで撮影した入力映像を入力して、前記スキャン範囲変更手段により前記距離区分に対応して設定されたスキャン範囲で前記入力映像をリサイズするリサイズ処理部、前記検出窓サイズ変更手段により前記距離区分に対応して設定された検出窓サイズおよび前記検出窓移動量変更手段により前記距離区分に対応して設定された検出窓の移動量で、前記リサイズ処理部で処理されたリサイズ画像をサーチするように設定するサーチ設定部、前記サーチ設定部により前記距離区分に応じて設定されたそれぞれの検出窓サイズおよび検出窓の移動量で、前記スキャン範囲に基づいた前記リサイズ画像を前記距離区分の各区分で少なくとも１段階スキャンしてサーチし、前記検知対象物が存在する位置の前記検出窓のエリアを登録して前記検知対象物を検出するマルチサイズラスタスキャン処理部を備える。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１５６９８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
建設機械の周囲で作業している人の安全性を確保するために、上述したような物体検出装置を建設機械に搭載することが考えられる。建設機械の場合、人の安全性に関わるために、物体検出の精度及び速度の向上がより要求される。
【０００５】
本発明の目的は、物体検出の精度及び速度を向上させることができる、建設機械用の物体検出装置及び物体検出方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る建設機械用の物体検出装置は、検出対象となる物体を撮影し、建設機械に搭載されたカメラによって撮影された画像に対して、射影変換を用いて前記画像の歪みを補正する補正部と、前記カメラと前記物体との距離に応じて設けられ、面積がそれぞれ異なる複数の領域を、補正後の前記画像に設定し、前記画像のうち、複数の前記領域のそれぞれと対応する部分に対して前記物体を検出する画像処理をする処理部と、を備える。
【０００７】
検出対象が人物を例にして説明する。建設機械は比較的大きいので、カメラが搭載される箇所は、通常、人物の高さより上にある。建設機械の近くは危険なので、建設機械の近くにいる人物を検出できるように、カメラの光軸は、斜め下向きに設定される。これらの理由により、カメラが撮影した画像は、比較的大きな歪みを有する（例えば、画像が比較的大きく傾いている）。この状態で、人物検出がされると、人物検出の精度が低下する。そこで、補正部は、射影変換を用いて画像の歪みを補正する。これにより、人物検出（物体検出）の精度を向上させることができる。
【０００８】
処理部は、画像の全体に対して、人物検出の画像処理をするのではなく、画像に領域を設定し、画像のうち、領域と対応する部分（領域と重なる部分）に対して、人物検出の画像処理をする。
【０００９】
カメラと人物との距離に応じて、領域の面積が変えられている。理由は、以下の通りである。カメラと人物との距離が長くなるに従って、画像において、人物が写る可能性がある部分の面積が小さくなる。例えば、屋外を歩いている人物の検出では、カメラと人物との距離が長くなるに従って、地面が写る部分の面積及び空が写る部分の面積が大きくなり、人物が写る可能性がある部分の面積が小さくなる。そこで、処理部は、カメラと人物との距離に応じて用意された複数の領域を、カメラと人物との距離に応じて使い分ける。これにより、人物検出（物体検出）の画像処理の量を減らすことができるので、人物検出（物体検出）の速度を向上させることができる。
【００１０】
上記構成において、前記補正部は、前記画像に対して、前記画像の垂直方向の下側から上側に向かうに従って、前記画像の水平方向の長さを小さくする前記射影変換をして、前記画像の形状を台形にすることにより、前記画像の歪みを補正する。
【００１１】
この構成は、カメラによって撮影された画像が逆台形（倒立台形）に歪んでいる場合に適用される。逆台形に歪む画像は、画像の左側に写る物体は左に傾き、画像の右側に写る物体は右に傾き、通常の物体の姿と異なるので、物体検出の精度が低下する原因となる。
【００１２】
そこで、補正部は、画像に対して、画像の垂直方向の下側から上側に向かうに従って、画像の水平方向の長さを小さくする射影変換をすることにより、画像の形状を台形に補正する。これにより、上記歪みが解消されるので、画像の左側に写る物体が左に傾くこと、及び、画像の右側に写る人物が右に傾くことを防ぐことができる。
【００１３】
上記構成において、複数の前記領域の形状は、四角形であり、前記処理部は、複数の前記領域のうち、予め定められた値より大きい前記距離での物体検出に用いられる前記領域を、補正後の前記画像の水平方向において、前記領域の両端を補正後の前記画像に収めて設定し、複数の前記領域のうち、前記値以下の前記距離での物体検出に用いられる前記領域を、補正後の前記画像の水平方向において、前記領域の両端を補正後の前記画像の両端からはみだして設定する。
【００１４】
領域は四角形であり、補正後の画像は台形である。このため、補正後の画像に領域が設定されたとき、補正後の画像の水平方向において、領域の両端と補正後の画像の両端とを一致させることができない。
【００１５】
補正後の画像の水平方向において、領域の両端が補正後の画像の両端からはみだしているとき、処理部が、領域のうち、はみだした個所に対して、物体検出の画像処理をすることは無駄である。
【００１６】
これに対して、補正後の画像の水平方向において、領域の両端が補正後の画像に収められているとき（領域の両端が補正後の画像の両端からはみだしていない）、上記無駄をなくすことができる。これにより、画像処理の量を減らすことができる。しかし、補正後の画像の両端には、物体検出の画像処理がされない部分が発生する。これにより、物体検出の精度が低下する。
【００１７】
建設機械の近くは危険である。そこで、この構成は、カメラと物体との距離が短い場合（予め定められた値以下の距離での物体検出の場合）、物体検出の精度を優先させ、その距離が長い場合（予め定められた値より大きい距離での物体検出の場合）、無駄な画像処理をなくすことを優先させる。
【００１８】
上記構成において、前記処理部は、複数の前記領域のうち、予め定められた値より大きい前記距離での物体検出に用いられる前記領域を、補正後の前記画像に収めて設定し、複数の前記領域のうち、前記値以下の前記距離での物体検出に用いられる前記領域を、補正後の前記画像からはみだして設定する。
【００１９】
領域の形状と補正後の画像の形状との関係で、領域の両端と補正後の画像の両端とを一致させることができない例は、領域の形状が四角形であり、補正後の画像の形状が台形である場合に限らない。例えば、領域の形状が長方形であり、補正後の画像の形状が平行四辺形である場合にも生じる。
【００２０】
この構成は、カメラと物体との距離が短い場合（予め定められた値以下の距離での物体検出の場合）、物体検出の精度を優先させ、その距離が長い場合（予め定められた値より大きい距離での物体検出の場合）、無駄な画像処理をなくすことを優先させる。
【００２１】
上記構成において、前記カメラの位置の高さと前記カメラの光軸の角度との組み合わせに応じて算出された、前記射影変換に用いる射影変換行列について、前記カメラの位置の高さと前記カメラの光軸の角度との複数の組み合わせと、複数の前記射影変換行列と、を紐づけて予め記憶する第１記憶部をさらに備え、前記補正部は、前記建設機械に搭載された前記カメラの位置の高さと前記カメラの光軸の角度との組み合わせに紐づけられた前記射影変換行列を選択し、前記補正を実行する。
【００２２】
建設機械には様々な機種があり、機種に応じて建設機械の形状、大きさが異なる。このため、建設機械の機種に応じて、カメラの位置の高さと光軸の角度との組み合わせが異なる。この組み合わせに応じて、射影変換行列が算出されれば、物体検出の精度が向上する。この構成によれば、カメラの位置の高さと光軸の角度との組み合わせに応じて算出された射影変換行列について、カメラの位置の高さと光軸の角度との複数の組み合わせと、複数の射影変換行列とを紐づけて記憶しているので、様々な機種の建設機械に適用することができる。
【００２３】
上記構成において、前記カメラの位置の高さと前記カメラの光軸の角度との組み合わせに応じて定められた、複数の前記領域が前記画像に設定される条件を示す領域情報について、前記カメラの位置の高さと前記カメラの光軸の角度との複数の組み合わせと、複数の前記領域情報と、を紐づけて予め記憶する第２記憶部をさらに備え、前記処理部は、前記建設機械に搭載された前記カメラの位置の高さと前記カメラの光軸の角度との組み合わせに紐づけられた前記領域情報を選択し、前記画像処理を実行する。
【００２４】
上述したように、建設機械の機種に応じて、カメラの位置の高さと光軸の角度との組み合わせが異なる。組み合わせに応じて、複数の領域の条件（領域の数、領域の設定位置、領域の面積等）が異なるので、組み合わせに応じて、複数の領域の条件を示す領域情報が定められていれば、物体検出の精度が向上する。この構成によれば、カメラの位置の高さと光軸の角度との組み合わせに応じて定められた領域情報について、カメラの位置の高さと光軸の角度との複数の組み合わせと、複数の領域情報とを紐づけて記憶しているので、様々な機種の建設機械に適用することができる。
【００２５】
上記構成において、前記処理部は、複数の前記領域のそれぞれを用いた物体検出の時間間隔について、前記距離が長いと、前記時間間隔を長くし、前記距離が短いと、前記時間間隔を短くする。
【００２６】
物体検出の時間間隔（サンプリング周期）が長いと、物体検出のための画像処理の量を減らすことができるが、物体検出の精度が低下する。これに対して、物体検出の時間間隔が短いと、物体検出のための画像処理の量が増えるが、物体検出の精度が向上する。
【００２７】
建設機械の近くは危険である。そこで、この構成は、カメラと物体との距離が短い場合、物体検出の精度を優先させ、その距離が長い場合、物体検出の画像処理の量を減らすことを優先させる。
【００２８】
上記構成において、直立状態、中腰状態、しゃがんだ状態のそれぞれの人物を検出するための機械学習がされた学習モデルを予め記憶する第３記憶部をさらに備え、前記処理部は、前記学習モデルを用いて（前記画像処理として、前記学習モデルを用いた前記機械学習の予測・認識フェーズの実行）、補正後の前記画像に写された前記物体である人物を検出する。
【００２９】
この構成は、検出対象となる物体が人物であり、機械学習によって補正後の画像に写された人物を検出する（例えば、ＨＯＧ特徴量を用いた人物検出）。建設現場において、人物は、主に、直立状態、中腰状態、しゃがんだ状態のいずれかである。例えば、直立状態の人物を検出するための学習モデルのみでは、中腰状態、しゃがんだ状態の人物の検出精度が低下する。この構成は、直立状態、中腰状態、しゃがんだ状態のそれぞれの人物を検出するための学習モデルを備えることにより、人物検出の精度を向上させる。
【００３０】
上記構成において、前記第３記憶部は、前記カメラの位置の高さと前記カメラの光軸の角度との組み合わせに応じて構築された前記学習モデルについて、前記カメラの位置の高さと前記カメラの光軸の角度との複数の組み合わせと、複数の前記学習モデルと、を紐づけて予め記憶しており、前記処理部は、前記建設機械に搭載された前記カメラの位置の高さと前記カメラの光軸の角度との組み合わせに紐づけられた前記学習モデルを選択し、前記機械学習を実行する。
【００３１】
上述したように、建設機械の機種に応じて、カメラの位置の高さと光軸の角度との組み合わせが異なる。この組み合わせに応じて、学習モデルが構築されれば、人物検出の精度が向上する。この構成によれば、カメラの位置の高さと光軸の角度との組み合わせに応じて構築された学習モデルについて、カメラの位置の高さと光軸の角度との複数の組み合わせと、複数の学習モデルとを紐づけて記憶しているので、様々な機種の建設機械に適用することができる。
【００３２】
本発明の他の態様に係る建設機械用の物体検出方法は、検出対象となる物体を撮影し、建設機械に搭載されたカメラによって撮影された画像に対して、射影変換を用いて前記画像の歪みを補正する補正ステップと、前記カメラと前記物体との距離に応じて設けられ、面積がそれぞれ異なる複数の領域を、補正後の前記画像に設定し、前記画像のうち、複数の前記領域のそれぞれと対応する部分に対して前記物体を検出する画像処理をする処理ステップと、を備える。
【００３３】
本発明の他の態様に係る物体検出方法は、本発明の一態様に係る物体検出装置を方法の観点から規定しており、本発明の一態様に係る物体検出装置と同様の作用効果を有する。
【発明の効果】
【００３４】
本発明によれば、物体検出の精度及び速度を向上させることができる。
【図面の簡単な説明】
【００３５】
【図１】実施形態に係る物体検出装置が搭載された建設機械の一例を示す模式図である。
【図２】実施形態に係る物体検出装置の構成を示すブロック図である。
【図３】カメラによって撮影された画像Ｉｍの一例である画像Ｉｍ−１を示す模式図である。
【図４】補正後の画像Ｉｍ−１を示す模式図である。
【図５】カメラによって撮影された画像Ｉｍの他の例である画像Ｉｍ−２を示す画像図である。
【図６】補正後の画像Ｉｍ−２を示す画像図である。
【図７】中央に人物が写されている画像Ｉｍ−３について、補正後の画像Ｉｍ−３を示す画像図である。
【図８】補正後の画像に設定される１つ目の領域を示す模式図である。
【図９】補正後の画像に設定される２つ目の領域を示す模式図である。
【図１０】補正後の画像に設定される３つ目の領域を示す模式図である。
【図１１】実施形態に係る物体検出装置の動作を説明するフローチャートである。
【図１２】補正前の画像Ｉｍ−１から抽出されたＨＯＧ特徴量の例を説明する説明図である。
【図１３】補正後の画像Ｉｍ−１から抽出されたＨＯＧ特徴量の例を説明する説明図である。
【図１４】カメラによって撮影された画像Ｉｍのさらに他の例である画像Ｉｍ−４を示す模式図である。
【図１５】補正後の画像Ｉｍ−４を示す模式図である。
【発明を実施するための形態】
【００３６】
以下、図面に基づいて本発明の実施形態を詳細に説明する。各図において、同一符号を付した構成は、同一の構成であることを示し、その構成について、既に説明している内容については、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し（例えば、人物１０）、個別の構成を指す場合には添え字を付した参照符号で示す（例えば、人物１０−１）。
【００３７】
図１は、実施形態に係る物体検出装置１が搭載された建設機械１００の一例を示す模式図である。物体検出装置１は、検出対象となる物体を撮影するカメラ２が撮影した画像Ｉｍ（動画）に対して、画像処理をして、画像Ｉｍに写された物体を検出する装置である。物体として人物１０を例にして説明する。
【００３８】
建設機械１００は、オペレータが建設機械１００を操作するキャビン１０１を備える。物体検出装置１は、キャビン１０１内に配置されている。カメラ２は、建設機械１００の所定の箇所に搭載され、検出対象となる人物１０（例えば、人物１０−１）が出現する範囲に撮影範囲が設定さる。カメラ２は、撮影した画像Ｉｍを物体検出装置１に送る。
【００３９】
図２は、実施形態に係る物体検出装置１の構成を示すブロック図である。物体検出装置１は、画像入力部３と、制御処理部４と、表示部５と、操作部６と、を備える。
【００４０】
画像入力部３は、カメラ２が撮影した画像Ｉｍ（動画）を入力する。画像入力部３は、入力インターフェース（入力インターフェース回路）により実現される。
【００４１】
制御処理部４は、物体検出装置１の各種制御及び各種処理をするハードウェアプロセッサであり、機能ブロックとして、補正部４１と、処理部４２と、記憶部４３と、表示制御部４４と、を備える。制御処理部４は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、および、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等のハードウェア、上記機能ブロックの機能を実行するためのプログラムおよびデータ等によって実現される。
【００４２】
補正部４１は、画像入力部３に入力された画像Ｉｍの歪みを補正する。画像Ｉｍの歪みが補正される理由を説明する。図１を参照して、建設機械１００は比較的大きいので、カメラ２が搭載される箇所は、通常、人物１０（例えば、人物１０−１）の高さより上にある。建設機械１００の近くは危険なので、建設機械１００の近くにいる人物１０（例えば、人物１０−１）を検出できるように、カメラ２の光軸２１は、斜め下向きに設定される（言い換えれば、光軸２１は、人物１０を見下ろす角度に設定される）。検出範囲（撮影範囲）を広くするために、カメラ２のレンズは広角レンズである。以上より、カメラ２が撮影した画像Ｉｍは、比較的大きく歪んでいる。
【００４３】
図３は、カメラ２によって撮影された画像Ｉｍの一例である画像Ｉｍ−１を示す模式図である。画像Ｉｍ−１は、逆台形（倒立台形）に歪んでいる。これにより、画像Ｉｍ−１の左側に写る人物１０−２は左に傾き、画像Ｉｍ−１の右側に写る人物１０−３は右に傾き、人物１０の通常の姿と異なるので、人物検出の精度が低下する原因となる。
【００４４】
補正部４１は、画像Ｉｍ−１に対して、画像Ｉｍ−１の垂直方向の下側から上側に向かうに従って、画像Ｉｍ−１の水平方向の長さを小さくする射影変換をすることにより、画像Ｉｍ−１の形状を台形に補正する。図４は、補正後の画像Ｉｍ−１を示す模式図である。画像１ｍ−１の面積は、補正前より補正後の方が小さい。補正後の画像Ｉｍ−１の両側にある黒領域ＢＲは、補正前の画像Ｉｍ−１のうち、補正により無くなった部分を示す。補正後の画像Ｉｍ−１の面積と黒領域ＢＲの面積とを足した値が、補正前の画像Ｉｍ−１の面積となる。なお、補正前及び補正後の画像Ｉｍの垂直方向は、撮影時の画像Ｉｍの垂直方向であり、補正前及び補正後の画像Ｉｍの水平方向は、撮影時の画像Ｉｍの水平方向である。
【００４５】
補正により、画像１ｍ−１の歪みが小さくなり、又は、無くなるので、画像Ｉｍ−１の左側に写る人物１０−２が左に傾く量、及び、画像Ｉｍ−１の右側に写る人物１０−３が右に傾く量を、小さくすることができ、又は、無くすことができる。
【００４６】
画像Ｉｍの歪みの補正について、画像図を用いて説明する。図５は、カメラ２によって撮影された画像Ｉｍの他の例である画像Ｉｍ−２を示す画像図である。画像Ｉｍ−２の右側に人物１０−４が写されている。画像Ｉｍ−２は、逆台形に歪んでいる。これにより、人物１０−４は右に傾いている。図６は、補正後の画像Ｉｍ−２を示す画像図である。補正により、画像１ｍ−２の歪みが小さくされるので、画像Ｉｍ−２の右側に写る人物１０−４が右に傾く量を小さくすることができる。
【００４７】
画像Ｉｍ−２の中央は、左右側と比べて、画像Ｉｍ−２の傾き量が小さい。図７は、中央に人物１０−５が写されている画像Ｉｍ−３について、補正後の画像Ｉｍ−３を示す画像図である。人物１０−５の傾きがほぼ無くなっている。
【００４８】
図２を参照して、処理部４２は、補正後の画像Ｉｍに領域を設定し（領域は、探索領域と称されたり、関心領域と称されたりする）、補正後の画像Ｉｍのうち、領域と対応する部分に対して人物１０を検出する画像処理をする。
【００４９】
補正後の画像Ｉｍ（例えば、図４に示す画像Ｉｍ−１）は、補正前の画像Ｉｍ（例えば、図３に示す画像Ｉｍ−１）と比べて、水平方向の長さが画像Ｉｍの下側から上側に向かうに従って小さくなる。従って、画像Ｉｍの水平方向において、補正後の画像Ｉｍは補正前の画像Ｉｍよりも、人物検出する範囲が狭くなる。よって、補正後の画像Ｉｍに領域を設定して人物検出をする場合、補正前の画像Ｉｍに領域を設定して人物検出をする場合と比べて、領域の水平方向の長さを小さくできる。この結果、補正後の画像Ｉｍに領域を設定して人物検出をする場合は、補正前の画像Ｉｍに領域を設定して人物検出をする場合と比べて、領域の面積を小さくできるので、人物検出の画像処理の量を減らすことができる。処理部４２は、補正後の画像Ｉｍに領域を設定して人物検出をし、画像処理の量を減らすことができるので、人物検出の速度を向上させることができる。
【００５０】
処理部４２は、上述した画像処理について、カメラ２と物体との距離に応じて設けられた複数の領域Ｒのそれぞれに対して実行する。領域は１つでなく、カメラ２と人物１０との距離に応じて複数の領域が設けられる。実施形態では、３つの領域Ｒ（領域Ｒ−１，Ｒ−２，Ｒ−３）を例にして説明する。図８は、補正後の画像Ｉｍに設定される１つ目の領域Ｒ−１を示す模式図である。図９は、補正後の画像Ｉｍに設定される２つ目の領域Ｒ−２を示す模式図である。図１０は、補正後の画像Ｉｍに設定される３つ目の領域Ｒ−３を示す模式図である。
【００５１】
領域Ｒ−１は、カメラ２からの距離が近距離（例えば、カメラ２から３メートル以下の距離）である人物１０の検出に用いられる。領域Ｒ−２は、カメラ２からの距離が中距離（例えば、カメラ２から３〜６メートルの距離）である人物１０の検出に用いられる。領域Ｒ−３は、カメラ２からの距離が長距離（例えば、カメラ２から６〜１０メートルの距離）である人物１０の検出に用いられる。
【００５２】
カメラ２と人物１０（物体）との距離に応じて、領域Ｒの面積が変えられている。理由は、以下の通りである。カメラ２と人物１０との距離が長くなるに従って、画像Ｉｍにおいて、人物１０が写る可能性がある部分の面積が小さくなる。例えば、屋外を歩いている人物１０の検出では、カメラ２と人物１０との距離が長くなるに従って、地面が写る部分の面積及び空が写る部分の面積が大きくなり、人物１０が写る可能性がある部分の面積が小さくなる。
【００５３】
そこで、カメラ２と人物１０との距離が、近距離、中距離、遠距離に分けられ、以下の関係が成立する領域Ｒの面積にしている。これにより、人物検出の画像処理の量を減らすことができるので、人物検出の速度を向上させることができる。
【００５４】
近距離用の領域Ｒ（領域Ｒ−１）の面積＞中距離用の領域Ｒ（領域Ｒ−２）の面積＞遠距離用の領域Ｒ（領域Ｒ−３）の面積
領域Ｒ−１，Ｒ−２，Ｒ−３は、補正前の画像Ｉｍの水平方向の長さよりも小さい水平方向の長さを有する。カメラ２からの距離が近距離の人物１０が補正後の画像Ｉｍに写る範囲は、補正後の画像Ｉｍのほぼ全体である。近距離用の領域Ｒ−１は、補正後の画像Ｉｍのほぼ全体に設定される。補正後の画像Ｉｍの下側の部分には、建設機械１００が写るので、この部分には、近距離用の領域Ｒ−１が設定されていない。
【００５５】
中距離用の領域Ｒ−２は、補正後の画像Ｉｍの中心の少し下から画像Ｉｍの上端までの部分に設定される。カメラ２からの距離が中距離の人物１０は、この部分に写るからである。遠距離用の領域Ｒ−３は、補正後の画像Ｉｍの中心より、上側の部分に設定される。カメラ２からの距離が遠距離の人物１０は、この部分に写るからである。
【００５６】
以上により、処理部４２は、補正後の画像Ｉｍの全体に対して、人物検出の画像処理をする場合と比べて、画像処理の量を減らすことができる。
【００５７】
処理部４２は、補正後の画像Ｉｍの水平方向において、遠距離用の領域Ｒ−３の両端を補正後の画像Ｉｍに収めて、領域Ｒ−３を設定し、補正後の画像Ｉｍの水平方向において、近距離用の領域Ｒ−１及び中距離用の領域Ｒ−２領域の両端を補正後の画像Ｉｍの両端からはみだして、領域Ｒ−１，Ｒ−２を設定する。すなわち、処理部４２は、複数の領域Ｒのうち、予め定められた値より大きい距離での人物検出に用いられる領域Ｒを、補正後の画像Ｉｍに収めて設定し、複数の領域Ｒのうち、その値以下の距離での人物検出に用いられる領域Ｒを、補正後の画像Ｉｍからはみだして設定する。
【００５８】
領域Ｒは四角形であり、補正後の画像Ｉｍは台形である。このため、補正後の画像Ｉｍに領域Ｒが設定されたとき、補正後の画像Ｉｍの水平方向において、領域Ｒの両端と補正後の画像Ｉｍの両端とを一致させることができない。補正後の画像Ｉｍの水平方向において、領域Ｒの両端が補正後の画像Ｉｍの両端からはみだしているとき、処理部４２は、領域Ｒのうち、はみだした個所に対して、人物検出の画像処理をすることは無駄である。
【００５９】
これに対して、補正後の画像Ｉｍの水平方向において、領域Ｒの両端が補正後の画像Ｉｍに収められているとき（領域Ｒの両端が補正後の画像Ｉｍの両端からはみだしていない）、上記無駄をなくすことができる。これにより、画像処理の量を減らすことができる。しかし、補正後の画像Ｉｍの両端には、人物検出の画像処理がされない箇所が発生する。これにより、人物検出の精度が低下する。
【００６０】
建設機械１００の近くは危険である。そこで、実施形態は、カメラ２と人物１０との距離が近距離及び中距離の場合（予め定められた値以下の距離での人物検出の場合）、人物検出の精度を優先させ、その距離が遠距離の場合（予め定められた値より大きい距離での人物検出の場合）、無駄な画像処理をなくすことを優先させる。
【００６１】
なお、領域Ｒの形状と補正後の画像Ｉｍとの関係で、領域Ｒの両端と補正後の画像Ｉｍの両端とを一致させることができない例は、領域Ｒの形状が四角形であり、補正後の画像Ｉｍの形状が台形である場合に限らない。例えば、領域Ｒの形状が長方形であり、補正後の画像Ｉｍの形状が平行四辺形である場合にも生じる。
【００６２】
図２を参照して、記憶部４３は、第１記憶部４３１と、第２記憶部４３２と、第３記憶部４３３と、を備える。第１記憶部４３１は、射影変換行列ＰＭを予め記憶している。射影変換行列ＰＭは、画像Ｉｍの歪みを補正する射影変換に用いられる行列である。射影変換行列ＰＭの算出方法は、後で説明する。
【００６３】
第２記憶部４３２は、複数の領域Ｒが補正後の画像Ｉｍに設定される条件を示す領域情報ＲＩを予め記憶している。複数の領域Ｒの条件とは、領域Ｒの数、領域Ｒの設定位置（補正後の画像Ｉｍ上の座標）等である。図８〜図１０において、領域Ｒが３つを例にして説明しているが、領域Ｒが２つでもよし、４以上でもよい。
【００６４】
第３記憶部４３３は、機械学習がされた学習モデルＬＭを予め記憶している。処理部４２は、学習モデルＬＭを用いて、機械学習の予測・認識フェーズを実行することにより、補正後の画像Ｉｍに写された人物１０を検出する。学習モデルＬＭは、直立状態の人物の画像を教師データとして、構築された学習モデルと、中腰状態の人物の画像を教師データとして、構築された学習モデルと、しゃがんだ状態の人物の画像を教師データとして、構築された学習モデルと、を含む。学習モデルＬＭは、直立状態、中腰状態、しゃがんだ状態のそれぞれの人物１０を検出するために使用される。建設現場において、人物１０は、主に、直立状態、中腰状態、しゃがんだ状態のいずれかである。例えば、直立状態の人物１０を検出するための学習モデルのみでは、中腰状態、しゃがんだ状態の人物１０の検出精度が低下する。実施形態は、直立状態、中腰状態、しゃがんだ状態のそれぞれの人物１０を検出するための学習モデルＬＭを備えることにより、人物検出の精度を向上させる。
【００６５】
図１及び図２を参照して、カメラ２の位置の高さとカメラ２の光軸２１の角度（カメラ２の傾斜角θ）との組み合わせに応じて、射影変換行列ＰＭ、領域情報ＲＩ、学習モデルＬＭがそれぞれ定まる。建設機械１００には様々な機種があり、機種に応じて建設機械１００の形状、大きさが異なる。このため、建設機械１００の機種に応じて、カメラ２の位置の高さと光軸２１の角度との組み合わせが異なる。例えば、カメラ２の高さが１メートルと光軸２１の角度が１５度との組み合わせが適用される機種、カメラ２の高さが２メートルと光軸２１の角度が２０度との組み合わせが適用される機種、カメラ２の高さが３メートルと光軸２１の角度が４０度との組み合わせが適用される機種がある。
【００６６】
組み合わせに応じて、射影変換行列ＰＭ、領域情報ＲＩ、学習モデルＬＭを定めれば、人物検出の精度が向上する。そこで、第１記憶部４３１は、カメラ２の位置の高さとカメラ２の光軸２１の角度との組み合わせに応じて算出された射影変換行列ＰＭについて、複数の組み合わせと、複数の射影変換行列ＰＭと、を紐づけて予め記憶している。第２記憶部４３２は、カメラ２の位置の高さとカメラ２の光軸２１の角度との組み合わせに応じて定められた領域情報ＲＩについて、複数の組み合わせと、複数の領域情報ＲＩと、を紐づけて予め記憶している。第３記憶部４３３は、カメラ２の位置の高さとカメラ２の光軸２１の角度との組み合わせに応じて構築された学習モデルＬＭについて、複数の組み合わせと、複数の学習モデルＬＭと、を紐づけて予め記憶している。従って、実施形態に係る物体検出装置１は、様々な機種の建設機械１００に適用することができる。
【００６７】
射影変換行列ＰＭ、領域情報ＲＩ及び学習モデルＬＭの設定者は、建設機械１００に搭載されるカメラ２の位置の高さ及びカメラ２の光軸２１の角度を、操作部６を用いて、制御処理部４に入力する。補正部４１は、第１記憶部４３１に記憶されている複数の射影変換行列ＰＭから、入力された高さと角度との組み合わせに紐付けられた射影変換行列ＰＭを選択し、画像Ｉｍの傾きの補正を実行する。処理部４２は、第２記憶部４３２に記憶されている複数の領域情報ＲＩから、入力されたと角度との組み合わせに紐付けられた領域情報ＲＩを選択し、補正後の画像Ｉｍに対して、人物検出の画像処理を実行する。処理部４２は、第３記憶部４３３に記憶されている複数の学習モデルＬＭから、入力された高さと角度との組み合わせに紐付けられた学習モデルＬＭを選択し、機械学習を実行する。
【００６８】
表示制御部４４は、各種の画像、各種の情報等を表示部５に表示させる。例えば、表示制御部４４は、建設機械１００の作動中にカメラ２が撮影した画像Ｉｍ（動画）をリアルタイムで表示部５に表示させ、処理部４２が人物１０を検出したとき、アラームを表示部５に表示させる。アラームは、例えば、処理部４２が人物１０を検出したとき、表示制御部４４は、この人物１０を囲む枠が加えられた画像Ｉｍを表示部５に表示させる。カメラ２と人物１０との距離に応じて枠の色を変えてもよい。例えば、表示制御部４４は、近距離にいる人物１０が検出された場合、この人物１０を囲む枠の色を赤とし、中距離にいる人物１０が検出された場合、この人物１０を囲む枠の色を黄とし、遠距離にいる人物１０が検出された場合、この人物１０を囲む枠の色を緑とする。
【００６９】
表示部５は、液晶ディスプレイ、有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ  ｄｉｓｐｌａｙ）等によって実現される。
【００７０】
操作部６は、物体検出装置１のユーザー（建設機械１００のオペレータ）が、物体検出装置１を操作する入力したり、射影変換行列ＰＭ等を設定する者がこの設定に必要な情報（カメラ２の位置の高さ、光軸２１の角度）を入力したりする装置である。操作部６は、タッチパネル、ハードキー等によって実現される。
【００７１】
実施形態に係る物体検出装置１の動作を説明する。図１１は、この動作を説明するフローチャートである。図２及び図１１を参照して、補正部４１は、射影変換行列ＰＭを予め選択し、処理部４２は、領域情報ＲＩ及び学習モデルＬＭを予め選択している。カメラ２は、建設機械１００の作動中に画像Ｉｍ（動画）を撮影し、撮影した画像Ｉｍをリアルタイムで画像入力部３に送る。画像入力部３は、カメラ２が撮影した画像Ｉｍを入力し（ステップＳ１）、制御処理部４に画像Ｉｍを送る。
【００７２】
補正部４１は、制御処理部４に送られた画像Ｉｍに対して、選択した射影変換行列ＰＭを用いて、射影変換をして、画像の歪み（傾き）を補正する（ステップＳ２）。これにより、例えば、図４に示す画像Ｉｍ−１が得られる。
【００７３】
処理部４２は、補正後の画像Ｉｍに対して、領域Ｒを設定する（ステップＳ３）。ここでは、図８〜図１０に示す３つの領域Ｒのうち、近距離用の領域Ｒ−１が設定される。
【００７４】
処理部４２は、近距離用の領域Ｒ−１が設定された画像Ｉｍのうち、領域Ｒ−１と対応する部分に対して、機械学習の認識フェーズを実行することにより、人物検出をする（ステップＳ４）。詳しく説明すると、処理部４２は、領域Ｒ−１と対応する部分に対して、人物１０の特徴量を抽出する画像処理をする。ここでは、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）特徴量とする。処理部４２は、抽出したＨＯＧ特徴量を基にして、領域Ｒ−１に人物１０が存在するか否かを識別する。この識別には、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）、Ｃａｓｃａｄｅ−ＡｄａＢｏｏｓｔ分類器を使用することができる。
【００７５】
人物検出の手法は、機械学習に限らず、例えば、パターンマッチング、オプティカルフローでもよい。
【００７６】
処理部４２が、領域Ｒ−１に人物１０が存在する識別をしたとき、領域Ｒ−１から人物１０を検出したと判定し、領域Ｒ−１に人物１０が存在しない識別をしたとき、領域Ｒ−１から人物１０を検出していないと判定する。
【００７７】
処理部４２が選択した学習モデルＬＭには、直立状態の人物の画像を教師データとして、構築された学習モデルと、中腰状態の人物の画像を教師データとして、構築された学習モデルと、しゃがんだ状態の人物の画像を教師データとして、構築された学習モデルとが含まれる。処理部４２は、これらの学習モデルのそれぞれを用いて、人物検出の処理をする（ステップＳ４）。
【００７８】
処理部４２は、３つの領域Ｒ−１，Ｒ−２，Ｒ−３の全てに対して、人物検出の処理（ステップＳ４）が終了したか否かを判断する（ステップＳ５）。処理部４２が、３つの領域Ｒ−１，Ｒ−２，Ｒ−３の全てに対して、人物検出の処理が終了していないと判断したとき（ステップＳ５でＮｏ）、処理部４２は、補正後の画像Ｉｍに対して、領域Ｒを設定する（ステップＳ３）。ここでは、３つの領域Ｒ−１，Ｒ−２，Ｒ−３のうち、中距離用の領域Ｒ−２が設定される。
【００７９】
処理部４２は、中距離用の領域Ｒ−２について、短距離用の領域Ｒ−１の場合と同様の方法を用いて、人物検出をする（ステップＳ４）。
【００８０】
処理部４２は、３つの領域Ｒ−１，Ｒ−２，Ｒ−３の全てに対して、人物検出の処理（ステップＳ４）が終了したか否かを判断する（ステップＳ５）。処理部４２が、３つの領域Ｒ−１，Ｒ−２，Ｒ−３の全てに対して、人物検出の処理が終了していないと判断したとき（ステップＳ５でＮｏ）、処理部４２は、補正後の画像Ｉｍに対して、領域Ｒを設定する（ステップＳ３）。ここでは、３つの領域Ｒ−１，Ｒ−２，Ｒ−３のうち、長距離用の領域Ｒ−３が設定される。
【００８１】
処理部４２は、長距離用の領域Ｒ−３について、短距離用の領域Ｒ−１の場合と同様の方法を用いて、人物検出をする（ステップＳ４）。
【００８２】
処理部４２が、３つの領域Ｒ−１，Ｒ−２，Ｒ−３の全てに対して、人物検出の処理が終了したと判断する（ステップＳ５でＹｅｓ）。処理部４２が、ステップＳ４において、人物１０を検出したとき（ステップＳ６でＹｅｓ）、表示制御部４４は、アラームを表示部５に表示させる（ステップＳ７）。処理部４２が、ステップＳ４において、人物１０を検出していないとき（ステップＳ６でＮｏ）、表示制御部４４は、アラームを表示部５に表示させない（ステップＳ８）。
【００８３】
物体検出装置１は、所定の時間間隔（サンプリング周期）で、ステップＳ２〜ステップＳ８の処理を実行する。なお、処理部４２は、時間間隔について、カメラ２と人物１０との距離が長いと、時間間隔を長くし、距離が短いと、時間間隔を短くしてもよい。例えば、処理部４２は、近距離用の領域Ｒ−１を用いた人物検出の時間間隔を、中距離用の領域Ｒ−２、遠距離用の領域Ｒ−３を用いた人物検出の時間間隔より短くする。
【００８４】
人物検出の時間間隔が長いと、人物検出のための画像処理の量（ステップＳ２〜ステップ５の一連の処理量）を減らすことができるが、人物検出の精度が低下する。これに対して、人物検出の時間間隔が短いと、人物検出のための画像処理の量が増えるが、人物検出の精度が向上する。建設機械１００の近くは危険である。そこで、カメラ２と人物１０との距離が短い場合、人物検出の精度を優先させ、その距離が長い場合、人物検出の画像処理の量を減らすことを優先させる。
【００８５】
実施形態によれば、カメラ２が撮影した画像Ｉｍに対して、射影変換をすることにより、画像Ｉｍの歪みを補正し（ステップＳ２）、補正後の画像Ｉｍに対して、ＨＯＧ特徴量を基にした機械学習をして、人物検出をする（ステップＳ４）。これにより、人物検出の精度を向上させることができる。これについて詳しく説明する。
【００８６】
図１２は、補正前の画像Ｉｍ−１から抽出されたＨＯＧ特徴量の例を説明する説明図である。補正前の画像Ｉｍ−１は、図３に示す画像Ｉｍ−１である。ＨＯＧ特徴量１１は、画像Ｉｍ−１の左端に写っている人物１０−２のＨＯＧ特徴量の１つである。人物１０−２は、左に傾いており、傾き角が７０度である。よって、ヒストグラムは、７０度方向の成分が大きくなる。
【００８７】
ＨＯＧ特徴量１２は、画像Ｉｍ−１の右端に写っている人物１０−３のＨＯＧ特徴量の１つである。人物１０−３は、右に傾いており、傾き角が１１０度である。よって、ヒストグラムは、１１０度方向の成分が大きくなる。人物１０−２，１０−３の姿勢は、通常でない。通常の場合、ヒストグラムは、９０度方向の成分が大きくなる。従って、処理部４２が、補正前の画像Ｉｍ−１から抽出されたＨＯＧ特徴量を用いて、人物の識別をする場合、人物検出の精度が低下する。
【００８８】
図１３は、補正後の画像Ｉｍ−１から抽出されたＨＯＧ特徴量の例を説明する説明図である。補正後の画像Ｉｍ−１は、図４に示す画像Ｉｍ−１である。ＨＯＧ特徴量１３は、画像Ｉｍ−１の左端に写っている人物１０−２のＨＯＧ特徴量の１つである。ＨＯＧ特徴量１４は、画像Ｉｍ−１の右端に写っている人物１０−３のＨＯＧ特徴量の１つである。人物１０−２，１０−３の歪み（傾き）が補正されているので、ヒストグラムは、９０度方向の成分が大きくなる。実施形態によれば、処理部４２は、補正後の画像Ｉｍ−１から抽出されたＨＯＧ特徴量を用いて、人物の識別をするので、人物検出の精度を向上させることができる。
【００８９】
図１及び図３を参照して、画像Ｉｍ−１の全体が倒立台形に歪むことにより、画像Ｉｍ−１の左側の物体（人物１０−２）が左に傾き、右側の物体（人物１０−３）が右に傾いている。カメラ２の位置が高く、かつ、光軸２１の角度が大きくなると、人物１０−２の左への傾き、人物１０−３の右への傾きがそれぞれ大きくなる。カメラ２の位置が低く、かつ、光軸２１の角度が小さくなると、人物１０−２の左への傾き、人物１０−３の右への傾きがそれぞれ小さくなる。これは、画像Ｉｍの歪みの一例である。建設機械１００に搭載されたカメラ２の位置、高さ及び光軸２１の角度に応じて、画像Ｉｍの歪みが異なる。図１４は、カメラ２によって撮影された画像Ｉｍのさらに他の例である画像Ｉｍ−４を示す模式図である。画像Ｉｍ−４の全体が、右に傾いている。従って、画像１ｍ−４に写っている人物１０−６，１０−７が右に傾いている。このような場合、補正部４１は、射影変換を用いて、画像Ｉｍ−４の全体について、右の傾きをなくす補正する。図１５は、補正後の画像Ｉｍ−４を示す模式図である。補正後の画像Ｉｍ−４は、四角形をしており、補正前の画像Ｉｍ−４より面積が小さい。人物１０−６，１０−７の傾きが補正されている。
【００９０】
射影変換行列ＰＭの算出方法について説明する。図１、図３及び図４を参照して、カメラ２の画角２φが示す範囲（撮影範囲）の左端又は右端に写る物体の歪み量を求める。ここでは、カメラ２の画角２φが示す範囲の左端に写る人物１０−２を例にする。歪み量は、カメラ２の傾斜角θ、カメラ２の高さｈ、カメラ２のピクセル数（ｘｗｉｄｔｈ、ｘｈｅｉｇｈｔ）、及び、カメラ２の画角２φに依存する。カメラ２の傾斜角θ（光軸２１の角度）は、建設機械１００に取り付けられたカメラ２の光軸２１と水平軸との角度である。カメラ２の高さｈは、建設機械１００に取り付けられたカメラ２の地面からの距離である。
【００９１】
カメラ２から距離zだけ離れて直立する人物１０−２について、人物１０−２とカメラ２の投影面との距離ｚ１（投影距離）は、式（１）で示される。式（１）のωは、カメラ２の投影面に対して、人物１０−２とカメラ２の光軸２１とで規定される角度であり、式（２）で示される。
【００９２】
【数１】
2020013220.tif 000003
【００９３】
ｈ（ｙ） は、人物１０−２の高さ（身長）である。歪み量の算出において、人物１０−２の足元の高さが０（ｈ（ｙ）＝０）とされるので、歪み量は、人物１０−２の高さに依存しない。
【００９４】
投影距離ｚ１において、カメラ２の投影面の視野幅ｗは、式（３）で示される。これにより、カメラ２の画角２φが示す範囲の左端に写る人物１０−２について、足元のピクセル座標Ｘｌｅｆｔ_ｂｏｔｔｏｍは、式（４）で示される。
【００９５】
【数２】
2020013220.tif 000004
【００９６】
ピクセル座標Ｘｌｅｆｔ_ｂｏｔｔｏｍは、直立する人物１０−２の歪み量に相当する。これにより、式（５）を用いて、射影変換行列ＰＭを求めることができる。
【００９７】
【数３】
2020013220.tif 000005
【００９８】
ｘ、ｙは、射影変換前のＸ、Ｙ座標である。ｕ、ｖは、射影変換後のＸ、Ｙ座標である。ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈは、射影変換行列ＰＭを構成する射影変換係数である。射影変換係数は、下記表に示す射影変換前後の対応点座標４点について、連立方程式を解くことにより、算出される。
【００９９】
【表１】
2020013220.tif 000006
【０１００】
実施形態では、人物検出を例にして説明したが、本発明は、人物以外に、土木建設の工事現場に存在する物体（例えば、他の建設機械、安全柵）の検出にも適用することができる。
【符号の説明】
【０１０１】
１  物体検出装置
２  カメラ
２１  光軸
１０，１０−１〜１０−７  人物
１１〜１４  ＨＯＧ特徴量
１００  建設機械
１０１  キャビン
ＢＲ  黒領域
Ｉｍ，Ｉｍ−１〜Ｉｍ−４  画像
ＬＭ  学習モデル
ＰＭ  射影変換行列
Ｒ，Ｒ−１〜Ｒ−３  領域
ＲＩ  領域情報
【図１】
2020013220.tif 000007
【図２】
2020013220.tif 000008
【図３】
2020013220.tif 000009
【図４】
2020013220.tif 000010
【図５】
2020013220.tif 000011
【図６】
2020013220.tif 000012
【図７】
2020013220.tif 000013
【図８】
2020013220.tif 000014
【図９】
2020013220.tif 000015
【図１０】
2020013220.tif 000016
【図１１】
2020013220.tif 000017
【図１２】
2020013220.tif 000018
【図１３】
2020013220.tif 000019
【図１４】
2020013220.tif 000020
【図１５】
2020013220.tif 000021