(57)【特許請求の範囲】
【請求項１】
作業機械に取り付けられる撮像装置の撮像画像を用いて前記作業機械の周辺に存在する人を検知する作業機械用周辺監視システムであって、
識別処理対象画像を抽出する抽出部と、
前記抽出部が抽出した前記識別処理対象画像に含まれる画像が人の画像であるかを画像認識処理によって識別する識別部と、を有し、
前記撮像画像は、複数の領域に分割され、
前記抽出部は、前記複数の領域から所定の順番で領域を選択し、選択した領域における複数の画像部分のうち、人の特徴的な部分を表す特徴画像を含む画像部分を前記識別処理対象画像として抽出し、
前記所定の順番は、前記作業機械の車両状態に応じて動的に設定される、
作業機械用周辺監視システム。
【請求項２】
前記複数の領域は静的に設定され、或いは、前記作業機械の車両状態に応じて動的に設定される、
請求項１に記載の作業機械用周辺監視システム。
【請求項３】
前記複数の領域は、旋回方向、旋回速度、走行方向、及び走行速度の少なくとも一つに応じて動的に設定される、
請求項２に記載の作業機械用周辺監視システム。
【請求項４】
前記所定の順番は、旋回方向、旋回速度、走行方向、及び走行速度の少なくとも一つに応じて動的に設定される、
請求項１に記載の作業機械用周辺監視システム。
【請求項５】
前記作業機械の車両状態は、操作装置の操作内容、前記作業機械の動作状態、又は、前記撮像画像に基づいて検出される、
請求項２乃至４の何れか一項に記載の作業機械用周辺監視システム。
【請求項６】
前記複数の領域は、第１領域及び第２領域を含み、
前記識別部は、前記抽出部が前記第１領域から前記識別処理対象画像を抽出した後で前記第２領域から前記識別処理対象画像を抽出する前に、前記抽出部が前記第１領域から抽出した前記識別処理対象画像に含まれる画像が人の画像であるかを画像認識処理によって識別する処理を開始する、
請求項１乃至５の何れか一項に記載の作業機械用周辺監視システム。
【請求項７】
前記撮像画像は、上下に分割され、或いは、左右に分割され、或いは、上下左右に分割される、
請求項１乃至６の何れか一項に記載の作業機械用周辺監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業機械の周辺を監視する作業機械用周辺監視システムに関する。
【背景技術】
【０００２】
イメージ・センサと熱を感知するサーモパイル・アレイを持ち、撮像範囲と熱検出範囲を重複させ、サーモパイル・アレイの出力が示す人体らしき範囲のみを顔抽出範囲と限定して画像識別処理の際の不要な演算処理量を減らす人体検出装置が知られている（特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−０５９０１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一方で、作業機械の周辺の人を早期に検知できる作業機械用周辺監視システムの提供が望まれる。
【課題を解決するための手段】
【０００５】
本発明の実施例に係る作業機械用周辺監視システムは、作業機械に取り付けられる撮像装置の撮像画像を用いて前記作業機械の周辺に存在する人を検知する作業機械用周辺監視システムであって、識別処理対象画像を抽出する抽出部と、前記抽出部が抽出した前記識別処理対象画像に含まれる画像が人の画像であるかを画像認識処理によって識別する識別部と、を有し、前記撮像画像は、複数の領域に分割され、前記抽出部は、前記複数の領域から所定の順番で領域を選択し、選択した領域における複数の画像部分のうち、人の特徴的な部分を表す特徴画像を含む画像部分を前記識別処理対象画像として抽出し、前記所定の順番は、前記作業機械の車両状態に応じて動的に設定される。
【発明の効果】
【０００６】
上述の手段により、作業機械の周辺の人を早期に検知できる作業機械用周辺監視システムが提供される。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施例に係る周辺監視システムが搭載されるショベルの側面図である。
【図２】周辺監視システムの構成例を示す機能ブロック図である。
【図３】後方カメラの撮像画像の例である。
【図４】撮像画像から識別処理対象画像を切り出す際に用いられる幾何学的関係の一例を示す概略図である。
【図５】ショベル後方の実空間の上面図である。
【図６】撮像画像から正規化画像を生成する処理の流れを示す図である。
【図７】撮像画像と識別処理対象画像領域と正規化画像との関係を示す図である。
【図８】識別処理対象画像領域と識別処理不適領域との関係を示す図である。
【図９】正規化画像の例を示す図である。
【図１０】実空間における仮想平面領域と後方カメラとの間の後方水平距離と、正規化画像における頭部画像部分の大きさとの関係を説明する図である。
【図１１】撮像画像から識別処理対象画像を切り出す際に用いられる幾何学的関係の別の一例を示す概略図である。
【図１２】撮像画像における特徴画像の一例を示す図である。
【図１３】画像抽出処理の一例の流れを示すフローチャートである。
【図１４】画像抽出処理の別の一例の流れを示すフローチャートである。
【図１５】画像抽出処理の更に別の一例の流れを示すフローチャートである。
【図１６】画像抽出処理の更に別の一例の流れを示すフローチャートである。
【図１７】選択型画像抽出処理の一例の流れを示すフローチャートである。
【図１８】複数の領域に分割された撮像画像の一例を示す図である。
【図１９】複数の領域に分割された撮像画像の別の一例を示す図である。
【図２０】複数の領域に分割された撮像画像の更に別の一例を示す図である。
【発明を実施するための形態】
【０００８】
図１は、本発明の実施例に係る周辺監視システム１００が搭載される作業機械（建設機械）としてのショベル（掘削機）の側面図である。ショベルの下部走行体１には、旋回機構２を介して上部旋回体３が搭載される。上部旋回体３には、ブーム４が取り付けられる。ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にはバケット６が取り付けられる。ブーム４、アーム５、及びバケット６は掘削アタッチメントを構成し、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９によりそれぞれ油圧駆動される。また、上部旋回体３には、キャビン１０が設けられ、且つエンジン等の動力源が搭載される。また、上部旋回体３の上部には撮像装置４０が取り付けられる。具体的には、上部旋回体３の後端上部、左端上部、右端上部に後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒが取り付けられる。また、キャビン１０内にはコントローラ３０及び出力装置５０が設置される。
【０００９】
図２は、周辺監視システム１００の構成例を示す機能ブロック図である。周辺監視システム１００は、主に、コントローラ３０、撮像装置４０、入力装置４２、車両状態検出装置４４、出力装置５０、及び機械制御装置５１を含む。本実施例では、撮像装置４０、入力装置４２、車両状態検出装置４４、出力装置５０、及び機械制御装置５１は、ＣＡＮを介してコントローラ３０に接続されている。
【００１０】
コントローラ３０は、ショベルの駆動制御を行う制御装置である。本実施例では、コントローラ３０は、ＣＰＵ及び内部メモリを含む演算処理装置で構成され、内部メモリに格納された駆動制御用のプログラムをＣＰＵに実行させて各種機能を実現する。
【００１１】
また、コントローラ３０は、各種装置の出力に基づいてショベルの周辺に人が存在するかを判定し、その判定結果に応じて各種装置を制御する。具体的には、コントローラ３０は、撮像装置４０及び入力装置４２の出力を受け、抽出部３１、識別部３２、追跡部３３、及び制御部３５のそれぞれに対応するソフトウェアプログラムを実行する。そして、その実行結果に応じて機械制御装置５１に制御指令を出力してショベルの駆動制御を実行し、或いは、出力装置５０から各種情報を出力させる。なお、コントローラ３０は、画像処理専用の制御装置であってもよい。
【００１２】
撮像装置４０は、ショベルの周囲の画像を撮像する装置であり、撮像した画像をコントローラ３０に対して出力する。本実施例では、撮像装置４０は、ＣＣＤ等の撮像素子を採用するワイドカメラであり、上部旋回体３の上部において光軸が斜め下方を向くように取り付けられる。
【００１３】
入力装置４２は操作者の入力を受ける装置である。本実施例では、入力装置４２は、操作装置（操作レバー、操作ペダル等）、ゲートロックレバー、操作装置の先端に設置されたボタン、車載ディスプレイに付属のボタン、タッチパネル等を含む。
【００１４】
車両状態検出装置４４は、ショベルの車両状態を検出する装置であり、例えば、ブーム角度センサ、アーム角度センサ、バケット角度センサ、レゾルバ、ロータリエンコーダ、パイロット圧センサ等を含む。車両状態は、例えば、掘削アタッチメントの姿勢、旋回方向、旋回速度、走行方向、走行速度、操作装置の操作内容等を含む。掘削アタッチメントの姿勢は、例えば、ブーム角度センサ、アーム角度センサ、及びバケット角度センサの出力に基づいて検出される。旋回方向及び旋回速度は、例えば、上部旋回体３の旋回軸に取り付けられたレゾルバ、ロータリエンコーダ等の出力に基づいて検出される。旋回方向及び旋回速度は、旋回操作レバーの操作内容に基づいて検出されてもよい。旋回操作レバーの操作内容は、例えば、パイロット圧センサの出力に基づいて検出される。走行方向及び走行速度は、例えば、下部走行体１を駆動する走行用油圧モータの回転軸に取り付けられたロータリエンコーダ等の出力に基づいて検出される。走行方向及び走行速度は、走行レバー又は走行ペダルの操作内容に基づいて検出されてもよい。走行レバー又は走行ペダルの操作内容は、例えば、パイロット圧センサの出力に基づいて検出される。
【００１５】
出力装置５０は、各種情報を出力する装置であり、例えば、各種画像情報を表示する車載ディスプレイ、各種音声情報を音声出力する車載スピーカ、警報ブザー、警報ランプ等を含む。本実施例では、出力装置５０は、コントローラ３０からの制御指令に応じて各種情報を出力する。
【００１６】
機械制御装置５１は、ショベルの動きを制御する装置であり、例えば、油圧システムにおける作動油の流れを制御する制御弁、ゲートロック弁、エンジン制御装置等を含む。
【００１７】
抽出部３１は、撮像装置４０が撮像した撮像画像から識別処理対象画像を抽出する機能要素である。具体的には、抽出部３１は、局所的な輝度勾配又はエッジに基づく簡易な特徴、Hough変換等による幾何学的特徴、輝度に基づいて分割された領域の面積又はアスペクト比に関する特徴等を抽出する比較的演算量の少ない画像処理（以下、「前段画像認識処理」とする。）によって識別処理対象画像を抽出する。識別処理対象画像は、後続の画像処理の対象となる画像部分（撮像画像の一部）であり、人候補画像を含む。人候補画像は、人画像である可能性が高いとされる画像部分（撮像画像の一部）である。撮像画像はカラー画像であってもよく、グレースケール画像であってもよい。抽出部３１は、カラー画像をグレースケール化する複数種類の機能を備えていてもよい。
【００１８】
識別部３２は、抽出部３１が抽出した識別処理対象画像に含まれる人候補画像が人画像であるかを識別する機能要素である。具体的には、識別部３２は、ＨＯＧ（Histograms of Oriented Gradients）特徴量に代表される画像特徴量記述と機械学習により生成した識別器とを用いた画像認識処理等の比較的演算量の多い画像処理（以下、「後段画像認識処理」とする。）によって人候補画像が人画像であるかを識別する。識別部３２が人候補画像を人画像として識別する割合は、抽出部３１による識別処理対象画像の抽出が高精度であるほど高くなる。
【００１９】
次に、図３を参照し、後方カメラ４０Ｂが撮像したショベル後方の撮像画像における人画像の見え方について説明する。なお、図３の２つの撮像画像は、後方カメラ４０Ｂの撮像画像の例である。また、図３の点線円は人画像の存在を表し、実際の撮像画像には表示されない。
【００２０】
後方カメラ４０Ｂは、ワイドカメラであり、且つ、人を斜め上から見下ろす高さに取り付けられる。そのため、撮像画像における人画像の見え方は、後方カメラ４０Ｂから見た人の存在方向によって大きく異なる。例えば、撮像画像中の人画像は、撮像画像の左右の端部に近いほど傾いて表示される。これは、ワイドカメラの広角レンズに起因する像倒れによる。また、後方カメラ４０Ｂに近いほど頭部が大きく表示される。また、脚部がショベルの車体の死角に入って見えなくなってしまう。これらは、後方カメラ４０Ｂの設置位置に起因する。そのため、撮像画像に何らの加工を施すことなく画像処理によってその撮像画像に含まれる人画像を識別するのは困難である。
【００２１】
そこで、本発明の実施例に係る周辺監視システム１００は、識別処理対象画像を正規化することで、識別処理対象画像に含まれる人画像の識別を促進する。なお、「正規化」は、識別処理対象画像を所定サイズ及び所定形状の画像に変換することを意味する。本実施例では、撮像画像において様々な形状を取り得る識別処理対象画像は射影変換によって所定サイズの長方形画像に変換される。なお、射影変換としては例えば８変数の射影変換行列が用いられる。
【００２２】
ここで、図４〜図６を参照し、周辺監視システム１００が識別処理対象画像を正規化する処理（以下、「正規化処理」とする。）の一例について説明する。なお、図４は、抽出部３１が撮像画像から識別処理対象画像を切り出す際に用いる幾何学的関係の一例を示す概略図である。
【００２３】
図４のボックスＢＸは、実空間における仮想立体物であり、本実施例では、８つの頂点Ａ〜Ｈで定められる仮想直方体である。また、点Ｐｒは、識別処理対象画像を参照するために予め設定される参照点である。本実施例では、参照点Ｐｒは、人の想定立ち位置として予め設定される点であり、４つの頂点Ａ〜Ｄで定められる四角形ＡＢＣＤの中心に位置する。また、ボックスＢＸのサイズは、人の向き、歩幅、身長等に基づいて設定される。本実施例では、四角形ＡＢＣＤ及び四角形ＥＦＧＨは正方形であり、一辺の長さは例えば８００ｍｍである。また、直方体の高さは例えば１８００ｍｍである。すなわち、ボックスＢＸは、幅８００ｍｍ×奥行８００ｍｍ×高さ１８００ｍｍの直方体である。
【００２４】
４つの頂点Ａ、Ｂ、Ｇ、Ｈで定められる四角形ＡＢＧＨは、撮像画像における識別処理対象画像の領域に対応する仮想平面領域ＴＲを形成する。また、仮想平面領域ＴＲとしての四角形ＡＢＧＨは、水平面である仮想地面に対して傾斜する。
【００２５】
なお、本実施例では、参照点Ｐｒと仮想平面領域ＴＲとの関係を定めるために仮想直方体としてのボックスＢＸが採用される。しかしながら、撮像装置４０の方向を向き且つ仮想地面に対して傾斜する仮想平面領域ＴＲを任意の参照点Ｐｒに関連付けて定めることができるのであれば、他の仮想立体物を用いた関係等の他の幾何学的関係が採用されてもよく、関数、変換テーブル等の他の数学的関係が採用されてもよい。
【００２６】
図５は、ショベル後方の実空間の上面視であり、参照点Ｐｒ１、Ｐｒ２を用いて仮想平面領域ＴＲ１、ＴＲ２が参照された場合における後方カメラ４０Ｂと仮想平面領域ＴＲ１、ＴＲ２との位置関係を示す。なお、本実施例では、参照点Ｐｒは、仮想地面上の仮想グリッドの格子点のそれぞれに配置可能である。但し、参照点Ｐｒは、仮想地面上に不規則に配置されてもよく、後方カメラ４０Ｂの仮想地面への投影点から放射状に伸びる線分上に等間隔に配置されてもよい。例えば、各線分は１度刻みで放射状に伸び、参照点Ｐｒは各線分上に１００ｍｍ間隔に配置される。
【００２７】
図４及び図５に示すように、四角形ＡＢＦＥ（図４参照。）で定められるボックスＢＸの第１面は、参照点Ｐｒ１を用いて仮想平面領域ＴＲ１が参照される場合、後方カメラ４０Ｂに正対するように配置される。すなわち、後方カメラ４０Ｂと参照点Ｐｒ１とを結ぶ線分は、参照点Ｐｒ１に関連して配置されるボックスＢＸの第１面と上面視で直交する。同様に、ボックスＢＸの第１面は、参照点Ｐｒ２を用いて仮想平面領域ＴＲ２が参照される場合にも、後方カメラ４０Ｂに正対するように配置される。すなわち、後方カメラ４０Ｂと参照点Ｐｒ２とを結ぶ線分は、参照点Ｐｒ２に関連して配置されるボックスＢＸの第１面と上面視で直交する。この関係は、参照点Ｐｒが何れの格子点上に配置された場合であっても成立する。すなわち、ボックスＢＸは、その第１面が常に後方カメラ４０Ｂに正対するように配置される。
【００２８】
図６は、撮像画像から正規化画像を生成する処理の流れを示す図である。具体的には、図６（Ａ）は、後方カメラ４０Ｂの撮像画像の一例であり、実空間における参照点Ｐｒに関連して配置されるボックスＢＸを映し出す。また、図６（Ｂ）は、撮像画像における識別処理対象画像の領域（以下、「識別処理対象画像領域ＴＲｇ」とする。）を切り出した図であり、図６（Ａ）の撮像画像に映し出された仮想平面領域ＴＲに対応する。また、図６（Ｃ）は、識別処理対象画像領域ＴＲｇを有する識別処理対象画像を正規化した正規化画像ＴＲｇｔを示す。
【００２９】
図６（Ａ）に示すように、実空間上で参照点Ｐｒ１に関連して配置されるボックスＢＸは、実空間における仮想平面領域ＴＲの位置を定め、そして、仮想平面領域ＴＲに対応する撮像画像上の識別処理対象画像領域ＴＲｇを定める。
【００３０】
このように、実空間における参照点Ｐｒの位置が決まれば、実空間における仮想平面領域ＴＲの位置が一意に決まり、撮像画像における識別処理対象画像領域ＴＲｇも一意に決まる。そして、抽出部３１は、識別処理対象画像領域ＴＲｇを有する識別処理対象画像を正規化して所定サイズの正規化画像ＴＲｇｔを生成できる。本実施例では、正規化画像ＴＲｇｔのサイズは、例えば縦６４ピクセル×横３２ピクセルである。
【００３１】
図７は、撮像画像と識別処理対象画像領域と正規化画像との関係を示す図である。具体的には、図７（Ａ１）は、撮像画像における識別処理対象画像領域ＴＲｇ３を示し、図７（Ａ２）は、識別処理対象画像領域ＴＲｇ３を有する識別処理対象画像の正規化画像ＴＲｇｔ３を示す。また、図７（Ｂ１）は、撮像画像における識別処理対象画像領域ＴＲｇ４を示し、図７（Ｂ２）は、識別処理対象画像領域ＴＲｇ４を有する識別処理対象画像の正規化画像ＴＲｇｔ４を示す。同様に、図７（Ｃ１）は、撮像画像における識別処理対象画像領域ＴＲｇ５を示し、図７（Ｃ２）は、識別処理対象画像領域ＴＲｇ５を有する識別処理対象画像の正規化画像ＴＲｇｔ５を示す。
【００３２】
図７に示すように、撮像画像における識別処理対象画像領域ＴＲｇ５は、撮像画像における識別処理対象画像領域ＴＲｇ４より大きい。識別処理対象画像領域ＴＲｇ５に対応する仮想平面領域と後方カメラ４０Ｂとの間の距離が、識別処理対象画像領域ＴＲｇ４に対応する仮想平面領域と後方カメラ４０Ｂとの間の距離より小さいためである。同様に、撮像画像における識別処理対象画像領域ＴＲｇ４は、撮像画像における識別処理対象画像領域ＴＲｇ３より大きい。識別処理対象画像領域ＴＲｇ４に対応する仮想平面領域と後方カメラ４０Ｂとの間の距離が、識別処理対象画像領域ＴＲｇ３に対応する仮想平面領域と後方カメラ４０Ｂとの間の距離より小さいためである。すなわち、撮像画像における識別処理対象画像領域は、対応する仮想平面領域と後方カメラ４０Ｂとの間の距離が大きいほど小さい。その一方で、正規化画像ＴＲｇｔ３、ＴＲｇｔ４、ＴＲｇｔ５は何れも同じサイズの長方形画像である。
【００３３】
このように、抽出部３１は、撮像画像において様々な形状及びサイズを取り得る識別処理対象画像を所定サイズの長方形画像に正規化し、人画像を含む人候補画像を正規化できる。具体的には、抽出部３１は、正規化画像の所定領域に人候補画像の頭部であると推定される画像部分（以下、「頭部画像部分」とする。）を配置する。また、正規化画像の別の所定領域に人候補画像の胴体部であると推定される画像部分（以下、「胴体部画像部分」とする。）を配置し、正規化画像のさらに別の所定領域に人候補画像の脚部であると推定される画像部分（以下、「脚部画像部分」とする。）を配置する。また、抽出部３１は、正規化画像の形状に対する人候補画像の傾斜（像倒れ）を抑えた状態で正規化画像を取得できる。
【００３４】
次に、図８を参照し、識別処理対象画像領域が、人画像の識別に悪影響を与える識別に適さない画像領域（以下、「識別処理不適領域」とする。）を含む場合の正規化処理について説明する。識別処理不適領域は、人画像が存在し得ない既知の領域であり、例えば、ショベルの車体が映り込んだ領域（以下、「車体映り込み領域」とする。）、撮像画像からはみ出た領域（以下、「はみ出し領域」とする。）等を含む。なお、図８は、識別処理対象画像領域と識別処理不適領域との関係を示す図であり、図７（Ｃ１）及び図７（Ｃ２）に対応する。また、図８左図の右下がりの斜線ハッチング領域は、はみ出し領域Ｒ１に対応し、左下がりの斜線ハッチング領域は、車体映り込み領域Ｒ２に対応する。
【００３５】
本実施例では、抽出部３１は、識別処理対象画像領域ＴＲｇ５がはみ出し領域Ｒ１及び車体映り込み領域Ｒ２の一部を含む場合、それらの識別処理不適領域をマスク処理した後で、識別処理対象画像領域ＴＲｇ５を有する識別処理対象画像の正規化画像ＴＲｇｔ５を生成する。なお、抽出部３１は、正規化画像ＴＲｇｔ５を生成した後で、正規化画像ＴＲｇｔ５における識別処理不適領域に対応する部分をマスク処理してもよい。
【００３６】
図８右図は、正規化画像ＴＲｇｔ５を示す。また、図８右図において、右下がりの斜線ハッチング領域は、はみ出し領域Ｒ１に対応するマスク領域Ｍ１を表し、左下がりの斜線ハッチング領域は、車体映り込み領域Ｒ２の一部に対応するマスク領域Ｍ２を表す。
【００３７】
このようにして、抽出部３１は、識別処理不適領域の画像をマスク処理することで、識別処理不適領域の画像が識別部３２による識別処理に影響を及ぼすのを防止する。このマスク処理により、識別部３２は、識別処理不適領域の画像の影響を受けることなく、正規化画像におけるマスク領域以外の領域の画像を用いて人画像であるかを識別できる。なお、抽出部３１は、マスク処理以外の他の任意の公知方法で、識別処理不適領域の画像が識別部３２による識別処理に影響を及ぼさないようにしてもよい。
【００３８】
次に、図９を参照し、抽出部３１が生成する正規化画像の特徴について説明する。なお、図９は、正規化画像の例を示す図である。また、図９に示す１４枚の正規化画像は、図の左端に近い正規化画像ほど、後方カメラ４０Ｂから近い位置に存在する人候補の画像を含み、図の右端に近い正規化画像ほど、後方カメラ４０Ｂから遠い位置に存在する人候補の画像を含む。
【００３９】
図９に示すように、抽出部３１は、実空間における仮想平面領域ＴＲと後方カメラ４０Ｂとの間の後方水平距離（図５に示すＹ軸方向の水平距離）に関係なく、何れの正規化画像内においてもほぼ同じ割合で頭部画像部分、胴体部画像部分、脚部画像部分等を配置できる。そのため、抽出部３１は、識別部３２が識別処理を実行する際の演算負荷を低減でき、且つ、その識別結果の信頼性を向上できる。なお、上述の後方水平距離は、実空間における仮想平面領域ＴＲと後方カメラ４０Ｂとの間の位置関係に関する情報の一例であり、抽出部３１は、抽出した識別処理対象画像にその情報を付加する。また、上述の位置関係に関する情報は、仮想平面領域ＴＲに対応する参照点Ｐｒと後方カメラ４０Ｂとを結ぶ線分の後方カメラ４０Ｂの光軸に対する上面視角度等を含む。
【００４０】
次に、図１０を参照し、実空間における仮想平面領域ＴＲと後方カメラ４０Ｂとの間の後方水平距離と、正規化画像における頭部画像部分の大きさとの関係について説明する。なお、図１０上図は、後方カメラ４０Ｂからの後方水平距離がそれぞれ異なる３つの参照点Ｐｒ１０、Ｐｒ１１、Ｐ１２のところに人が存在する場合の頭部画像部分の大きさＬ１０、Ｌ１１、Ｌ１２を示す図であり、横軸が後方水平距離に対応する。また、図１０下図は、後方水平距離と頭部画像部分の大きさの関係を示すグラフであり、縦軸が頭部画像部分の大きさに対応し、横軸が後方水平距離に対応する。なお、図１０上図及び図１０下図の横軸は共通である。また、本実施例は、カメラ高さを２１００ｍｍとし、頭部ＨＤの中心の地面からの高さを１６００ｍｍとし、頭部の直径を２５０ｍｍとする。
【００４１】
図１０上図に示すように、参照点Ｐｒ１０で示す位置に人が存在する場合、頭部画像部分の大きさＬ１０は、後方カメラ４０Ｂから見た頭部ＨＤの仮想平面領域ＴＲ１０への投影像の大きさに相当する。同様に、参照点Ｐｒ１１、Ｐｒ１２で示す位置に人が存在する場合、頭部画像部分の大きさＬ１１、Ｌ１２は、後方カメラ４０Ｂから見た頭部ＨＤの仮想平面領域ＴＲ１１、ＴＲ１２への投影像の大きさに相当する。なお、正規化画像における頭部画像部分の大きさは投影像の大きさに伴って変化する。
【００４２】
そして、図１０下図に示すように、正規化画像における頭部画像部分の大きさは、後方水平距離がＤ１（例えば７００ｍｍ）以上ではほぼ同じ大きさを維持するが、後方水平距離がＤ１を下回ったところで急激に増大する。
【００４３】
そこで、識別部３２は、後方水平距離に応じて識別処理の内容を変更する。例えば、識別部３２は、教師あり学習（機械学習）の手法を用いる場合、所定の後方水平距離（例えば６５０ｍｍ）を境に、識別処理で用いる学習サンプルをグループ分けする。具体的には、近距離用グループと遠距離用グループに学習サンプルを分けるようにする。この構成により、識別部３２は、より高精度に人画像を識別できる。  以上の構成により、周辺監視システム１００は、撮像装置４０の方向を向き且つ水平面である仮想地面に対して傾斜する仮想平面領域ＴＲに対応する識別処理対象画像領域ＴＲｇから正規化画像ＴＲｇｔを生成する。そのため、人の高さ方向及び奥行き方向の見え方を考慮した正規化を実現できる。その結果、人を斜め上から撮像するように建設機械に取り付けられる撮像装置４０の撮像画像を用いた場合であっても建設機械の周囲に存在する人をより確実に検知できる。特に、人が撮像装置４０に接近した場合であっても、撮像画像上の十分な大きさの領域を占める識別処理対象画像から正規化画像を生成できるため、その人を確実に検知できる。
【００４４】
また、周辺監視システム１００は、実空間における仮想直方体であるボックスＢＸの４つの頂点Ａ、Ｂ、Ｇ、Ｈで形成される矩形領域として仮想平面領域ＴＲを定義する。そのため、実空間における参照点Ｐｒと仮想平面領域ＴＲとを幾何学的に対応付けることができ、さらには、実空間における仮想平面領域ＴＲと撮像画像における識別処理対象画像領域ＴＲｇとを幾何学的に対応付けることができる。
【００４５】
また、抽出部３１は、識別処理対象画像領域ＴＲｇに含まれる識別処理不適領域の画像をマスク処理する。そのため、識別部３２は、車体映り込み領域Ｒ２を含む識別処理不適領域の画像の影響を受けることなく、正規化画像におけるマスク領域以外の領域の画像を用いて人画像であるかを識別できる。
【００４６】
また、抽出部３１は、識別処理対象画像を抽出した場合、仮想平面領域ＴＲと撮像装置４０との位置関係に関する情報として両者間の後方水平距離をその識別処理対象画像に付加する。そして、識別部３２は、その後方水平距離に応じて識別処理の内容を変更する。具体的には、識別部３２は、所定の後方水平距離（例えば６５０ｍｍ）を境に、識別処理で用いる学習サンプルをグループ分けする。この構成により、識別部３２は、より高精度に人画像を識別できる。
【００４７】
また、抽出部３１は、参照点Ｐｒ毎に識別処理対象画像を抽出可能である。また、識別処理対象画像領域ＴＲｇのそれぞれは、対応する仮想平面領域ＴＲを介して、人の想定立ち位置として予め設定される参照点Ｐｒの１つに関連付けられる。そのため、周辺監視システム１００は、人が存在する可能性が高い参照点Ｐｒを任意の方法で抽出することで、人候補画像を含む可能性が高い識別処理対象画像を抽出できる。この場合、人候補画像を含む可能性が低い識別処理対象画像に対して、比較的演算量の多い画像処理による識別処理が施されてしまうのを防止でき、人検知処理の高速化を実現できる。
【００４８】
次に、図１１及び図１２を参照し、人候補画像を含む可能性が高い識別処理対象画像を抽出部３１が抽出する処理の一例について説明する。なお、図１１は、抽出部３１が撮像画像から識別処理対象画像を切り出す際に用いる幾何学的関係の一例を示す概略図であり、図４に対応する。また、図１２は、撮像画像における特徴画像の一例を示す図である。なお、特徴画像は、人の特徴的な部分を表す画像であり、望ましくは、実空間における地面からの高さが変化し難い部分を表す画像である。そのため、特徴画像は、例えば、ヘルメットの画像、肩の画像、頭の画像、人に取り付けられる反射板若しくはマーカの画像等を含む。
【００４９】
本実施例では、抽出部３１は、前段画像認識処理によって、撮像画像におけるヘルメット画像（厳密にはヘルメットであると推定できる画像）を見つけ出す。ショベルの周囲で作業する人はヘルメットを着用していると考えられるためである。そして、抽出部３１は、見つけ出したヘルメット画像の位置から最も関連性の高い参照点Ｐｒを導き出す。その上で、抽出部３１は、その参照点Ｐｒに対応する識別処理対象画像を抽出する。
【００５０】
具体的には、抽出部３１は、図１１に示す幾何学的関係を利用し、撮像画像におけるヘルメット画像の位置から関連性の高い参照点Ｐｒを導き出す。なお、図１１の幾何学的関係は、実空間における仮想頭部位置ＨＰを定める点で図４の幾何学的関係と相違するが、その他の点で共通する。
【００５１】
仮想頭部位置ＨＰは、参照点Ｐｒ上に存在すると想定される人の頭部位置を表し、参照点Ｐｒの真上に配置される。本実施例では、参照点Ｐｒ上の高さ１７００ｍｍのところに配置される。そのため、実空間における仮想頭部位置ＨＰが決まれば、実空間における参照点Ｐｒの位置が一意に決まり、実空間における仮想平面領域ＴＲの位置も一意に決まる。また、撮像画像における識別処理対象画像領域ＴＲｇも一意に決まる。そして、抽出部３１は、識別処理対象画像領域ＴＲｇを有する識別処理対象画像を正規化して所定サイズの正規化画像ＴＲｇｔを生成できる。
【００５２】
逆に、実空間における参照点Ｐｒの位置が決まれば、実空間における仮想頭部位置ＨＰが一意に決まり、実空間における仮想頭部位置ＨＰに対応する撮像画像上の頭部画像位置ＡＰも一意に決まる。そのため、頭部画像位置ＡＰは、予め設定されている参照点Ｐｒのそれぞれに対応付けて予め設定され得る。なお、頭部画像位置ＡＰは、参照点Ｐｒからリアルタイムに導き出されてもよい。
【００５３】
そこで、抽出部３１は、前段画像認識処理により後方カメラ４０Ｂの撮像画像内でヘルメット画像を探索する。図１２上図は、抽出部３１がヘルメット画像ＨＲｇを見つけ出した状態を示す。そして、抽出部３１は、ヘルメット画像ＨＲｇを見つけ出した場合、その代表位置ＲＰを決定する。なお、代表位置ＲＰは、ヘルメット画像ＨＲｇの大きさ、形状等から導き出される位置である。本実施例では、代表位置ＲＰは、ヘルメット画像ＨＲｇを含むヘルメット画像領域の中心画素の位置である。図１２下図は、図１２上図における白線で区切られた矩形画像領域であるヘルメット画像領域の拡大図であり、そのヘルメット画像領域の中心画素の位置が代表位置ＲＰであることを示す。
【００５４】
その後、抽出部３１は、例えば最近傍探索アルゴリズムを用いて代表位置ＲＰの最も近傍にある頭部画像位置ＡＰを導き出す。図１２下図は、代表位置ＲＰの近くに６つの頭部画像位置ＡＰ１〜ＡＰ６が予め設定されており、そのうちの頭部画像位置ＡＰ５が代表位置ＲＰの最も近傍にある頭部画像位置ＡＰであることを示す。
【００５５】
そして、抽出部３１は、図１１に示す幾何学的関係を利用し、導き出した最近傍の頭部画像位置ＡＰから、仮想頭部位置ＨＰ、参照点Ｐｒ、仮想平面領域ＴＲを辿って、対応する識別処理対象画像領域ＴＲｇを抽出する。その後、抽出部３１は、抽出した識別処理対象画像領域ＴＲｇを有する識別処理対象画像を正規化して正規化画像ＴＲｇｔを生成する。
【００５６】
このようにして、抽出部３１は、撮像画像における人の特徴画像の位置であるヘルメット画像ＨＲｇの代表位置ＲＰと、予め設定された頭部画像位置ＡＰの１つ（頭部画像位置ＡＰ５）とを対応付けることで識別処理対象画像を抽出する。
【００５７】
なお、抽出部３１は、図１１に示す幾何学的関係を利用する代わりに、頭部画像位置ＡＰと参照点Ｐｒ、仮想平面領域ＴＲ、又は識別処理対象画像領域ＴＲｇとを直接的に対応付ける参照テーブルを利用し、頭部画像位置ＡＰに対応する識別処理対象画像を抽出してもよい。
【００５８】
また、抽出部３１は、山登り法、Mean-shift法等の最近傍探索アルゴリズム以外の他の公知のアルゴリズムを用いて代表位置ＲＰから参照点Ｐｒを導き出してもよい。例えば、山登り法を用いる場合、抽出部３１は、代表位置ＲＰの近傍にある複数の頭部画像位置ＡＰを導き出し、代表位置ＲＰとそれら複数の頭部画像位置ＡＰのそれぞれに対応する参照点Ｐｒとを紐付ける。このとき、抽出部３１は、代表位置ＲＰと頭部画像位置ＡＰが近いほど重みが大きくなるように参照点Ｐｒに重みを付ける。そして、複数の参照点Ｐｒの重みの分布を山登りし、重みの極大点に最も近い重みを有する参照点Ｐｒから識別処理対象画像領域ＴＲｇを抽出する。
【００５９】
次に、図１３を参照し、コントローラ３０の抽出部３１が識別処理対象画像を抽出する処理（以下、「画像抽出処理」とする。）の一例について説明する。なお、図１３は、画像抽出処理の一例の流れを示すフローチャートである。抽出部３１は、例えば、撮像画像を取得する度にこの画像抽出処理を実行する。
【００６０】
最初に、抽出部３１は、撮像画像内でヘルメット画像を探索する（ステップＳＴ１）。本実施例では、抽出部３１は、前段画像認識処理により後方カメラ４０Ｂの撮像画像をラスタスキャンしてヘルメット画像を見つけ出す。
【００６１】
撮像画像でヘルメット画像ＨＲｇを見つけ出した場合（ステップＳＴ１のＹＥＳ）、抽出部３１は、ヘルメット画像ＨＲｇの代表位置ＲＰを取得する（ステップＳＴ２）。
【００６２】
その後、抽出部３１は、取得した代表位置ＲＰの最近傍にある頭部画像位置ＡＰを取得する（ステップＳＴ３）。
【００６３】
その後、抽出部３１は、取得した頭部画像位置ＡＰに対応する識別処理対象画像を抽出する（ステップＳＴ４）。本実施例では、抽出部３１は、図１１に示す幾何学的関係を利用し、撮像画像における頭部画像位置ＡＰ、実空間における仮想頭部位置ＨＰ、実空間における人の想定立ち位置としての参照点Ｐｒ、及び、実空間における仮想平面領域ＴＲの対応関係を辿って識別処理対象画像を抽出する。
【００６４】
なお、抽出部３１は、撮像画像でヘルメット画像ＨＲｇを見つけ出さなかった場合には（ステップＳＴ１のＮＯ）、識別処理対象画像を抽出することなく、処理をステップＳＴ５に移行させる。
【００６５】
その後、抽出部３１は、撮像画像の全体にわたってヘルメット画像を探索したかを判定する（ステップＳＴ５）。
【００６６】
撮像画像の全体を未だ探索していないと判定した場合（ステップＳＴ５のＮＯ）、抽出部３１は、撮像画像の別の領域に対し、ステップＳＴ１〜ステップＳＴ４の処理を実行する。
【００６７】
一方、撮像画像の全体にわたるヘルメット画像の探索を完了したと判定した場合（ステップＳＴ５のＹＥＳ）、抽出部３１は今回の画像抽出処理を終了させる。
【００６８】
このように、抽出部３１は、最初にヘルメット画像ＨＲｇを見つけ出し、見つけ出したヘルメット画像ＨＲｇの代表位置ＲＰから、頭部画像位置ＡＰ、仮想頭部位置ＨＰ、参照点（想定立ち位置）Ｐｒ、仮想平面領域ＴＲを経て識別処理対象画像領域ＴＲｇを特定する。そして、特定した識別処理対象画像領域ＴＲｇを有する識別処理対象画像を抽出して正規化することで、所定サイズの正規化画像ＴＲｇｔを生成できる。
【００６９】
次に、図１４を参照し、画像抽出処理の別の一例について説明する。なお、図１４は、画像抽出処理の別の一例の流れを示すフローチャートである。
【００７０】
最初に、抽出部３１は、頭部画像位置ＡＰの１つを取得する（ステップＳＴ１１）。その後、抽出部３１は、その頭部画像位置ＡＰに対応するヘルメット画像領域を取得する（ステップＳＴ１２）。本実施例では、ヘルメット画像領域は、頭部画像位置ＡＰのそれぞれについて予め設定された所定サイズの画像領域である。
【００７１】
その後、抽出部３１は、ヘルメット画像領域内でヘルメット画像を探索する（ステップＳＴ１３）。本実施例では、抽出部３１は、前段画像認識処理によりヘルメット画像領域内をラスタスキャンしてヘルメット画像を見つけ出す。
【００７２】
ヘルメット画像領域内でヘルメット画像ＨＲｇを見つけ出した場合（ステップＳＴ１３のＹＥＳ）、抽出部３１は、そのときの頭部画像位置ＡＰに対応する識別処理対象画像を抽出する（ステップＳＴ１４）。本実施例では、抽出部３１は、図１１に示す幾何学的関係を利用し、撮像画像における頭部画像位置ＡＰ、実空間における仮想頭部位置ＨＰ、実空間における人の想定立ち位置としての参照点Ｐｒ、及び、実空間における仮想平面領域ＴＲの対応関係を辿って識別処理対象画像を抽出する。
【００７３】
なお、抽出部３１は、ヘルメット画像領域内でヘルメット画像ＨＲｇを見つけ出さなかった場合には（ステップＳＴ１３のＮＯ）、識別処理対象画像を抽出することなく、処理をステップＳＴ１５に移行させる。
【００７４】
その後、抽出部３１は、撮像画像における全ての頭部画像位置ＡＰを取得したかを判定する（ステップＳＴ１５）。そして、撮像画像における全ての頭部画像位置ＡＰを未だ取得していないと判定した場合（ステップＳＴ１５のＮＯ）、抽出部３１は、未取得の別の頭部画像位置ＡＰを取得し、ステップＳＴ１１〜ステップＳＴ１４の処理を実行する。一方、撮像画像における全ての頭部画像位置ＡＰを取得し終わったと判定した場合（ステップＳＴ１５のＹＥＳ）、抽出部３１は今回の画像抽出処理を終了させる。
【００７５】
このように、抽出部３１は、最初に頭部画像位置ＡＰの１つを取得し、取得した頭部画像位置ＡＰに対応するヘルメット画像領域でヘルメット画像ＨＲｇを見つけ出した場合に、そのときの頭部画像位置ＡＰから、仮想頭部位置ＨＰ、参照点（想定立ち位置）Ｐｒ、仮想平面領域ＴＲを経て、識別処理対象画像領域ＴＲｇを特定する。そして、特定した識別処理対象画像領域ＴＲｇを有する識別処理対象画像を抽出して正規化することで、所定サイズの正規化画像ＴＲｇｔを生成できる。
【００７６】
以上の構成により、周辺監視システム１００の抽出部３１は、撮像画像における特徴画像としてのヘルメット画像を見つけ出し、そのヘルメット画像の代表位置ＲＰと所定画像位置としての頭部画像位置ＡＰの１つとを対応付けることで識別処理対象画像を抽出する。そのため、簡易なシステム構成で後段画像認識処理の対象となる画像部分を絞り込むことができる。
【００７７】
なお、抽出部３１は、最初に撮像画像からヘルメット画像ＨＲｇを見つけ出し、そのヘルメット画像ＨＲｇの代表位置ＲＰに対応する頭部画像位置ＡＰの１つを導き出し、その頭部画像位置ＡＰの１つに対応する識別処理対象画像を抽出してもよい。或いは、抽出部３１は、最初に頭部画像位置ＡＰの１つを取得し、その頭部画像位置ＡＰの１つに対応する特徴画像の位置を含む所定領域であるヘルメット画像領域内にヘルメット画像が存在する場合に、その頭部画像位置ＡＰの１つに対応する識別処理対象画像を抽出してもよい。
【００７８】
また、抽出部３１は、図１１に示すような所定の幾何学的関係を利用し、撮像画像におけるヘルメット画像の代表位置ＲＰから識別処理対象画像を抽出してもよい。この場合、所定の幾何学的関係は、撮像画像における識別処理対象画像領域ＴＲｇと、識別処理対象画像領域ＴＲｇに対応する実空間における仮想平面領域ＴＲと、仮想平面領域ＴＲに対応する実空間における参照点Ｐｒ（人の想定立ち位置）と、参照点Ｐｒに対応する仮想頭部位置ＨＰ（人の想定立ち位置に対応する人の特徴的な部分の実空間における位置である仮想特徴位置）と、仮想頭部位置ＨＰに対応する撮像画像における頭部画像位置ＡＰ（仮想特徴位置に対応する撮像画像における所定画像位置）との幾何学的関係を表す。
【００７９】
次に、図１５を参照し、画像抽出処理の更に別の一例について説明する。なお、図１５は、画像抽出処理の更に別の一例の流れを示すフローチャートである。図１５の画像抽出処理は、正規化画像を生成した後でその正規化画像に特徴画像としてのヘルメット画像が含まれるか否かを判定する点で図１３及び図１４のそれぞれにおける画像抽出処理と異なる。図１３及び図１４のそれぞれにおける画像抽出処理はヘルメット画像を見つけた後でそのヘルメット画像を含む画像部分を正規化するためである。
【００８０】
本実施例では、抽出部３１は、撮像画像における複数の所定画像部分のそれぞれを正規化して複数の正規化画像を生成し、それら正規化画像のうちヘルメット画像を含む正規化画像を識別処理対象画像として抽出する。複数の所定画像部分は、例えば、撮像画像上に予め定められた複数の識別処理対象画像領域ＴＲｇである。識別処理対象画像領域ＴＲｇ（図６参照。）は、実空間における仮想平面領域ＴＲに対応し、仮想平面領域ＴＲは実空間における参照点Ｐｒに対応する。そして、識別部３２は、抽出部３１が抽出した識別処理対象画像に含まれる人候補画像が人画像であるかを識別する。
【００８１】
最初に、抽出部３１は所定画像部分の１つから正規化画像を生成する（ステップＳＴ２１）。本実施例では、後方カメラ４０Ｂの撮像画像における予め設定された参照点Ｐｒの１つに対応する識別処理対象画像領域ＴＲｇの１つを所定画像部分とし、その所定画像部分を射影変換によって所定サイズの長方形画像に変換する。
【００８２】
その後、抽出部３１は、生成した正規化画像にヘルメット画像が含まれるか否かを判定する（ステップＳＴ２２）。本実施例では、抽出部３１は、前段画像認識処理によりその正規化画像をラスタスキャンしてヘルメット画像を見つけ出す。
【００８３】
正規化画像にヘルメット画像が含まれると判定した場合（ステップＳＴ２２のＹＥＳ）、抽出部３１は、その正規化画像を識別処理対象画像として抽出する（ステップＳＴ２３）。このとき、識別部３２は、抽出部３１が抽出した識別処理対象画像に含まれる人候補画像が人画像であるかを識別する。すなわち、識別部３２は、抽出部３１による次の正規化が行われる前に、ヘルメット画像を含むと判定された正規化画像に対し、その正規化画像に含まれる画像が人画像であるかを識別する。そのため、周辺監視システム１００は、１つの正規化画像を記憶できるメモリ容量を有していれば撮像画像の全体に対する画像抽出処理及び識別処理を実行できる。但し、識別部３２は、抽出部３１が複数の正規化画像を識別処理対象画像として抽出した後で、それら複数の識別処理対象画像のそれぞれに含まれる人候補画像が人画像であるかを識別してもよい。
【００８４】
正規化画像にヘルメット画像が含まれないと判定した場合（ステップＳＴ２２のＮＯ）、抽出部３１は、その正規化画像を識別処理対象画像として抽出することなく処理を進める。
【００８５】
その後、抽出部３１は、撮像画像における全ての所定画像部分から正規化画像を生成したか否かを判定する（ステップＳＴ２４）。本実施例では、後方カメラ４０Ｂの撮像画像における参照点Ｐｒのそれぞれに対応する識別処理対象画像領域ＴＲｇである所定画像部分の全てから正規化画像を生成したか否かを判定する。
【００８６】
撮像画像における全ての所定画像部分から正規化画像を生成していないと判定した場合（ステップＳＴ２４のＮＯ）、抽出部３１は、別の所定画像部分に対し、ステップＳＴ２１〜ステップＳＴ２３の処理を実行する。
【００８７】
一方、撮像画像における全ての所定画像部分から正規化画像を生成したと判定した場合（ステップＳＴ２４のＹＥＳ）、抽出部３１は今回の画像抽出処理を終了させる。
【００８８】
図１５の例では、周辺監視システム１００は、１つの正規化画像を生成した段階でその正規化画像にヘルメット画像が含まれるか否かを判定する。但し、複数の正規化画像を生成した段階でそれら複数の正規化画像のそれぞれにヘルメット画像が含まれるか否かを纏めて判定してもよい。また、全ての正規化画像を生成した段階でそれら全ての正規化画像のそれぞれにヘルメット画像が含まれるか否かを纏めて判定してもよい。
【００８９】
このような画像抽出処理により、周辺監視システム１００は、人検知処理の際のメモリアクセス回数を低減させることができる。ヘルメット画像を見つけ出す処理と識別処理対象画像を抽出する処理を同時に実行できるためである。
【００９０】
また、図１５の画像抽出処理を採用する周辺監視システム１００は、図１３又は図１４の画像抽出処理を採用する場合に比べ、メモリ容量を低減させることができる。図１３又は図１４の画像抽出処理は、少なくとも、正規化される前の画像部分（正規化画像より大きい画像）を記憶できるだけのメモリ容量が必要であるが、図１５の画像抽出処理は正規化画像を最初に生成するため正規化画像を記憶できるだけのメモリ容量があれば実行可能なためである。
【００９１】
また、図１５の画像抽出処理を採用する周辺監視システム１００は、正規化画像にヘルメット画像が含まれるか否かを判定する。そのため、図１３又は図１４の画像抽出処理のように正規化される前の画像にヘルメット画像が含まれるか否かを判定する構成に比べ、ヘルメット画像が含まれるか否かの判定に要する処理時間を短縮できる。探索対象となるヘルメット画像のサイズ及び歪みのばらつきを小さくできるためである。その結果、識別処理対象画像の抽出に要する時間を短縮できる。また、探索対象となるヘルメット画像のサイズ及び歪みのばらつきを小さくできるため、ヘルメット画像が含まれるか否かの判定の精度を高めることができる。
【００９２】
また、図１５の画像抽出処理を採用する周辺監視システム１００は、人の足位置に対する頭部位置のバラツキが大きい場合（例えば屈んでいる人の画像が撮像画像に含まれる場合）であっても、より確実な人検知を実現できる。正規化画像にヘルメット画像が含まれるか否かを判定する構成を採用しているためである。すなわち、図１３又は図１４の画像抽出処理のようにヘルメット画像の位置に関連する頭部画像位置を用いて識別処理対象画像領域を特定する構成ではなく、正規化の対象となる所定画像部分としての識別処理対象画像領域が頭部画像位置とは無関係に設定されるためである。
【００９３】
次に、図１６を参照し、画像抽出処理の更に別の一例について説明する。なお、図１６は画像抽出処理の更に別の一例の流れを示すフローチャートである。図１６の画像抽出処理は、所定画像部分の一部を正規化した段階でその部分的に正規化された画像（以下、「部分正規化画像」とする。）に特徴画像としてのヘルメット画像が含まれるか否かを判定する点で図１５の画像抽出処理と異なる。図１５の画像抽出処理は、１つの所定画像部分の全部を正規化した段階でその正規化画像にヘルメット画像が含まれるか否かを判定するためである。
【００９４】
最初に、抽出部３１は、所定画像部分の一部から部分正規化画像を生成する（ステップＳＴ３１）。そして、抽出部３１は、部分正規化画像を生成した段階でその部分正規化画像にヘルメット画像が含まれるか否かを判定する（ステップＳＴ３２）。本実施例では、抽出部３１は、正規化画像の上半分に対応する所定画像部分の一部を正規化して部分正規化画像を生成した段階で前段画像認識処理によりその部分正規化画像をラスタスキャンしてヘルメット画像を見つけ出す。
【００９５】
部分正規化画像にヘルメット画像が含まれると判定した場合（ステップＳＴ３２のＹＥＳ）、抽出部３１は、所定画像部分の残りの部分を正規化して正規化画像を生成する（ステップＳＴ３３）。本実施例では、抽出部３１は、正規化画像の下半分に対応する所定画像部分の残りの部分を正規化して正規化画像を生成する。そして、抽出部３１は、その正規化画像を識別処理対象画像として抽出する（ステップＳＴ３４）。このとき、識別部３２は、抽出部３１が抽出した識別処理対象画像に含まれる人候補画像が人画像であるかを識別する。但し、識別部３２は、抽出部３１が複数の正規化画像を識別処理対象画像として抽出した後で、それら複数の識別処理対象画像のそれぞれに含まれる人候補画像が人画像であるかを識別してもよい。
【００９６】
部分正規化画像にヘルメット画像が含まれないと判定した場合（ステップＳＴ３２のＮＯ）、抽出部３１は、所定画像部分の残りの部分を正規化して正規化画像を生成することなく処理を進める。
【００９７】
その後、抽出部３１は、撮像画像における全ての所定画像部分から部分正規化画像を生成したか否かを判定する（ステップＳＴ３５）。本実施例では、後方カメラ４０Ｂの撮像画像における参照点Ｐｒのそれぞれに対応する識別処理対象画像領域ＴＲｇである所定画像部分の全てから部分正規化画像を生成したか否かを判定する。
【００９８】
撮像画像における全ての所定画像部分から部分正規化画像を生成していないと判定した場合（ステップＳＴ３５のＮＯ）、抽出部３１は、別の所定画像部分に対し、ステップＳＴ３１〜ステップＳＴ３４の処理を実行する。
【００９９】
一方、撮像画像における全ての所定画像部分から部分正規化画像を生成したと判定した場合（ステップＳＴ３５のＹＥＳ）、抽出部３１は今回の画像抽出処理を終了させる。
【０１００】
図１６の例では、周辺監視システム１００は、正規化画像の上半分に対応する所定画像部分の一部を正規化して部分正規化画像を生成する。ヘルメット画像は正規化画像の上半分（人の上半身に対応する部分）に含まれる蓋然性が高いためである。但し、正規化画像の上半分より小さい部分に対応する所定画像部分の一部を正規化して部分正規化画像を生成してもよい。例えば、正規化画像の上の１／３にあたる部分に対応する所定画像部分の一部を正規化して部分正規化画像を生成してもよい。或いは、周辺監視システム１００は、正規化画像の別の一部を正規化して部分正規化画像を生成してもよい。例えば、特徴画像としての肩の画像を探索する場合、正規化画像の右半分に対応する所定画像部分の一部を正規化して部分正規化画像を生成してもよく、特徴画像としてのマーカの画像を探索する場合、正規化画像の中央半分に対応する所定画像部分の一部を正規化して部分正規化画像を生成してもよい。
【０１０１】
このような画像抽出処理により、図１６の画像抽出処理を採用する周辺監視システム１００は、図１５の画像抽出処理を採用する場合と同様の効果を実現できる。
【０１０２】
また、図１６の画像抽出処理を採用する周辺監視システム１００は、図１５の画像抽出処理を採用する場合に比べ、人検知処理に要する処理時間を更に短縮できる。部分正規化画像にヘルメット画像が含まれないと判定した場合、その所定画像部分の残りの部分を正規化することなく、次の所定画像部分の正規化を開始できるためである。
【０１０３】
また、図１３〜図１６のそれぞれにおける画像抽出処理において、抽出部３１は、撮像画像の全域を対象として識別処理対象画像を抽出する。しかしながら、撮像画像の左上の領域から右下の領域に向かって一律に抽出が行われた場合、人画像が存在しそうにない領域での抽出に時間が掛かり過ぎてしまい、人画像が存在しそうな領域での抽出に遅れを生じさせてしまうおそれがある。特に、背景画像が複雑な場合等、人候補画像の数が多くなる場合にその傾向が顕著になる。
【０１０４】
そこで、抽出部３１は、撮像画像を複数の領域に分割し、それら複数の領域から所定の順番で選択される各領域を対象として識別処理対象画像を抽出してもよい。例えば、それら複数の領域のそれぞれに優先順位を付し、優先順位の高い領域から順番に各領域を対象として画像抽出処理を適用してもよい。人画像が存在しそうな領域等の優先順位の高い領域での抽出を早期に完了させるためである。なお、撮像画像は、上下に分割されてもよく、左右に分割されてもよく、上下左右に分割されてもよい。また、複数の領域は、ショベルの車両状態等に応じて動的に設定されてもよく、ショベルの車両状態等にかかわらず静的に設定されてもよい。優先順位も同様にショベルの車両状態等に応じて動的に設定されてもよく、ショベルの車両状態等にかかわらず静的に設定されてもよい。例えば、複数の領域の分割の仕方及び優先順位は何れも、旋回方向、旋回速度、走行方向、及び走行速度の少なくとも一つに応じて動的に設定されてもよい。また、各領域を対象とする画像抽出処理は図１３〜図１６の画像抽出処理のうちの何れが採用されてもよい。但し、その場合には図１３〜図１６の説明における「撮像画像の全体」、「撮像画像における全て」は「選択された領域の全体」、「選択された領域における全て」で読み替えられる。
【０１０５】
図１７は、撮像画像における複数の領域のそれぞれを対象として順番に画像抽出処理を適用する処理（以下、「選択型画像抽出処理」とする。）の一例の流れを示すフローチャートである。コントローラ３０は、例えば、撮像画像を取得する度にこの選択型画像抽出処理を実行する。コントローラ３０は、図１３〜図１６の何れかの画像抽出処理（以下、「一律型画像抽出処理」とする。）と図１７の選択型画像抽出処理とを択一的に実行してもよい。例えば、コントローラ３０は、現に取得した撮像画像に関する識別処理対象画像の抽出数が所定数を超えた場合に次の撮像画像を取得したときに選択型画像抽出処理を実行し、識別処理対象画像の抽出数が所定数以下の場合に次の撮像画像を取得したときに一律型画像抽出処理を実行してもよい。或いは、コントローラ３０は、識別処理対象画像の抽出数にかかわらず、常に選択型画像抽出処理を実行してもよい。
【０１０６】
図１８は、複数の領域に分割された撮像画像の一例を示す。図１８の撮像画像は後方カメラ４０Ｂが撮像した撮像画像（スルー画像）である。図１８では、撮像画像は６つの領域Ａ１〜Ａ６に分割されている。台形形状の領域Ａ１の上辺は、例えば、ショベルの現在の旋回半径に対応し、領域Ａ１の左右の辺は、例えば、下部走行体１の外縁の延長線に対応する。逆台形形状の領域Ａ４の下辺は、例えば、ショベルの最大旋回半径に対応し、領域Ａ４の上辺は、例えば、地面より所定高さだけ高い位置にある線に対応する。所定高さは、例えば、人の身長の高さ（２メートル）である。図１８の例では領域Ａ１〜Ａ６の分割の仕方は静的に設定されている。例えば、領域Ａ１〜Ａ６のそれぞれの範囲、大きさ等に関する情報は、コントローラ３０の内部メモリに予め記憶されている。但し、複数の領域の分割の仕方はショベルの車両状態等に応じて動的に設定されてもよい。分割の仕方の変更は、分割対象となる範囲の変更、分割数の変更等を含む。
【０１０７】
撮像画像を取得すると、コントローラ３０の抽出部３１は、ショベルの車両状態を取得する（ステップＳＴ４１）。例えば、抽出部３１は、車両状態検出装置４４の出力に基づいてショベルの車両状態を取得する。車両状態は、例えば、掘削アタッチメントの姿勢、旋回方向、旋回速度、走行方向、走行速度、操作装置の操作内容等を含む。抽出部３１は、連続する撮像画像の時間差分、オプティカルフロー等を用いて撮像画像からショベルの車両状態を導き出してもよい。
【０１０８】
その後、抽出部３１は、ショベルの車両状態に基づいて各領域の優先順位を設定する（ステップＳＴ４２）。例えば、抽出部３１は、ショベルが静止している場合、領域Ａ１、領域Ａ２、領域Ａ３、領域Ａ４、領域Ａ５、領域Ａ６の順で優先順位を設定する。ショベルに真後ろの空間に対応する領域Ａ１を最優先とするのは、ショベルの真後ろに存在する人を早期に検知することでショベル発進時におけるショベルと人との接触を防止するためである。
【０１０９】
また、抽出部３１は、ショベルが後進している場合、領域Ａ４、領域Ａ２、領域Ａ３、領域Ａ１、領域Ａ５、領域Ａ６の順で優先順位を設定する。予想進路内の比較的遠い空間に対応する領域Ａ４を最優先とするのは、ショベルの進行に伴ってショベルとの距離が縮まる人を早期に検知するためである。予想進路の左右に位置する空間に対応する領域Ａ２及び領域Ａ３を次優先とするのは、予想進路内に進入しようとしている人を早期に検知するためである。
【０１１０】
また、抽出部３１は、ショベルが前進している場合、領域Ａ２、領域Ａ３、領域Ａ１、領域Ａ４、領域Ａ５、領域Ａ６の順で優先順位を設定する。ショベルが通った経路の左右に位置する空間に対応する領域Ａ２及び領域Ａ３を最優先とし、その経路内の最も近い空間に対応する領域Ａ１を次優先とするのは、ショベルに接近しようとしている人を早期に検知するためである。
【０１１１】
また、抽出部３１は、ショベルが右旋回している場合、領域Ａ３、領域Ａ１、領域Ａ４、領域Ａ５、領域Ａ２、領域Ａ６の順で優先順位を設定する。ショベルの左後方の空間に対応する領域Ａ３を最優先とするのは、ショベルの右旋回に伴って掘削アタッチメントとの距離が縮まる人を早期に検知するためである。
【０１１２】
また、抽出部３１は、ショベルが左旋回している場合、領域Ａ２、領域Ａ１、領域Ａ４、領域Ａ５、領域Ａ３、領域Ａ６の順で優先順位を設定する。ショベルの右後方の空間に対応する領域Ａ２を最優先とするのは、ショベルの左旋回に伴って掘削アタッチメントとの距離が縮まる人を早期に検知するためである。
【０１１３】
また、抽出部３１は、上述の何れの場合においても、撮像画像の中心領域である領域Ａ５の優先順位を低めに設定している。領域Ａ５に対応する空間に存在する人の人候補画像は、前回以前の画像抽出処理において周辺の他の領域で既に抽出されているためである。
【０１１４】
また、抽出部３１は、上述の何れの場合においても、地面より所定高さだけ高い位置にある遠方の空間に対応する領域Ａ６の優先順位を最下位に設定している。領域Ａ６に対応する空間内に人が存在する可能性が他の領域に比べて低いためである。
【０１１５】
その後、抽出部３１は、複数の領域における未探索領域のうち優先順位が最も高い領域を画像抽出処理の対象として選択する（ステップＳＴ４３）。未探索領域は、画像抽出処理が未だ適用されていない領域を意味する。例えば、抽出部３１は、ショベルが前進している場合、最優先の領域Ａ２が未探索領域であれば領域Ａ２を選択し、領域Ａ２が未探索領域ではなく且つ次優先の領域Ａ３が未探索領域であれば領域Ａ３を選択する。優先順位がより下位の領域についても同様である。
【０１１６】
その後、抽出部３１は、選択した領域に対して画像抽出処理を適用する（ステップＳＴ４４）。抽出部３１は、例えば、図１３〜図１６の画像抽出処理のうちの何れかを採用する。
【０１１７】
その後、抽出部３１は、選択した領域の全域に対して画像抽出処理を適用したか否かを判定する（ステップＳＴ４５）。
【０１１８】
選択した領域の全域に対して未だ画像抽出処理を適用していないと判定した場合（ステップＳＴ４５のＮＯ）、抽出部３１は、ステップＳＴ４４及びステップＳＴ４５を再び実行する。
【０１１９】
選択した領域の全域に対して画像抽出処理を適用したと判定した場合（ステップＳＴ４５のＹＥＳ）、コントローラ３０の識別部３２は後段画像認識処理を開始する（ステップＳＴ４６）。識別部３２は、例えば、抽出部３１が最優先の領域Ａ１から識別処理対象画像を抽出した後で次優先の領域Ａ２から識別処理対象画像を抽出する前に、抽出部３１が領域Ａ１から抽出した識別処理対象画像に含まれる画像が人の画像であるか否かを画像認識処理によって識別する処理を開始する。
【０１２０】
その後、抽出部３１は、撮像画像の全域に対して画像抽出処理を適用したか否かを判定する（ステップＳＴ４７）。
【０１２１】
そして、撮像画像の全域に対して未だ画像抽出処理を適用していないと判定した場合（ステップＳＴ４７のＮＯ）、抽出部３１は、ステップＳＴ４３以降の処理を再び実行する。この場合、コントローラ３０は、識別部３２による後段画像認識処理と抽出部３１によるステップＳＴ４３以降の処理とを並列的に実行してもよい。或いは、コントローラ３０は、識別部３２による後段画像認識処理が完了した後で、抽出部３１によるステップＳＴ４３以降の処理を実行してもよい。
【０１２２】
撮像画像の全域に対して画像抽出処理を適用したと判定した場合（ステップＳＴ４７のＹＥＳ）、抽出部３１は、今回の選択型画像抽出処理を終了させる。
【０１２３】
なお、コントローラ３０は、選択した領域の全域に対する画像抽出処理が完了する毎に後段画像認識処理を開始させる代わりに、識別処理対象画像の抽出数が所定数に達する毎に後段画像認識処理を開始させてもよい。
【０１２４】
以上の構成により、コントローラ３０は、撮像画像を複数の領域に分割し、画像抽出処理を適用する順番を設定することで、特定の領域での識別処理対象画像の抽出を早期に完了させることができる。
【０１２５】
また、コントローラ３０は、ショベルの車両状態に応じて撮像画像の分割の仕方を変更できる。そのため、現在のショベルの車両状態に適した分割の仕方で複数の領域を設定できる。
【０１２６】
また、コントローラ３０は、ショベルの車両状態に応じて各領域の優先順位を変更できる。そのため、現在のショベルの車両状態に適した優先順位を設定できる。
【０１２７】
なお、コントローラ３０は、ＣＡＮに接続されたブーム角度センサ、アーム角度センサ、バケット角度センサ、レゾルバ、ロータリエンコーダ、パイロット圧センサ等の既存の装置の出力に基づいてショベルの車両状態を取得できる。すなわち、コントローラ３０は、操作装置の操作内容、又は、ショベルの動作状態に基づいてショベルの車両状態を取得できる。或いは、コントローラ３０は、撮像装置４０の撮像画像に基づいてショベルの車両状態を取得できる。そのため、追加の装置等の取り付けを必要とせずに上述の効果を実現できる。
【０１２８】
次に図１９を参照し、複数の領域に分割された撮像画像の別の一例について説明する。図１９の撮像画像は後方カメラ４０Ｂが撮像した撮像画像（スルー画像）である。図１９では、撮像画像は４つの領域Ｂ１〜Ｂ４に分割されている。領域Ｂ１、領域Ｂ２、及び領域Ｂ３のそれぞれの上縁並びに領域Ｂ４の下縁は、例えば、ショベルの現在の旋回半径に対応する。それらはショベルの最大旋回半径に対応するものであってもよい。領域Ｂ１の左右の縁並びに領域Ｂ２の右縁及び領域Ｂ３の左縁は、例えば、下部走行体１の外縁の延長線に対応する。領域Ｂ４の上縁は、例えば、地面より所定高さだけ高い位置にある線に対応する。図１９の例では、コントローラ３０は、上部旋回体３の後端部が映り込んだ領域（領域Ｂ１の下の領域）と、地面より所定高さだけ高い遠方の空間に対応する領域（領域Ｂ４の上の領域）とに対しては画像認識処理を適用しない。
【０１２９】
そして、抽出部３１は、ショベルが静止している場合、領域Ｂ１、領域Ｂ２、領域Ｂ３、領域Ｂ４の順で優先順位を設定する。また、抽出部３１は、ショベルが後進している場合、領域Ｂ４、領域Ｂ２、領域Ｂ３、領域Ｂ１の順で優先順位を設定し、ショベルが前進している場合、領域Ｂ２、領域Ｂ３、領域Ｂ１、領域Ｂ４の順で優先順位を設定する。また、抽出部３１は、ショベルが右旋回している場合、領域Ｂ３、領域Ｂ１、領域Ｂ４、領域Ｂ２の順で優先順位を設定し、ショベルが左旋回している場合、領域Ｂ２、領域Ｂ１、領域Ｂ４、領域Ｂ３の順で優先順位を設定する。
【０１３０】
この構成により、図１９における複数の領域を用いて選択型画像抽出処理を実行するコントローラ３０は、図１８における複数の領域を用いて選択型画像抽出処理を実行する場合と同様の効果を実現できる。
【０１３１】
次に図２０を参照し、複数の領域に分割された撮像画像の更に別の一例について説明する。図２０（Ａ）〜図２０（Ｃ）の撮像画像は何れも右旋回中に後方カメラ４０Ｂが撮像した撮像画像（スルー画像）である。図２０（Ａ）〜図２０（Ｃ）では、撮像画像は３つの領域Ｃ１〜Ｃ３に分割されている。領域Ｃ１の上縁及び領域Ｃ２の下縁は、例えば、ショベルの現在の旋回半径に対応する。それらはショベルの最大旋回半径に対応するものであってもよい。また、図２０（Ａ）は右旋回速度が小さい場合の領域Ｃ１〜Ｃ３の配置を示し、図２０（Ｂ）は右旋回速度が中程度の場合の領域Ｃ１〜Ｃ３の配置を示し、図２０（Ｃ）は右旋回速度が大きい場合の領域Ｃ１〜Ｃ３の配置を示す。図２０（Ａ）〜図２０（Ｃ）のそれぞれにおける湾曲矢印は旋回方向を示し、矢印が太いほど旋回速度が大きいことを表す。なお、図２０の例では、コントローラ３０は、上部旋回体３の後端部が映り込んだ領域（領域Ｃ１及び領域Ｃ３のそれぞれの下の領域）と、地面より所定高さだけ高い遠方の空間に対応する領域（領域Ｃ２及び領域Ｃ３のそれぞれの上の領域）とに対しては画像認識処理を適用しない。
【０１３２】
図２０の例は、旋回速度の大きさに応じて領域Ｃ１〜Ｃ３のそれぞれの大きさを動的に変化させる点で、旋回速度によっては領域Ａ１〜Ａ６のそれぞれの大きさを変化させない図１８の例と相違する。
【０１３３】
具体的には、コントローラ３０は、車両状態検出装置４４の出力に基づいて右旋回が行われていると判定した場合、領域Ｃ１〜Ｃ３を含む複数の領域に撮像画像を分割する。そして、旋回速度に応じて領域Ｃ１〜Ｃ３のそれぞれの大きさを変更する。図２０の例では、右旋回速度が大きくなるにしたがって領域Ｃ１及び領域Ｃ２のそれぞれの大きさを撮像画像内で左方向に拡大する一方で領域Ｃ３の大きさをその拡大分だけ縮小する。
【０１３４】
この構成により、コントローラ３０は、ショベルの右旋回に伴い撮像画像の右端から現れて撮像画像内を左方向に移動する人候補画像を識別処理対象画像として早期に抽出することができる。
【０１３５】
また、右旋回速度が大きくなるほど撮像画像内における人候補画像の右から左への移動の速度も大きくなるが、コントローラ３０は、右旋回速度が大きくなるにしたがって領域Ｃ１を左方向に拡大する。そのため、所定時間毎に取得される撮像画像の領域Ｃ１内にその人候補画像を確実に捉えることができる。その結果、右旋回速度が大きい場合であっても撮像画像内を左方向に移動する人候補画像を識別処理対象画像として早期に抽出することができる。
【０１３６】
左旋回の場合には、コントローラ３０は、右旋回の場合に対して左右を反転させた領域Ｃ１〜Ｃ３の配置を採用し、左旋回速度が大きくなるにしたがって領域Ｃ１及び領域Ｃ２のそれぞれの大きさを撮像画像内で右方向に拡大する一方で領域Ｃ３の大きさをその拡大分だけ縮小する。
【０１３７】
このように、コントローラ３０は、図１８及び図１９に示すような静的に設定された複数の領域を用いる代わりに、複数の領域を動的に設定してもよい。その場合、複数の領域は、例えば、旋回速度、旋回方向、走行速度、走行方向等のショベルの車両状態に応じて動的に設定されてもよい。
【０１３８】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
【０１３９】
例えば、上述の実施例では、ショベルの上部旋回体３の上に取り付けられる撮像装置４０の撮像画像を用いて人を検知する場合を想定するが、本発明はこの構成に限定されるものではない。移動式クレーン、固定式クレーン、リフマグ機、フォークリフト等の他の作業機械の本体部に取り付けられる撮像装置の撮像画像を用いる構成にも適用され得る。
【０１４０】
また、上述の実施例では、３つのカメラを用いてショベルの死角領域を撮像するが、１つ、２つ、又は４つ以上のカメラを用いてショベルの死角領域を撮像してもよい。
【０１４１】
また、上述の実施例では、複数の撮像画像のそれぞれに対して個別に人検知処理が適用されるが、複数の撮像画像から生成される１つの合成画像に対して人検知処理が適用されてもよい。
【符号の説明】
【０１４２】
１・・・下部走行体  ２・・・旋回機構  ３・・・上部旋回体  ４・・・ブーム  ５・・・アーム  ６・・・バケット  ７・・・ブームシリンダ  ８・・・アームシリンダ  ９・・・バケットシリンダ  １０・・・キャビン  ３０・・・コントローラ  ３１・・・抽出部  ３２・・・識別部  ３３・・・追跡部  ３４・・・人検知部  ３５・・・制御部  ４０・・・撮像装置  ４０Ｂ・・・後方カメラ  ４０Ｌ・・・左側方カメラ  ４０Ｒ・・・右側方カメラ  ４２・・・入力装置  ４４・・・車両状態検出装置  ５０・・・出力装置  ５１・・・機械制御装置  １００・・・周辺監視システム  ＡＰ、ＡＰ１〜ＡＰ６・・・頭部画像位置  ＢＸ・・・ボックス  ＨＤ・・・頭部  ＨＰ・・・仮想頭部位置  ＨＲｇ・・・ヘルメット画像  Ｍ１、Ｍ２・・・マスク領域  Ｐｒ、Ｐｒ１、Ｐｒ２、Ｐｒ１０〜Ｐｒ１２・・・参照点  Ｒ１・・・はみ出し領域  Ｒ２・・・車体映り込み領域  ＲＰ・・・代表位置  ＴＲ、ＴＲ１、ＴＲ２、ＴＲ１０〜ＴＲ１２・・・仮想平面領域  ＴＲｇ、ＴＲｇ３、ＴＲｇ４、ＴＲｇ５・・・識別処理対象画像領域  ＴＲｇｔ、ＴＲｇｔ３、ＴＲｇｔ４、ＴＲｇｔ５・・・正規化画像
【図１】
0006755672.tif 000002
【図２】
0006755672.tif 000003
【図３】
0006755672.tif 000004
【図４】
0006755672.tif 000005
【図５】
0006755672.tif 000006
【図６】
0006755672.tif 000007
【図７】
0006755672.tif 000008
【図８】
0006755672.tif 000009
【図９】
0006755672.tif 000010
【図１０】
0006755672.tif 000011
【図１１】
0006755672.tif 000012
【図１２】
0006755672.tif 000013
【図１３】
0006755672.tif 000014
【図１４】
0006755672.tif 000015
【図１５】
0006755672.tif 000016
【図１６】
0006755672.tif 000017
【図１７】
0006755672.tif 000018
【図１８】
0006755672.tif 000019
【図１９】
0006755672.tif 000020
【図２０】
0006755672.tif 000021