(57)【要約】【課題】傾斜角検出センサを設けなくても、カメラの姿勢角を検出することのできるカメラ姿勢検出装置を提供する。【解決手段】ブームの先端部の監視カメラ３２と、ブームの先端部から吊るされたフックを撮像した画像を表示するモニタ７０とを備え、モニタ７０に表示されている画面上のフック画像位置情報と、実空間におけるフック位置情報とに基づいてカメラの姿勢角を求める姿勢角演算装置６８を設け、姿勢角演算装置６８は、実際に表示されているモニタ７０の画面上のフック位置を求めるフック位置演算部６３と、フック位置演算部６３が求めたフック位置と、カメラが真下に向けられたと仮定した場合にそのモニタ７０に表示される画面上のフックの基準フック位置との差を求めるずれ量演算部６４と、その差と監視カメラ３２の光軸中心位置からフックまでの高さ方向の距離とに基づいて監視カメラ３２の傾斜角を求めるカメラ傾斜角演算部６５とを有する。【選択図】図２
2015219107.tif 000002
【特許請求の範囲】
【請求項１】
作業機のブームの先端部に設けられたカメラと、ブームの先端部から吊るされたフックを前記カメラで撮像した画像を表示するモニタとを備えたカメラ姿勢検出装置であって、
前記モニタに表示されている画面上のフック画像位置情報と、実空間におけるフック位置情報とに基づいてカメラの姿勢角を求める姿勢角演算装置を設けたことを特徴とするカメラ姿勢検出装置。
【請求項２】
前記フック画像位置情報は、実際に表示されている前記モニタの画面上のフック位置と、前記カメラが真下に向けられたと仮定した場合にそのモニタに表示されるフックの画面上の基準フック位置とであり、
前記実空間における前記フック位置情報は、カメラとフックとの間の高さ方向の距離であり、
前記基準フック位置を求める基準フック位置演算手段を有し、
前記姿勢角演算装置は、前記モニタの画面上のフック位置を求めるフック位置演算部と、このフック位置演算部が求めた画面上のフック位置と前記基準フック位置演算手段が求めた基準フック位置とのずれ量を求めるずれ量演算部と、前記ずれ量演算部が求めたずれ量と前記カメラとフックとの間の高さ方向の距離とに基づいてカメラの姿勢角を求めるカメラ姿勢角演算手段とを有していることを特徴とする請求項１に記載のカメラ姿勢検出装置。
【請求項３】
前記高さ方向の距離は、ブームの姿勢角とフックの繰出し量とから求めることを特徴とする請求項２に記載のカメラ姿勢検出装置。
【請求項４】
前記モニタに表示されているフック画像を抽出するとともに、この抽出したフック画像の大きさを求める画像認識部を有し、
この画像認識部が求めたフック画像の大きさに基づいて前記高さ方向の距離を求めることを特徴とする請求項２に記載のカメラ姿勢検出装置。
【請求項５】
前記モニタの画面に貼られたタッチパネルを有し、
前記フック位置演算部は、前記モニタに表示されているフック画像を前記タッチパネルを介してタッチすることにより、前記モニタの画面上のフック位置を求めることを特徴とする請求項２に記載のカメラ姿勢検出装置。
【請求項６】
前記モニタの画面上のフック位置は、モニタに表示されているフック画像を画像処理により認識し、この認識したフック画像の中心位置として求めることを特徴とする請求項２に記載のカメラ姿勢検出装置。
【請求項７】
前記フック画像位置情報は、カメラを傾動させてフック画像が予め設定した画面の設定位置に位置していることを示すものであり、
フック位置情報は、フック画像が設定位置に位置しているときのフックの繰出し量と、ブーム先端部に設けられたシーブの中心とカメラの回動支点との間のオフセット量と、ブームの起伏角とであり、
前記姿勢角演算装置は、前記フックの繰出し量とカメラのオフセット量とブームの起伏角とに基づいてカメラの姿勢角を求めることを特徴とする請求項１に記載のカメラ姿勢検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、傾斜角検出センサを使用せずにカメラの姿勢角を求めるカメラ姿勢検出装置に関する。
【背景技術】
【０００２】
従来から、ブームの先端部にカメラを設けた吊荷位置検出装置が知られている（特許文献１参照）。
【０００３】
係る吊荷位置検出装置は、ブームの先端部にカメラを設け、このカメラで吊りロープとフックを上方から撮影し、画像処理により撮影した画像における複数の走査線上の色分布によって、この走査線ごとに吊りロープの色が存在するロープ点を求め、この各ロープ点を直線で結び、この吊りロープに対応する複数の直線の交点を吊荷位置として求めるものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許３４４０５９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、この吊荷位置検出装置では、カメラの傾斜角を検出する傾斜角検出センサを設けていないので、カメラを傾斜させた場合、吊荷の正しい位置を求めることができなくなってしまい、その傾斜角検出センサを設けると高価なものになってしまう問題がある。
【０００６】
この発明の目的は、傾斜角検出センサを設けなくても、カメラの姿勢角を検出することのできるカメラ姿勢検出装置を提供することにある。
【課題を解決するための手段】
【０００７】
請求項１の発明は、作業機のブームの先端部に設けられたカメラと、ブームの先端部から吊るされたフックを前記カメラで撮像した画像を表示するモニタとを備えたカメラ姿勢検出装置であって、
前記モニタに表示されている画面上のフック画像位置情報と、実空間における前記フック位置情報とに基づいてカメラの姿勢角を求める姿勢角演算手段を設けたことを特徴とする。
【発明の効果】
【０００８】
この発明によれば、傾斜角検出センサを設けなくても、カメラの姿勢角を検出することができる。
【図面の簡単な説明】
【０００９】
【図１】この発明に係る作業領域線表示装置を搭載した移動式クレーンを示した側面図である。
【図２】作業領域線表示装置の構成を概略的に示したブロック図である。
【図３】監視カメラが傾斜している場合の画面上の作業領域線の位置の求め方を示す説明図である。
【図４】モニタに表示される画像の一例を示した説明図である。
【図５】監視カメラが傾斜した場合の画面上のフックの位置から監視カメラの傾斜角の求め方を示す説明図である。
【図６】ブーム先端部のシーブと監視カメラとフックとの位置関係と座標系を示した説明図である。
【図７】フックが揺れている状態を示した説明図である。
【図８】他の例のカメラ姿勢検出装置の構成を示すブロック図である。
【図９】図８に示す画像処理部の構成を示すブロック図である。
【図１０】別な他の例のカメラ姿勢検出装置の構成を示すブロック図である。
【図１１】図１０に示すカメラ姿勢検出装置の画像処理部の構成を示すブロック図である。
【図１２】第２実施例のカメラ姿勢検出装置の構成を示した説明図である。
【図１３】モニタに表示されるフック画像とこのフック画像を通る半径方向ラインとフックの移動軌跡とを示した説明図である。
【図１４】第３実施例の作業領域線表示装置の構成を示したブロック図である。
【図１５】図１４に示すコントロールの構成を詳細に示した作業領域線表示装置のブロック図である。
【図１６】モニタの中央に表示された枠内にフック画像を入れる前と入れた後を示した説明図である。
【図１７】作業領域線を幾何学的に求める原理を示した説明図である。
【図１８】モニタ画面に枠とフック画像と作業領域線を表示した説明図である。
【発明を実施するための最良の形態】
【００１０】
以下、この発明に係るカメラ姿勢検出装置の実施の形態である実施例を図面に基づいて説明する。
【実施例】
【００１１】
［第１実施例］
【００１２】
図１にカメラ姿勢検出装置を備える作業領域線表示装置を搭載した作業機であるクレーン（作業車）としてラフテレーンクレーン１０を示す。このラフテレーンクレーン１０（以下クレーンとして記載する）は、走行機能を有する車両の本体部分となるキャリア１１と、このキャリア１１の前側に設けられた左右一対の前側アウトリガ１２と、キャリア１１の後側に設けられた左右一対の後側アウトリガ１３と、キャリア１１の上部に水平旋回可能に取り付けられた旋回台１４と、旋回台１４に設けたキャビン２０と、旋回台１４に固定されたブラケット１５に取り付けられた伸縮ブーム１６等とを備えている。
【００１３】
伸縮ブーム１６は、その基端部が支持軸１７を介して取り付けられており、支持軸１７を中心に起伏可能となっている。ブラケット１５と伸縮ブーム１６との間には起伏用シリンダ１８が介装され、この起伏用シリンダ１８の伸縮により伸縮ブーム１６が起伏される。
【００１４】
伸縮ブーム１６は、ベースブーム１６Ａと中間ブーム１６Ｂと先端ブーム１６Ｃとを有し、この順序でベースブーム１６Ａ内に外側から内側に入れ子式に組み合わされて構成されている。また、伸縮ブーム１６は伸縮シリンダ(図示せず)によって伸縮するようになっている。
【００１５】
先端ブーム１６Ｃの先端部にはシーブ２３（図５参照）が設けられており、このシーブ２３にワイヤロープ２５（以下ワイヤと表記する）が掛けられ、このワイヤ２５によってフックブロック１９が吊されている。フックブロック１９にはフック２１が取り付けられている。
【００１６】
ワイヤ２５は、図示しないウインチによって巻き取られたり、送り出されたりする。
【００１７】
先端ブーム１６Ｃの先端部には、カメラユニット３０が取り付けられている。
【００１８】
カメラユニット３０は、自重によって常に下方に向くようにダンパを介して先端ブーム１６Ｃの先端部に取り付けられた筺体３１と、この筺体３１内にパン方向及びチルト方向に傾斜可能に設けられたＴＶカメラなどである監視カメラ（カメラ）３２と、監視カメラ３２をパン方向に傾動させるパンモータ３３（図２参照）と、監視カメラ３２をチルト方向に傾動させるチルトモータ３４などとを有している。
なお、カメラユニット３０は、自重によって下方に向く様に構成されているが、ダンパの抵抗や可動部の摩擦抵抗等により、光軸が正しく常に真下に向くことはない。また、この実施例においては、必ずしもパンモータ３３,チルトモータ３４やズーム機能等は必要ではない。
【００１９】
監視カメラ３２の傾斜（向き）の調整は、キャビン２０内に設けた操作部(図示せず)のパンスイッチ（姿勢操作手段）ＳＷ１（図２参照）とチルトスイッチＳＷ２（姿勢操作手段）の操作によって行われる。また、監視カメラ３２はズームスイッチＳＷ３の操作によってズームを行うようになっている。
［作業領域線表示装置］
【００２０】
図２は、作業領域線表示装置１２０の構成を示すブロック図である。
【００２１】
作業領域線表示装置１２０は、コントローラ６０の作業領域演算部６６とカメラ姿勢検出装置１００とを備えている。
［カメラ姿勢検出装置］
【００２２】
カメラ姿勢検出装置１００は、伸縮ブーム１６の先端部に設けられたカメラユニット３０と、伸縮ブーム１６の姿勢を検出するブーム姿勢検出センサ５０と、ブーム姿勢検出センサ５０が検出した検出信号などに基づいて監視カメラ３２の姿勢角や作業領域線を求めたりするコントローラ６０（作業領域演算部６６を除く）と、監視カメラ３２で撮像した画像などを表示するモニタ７０と、モニタ７０の画面(図示せず)に貼られたタッチパネル７１とを備えている。
【００２３】
ブーム姿勢検出センサ５０は、フック２１の繰り出し量や伸縮ブーム１６の長さや起伏角や伸縮ブーム１６の旋回角などを検出するものであり、それぞれを検出する各センサ(図示せず)を有し、実空間におけるフック位置情報を出力するものである。
［コントローラ］
【００２４】
コントローラ６０は、図２に示すように、パンスイッチＳＷ１やチルトスイッチＳＷ２の操作に基づいてパンモータ３３やチルトモータ３４を駆動制御するモータ制御部６１と、視点変換演算部（基準フック位置演算手段）６２と、作業領域演算部６６と、画像合成部６７と、姿勢角演算装置６８とを有している。
【００２５】
姿勢角演算装置６８は、フック位置演算部６３と、ずれ量演算部６４と、カメラ傾斜角演算部（カメラ姿勢角演算手段）６５とを有している。
［視点変換演算部］
【００２６】
視点変換演算部６２は、先ず伸縮ブーム１６の先端部の傾斜角とフック２１の繰り出し量とに基づいて、ブーム先端部（図６に示すシーブ２３の中心）を原点としたＸ,Ｙ,Ｚ座標系のフック２１の位置を求める。
【００２７】
さらに、視点変換演算部６２は、実空間におけるフック２１の位置（Ｘ,Ｙ,Ｚ座標系の位置）を、監視カメラ３２を真下に向けていると仮定して、監視カメラ３２の光学中心位置と撮像面の中心位置とを一致させた点を原点としたｘ３,ｙ３,ｚ３座標系（図６参照）の位置に変換するとともに、ｘ３,ｙ３,ｚ３座標系のフック２１の位置をモニタ７０の画面の座標系（スクリーン座標系）の位置に変換して、モニタ７０の画面上の基準位置（基準フック位置）として求める。
【００２８】
すなわち、監視カメラ３２を真下に向けていると仮定した場合、モニタ７０の画面に表示されるフック２１の位置である基準位置をその画面上の座標位置として求めるものである。
【００２９】
また、視点変換演算部６２は、ブーム姿勢検出センサ５０が検出する検出信号に基づいて監視カメラ３２の光学中心位置からフック２１までの高さ方向の高さ（フック位置情報）を求める高さ検出手段の機能を有している。
［フック位置演算部］
【００３０】
フック位置演算部６３は、モニタ７０の画面に表示されているフック画像上のタッチパネル７１がタッチされることにより、任意の向きに向いている監視カメラ３２で撮像した画像におけるスクリーン座標系上（モニタ７０の画面上）のフック位置を算出する。
［ずれ量演算部］
【００３１】
ずれ量演算部６４は、フック位置演算部６３が算出したフック位置に基づいて視点変換演算部６２が求めた基準位置に対するフック位置のずれ量、すなわち、基準位置とフック位置との差（フック画像位置情報）であるずれ量を求める。
［カメラ傾斜角演算部］
【００３２】
カメラ傾斜角演算部６５は、ずれ量演算部６４が求めたずれ量と、視点変換演算部６２が求めた監視カメラ３２の光学中心位置Ｑ１（図５参照）からフック２１までの高さｈ１とに基づいて監視カメラ３２の傾斜角（垂直線に対する傾き）を求める。すなわち、カメラ傾斜角演算部６５は、フック画像位置情報と実空間のフック位置情報とに基づいて監視カメラ３２の姿勢角を求める。
［作業領域演算部］
【００３３】
作業領域演算部６６は、吊荷の荷重に基づいて伸縮ブーム１６の旋回中心を中心にした吊荷の移動可能な領域を示す作業領域線を求め、さらに、監視カメラ３２の傾斜角に基づいてモニタ７０の画像上における作業領域線の正しい位置を求める。
【００３４】
吊荷の荷重は、起伏用シリンダ１８の圧力センサ(図示せず)によって検出されるシリンダ圧力と伸縮ブーム１６の起伏角度及び伸縮ブーム１６の長さとに基づいてコントローラ６０の図示しない演算部が演算して求める。
【００３５】
ここで、監視カメラ３２が傾斜している場合の画面上の作業領域線の位置の求め方を簡単に説明する。
【００３６】
図３に示すように、監視カメラ３２の地上からの高さをｈとし、監視カメラ３２の真下の地上の位置をＰ１とし、伸縮ブーム１６の旋回中心位置をＯとし、この旋回中心位置Ｏを中心にした作業領域線をＳ１とする。旋回中心位置Ｏから作業領域線Ｓ１までの距離をＳａとする。高さｈは、ブーム１６の長さと起伏角とにより求めることができる。
【００３７】
監視カメラ３２が真下に向けられているとき、このときの監視カメラ３２の光軸を３２ａとし、この光軸３２ａと地上の交点である位置Ｐ１は、モニタ７０の画面の中心位置に表示される。
【００３８】
監視カメラ３２が角度θだけ傾斜されている場合、このときの監視カメラ３２の光軸３２ｂと地上の交点である位置Ｐ２がモニタ７０の画面の中心位置に表示されることになる。なお、監視カメラ３２の回動中心位置と光学中心位置Ｑ１（図５参照）とは一致されている。
【００３９】
位置Ｐ１と位置Ｐ２との間の距離をΔＲ１とすると、角度θが分かればΔＲ１はｈ・ｔanθで求めることができ、位置Ｐ２から位置Ｐ１を求めることができる。また、伸縮ブーム１６の旋回中心位置Ｏからの伸縮ブーム１６の作業半径をＲ１とすると、位置Ｐ１から旋回中心位置Ｏを求めることができる。なお、作業半径Ｒ１は伸縮ブーム１６の長さと起伏角とから求める。
【００４０】
そして、旋回中心位置Ｏを中心にして、荷重に基づいた地上の作業領域線Ｓ１の位置を求めることができる。地上の位置Ｐ２はモニタ７０の画面の中心位置であり、この位置Ｐ２は、旋回中心位置Ｏから作業半径Ｒ１＋ΔＲ１の位置である。
【００４１】
また、位置Ｐ２から作領域線Ｓ１までの距離ΔＲ２は、ΔＲ２＝Ｓａ−（Ｒ１＋ΔＲ１）として求める。
【００４２】
ここで、監視カメラ３２が角度θだけ傾斜した場合のモニタ７０の画像の中心位置が地上の位置Ｐ２を示しており、また、高さｈが分かっているので、地上の座標位置と画像上の座標位置とを対応させることができる。すなわち、伸縮ブーム１６の旋回中心位置Ｏを原点として、撮像された画像上の各位置にクレーン座標系の座標位置を対応させることができる。
【００４３】
これにより、地上の作業領域線Ｓ１の位置に対応したモニタ７０の画像上の位置を求めることができる。
［画像合成部］
【００４４】
画像合成部６７は、作業領域演算部６６が求めた作業領域線Ｓ１の位置に対応した画像上の位置に、その作業領域線Ｓ１を合成してモニタ７０の画面に表示する。
［動  作］
【００４５】
次に、上記のように構成されるカメラ姿勢検出装置１００及び作業領域線表示装置１２０の動作について説明する。
【００４６】
いま、監視カメラ３２によりフックブロック１９が撮像されて、例えば、図４に示すようにモニタ７０の画面７０Ｇａにフックブロック像１９Ｓが表示されているとする。なお、ここでは、フック２１の位置とは、フックブロック１９に設けてあるシーブ(図示せず)の軸１９Ｊ（図１参照）の位置とし、また、説明の便宜上フックブロック像１９Ｓを含めたフック画像を２１Ｇと表記して説明する。監視カメラ３２はチルト方向及びパン方向に傾斜しているとする。
【００４７】
オペレータは、その画面７０Ｇａに表示されているフック画像２１Ｇ上のタッチパネル７１の部位をタッチする。フック位置演算部６３は、そのタッチパネル７１のタッチ位置であるフック位置Ｃを画像座標系（画面の左端の上端部を原点とする座標系）の位置として座標値Ｃ_h_tltを算出する。この座標値Ｃ_h_tltは、画像処理によって求めてもよい。
【００４８】
一方、視点変換演算部６２は、監視カメラ３２を真下に向けていると仮定した場合、この真下に向けた監視カメラ３２で撮像した場合のフック２１のモニタ７０の画面上の位置（基準位置）Ｂを求める。
【００４９】
ここで、監視カメラ３２を真下に向けていると仮定した場合の画面上のフック２１の位置Ｂの求め方を簡単に説明する。
【００５０】
いま、例えば図５に示すように、伸縮ブーム１６の先端部のシーブ２３の軸２３Ｊ（シーブ２３の中心位置）からフック２１までの距離をＨ１とし、監視カメラ３２の光学中心位置Ｑ１からフック２１までの高さ方向の距離をｈ１とすると、ｈ１＝Ｈ１−Ｗ２である。距離Ｈ１は、フック２１の繰出量から求まり、シーブ２３と監視カメラ３２の上下方向のオフセット量Ｗ２は、監視カメラ３２の取付位置やブーム１６の起伏角などとによって求めることができる。
【００５１】
そして、光学中心位置Ｑ１と点Ｑ２,Ｑ３を結んで形成される三角形Ｆの底辺Ｆ１と監視カメラ３２の光軸３２ａとの交点をＥ１とする。なお、底辺Ｆ１はフック２１の高さ位置を示す水平方向の線であり、光学中心位置Ｑ１と点Ｑ２とを結ぶ線Ｆ２と、光学中心位置Ｑ１と点Ｑ３とを結ぶ線Ｆ３との間の範囲が監視カメラ３２の撮像範囲を示す。この撮像範囲は監視カメラ３２が真下に向けられている場合の範囲である。また、底辺Ｆ１上の位置Ｆ１ａをフック２１の位置とする。
【００５２】
交点Ｅ１は、光軸３２ａ上にあるのでモニタ７０の画面７０Ｇの中心位置Ｇ０となる。この交点Ｅ１からフック２１までの距離をＬ１とすると、Ｌ１＝Ｗ１であり、Ｗ１はシーブ２３と監視カメラ３２の水平方向のオフセット量である。このオフセット量Ｗ１は、監視カメラ３２の取付位置や伸縮ブーム１６の起伏角などによって求めることができる。また、高さｈ１は、フック２１の繰出量と、シーブ２３と監視カメラ３２の垂直方向のオフセット量Ｗ２とから求めることができる。
【００５３】
これにより、監視カメラ３２が真下に向けられていると仮定したときの、画面７０Ｇ上のフック２１の位置Ａを求めることができる。なお、図５の７０Ｇは監視カメラ３２が真下を向いている場合のモニタ７０の画面を示す。
【００５４】
監視カメラ３２が角度θtilt傾斜している場合、この監視カメラ３２が撮像した画像がモニタ７０の画面を７０Ｇａとし、フック２１はこの画面７０Ｇａの位置Ａに実画像として映し出されることになる。なお、Ｇ１を画面７０Ｇａの中心位置とする。
【００５５】
画面７０Ｇの中心位置Ｇ０（光軸３２ａの交点Ｅ１）からＬ１だけ離れた位置Ａがフック２１の位置であるから、画面７０Ｇａの中心位置Ｇ１からＬ１だけ離れた位置が監視カメラ３２を真下に向けたと仮定した場合のフック２１の位置（基準フック位置）Ｂとなる。すなわち、画面７０Ｇ上の位置Ａと画面７０Ｇａ上の位置Ｂとは画面上で同じ位置である。
【００５６】
この画面７０Ｇａ上の位置Ｂを視点変換演算部６２が透視変換行列式などを用いて求める。
【００５７】
これを簡単に説明すると、視点変換演算部６２は、距離Ｈ１,ｈ１やオフセット量Ｗ１を基にして、図６に示すようにシーブ２３の中心を原点とするＸ,Ｙ,Ｚ座標系におけるフックブロック１９の位置Ｐ_ｈを求める。さらに、視点変換演算部６２は、監視カメラ３２の光学中心位置Ｑ１とその撮像面の中心を一致させ、この撮像面の中心を原点にした（ｘ３,ｙ３,ｚ３）座標系の位置としてフックブロック１９の位置Ｃ_ｈを求め、この（ｘ３,ｙ３,ｚ３）座標系のフックブロック１９の位置Ｃ_ｈを基にして、モニタ７０の画面７０Ｇａの画像座標系の位置Ｂとして求める。この位置Ｂの画面上の座標値をＣ_h_ver（図４参照）とする。
【００５８】
また、視点変換演算部６２は、監視カメラ３２が真下を向いていると仮定した場合、フックブロック１９を上下動させたときの画面７０Ｇａ上のフックブロック１９の移動軌跡Ｔを求める。この移動軌跡Ｔと位置Ｂとを監視カメラ３２が撮像した画像上に画像合成部６７が合成してモニタ７０に表示させる。
【００５９】
ずれ量演算部６４は、図４に示すように、フック位置演算部６３が算出したフック画像の座標値Ｃ_h_tltと、視点変換演算部６２が求めたフックブロック１９の画面上の位置Ｂの座標値Ｃh_verとの差を求める。すなわち、ずれ量演算部６４は、その差のｘ方向とｙ方向のずれ量Δｘ,Δｙとして求める。
【００６０】
カメラ傾斜角演算部６５は、ずれ量演算部６４が求めたずれ量から下記の式に基づいて監視カメラ３２の傾斜角を求める。
【００６１】
チルト角＝ｔan−１（Δｙ/ｈ１）…（１）
【００６２】
パン角＝ｔan−１（Δｘ/ｈ１）…（２）
【００６３】
ここで、監視カメラ３２の傾斜角の求め方を図５に基づいて簡単に説明する。
【００６４】
真下に向けられている監視カメラ３２がチルト方向に角度θtiltだけ傾斜したとする。角度θtiltだけ傾斜した監視カメラ３２の光軸を３２ｃとし、三角形Ｆを角度θtiltだけ傾斜させた位置に形成される三角形をＭとする。この三角形Ｍの底辺Ｍ１と光軸３２ｃの交点をＰ３とし、光学中心位置Ｑ１と位置Ｆ１ａとを結ぶ直線を３２ｄとする。この直線３２ｄと光軸３２ａとのなす角度をθhとし、直線３２ｄと光軸３２ｃとのなす角度をθthとする。
【００６５】
そして、光軸３２ｃとなす角度がθhとなる直線３２ｅと底辺Ｍ１との交点の位置Ｐ４とすると、三角形Ｍの底辺Ｍ１の交点の位置Ｐ４は、傾斜する前の三角形Ｆの底辺Ｆ１の位置Ｆ１ａとなる。つまり、真下に向けられた監視カメラ３２の光軸３２ａ上の交点Ｅ１から距離Ｌ１だけ離れた位置Ｆ１ａがフック２１の位置であるから、角度θtiltだけ傾斜した監視カメラ３２の光軸３２Ｃ上の交点Ｐ３から距離Ｌ１だけ離れた位置Ｐ４が、真下に向けられた監視カメラ３２が撮像するフック２１の位置となる。
【００６６】
また、監視カメラ３２が角度θtiltだけ傾斜している場合の光軸３２ｃ上の交点Ｐ３はモニタ７０の画面７０Ｇａの中心位置Ｇ１と一致する。また、交点Ｐ３から距離Ｌ１だけ離れた位置Ｐ４は画面７０Ｇａの位置Ｂとなる。位置Ｆ１ａと位置Ｐ４との間の離間距離をΔｙとすると、画面７０Ｇａの位置Ａ,Ｂ間の距離はΔｙとなる。
【００６７】
そして、θtilt＝θh＋θthであるから、
【００６８】
θtilt＝ｔan−１（Ｌ１/ｈ１）＋ｔan−１（（Δｙ−Ｌ１）/ｈ１）…（３）
【００６９】
となる。Δｙは、画面７０Ｇａの位置Ａ,Ｂから求めることができ、Ｌ１は既知であり、ｈ１はフック２１の繰出量と伸縮ブーム１６の起伏角などから求めることができる。
【００７０】
したがって、図５に示す画面７０Ｇａの位置Ａ（図４において位置Ｃ）をタッチして、フック位置演算部６３が画面７０Ｇａの位置Ａを求めれば、この位置Ａと視点変換演算部６２が求めた位置Ｂとの差からずれ量演算部６４が位置Ａ,Ｂ間の距離Δｙを求める。そして、カメラ傾斜角演算部６５が距離Δｙから（３）式により監視カメラ３２の傾斜角度θtiltを求める。パン角も同様に求めることができるので、ここではその説明は省略する。
【００７１】
（３）式により、傾斜角度θtiltを正しく求めることができるが、この実施例では、計算を簡単にするため、（１）式でチルト角を求め、（２）式でパン角を求めている。
【００７２】
ここで、Δｙ＝３ｍ、Ｌ１＝０.５ｍ、ｈ１＝１０ｍの場合、（３）式で角度θtiltを求めると、０.２９４９４radとなり、（１）式で求めると、０.２９１４６radとなる。このように、（１）式でも十分に正確なチルト角を求めることができる。パン角も同様である。
【００７３】
このように、モニタ７０の画面７０Ｇａのフック画像２１Ｇ（図４参照）上のタッチパネル７１の部位をタッチすれば、距離Δｙ,Δｘが求められて、（１）,（２）式によりカメラ傾斜角演算部６５がチルト角とパン角を求めるので、監視カメラ３２の傾斜角を検出する傾斜角検出センサが不要となる。
【００７４】
作業領域演算部６６は、吊荷の荷重に基づいて吊荷の移動可能な領域を示す作業領域線を求めるとともに、カメラ傾斜角演算部６５が求めた監視カメラ３２の傾斜角（チルト角及びパン角）に基づいて、その作業領域線に対応したモニタ７０の画像上の作業領域線の位置を求める。画像合成部６７は、作業領域演算部６６が求めた作業領域線の位置に対応した監視カメラ３２の撮像した画像上の位置に、図４に示すように作業領域線ＵＩを合成してモニタ７０の画面７０Ｇａに表示する。
【００７５】
この第１実施例によれば、監視カメラ３２の姿勢を検出する姿勢角検出センサが不要となり、しかもカメラ傾斜角演算部６５で求めた監視カメラ３２の傾斜角に応じて正しい作業領域線ＵＩをモニタ７０に表示することができ、安価なカメラ姿勢検出装置１００及び作業領域線表示装置１２０を提供することができる。
【００７６】
また、フック２１が揺れて図７に示すようにモニタ７０の画面７０Ｇａにフック画像２１Ｇが移動して表示される場合には、フック画像２１Ｇの移動軌跡Ｉが形成する図形の中心位置をフック画像２１Ｇの位置とし、その図形の中心位置をタッチする。あるいは、複数のフック画像２１Ｇの中心位置を画像処理によって求めてもよい。
【００７７】
図８は画像処理部１３０によって高さｈ１を求めるようにしたカメラ姿勢検出装置１００の他の例を示す。
【００７８】
画像処理部１３０は、図９に示すように、監視カメラ３２が撮像した画像からフック画像を抽出するフック画像抽出部１３１と、フック画像抽出部１３１が抽出したフック画像の面積を求める面積算出部１３２と、この面積算出部１３２が求めた面積（大きさ）から高さｈ１を求める高さ算出部１３３と、を有する。
【００７９】
これは、フック画像の面積は高さｈ１が高くなるにつれて小さくなるので、この関係を利用して高さｈ１を求めるものである。
【００８０】
ズームされている場合には、フック画像の大きさと、モニタ７０に表示されるワイヤ画像の長さとからズーム倍率を求め、このズーム倍率とフック画像の面積とから高さｈ１を求める。ズーム倍率は、モニタ７０に映し出されるワイヤ２５の長さをパラメータとしたフック面積の比率を図示しないメモリに予め記憶させておき、映し出されているワイヤ２５の長さを求め、この長さに対応するズーム倍率から求めるものである。
【００８１】
図１０は画像処理部１５０によってフック位置を求めるようにした別の他の例のカメラ姿勢検出装置１６０を示す。
【００８２】
画像処理部１５０は、図１１に示すように、監視カメラ３２で撮像された画像からフック画像を抽出するフック画像抽出部１５１と、このフック画像抽出部１５１が抽出したフック画像の中心位置をフック位置として算出する中心位置算出部１５２とを有する。他の構成は図２に示すカメラ姿勢検出装置１００と同様なのでその説明は省略する。
フック画像抽出部１５１は、領域拡張法やパターンマッチングなどの画像処理によって求める。
領域拡張法は、モニタ７０の画面をタッチしたフックの位置から明度差が異なる線をフックの境界として算出し、この境界で囲まれる図形の図心をフックの位置とするものである。
パターンマッチングは、予めズームの倍率ごとにフックのパターンを記憶させておき、このパターンと、画面をスキャン処理して得られる実際のフックの画像とが一致する位置を求め、この位置をフックの位置とするものである。
パターンマッチング等の画像処理方法でフック画像を抽出する場合には、必ずしもタッチパネル７１は必要としない。
［第２実施例］
【００８３】
図１２は第２実施例の作業領域線表示装置２００の構成を示すブロック図である。
【００８４】
作業領域線表示装置２００は、コントローラ２６０の作業領域演算部６６とカメラ姿勢検出装置２１０とを備えている。
［カメラ姿勢検出装置］
【００８５】
カメラ姿勢検出装置２１０は、カメラユニット３０と、ブーム姿勢検出センサ５０と、コントローラ２６０（作業領域演算部６６を除く）と、モニタ７０と、タッチパネル７１とを備えている。
［コントローラ］
【００８６】
コントローラ２６０は、伸縮ブーム１６の起伏角と監視カメラ３２のズーム倍率とに対応してフック２１の移動軌跡を記憶したメモリ２０１と、メモリ２０１に記憶された移動軌跡を伸縮ブーム１６の起伏角と監視カメラ３２のズーム倍率とに基づいて読み出す読出手段２０２と、読み出された移動軌跡Ｋ１（図１３参照）と半径方向ラインＮ１との交点Ｖ１を求める交点演算部２０３と、フック位置演算部６３と、ずれ量演算部２６４と、カメラ傾斜角演算部２６５と、モータ制御部６１と、画像合成部６７とを有している。
［メモリ］
【００８７】
メモリ２０１には、監視カメラ３２を真下に向けている場合、フック２１を上下動させたときのモニタ７０の画面に表示されるフック２１の移動軌跡が伸縮ブーム１６の起伏角と監視カメラ３２のズーム倍率とに対応して記憶されている。
［交点演算部］
【００８８】
交点演算部２０３は、図１３に示すように、フック画像２１Ｇを通る半径方向ラインＮ１と移動軌跡Ｋ１との交点Ｖ１を求める。半径方向ラインＮ１は、フック２１の中心位置を通る水平面上に、伸縮ブーム１６の伸長方向に投影した線に平行であって且つフック２１の中心位置を通る線である。すなわち、伸縮ブーム１６の伸長方向がモニタ７０の画面７０Ｇａの上下方向であれば、フック画像２１Ｇを通る上下方向に延びた線が半径方向ラインＮ１となる。
［ずれ量演算部］
【００８９】
ずれ量演算部２６４は、フック画像２１Ｇの位置と交点Ｖ１との間の離間距離ΔＤを求める。
［カメラ傾斜角演算部］
【００９０】
カメラ傾斜角演算部２６５は、離間距離ΔＤと、監視カメラ３２の光学中心からフック位置までの高さ方向の距離ｈ１（図５参照）とから下記の（４）式に基づいて監視カメラ３２の傾斜角θ(半径方向の傾斜角)を求める。
【００９１】
θ＝ｔan−１（ΔＤ/ｈ１）…（４）  
これは、（１）式と同じであり、図５に示すように、画面７０Ｇａの位置Ｂが図１３に示す移動軌跡Ｋ１上の位置（交点Ｖ１）であり、画面７０Ｇａの位置Ａがフック画像２１Ｇの位置である。また、位置Ａと位置Ｂとを結ぶ方向が伸縮ブーム１６の伸長方向であり、位置Ａ,Ｂ間の距離Δｙが図１３に示すΔＤである。したがって、（４）式で監視カメラ３２の傾斜角θを求めることができる。
この実施例は、伸縮ブーム１６の起伏動作に対してチルト方向のみ下向きに追従する監視カメラ３２に有効な方法である。
【００９２】
他の構成は、第１実施例と同様なのでその説明は省略する。
［第３実施例］
第３実施例は、伸縮ブーム１６の先端部に設けた監視カメラ３２で撮像した画像をモニタ３７０（図１６参照）に表示し、パンとチルト操作で監視カメラ３２の向きを操作して、モニタ３７０の画面３７０Ｇの所定位置にフック２１を位置させることで、監視カメラ３２の姿勢角を検出しようとするものである。
【００９３】
図１４及び図１５は第３実施例の作業領域線表示装置３００の構成を示すブロック図である。図１５は図１４に示すコントローラ３６０内の構成を詳しく示すとともに、作業領域線表示装置３００を、カメラ姿勢検出装置３１０と、座標位置演算部３６４及び作業領域演算部３６５及び画像合成部３６６の４つの構成に分類して示したものである。
【００９４】
カメラ姿勢検出装置３１０は、カメラユニット３０と、ブーム姿勢検出センサ５０と、コントローラ３６０と、監視カメラ３２で撮像した画像などを表示するモニタ３７０と、パンスイッチＳＷ１及びチルトスイッチＳＷ２とを有する。
【００９５】
モニタ３７０の画面３７０Ｇには、図１６に示すように、画面の中央部に四角い枠Ｍａが表示されるようになっている。
［コントローラ］
【００９６】
コントローラ３６０は、図１５に示すように、モータ制御部６１、姿勢角演算部（演算手段）３６３、座標位置演算部（座標位置演算手段）３６４、作業領域演算部（作業領域演算手段）３６５、画像合成部３６６を有している。
モータ制御部６１は、パンスイッチＳＷ１,チルトスイッチＳＷ２からの信号によりパンモータ３３,チルトモータ３４を制御する。
姿勢角演算部３６３は、ブーム姿勢検出センサ５０から出力されるウインチの繰り出し量と伸縮ブーム１６の長さと後述するオフセット量Ｗ１とに基づいて監視カメラ３２の姿勢角を演算する。
座標位置演算部３６４は、姿勢角演算部３６３が演算した姿勢角とブーム姿勢検出センサ５０から出力される伸縮ブーム１６の各種の検出信号とに基づいて、伸縮ブーム１６の旋回中心位置を原点とする撮像された画像上の各位置におけるクレーン座標系の座標位置を求める。
作業領域演算部３６５は、吊荷の荷重に基づいて吊荷の移動可能な領域を示す作業領域線を求める。
画像合成部３６６は、作業領域演算部３６５が求めた作業領域線を座標位置演算部３６４が演算した座標位置に対応させて監視カメラ３２が撮像した画像上に合成してモニタ３７０に表示する。
［原  理］
【００９７】
図１７に示すように、監視カメラ３２の回転軸３２Ｊとシーブ２３の中心Ｄ１とは左右方向にＷ１のオフセットがあるとする。また、地上からシーブの中心Ｄ１までの高さをＨ２、シーブの中心Ｄ１からフックブロック１９までの長さをＬａ、監視カメラ３２の光軸をフック２１に向けたときの監視カメラ３２の傾き、すなわち監視カメラ３２の光軸をフック２１に向けた際の垂直線に対する監視カメラ３２の傾斜角度をθとする。そして、伸縮ブーム１６の旋回中心位置Ｏからのその伸縮ブーム１６の作業半径をＲａ、監視カメラ３２をチルトさせたときの画像中心となる地面上の位置Ｐａと作業半径Ｒａとの間の距離をΔＲａとし、監視カメラ３２の回転軸３２Ｊと光学中心位置Ｑ１とを結んだ長さは、高さＨ２に対して無視できるほど小さいとすると、距離ΔＲａは次式で求めることができる。
【００９８】
ΔＲａ＝Ｈ２tanθ−Ｗ１
【００９９】
監視カメラ３２の傾きθは、長さＬａとオフセット量Ｗ１から次式により求めることができる。
θ＝ｔan−１（Ｗ１／（Ｌａ−Ｗ２））
長さＬａはワイヤ２５の繰り出し量から求める。パン方向の監視カメラ３２の傾きも同様にして求める。
高さＨ２は伸縮ブーム１６の長さと起伏角から求めることができる。なお、オフセット量Ｗ１,Ｗ２は、伸縮ブーム１６に対するカメラ回転軸３２Ｊとシーブの中心Ｄ１の位置とが既知であるので、伸縮ブーム１６の起伏角に応じて求めることができる。
このように、監視カメラ３２の光軸をフック２１に向けることで監視カメラ３２の傾斜角度θを算出することができる。
また、実施例１で求めたように、長さＬａを所定の長さに設定しておき、監視カメラ３２を真下に向けた場合のフックの基準位置にフック２１が位置するように、枠Ｍａをモニタ３７０の画面３７０Ｇに表示し、この枠Ｍａ内にフック２１が位置するように監視カメラ３２の向きを調整してもよい。この場合、枠Ｍａ内にフック２１が位置したとき監視カメラ３２の向きは重力方向である真下となる（パン,チルトともに０度である）。このように、監視カメラ３２の向きを予め設定した画面の設定位置にフック２１を位置させることで、監視カメラ３２の傾きを求めることができる。
【０１００】
モニタ３７０の画像の中心位置に対応する地上の位置はＰａであり、誤差ΔＲａと作業半径Ｒａとにより位置Ｐａから伸縮ブーム１６の旋回中心位置Ｏを求めることができる。同様に、パン方向に対して旋回中心位置Ｏを求める。
【０１０１】
そして、旋回中心位置Ｏを中心にして距離Ｒｂ（作業領域範囲を示す距離）の位置に作業領域線を描くことができる。
【０１０２】
ここで、画像の中心位置が地上の位置Ｐａを示しており、また、高さＨ２が分かっているので、地上の座標位置と画像上の座標位置とを対応させることができる。すなわち、伸縮ブーム１６の旋回中心位置を原点にして、撮像された画像上の各位置にクレーン座標系の座標位置を対応させる。
【０１０３】
これにより、画像上の正しい位置に作業領域線を重畳させてモニタ３７０に表示することができる。
【０１０４】
［動  作］  
【０１０５】
次に、上記のように構成される作業領域線表示装置３００の動作について説明する。
【０１０６】
図１６に示すように、フック画像２１Ｇがモニタ３７０の画面３７０Ｇの中心部枠Ｍａ内に常に入るようにパンスイッチＳＷ１やチルトスイッチＳＷ２をオペレータが操作して監視カメラ３２を傾動させる。
【０１０７】
コントローラ３６０によって吊荷の実荷重が求められると、またはオペレータにより荷重が入力されると、その実荷重や入力された荷重に基づいて作業領域演算部３６５が作業領域線を求める。
【０１０８】
他方、姿勢角演算部３６３は、ブーム姿勢検出センサ５０から出力される検出信号、すなわちウインチによって繰り出されたワイヤ２５（図１参照）の送り出し量と伸縮ブーム１６の長さとから図１７に示すフック２１の吊るされた長さＬａを求め、この長さＬａとオフセット量Ｗ１とから監視カメラ３２の垂直線に対する傾斜角度θ（パンやチルト方向の角度）を求める。
【０１０９】
すなわち、姿勢角演算部３６３は、伸縮ブーム１６の先端位置情報（伸縮ブーム１６の長さと起伏角から求める位置）とフック２１の位置情報（オフセット量Ｗ１と長さＬａ）とから監視カメラ３２の傾斜角度θを求める。
【０１１０】
座標位置演算部３６４は、ブーム姿勢検出センサ５０から出力される検出信号、すなわち、伸縮ブーム１６の長さと起伏角とに基づいて図１７に示す高さＨ２を求め、さらに、この高さＨ２と監視カメラ３２の傾斜角度θとから、撮像された画像上の各位置に対応した伸縮ブーム１６の旋回中心位置を原点にしたクレーン座標系の座標位置を求める。
【０１１１】
画像合成部３６６は、座標位置演算部３６４が演算したクレーン座標系の座標位置に対応した画像上に、図１８に示すように、作業領域演算部３６５が演算した作業領域線Ｕ２を合成（重畳）させてモニタ３７０に表示させる。
【０１１２】
この第３実施例も監視カメラ３２の姿勢を検出する姿勢角検出センサが不要となるので、第１実施例と同様な効果を得ることができる。
【０１１３】
この第３実施例では、作業によって伸縮ブーム１６の起伏や吊荷の上下動などによりフック画像２１Ｇがモニタ３７０の画面３７０Ｇの枠Ｍａ内からずれていくが、そのフック画像２１Ｇがモニタ３７０の画面３７０Ｇの枠Ｍａ内に常に入るようにパンスイッチＳＷ１やチルトスイッチＳＷ２をオペレータが操作していくものとする。そして、姿勢角演算部３６３及び座標位置演算部３６４は、ブーム姿勢検出センサ５０から出力される検出信号を逐一に読み込んでいき、傾斜角度θと撮像された画像上の各位置に対応したクレーン座標系の座標位置を求めていき、作業領域線Ｕ２をリアルタイムで書き換えていく。
【０１１４】
このため、吊荷の移動中であってもフック画像２１Ｇがモニタ３７０の画面３７０Ｇの枠Ｍａ内に入っている間は、作業領域線Ｕ２を正確にモニタ３７０の画面３７０Ｇ上に表示することができることになる。
【０１１５】
この発明は、上記実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
【符号の説明】
【０１１６】
１０        クレーン
１６        伸縮ブーム
２１        フック
３２        監視カメラ（カメラ）
５０        ブーム姿勢検出センサ
６２        視点変換演算部（基準フック位置演算手段）
６３        フック位置演算部
６４        ずれ量演算部
６５        カメラ傾斜角演算部(カメラ姿勢角演算手段)
６８        姿勢角演算装置
７０        モニタ
７１        タッチパネル
ＳＷ１        パンスイッチ（姿勢操作手段）
ＳＷ２        チルトスイッチ（姿勢操作手段）
【図１】
2015219107.tif 000003
【図２】
2015219107.tif 000004
【図３】
2015219107.tif 000005
【図４】
2015219107.tif 000006
【図５】
2015219107.tif 000007
【図６】
2015219107.tif 000008
【図７】
2015219107.tif 000009
【図８】
2015219107.tif 000010
【図９】
2015219107.tif 000011
【図１０】
2015219107.tif 000012
【図１１】
2015219107.tif 000013
【図１２】
2015219107.tif 000014
【図１３】
2015219107.tif 000015
【図１４】
2015219107.tif 000016
【図１５】
2015219107.tif 000017
【図１６】
2015219107.tif 000018
【図１７】
2015219107.tif 000019
【図１８】
2015219107.tif 000020