(57)【要約】      （修正有）【課題】単眼の監視カメラを２個設けることによりステレオカメラを構築して撮像を行い、画像処理を行う場合に、一対の監視カメラの光軸間距離として定義される基線長を大きくとることが可能なクレーンを提供する。【解決手段】単眼の監視カメラ２A、２Bを２個設けてステレオカメラを構築して撮像を行い、画像処理を行う作業監視装置を有するものであって、伸縮可能かつ傾動可能なブームの延びる方向を基準にしてその延びる方向両側をブームの幅方向としてブームのヘッド１７ｄの幅方向両側に互いの光軸間距離が基線長Dとして定義された単眼の監視カメラ２A、２Bがそれぞれ設けられている。【選択図】図２
2014105091.tif 000002
【特許請求の範囲】
【請求項１】
単眼の監視カメラを２個設けてステレオカメラを構築して撮像を行い、画像処理を行う作業監視装置を有するクレーンであって、
少なくとも傾動可能なブームの傾動面両側を前記ブームの幅方向として該ブームの先端の幅方向両側に互いの光軸間距離が基線長として定義された単眼の監視カメラがそれぞれ設けられていることを特徴とするクレーン。
【請求項２】
前記各監視カメラからの撮像信号が入力されかつ画像処理を行って画像信号をモニタ部に向かって出力する画像処理部を備え、前記モニタ部の画面に前記各監視カメラにより撮像された画像が切り換え表示可能とされていることを特徴とする請求項１に記載のクレーン。
【請求項３】
前記モニタ部の画面には、運転室に近い側に配置されている監視カメラにより撮像された画像が優先的に表示されることを特徴とする請求項２に記載のクレーン。
【請求項４】
前記画像処理部は、一方の監視カメラにより撮像された画像と他方の監視カメラにより撮像された画像とを合成処理し、前記モニタ部の画面に前記画像処理部により合成処理された合成処理画像が表示されることを特徴とする請求項１に記載のクレーン。
【請求項５】
前記各監視カメラがフックを吊すロープが掛け渡されるシーブを支持するシーブ軸であって前記ブームに対して対称位置に設けられていることを特徴とする請求項１ないし請求項４のいずれか１項に記載のクレーン。
【請求項６】
前記ブームの横撓み防止のために前記ブームからその幅方向に水平方向に延びるように張り出された張り出しアタッチメント部材に前記各監視カメラが設けられていることを特徴とする請求項１に記載のクレーン。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、伸縮可能なブームの先端部に監視カメラを設けて、監視カメラにより撮像された画像に画像処理を施してモニタ装置に画像を表示させる作業監視装置を備えたクレーンの改良に関する。
【背景技術】
【０００２】
従来から、伸縮可能なブームのヘッドに監視カメラを設けて、この監視カメラにより撮像された撮影画像をモニタ装置の画面に表示させ、作業現場を監視する作業監視装置を備えたクレーン等の作業機械が知られている（特許文献１等参照）。
【０００３】
また、破砕機等の作業機械のアームにステレオカメラを取付け、作業現場の対象物体の立体形状を求めて、モニタ装置の画面に表示させるものも知られている（特許文献２等参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１５１７４２号公報
【特許文献２】特開２０１０−２４８７７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、クレーン等の作業機械により作業を行う場合、監視カメラが１個の場合には、吊り荷やフックブロックの影となる死角部分が生じる。そこで、監視カメラを２個設けてステレオカメラを構築して撮像を行い、画像処理を行って、互いの死角となる部分を補間し合うことが考えられる。
【０００６】
その場合に、監視カメラの基線長を大きくとることにより、画像処理の精度を極力高めることができるように構成することが望ましい。
【０００７】
また、監視カメラにより撮像された画像を用いて、ビル等の対象物体の地上からの高さを正確に測定できるようにすることが望ましい。
【０００８】
本発明は、上記の事情に鑑みて為されたもので、  監視カメラを２個設けてステレオカメラを構築して撮像を行い、画像処理を行う場合に、一対の監視カメラの光軸間距離として定義される基線長を大きくとることにより、画像処理精度の向上を図ることが可能なクレーンを提供することにある。
【課題を解決するための手段】
【０００９】
本発明のクレーンは、単眼の監視カメラを２個設けてステレオカメラを構築して撮像を行い、画像処理を行う作業監視装置を有するクレーンであって、少なくとも傾動可能なブームの傾動面両側を前記ブームの幅方向として該ブームの先端の幅方向両側に互いの光軸間距離が基線長として定義された単眼の監視カメラがそれぞれ設けられていることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、少なくとも傾動可能なブームの傾動面両側をブームの幅方向としてブームの先端の幅方向両側に互いの光軸間距離が基線長として定義された単眼の監視カメラを設けたので、単眼の監視カメラを用いてステレオカメラを構築した場合に基線長を大きくとることができ、ひいては、画像処理精度の向上を図ることができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１はステレオカメラが取り付けられたクレーンの説明図である。
【図２】図２は図１に示すステレオカメラの取付状態を示す概要図である。
【図３】図３は本発明の実施例に係る演算処理回路のブロック図である。
【図４Ａ】図４Aは図３に示すモニタ部の画面に表示されている画像の一例を示す説明図であって、図１に示すクレーンのブームが延びる方向を基準にして運転室から遠い側に配置されている監視カメラにより撮像された画像を示す図である。
【図４Ｂ】図４Bは図３に示すモニタ部の画面に表示されている画像の一例を示す説明図であって、図１に示すクレーンのブームが延びる方向を基準にして運転室に近い側の監視カメラにより撮像された画像を示す図である。
【図４Ｃ】図４Cは図４Aに示す画像と図４Bに示す画像との合成処理画像を示している。
【図５】図５はステレオカメラによる撮影対象までの距離測定の原理を説明するための説明図である。
【発明を実施するための形態】
【実施例】
【００１２】
（本発明が適用されるクレーンの説明）
以下に、このステレオカメラのクレーンの実施例を図面を参照しつつ説明する。
その図１において、符合１１はクレーンである。このクレーン１１は、走行用の車両本体（キャリア）１２、水平方向に旋回可能な旋回台１３、オペレータ用の運転室１４、キャリアを地上（地面）Sに固定するアウトリガ１５、ブラケット１６から概略構成されている。
【００１３】
そのブラケット１６には、ブーム１７が設けられている。そのブーム１７はその基端部が支持軸１８を介して回動可能に取り付けられ、起伏用シリンダ１９によって起立倒伏される。
そのブーム１７は、例えば、入れ子式の基端ブーム１７a、中間ブーム１７ｂ、先端ブーム１７ｃから構成されている。
【００１４】
このブーム１７は、図示を略す各伸縮用シリンダに連結されて、各伸縮用シリンダによって伸縮される。その先端ブーム１７ｃには、ブームヘッド（先端部）１７ｄが図２に拡大して示すように設けられている。このブームヘッド１７ｄには、シーブ軸１７ｆが設けられ、このシーブ軸１７ｆに一対のシーブ１７eが設けられている。
【００１５】
図１に示すブラケット１６には、ウインチ（図示を略す）が設けられ、このウインチから延設されたワイヤWがシーブ１７eに掛け渡されている。そのワイヤWには、フックブロック２０が吊り下げられており、このフックブロック２０にはフック２１が設けられている。
【００１６】
そのブームヘッド１７ｄには、単眼の２個の監視カメラ（CCDカメラ）２A、２Bが設けられている。その監視カメラ２A、２Bはステレオカメラを構築するのに用いられ、画像処理を行う作業監視装置の一部を構成している。
【００１７】
ここでは、この２個の監視カメラ２A、２Bは、シーブ軸１７ｆに取り付けられている。この各監視カメラ２A、２Bはブーム１７の延びる方向を基準にしてその延びる方向両側をブーム１７の幅方向として互いに対称位置に配置されているが、傾動のみ可能なブーム１７の場合には、そのブーム１７が描く傾動軌跡面（傾動面）の両側を幅方向として、監視カメラ２A、２Bを対称位置に配置される。
その監視カメラ２A、２Bの光軸間距離が基線長Dとして定義され、この基線長Dは後述する画像処理部のメモリに記憶保存されている。
【００１８】
ここでは、この各監視カメラ２A、２Bは、その自重によって、鉛直方向を指向するように回転機構（図示を略す）が設けられている。なお、この監視オカメラ２A、２Bに、パン方向、チルト方向の回動を行うパンチルト機構、撮影倍率を変更するズーム機能を持たせても良いが、ここでは、その詳細な説明は省略することとする。
【００１９】
運転室１４には、図示を略す操作盤、操作レバー、後述する演算処理部、モニター部（表示部）が設けられ、オペレータはその操作レバー、操作盤を適宜操作することにより、ブーム１7の旋回、起伏、伸張、アウトリガ１５の張り出し、格納、エンジン始動、停止、モニター部のオン・オフ等を行う。
【００２０】
（演算処理部の説明）
図３は本発明の実施例に係る演算処理部のブロック図である。
その図３において、符合２２は演算処理部を示している。この演算処理部２２は、監視カメラ２A、２Bからの撮像信号、シリンダ圧力センサ２３、ブーム長センサ２４、起伏角度センサ２５、アウトリガ張り出しセンサ２６からの各センサ信号が入力されている。
【００２１】
その演算処理部２２は、画像処理部２２A、制御処理部２２Bを有しており、その制御処理部２２Bはその各センサからのセンサ信号に基づいてそれに応じた制御処理を行い、必要に応じて、適宜モニタ部２７に制御に必要な情報を出力する。
【００２２】
画像処理部２２Aには監視カメラ２A、２Bから撮像信号が入力され、この画像処理部２２Aはその監視カメラ２A、２Bからの撮像信号に適宜画像処理を行って、モニタ部２７に表示信号を出力する。これにより、図４A〜図４Cに示す画像がモニタ部２７に表示されるものである。
【００２３】
ここでは、モニタ部２７の画面Gには、ワイヤWの像W’、フックブロック２０の像２０’、車両本体１２の前部の像１２’（図４C参照）、アウトリガ１５の像１５’ （図４C参照）、後述する基準対象Reｆの像Reｆ’ （図４C参照）、対象物体Oｂの像Oｂ’が映っている。
【００２４】
ここでは、演算処理部２２には、画面切替スイッチSW1、画像合成処理スイッチSW2が設けられている。モニタ部２７の画面Gには、図４Bに示すように、運転室１４に近い側に配設されている監視カメラ２B（運転席のオペレータから見て右側に配置されている監視カメラ２B）により撮像された画像が優先的に表示される。
初期状態で、運転席側から見たと同様の光景を表示できるので、周囲の状況の把握が容易である。
【００２５】
画像処理部２２Aは、画面切替スイッチSW１をオペレータが操作すると、図４Bに示す運転室１４に近い側に配設されている監視カメラ２Bにより撮像された画像から、図４Aに示すように、運転室１４から遠い側に配設されている監視カメラ２Aにより撮像された画像（運転室１４のオペレータから見て左側に配置されている監視カメラ２A）にその画面表示が切り替えられるように制御する。
【００２６】
画像処理部２２Aは、画像合成処理スイッチSW2をオペレータが操作すると、図４Cに示すように、監視カメラ２Bにより撮像された画像と監視カメラ２Aにより撮像された画像との合成処理画像が表示されるように画像処理を実行する。
この図４Cでは、フック２１を画面Gの中心にして合成処理画像が表示されるので、吊り荷作業を行う場合に便利である。
【００２７】
ここでは、画像処理部２２Aは、合成処理画像を構築する際には、フックブロック２０の像２０’が画面Gの左右方向中心O’に位置するように画像処理を行って、画面Gに合成処理画像を表示する。
この実施例では、画面切替スイッチSW１を演算処理部２２に設ける構成として説明したが、画面切替スイッチSW１を破線ＳＷ３で示すようにモニタ部２７に設けても良い。
【００２８】
この実施例によれば、監視カメラ２A、２Bのうちのいずれか一方の監視カメラにより撮像した画像に、死角が生じているときには、いずれか他方により撮像した画像に画面Gの表示を切り替えることにより、又は、合成処理画像を画面Gに表示させることにより、極力死角を少なくして作業を行うことができる。なお、画面Gに合成処理画像を表示する際に、フックブロック２０の像２０’を消去する構成とするのが、フックブロック２０により死角となる部分の像とフックブロック２０の像２０’とが重なりあって見えるという合成処理画像の違和感を除く観点から望ましい。
【００２９】
なお、フックブロック２０の像２０’の消去は、例えば、フックブロック２０により死角となる部分の像をフックブロック２０の移動中に死角から外れたときに取得してメモリに記憶し、合成処理画像の作製の際に、死角となる部分の像を合成すると同時にフックブロック２０の像２０’を消去する。
なお、フックブロック２０により死角となる部分の像を優先的に表示させる構成とし、フックブロック２０の像２０’を透過画像とすることもできる。
【００３０】
更に、監視カメラ２A、２Bをブームヘッド１７ｄの片側にのみ設けてステレオカメラを構築する場合に較べて基線長Dを大きく取ることができるので、画像処理精度の向上、後述する高さ計測の精度向上を図ることができる。
【００３１】
（高さ測定原理の説明）
図５はステレオカメラを用いて、撮像対象までの距離を測定する測定原理を示している。
監視カメラ２A、２Bは、それぞれ撮像レンズ３A、３B、二次元撮像素子４A、４Bを有する。符合O1、O2はそれぞれその撮像レンズ３A、３Bの光軸を示す。また、撮像レンズ３A、３Bの焦点距離をｆとし、撮影対象１から監視カメラ２A、２Bまでの距離をLとし、監視カメラ２A、２Bの焦点距離ｆに対して距離Lが非常に大きいものとする。
【００３２】
監視カメラ２A、２Bにより撮影対象１を撮影した場合、  撮影対象１からの光束は矢印P１、P2でそれぞれ示すように撮像レンズ３A、３Bに入射し、二次元撮像素子４A、４Bに撮影対象像１A、１Bとして結像される。その二次元撮像素子４A、４Bに対する撮影対象像１A、１Bの結像位置は異なるため、これにより視差Δが生じる。
【００３３】
この視差Δを求めることにより、三角測距の原理を利用した演算式L=D×（ｆ／Δ）を用いて、撮影対象１までの距離Lが求められる。
その視差Δは光軸O１、O2上の画素（画素中心）に対する撮影対象像１A、１Bの画素位置を各監視カメラ２A、２Bについて求めることにより求められる。ここで、基線長Ｄが大きくなれば、視差Δも大きくなるので、撮像素子４Ａ、４Ｂの画素数が一定でも、距離の測定精度を向上させることができる。
【００３４】
以上の説明では、監視カメラ２A、２Bに対して撮影対象１が対称位置に存在する場合について説明したが、符合１’で示すように、撮影対象１’が監視カメラ２A、２Bに対して非対称位置にある場合にも、演算式は複雑化するが、同原理を用いて撮影対象１’までの距離を求めることができる。
【００３５】
ここで、監視カメラ２Ａ、２Ｂの高さをクレーン及びブームの姿勢から幾何学的に求めれば、その高さから撮影対象１’までの高さ方向距離Ｌを減算して撮影対象までの高さを求めることができる。また、クレーンに基準対象Ｒｅｆを備えれば、幾何学的計算によらず、高さを求めることができる。
これについて、以下に説明する。
画像処理部２２Aは、監視カメラ２A、２Bにより撮像された撮影画像に基準対象Reｆの像Reｆ’と対象物体Obの像Oｂ’とが共に映っているか否かを判断する機能を有する。
【００３６】
その基準対象Reｆは、ここでは、図１に示すように、車両本体１２の前部の表面に十字マークとして形成されている。画像処理部２２Aは、各監視カメラ２A、２Bにより取得された撮影画像から例えば公知のパターンマッチング手法により二次元撮像素子４A、４Bのいずれの画素位置に像Reｆ’が存在するか否かを取得する。
【００３７】
同様にして、画像処理部２２Aは、各監視カメラ２A、２Bにより取得された撮影画像から例えば公知のパターンマッチング手法により二次元撮像素子４A、４Bのいずれの画素位置に高さを測定したい対象物体Oｂの像Ob’が存在するか否かを取得する。
【００３８】
対象物体Obが複数存在する場合、高さを測定したい対象物体Obを指定する。この対象物体Obの指定には、モニタ部２７がタッチパネル式の場合には、オペレータが画面G上でその都度ポイントすることによって指定することができる。  なお、モニタ部２７がタッチパネル式でない場合には、例えば、対象物体Obの輪郭を自動的に抽出して、複数の対象物体Obを指定する構成とすることができる。
【００３９】
算出部２２Cは、ここでは、図１に示すように、地上Sからの基準高さZｒeｆを示す基準対象Refが含まれている撮影画像を用いて、その基準対象Reｆの像Reｆ’の各画素位置から視差Δを求め、この視差Δを用いて監視カメラ２A、２Bから基準対象Reｆまでの高さ方向距離Z１を算出する。
【００４０】
同様に、算出部２２Cは、高さを測定したい対象物体Oｂの像Oｂ’の各画素位置から視差Δを求め、この視差Δを用いて監視カメラ２A、２Bから基準対象Reｆまでの高さ方向距離Z２を算出する。
そして、このようにして求められた高さ方向距離Z1、Z2、地上Sからの基準高さZｒeｆを用いて以下の式により対象物体Obの地上Sからの高さZを求める。
Z＝（Z１＋Zｒeｆ）−Z2
【００４１】
すなわち、算出部２２Cは、地上Sからの基準高さZｒeｆを示す基準対象Refが含まれている画像を用いて監視カメラ２A、２Bから基準対象Reｆまでの高さ方向距離Z1を算出すると共に、対象物体Obが含まれている画像を用いて監視カメラ２A、２Bから対象物体Obまでの高さ方向距離Z2を算出し、基準対象Reｆまでの高さ方向距離Z1と基準高さZｒeｆとの和から対象物体Oｂまでの高さ方向距離Z2を減算することにより対象物体Obの地上Sからの高さZを算出する。
【００４２】
この実施例によれば、地上Sからの高さ基準を示す基準対象Reｆをクレーン１１に設けたので、対象物体Oｂの地上Sからの高さを監視カメラ２A、２Bで測定する場合でも、正確に地上Sに対する対象物体Oｂの高さを正確に測定できるという効果を奏する。
【００４３】
以上、実施例について説明したが、本発明は、これに限らず、以下のものが含まれる。
（１）実施例においては、シーブ軸１７ｆに監視カメラ２A、２Bを設けることとしたので、既存の構成要素を大幅に変更しなくとも取付けが可能である。
しかしながら、シーブ軸１７ｆと平行に監視カメラ２A、２Bを取り付けるための取付け軸部を設けて、この取付け軸部に監視カメラ２A、２Bを設ける構成としても良い。このように構成すると、シーブ軸１７ｆの振動が監視カメラ２A、２Bに伝わるのを防止できる。
【００４４】
（２）また、実施例においては、ブーム１７のブームヘッド（先端部）１７ｄに監視カメラ２A、２Bを設ける構成としたが、ブーム１７の横撓み防止のためにブーム１７からその幅方向に水平方向に延びるように張り出された張り出しアタッチメント部材（図示を略す）に各監視カメラ２A、２Bを設けても良い。このように構成すると、シーブ軸１７ｆに設けた場合に較べて基線長をより一層大きく取ることができる。
【００４５】
（３）クレーン１１は一旦作業現場に設置すると、作業が終了するまで移動されないので、ブーム１７の移動に伴って取得した画像を逐次メモリに保存し、ブーム１７の移動に伴って撮像範囲が変化した場合でも撮像範囲変化前に取得した画像を利用できるようにすれば、画像処理速度が向上する。
【００４６】
（４）監視カメラ２A、２Bの高さが高くなるに伴って、対象物体Obが小さく映ることになるので、処理画像の画素密度を多くすることにより精密な画像を得ることができる。
（５）対象物体Obの位置を把握するため、対象物体Obの角部等の特徴点の位置を複数回求めて、平均値を取得することにより、対象物体Obの位置取得精度の向上を図ることができる。
【００４７】
（６）実施例では、合成処理画像として、フック２１の真上から見た画像を画面Gに表示させることとしたが、合成処理画像はこれに限られるものではなく、視点変換した各種の俯瞰画像を作成して表示させることが可能であり、画像処理部に俯瞰画像変換スイッチを設け、オペレータの操作により適宜俯瞰画像を画面Gに表示させる構成とすることもできる。
【符号の説明】
【００４８】
２A、２B…監視カメラ
１１…クレーン
１４…運転室
１７…ブーム
２７…モニタ部
２２A…画像処理部
【図１】
2014105091.tif 000003
【図２】
2014105091.tif 000004
【図３】
2014105091.tif 000005
【図４Ａ】
2014105091.tif 000006
【図４Ｂ】
2014105091.tif 000007
【図４Ｃ】
2014105091.tif 000008
【図５】
2014105091.tif 000009