(57)【要約】【課題】部品点数の増加を抑えつつ、取り扱いの容易な作業車用の周囲監視システム、作業車、表示方法、及びプログラムを提供する。【解決手段】作業車用の周囲監視システム１００は、記憶部３１と、制御部３０とを備える。記憶部３１は、作業車に設置された左カメラ１１、右カメラ１２が撮影する映像を、人が視認できる形態の画像に変換するためのキャリブレーション情報を記憶する。制御部３０は、キャリブレーション情報に従って、左カメラ１１、右カメラ１２が撮影した周囲の映像の一部分を切り取り、切り取った画像を人が視認できる平面画像を生成する。作業車は作業車用の周囲監視システム１００を備える。【選択図】図５
2019167220.tif 000002
【特許請求の範囲】
【請求項１】
作業車に設置された全方位カメラが撮影する映像を、人が視認できる形態の画像に変換するためのキャリブレーション情報を記憶する記憶部と、
前記全方位カメラが撮影した映像の一部分を切り取り、前記記憶部から前記キャリブレーション情報を取得し、切り取った前記映像の一部分を、取得した前記キャリブレーション情報を用いて、人が視認できる形態の画像に変換し、出力する制御部と、
を備える作業車用の周囲監視システム。
【請求項２】
前記キャリブレーション情報は、前記全方位カメラの映像の一部分を切り取る切り取り範囲と前記切り取り範囲の映像を人が視認できる形態の画像に補正する補正関数とを含み、
前記記憶部は、走行時用のキャリブレーション情報と作業時用のキャリブレーション情報とを記憶する、
請求項１に記載の作業車用の周囲監視システム。
【請求項３】
前記制御部は、前記記憶部から前記キャリブレーション情報を取得するキャリブレーション情報取得部と、前記作業車のパラメータを取得するデータ取得部と、前記作業車のブームの地面に対する対地角度を求める対地角度算出部と、表示装置に表示する画像を生成する表示画像生成部とを備え、
前記対地角度算出部は、前記データ取得部が取得したパラメータを用いて、前記ブームの対地角度を求め、
前記キャリブレーション情報取得部は、前記対地角度算出部が求めた対地角度に対応する前記作業時用のキャリブレーション情報を前記記憶部から取得し、
前記表示画像生成部は、取得した前記作業時用のキャリブレーション情報を用いて前記全方位カメラが撮影した映像の一部分を人が視認できる形態の画像に変換する、
請求項２に記載の作業車用の周囲監視システム。
【請求項４】
前記制御部は、前記作業車の走行時には、前記走行時用のキャリブレーション情報を用いて、前記全方位カメラが撮影した映像中の周辺領域の画像を人が視認できる形態の画像に変換し、前記作業車の作業時には、前記作業時用のキャリブレーション情報を用いて、前記全方位カメラが撮影する映像中の作業領域の画像を人が視認できる形態の画像に変換する、
請求項２または３に記載の作業車用の周囲監視システム。
【請求項５】
請求項１から４の何れか一項に記載の作業車用の周囲監視システムを備える作業車であって、
前記作業車は、前記全方位カメラと、人が搭乗するキャビンとを備え、
前記キャビンの内部または外部に、前記記憶部と前記制御部と表示装置とが設置されている、
作業車。
【請求項６】
前記作業車は、伸縮及び起伏可能なブームをさらに備え、
前記全方位カメラは前記ブームに設置され、前記ブームの動きに伴って前記全方位カメラの撮影している領域が変化する、
請求項５に記載の作業車。
【請求項７】
前記全方位カメラは、魚眼レンズを備える全方位カメラである、
請求項６に記載の作業車。
【請求項８】
作業車に設置された全方位カメラが撮影する映像の一部分を切り取り、
切り取った前記映像の一部分を、キャリブレーション情報を用いて、人が視認できる形態の画像に変換し、
変換後の画像を表示する、
表示方法。
【請求項９】
コンピュータに、
作業車に設置された全方位カメラが撮影する映像の一部分を切り取る処理、
切り取った前記映像の一部分を、キャリブレーション情報を用いて、人が視認できる形態の画像に変換する処理、
変換後の画像を表示する処理、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業車用の周囲監視システム、作業車、表示方法、及びプログラムに関する。
【背景技術】
【０００２】
吊り荷を視認できない状態でクレーンを操作する必要がある場合がある。特許文献１には、この種の操作を容易にするため、ブームの先端に設けられた吊り荷監視用カメラで映像を取得して、表示装置に表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３―１４２０３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
移動式クレーンの多くは、走行時には、キャビンよりも前方にブームの先端が位置する。このため、交差点等では、周囲を確認し、ブームの先端が周囲の建造物、他の車両等に衝突しないように注意する必要がある。そこで、ブームの先端に左右一対のサイドカメラを設け、サイドカメラからの映像をモニタに表示することにより、オペレータにブーム先端の左右方向の状況を報知する方法が考えられる。
【０００５】
しかし、特許文献１に開示されているクレーンにこの方法を単純に適用すると、ブームの先端に、吊り荷監視用のカメラと一対のサイドカメラの計３台のカメラを取り付ける必要がある。ブームの先端にカメラを取り付けるためには、カメラに加えて、カメラからキャビンに延在する信号線、ブームの伸縮に合わせて信号線の伸長と巻き取りとを行うコードリール、等の部品も必要となる。
【０００６】
カメラ１台に１本の信号線が必要であり、１本の信号線に１つのコードリールが必要である。このため、３台のカメラを取り付けるためには、３台のカメラに加えて、３本の信号線と３つのコードリールとが必要になる。
【０００７】
さらに、ブームの伸縮に合わせて、３つのコードリールで、３本の信号線の伸長と巻き取りとを行う必要がある。この場合、ブームの伸長時に、信号線同士が絡まらないように、また、周囲の部材に引っかからないように、適切な張力で信号線の伸長と巻き取りを行う必要がある。従って、信号線の引き回し及びコードリールの制御が複雑となる。
【０００８】
このように、ブームの先端に３台のカメラを取り付けると、信号線の引き回し及びコードリールの制御が複雑で、取り扱いが難しくなる。
【０００９】
本発明はこれらの課題を解決するものであり、部品点数の増加を抑えつつ、取り扱いの容易な作業車用の周囲監視システム、作業車、表示方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達するため、本発明に係る作業車用の周囲監視システムは、
作業車に設置された全方位カメラが撮影する映像を、人が視認できる形態の画像に変換するためのキャリブレーション情報を記憶する記憶部と、
前記全方位カメラが撮影した映像の一部分を切り取り、前記記憶部から前記キャリブレーション情報を取得し、切り取った前記映像の一部分を、取得した前記キャリブレーション情報を用いて、人が視認できる形態の画像に変換し、出力する制御部と、
を備える。
【００１１】
また、上記目的を達するため、本発明に係る作業車は、
上記作業車用の周囲監視システムを備える作業車であって、
前記作業車は、前記全方位カメラと、人が搭乗するキャビンとを備え、
前記キャビンの内部または外部に、前記記憶部と前記制御部と表示装置とが設置されている。
【発明の効果】
【００１２】
本発明における作業車用の周囲監視システム、作業車、表示方法、及びプログラムによれば、作業車に設置された全方位カメラが撮影する映像の一部分を切り取り、切り取った映像の一部分を、人が視認できる形態の画像に変換することにより、部品点数の増加を抑えつつ、取り扱いを容易にすることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態１に係るクレーンの概要図である。
【図２】実施の形態１に係る左カメラと右カメラの配置の概要図である。
【図３】実施の形態１に係る左カメラと右カメラの軸方向を示す図である。
【図４】実施の形態１に係る表示装置の概要図である。
【図５】図４に示す制御部の機能ブロック図である。
【図６】図４に示す制御部のハードウエアブロック図である。
【図７】（Ａ）と（Ｂ）は、実施の形態１に係るクレーンの走行時における周囲監視方法の一例を説明するための図である。
【図８】（Ａ）は、実施の形態１に係るクレーンの走行時の左カメラで撮像した映像と切り取り範囲の例を示し、（Ｂ）は、切り取った画像を平面化処理した後の平面化画像を示し、（Ｃ）は、表示画像の例を示す図である。
【図９】（Ａ）は、実施の形態１に係るクレーンの走行時の左カメラで撮像した映像と切り取り範囲の例を示し、（Ｂ）は、切り取った画像を平面化処理した後の平面化画像を示し、（Ｃ）は、表示画像の例を示す図である。
【図１０】（Ａ）は、実施の形態１に係るクレーンの作業時の様子を示し、（Ｂ）は、左カメラで撮像した作業時の映像と切り取り範囲の例を示し、（Ｃ）は、切り取った画像を平面化処理した後の平面化画像を示す図である。
【図１１】（Ａ）は、実施の形態１に係るクレーンの作業時の左カメラで撮像した映像と切り取り範囲の例を示し、（Ｂ）は、ブームの傾斜角と切り取り範囲の関係の例を示す図である。
【図１２】（Ａ）と（Ｂ）は、実施の形態１に係る走行時用データベースと作業時用データベースの例を示す図である。
【図１３】本発明の実施の形態１に係る複数カメラ画像表示処理のフローチャートである。
【図１４】（Ａ）と（Ｂ）は、本発明の実施の形態２に係るカメラの配置の概要図である。
【図１５】実施の形態２に係る表示装置の概要図である。
【図１６】実施の形態２に係る制御部の機能ブロック図である。
【図１７】実施の形態２に係るクレーンの走行時における車両周囲の一例を示す図である。
【図１８】（Ａ）は、実施の形態２に係るクレーンの走行時の撮影映像と２つの切り取り範囲の例を示し、（Ｂ）と（Ｃ）は、切り取った画像を平面化処理した後の平面化画像の例を示す図である。
【図１９】（Ａ）は、実施の形態２に係るクレーンの作業時の撮影映像と切り取り範囲の例を示し、（Ｂ）は、切り取った画像を平面化処理した後の平面化画像の例を示す図である。
【図２０】（Ａ）と（Ｂ）は、実施の形態２に係る走行時用データベースと作業時用データベースの例を示す図である。
【図２１】実施の形態２に係る単一カメラ画像表示処理のフローチャートである。
【図２２】実施の形態２の変形例に係るカメラの配置の概要図である。
【図２３】本発明の実施の形態３に係る距離測定処理のフローチャートである。
【発明を実施するための形態】
【００１４】
本発明の周囲監視システムは、移動式クレーン等の作業車に備えられる。この周囲監視システムは、ブームの先端に配置された全方位カメラで撮影した映像の一部を切り取って平面画像に変換して表示することで、走行時の周辺領域の状況の確認及び作業時の吊り荷の状態の確認を可能とする。すなわち、本発明の周囲監視システムは、ブームの先端に設けられたカメラを、サイドカメラと吊り荷監視用カメラとに共用するシステムである。
【００１５】
以下、本発明の実施の形態に係る周囲監視システムと方法について、図面を参照しつつ説明する。なお、同一または同等の部分に同一の符号を付す。
【００１６】
（実施の形態１）
実施の形態１に係る周囲監視システム１００について、図１から図１３を参照して説明する。実施の形態１に係る周囲監視システム１００は、クレーンのブームの先端の左右両側に設けられた２台の全方位カメラを、サイドカメラと吊り荷監視用カメラとに共用するシステムである。
【００１７】
最初に、周囲監視システム１００が適用されるクレーン１の全体的な構成を説明する。クレーン１は、走行機能を有する車両本体部分となる走行体２と、走行体２の上に水平旋回可能に取り付けられた旋回台３と、旋回台３に設けられたキャビン４とを備えている。走行体２の前側と後側にはそれぞれ、クレーン１を地面Ｇ上で固定するための左右一対のアウトリガ５が備えられている。
【００１８】
キャビン４は、オペレータがクレーン１の操作のために搭乗する装置である。その内部には、後述する表示装置２０とコントローラ３２とが配置されている。
【００１９】
旋回台３の上には、ブラケット６が固定されている。ブラケット６には、ブーム７が、ブーム７の基端部の支持軸を介して取り付けられている。ブーム７は、支持軸を中心に起伏することができる。ブラケット６とブーム７との間には、起伏用シリンダ７０が設けられている。ブーム７は、起伏用シリンダ７０が伸縮することにより起伏する。
【００２０】
ブーム７は、基端ブーム７ａと、１又は複数本の中間ブーム７ｂと、先端ブーム７ｃとを備えている。基端ブーム７ａと、中間ブーム７ｂと、先端ブーム７ｃとは、この順序で外側から内側へ入れ子式に組み合わされている。ブーム７ａ〜７ｃは、内部で伸縮シリンダと伸縮ワイヤにより連結されており、ブーム７は、伸縮シリンダが伸縮することで伸縮する。また、ブーム７には、ブーム７の傾きを検出する傾斜計とブーム７の長さを求める長さ計が配置されている。
【００２１】
先端ブーム７ｃは、その先端に先端部７ｄが設けられている。先端部７ｄには、シーブが備えられている。このシーブには、ブラケット６に設けられたウインチから延びたワイヤＷが掛けられている。ワイヤＷには、フックブロック８が吊り下げられている。フックブロック８には、フック９が取り付けられている。フック９には、ワイヤロープＷＲを介して吊り荷１０が掛けられる。ウインチには、吊り荷１０の重さを計測する荷重計が配置されている。
【００２２】
図２に示すように、先端部７ｄの左右両側には、左カメラ１１と右カメラ１２とが、カメラ保持部１３を介して設けられている。カメラ保持部１３は、フック９用のシーブ軸上に配置されている。左カメラ１１と右カメラ１２は、全方位カメラから構成されている。全方位カメラは、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）撮像素子、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子等の撮像素子と、魚眼レンズとを備えている。全方位カメラは、１つのレンズで半球ほぼ３６０度の撮影ができるカメラである。
【００２３】
左カメラ１１と右カメラ１２の視野について、図３を参照してさらに説明する。左カメラ１１と右カメラ１２の撮像素子の撮像面に垂直な軸をＺ軸とする。左カメラ１１のＺ軸をＺＬとし、右カメラ１２のＺ軸をＺＲとする。Ｚ軸を、クレーン１の車両の側方向に９０度回転した軸をＸ軸とし、左カメラ１１のＸ軸をＸＬとし、右カメラ１２のＸ軸をＸＲとする。また、Ｚ軸を、クレーン１の車両後方に９０度回転した軸をＹ軸とする。左カメラ１１のＹ軸をＹＬとし、右カメラ１２のＹ軸をＹＲとする。
【００２４】
左カメラ１１と右カメラ１２は、クレーン１の走行時には、走行姿勢のブーム７の側方から地面方向を含む周辺領域を撮影でき、作業時には、ブーム７の角度によらず、吊り荷１０を含む作業領域を撮影できる方向を向く位置で、カメラ保持部１３に固定されている。左カメラ１１と右カメラ１２とを、このように取り付けることにより、クレーン１の側方から地面Ｇ方向までを撮影することができる。
【００２５】
全方位カメラで撮影した映像は、ほぼ全域を含み、さらに、画像の歪みが大きい。このため、左カメラ１１及び右カメラ１２で撮影した画像をそのまま表示しても、何の画像なのかを理解が難しい。そこで、周囲監視システム１００は、以下に説明する画像の切り取りと平面化処理、さらに、表示枠の設定（これらをまとめてキャリブレーション処理と呼ぶ）を行うことにより、オペレータが理解しやすい画像を表示装置２０に表示する。
【００２６】
まず、表示装置２０の構成を、図４を参照して説明する。表示装置２０は、キャビン４内の、オペレータから容易に視認可能な位置に配置されている。表示装置２０は、画像を表示する表示部２００と、表示部２００の下側に配置された複数の操作キーを備えている。また、表示装置２０は、内部に制御部３０と記憶部３１を備える。
【００２７】
表示装置２０は、表示部２００に単一の画像（ウインドウ）を表示するシングルウインドウ・モードと、複数の画像を同時に表示するタイリングウインドウ・モードとを切り替えることができる。なお、タイリングウインドウ・モードでの表示画像の数を２とする。表示部２００は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）パネル、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル等の表示インターフェース装置から構成される。
【００２８】
複数の操作キーは、左カメラ選択キー２１０と、右カメラ選択キー２１１と、パン操作キー２１２と、チルト操作キー２１３と、表示拡大キー２１４と、表示縮小キー２１５と、表示画像切替キー２１６と、複数画像表示キー２１７と、十字キー２１８とを備えている。
【００２９】
左カメラ選択キー２１０と右カメラ選択キー２１１とは、左カメラ１１と右カメラ１２のうち、どちらのカメラで撮影した映像を表示部２００に表示するかを選択するキーである。左カメラ選択キー２１０または右カメラ選択キー２１１の押下により選択されたカメラを示す選択カメラ情報は記憶部３１に記憶される。例えば、右カメラ選択キー２１１が押下されると、右カメラ１２が選択されたことを示す選択カメラ情報が記憶部３１に記憶され、右カメラ１２で撮影された映像がキャリブレーション処理後、表示部２００に表示される。なお、左カメラ選択キー２１０と右カメラ選択キー２１１のいずれも押下されていない場合、デフォルトに設定されているカメラ、例えば、左カメラ１１を特定する選択カメラ情報が記憶部３１に記憶される。
【００３０】
パン操作キー２１２とチルト操作キー２１３は、パン機能とチルト機能を操作するキーである。パン操作キー２１２またはチルト操作キー２１３を操作することにより、表示画像を左右方向及び上下方向に移動させることができる。表示拡大キー２１４と表示縮小キー２１５とは、表示部２００に表示された映像を、表示部２００の中心を基点として、拡大または縮小させるキーである。
【００３１】
表示画像切替キー２１６は、左カメラ１１または右カメラ１２が撮影した映像内で、表示対象範囲の切り替えを指示するキーである。具体的に説明すると、左カメラ１１及び右カメラ１２が撮影した映像上には、複数の切り取り範囲が設定され、何れかの切り取り範囲の画像が切り出されて表示される。表示画像切替キー２１６を押下することにより、カメラの選択は変更せず、切り取り範囲を変更して、表示画像を変更することができる。
【００３２】
複数画像表示キー２１７は、表示装置２０を、複数の画像を同時に表示するタイリングウインドウ・モードと１つの画像を表示するシングルウインドウ・モードとの間で切り替えるキーである。
【００３３】
表示画像切替キー２１６及び複数画像表示キー２１７の押下により選択された表示形式を特定する表示形式情報が記憶部３１に記憶される。十字キー２１８は、表示部２００の中心を起点として、表示を上下左右方向に移動させるキーである。
【００３４】
次に、図５を参照して、表示装置２０に内蔵された制御部３０と記憶部３１について説明する。
【００３５】
制御部３０は、機能的には、図５に示すように、映像取得部３０１と、データ取得部３０２と、対地角度算出部３０３と、キャリブレーション情報取得部３０４と、表示画像生成部３０５とを備えるコンピュータである。
【００３６】
映像取得部３０１は、左カメラ１１と右カメラ１２が撮影した映像を取得する。データ取得部３０２は、コントローラ３２に接続されている。コントローラ３２は、クレーン１全体の動作、特に、旋回台３の旋回動作、起伏用シリンダ７０の伸縮によるブーム７の起伏動作、伸縮シリンダの伸縮によるブーム７の伸縮動作を制御する。データ取得部３０２は、コントローラ３２から、吊り荷１０の荷重、ジブの角度、ブーム７の長さと傾斜角度といったパラメータを取得する。ブーム７の傾斜角度は傾斜計、ブーム７の長さは長さ計、吊り荷１０の荷重は荷重計により計測され、コントローラ３２に通知されたものである。
【００３７】
対地角度算出部３０３は、データ取得部３０２がコントローラ３２から取得したパラメータを用いて、ブーム７の基部の回転軸とカメラ保持部１３とを結ぶラインと地面Ｇとの交差角度（以下、対地角度）を求める。具体的には、対地角度算出部３０３は、ブーム７の傾斜角（傾斜計により計測された値）とブーム７の長さと吊り荷１０の重量の組み合わせと対地角度とを対応付ける演算式又は三次元テーブルを内部メモリに記憶している。対地角度算出部３０３は、この演算式又は三次元テーブルに、取得したパラメータを適用して対地角度を求める。このような処理を行う理由は、ブーム７が長くなるに従って、また、吊り荷１０が重くなるに従って、ブーム７が撓むため、傾斜計による計測だけでは、正確な対地角度を求めることができないからである。
【００３８】
キャリブレーション情報取得部３０４は、記憶部３１に記憶されているカメラ選択情報、表示形式情報、キャリブレーション処理に必要な情報（以下、キャリブレーション情報）等の記憶部３１に記憶されている種々の情報を取得する。
【００３９】
表示画像生成部３０５は、映像取得部３０１が取得した映像、対地角度算出部３０３が算出した対地角度、キャリブレーション情報取得部３０４が取得したカメラ選択情報と表示形式情報とキャリブレーション情報、を用いて、表示対象の画像を生成する。表示画像生成部３０５は、生成した画像を表示装置２０に出力する。
【００４０】
制御部３０のハードウエアの構成の一例を図６に示す。図示するように、制御部３０は、プロセッサ３１０と、メモリ３１１と、表示コントローラ３１２と、Ｉ／Ｏポート３１３と、内部バス３１４から構成されている。プロセッサ３１０と、メモリ３１１と、表示コントローラ３１２と、Ｉ／Ｏポート３１３とは、内部バス３１４を介して相互に接続されている。
【００４１】
プロセッサ３１０は、記憶部３１に保存された各種プログラムを読み出してメモリ３１１に展開し、実行する。プロセッサ３１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ−Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等の処理装置から構成されている。メモリ３１１は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の揮発性半導体メモリ、フラッシュメモリ等の不揮発性半導体メモリ等から構成されている。
【００４２】
表示コントローラ３１２は、表示装置２０の表示部２００に文字と映像とを表示させるため映像信号を出力するコントローラである。表示コントローラ３１２は、ビデオカード、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、グラフィックボード等の映像信号出力装置から構成される。
【００４３】
Ｉ／Ｏポート３１３は、制御部３０に入出力される信号を送受信するためのインターフェースである。制御部３０は、Ｉ／Ｏポート３１３を介して左カメラ１１と、右カメラ１２と、コントローラ３２と、表示装置２０とに接続される。
【００４４】
プロセッサ３１０とＩ／Ｏポート３１３とは、図５に示す映像取得部３０１とデータ取得部３０２を構成する。また、プロセッサ３１０は、対地角度算出部３０３とキャリブレーション情報取得部３０４と表示画像生成部３０５を構成する。
【００４５】
次に、左カメラ１１及び右カメラ１２で撮影した映像に対して制御部３０が行うキャリブレーション処理について説明する。
【００４６】
まず、クレーン１の走行時における、キャリブレーション処理について、図７から図９を参照しつつ説明する。
【００４７】
ここで、図７（Ａ）に示すように、クレーン１が、交差点５０に差しかかっている場面を想定する。走行時は、クレーン１のブーム７は縮められ、伏せた状態にあり、その先端部７ｄは、キャビン４よりも前方にある。クレーン１から見て左側の交差点５０の角には、建物等の障害物５１が位置している。また、キャビン４は、クレーン１のフロントバンパーよりも後方に位置している。
【００４８】
交差点５０を左折した地点をＡ、交差点５０を渡った正面の地点をＢ、フロントバンパーと障害物５１との間の地点をＣ、クレーン１と障害物５１との間の地点をＤとする。
【００４９】
クレーン１のブーム７は、キャビン４の左横に取り付けられていることが多い。
【００５０】
この場合、キャビン４内のオペレータから見て、地点Ａは、キャビン４の左側にあるブーム７の陰になる。このため、オペレータは、キャビン４内から地点Ａを直接目視することが困難である。したがって、オペレータは、地点Ａに進入してくる他の車両、歩行者を、直接は視認することが困難である。また、キャビン４内のオペレータから見て、左前方にブーム７があるため、地点Ｂは、ブーム７の陰になり、オペレータは地点Ｂを直接は目視することが困難である。
【００５１】
また、地点Ｃは、左側のフロントバンパーの陰になる。したがって、オペレータは、クレーン１の前方に背の低いもの、例えば、子供がいた場合には、それを視認することが困難である。また、キャビン４の左側にブーム７があるため、地点Ｄは、ブーム７の陰になる。このため、オペレータは、地点Ｄを直接目視することが困難である。
【００５２】
現状、オペレータは、クレーン１の走行時に、地点Ａから地点Ｄの監視を目視によって行っている。一部のクレーンには、左側面等に前方を撮影するカメラを備えるものがある。このタイプのクレーンでは、図７（Ｂ）に示すように、キャビン４の内部に、前方モニタ４１が配置され、前方モニタ４１に、カメラによって撮影されたクレーン１の前方、すなわち地点Ｂの映像が表示される。また、キャビン４のフロントガラスの前に、フロントバンパー確認ミラー４２を備え、ブーム７の左側に、サイドミラー４３を備えるものも存在する。フロントバンパー確認ミラー４２は、地点Ｃを写すことができる鏡であり、サイドミラー４３は、地点Ｄを写すことのできる鏡である。
【００５３】
このような構成の場合、オペレータは、地点Ａと、前方モニタ４１に表示された地点Ｂの映像と、フロントバンパー確認ミラー４２に写った地点Ｃの画像と、サイドミラー４３に写った地点Ｄの画像とを、それぞれ目視で確認する必要がある。しかし、地点Ａと、前方モニタ４１と、フロントバンパー確認ミラー４２と、サイドミラー４３とは、それぞれ位置が離れている。このため、オペレータは、地点Ａと、前方モニタ４１と、フロントバンパー確認ミラー４２と、サイドミラー４３とを、頭ごと視線を動かして見ていく必要がある。したがって、交差点５０の地点Ａから地点Ｄの状況を、把握することが難しい。
【００５４】
そこで、本実施の形態では、周囲監視システム１００により、交差点５０の地点Ａから地点Ｄを、簡単に監視することができるようにする。具体的には、本実施の形態の場合、ブーム７がキャビン４の左側に位置しているため、キャビン４からは、左方が右方よりも確認しづらい。このため、まず、オペレータは、左カメラ選択キー２１０を押下することで、映像を取得するカメラとして、左カメラ１１を選択する。これにより、左カメラ１１が撮影しているブーム７の左方の映像を、表示装置２０に表示させ、周囲の状態を確認することができる。
【００５５】
左カメラ１１が撮影している映像の一例を、図８（Ａ）に示す。左カメラ１１は、３６０度の撮影ができる全方向魚眼カメラであるため、左カメラ１１で撮影した映像は、全体が丸くなり、かつ、縁に行くにしたがって歪みが強くなる。また、左カメラ１１で撮影した映像には、左カメラ１１を取り付けたブーム７の一部等の周囲の確認に不要な部分が映り込んでいる。この画像をそのまま表示部２００に表示しても、周囲の把握が困難である。
【００５６】
そこで、制御部３０は、左カメラ１１で撮影した映像のうち、周囲の確認に有用な一部分を、予め定められた形状の切り取り範囲５０１に合わせて切り取る。例えば、ブーム７の左方の地点を含んだ範囲を切り取り範囲５０１とする。次に、制御部３０は、切り取った画像に平面化処理を施し、歪みが小さく認識しやすい平面画像を生成する。この平面化処理は、切り取り範囲５０１内の画像のレンズ歪みを表す関数の逆関数で表される。生成した平面画像の一例を図８（Ｂ）に示す。この変換後の平面画像５１１の基準位置に表示枠ＷＩを設定し、表示枠ＷＩ内の画像を、図８（Ｃ）に示すように、表示装置２０の表示部２００に表示する。オペレータは、表示部２００に表示された平面画像を見ることによって、地点Ａの状況を視認することができる。なお、画像の平面化は、人間が容易に認識できる程度でよく、画像の平面性の厳格性は要求されない。
【００５７】
また、Ｂ点を視認できるようにするためには、左カメラ１１で撮影した映像を、図９（Ａ）に示すように、予め定められた切り取り範囲５０２で切り取る。制御部３０は、切り取った画像について平面化処理を行い、歪みの小さい平面画像５１２を生成する。この平面化処理は、切り取り範囲５０２内の画像の歪みを表す関数の逆関数で表される。生成した平面画像５１２の一例を図９（Ｂ）に示す。この平面画像５１２の基準位置に表示枠ＷＩを設定し、表示枠ＷＩ内の画像を、図９（Ｃ）に示すように、表示部２００に表示する。オペレータは、表示された平面画像を見ることによって、地点Ｂの状況を視認することができる。
【００５８】
シングルウインドウ・モードにおいては、図４に示した表示画像切替キー２１６を押下することにより、図８（Ｃ）に示した地点Ａを含む平面画像と図９（Ｃ）に示した地点Ｂを含む平面画像とが、表示部２００上で切り替えて表示される。また、図４に示した複数画像表示キー２１７を押下して、タイリングウインドウ・モードを設定すると、図８（Ｃ）に示した平面画像と図９（Ｃ）に示した平面画像とが、表示部２００に並べて表示される。
【００５９】
切り取り範囲５０１、５０２の形状と大きさと位置、平面化処理に使用する関数、及び表示枠ＷＩを設定する基準位置は、後述する図１２（Ａ）に示す走行時用データベースＤ１に格納され、記憶部３１に記憶されている。
【００６０】
次に、クレーン１の作業時における、キャリブレーション処理について、図１０を参照して説明する。
【００６１】
図１０（Ａ）に示すように、クレーン１が吊り荷１０を吊り上げる作業をしている場面を想定する。この状態において、オペレータが、吊り荷１０の状態を確認するため、左カメラ１１が撮影している地面Ｇの方向の映像を、表示装置２０に表示させるものとする。この場合、オペレータは、図４に示す、左カメラ選択キー２１０を押下することで、映像を取得するカメラとして左カメラ１１を選択する。
【００６２】
左カメラ１１が撮影している映像を図１０（Ｂ）に例示する。左カメラ１１で撮影した画像は、全体が丸くなり、かつ、縁に行くに従って歪みの程度が大きくなる。制御部３０は、この映像のうち吊り荷１０を含む画像を、画像の中心点を起点とし、鉛直方向の画像を含む扇形の切り取り範囲５０３を切り取り、切り取った画像に平面化処理を行い、図１０（Ｃ）に示すように、可能な平面画像５１３を生成する。この平面化処理は、魚眼レンズによる歪みの逆変換に相当する関数を用いる。制御部３０は、生成した平面画像５１３上に表示枠ＷＩを設定し、表示枠ＷＩ内の画像を、表示部２００に表示させる。なお、画像を取得するカメラとして左カメラ１１を選択する例を説明したが、画像を取得するカメラとして右カメラ１２を選択しても良い。
【００６３】
映像の切り取り範囲５０３及び表示枠ＷＩの設定位置は、ブーム７の対地角度に応じて変化する。これは、ブーム７が起伏して対地角度が変わると、左カメラ１１または右カメラ１２が撮影した映像内の吊り荷１０の位置が変変化するからである。そこで、ブーム７の対地角度と切り取り範囲５０３と平坦化後の画像の上の表示枠ＷＩの設定位置との関係を、予め求めておき、図１２（Ｂ）に示すように、作業時用データベースＤ２として記憶部３１に記憶しておく。
【００６４】
切り取り範囲５０３とブーム７の対地角度との関係を示すテーブルについて、図１１と図１２（Ｂ）を参照して説明する。図１１（Ａ）に、左カメラ１１または右カメラ１２が撮影した映像に設定する角度の一例を示す。まず、左カメラ１１において、０度を−Ｘ軸方向、９０度を＋Ｙ軸方向、１８０度を＋Ｘ軸方向、２７０度を−Ｙ軸方向とする。右カメラ１２についても同様に角度を設定する。
【００６５】
図１１（Ａ）に示すように、切り取り範囲５０３を、画像の中心を基準として、吊り荷１０の画像が含まれる扇型の範囲に設定する。ブーム７の対地角度が変化する毎に、画像全体の中の吊り荷１０の位置が変化する。そこで、図１１（Ｂ）に例示するように、対地角度に応じて、切り出す角度範囲を変化させる。この例では、左カメラ１１で撮影した画像に関しては、切り取り範囲５０３を、ブーム７の対地角度０〜２０°未満の場合には、＋３０°〜−１５０°の範囲、対地角度が２０°〜４０°未満の場合には、０°〜−１３０°未満の範囲、対地角度が４０°〜６０°未満の場合には、−３０°〜−１１０°の範囲などとする。右カメラ１２の映像についても、吊り荷１０の画像の位置を基準に切り取り範囲５０３が定められる。この関係は、図１２（Ｂ）に示す作業時用データベースＤ２にまとめられている。
【００６６】
図１２（Ａ）は、走行時用データベースＤ１の一例を示す。クレーン１の、走行時には、ブーム７は伏せられた状態にあり、その対地角度は一定である。図８（Ａ）に示す地点Ａを表示するための切り取り範囲５０１と図９（Ａ）に示す地点Ｂを表示するための切り取り範囲５０２は、左カメラ１１と右カメラ１２とで、それぞれの範囲が定められている。また、撮影された映像を平面画像に変換するための平面化関数及び変換された平面画像上の表示枠ＷＩの基準位置も、左カメラ１１と右カメラ１２とで、それぞれで定められている。
【００６７】
この走行時用データベースＤ１から、例えば、左カメラ１１を使用して地点Ａの画像を表示部２００に表示するためには、撮影した映像の第１範囲の画像を切り取り、平面化関数ｆ１を用いて平面画像化し、生成された平面画像の座標（Ｘ１，Ｙ１）を基準として表示枠ＷＩを設定し、表示枠ＷＩ内の画像を表示部２００に表示すればよいことを特定できる。なお、表示された画像をパンする場合には、表示枠ＷＩをＸ軸方向（画像の水平方向）に移動し、チルトする場合には、表示枠ＷＩをＸ軸方向（画像の鉛直方向）に移動し、拡大する場合には、表示枠ＷＩを小さくし、縮小する場合には、表示枠ＷＩを大きくすればよい。
【００６８】
一方、図１２（Ｂ）は、作業時用データベースＤ２の一例を示す。この作業時用データベースＤ２は、左カメラ１１と右カメラ１２の別と、ブーム７の対地角度と、切り取り範囲と、平面化関数と、表示枠の基準位置といったパラメータを互いに対応付けて規定している。切り取り範囲には、図１１（Ｂ）に例示した角度範囲を格納する。平面化関数には、切り取り範囲の画像の歪みを補正して平面画像に変換するための関数を格納する。表示枠の位置には、平面画像上に設定する表示枠の基準位置を格納する。
【００６９】
この作業時用データベースＤ２から、例えば、ブーム７の対地角度が３０°のときに、左カメラ１１を使用して吊り荷の画像を表示するためには、撮影した映像の０°〜−１３０°の範囲の画像を切り取り、平面化関数ｆ６を用いて平面画像化し、生成された平面画像の座標（Ｘ６，Ｙ６）を基準として表示枠ＷＩを設定し、表示枠ＷＩ内の画像を表示部２００に表示すればよいことを特定できる。
【００７０】
走行時用データベースＤ１と作業時用データベースＤ２の記憶部３１への記憶は、設計時に設計者が行う。メンテナンス時に、メンテナンス担当者が、記憶部３１に記憶しているデータベースを、更新または変更してもよい。
【００７１】
左カメラ１１または右カメラ１２で撮影した映像に対して、制御部３０が行うキャリブレーションと表示装置２０への表示の処理は、複数カメラ画像表示処理のプログラムとして、記憶部３１に記憶されている。制御部３０は、表示装置２０の電源がオンされたタイミング等で、記憶部３１から複数カメラ画像表示処理用のプログラムを読み出し、これを実行する。
【００７２】
制御部３０は、複数カメラ画像表示処理を実行する時に、映像取得部３０１と、データ取得部３０２と、対地角度算出部３０３と、キャリブレーション情報取得部３０４と、表示画像生成部３０５として機能する。
【００７３】
次に、複数カメラ画像表示処理について、図１３に示すフローチャートを参照して説明する。
【００７４】
表示装置２０の電源がオンされると、制御部３０は、図１３に示す複数カメラ画像表示処理を開始し、まず、コントローラ３２からクレーン１のＰＴＯ（Ｐｏｗｅｒ  Ｔａｋｅ−Ｏｆｆ）の状態を取得する。ＰＴＯは、エンジンからクレーン１の作業に必要な動力を取り出す機構である。このため、制御部３０は、ＰＴＯがＯＮであれば、クレーン１は作業中であり、ＰＴＯがＯＦＦであれば、クレーン１は走行中と判断する。
【００７５】
ＰＴＯの状態がＯＮであれば（ステップＳ１００；ＹＥＳ）、クレーン１は作業状態であり、制御部３０のデータ取得部３０２は、コントローラ３２から、吊り荷１０の荷重、ブーム７の長さと傾斜角等のパラメータを取得する。対地角度算出部３０３は、データ取得部３０２が取得した各種パラメータを所定の演算式又はテーブルに適用することにより、ブーム７の対地角度を算出し、表示画像生成部３０５に通知する（ステップＳ１０１）。
【００７６】
表示画像生成部３０５は、キャリブレーション情報取得部３０４を介して、記憶部３１からカメラ選択情報と表示形式情報とを取得する（ステップＳ１０２）。なお、前述のように、カメラ選択情報は、図４に示す左カメラ選択キー２１０または右カメラ選択キー２１１の押下により設定される。また、表示形式情報は、表示画像切替キー２１６と複数画像表示キー２１７との押下により設定される。
【００７７】
表示画像生成部３０５は、キャリブレーション情報取得部３０４を介して記憶部３１にアクセスし、作業時用データベースＤ２から、カメラ選択情報が特定するカメラと算出された対地角度とに対応するキャリブレーション情報、即ち、映像の切り取り範囲と平面化関数と表示枠設定基準を特定する情報を取得する（ステップＳ１０３）。例えば、カメラ選択情報が左カメラ１１を指定しており、ステップＳ１０３で対地角度が３０°と求められている場合、切り取り範囲として０°〜−１３０°の範囲、平面化関数としてｆ６、表示枠ＷＩの基準位置として（Ｘ6，Ｙ６）を読み出す。
【００７８】
表示画像生成部３０５は、カメラ選択データが指定するカメラからの映像を映像取得部３０１から取得する（ステップＳ１０４）。
【００７９】
表示画像生成部３０５は、取得した映像にキャリブレーション処理を実行する。即ち、取得した映像の切り取り範囲の画像を切り取り、平面化関数を適用して平面画像を生成する。さらに、生成された平面画像上に、基準位置に基づいて、表示枠ＷＩを設定する（ステップＳ１０５）。
【００８０】
なお、パンが設定されている場合には、表示枠ＷＩの位置を基準位置からＸ軸方向に移動し、チルトが設定されている場合には、表示枠ＷＩの位置を基準位置からＹ軸方向に移動して配置する。十字キー２１８が操作された場合には、操作に応じて、適宜調整される。また、拡大が設定されている場合には、表示枠ＷＩを縮小し、縮小が設定されている場合には、表示枠ＷＩを縮小して配置する。
【００８１】
表示画像生成部３０５は、表示枠ＷＩ内の画像を表示装置２０に出力する。表示装置２０は、入力された画像を、表示部２００に表示する（ステップＳ１０６）。これにより、オペレータは、表示部２００に表示された吊り荷１０の平面画像をみながら、作業を行うことができる。
【００８２】
一方、ステップＳ１００で、ＰＴＯの状態がＯＦＦであれば（ステップＳ１００；ＮＯ）、クレーン１は走行状態であり、ブーム７は伏した状態にある。表示画像生成部３０５は、キャリブレーション情報取得部３０４を介して、記憶部３１からカメラ選択情報と表示形式情報を取得する（ステップＳ１０７）。
【００８３】
続いて、表示画像生成部３０５は、キャリブレーション情報取得部３０４を介して、記憶部３１に記憶されている走行時用データベースＤ１（図１２（Ａ））から、カメラ選択情報と表示形式情報とをキーに、キャリブレーション情報を取得する（ステップＳ１０８）。即ち、カメラ選択情報と表示形式情報に従って、走行時用データベースＤ１から、切り取り範囲と平面化関数と表示枠基準位置を読み出す。具体的には、設定されている表示形式がシングルウインドウ・モードであれば、走行時用データベースＤ１の表示形式情報で特定されるエントリに設定されている切り取り範囲と平面化関数と表示枠基準位置を取得する。例えば、カメラ選択情報が左カメラを指定していれば、左カメラ用の先頭エントリから「第１範囲」と「平面化関数ｆ１」と、基準位置（Ｘ１，Ｙ１）を取得する。取得するエントリは表示画像切替キー２１６の押下により順次切り替えられる。
【００８４】
また、現在設定されている表示形式がタイリングウインドウ・モードであれば、カメラ選択情報が指示するカメラ用のエントリからタイリングウインドウの数分取得する。例えば、例えば、カメラ選択情報が左カメラを指定していれば、図１２（Ａ）に示された左カメラ用の第１及び第２エントリから、「第１範囲」と「ｆ１」と「Ｘ１，Ｙ１」の組と「第２範囲」と「ｆ２」と「Ｘ２，Ｙ２」の組みを取得する。取得するエントリは表示画像切替キー２１６の押下により順次切り替えられる。
【００８５】
次に、表示画像生成部３０５は、映像取得部３０１から、カメラ選択情報が示すカメラが撮影した映像を取得する（ステップＳ１０９）。表示画像生成部３０５は、映像取得部３０１から取得した映像にキャリブレーション処理を施す（ステップＳ１１０）。即ち、取得した映像から、ステップＳ１０８で取得した切り取り範囲の画像を切り取り、平面化関数ｆで平面画像に変換して、さらに、変換後の平面画像に、基準位置を基準として、表示枠ＷＩを設定する。なお、表示枠ＷＩの設定位置は、パン操作キー２１２、チルト操作キー２１３、十字キー２１８の操作などにより、基準位置を中心に適宜変化する。また、表示枠ＷＩのサイズは、表示拡大キー２１４，表示縮小キー２１５等の操作により基準サイズを中心に適宜調整される。
【００８６】
表示画像生成部３０５は、表示枠ＷＩ内の画像を表示装置２０に出力する。表示装置２０は、入力された画像を、現在設定されている表示形式により表示部２００に表示する（ステップＳ１１１）。オペレータは、表示部２００に表示された左右前後の平面画像を参照しつつ、クレーン１を走行させることができる。
【００８７】
制御部３０は、以上のステップＳ１００からステップＳ１１１の処理を、表示部２００の電源がオフされるまで繰り返し実行する。
【００８８】
以上のように、実施の形態１によれば、ブーム７の先端の左右に配置された全方位カメラで撮影された映像をキャリブレーションすることで、走行時の周囲の状況及び作業時の吊り荷１０の状態を確認できるようにすることができる。すなわち、ブーム７の先端の左右に設けた全方位カメラを、サイドカメラと吊り荷監視用カメラとして共用することができる。これにより、部品点数を減らすことができる。また、カメラの台数を通常想定される３台から２台に減らすことができるので、信号線の引き回しを容易にし、かつ、コードリールの制御を簡単にすることができる。
【００８９】
また、クレーン１の走行中は、カメラで撮影した映像を、単一の画像を表示するシングルウインドウ・モードと、複数の画像を同時に表示するタイリングウインドウ・モードとに切り替えて表示装置２０に表示することができる。このため、オペレータがクレーンの周囲の状況を簡単に監視することができる。これにより、従来、オペレータがクレーンの周囲の状況を監視するために必要としたクレーンの側方向を撮影するカメラと、フロントバンパー確認ミラー４２と、サイドミラー４３とが不要になる。したがって、部品の点数を減らすことができる。
【００９０】
また、撮影画像のうち表示対象となりうる部分を切り取ってから平面化処理を行うので、画像全体を平面化処理する場合に比して、制御部の処理量を大幅に抑えることができる。
【００９１】
（実施の形態２）
本発明の実施の形態２に係る周囲監視システム１００Ａは、ブーム７の先端に設けた１台の全方位カメラを、サイドカメラと吊り荷監視用カメラを共用したカメラとして用いることができるシステムである。以下、周囲監視システム１００Ａについて、図１４から図２２を参照して説明する。なお、実施の形態１と同一の部分の説明については同一の符号を付す。
【００９２】
図１４（Ａ）に示すように、ブーム７の先端部７ｄの前側には、単一のカメラ１５がカメラ保持部１６を介して設けられている。カメラ１５は、魚眼レンズを備えた全方位カメラから構成される。
【００９３】
図１４（Ｂ）に示すように、カメラ１５の魚眼レンズの光学軸をＺ軸とし、クレーン１の車両の左右方向をＸ軸方向とし、Ｘ軸とＺ軸に直角な方向をＹ軸方向とする。カメラ１５は、クレーン１の走行時には、ブーム７の側方向から地面方向を撮影可能で、作業時には、吊り荷１０が撮影できる方向を向く姿勢でカメラ保持部１６に固定されている。
【００９４】
周囲監視システム１００Ａは、カメラ１５が撮影した映像をキャリブレーションし、表示装置２０Ａに表示する。
【００９５】
図１５に示すように、表示装置２０Ａは、図４に示す表示装置２０の左カメラ選択キー２１０と右カメラ選択キー２１１に代えて、左方向表示キー２２０と右方向表示キー２２１を備える。
【００９６】
左方向表示キー２２０は、カメラ１５が撮影した映像から、クレーン１の左方向の画像を抽出して表示することを指示するキーである。右方向表示キー２２１は、カメラ１５が撮影した映像から、クレーン１の右方向の画像を抽出して、表示することを指示するキーである。左方向表示キー２２０または右方向表示キー２２１の押下により、選択された向きが表示方向であることを示す表示方向選択情報が記憶部３１に記憶される。なお、初期状態では、デフォルトの表示方向選択示選択情報、例えば、左方向の表示を指定する表示方向選択情報が記憶部３１に記憶されている。
【００９７】
次に、カメラ１５が撮影した映像を表示装置２０Ａに表示させる制御部３０Ａの構成を、図１６を参照して説明する。なお、制御部３０Ａと、カメラ１５と、記憶部３１と、表示装置２０Ａとが周囲監視システム１００Ａを構成する。制御部３０Ａは、映像取得部３０１と、データ取得部３０２と、対地角度算出部３０３と、キャリブレーション情報取得部３０４と、表示画像生成部３０５とを備えている。
【００９８】
映像取得部３０１は、１台のカメラ１５が撮影した映像を取得する。キャリブレーション情報取得部３０４は、記憶部３１に記憶されている走行時用または作業時用のキャリブレーション情報、表示方向選択情報、及び、表示形式特定データを取得する。表示画像生成部３０５は、映像取得部３０１が取得した映像、対地角度算出部３０３が算出した対地角度、キャリブレーション情報取得部３０４を介して取得したキャリブレーション情報と表示方向選択情報及び表示形式選択情報とに基づいて、表示部２００に表示する画像を生成する。表示画像生成部３０５は、生成した画像を表示装置２０Ａに出力する。データ取得部３０２と対地角度算出部３０３は、図５に示すデータ取得部３０２と対地角度算出部３０３と実質的に同一である。
【００９９】
制御部３０Ａのハードウエアの構成は、図６に示す構成と実質的に同一である。
【０１００】
次に、制御部３０Ａが行うキャリブレーション処理について説明する。
【０１０１】
まず、クレーン１の走行時におけるキャリブレーション処理について、図１７と図１８を参照しつつ説明する。
【０１０２】
図１７に示すようにクレーン１が、交差点５０に差しかかっている場面を想定する。この状態では、カメラ１５は、キャビン４よりも前方の交差点を見渡せる位置にある。クレーン１から見て交差点５０の左側の角には、障害物５１がある。交差点５０を左折した地点を地点Ａ、交差点５０を渡った地点を地点Ｂ、クレーン１のフロントバンパーと障害物５１との間の地点を地点Ｃ、クレーン１と障害物５１との間の地点を地点Ｄとする。また、クレーン１から見て交差点５０を挟んで右斜め前方の地点を地点Ｅ、交差点５０を挟んで地点Ａと対向する地点を地点Ｆとする。
【０１０３】
カメラ１５が撮影している映像を図１８（Ａ）に例示する。この映像は、交差点５０とブーム７の映像を含み、右半分がクレーン１の右方向を撮影した映像であり、左半分がクレーン１の左方向を撮影した映像である。
【０１０４】
ここで、オペレータが、図１５に示す表示装置２０Ａの右方向表示キー２２１を押下したとする。この場合、記憶部３１に、右方向選択情報が格納される。制御部３０Ａは、カメラ１５が撮影した映像を、予め定められた切り取り範囲５０４に合わせて切り取る。切り取り範囲５０４は、右方向を撮影した映像を切り取る範囲として、予め定められた範囲である。切り取り範囲５０４は、例えば、クレーン１が交差点にさしかかったときに、交差点の右折方向の道路の画像が納まる範囲として設定される。制御部３０Ａは、切り取った画像について平面化処理を行い、平面画像を生成する。生成した平面画像を図１８（Ｂ）に例示する。制御部３０Ａは、生成した平面画像上に表示枠ＷＩを設定する。表示枠ＷＩ内の画像が、表示部２００に表示される。オペレータは、表示部２００に表示された画像を見ることによって、地点Ｆの状況を視認することができる。
【０１０５】
次に、オペレータが、表示装置２０Ａの左方向表示キー２２０を押下したとする。この場合、記憶部３１に、左方向選択情報が格納される。この場合、制御部３０Ａは、図１８（Ａ）に示すカメラ１５が撮影した映像の切り取り範囲５０５を切り取る。切り取り範囲５０５は、左方向を撮影した映像を切り取る範囲として、定められた範囲である。切り取り範囲５０５は、例えば、クレーン１が交差点にさしかかったときに、左折方向の道路の画像が納まる範囲として設定される。
【０１０６】
制御部３０Ａは、切り取った画像について平面化処理を行い、平面画像を生成する。生成した平面画像を図１８（Ｃ）に例示する。制御部３０Ａは、生成した平面画像上に表示枠ＷＩを設定する。表示枠ＷＩ内の画像が、表示部２００に表示される。オペレータは、表示部２００に表示された画像を見ることによって、地点Ａの状況を視認することができる。
【０１０７】
図１８（Ｂ）、（Ｃ）に示した画像は、表示画像切替キー２１６を押下することにより、表示部２００上で切り替えて表示することができる。また、図１８（Ｂ）、（Ｃ）に示した画像は、複数画像表示キー２１７を押下することで、表示部２００上に同時に並べて表示することができる。
【０１０８】
切り取り範囲、平滑化関数、表示枠ＷＩの基準位置は、図２０（Ａ）に示す走行時用データベースＤ１１にまとめられ、記憶部３１に記憶されている。
【０１０９】
次に、クレーン１の作業時におけるキャリブレーション処理について、図１９と２０（Ｂ）を参照しつつ説明する。作業時には、カメラ１５で撮影した地面Ｇの方向の映像を、キャリブレーションし、表示部２００に表示させる。
【０１１０】
クレーン１が吊り荷１０を吊り上げる作業をしており、吊り荷１０方向の映像を、表示部２００に表示させるものとする。
【０１１１】
この場合、制御部３０Ａは、図１９（Ａ）に示すように、カメラ１５で撮影した映像の地面方向の画像を、映像の中心点を起点とした扇形の切り取り範囲５０６に合わせて切り取る。制御部３０Ａは、切り取った画像に平面化処理を行い、平面画像を生成する。生成した長方形の画像を、図１９（Ｂ）に例示する。制御部３０Ａは、生成した平面画像上に表示枠ＷＩを設定する。表示枠ＷＩ内の画像が、表示部２００に表示される。
【０１１２】
クレーン１の作業時における映像の切り取り範囲５０６と平滑化関数と表示枠ＷＩの設定位置は、ブーム７の対地角度に応じて変化する。これは、カメラ１５が撮影する映像内の吊り荷１０の位置が、ブーム７の対地角度によって変化するためである。これらのキャリブレーション処理に必要な情報は、図２０（Ｂ）に示すようにテーブル化され、作業時用データベースＤ１２として記憶部３１に記憶されている。
【０１１３】
カメラ１５で撮影した映像に対して、制御部３０Ａが行うキャリブレーション処理は、単一カメラ画像表示処理のプログラムとして、記憶部３１に記憶されている。制御部３０Ａは、表示装置２０Ａが起動されると、記憶部３１からこのプログラムを読み出し、実行する。
【０１１４】
制御部３０Ａは、単一カメラ画像表示処理プログラムを実行する時には、映像取得部３０１と、データ取得部３０２と、対地角度算出部３０３と、キャリブレーション情報取得部３０４と、表示画像生成部３０５として機能する。
【０１１５】
単一カメラ画像表示処理について、図２１に示すフローチャートを参照して説明する。
【０１１６】
表示装置２０Ａがオンになると、制御部３０Ａは、図２１に示す単一カメラ画像表示処理を開始し、まず、クレーン１のＰＴＯの状態を確認する（ステップＳ２００）。
【０１１７】
ＰＴＯの状態がＯＮであれば（ステップＳ２００；ＹＥＳ）、クレーン１は作業状態であり、制御部３０Ａのデータ取得部３０２は、コントローラ３２から、吊り荷１０の荷重、ブーム７の長さと傾斜角等のパラメータを取得する。対地角度算出部３０３は、データ取得部３０２が取得したパラメータから、ブーム７の対地角度を算出する（ステップＳ２０１）。
【０１１８】
表示画像生成部３０５は、キャリブレーション情報取得部３０４を介して、記憶部３１から表示形式情報を取得する（ステップＳ２０２）。
【０１１９】
表示画像生成部３０５は、キャリブレーション情報取得部３０４を介して記憶部３１にアクセスし、作業時用データベースＤ１２から、算出された対地角度に対応するキャリブレーション情報、即ち、映像の切り取り範囲と平面化関数と表示枠設置位置を特定する情報を取得する（ステップＳ２０３）。例えば、対地角度が３０°と求められている場合、切り取り範囲として−３０°〜−１５０°の範囲、平面化関数としてｆ１６，表示枠ＷＩの基準位置として（Ｘ１６，Ｙ１６）を読み出す。
【０１２０】
表示画像生成部３０５は、カメラ１５からの映像を取得する（ステップＳ２０４）。
【０１２１】
表示画像生成部３０５は、取得した映像にキャリブレーション処理を実行する（ステップＳ２０５）。即ち、取得した映像から、切り取り範囲の画像を切り取り、平面化関数を適用して平面画像を生成する。さらに、生成された平面画像上に、基準位置に基づいて、表示枠ＷＩを設定する。
【０１２２】
なお、パンが設定されている場合には、表示枠ＷＩの位置を基準位置からＸ軸方向に移動し、チルトが設定されている場合には、表示枠ＷＩの位置を基準位置からＹ軸方向に移動して配置する。十字キー２１８が操作されている場合も同様である。また、拡大が設定されている場合には、表示枠ＷＩを縮小し、縮小が設定されている場合には、表示枠ＷＩを縮小して配置する。
【０１２３】
表示画像生成部３０５は、表示枠ＷＩ内の画像を表示装置２０Ａに出力する。表示装置２０Ａは、入力された画像を、表示部２００に表示する（ステップＳ２０６）。これにより、オペレータは、吊り荷１０の平面画像を見ながら、作業を行うことができる。
【０１２４】
一方、ステップＳ２００で、ＰＴＯの状態がＯＦＦであれば（ステップＳ２００；ＮＯ）、クレーン１は走行状態であり、表示画像生成部３０５は、キャリブレーション情報取得部３０４を介して、記憶部３１から表示方向選択情報と表示形式情報を取得する（ステップＳ２０７）。なお、表示方向選択情報は、図１５に示す左方向表示キー２２０又は右方向表示キー２２１の押下により設定される。
【０１２５】
続いて、表示画像生成部３０５は、キャリブレーション情報取得部３０４を介して、記憶部３１に記憶されている走行時用データベースＤ１１（図２０（Ａ））から、表示方向選択情報と表示形式情報とをキーに、キャリブレーション情報を取得する（ステップ２０８）。即ち、表示方向選択情報と表示形式情報に従って、走行時用データベースＤ１１から、切り取り範囲と平面化関数と表示枠基準位置を読み出す。具体的には、設定されている表示形式がシングルウインドウ・モードであれば、走行時用データベースＤ１１の現在表示対象となっているエントリに設定されている切り取り範囲と平面化関数と表示枠基準位置を得する。例えば、表示方向選択情報が左方向を指定しており、現在の表示対象が第１エントリであれば、左方向用の先頭エントリから「第１範囲」と「平面化関数ｆ１１」と、基準位置（Ｘ１１，Ｙ１１）を取得する。また、設定されている表示形式がタイリングウインドウ・モードであれば、表示方向選択情報が指示する表示方向用のエントリからタイリングウインドウの数分の情報を取得する。例えば、左方向用の第１及び第２エントリから、「第１範囲」と「ｆ１１」と「Ｘ１１，Ｙ１１」の組と「第２範囲」と「ｆ１２」と「Ｘ１２，Ｙ１２」の組を取得する。
【０１２６】
次に、表示画像生成部３０５は、映像取得部３０１から、カメラ１５が撮影した映像を取得する（ステップＳ２０９）。表示画像生成部３０５は、取得した映像にキャリブレーション処理を施す（ステップＳ２１０）。即ち、取得した映像から、切り取り範囲の画像を切り取り、平面化関数ｆで平面画像に変換して、さらに、変換後の平面画像上に表示枠ＷＩを設定する。
【０１２７】
表示画像生成部３０５は、表示枠ＷＩ内の画像を表示装置２０Ａに出力する。表示装置２０Ａは、入力された画像を、現在設定されている表示形式により表示部２００に表示する（ステップＳ２１１）。オペレータは、表示部２００に表示された左右前後の平面画像参照しつつ、クレーン１を走行させることができる。
【０１２８】
制御部３０Ａは、以上のステップＳ２００からステップＳ２１１の処理を、表示装置２０Ａのスイッチがオフされるまで繰り返し実行する。
【０１２９】
以上のように、実施の形態２によれば、カメラが１台ですむ。従って、部品点数を減らし、信号線の引き回しを容易にし、かつ、コードリールの制御を簡単にすることができる。
【０１３０】
（変形例１）
上記の説明では、図１４（Ａ）に示すように、ブーム７の先端部７ｄの前側にカメラ１５を配置したが、必要な画像が確保できる範囲で、カメラの設置位置は任意である。例えば、図２２に示すように、カメラ１５を、先端部７ｄのキャビン４とは反対側、すなわち、先端部７ｄの左側に配置してもよい。この場合、走行時には、クレーン１の左方向を撮影している映像を切り取り、オペレータに提示することができる。キャビン４の右方向は、カメラ１５では撮影できないので、オペレータが視認する。また、作業時には、実施の形態２と同様に、吊り荷１０方向の画像を切り取って、表示することができる。
【０１３１】
（実施の形態３）
本発明の実施の形態３に係る周囲監視システム１００Ｂは、左カメラ１１と右カメラ１２との視野が重なる部分において、ステレオカメラの機能を提供することができるシステムである。ステレオカメラは、両眼視差により距離を求めることができる。このため、実施の形態３に係る周囲監視システム１００Ｂは、作業時に、地面Ｇから左カメラ１１と右カメラ１２までの距離、地面Ｇから吊り荷１０までの距離を求めることができる。測定した距離は、表示装置２０の表示部２００に表示される。
【０１３２】
本実施の形態における、左カメラ１１と右カメラ１２の設置方法は図２に示す実施の形態１と同一である。ただし、左カメラ１１と右カメラ１２のその視野の一部が重なるように設置される。
【０１３３】
本実施の形態の制御部３０の構成は、図５に示す実施の形態１の制御部３０と同一である。ただし、表示画像生成部３０５は、左カメラ１１と右カメラ１２が撮影した映像の両方に写っている被写体までの距離を求める機能を備えている。図２３を参照して具体的に説明すると、表示画像生成部３０５は、映像取得部３０１から左カメラ１１と右カメラ１２が撮影した映像から、視野が重なっている領域の画像をそれぞれ取得する（ステップＳ３０１）。
【０１３４】
表示画像生成部３０５は、取得した両画像について、それぞれキャリブレーション処理を実行し、平面化画像を生成する（ステップＳ３０２）。なお、キャリブレーション情報は、実施の形態１，２で説明したように、予め記憶部３１に記憶されており、適当なものが選択されて使用される。
【０１３５】
表示画像生成部３０５は、生成した両平面画像の中から、同一の被写体の画像をパターンマッチング等を用いて特定する（ステップＳ３０３）。
【０１３６】
次に、表示画像生成部３０５は、特定した各被写体について、左カメラ１１と右カメラ１２の視差を求める（ステップＳ３０４）。
【０１３７】
表示画像生成部３０５は、求めた視差と左カメラ１１と右カメラ１２の距離から、各被写体までの距離を求める（ステップＳ３０５）。
【０１３８】
続いて、表示画像生成部３０５は、画像から地面Ｇまでの距離を求め、求めた地面Ｇまでの距離と各被写体までの距離のから、地面Ｇから各被写体までの距離を求め、これを内部メモリに記憶する（ステップＳ３０６）。
【０１３９】
表示画像生成部３０５は、上述の距離測定処理と並行して実行している、図１３に示す複数カメラ画像表示処理のステップＳ１０６又はＳ１１１において、表示する平面画像上の各被写体に重畳して或いは被写体の脇に求めた距離を表示する（ステップＳ３０７）。
【０１４０】
以上のように、実施の形態３によれば、実施の形態１の効果に加えて、クレーン１の作業時には、左カメラ１１と右カメラ１２が撮影した映像から、距離を求めることができる。これにより、作業時に、表示装置２０の表示部２００に、例えば、地面Ｇから吊り荷１０までの距離を表示することができるので、オペレータが作業状況を把握し易くなるという効果がある。
【０１４１】
（変形例２）
実施の形態１及び３において、左カメラ選択キー２１０と右カメラ選択キー２１１のいずれか選択されているか視認認識可能とするために、選択されているキーの表示色を変更したり、点灯する等、視認可能に表示してもよい。同様に、実施の形態２において、左方向表示キー２２０と右方向表示キー２２１についても同様である。また、表示装置２０が表示する画像に、いずれのカメラで取得したいずれの方向の画像であるかをテキストや絵記号などで視認可能に表示してもよい。
【０１４２】
（変形例３）
上記の実施の形態１から３においては、コントローラ３２から取得した各種パラメータの情報を用いて、ブーム７の正確な対地角度を算出しているが、傾斜計が測定した角度をそのまま使用することも可能である。
【０１４３】
（変形例４）
上記の実施の形態１から３においては、表示装置２０、２０Ａは、表示部２００と、複数の操作用のキーとを備える構成としたが、表示部２００と、複数の操作用のキーとを、タッチパネルを用いて構成してもよい。この場合タッチパネルには、抵抗膜式、静電容量式といったタッチパネルを用いることができる。
【０１４４】
（変形例５）
上記の実施の形態１から３においては、表示装置２０、２０Ａは、表示部２００と、複数の操作用のキーとを備える構成としたが、表示装置自体が複数の操作キーを備える代わりに、リモコンが操作キーを備えても良い。
【０１４５】
（変形例６）
上記の実施の形態１から３においては、表示装置２０、２０Ａは、表示部２００と複数の操作用のキーとを備える構成、すなわち一体としたが、表示部２００と複数の操作キーとを、別体にしてもよい。
【０１４６】
（変形例７）
上記の実施の形態１から３においては、表示部２００には、全方位カメラが撮影した映像をキャリブレーションした後の画像を表示するものとした。これにかかわらず、表示部２００に、全方位カメラが撮影した映像を、キャリブレーションせずに、そのまま表示しても良い。また、表示部２００に、全方位カメラが撮影したキャリブレーションする前の画像とキャリブレーションした後の画像とを並べて表示しても良い。もしくは、キャリブレーションする前の画像とキャリブレーションした後の画像とを、切り替えて表示しても良い。
【０１４７】
（変形例８）
上記の実施の形態１から３においては、全方位カメラが撮影した映像を切り取る範囲を、クレーン１の走行時には予め定められた形状とし、クレーン１の作業時には映像の中心点を起点した扇形の角度としている。しかしながら、映像を切り取る範囲を、走行時には映像の中心点を起点した扇形の角度とし、作業時には予め定められた形状とする等、切り取る範囲と形状は必要に応じて適宜設定可能である。例えば、映像を切り取る範囲の予め定められた形状は、図８（Ａ）に示す切り取り範囲５０１の形状、および図１８に示す切り取り範囲５０４、５０５の形状の他、矩形、扇形、台形、ユーザ固有の形状といった種々の形状を用いることができる。予め定められた形状は、その大きさと、撮影した映像上の位置とを、任意に定めることができる。
【０１４８】
また、走行時と作業時とで、映像を切り取る範囲を、予め定められた形状、または、映像の中心点を起点した扇形の角度に分けず、同一としても良い。さらに、左カメラ１１と右カメラ１２のそれぞれで、映像を切り取る範囲の設定を分けても良い。単一のカメラ１５の撮影する映像の右側、左側のそれぞれで、映像を切り取る範囲の設定を分けても良い。クレーン１の作業時においては、ブーム７の対地角度毎に、映像を切り取る範囲の設定を分けても良い。
【０１４９】
（変形例９）
上記の実施の形態１及び３においては、左カメラ１１と右カメラ１２のそれぞれに、信号線とコードリールとを備えることを想定している。しかしながら、左カメラ１１と右カメラ１２の信号線を１本にまとめ、１つのコードリールで信号線の伸長と巻き取りをしても良い。この場合、１本の信号線の伸長と巻き取りとを、１つのコードリールで行うこととなる。したがって、部品点数を減らすとともに、信号線の引き回しを容易にし、かつ、コードリールの制御を簡単にすることができる。
【０１５０】
（変形例１０）
上記の実施の形態１から３においては、左カメラ１１、右カメラ１２、またはカメラ１５に、無線通信機能を備えたカメラを用いても良い。この場合、映像取得部３０１は無線通信機能を備え、カメラからの映像を無線で受信する。信号線とコードリールが無いので、信号線の引き回しとコードリールの制御が不要となる。すなわち、部品点数を減らすとともに、信号線の引き回しとコードリールの制御とを不要とすることができる。
【０１５１】
（変形例１１）
上記の実施の形態１から３においては、表示装置２０、２０Ａと制御部３０、３０Ａと記憶部３１とをキャビン４の内部に設けるものとした。しかしながら、これらの全部又は一部を、クレーン１上のキャビン４外の装置に設けても良い。さらに、クレーン１から離間した箇所に配置してもよい。例えば、クレーン１を遠隔操作する遠隔操作装置に、これらの構成の全部又は一部を配置しても良い。
【０１５２】
（変形例１２）
実施の形態１から３においては、全方位カメラを魚眼レンズを備えるカメラとする例を示したが、必要な画角が得られるならば、カメラの構成は任意である。本発明における全方位カメラは、クレーン１の側方と下方を撮影できるものを広く含むものである。また、平面化関数は、各カメラの特性にあわせて設定される。
【０１５３】
（変形例１３）
実施の形態１から３においては、全方位カメラで取得した映像を平面化関数により平面化したが、全方位カメラが撮影した映像を、人が何が表示されているかを視認できる形態の画像に変換できれば、映像をどのように補正するかは任意である。よって、平面化関数に限定されず、任意の補正関数を使用して、撮影映像を人が視認できる形態の画像に変換してもよい。
【０１５４】
（変形例１４）
実施の形態１から３においては、全方位カメラで撮影した画像を切り取ってから平面化処理を行ったが、画像全体を平面化してから、画像を切り取ることも可能である。
【０１５５】
（変形例１５）
実施の形態１から３においては、作業車として、移動式クレーンを例示したが、固定式のクレーン等作業車の種類は限定されない。本発明は、サイドカメラ、作業確認用のカメラ等の複数のカメラを必要とする作業車に広く適用可能である。
【０１５６】
（変形例１６）
実施の形態１から３においては、タイリングウインドウ・モードでは、２つの画像を同時に表示する例を示したが、同時に表示する画像の数は任意であり、３以上でもよい。
【０１５７】
なお、本発明の技術的範囲は、上記実施の形態と変形例によっては限定されない。本発明は特許請求の範囲に記載された技術的思想の限りにおいて、自由に応用、変形、あるいは改良して、実施することができる。
【符号の説明】
【０１５８】
１  クレーン、２  走行体、３  旋回台、４  キャビン、５  アウトリガ、６  ブラケット、７  ブーム、８  フックブロック、９  フック、１０  吊り荷、１１  左カメラ、１２  右カメラ、１３  カメラ保持部、１５  カメラ、１６  カメラ保持部、２０、２０Ａ  表示装置、３０、３０Ａ  制御部、３１  記憶部、３２  コントローラ、５０  交差点、５１  障害物、１００、１００Ａ、１００Ｂ  周囲監視システム、２００  表示部、２１０  左カメラ選択キー、２１１  右カメラ選択キー、２１２  パン操作キー、２１３  チルト操作キー、２１４  表示拡大キー、２１５  表示縮小キー、２１６  表示画像切替キー、２１７  複数画像表示キー、２１８  十字キー、２２０  左方向表示キー、２２１  右方表示キー、３０１  映像取得部、３０２  データ取得部、３０３  対地角度算出部、３０４  キャリブレーション情報取得部、３０５  表示画像生成部、３０６  距離算出部、３１０  プロセッサ、３１１  メモリ、３１２  表示コントローラ、３１３  Ｉ／Ｏポート、３１４  内部バス、５０１、５０２、５０３、５０４、５０５、５０６  切り取り範囲、５１１、５１２、５１３  平面画像。
【図１】
2019167220.tif 000003
【図２】
2019167220.tif 000004
【図３】
2019167220.tif 000005
【図４】
2019167220.tif 000006
【図５】
2019167220.tif 000007
【図６】
2019167220.tif 000008
【図７】
2019167220.tif 000009
【図８】
2019167220.tif 000010
【図９】
2019167220.tif 000011
【図１０】
2019167220.tif 000012
【図１１】
2019167220.tif 000013
【図１２】
2019167220.tif 000014
【図１３】
2019167220.tif 000015
【図１４】
2019167220.tif 000016
【図１５】
2019167220.tif 000017
【図１６】
2019167220.tif 000018
【図１７】
2019167220.tif 000019
【図１８】
2019167220.tif 000020
【図１９】
2019167220.tif 000021
【図２０】
2019167220.tif 000022
【図２１】
2019167220.tif 000023
【図２２】
2019167220.tif 000024
【図２３】
2019167220.tif 000025