(57)【要約】【課題】下部走行体の上に上部旋回体が設置されている作業車両において、上部旋回体の向きにかかわらず、オペレータの背後側へ進行するときに、その進行方向の映像をオペレータへ提供する。【解決手段】上部旋回体２０に取り付けられた、互いに異なる方向を撮影する複数のカメラ５０ａ、５０ｂ、５０ｃと、下部走行体１０によりパワーショベル１が走行しているときにカメラ５０ａ、５０ｂ、５０ｃがそれぞれ撮影した画像に基づいて、同一のカメラが撮影した画像内での物体の動きを示すベクトル情報を、カメラ別に抽出する映像信号処理部３５１３と、抽出されたカメラ別のベクトル情報に基づいて、一のカメラ選択する制御処理部３５１５と、選択されたカメラが撮影した画像を表示するモニタ３４０と、を備える。【選択図】図２
2009227076.tif 000002
【特許請求の範囲】
【請求項１】
下部走行体（１０）と、前記下部走行体（１０）の上部に設置された上部旋回体（２０）とを有する作業車両（１）であって、
前記上部旋回体（２０）に取り付けられた、互いに異なる方向を撮影する複数の撮影手段（５０ａ、５０ｂ、５０ｃ）と、
前記下部走行体（１０）により前記作業車両（１）が走行しているときに前記複数の撮影手段（５０ａ、５０ｂ、５０ｃ）がそれぞれ撮影した画像に基づいて、それぞれの撮影手段が撮影した画像内での物体の動きを示すベクトル情報を、前記複数の撮影手段（５０ａ、５０ｂ、５０ｃ）別に抽出する画像処理手段（３５１３）と、
前記画像処理手段（３５１３）が抽出した、前記複数の撮影手段別のベクトル情報に基づいて、一の撮影手段を選択する選択手段（３５１５）と、
前記選択手段（３５１５）により選択された撮影手段が撮影した画像を表示する表示手段（３４０）と、を備える作業車両。
【請求項２】
前記複数の撮影手段（５０ａ、５０ｂ、５０ｃ）は、前記作業車両（１）を操作するオペレータ（ＯＰ）の背後側の、互いに異なる方向を撮影する請求項１記載の作業車両。
【請求項３】
前記選択手段（３５１５）は、前記複数の撮影手段別のベクトル情報に基づいて、前記作業車両（１）の進行方向を推定し、撮影方向が前記推定された前記作業車両（１）の進行方向を向いている一の撮影手段を選択する請求項１または２に記載の作業車両。
【請求項４】
前記選択手段（３５１５）は、前記複数の撮影手段（５０ａ、５０ｂ、５０ｃ）別の前記同一の撮影手段が撮影した画像内での物体の動きを示すベクトル情報から、各画像内の予め定められた方向のベクトル成分をそれぞれ抽出し、前記抽出されたベクトル成分が最も大きい画像を撮影した一の撮影手段を選択する請求項１〜３のいずれかに記載の作業車両。
【請求項５】
前記画像処理手段（３５１３）は、前記ベクトル情報として、前記同一の撮影手段が撮影した画像内のオプティカルフローを、前記複数の撮影手段（５０ａ、５０ｂ、５０ｃ）別に抽出する請求項１〜４のいずれかに記載の作業車両。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、下部走行体の上に上部旋回体が設置されている作業車両において、周囲の状況をカメラで撮影してオペレータが参照する表示画面に表示させる作業車両に関し、特にオペレータの後方の画像を表示させる技術に関する。
【背景技術】
【０００２】
下部走行体の上に上部旋回体が設置されているパワーショベルなどの作業車両では、上部旋回体の後部の両側にカメラが設置され、上部旋回体の旋回時に、操作レバーからの情報に基づいて旋回方向のカメラを選択し、選択されたカメラが撮影した映像をモニタに表示する技術が知られている（例えば、特許文献１）。
【０００３】
また、作業車両において、作業車両が後退するとき、つまり、作業車両がオペレータの背後の方向へ進行するとき、その進行方向をカメラで撮影し、その映像をオペレータへ提供することは一般に行われている。
【特許文献１】特開２００１−２９６３２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上部旋回体が下部走行体に対して旋回自在な作業車両では、下部走行体に対して上部旋回体がどのような向きであっても、その作業車両は走行することが可能である。従って、上部旋回体にカメラを装着すると、カメラの撮影方向も上部旋回体とともに旋回するので、走行方向を常に撮影できるわけではない。
【０００５】
そこで、本発明の目的は、下部走行体の上に上部旋回体が設置されている作業車両において、上部旋回体の向きにかかわらず、オペレータの背後側へ進行するときに、その進行方向の映像をオペレータへ提供することである。
【課題を解決するための手段】
【０００６】
本発明の一つの実施態様に従う作業車両は、下部走行体（１０）と、前記下部走行体（１０）の上部に設置された上部旋回体（２０）とを有する。そして、前記上部旋回体（２０）に取り付けられた、互いに異なる方向を撮影する複数の撮影手段（５０ａ、５０ｂ、５０ｃ）と、前記下部走行体（１０）により前記作業車両（１）が走行しているときに前記複数の撮影手段（５０ａ、５０ｂ、５０ｃ）がそれぞれ撮影した画像に基づいて、それぞれの撮影手段が撮影した画像内での物体の動きを示すベクトル情報を、前記複数の撮影手段（５０ａ、５０ｂ、５０ｃ）別に抽出する画像処理手段（３５１３）と、前記画像処理手段（３５１３）が抽出した、前記複数の撮影手段別のベクトル情報に基づいて、一の撮影手段を選択する選択手段（３５１５）と、前記選択手段（３５１５）により選択された撮影手段が撮影した画像を表示する表示手段（３４０）と、を備える。
【０００７】
好適な実施形態では、前記複数の撮影手段（５０ａ、５０ｂ、５０ｃ）は、前記作業車両（１）を操作するオペレータ（ＯＰ）の背後側の、互いに異なる方向を撮影するようになっていてもよい。
【０００８】
好適な実施形態では、前記選択手段（３５１５）は、前記複数の撮影手段別のベクトル情報に基づいて、前記作業車両（１）の進行方向を推定し、撮影方向が前記推定された前記作業車両（１）の進行方向を向いている一の撮影手段を選択するようにしてもよい。
【０００９】
好適な実施形態では、前記選択手段（３５１５）は、前記複数の撮影手段（５０ａ、５０ｂ、５０ｃ）別の前記同一の撮影手段が撮影した画像内での物体の動きを示すベクトル情報から、各画像内の予め定められた方向のベクトル成分をそれぞれ抽出し、前記抽出されたベクトル成分が最も大きい画像を撮影した一の撮影手段を選択してもよい。
【００１０】
好適な実施形態では、前記画像処理手段（３５１３）は、前記ベクトル情報として、前記同一の撮影手段が撮影した画像内のオプティカルフローを、前記複数の撮影手段（５０ａ、５０ｂ、５０ｃ）別に抽出してもよい。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の一実施形態に係る作業車両としてパワーショベルを例に挙げて、図面を参照して説明する。
【００１２】
図１は、本実施形態に係るパワーショベル１の側面図、図２は、本実施形態に係るパワーショベル１を模式的に示した平面図である。
【００１３】
図１に示すように、パワーショベル１は、クローラ式の下部走行体１０と、下部走行体１０の上部に旋回自在に設けられた上部旋回体２０と、上部旋回体２０の上部に設けられた運転室３０と、上部旋回体２０の前部側（オペレータＯＰが運転室３０内に着座した状態での前部側で、図１中の左側）に設けられた作業機４０とを備える。
【００１４】
図１及び図２に示すように、上部旋回体２０には、複数のカメラ５０（５０ａ、５０ｂ、５０ｃ）が取り付けられている。各カメラ５０ａ、５０ｂ、５０ｃは、互いに異なる方向へ向けて取り付けられている。例えば、上部旋回体２０の後方側（運転室３０内に着座したオペレータＯＰの背後側）の互いに異なる方向へ向けて取り付けられている。図２の例では、カメラ５０ａがオペレータＯＰの左斜め後方、カメラ５０ｂがオペレータＯＰの真後ろ、カメラ５０ｃがオペレータＯＰの右斜め後方へそれぞれ向けられている。
【００１５】
各カメラ５０ａ、５０ｂ、５０ｃは、それぞれが向けられた方向を撮影する。各カメラ５０ａ、５０ｂ、５０ｃは、何れも上部旋回体２０に固定されているので、上部旋回体２０が旋回するのに併せて、それぞれが撮影する方向（向いている方向）が変化する。
【００１６】
また、パワーショベル１では、下部走行体１０に対して上部旋回体２０が自在に回転するので、図２Ａに示すように、オペレータＯＰが向いている方向（正面）と下部走行体１０の方向が一致する場合と、図２Ｂに示すように一致しない場合とがある。
【００１７】
また、本実施形態に係るパワーショベル１には、カメラ５０が撮影した映像を運転室３０内のモニタ３４０にオペレータＯＰに提供する映像表示システムが搭載されている。図３に、この映像表示システムの構成を示す。
【００１８】
同図に示すように、この映像表示システムは、上述した複数台のカメラ５０ａ、５０ｂ、５０ｃと、運転室３０内に取り付けられたモニタ３４０と、カメラ５０ａ、５０ｂ、５０ｃが撮影した映像の中から選択されたいずれか一つの映像の左右反転映像（鏡像）をモニタ３４０に出力する画像処理装置３５０、カメラ５０と画像処理装置３５０とをつなぐカメラハーネス等のケーブル、を有している。
【００１９】
ここで、画像処理装置３５０は、オペレータＯＰの操作を受け付ける各種キーを含む操作部３５２と、操作部３５２からの信号により指示される各種処理を行う画像処理部３５１とを有している。そして、画像処理部３５１は、カメラ５０ａ、５０ｂ、５０ｃの出力信号が逐次入力される入力制御部３５１１、カメラ５０ａ、５０ｂ、５０ｃの撮影映像に対して左右反転およびベクトル計算などの各種画像処理を施す映像信号処理部３５１３、フレーム画像を記憶する画像メモリ部３５１４、カメラ５０ａ、５０ｂ、５０ｃが撮影した映像のいずれか一つを選択する制御処理部３５１５、及び制御処理部３５１５が選択した映像の左右反転映像をモニタ３４０に表示させる出力制御部３５１６を有している。このような画像処理部３５１は、例えば、画像処理カスタムＩＣ、ＣＰＵ、メモリ等により実現される。
【００２０】
画像メモリ部３５１４は、各カメラが撮影した映像データ、すなわち、時系列のフレーム画像データを保存する。
【００２１】
映像信号処理部３５１３は、入力制御部３５１１から入力される映像信号をフレームごとの画像データに変換して、画像メモリ部３５１４へ逐次保存する。また、映像信号処理部３５１３は、画像メモリ部３５１４に保存されている画像データに対して所定の画像処理を行う。例えば、映像信号処理部３５１３は、カメラ５０別に、異なる時刻に撮影した複数の画像内に写っている物体のベクトル情報を算出する。例えば、映像信号処理部３５１３は、同じカメラが撮影した複数のフレーム画像を利用して、カメラ５０別に、それぞれオプティカルフローを算出する。
【００２２】
制御処理部３５１５は、映像信号処理部３５１３が算出したカメラ５０別のベクトル情報に基づいて、一つのカメラ５０を選択する。例えば、制御処理部３５１５は、映像信号処理部３５１３が算出したカメラ５０別の移動ベクトルに基づいて、パワーショベル１の進行方向を推定して、進行方向を撮影しているカメラ５０を選択する。
【００２３】
つぎに、このような映像表示システムにおいて実行される後退操作支援処理について説明する。
【００２４】
図４に、本実施の形態に係る映像表示システムの処理の全体フローチャートを示す。
【００２５】
オペレータＯＰが、操作部３５２の電源スイッチを操作すると、カメラ電源が投入される（Ｓ１００）。これにより、各カメラ５０が撮影を開始する。この初期状態においては、カメラ５０ｂが選択されていて、カメラ５０ｂが撮影した映像がモニタ３４０に表示されている。
【００２６】
映像表示システムが動作しているとき、パワーショベル１はオペレータＯＰの操作に従って動作する。例えば、上部旋回体２０が旋回したり、作業機４０が動作したりするほか、下部走行体１０によりパワーショベル１が走行する（Ｓ２００）。本実施形態では、特にパワーショベル１が走行したときに撮影した画像について以下の処理を行う。
【００２７】
すなわち、映像信号処理部３５１３は、パワーショベル１が走行しているときに撮影した各カメラ５０のフレーム画像に基づいて、カメラ５０別にオプティカルフローを算出する（Ｓ３００）。さらに、制御処理部３５１５は、映像信号処理部３５１３が算出したカメラ５０別のオプティカルフローに基づいて、パワーショベル１の進行方向へ向いているカメラ５０を選択する（Ｓ４００）。そして、制御処理部３５１５は、ここで選択したカメラが撮影した映像をモニタ３４０へ表示させるように、映像信号処理部３５１３へ指示をする。
【００２８】
映像信号処理部３５１３は、制御処理部３５１５からの指示に従って、ステップＳ４００で選択されたカメラが撮影した映像を、出力制御部３５１６へ出力して、リアルタイムでモニタ３４０に表示させる（Ｓ５００）。
【００２９】
これにより、パワーショベル１がオペレータＯＰの背後側へ走行するときに、自動的に、その進行方向に向いたカメラ５０が撮影したが映像をモニタ３４０に表示させることができる。その結果、オペレータは、走行方向の様子をリアルタイムで把握することができる。
【００３０】
次に、図５は、ステップＳ３００のオプティカルフローの算出処理の詳細な手順を示すフローチャートである。図６は、オプティカルフロー算出処理の説明図である。以下、図５及び図６を参照しながら説明する。
【００３１】
まず、映像信号処理部３５１３は、画像メモリ部３５１４から、時刻ｔにおけるフレーム画像５１０ａの中央の帯状領域５２０ａ部分の画像データを取得する（Ｓ３１０）。そして、取得した帯状領域５２０ａの画像データに、所定のフィルタをかけて、フィルタ処理画像Ｔ１を生成する（Ｓ３２０）。そして、時刻Δｔが経過するのを待ってから、次の処理を行う（Ｓ３３０）。
【００３２】
映像信号処理部３５１３は、画像メモリ部３５１４から、時刻（ｔ＋Δｔ）におけるフレーム画像５１０ｂの中央の帯状領域５２０ｂの画像データを取得する（Ｓ３４０）。そして、取得した帯状領域５２０ｂの画像データに、所定のフィルタをかけてフィルタ処理画像Ｔ２を生成する（Ｓ３５０）。
【００３３】
そして、映像信号処理部３５１３は、フィルタ処理画像Ｔ１及びＴ２から、中央の帯状領域５２０ａ，５２０ｂの濃度勾配に基づくオプティカルフロー画像５３０を算出する（Ｓ３６０）。
【００３４】
これにより、映像信号処理部３５１３が算出するオプティカルフローは、中央の帯状領域５２０のみであるから、高速に処理することが可能である。また、進行方向にまっすぐに向いたカメラで撮影した映像では、中央付近の縦方向のベクトルが大きくなる。そこで、次のカメラ選択処理では、これを利用する。
【００３５】
図７は、ステップＳ４００のカメラの選択処理の詳細な手順を示すフローチャートである。図８は、このカメラ選択処理の説明図である。以下、図７及び図８を参照しながら説明する。なお、パワーショベル１の起動直後などの初期状態では、オペレータＯＰの真後ろを向いているカメラ５０ｂが選択されている。
【００３６】
まず、制御処理部３５１５は、ステップＳ３００で算出した各カメラのオプティカルフロー画像５３５に基づいて、それぞれのオプティカルフローをＸ方向（横方向）成分とＹ方向（縦方向）成分に分解する（Ｓ４１０）。例えば図８を参照すると、カメラ５０ａが撮影した画像から求めたオプティカルフロー画像５３５ａと、カメラ５０ｂが撮影した画像から求めたオプティカルフロー画像５３５ｂと、カメラ５０ｃが撮影した画像から求めたオプティカルフロー画像５３５ｃとにおいて、制御処理部３５１５が、オプティカルフローのベクトルを、Ｘ方向成分とＹ方向成分に分解する。なお、オプティカルフロー画像５３５は、フレーム画像５１０の中央の帯状領域５２０（図６参照）から生成したものであるから、オプティカルフロー画像５３５のＸ方向及びＹ方向は、フレーム画像５１０のＸ方向及びＹ方向と同一である。
【００３７】
制御処理部３５１５は、ステップＳ４１０で分解した各カメラのオプティカルフローのＹ方向成分を比較して、最大値を取得する（Ｓ４２０）。例えば図８の例では、オプティカルフロー画像５３５ａ〜ｃのオプティカルフローのＹ方向成分の最大値をそれぞれ比較して、最も大きな値を取得する。
【００３８】
制御処理部３５１５は、ステップＳ４２０で取得された、オプティカルフローのＹ方向成分の最大値が予め定められている閾値以上であるか否かを判定する（Ｓ４３０）。
【００３９】
そして、ステップＳ４３０でオプティカルフローのＹ方向成分の最大値が予め定められている閾値以上であれば（Ｓ４３０：Ｙｅｓ）、そのオプティカルフローのＹ方向成分の最大値を有するオプティカルフロー画像５３５を撮影したカメラ５０を選択する。一方で、ステップＳ４３０でオプティカルフローのＹ方向成分の最大値が予め定められている閾値よりも小さければ（Ｓ４３０：Ｎｏ）、何れのカメラも選択せずに、現在選択されているカメラをそのまま維持する。
【００４０】
例えば、図８の例では、オプティカルフロー画像５３５ｃのＹ方向成分の最大値ＯＦｍａｘが、オプティカルフロー画像５３５ａ，ｂのＹ方向成分の最大値よりも大きく、かつ、所定の閾値よりも大きい場合、カメラ５０ｃが選択される。
【００４１】
これにより、複数のカメラ５０の中から、Ｙ方向に最も大きいベクトルを有するフレーム画像を撮影したカメラを選択することによって、最も進行方向へ向いているカメラ５０で撮影した画像が、自動的にモニタ３４０に表示される。その結果、オペレータＯＰは、自らカメラの切り替え操作を行わなくても、確実に進行方向の状況を確認することができる。
【００４２】
上述した本発明の実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。
【００４３】
例えば、上述の実施形態ではベクトル情報としてオプティカルフローを算出しているが、これ以外の手法によりベクトル情報を算出してもよい。例えば、フレーム間差分法などにより、フレーム画像内の物体の動きを示すベクトルを算出してもよい。
【００４４】
また、上述の実施形態では、カメラを３台使用しているが、カメラの台数は２台以上であれば何台であってもよい。
【図面の簡単な説明】
【００４５】
【図１】本実施形態に係るパワーショベル１の側面図である。
【図２】本実施形態に係るパワーショベル１を模式的に示した平面図である。
【図３】本実施形態に係るパワーショベル１に搭載された映像表示システムの構成図である。
【図４】本実施形態に係る映像表示システムの処理の全体フローチャートである。
【図５】ステップＳ３００のオプティカルフロー算出処理の詳細な手順を示すフローチャートである。
【図６】ステップＳ３００のオプティカルフロー算出処理の説明図である。
【図７】ステップＳ４００のカメラ選択処理の詳細な手順を示すフローチャートである。
【図８】ステップＳ４００のカメラ選択処理の説明図である。
【符号の説明】
【００４６】
１…パワーショベル、１０…下部走行体、２０…上部旋回体、３０…運転室、４０…作業機、５０ａ、５０ｂ、５０ｃ…カメラ、３４０…モニタ、３５０…画像処理装置、３５１…画像処理部、３５２…操作部。
【図１】
2009227076.tif 000003
【図２】
2009227076.tif 000004
【図３】
2009227076.tif 000005
【図４】
2009227076.tif 000006
【図５】
2009227076.tif 000007
【図６】
2009227076.tif 000008
【図７】
2009227076.tif 000009
【図８】
2009227076.tif 000010