(57)【要約】      （修正有）【課題】運転者へフォークリフトの操作に役立つ情報を提供する。【解決手段】画像処理装置２０は、フォークリフトの運転席から視認できる位置に取り付けられた表示部２７と、フォークリフトの車体の前方を撮影する撮影部２１ａ、２１ｂと、撮影部の撮影により得られた映像から、物体を検出する物体検出部３１と、車体の移動速度情報を取得する速度取得部２３と、車体の前方側に昇降可能に支持されたフォークの姿勢、および高さ方向の位置に関する状態情報を取得するフォーク状態取得部２４と、フォーク上の荷物の有無、または該荷物のサイズを検出する荷物検出部２２と、フォーク状態取得部２４から取得したフォークの状態情報、および荷物検出部２２の検出結果に応じて、フォークリフトの作業状況を判定するとともに、判定した作業状況に応じた表示画像を生成し、表示部２７に表示させる画像処理部３２と、を備える。【選択図】図４
2020142903.tif 000002
【特許請求の範囲】
【請求項１】
フォークリフトの運転席から視認できる位置に取り付けられた表示部と、
前記フォークリフトに取り付けられ、前記フォークリフトの車体の前方を撮影する撮影部と、
前記撮影部の撮影により得られた映像から、物体を検出する物体検出部と、
前記車体の移動速度情報を取得する速度取得部と、
前記車体の前方側に昇降可能に支持されたフォークの姿勢、および高さ方向の位置に関する状態情報を取得するフォーク状態取得部と、
前記フォーク上の荷物の有無、または該荷物のサイズを検出する荷物検出部と、
前記物体検出部が検出した物体、前記速度取得部から取得した前記移動速度情報、前記フォーク状態取得部から取得した前記フォークの前記状態情報、および前記荷物検出部の検出結果に応じて、前記フォークリフトの作業状況を判定するとともに、判定した前記作業状況に応じた表示画像を生成し、前記表示部に表示させる画像処理部と、
を備える画像処理装置。
【請求項２】
前記画像処理部は、前記物体検出部が検出した物体の種類により警告対象の物体であるか否かを判定し、
前記画像処理部は、警告対象の物体に対する情報を前記表示画像に含ませる、請求項１に記載の画像処理装置。
【請求項３】
前記作業状況には、走行状態、荷取り状態、および荷置き状態が含まれ、
前記画像処理部は、
前記移動速度情報の速度が所定値を超えるとき、または、速度が前記所定値以下であり、かつ、前記状態情報において前記フォークの地面に対する傾斜が所定以上のときに前記走行状態と判定し、
前記走行状態でないときに、前記フォーク上に荷物がない場合、前記荷取り状態と判定し、
前記走行状態でないときに、前記フォーク上に荷物がある場合、前記荷置き状態と判定する、請求項１、または請求項２に記載の画像処理装置。
【請求項４】
前記走行状態である場合に、
前記画像処理部は、前記警告対象の物体の種類には荷物が含まれ、前記荷物を検出した際に、前記荷物の高さと、前記フォークの高さを判定し、
前記表示画像には、判定結果に応じた画像が含まれる、請求項３に記載の画像処理装置。
【請求項５】
前記荷取り状態である場合に、
前記画像処理部は、前記フォークの高さを判定し、
前記表示画像には、判定結果に応じた画像が含まれる、請求項３、または請求項４に記載の画像処理装置。
【請求項６】
前記荷置き状態である場合に、
前記画像処理部は、前記車体の前方の障害物の有無、および該障害物がある場合に該障害物の位置と前記荷物の幅とを判定し、
前記表示画像には、判定結果に応じた画像が含まれる、請求項３から請求項５のいずれかに記載の画像処理装置。
【請求項７】
前記撮影部は、１本の前記フォークの先端部分に取り付けられたカメラを含む、請求項１から請求項６のいずれかに記載の画像処理装置。
【請求項８】
前記表示部は、前記車体の前方側に取付けられたコンバイナーに虚像を投影するヘッドアップディスプレイ、または、透過型の液晶ディスプレイである、請求項１から請求項７のいずれかに記載の画像処理装置。
【請求項９】
フォークリフトに用いられる画像処理装置であって、フォークリフトの運転席から視認できる位置に取り付けられた表示部、および前記フォークリフトに取り付けられ、車体の前方を撮影する撮影部を備える画像処理装置を制御するコンピューターで実行される制御プログラムであって、
前記撮影部により映像を取得するステップ（ａ）と、
前記ステップ（ａ）で取得した映像から、物体を検出するステップ（ｂ）と、
前記車体の移動速度情報を取得するステップ（ｃ）と、
前記車体の前方側に昇降可能に支持されたフォークの姿勢、および高さ方向の位置に関する状態情報を取得するステップ（ｄ）と、
前記フォーク上の荷物の有無、または該荷物のサイズを検出するステップ（ｅ）と、
前記ステップ（ｂ）で検出した物体、前記ステップ（ｃ）および（ｄ）で得られた、移動速度情報、および前記フォークの前記状態情報、ならびに前記ステップ（ｅ）の検出結果に応じて、前記フォークリフトの作業状況を判定するとともに、判定した前記作業状況に応じて表示画像を生成し、前記表示部に表示させるステップ（ｆ）と、
を含む処理を実行させるための制御プログラム。
【請求項１０】
前記作業状況には、走行状態、荷取り状態、および荷置き状態が含まれ、
前記ステップ（ｆ）では、前記移動速度情報の速度が所定値を超えるとき、または、速度が前記所定値以下であり、かつ、前記状態情報において前記フォークの地面に対する傾斜が所定以上のときに前記走行状態と判定し、
前記走行状態でないときに、前記フォーク上に荷物がある場合、前記荷取り状態と判定し、
前記走行状態でないときに、前記フォーク上に荷物がない場合、前記荷置き状態と判定する、請求項９に記載の制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、および制御プログラムに関する。
【背景技術】
【０００２】
フォークリフトは、フォークにパレット上の荷物を載せて移動する。例えば運転者が進行方向を向いて運転席に座る座席式のフォークリフトにおいては、前方のフォーク上に、運転者の目線より高く荷積みした場合、前方に死角が出来てしまう。走行する場合には、運転者は、フォークリフトを後進させながら、移動する。しかし、荷役時は、前進が必要で運転者は、横に身をのり出して視認せざるを得ない。
【０００３】
また、運転者からフォークの前方を視認しづらい高所棚での積み下ろし作業においても、フォークあるいはフォーク上のパレット差込口の位置決めを正確に、容易に行いたいとい要望がある。このような問題に対して特許文献１に開示されたフォークリフト用の画像処理装置では、フォークに前方を撮影するカメラを設け、撮影した画像に、フォーク、またはフォーク上のパレットの一部を表す縮小画像を重畳させ、ディスプレイに表示させている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−８４１６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示された画像処理装置では、フォーク上のパレットセンサーの出力により、荷取り作業か、荷置き作業かを判別し、判別結果に応じた縮小画像を表示する。
【０００６】
しかしながら、荷役作業においては、フォークリフトのフォークに荷物の積み下ろしをする荷取り作業、荷置き作業だけでなく、荷物まで空のフォークリフトを移動したり、荷物を載せてからフォークリフトを移動させたりする別の作業も含まれる。また、荷物のサイズや、荷物を置く場所等の周囲環境により、運転者が必要とする情報は異なる。
【０００７】
本発明は、上記事情に鑑みてなされたものであり、運転者へフォークリフトの操作に役立つ情報を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の上記目的は、下記の手段によって達成される。
【０００９】
（１）フォークリフトの運転席から視認できる位置に取り付けられた表示部と、
前記フォークリフトに取り付けられ、前記フォークリフトの車体の前方を撮影する撮影部と、
前記撮影部の撮影により得られた映像から、物体を検出する物体検出部と、
前記車体の移動速度情報を取得する速度取得部と、
前記車体の前方側に昇降可能に支持されたフォークの姿勢、および高さ方向の位置に関する状態情報を取得するフォーク状態取得部と、
前記フォーク上の荷物の有無、または該荷物のサイズを検出する荷物検出部と、
前記物体検出部が検出した物体、前記速度取得部から取得した前記移動速度情報、前記フォーク状態取得部から取得した前記フォークの前記状態情報、および前記荷物検出部の検出結果に応じて、前記フォークリフトの作業状況を判定するとともに、判定した前記作業状況に応じた表示画像を生成し、前記表示部に表示させる画像処理部と、
を備える画像処理装置。
【００１０】
（２）前記画像処理部は、前記物体検出部が検出した物体の種類により警告対象の物体であるか否かを判定し、
前記画像処理部は、警告対象の物体に対する情報を前記表示画像に含ませる、上記（１）に記載の画像処理装置。
【００１１】
（３）前記作業状況には、走行状態、荷取り状態、および荷置き状態が含まれ、
前記画像処理部は、
前記移動速度情報の速度が所定値を超えるとき、または、速度が前記所定値以下であり、かつ、前記状態情報において前記フォークの地面に対する傾斜が所定以上のときに前記走行状態と判定し、
前記走行状態でないときに、前記フォーク上に荷物がない場合、前記荷取り状態と判定し、
前記走行状態でないときに、前記フォーク上に荷物がある場合、前記荷置き状態と判定する、上記（１）、または上記（２）に記載の画像処理装置。
【００１２】
（４）前記走行状態である場合に、
前記画像処理部は、前記警告対象の物体の種類には荷物が含まれ、前記荷物を検出した際に、前記荷物の高さと、前記フォークの高さを判定し、
前記表示画像には、判定結果に応じた画像が含まれる、上記（３）に記載の画像処理装置。
【００１３】
（５）前記荷取り状態である場合に、
前記画像処理部は、前記フォークの高さを判定し、
前記表示画像には、判定結果に応じた画像が含まれる、上記（３）、または上記（４）に記載の画像処理装置。
【００１４】
（６）前記荷置き状態である場合に、
前記画像処理部は、前記車体の前方の障害物の有無、および該障害物がある場合に該障害物の位置と前記荷物の幅とを判定し、
前記表示画像には、判定結果に応じた画像が含まれる、上記（３）から上記（５）のいずれかに記載の画像処理装置。
【００１５】
（７）前記撮影部は、１本の前記フォークの先端部分に取り付けられたカメラを含む、上記（１）から上記（６）のいずれかに記載の画像処理装置。
【００１６】
（８）前記表示部は、前記車体の前方側に取付けられたコンバイナーに虚像を投影するヘッドアップディスプレイ、または、透過型の液晶ディスプレイである、上記（１）から上記（７）のいずれかに記載の画像処理装置。
【００１７】
（９）フォークリフトに用いられる画像処理装置であって、フォークリフトの運転席から視認できる位置に取り付けられた表示部、および前記フォークリフトに取り付けられ、車体の前方を撮影する撮影部を備える画像処理装置を制御するコンピューターで実行される制御プログラムであって、
前記撮影部により映像を取得するステップ（ａ）と、
前記ステップ（ａ）で取得した映像から、物体を検出するステップ（ｂ）と、
前記車体の移動速度情報を取得するステップ（ｃ）と、
前記車体の前方側に昇降可能に支持されたフォークの姿勢、および高さ方向の位置に関する状態情報を取得するステップ（ｄ）と、
前記フォーク上の荷物の有無、または該荷物のサイズを検出するステップ（ｅ）と、
前記ステップ（ｂ）で検出した物体、前記ステップ（ｃ）および（ｄ）で得られた、移動速度情報、および前記フォークの前記状態情報、ならびに前記ステップ（ｅ）の検出結果に応じて、前記フォークリフトの作業状況を判定するとともに、判定した前記作業状況に応じて表示画像を生成し、前記表示部に表示させるステップ（ｆ）と、
を含む処理を実行させるための制御プログラム。
【００１８】
（１０）前記作業状況には、走行状態、荷取り状態、および荷置き状態が含まれ、
前記ステップ（ｆ）では、前記移動速度情報の速度が所定値を超えるとき、または、速度が前記所定値以下であり、かつ、前記状態情報において前記フォークの地面に対する傾斜が所定以上のときに前記走行状態と判定し、
前記走行状態でないときに、前記フォーク上に荷物がある場合、前記荷取り状態と判定し、
前記走行状態でないときに、前記フォーク上に荷物がない場合、前記荷置き状態と判定する、上記（９）に記載の制御プログラム。
【発明の効果】
【００１９】
本発明によれば、画像処理装置は、フォークリフトの運転席から視認できる位置に取り付けられた表示部と、フォークリフトに取り付けられ、フォークリフトの車体の前方を撮影する撮影部と、撮影部の撮影により得られた映像から、物体を検出する物体検出部と、車体の移動速度情報を取得する速度取得部と、車体の前方側に昇降可能に支持されたフォークの姿勢、および高さ方向の位置に関する状態情報を取得するフォーク状態取得部と、フォーク上の荷物の有無、または該荷物のサイズを検出する荷物検出部と、物体検出部が検出した物体、速度取得部から取得した移動速度情報、フォーク状態取得部から取得したフォークの状態情報、および荷物検出部の検出結果に応じて、フォークリフトの作業状況を判定するとともに、判定した作業状況に応じた表示画像を生成し、表示部に表示させる画像処理部と、を備える。これにより、作業状況に応じた画像を表示させることで、運転者へフォークリフトの操作に役立つ情報を提供できる。
【図面の簡単な説明】
【００２０】
【図１】フォークリフトの外観を示す側面図である。
【図２】１本のフォークの先端部に第１、第２カメラを取り付けた状態を示す模式図である。
【図３】フォークの拡大図である。
【図４】本実施形態に係る画像処理装置のハードウェア構成、および全体処理部の機能構成を示すブロック図である。
【図５】画像処理装置が実行する表示処理を示すフローチャートである。
【図６】作業状況判定処理（Ｓ２０）を示すサブルーチンフローチャートである。
【図７Ａ】表示画像生成処理（Ｓ３０）を示すサブルーチンフローチャートである。
【図７Ｂ】表示画像生成処理（Ｓ３０）を示すサブルーチンフローチャートである。
【図７Ｃ】表示画像生成処理（Ｓ３０）を示すサブルーチンフローチャートである。
【図８Ａ】走行状態の荷物がないフォークリフトを示す模式図である。
【図８Ｂ】図８Ａの状況に対応する、表示種類１の表示画像の例である。
【図９Ａ】走行状態の荷物を運ぶフォークリフトを示す模式図である。
【図９Ｂ】図９Ａの状況に対応する、表示種類２の表示画像の例である。
【図１０】荷取り状態において表示する表示種類３、表示種類４の表示画像の例である。
【図１１】荷置き状態において表示する表示種類３、表示種類４の表示画像の例である。
【発明を実施するための形態】
【００２１】
以下、添付した図面を参照して、本発明の実施形態を説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。また図面においては、上下方向をＺ方向、フォークリフトの進行方向をＸ方向、これらに直交する方向をＹ方向とする。
【００２２】
（フォークリフト）
図１は、フォークリフトの外観を示す側面図である。フォークリフト１０に画像処理装置２０が取り付けられている。フォークリフト１０は、車体１１、運転席１２、マスト１３、フィンガバー１４、１対のフォーク１５、１６、およびヘッドガード１７を有する。フォーク１５、１６の上には、パレット９１、およびこのパレット９１上の荷物９２が荷積みされている。車体１１の前方には、上下方向に伸縮可能なマスト１３が設けられる。フォーク１５、１６はフィンガバー１４に支持されており、フィンガバー１４を介してマスト１３に上下に昇降可能に取り付けられる。マスト１３に取り付けられたチェーン（図示せず）とホイールを介して、フィンガバー１４がマスト１３に沿って上下に移動することで、フォーク１５、１６は、上下方向で位置制御される。また、フォーク１５、１６の地面（走行面）に対する傾斜角度（チルト）や両フォーク１５、１６間の開き角度、間隔は、フィンガバー１４内にある油圧シリンダー（図示せず）により所定範囲内で変更可能である。
【００２３】
（カメラ２１ａ、２１ｂ）
図２は、１本のフォークの先端部にフォークカメラとして第１、第２カメラ２１ａ、２１ｂを取り付けた状態を示す模式図である。図３は、フォークの拡大平面図である。
【００２４】
図２に示すように、フォークリフト１０の２本のフォーク１５、１６のうち、１本のフォーク１５の先端部分に、ステレオ視（複眼ともいう）するための２台のカメラ２１ａ、２１ｂを車体１１の前方が撮影領域となるように取り付けている。このカメラ２１ａ、２１ｂは撮影部として機能する。また、フォーク１５の幅方向（Ｙ方向）において、両カメラ２１ａ、２１ｂは所定間隔（基線長）だけ離している。同図に示す例では、左側のフォーク１５に２台のカメラを取り付けているが、これに限られず、右側のフォーク１６に取り付けてもよい。カメラ２１ａ、２１ｂと後述する全体処理部２６とは、ケーブル（図示せず）または無線で接続しており、映像信号が全体処理部２６に伝送される。第１、第２カメラ２１ａ、２１ｂは、それぞれＣＣＤ、またはＣＭＯＳ等の可視光領域に感度を有する撮像素子と、レンズ等の光学系を備え、フォークリフト１０の前方を撮影し映像を生成する。以下においては、２つのカメラ２１ａ、２１ｂを区別しない場合には、これらをまとめて単に「カメラ２１」ともいう。
【００２５】
フォーク１５のサイズの例としては、厚みが１０ｍｍで、幅が１００ｍｍ、テーパー部はＲ（半径）６０ｍｍであり、Ｘ方向において先端ｓ１から４０ｍｍまで、Ｙ方向において側面から４０ｍｍまでがテーパー部である。なお、他の適用例として、側面のみならず、下面側にもテーパー面が設けられたフォーク１５を用いた場合には、そのテーパー部にカメラ２１ａ、２１ｂを配置するようにしてもよい。
【００２６】
フォーク１５のテーパー部の左右両側にはそれぞれ、円柱状の穴が設けられており、カメラ２１ａ、２１ｂはそれぞれ、この穴に埋め込まれている。カメラ２１ａ、２１ｂはレンズの前面が、テーパー部の外周面からわずかに突出するように配置する方が広い画角を確保できる点で好ましいが、使用時のフォーク１５の床面等への衝突による破損の観点から、円柱状の穴の開口面よりも内側に配置することがより好ましい。
【００２７】
測距するために物体をステレオ視（立体視）するときは、２台のカメラ２１ａ、２１ｂの撮影領域を重複させる必要がある。広い視界（画角）を確保し、より多くの領域が重なるようにするためには側面または下面のテーパー部にカメラ２１ａ、２１ｂを設けることが好ましい。図３に示すように、側面側のテーパー部に配置した２台のカメラ２１ａ、２１ｂは、フォーク１５の前方側に向けて広い画角を確保できる。このような配置の２台のカメラ２１ａ、２１ｂと、全体処理部２６と協働することで物体までの距離を検知し、測距点群データ（「３次元距離マップ」ともいう）を生成する。
【００２８】
（画像処理装置２０の構成）
次に、図１とともに、図４を参照し、画像処理装置２０の構成について説明する。図４は、画像処理装置２０のハードウェア構成、および全体処理部２６の機能構成を示すブロック図である。
【００２９】
図１、図４に示すように画像処理装置２０は、上述のフォーク用のカメラ２１に加えて、荷物センサー２２、車体速度センサー２３、フォーク状態センサー２４、サイドカメラ２５、全体処理部２６、およびディスプレイ２７を備える。
【００３０】
全体処理部２６は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）とメモリを備え、メモリに保存した制御プログラムをＣＰＵが実行することで画像処理装置２０全体の各種制御を行う。全体処理部２６が担う各機能については後述する。
【００３１】
（荷物センサー２２）
荷物センサー２２は、荷物検出部として機能する。荷物センサー２２は、フィンガバー１４に配置され、フォーク１５、１６上に荷物９２（パレット９１も含む）が載っているか否かを判定する。荷物センサー２２は、例えば、発光部と受光部と備える光学式のセンサーであり、荷物へ照射した光の反射光により、荷物の有無を検知する。
【００３２】
（車体速度センサー２３）
車体速度センサー２３は、速度取得部として機能する。車体速度センサー２３は、加速度センサー、およびジャイロセンサーを含み、検知した車体１１の移動速度情報を出力する。なお、フォークリフト１０と画像処理装置２０の取得部２６１（後述）を電気的に接続し、この取得部２６１を速度取得部として機能させてもよい。取得部２６１によりフォークリフト１０から車体１１の移動速度情報を取得する。これにより車体速度センサー２３を省略できる。
【００３３】
（フォーク状態センサー２４）
フォーク状態センサー２４は、フォーク状態取得部として機能する。フォーク状態センサー２４は、例えばフィンガバー１４に配置される。フォーク状態センサー２４が検知するフォークの状態情報には、フォーク１５（およびフォーク１６）の姿勢、すなわち地面に対する傾斜角度（チルト）の情報、および、フォーク１５のマスト１３に対する高さ、すなわち、地面に対する高さの位置情報が含まれる。これらのセンサーは、例えばアクチュエータと光学素子から構成される。また、両フォーク１５、１６の開き角度、および間隔を検知するセンサーを含めてもよい。なお、これらのセンサーは、加速度センサーやジャイロセンサーで構成し、車体速度センサー２３と共通化してもよい。加速度センサーやジャイロセンサーにより、角速度情報や旋回角度速度情報を取得でき、これらによりフォーク１５のマスト１３、すなわち車体１１、または周囲に対する相対的な位置を把握できる。さらに、他の例として、上述の変形例のようにフォークリフト１０と画像処理装置２０の取得部２６１を電気的に接続し、この取得部２６１をフォーク状態取得部として機能させてもよい。取得部２６１によりフォークリフト１０からフォーク１５の姿勢情報、高さの位置情報を取得する。
【００３４】
（サイドカメラ２５）
サイドカメラ２５は、カメラ２１と同様の構成を備え、フォークリフト１０の前方を撮影し、映像を生成する。このサイドカメラ２５も撮影部として機能する。サイドカメラ２５は、運転席１２の座席のバックレスト横に設置され（図１参照）、車体１１の前方を撮影する。サイドカメラ２５は、運転者の目線からは認識できない位置を撮影できるように、運転席からなるべく離れた位置に、前方を撮影するように配置されることが好ましい。サイドカメラ２５は、運転席１２、またはヘッドガード１７に取り付けられる。
【００３５】
（全体処理部２６）
全体処理部２６は、主にＣＰＵ、メモリ、入出力Ｉ／Ｆ（インターフェース）で構成され、画像処理装置２０全体の処理を行う。図４に示すように、全体処理部２６は、取得部２６１、制御部２６２、画像出力部２６３として機能する。
【００３６】
（取得部２６１）
取得部２６１は、入出力Ｉ／Ｆであり、上述のカメラ、センサー等の電気部品と接続し、映像信号、荷物の有無情報、移動速度情報、フォーク高さ、傾斜情報、等の信号を取得する。取得した信号は、制御部２６２に送られる。
【００３７】
（制御部２６２）
制御部２６２は、物体検出部３１、画像処理部３２として機能する。
【００３８】
（物体検出部３１）
物体検出部３１は、１組の画像の抽出した特徴点から共通の対応点を抽出し、それらの対応点から変換パラメータを用いて、特徴点それぞれまでの距離を算出する。例えば左右に配置した１対のカメラ２１ａ、２１ｂにおいて、基線長を用いて、同じ対応点の左右の画素値のズレ量に応じてそれぞれの画素の距離値を算出し（測距）、３次元距離マップを生成する。
【００３９】
また、物体検出部３１は、フォークリフト１０の前方にある物体の検出、および検出した物体の３次元空間での位置を、生成した距離マップを用いて検出する。検出する物体には、荷物９２、パレット９１、人物（作業者）、および、棚、通路上の障害物等の他の物体が含まれる。この物体の検出は、例えば各画素の距離値の類似度に応じて画素をクラスタリングすることにより行ってもよい。また、距離値の類似度に、画素の色の類似度を組み合わせてクラスタリングしてもよい。クラスタリングより判定した各クラスタのサイズを算定する。例えば、垂直方向寸法、水平方向寸法、総面積等を算出する。なお、ここでいう「サイズ」は、実寸法であり、見た目上の大きさ（画角、すなわち画素の広がり）とは異なり、対象物までの距離に応じて画素群の塊が判断される。例えば、物体検出部３１は算定したサイズが、抽出対象の解析対象の物体を特定するための所定のサイズ閾値以上か否か判定する。サイズ閾値は、測定場所や行動解析対象等により任意に設定できる。通行する作業者を追跡して行動を解析するのであれば、通常の人の大きさの最小値を、クラスタリングする場合のサイズ閾値とすればよい。サイズ閾値未満の物体は除かれる。また、フォークリフト１０が走行する環境が特定の倉庫内等で限定されるのであれば、その環境に存在する物体に応じたサイズ閾値を適用してもよい。また物体検出部３１は、生成したフォークリフト１０（車体１１）前方における、所定サイズ以上の物体それぞれの大きさ、位置の情報が含まれる３次元距離マップを画像処理装置２０の内部メモリ、または、サーバー等の外部メモリに蓄積する。
【００４０】
また、物体の種類として人間と他の物体との判別については、機械学習を用いたり、プロポーション判別（縦横比）を用いたりしてもよい。機械学習では、コンピューターが、得られた３次元距離マップのデータ、および正解ラベルデータを用いて、学習を繰り返す。特に作業空間内においては、甚大な事故を防ぐために、作業者を判別することは重要であり、これらを用いることにより判別精度の向上が見込まれる。
【００４１】
なお、物体検出部３１は、荷物センサー２２と協働することで、荷物のサイズを検出する荷物検出部としても機能する。パレット９１に載った荷物９２をフォーク１５、１６に載せる直前にパレット９１を含む荷物９２全体のサイズを検出し、これを内部メモリに記憶する。これにより、フォーク１５、１６に載せた荷物のサイズを把握できる。このサイズには、荷物９２（パレット９１を含む）の高さ、幅（Ｙ方向長さ）のサイズが含まれる。
【００４２】
さらに、１対のカメラ２１ａ、２１ｂの映像により測距を行う構成ではなく、１つのカメラ２１ａにより、測距を行うようにしてもよい。例えば、カメラ２１ｂの位置に投光器を配置し、投光器から所定タイミングで、格子状の複数のライン、またはドットで構成されるパターン光を照射することにより、測距し、測距点群データを生成するようにしてもよい。
【００４３】
（画像処理部３２）
画像処理部３２は、作業状況判定部３２１、警告判定部３２２、および画像生成部３２３を含む。画像処理部３２は、フォークリフト１０の作業状況を判定し、判定に応じた画像を生成する。また、物体検出部３１が検出した前方の物体の種類、および物体までの相対的位置（距離）に応じた警告処理を行う。
【００４４】
（作業状況判定部３２１）
作業状況判定部３２１は、物体検出部３１が検出した物体、取得部２６１を経由して取得した移動速度情報、フォークの状態情報、荷物検出部の検出結果に応じて、フォークリフト１０の作業状況を判定する。判定する作業状況には、荷物の搬送を行うための目的地まで移動する「走行状態」、目的地で荷物をフォークに載せる「荷取り状態」、および目的地の棚等に荷物を置く「荷置き状態」が含まれる。
【００４５】
（警告判定部３２２）
警告判定部３２２は、物体検出部３１が検出した物体、人物に対する警告を発するか否かを判定する。例えば、車体１１の移動方向の所定距離内に人物が存在すれば、運転者に警告を行う。警告は、ディスプレイ２７を通じて行うが（例えば後述の図８Ｂの表示画像２７１）、フォークリフト１０に設けた警告灯やスピーカー（いずれも図示せず）により、行ってもよい。
【００４６】
（画像生成部３２３）
画像生成部３２３は、物体検出部３１、作業状況判定部３２１、警告判定部３２２の処理結果に基づいて、ディスプレイ２７に表示する表示画像を生成する。
【００４７】
（画像出力部２６３）
画像出力部２６３は、画像生成部３２３が生成した表示画像をリアルタイムに、ディスプレイ２７に出力し、運転者に表示する。
【００４８】
（ディスプレイ２７）
ディスプレイ２７は、表示部として機能する。ディスプレイ２７は、フォークリフト１０の運転席１２から視認できる位置に取り付けられる。ディスプレイ２７としては、例えばＨＵＤ（ヘッドアップディスプレイ）を適用できる。ＨＵＤを適用した場合には、ディスプレイ２７は、半透過性を有する凹面鏡または平面鏡であるコンバイナーを備え、コンバイナーに虚像を投影する。虚像としては、上述の全体処理部２６が生成した表示画像である。このコンバイナーは、運転席１２の正面側に配置され、運転席１２座った運転者は、コンバイナーを通じて、その先にある実像（フォーク１５、１６、荷物９２等）を視認できるとともに、コンバイナーが反射する虚像を同時に認識できる。ＨＵＤとすることで、たとえ、コンバイナーを運転席の正面側に配置したとしても、映像を投影していないときには、コンバイナーは透明になるので、前方への視界を妨げることはない。
【００４９】
また、ディスプレイ２７の他の例として、透過型の液晶ディスプレイを適用してもよい。透過型液晶ディスプレイによってもＨＵＤと同等に前方への視界を妨げることはない。
【００５０】
（画像表示処理）
以下、図５から図１１を参照し、画像処理装置２０が実行する表示処理について説明する。図５は、表示処理を示すフローチャートであり、図６、図７Ａ〜図７Ｃは、図５の一部の処理を示すサブルーチンフローチャートである。
【００５１】
（ステップＳ１０）
制御部２６２は、取得部２６１を通じて、上述のカメラ２１、荷物センサー２２、車体速度センサー２３、フォーク状態センサー２４、およびサイドカメラ２５の各種のカメラ、センサー等の電気部品から、映像信号、荷物の有無情報、移動速度情報、フォーク高さ、傾斜情報、等の信号を取得する。
【００５２】
（ステップＳ２０）
制御部２６２は、ステップＳ１０で取得した信号から、作業状況を判定する。図６は、ステップＳ２０の作業状況判定処理を示すサブルーチンフローチャートである。
【００５３】
（ステップＳ２１０）
画像処理部３２の作業状況判定部３２１は、車体速度センサー２３から取得した移動速度情報から、現在の車体速度が所定値を超えているか否かを判定する。所定値としては、例えば時速２〜１０ｋｍの範囲の任意の値を適用できる。例えば所定値が時速３ｋｍとすると、車体１１がこの所定値を超えた速度で移動していれば（ＹＥＳ）、処理をステップＳ２２０に進め、所定値以下であれば（ＮＯ）、処理をステップＳ２３０に進める。
【００５４】
（ステップＳ２２０）
作業状況判定部３２１は、作業状況を「走行状態」と判定する。以上によりサブルーチンフローチャートの処理を終了し、図５のメインの処理に戻る（エンド（リターン））。
【００５５】
（ステップＳ２３０）
作業状況判定部３２１は、さらに、ステップＳ１０で取得したフォーク１５、１６の状態情報に基づいて、フォーク１５、１６の傾斜を判定する。所定値以上の傾斜角度があれば、すなわち、水平面に対して所定以上の傾斜角度で、フォーク１５、１６の先端側が根元側よりも高くなる向きに傾いていれば（ＹＥＳ）、処理をステップＳ２２０に進める。この場合も判定結果は「走行状態」となる。一方で、傾斜していなければ（ＮＯ）、処理をステップＳ２４０に進める。
【００５６】
（ステップＳ２４０）
作業状況判定部３２１は、ステップＳ１０で取得した荷物センサー２２からの信号により、フォーク１５、１６上に荷物９２があるか否かを判定する。荷物９２がなければ（ＮＯ）、処理をステップＳ２５０に進め、荷物９２があれば（ＹＥＳ）、処理をステップＳ２６０に進める。
【００５７】
（ステップＳ２５０、Ｓ２６０）
作業状況判定部３２１は、ステップＳ２５０では作業状況を「荷取り状態」と判定し、ステップＳ２６０では、「荷置き状態」と判定する。以上によりサブルーチンフローチャートの処理を終了し、図５のメインの処理に戻る（エンド（リターン））。
【００５８】
（ステップＳ３０）
図５のステップＳ３０では、ステップＳ２０（図６）で判定した作業状況に応じた表示画像を生成する。図７Ａ〜図７Ｃは、ステップＳ３０の表示画像生成処理を示すサブルーチンフローチャートである。
【００５９】
（走行状態）
（ステップＳ３１０）
画像処理部３２は、ステップＳ２０で判定された作業状況が「走行状態」であれば処理を、次のステップＳ３２０に進め、作業状況が「荷取り状態」であれば処理をステップＳ４１０（図７Ｂ）に進める（丸数字４０で示す）。また、画像処理部３２は、作業状況が「荷置き状態」であれば処理をステップＳ５１０（図７Ｃ）に進める（丸数字５０で示す）。
【００６０】
（ステップＳ３２０）
警告判定部３２２は、物体検出部３１が検出した物体から、所定位置に警告対象の物体が検出されたか否かを判定する。警告対象の物体としては、例えば、フォークリフト１０の移動方向の前方に人物がいる場合には、将来的に接触する可能性があるものとして、この人物を警告対象の物体として検出する。また、フォークリフト１０と接触する可能性がある、壁、柱、路上の放置物、等の障害物を検出した場合には、これを警告対象の物体として検出する。画像処理部３２は、警告対象の物体が検出されない場合（ＮＯ）、処理を終了し、図５のメインの処理に戻る。この場合、画像生成部３２３は、表示画像を生成しない。
【００６１】
（ステップＳ３３０）
画像処理部３２は、フォーク１５、１６上に荷物９２があるか否かを判定する。この判定は、荷物センサー２２の信号により行える。フォーク１５、１６上に荷物９２があれば（ＹＥＳ）、処理をステップＳ３４０に進め、荷物９２がなければ（ＮＯ）、処理をステップＳ３５０に進める。
【００６２】
（ステップＳ３４０）
画像処理部３２は、フォーク上の荷物９２がある場合に、さらに、その荷物高さ（荷物の最上部の高さであり、以下「持ち上げ高さ」、または「荷物持ち上げ高さ」という）が所定値以下か否かを判定する。この持ち上げ高さは、フォークリフト１０が走行する地面からの高さであり、所定値は運転席１２に座った運転者の目線高さに基づいて設定されている。すなわち所定値以下であれば、水平方向において、運転者は、荷物９２があったとしても前方の視界を遮られずに、荷物９２の先を見通せることができる。なお、この所定値は、運転席１２の座席高さ、または運転者の座高に応じて、所定範囲内で調整できるようにしてもよい。
【００６３】
画像処理部３２は、ここでは、フォーク１５、１６の地面からの高さに、その上に荷積みされている荷物９２の高さを加算することで、荷物持ち上げ高さを算出する。荷物９２の高さは、フォーク１５、１６上に荷積みする直前に、物体検出部３１により、カメラ２１の映像により生成された３次元距離マップにより算出され、内部メモリに記憶されたものである。荷物９２の持ち上げ高さは、より好ましくは、パレット差込口の高さ方向の厚みを加味して算出することが好ましい。また、この荷物９２の持ち上げ高さは、図１のように複数の荷物９２を積み重ねた場合には、その全高になる。
【００６４】
画像処理部３２は、荷物高さとフォーク高さから算出した、荷物９２の持ち上げ高さが所定値以下であれば（ＹＥＳ）、処理をステップＳ３５０に進め、所定値を超えれば（ＮＯ）、処理をステップＳ３６０に進める。
【００６５】
（ステップＳ３５０、Ｓ３６０）
画像生成部３２３は、ステップＳ３５０では表示種類１の表示画像を生成し、ステップＳ３６０では表示種類２の表示画像を生成する。以上によりサブルーチンフローチャートの処理を終了し、図５のメインの処理に戻る（エンド（リターン））。
【００６６】
（ステップＳ４０）
ここでは、制御部２６２は、ステップＳ３０で生成した、以下に示すような表示種類１、または表示種類２の表示画像を画像出力部２６３に送り、ディスプレイ２７により表示させる。
【００６７】
（表示種類１の表示画像）
図８Ａは走行状態において、荷物がないフォークリフト１０を示す模式図である。図８Ａにおいては、フォークリフト１０の前方には、作業者（歩行者）９５、および荷物９２を載置する棚９６がある。棚９６は、金属のフレームで構成された２段の棚であり、金網９７の手前側に配置される。図８Ｂは、図８Ａの状況に対応する、ディスプレイ２７に表示した表示種類１の表示画像２７１の例である。ステップＳ３５０では、フォーク１５、１６上には荷物がないか、あるいは荷物があっても前方の視界は遮られない。そのため、運転席１２の運転者は目視で前方を十分に確認できるので、詳細な警告は不要である。そのため、表示種類１の表示画像は、簡単な警告の表示にとどめる。図８Ｂに示す表示種類１の表示画像２７１の例では、警告の対象物としての人物を検出する。そして人物に対する警告用のアノテーションの付加画像５１が付加されている。なお、表示画像２７１では、付加画像５１以外は空白であり、同図では省略しているが、運転者は、ディスプレイ２７（コンバイナー）を通してその先の実像を認識できる。
【００６８】
（表示種類２の表示画像）
図９Ａは走行状態の荷物があるフォークリフト１０を示す模式図である。図８Ａに比較して、荷積みされているフォーク１５上の荷物９２の全高が高く、運転者の視界が妨げられる。図９Ｂは、図９Ａの状況に対応する、ディスプレイ２７に表示した表示種類２の表示画像２７２の例である。ステップＳ３６０では、図９Ａのように、フォーク１５、１６上には荷物により前方の視界が遮られ、運転席１２の運転者は目視では確認が困難である。そのため、ディスプレイ２７に表示される表示画像２７２では、カメラ２１の映像をそのまま表示するとともに、警告対象の物体に対する情報として、人物に応じた矩形枠のアノテーションの付加画像５２を、映像上の人物の位置に重ねて表示する。また、表示画像２７２においては、中央にはフォーク１５、１６の進行方向を示す付加画像５３を重畳して表示する。さらに、表示画像２７２の右側には、フォーク１５、１６の傾斜角度を示す付加画像５４を重畳して表示する。
【００６９】
（荷取り状態）
（ステップＳ４１０）
次に図７Ｂを参照し、「荷取り状態」での処理について説明する。ステップＳ４１０は、図７ＡのステップＳ３１０に続く処理である。画像処理部３２は、この処理では、フォーク１５、１６の高さが所定値以下か否かを判定する。この判定は、フォーク状態センサー２４の信号により行える。この所定値は、運転者が目視で荷物９２（パレット９１）とフォーク１５、１６の先端が確認できる高さに設定されている。例えば、この所定値は、目線の高さ、またはこれよりも少し高い高さである。画像処理部３２は、高さが所定値以下であれば（ＹＥＳ）、処理をステップＳ４２０に進め、所定値を超えていれば（ＮＯ）、処理をステップＳ４３０に進める。
【００７０】
（ステップＳ４２０、Ｓ４３０）
画像生成部３２３は、ステップＳ４２０では表示種類３の表示画像を生成し、ステップＳ４３０では表示種類４の表示画像を生成する。以上によりサブルーチンフローチャートの処理を終了し、図５のメインの処理に戻る（エンド（リターン））。その後、画像処理部３２は、ステップＳ４０の処理により生成した表示画像をディスプレイ２７に表示させる。
【００７１】
（表示種類３の表示画像）
図１０は、荷取り状態において表示する表示種類３の表示画像２７３、および表示種類４の表示画像２７４の例である。ステップＳ４２０では、フォーク１５、１６の高さがそれほど高くなく、運転者は、フォーク１５、１６の先端、および荷物９２の位置を目視で十分に確認できる。そのため特に、荷取り作業において、補助的な情報をディスプレイ２７に表示する必要がない。画像生成部３２３は、ステップＳ４２０では、表示画像を作成しない、もしくは、表示種類３の表示画像として空白の表示画像を生成する。この場合、運転者は、コンバイナーを通して、目視により、荷取り作業を行う。
【００７２】
（表示種類４の表示画像）
ステップＳ４３０では、フォーク１５、１６の高さが高いため、運転者は、フォーク１５、１６の先端、および荷物９２の位置を目視で確認することが困難である。画像生成部３２３は、表示種類４の表示画像として、荷積みに役立つ画像を生成する。図１０に示すように、ディスプレイ２７に表示される表示種類４の表示画像２７４では、フォーク１５の先端に取り付けたカメラ２１の映像をそのまま表示するとともに、このフォーク１５の先端を示す十字等の付加画像５５を重ねて表示する。また、表示画像２７４の右側には、フォーク１５、１６の傾斜角度を示す付加画像５４を重畳して表示する。なお、画像処理部３２が、カメラ２１により得られた映像により、周囲との輝度差や予め登録したパレット形状情報とのマッチング処理によりパレット９１の差込口を認識し、認識した差込口と、フォーク先端との位置関係を示す情報（例えば距離値）を、付加画像として表示画像２７４に重畳させてもよい。
【００７３】
（荷置き状態）
（ステップＳ５１０）
次に図７Ｃを参照し、「荷置き状態」での処理について説明する。ステップＳ５１０は、図７ＡのステップＳ３１０に続く処理である。画像処理部３２は、この処理では、荷置き障害物があるか否かを判定する。荷置き障害物とは、荷置きする際に障害となる物体のことである。物体検出部３１により、フォークリフト１０の前方において、荷置き場所の棚のフレーム、棚の中の他の荷物、壁、等を検出し、これらの物体を障害物として判定する。画像処理部３２は、物体検出部３１の検出結果により、障害物があれば（ＹＥＳ）、処理をステップＳ５２０に進め、障害物がなければ（ＮＯ）、処理をステップＳ５３０に進める。なお、物体検出部３１は、フォーク１５、１６の前方にある、荷物を置くスペースのサイズ、形状を検出してもよい。
【００７４】
（ステップＳ５２０）
画像処理部３２は、障害物の位置と、フォーク１５、１６に荷積みしている荷物９２の幅を判定する。具体的には、障害物の位置情報から荷置きスペース（空間）の幅と、荷物９２の幅との差分距離、すなわち隙間が所定値以下であるか否かを判定する。所定値以下（ＹＥＳ）であれば処理をステップＳ５４０に進め、所定値を超える（ＮＯ）余裕があれば処理をステップＳ５３０に進める。
【００７５】
（ステップＳ５３０、Ｓ５４０）
画像生成部３２３は、ステップＳ５３０では表示種類５の表示画像を生成し、ステップＳ５４０では表示種類６の表示画像を生成する。以上によりサブルーチンフローチャートの処理を終了し、図５のメインの処理に戻る（エンド（リターン））。その後、画像処理部３２は、ステップＳ４０の処理により生成した表示画像をディスプレイ２７に表示させる。
【００７６】
（表示種類５の表示画像）
図１１は、荷置き状態において表示する表示種類５の表示画像２７５、および表示種類６の表示画像２７６の例である。ステップＳ５３０では、荷置きのスペース周辺に、障害物がない、または、作業に支障がない程度の余裕（隙間）があり、荷置き作業をする際に、障害物に衝突する恐れがないことから、荷置き作業において補助的な情報を表示する必要がない。画像生成部３２３は、ステップＳ５３０では、表示画像を作成しない、もしくは、表示種類５の表示画像として空白の表示画像を生成する。この場合、運転者は、コンバイナーを通して、目視により、荷置き作業を行う。
【００７７】
（表示種類６の表示画像）
ステップＳ５４０では、差分距離（隙間）が所定値以下であり、荷物９２と障害物が衝突する虞があることから、運転者は慎重な作業が求められる。画像生成部３２３は、表示種類６の表示画像として、荷置きに役立つ画像を生成する。図１１に示すように、ディスプレイ２７に表示される表示種類６の表示画像２７６では、サイドカメラ２５から取得した映像をそのまま、荷置きの補助情報として表示する。なお表示画像２７６では、さらに付加画像５７を重畳する。この付加画像５７は、荷物９２の位置を示す情報として、荷物９２の下端部と右側端部（サイドカメラ２５側）の位置に対応する矩形枠の画像である。また、表示画像２７６の右側には、フォーク１５、１６の傾斜角度を示す付加画像５８を重畳して表示する。
【００７８】
このように、本実施形態の画像処理装置は、物体検出部が検出した物体、速度取得部から取得した移動速度情報、フォーク状態取得部から取得したフォークの状態情報、および荷物検出部の検出結果に応じて、フォークリフトの作業状況を判定するとともに、判定した作業状況に応じた表示画像を生成し、表示部に表示させる画像処理部を備える。これにより、作業状況に応じた画像を表示させることで、運転者フォークリフトの操作に役立つ情報を提供できる。
【００７９】
以上に説明したフォークリフト用の画像処理装置２０の構成は、上記の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上記の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な画像処理装置が備える構成を排除するものではない。
【００８０】
例えば、上述の実施形態においては、運転席１２の前方に配置した透過性のコンバイナー、または透過型の液晶ディスプレイを用い、運転者の視界を妨げずに、車体１１前方を目視で確認できる表示部を用いた。しかしながらこれに限られず、表示部として、通常の液晶ディスプレイを適用してもよい。この場合、前方の視界を妨げない位置、例えば、ヘッドガード１７等により液晶ディスプレイを運転席１２の斜め上方に配置することが好ましい。通常の液晶ディスプレイとすることで低コストであっても高解像度の映像を表示させることができる。
【００８１】
また、各表示種類の表示画像は、あくまでも例示であり、その他の表示画像を適用してもよい。例えば、表示種類２の表示画像として、サイドカメラ２５の映像を表示してもよい。表示種類６の表示画像として、カメラ２１の映像を表示するようにしてもよい。また、荷置き状態においては、表示種類５、６の表示画像として、走行状態のステップＳ３４０のようにフォーク１５、１６上の荷物９２の持ち上げ高さを判定し、所定値を超えている場合には、荷置き作業を補助するための表示画像を生成して、表示してもよい。荷置き状態においても、荷物９２の持ち上げ高さにより前方の視界が妨げられた場合においても、容易に作業できるようになる。
【００８２】
また、図６のステップＳ２３０のフォーク１５、１６の傾斜角度の判定は、フォークリフト１０走行時に自動的にフォークを傾ける機能がある場合に有効であり、このような機能がない場合には、ステップＳ２３０の処理を省略してもよい。
【００８３】
上述した実施形態に係る画像処理装置における各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、例えば、ＵＳＢメモリやＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）−ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、画像処理装置の一機能としてその装置のソフトウエアに組み込まれてもよい。
【符号の説明】
【００８４】
１０  フォークリフト
１１  車体
１２  運転席
１３  マスト
１４  フィンガバー
１５、１６  フォーク
２０  画像処理装置
２１ａ、２１ｂ  カメラ（フォークカメラ）
２２  荷物センサー
２３  車体速度センサー
２４  フォーク状態センサー
２５  サイドカメラ
２６  全体処理部
２６１  取得部
２６２  制御部
３１  物体検出部
３２  画像処理部
３２１  作業状況判定部
３２２  警告判定部
３２３  画像生成部
２６３  画像出力部
２７  ディスプレイ
２７１〜２７６  表示画像
９１  パレット
９２  荷物
【図１】
2020142903.tif 000003
【図２】
2020142903.tif 000004
【図３】
2020142903.tif 000005
【図４】
2020142903.tif 000006
【図５】
2020142903.tif 000007
【図６】
2020142903.tif 000008
【図７Ａ】
2020142903.tif 000009
【図７Ｂ】
2020142903.tif 000010
【図７Ｃ】
2020142903.tif 000011
【図８Ａ】
2020142903.tif 000012
【図８Ｂ】
2020142903.tif 000013
【図９Ａ】
2020142903.tif 000014
【図９Ｂ】
2020142903.tif 000015
【図１０】
2020142903.tif 000016
【図１１】
2020142903.tif 000017