(57)【要約】      （修正有）【課題】所望のパレットの位置への移動が容易となるフォークリフト用遠隔操作システムを提供する。【解決手段】フォークリフト２０と、遠隔操作装置４０を備える。フォークリフト２０に取り付けられ、フォークリフト２０の周囲を撮像するカメラ３３と、遠隔操作装置４０に設けられ、カメラ３３にて撮像された画像を表示するための表示部４４と、制御部４２を備える。制御部４２は、カメラ３３にて撮像された画像に対し画像認識処理により複数のパレットを検出する。制御部４２は、表示部４４においてカメラ３３にて撮像された画像を表示する際に、検出したパレットを選択するための表示を行わせる。制御部４２は、選択されたパレットの位置へのフォークリフト２０の移動を行わせる。【選択図】図１
2019204353.tif 000002
【特許請求の範囲】
【請求項１】
車両通信部を有するフォークリフトと、
前記車両通信部と無線通信を行う操作装置通信部を有し、前記フォークリフトを遠隔操作するのに用いられる遠隔操作装置と、
を備えたフォークリフト用遠隔操作システムであって、
前記フォークリフトに取り付けられ、フォークリフトの周囲を撮像するカメラと、
前記遠隔操作装置に設けられ、前記カメラにて撮像された画像を表示するための表示部と、
前記カメラにて撮像された画像に対し画像認識処理により複数のパレットを検出するパレット検出部と、
前記表示部において前記カメラにて撮像された画像を表示する際に、前記パレット検出部により検出した前記パレットを選択するための表示を行わせる表示制御部と、
前記選択された前記パレットの位置への前記フォークリフトの移動を行わせる走行制御部と、
を備えることを特徴とするフォークリフト用遠隔操作システム。
【請求項２】
前記パレットを選択するための表示は、検出された前記パレットに対応する吹き出しのポップアップ表示であることを特徴とする請求項１に記載のフォークリフト用遠隔操作システム。
【請求項３】
前記パレットを選択するための表示は、検出された前記パレットの外形線のハイライト表示であることを特徴とする請求項１に記載のフォークリフト用遠隔操作システム。
【請求項４】
前記走行制御部は、更に、前記表示部において、選択されたパレットの周辺部分の拡大画面を子画面として表示させることを特徴とする請求項１〜３のいずれか１項に記載のフォークリフト用遠隔操作システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フォークリフト用遠隔操作システムに関するものである。
【背景技術】
【０００２】
フォークリフトにおいて周囲の環境を把握すべくカメラを搭載することが行われている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１１５１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、フォークリフト用遠隔操作システムにおいて、フォークリフトにカメラを搭載して画面を見て操作することになるが、パレットの位置への移動が困難である。
本発明の目的は、所望のパレットの位置への移動が容易となるフォークリフト用遠隔操作システムを提供することにある。
【課題を解決するための手段】
【０００５】
請求項１に記載の発明では、車両通信部を有するフォークリフトと、前記車両通信部と無線通信を行う操作装置通信部を有し、前記フォークリフトを遠隔操作するのに用いられる遠隔操作装置と、を備えたフォークリフト用遠隔操作システムであって、前記フォークリフトに取り付けられ、フォークリフトの周囲を撮像するカメラと、前記遠隔操作装置に設けられ、前記カメラにて撮像された画像を表示するための表示部と、前記カメラにて撮像された画像に対し画像認識処理により複数のパレットを検出するパレット検出部と、前記表示部において前記カメラにて撮像された画像を表示する際に、前記パレット検出部により検出した前記パレットを選択するための表示を行わせる表示制御部と、前記選択された前記パレットの位置への前記フォークリフトの移動を行わせる走行制御部と、を備えることを要旨とする。
【０００６】
請求項１に記載の発明によれば、カメラにて撮像された画像に対し画像認識処理により複数のパレットが検出され、表示部においてカメラにて撮像された画像を表示する際に、検出したパレットを選択するための表示が行われ、選択されたパレットの位置へのフォークリフトの移動が行われる。よって、所望のパレットの位置への移動が容易となる。
【０００７】
請求項２に記載のように、請求項１に記載のフォークリフト用遠隔操作システムにおいて、前記パレットを選択するための表示は、検出された前記パレットに対応する吹き出しのポップアップ表示であるとよい。
【０００８】
請求項３に記載のように、請求項１に記載のフォークリフト用遠隔操作システムにおいて、前記パレットを選択するための表示は、検出された前記パレットの外形線のハイライト表示であるとよい。
【０００９】
請求項４に記載のように、請求項１〜３のいずれか１項に記載のフォークリフト用遠隔操作システムにおいて、前記走行制御部は、更に、前記表示部において、選択されたパレットの周辺部分の拡大画面を子画面として表示させるとよい。
【発明の効果】
【００１０】
本発明によれば、所望のパレットの位置への移動が容易となる。
【図面の簡単な説明】
【００１１】
【図１】フォークリフト用遠隔操作システムの概要を示す概略図。
【図２】作業場でのフォークリフトとパレットの状況を説明するための概略図。
【図３】フォークリフト用遠隔操作システムの電気的構成を示すブロック図。
【図４】作用を説明するためのフローチャート。
【図５】作用を説明するための表示画面を示す図。
【図６】（ａ），（ｂ）は作用を説明するための概略平面図。
【図７】表示画面を示す図。
【図８】表示画面を示す図。
【発明を実施するための形態】
【００１２】
以下、本発明を具体化した一実施形態を図面に従って説明する。
図１に示すように、フォークリフト用遠隔操作システム１０は、フォークリフト２０と、フォークリフト２０を遠隔操作するのに用いられる遠隔操作装置４０と、を備えている。フォークリフト２０は、作業場に配置される。遠隔操作装置４０は、操作室に配置される。そして、遠隔操作装置４０を用いて操作室から、作業場のフォークリフト２０を遠隔操作することができるようになっている。
【００１３】
図２に示すように、作業場においては、棚５０が設置されている。棚５０は２段にわたりパレット（５１〜５７）及び荷物Ｗを配置することができる。つまり、下の段においてパレット５１に荷物Ｗが配置されるとともに、その上の段においてパレット５２に荷物Ｗが配置される。その隣での下の段においてパレット５３に荷物Ｗが配置されるとともに、その上の段においてパレット５４に荷物Ｗが配置される。その隣での下の段においてパレット５５に荷物Ｗが配置されるとともに、その上の段においてパレット５６に荷物Ｗが配置される。その隣での下の段においてパレット５７に荷物Ｗが配置されるとともに、その上の段においてパレット５８に荷物Ｗが配置される。この状態から、オペレータはフォークリフト２０を遠隔操作して荷物を取りに行く。
【００１４】
図２において、各パレット５１〜５７にはフォーク挿入用穴が形成されており、このフォーク挿入用穴にフォークが差し込まれる。
図１に示すように、フォークリフト２０は、機台２１の前後に車輪２２が設けられている。機台２１には荷役装置２３が備えられている。荷役装置２３により荷物の積み上げ又は積み降ろしを行うことができる。
【００１５】
荷役装置２３は、マスト２４と、ブラケット２５と、フォーク２６を具備している。マスト２４にブラケット２５を介してフォーク２６が上下方向に移動可能に設けられている。本実施形態のフォークリフト２０は、運転者が着座して操作することが可能に構成されているが、運転席の無い無人フォークリフトであってもよい。
【００１６】
なお、フォークリフト２０は、例えばエンジンが搭載されたエンジンタイプであってもよいし、蓄電装置及び電動モータが搭載されたＥＶタイプであってもよいし、燃料電池及び電動モータが搭載されたＦＣＶタイプであってもよい。また、フォークリフト２０は、例えばエンジンと蓄電装置と電動モータとを有するＨＶタイプでもよい。
【００１７】
図３に示すように、フォークリフト２０は、車両通信部としての無線部３０と、制御部３１と、映像信号処理部３２と、カメラ３３と、アクチュエータ部３４を有する。カメラ３３は、フォークリフト２０に取り付けられ、フォークリフト２０の周囲を撮像するためのものである。具体的には、カメラ３３は、ブラケット２５に取り付けられ、フォークリフト２０の進行方向前方を撮像する。アクチュエータ部３４は、走行用アクチュエータと、荷役用アクチュエータを含み、荷役用アクチュエータはティルト用アクチュエータと昇降用アクチュエータを含んでいる。走行用アクチュエータにより車輪２２が回転及び操舵される。
【００１８】
遠隔操作装置４０は、操作装置通信部としての無線部４１と、制御部４２と、操作部４３と、表示部４４と、映像信号処理部４５を有する。操作部４３における操作方式として、タッチパネル方式、マウス方式、ジョイスティック方式等が用いられる。
【００１９】
無線部４１はフォークリフト２０の無線部３０と無線通信を行うことができる。つまり、フォークリフト２０の無線部３０と遠隔操作装置４０の無線部４１とは無線通信可能となっている。
【００２０】
そして、遠隔操作装置４０において、操作部４３を用いてオペレータが所望の操作を行うと制御部４２により操作内容が無線部４１を介してフォークリフト２０側に送られる。フォークリフト２０において、無線部３０で遠隔操作装置４０からの操作内容が受信され、制御部３１によりアクチュエータ部３４が駆動されて所望の動作が実行される。
【００２１】
一方、フォークリフト２０において、カメラ３３により撮像された画像は制御部３１により映像信号処理部３２及び無線部３０を介して遠隔操作装置４０側に送られる。遠隔操作装置４０において、無線部４１でフォークリフト２０からのカメラ画像が受信されて制御部４２により映像信号処理部４５を介して表示部４４で表示される。つまり、遠隔操作装置４０に設けられる表示部４４は、カメラ３３にて撮像された画像を表示するためのものである。オペレータはカメラ３３にて撮像された画像を表示部４４で見ながら操作することになる。
【００２２】
本フォークリフト用遠隔操作システム１０は、フォークリフト２０を自動制御する機能を有している。この自動制御機能を用いて荷取り作業を行うことができるようになっている。詳しくは、オペレータにより選択されたパレットに対し図６（ａ）で示すごとくフォークリフト２０を自動制御で近づけたり、図６（ｂ）で示すごとく自動制御でフォークリフト２０を位置調整してパレットに正対させたり、自動制御でパレット穴にフォークを挿入したり、パレット穴に挿入したフォークを自動制御でリフトすることができるようになっている。
【００２３】
図３においてパレット検出部としての制御部４２は、映像信号処理部４５を用いてカメラ３３にて撮像された画像に対し画像認識処理により複数のパレット５１〜５７を検出することができるようになっている。表示制御部としての制御部４２は、表示部４４においてカメラ３３にて撮像された画像を表示する際に、検出したパレット５１〜５７を選択するための表示を行わせることができるようになっている。走行制御部としての制御部４２は、選択されたパレットの位置へのフォークリフト２０の移動を行わせることができるようになっている。
【００２４】
次に、作用について説明する。
図４に示すように、遠隔操作装置４０の制御部４２はステップＳ１００において画像認識により画面内のパレットの検出を行う。例えば、カメラ画像からパレットの形状（パレットの外形、パレット穴の形状等）を画像認識することでパレットの検出を行う。制御部４２はステップＳ１０１において検出したパレット毎に選択のための吹き出しをポップアップ表示する。これにより、オペレータはどの荷物を取りに行くかの選択が容易となる。
【００２５】
さらに、制御部４２はステップＳ１０２においてオペレータにより作業したいパレットが選択されたか否か判定し、パレットが選択されないとステップＳ１０１に戻り、画面内のパレットの検出を行い、ステップＳ１０１において検出したパレット毎に選択のための吹き出しをポップアップ表示する。つまり、検出されたパレットに対応する吹き出しのポップアップ表示を行う。
【００２６】
制御部４２はステップＳ１０２でオペレータにより検出した複数のパレットのうち作業したいパレットが選択されるとステップＳ１０３に移行して走行制御部の自動制御により目標のパレットに近づくようにフォークリフト２０を走行させステップＳ１０４で車両の位置を調整してパレットに正対させる。さらに、制御部４２はステップＳ１０５においてパレットの穴にフォーク２６を挿入して（差し込んで）ステップＳ１０６においてパレットをリフトさせて浮かせる。
【００２７】
図５には、表示部４４における画面４４ａでの表示内容を示す。
図５において、表示部４４にはカメラ３３による撮像画面が表示される。さらに、図４のステップＳ１００の処理によりパレットが検出されるとステップＳ１０１の処理により検出されたパレット毎に選択のための吹き出しがポップアップ表示される。具体的には、検出したパレットに対し「選択」と書かれた吹き出しが表示される。
【００２８】
そして、オペレータがパレットを選択する。例えば、カーソルを作業したいパレットに対応する吹き出しに移動させてクリックする。例えば、オペレータによりパレット５８に対応する吹き出しが選択されると、選択された吹き出しに色を付けて表示するとともに選択されたパレット５８に対して、走行制御部の自動制御により、図６（ａ）に実線で示すフォークリフト２０を、一点鎖線で示すようにパレット５８に近づくように走行させる。さらに、図６（ｂ）に示すようにフォークリフト２０をパレット５８に正対させる。その後、パレット５８の穴５８ａにフォーク２６を差し込んでパレット５８をリフトさせる。
【００２９】
このようにして、画像認識処理によりパレットを検出して、パレットを選択するための吹き出しをポップアップ表示する。そして、作業したいパレットに対応する吹き出しをオペレータが選択すると、走行制御部による自動制御に移行する。その後、フォークリフトはパレットに対して正対するよう自動移動し、さらにパレットの穴位置等を確認した後にパレット穴にフォークを自動挿入する。
【００３０】
つまり、画像認識により、画面内のパレットを検出して、検出したパレットを選択するための吹き出しをポップアップ表示して、オペレータにより作業したいパレットが選択されると、走行制御部による自動制御に移行する。
【００３１】
従って、付近に複数パレットがあると選択し辛いが、吹き出しのポップアップ表示であれば間違いなく選択できる。また、吹き出しをポップアップ表示することでパレットがどこにあるかを早期に認知することができる。
【００３２】
より詳しく説明する。
フォークリフト用遠隔操作システムにおいて、機台にカメラを搭載して画面（映像）を見て操作する場合、パレット位置への移動やパレットの穴へのフォークの挿入が困難である。即ち、フォークリフトにカメラを配置して映像を見て遠隔操作する場合、作業したいパレット位置まで移動するのが難しい（時間がかかる）。また、画像を見て操作する場合、作業したいパレット穴にフォークを挿入するのが難しい（時間がかかる）。このように、従来では、単にカメラ画像を見ているだけではどのパレットの荷物を運ぶかの選択が困難であった。
【００３３】
本実施形態においては、カメラ画像から画像認識によりパレットを検出し、検出したパレットを選択するための吹き出しをポップアップ表示することで、パレットの選択を容易にしてパレットに向かって走行しやすくして、パレット位置への移動やパレットの穴へのフォークの挿入が容易である。即ち、フォークリフトにカメラを配置して映像を見て単に遠隔操作するのではなく、作業したいパレット位置までフォークリフトを移動させるのが容易であり時間短縮が図られる。また、画像を見て単に操作するのではなく、作業したいパレット穴にフォークを容易に挿入することができ時間短縮が図られる。
【００３４】
なお、図４においてステップＳ１０３の目標のパレットに近づく作業からステップＳ１０６のパレットのリフト作業まで全自動としたが、自動制御のタスク（各ステッブの作業）は選択できるものとし、例えば、目標のパレットに近づく作業のみ自動とし、パレット穴にフォークを挿入する以降の工程は作業者が行うようにしてもよい。
【００３５】
上記実施形態によれば、以下のような効果を得ることができる。
（１）フォークリフト用遠隔操作システム１０の構成として、車両通信部としての無線部３０を有するフォークリフト２０と、車両通信部としての無線部３０と無線通信を行う操作装置通信部としての無線部４１を有し、フォークリフト２０を遠隔操作するのに用いられる遠隔操作装置４０と、を備える。フォークリフト２０に取り付けられ、フォークリフト２０の周囲を撮像するカメラ３３と、遠隔操作装置４０に設けられ、カメラ３３にて撮像された画像を表示するための表示部４４と、制御部４２を備える。パレット検出部としての制御部４２は、カメラ３３にて撮像された画像に対し画像認識処理により複数のパレット５１〜５７を検出する。表示制御部としての制御部４２は、表示部４４においてカメラ３３にて撮像された画像を表示する際に、検出したパレットを選択するための表示を行わせる。走行制御部としての制御部４２は、選択されたパレットの位置への移動を行わせる。
【００３６】
よって、カメラ３３にて撮像された画像に対し画像認識処理により複数のパレット５１〜５７が検出され、表示部４４においてカメラ３３にて撮像された画像を表示する際に、検出したパレットを選択するための表示が行われ、選択されたパレットの位置への移動が行われる。その結果、所望のパレットの位置への移動が容易となる。
【００３７】
（２）パレットを選択するための表示は、検出されたパレットに対応する吹き出しのポップアップ表示であるので、パレットの選択を容易に行うことができる。
実施形態は前記に限定されるものではなく、例えば、次のように具体化してもよい。
【００３８】
○  図４における処理は遠隔操作装置４０の制御部４２が行ったが、フォークリフト２０の制御部３１が行ってもよい。
○  カメラ３３による撮像はフォークリフト２０の進行方向前方以外にも例えばフォークリフト２０の後方を撮像してもよい。
【００３９】
○  パレットを選択するための表示における吹き出しの形状はオペレータが選択しやすい形状であればよい。
○  パレットを選択するための表示は吹き出しのポップアップ表示以外にも、他の強調表示、例えば、拡大表示する等であってもよい。また、図７に示すように、画像認識したパレットの外形線をハイライト表示してもよい。この場合は、作業したいパレットのハイライト表示をクリックすることで目標のパレットが選択される。より詳しくは、図７においては、パレット５１〜５８が検出されることにより外形線が例えば太い線で強調した表示にされ、そのうちパレット５８は選択されることにより外形線が例えば更に太い線で更に強調した表示にされている。このように、パレットを選択するための表示は、検出されたパレットの外形線のハイライト表示であってもよい。
【００４０】
○  オペレータによりパレットが選択されると選択したパレットが容易に分かるように、例えば、図８に示すように、選択されたパレットの周辺部分の拡大画面が子画面として表示される機能を有していてもよい。より詳しくは、図８においては、画面４４ａ中において子画面４４ｂを用いて、選択されたパレット５８の周辺部分の拡大画面を表示させている。このように、走行制御部としての制御部４２は、更に、表示部４４において、選択されたパレットの周辺部分の拡大画面を子画面として表示させるようにしてもよい。他にも、選択されると吹き出しの形状が変わるようにしてもよい。
【符号の説明】
【００４１】
１０…フォークリフト用遠隔操作システム、２０…フォークリフト、３０…無線部、３１…制御部、３３…カメラ、４０…遠隔操作装置、４１…無線部、４２…制御部、４４…表示部、５１〜５８…パレット。
【図１】
2019204353.tif 000003
【図２】
2019204353.tif 000004
【図３】
2019204353.tif 000005
【図４】
2019204353.tif 000006
【図５】
2019204353.tif 000007
【図６】
2019204353.tif 000008
【図７】
2019204353.tif 000009
【図８】
2019204353.tif 000010