(57)【要約】【課題】路面に誘導ラインを予め設けることなく、無人運転モード時の搬送車を誘導することができ、しかも、有人運転モード時においては、オペレータの荷役作業を補助する【解決手段】無人運転モードおよび有人運転モードで動作する搬送車３を備えた搬送システムＳであって、ホバリング可能な無人飛行体１と、荷役情報記憶部と、搬送車の所定の走行経路を記憶している走行経路記憶部と、走行経路の一部を誘導経路として抽出する誘導経路抽出部と、を備える。無人飛行体１は、自機１の位置を検出する自機位置検出部と、飛行制御部と、無人運転モード時に、誘導経路の画像ＧＩを路面Ｒに投影し、有人運転モード時に、荷役情報を示す画像を路面に投影するプロジェクタと、を有する。搬送車３は、路面を撮像する車載カメラ３２と、誘導経路を検出する誘導経路検出部３６と、誘導経路に基づいてステアリング制御するステアリング制御部３５と、を有する。【選択図】図１
2020052629.tif 000002
【特許請求の範囲】
【請求項１】
無人運転モードおよび有人運転モードで動作する搬送車を備えた搬送システムであって、
ホバリング可能な無人飛行体と、
荷役情報を記憶している荷役情報記憶部と、
前記搬送車の予め定められた走行経路を記憶している走行経路記憶部と、
前記無人飛行体の位置に対応する前記走行経路の一部を前記無人運転モード時の前記搬送車を誘導する誘導経路として抽出する誘導経路抽出部と、を備え、
前記無人飛行体は、
自機の位置を検出する自機位置検出部と、
前記自機の飛行を制御する飛行制御部と、
前記搬送車の前記無人運転モード時において、前記誘導経路抽出部が抽出した前記誘導経路の画像を路面に投影し、前記搬送車の前記有人運転モード時において、前記荷役情報を示す画像を前記路面に投影する投影部と、を有し、
前記搬送車は、
前記路面を撮像する路面撮像部と、
前記路面撮像部によって撮像された前記路面の画像を解析して前記誘導経路を検出する誘導経路検出部と、
検出された前記誘導経路に基づいて、ステアリング制御するステアリング制御部と、を有する
ことを特徴とする搬送システム。
【請求項２】
前記搬送車に係る配車予約をオペレータから受け付ける予約受付部をさらに備え、
前記投影部は、前記搬送車の前記有人運転モード時において、前記予約受付部が受け付けた配車予約時間を示す画像を前記路面にさらに投影する
ことを特徴とする請求項１に記載の搬送システム。
【請求項３】
前記無人飛行体は、
前記自機の上方を撮像する上方撮像部と、
予め撮像された前記自機の上方の画像を位置情報と関連付けて記憶している天井画像記憶部と、をさらに有し、
前記自機位置検出部は、
前記上方撮像部によって撮像された現在の前記自機の上方の画像と、前記天井画像記憶部に記憶されている前記自機の前記上方の画像とを照合する照合部と、
前記照合部が照合した結果に基づいて、前記自機の位置を特定する自機位置特定部と、を有する
ことを特徴とする請求項１または２に記載の搬送システム。
【請求項４】
天井に天井マーカが設けられた屋内における前記搬送システムにおいて、
前記天井画像記憶部は、予め撮像された前記天井マーカを含む前記天井の画像を位置情報と関連付けて記憶しており、
前記照合部は、前記上方撮像部によって撮像された前記天井の画像と、前記天井画像記憶部に記憶されている前記天井の画像とを照合する
ことを特徴とする請求項３に記載の搬送システム。
【請求項５】
前記無人飛行体は、
前記天井マーカに赤外線を照射する赤外線照射部をさらに有し、
前記天井マーカは、再帰性反射材であり、
前記上方撮像部は、赤外線カメラであり、前記赤外線で照射された前記天井マーカを含む前記天井の画像を撮像する
ことを特徴とする請求項４に記載の搬送システム。
【請求項６】
前記荷役情報は、荷取位置および荷置位置のいずれか一方または両方を含み、
前記搬送システムは、
前記荷取位置または前記荷置位置と、前記無人飛行体の位置とに基づいて、前記無人飛行体から前記荷取位置または前記荷置位置への方角を特定する方角特定部をさらに備え、
前記無人飛行体は、
下方を撮像する下方撮像部と、
前記下方撮像部が撮像した画像に基づいて、前記搬送車を検出する車検出部と、をさらに有し、
前記搬送車の前記有人運転モード時において、
前記飛行制御部は、前記無人飛行体の飛行を制御することにより、前記車検出部によって検出した前記搬送車に前記無人飛行体を追従させ、
前記投影部は、前記荷役情報とともに、前記方角特定部が特定した方角を示す画像を前記路面にさらに投影する
ことを特徴とする請求項１〜３のいずれか１項に記載の搬送システム。
【請求項７】
前記搬送システムは、
前記搬送車の前記有人運転モード時において、前記下方撮像部が撮像した画像に基づいて、前記搬送車の走行方向の周囲に人が存在するか否かを判定する人存在判定部と、
前記人存在判定部によって前記搬送車の走行方向の周囲に前記人が存在すると判定されたとき、前記方角を示す画像の色を所定の色に変更する色変更部と、をさらに備え、
前記投影部は、前記色変更部によって変更された色の前記方角を示す画像を投影する
ことを特徴とする請求項６に記載の搬送システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、無人飛行体と、有人無人兼用の搬送車とを用いた搬送システムに関する。
【背景技術】
【０００２】
従来、工場や倉庫内で利用される搬送車として、オペレータの操作によって動作する有人運転モードと、制御手段によって動作する無人運転モードとを備えた有人無人兼用の搬送車が知られている。この種の搬送車の無人運転モード時における誘導方式として、例えば、特許文献１に開示の誘導方式が知られている。この誘導方式では、搬送車が、撮像部を備えており、撮像部によって路面に敷設された誘導ラインを撮像し、撮像された画像内の誘導ラインの位置に基づいて、誘導ライン上を走行する。
【０００３】
上記誘導ラインは、路面に貼付されたテープや路面に塗布された塗料などからなり、路面とは明確に異なる色彩が着色されている。しかしながら、このような誘導ラインは、路面に敷設されていることから、汚れたり、剥がれたりしやすい。このため、搬送車は、このような誘導ラインの汚れまたは剥がれによって誘導ラインを認識できず、走行を停止するという問題があった。
【０００４】
そこで、このような問題の解決方法として、例えば、電磁誘導による搬送車の誘導方式がある（特許文献２参照）。この誘導方式では、搬送車は、ピックアップコイルを備え、路面に埋設されたトウパスワイヤの誘起磁界をピックアップコイルによって検出し、検出された誘起磁界に基づいて、ステアリングモータを制御することにより、トウパスワイヤに沿って走行する。このため、この誘導方式は、路面の汚れや剥がれの影響を受けにくい。
【０００５】
しかしながら、トウパスワイヤを床に埋設することは、面倒である。また、この誘導方式では、工場や倉庫内のレイアウト変更のたびに、トウパスワイヤを改めて床に埋設しなければならないという問題があった。
【０００６】
一方、有人運転モード時においては、未熟なオペレータによる荷役作業が滞るという問題があった。したがって、作業効率の観点から、未熟なオペレータを補助するシステムが望まれていた。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平７−２３２４６号公報
【特許文献２】特開平６−１１９０３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
そこで、本発明が解決しようとする課題は、路面に誘導ラインを予め設けることなく、無人運転モード時の搬送車を誘導することができ、しかも、有人運転モード時においては、オペレータの荷役作業を補助することができる搬送システムを提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために本発明に係る搬送システムは、
無人運転モードおよび有人運転モードで動作する搬送車を備えた搬送システムであって、
ホバリング可能な無人飛行体と、
荷役情報を記憶している荷役情報記憶部と、
搬送車の予め定められた走行経路を記憶している走行経路記憶部と、
無人飛行体の位置に対応する走行経路の一部を無人運転モード時の搬送車を誘導する誘導経路として抽出する誘導経路抽出部と、を備え、
無人飛行体は、
自機の位置を検出する自機位置検出部と、
自機の飛行を制御する飛行制御部と、
搬送車の無人運転モード時において、誘導経路抽出部が抽出した誘導経路の画像を路面に投影し、搬送車の有人運転モード時において、荷役情報を示す画像を路面に投影する投影部と、を有し、
搬送車は、
路面を撮像する路面撮像部と、
路面撮像部によって撮像された路面の画像を解析して誘導経路を検出する誘導経路検出部と、
検出された誘導経路に基づいて、ステアリング制御するステアリング制御部と、を有する。
【００１０】
上記搬送システムは、好ましくは、
オペレータから搬送車に係る配車予約を受け付ける予約受付部をさらに備え、
投影部は、搬送車の有人運転モード時において、予約受付部が受け付けた配車予約時間を示す画像を路面にさらに投影する。
【００１１】
上記搬送システムでは、好ましくは、
無人飛行体は、
自機の上方を撮像する上方撮像部と、
予め撮像された自機の上方の画像を位置情報と関連付けて記憶している天井画像記憶部と、をさらに有し、
自機位置検出部は、
上方撮像部によって撮像された現在の自機の上方の画像と、天井画像記憶部に記憶されている自機の上方の画像とを照合する照合部と、
照合部が照合した結果に基づいて、自機の位置を特定する自機位置特定部と、を有する。
【００１２】
天井に天井マーカが設けられた屋内において、上記搬送システムでは、好ましくは、
天井画像記憶部は、予め撮像された天井マーカを含む天井の画像を位置情報と関連付けて記憶しており、
照合部は、上方撮像部によって撮像された天井の画像と、天井画像記憶部に記憶されている天井の画像とを照合する。
【００１３】
上記搬送システムでは、好ましくは、
無人飛行体は、
天井マーカに赤外線を照射する赤外線照射部をさらに有し、
天井マーカは、再帰性反射材であり、
上方撮像部は、赤外線カメラであり、赤外線で照射された天井マーカを含む天井の画像を撮像する。
【００１４】
上記搬送システムでは、好ましくは、
荷役情報は、荷取位置および荷置位置のいずれか一方または両方を含み、
上記搬送システムは、
荷取位置または荷置位置と、無人飛行体の位置とに基づいて、無人飛行体から荷取位置または荷置位置への方角を特定する方角特定部をさらに備え、
無人飛行体は、
下方を撮像する下方撮像部と、
下方撮像部が撮像した画像に基づいて、搬送車を検出する車検出部と、をさらに有し、
搬送車の有人運転モード時において、
飛行制御部は、無人飛行体の飛行を制御することにより、車検出部によって検出した搬送車に無人飛行体を追従させ、
投影部は、荷役情報とともに、方角特定部が特定した方角を示す画像を路面にさらに投影する。
【００１５】
上記搬送システムは、好ましくは、
搬送車の有人運転モード時において、下方撮像部が撮像した画像に基づいて、搬送車の走行方向の周囲に人が存在するか否かを判定する人存在判定部と、
人存在判定部によって搬送車の走行方向の周囲に人が存在すると判定されたとき、方角を示す画像の色を所定の色に変更する色変更部と、をさらに備え、
投影部は、色変更部によって変更された色の方角を示す画像を投影する。
【発明の効果】
【００１６】
本発明に係る搬送システムは、路面に誘導ラインを予め設けることなく、無人運転モード時の搬送車を誘導することができ、しかも、有人運転モード時においては、荷役情報を示す画像を投影させることにより、オペレータの荷役作業を補助することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係る搬送システムの概要図である。
【図２】図１の天井に設けられた天井マーカを示す図である。
【図３】図１の無人飛行体の構成を示す図であり、（ａ）は、下から見た斜視図であり、（ｂ）は、上から見た斜視図である。
【図４】図３の上部ユニットの構成を示す斜視図である。
【図５】図３のジンバルおよび下部ユニットの構成を示す図であり、（ａ）は、下から見た斜視図であり、（ｂ）は、上からみた斜視図である。
【図６】図３の無人飛行体の本体が備える各構成の機能ブロック図である。
【図７】（ａ）は、路面に投影された誘導画像の一例を示す図であり、（ｂ）は、補正前の誘導画像を示す図であり、（ｃ）は、補正後の誘導画像を示す上面図である。
【図８】有人運転モード時の図１の搬送車と、荷役情報画像が投影された路面とを示す上面図である。
【図９】無人運転モード時の図１の搬送車と、誘導画像が投影された路面とを示す上面図である。
【発明を実施するための形態】
【００１８】
以下、添付図面を参照しつつ、本発明に係る、無人飛行体と有人無人兼用の搬送車とを備えた搬送システムの一実施形態について説明する。前後、左右および上下の方向Ｘ、Ｙ、Ｚは、添付図面に記載のとおり、搬送車の走行方向を基準にしている。
【００１９】
＜搬送システムの概要＞
図１は、本発明に係る搬送システムＳの概要図である。この搬送システムＳでは、無人飛行体１は、天井Ｃを撮像し、撮像した画像を解析して自機位置を検出するとともに、搬送車３を誘導するための誘導経路の画像（以下「誘導画像」という）ＧＩを路面Ｒに投影する。搬送車３は、有人運転モードおよび無人運転モードで動作するフォークリフトであって、無人運転モード時には、無人飛行体１が投影した誘導画像ＧＩ中の誘導ラインＬに沿って誘導されることにより、予め定められた走行経路を走行する。
【００２０】
＜天井の構成＞
図２に示すように、天井Ｃ全体には、無人飛行体１が自機位置を検出するために用いる、長方形状の天井マーカ４が複数設けられている。天井マーカ４は、再帰性反射材であって、同縦列または同横列において等間隔に整列して配置されている。言い換えると、天井マーカ４は、列ごとに異なる間隔で天井Ｃに配置されている。例えば、図２の最下段の横列の間隔Ｐ３は、すべて同じである。一方、１段目、２段目および３段目の横列の間隔Ｐ１、Ｐ２、Ｐ３の長さは、それぞれ異なっている。また、１段目、２段目および３段目間の間隔Ｐ４、Ｐ５の長さも、それぞれ異なっている。
【００２１】
＜無人飛行体＞
まず、図３〜図５を参照して、無人飛行体１の外部の構成要素について説明する。図３に示すように、無人飛行体１は、本体２０と、本体２０の上面から地面と平行に４方に延びる４本のアーム１２と、４本のアーム１２のそれぞれの先端側に設けられたモータ１３と、モータ１３に設けられた回転翼１４と、４本のアーム１２の基部の上側に立設された略八角柱状の上部ユニット１５と、本体２０の下側に設けられたジンバル１６と、ジンバル１６に支持されている下部ユニット１７と、本体２０の周囲かつアーム１２の下側に設けられた４本のスキッド１８と、を備えている。
【００２２】
図４に示すように、上部ユニット１５は、上部ユニット本体１５１と、赤外線カメラ（上方撮像部）１５２と、４つの赤外線照射部１５３と、を有する。赤外線カメラ１５２は、上部ユニット本体１５１の上面の中央に上方を向いて配置されている。４つの赤外線照射部１５３は、それぞれ赤外線カメラ１５２の周囲の上下および左右に上方を向いて配置されている。赤外線照射部１５３は、例えば、赤外ＬＥＤでもよい。４つの赤外線照射部１５３は、天井Ｃに向けて赤外線を照射し、赤外線カメラ１５２は、赤外線で照射された天井マーカ４を含む天井Ｃの画像を撮像して上方画像を生成する。赤外線カメラ１５２は、無人飛行体１の自律飛行時には、生成した上方画像を後述する照合部２３１（図６参照）に出力する。
【００２３】
通常、屋内の天井Ｃには電灯が設けられているが、天井Ｃに設けられた天井マーカ４には電灯の光が届きにくい。また、天井Ｃに設けられた天井マーカ４を撮像する場合、電灯による逆光が撮像の妨げになる。そこで、赤外線照射部１５３が天井Ｃに赤外線を照射することにより、赤外線カメラ１５２は、天井マーカ４を含む天井Ｃを適切に撮像することができる。また、天井マーカ４が再帰性反射材であることにより、天井マーカ４に照射された赤外線の入射角が大きくても、赤外線カメラ１５２は、適切に天井マーカ４を撮像することができる。
【００２４】
図５に示すように、ジンバル１６は、本体２０に回転可能に連結された第１の回転軸１６１と、第１の回転軸１６１に連結された円板状の回転台１６２と、回転台１６２から下方に延びる左右一対の支持柱１６３と、支持柱１６３の内側中央に回転可能に連結された左右一対の第２の回転軸１６４と、を有する。
【００２５】
下部ユニット１７は、プロジェクタ１７１および下カメラ１７２を有するとともに、第２の回転軸１６４に支持されている。プロジェクタ１７１は、本発明の「投影部」に相当する。また、下カメラ１７２は、本発明の「下方撮像部」に相当する。プロジェクタ１７１および下カメラ１７２は、ジンバル１６によって任意の方向に向くことができる。プロジェクタ１７１は、記憶部２４（図６参照）に記憶されている画像を路面Ｒに投影する。下カメラ１７２は、下方を撮像し、下方画像を生成する。
【００２６】
図６を参照して、無人飛行体１の内部の構成要素について説明する。本体２０は、記憶部２４と、自機位置検出部２３と、制御部２１と、を有する。
【００２７】
記憶部２４は、天井画像記憶部２４１を有し、天井画像記憶部２４１には、天井Ｃ全体の天井全体画像が位置情報と関連付けて記憶されている。
【００２８】
自機位置検出部２３は、ＧＰＳセンサ、ジャイロセンサ、超音波センサ、レーザセンサ、気圧センサ、コンパス、加速度センサといった各種センサ（図示しない）を有する。自機位置検出部２３は、屋外においては、これらセンサによって自機位置を検出する。しかしながら、ＧＰＳセンサは、屋内においては、ＧＰＳ信号を適切に受信することができない。そこで、自機位置検出部２３は、照合部２３１と、自機位置特定部２３２と、をさらに有する。
【００２９】
照合部２３１は、入力された上方画像と、天井画像記憶部２４１に記憶されている天井全体画像とを照合し、天井全体画像の中のどの位置に上方画像が存在するのかを探索するテンプレートマッチングを行う。テンプレートマッチングには、例えば、ＳＳＤ（「Sum of Squared Difference」）またはＳＡＤ（「Sum of Absolute Difference」）を類似度の計算手法として用いてもよい。
【００３０】
自機位置特定部２３２は、照合部２３１のテンプレートマッチングの結果に基づいて無人飛行体１の位置を特定する。なお、自機位置検出部２３は、無人飛行体１の高度に関しては、超音波センサ、レーザセンサ等により検出する。
【００３１】
記憶部２４は、飛行経路記憶部２４２をさらに有する。飛行経路記憶部２４２には、予め定められた無人飛行体１の飛行経路が記憶されている。
【００３２】
制御部２１は、飛行制御部２１１を有する。飛行制御部２１１は、各モータ１３の回転数を制御することにより、無人飛行体１のホバリングを可能にするとともに、無人飛行体１の飛行速度、飛行方向、飛行高度を制御する。また、飛行制御部２１１は、無人飛行体１の自律飛行時、かつ、搬送車３の無人運転モード時には、自機位置検出部２３によって検出された無人飛行体１の位置を参照しながら、飛行経路記憶部２４２に記憶されている飛行経路に沿って無人飛行体１を飛行させる。
【００３３】
記憶部２４は、走行経路記憶部２４３をさらに有する。走行経路記憶部２４３には、搬送車３の予め定められた走行経路が記憶されている。
【００３４】
制御部２１は、誘導経路抽出部２１２をさらに有する。誘導経路抽出部２１２は、走行経路記憶部２４３に記憶されている走行経路から、自機位置検出部２３によって検出された無人飛行体１の位置に対応する走行経路の一部を誘導経路として抽出する。抽出された誘導経路の画像、すなわち誘導画像ＧＩは、後述する補正処理部２１３を介してプロジェクタ１７１に出力され、プロジェクタ１７１によって路面Ｒに投影される。なお、誘導経路の長さは、特に限定されない。無人飛行体１が飛行制御部２１１によって安定してホバリングすることができ、プロジェクタ１７１がジンバル１６によって安定して一定の方向を向くことができるので、誘導画像ＧＩは、路面Ｒの適切な位置に安定して投影される。
【００３５】
図７（ａ）に示すように、誘導画像ＧＩは、一定の幅を有する誘導ラインＬが中央に配置されており、誘導ラインＬの延びる方向が搬送車３に対する誘導方向を示している。また、誘導ラインＬの色は、その両側部分に比して明度・彩度が明らかに異なる。この誘導画像ＧＩは、単なる一例であってこれに限定されない。例えば、路面Ｒの色と明らかに異なる色の誘導ラインＬのみを誘導画像ＧＩとしてもよい。
【００３６】
図７（ｂ）に示すように、路面Ｒは、使用状態により汚れや剥がれが発生している場合があり、この場合、部分Ａのように誘導画像ＧＩの一部が適切に表示されない。そこで、制御部２１は、路面Ｒに投影された誘導画像ＧＩを解析し、このような路面Ｒに対応するように誘導画像ＧＩを補正する。以下、具体的に説明する。
【００３７】
図６に示すように、誘導経路抽出部２１２によって抽出された誘導画像ＧＩ１は、補正処理部２１３を介して補正係数算出部２１４およびプロジェクタ１７１に出力される。プロジェクタ１７１は、入力された誘導画像ＧＩ１を路面Ｒに投影する。下カメラ１７２は、投影された誘導画像ＧＩ１を撮像し、路面画像を生成して補正係数算出部２１４に出力する。
【００３８】
補正係数算出部２１４は、誘導画像ＧＩ１の各画素の各輝度を色成分ごとに正規化して入力データＤ１を生成するとともに、下カメラ１７２から出力された路面画像の各画素の各輝度を各色成分ごとに正規化して出力データＤ２を生成する。次いで、補正係数算出部２１４は、入力データＤ１と出力データＤ２とを照合し、出力データＤ２の各画素間の輝度比を入力データＤ１に適合させるための各画素の各色成分の補正係数を算出し、算出した補正係数を補正処理部２１３に出力する。
【００３９】
補正処理部２１３は、算出された各画素の各色成分の補正係数を使用して、投影する誘導画像ＧＩ１の各画素の各色成分の輝度を補正し誘導画像ＧＩ２を生成する。次いで、補正処理部２１３は、生成した誘導画像ＧＩ２をプロジェクタ１７１に出力するとともに、補正係数算出部２１４に出力する。プロジェクタ１７１は、入力された誘導画像ＧＩ２を路面Ｒに投影する。下カメラ１７２は、投影された誘導画像ＧＩ２を撮像し、路面画像を生成して補正係数算出部２１４に出力する。補正係数算出部２１４は、先程と同様に誘導画像ＧＩ２に対応する補正係数を算出する。
【００４０】
図７（ｃ）に示すように、この工程が繰り返されることにより、最終的に投影された誘導画像ＧＩは、１色のスクリーンに投影された画像のように表示される。
【００４１】
次に、搬送車３が有人運転モード時の無人飛行体１の動作について説明する。
【００４２】
制御部２１は、車検出部２１６をさらに有する。車検出部２１６は、下カメラ１７２が生成した下方画像に基づいて、搬送車３を検出する。
【００４３】
飛行制御部２１１は、車検出部２１６によって検出した搬送車３に無人飛行体１を追従させる。具体的には、飛行制御部２１１は、下カメラ１７２が生成する下方画像内において、搬送車３が下方画像の中心に配置されるよう無人飛行体１の飛行を制御する。
【００４４】
記憶部２４は、荷役情報記憶部２４４をさらに有する。荷役情報記憶部２４４には、荷役情報が記憶されている。荷役情報には、荷役作業に係る荷物ＩＤ、荷取位置、荷置位置等が記憶されている。
【００４５】
制御部２１は、方角特定部２１５をさらに有する。方角特定部２１５は、荷役情報記憶部２４４に記憶されている荷取位置または荷置位置と、無人飛行体１の位置とに基づいて、無人飛行体１から荷取位置または前記荷置位置への方角を特定する。
【００４６】
図８（ａ）に示すように、プロジェクタ１７１は、荷役情報記憶部２４４に記憶されている荷役情報を示す画像（以下、「荷役情報画像」という）ＬＩとともに、方角特定部２１５が特定した方角を指し示す画像（以下、「方角画像」という）ＤＩを搬送車３の前方の路面Ｒに投影する。これにより、搬送車３を操作中のオペレータＯは、荷役情報を認識するとともに、この荷役情報に係る位置へ誘導される。
【００４７】
搬送システムＳは、予約受付部５をさらに有する。予約受付部５は、有人運転モード時において、荷役作業中のオペレータが使用している搬送車３に対する配車予約を受け付ける。予約受付部５は、例えば、無人飛行体１および搬送車３と相互に通信可能な管理サーバに接続されていてもよい。この場合、予約受付部５は、配車予約を受け付けると、管理サーバを介して、配車予約時間を無人飛行体１に送信する。
【００４８】
記憶部２４は、無人飛行体１が受信した配車予約時間を記憶する予約情報記憶部２４５をさらに有する。
【００４９】
図８（ｂ）に示すように、プロジェクタ１７１は、予約情報記憶部２４５に記憶されている配車予約時間に基づいて、配車予約時間を示す画像（以下、「配車予約画像」という）ＲＩを路面Ｒに投影する。これにより、搬送車３を操作中のオペレータＯは、路面Ｒに投影された配車予約画像ＲＩから配車予約時間を認識することができる。これにより、オペレータＯは、配車予約時間に配慮して荷役作業完了時間を調整することができるので、搬送車３が、配車予約をしたオペレータＯに対して配車予約時間どおりに配車される。
【００５０】
＜搬送車＞
再び図１を参照して、搬送車３の構成について説明する。搬送車３は、車体３１と、車載カメラ３２と、左右一対の前輪３３と、後輪３４と、前輪３３および後輪３４のいずれか一方または両方をステアリング制御するステアリング制御部３５と、誘導経路検出部３６と、フォーク３７と、マスト３８と、を備える。車載カメラ３２は、本発明の「路面撮像部」に相当する。
【００５１】
車体３１の前面の一部は、透過部材で構成されている。車載カメラ３２は、車体３１内の前側の上側かつ中央の位置に、透過部材を通して路面Ｒを向くように設けられている。車載カメラ３２の位置は、単なる一例であってこれに限定されない。
【００５２】
図９に示すように、車載カメラ３２は、誘導画像ＧＩを含む路面Ｒの所定の撮像範囲Ｔを撮像して路面画像を生成し、誘導経路検出部３６に出力する。
【００５３】
誘導経路検出部３６は、入力された路面画像を彩度・明度に基づいて解析し、誘導ラインＬを検出する。
【００５４】
ステアリング制御部３５は、誘導経路検出部３６によって検出された誘導ラインＬに基づいて、前輪３３および後輪３４のいずれか一方または両方をステアリング制御する。具体的には、ステアリング制御部３５は、誘導ラインＬの位置が撮像範囲Ｔの中央にくるように車輪３３、３４の操舵角をフィードバック制御する。これにより、搬送車３は、無人運転モードにおいて、無人飛行体１が投影した誘導経路に沿って誘導され、予め定められた走行経路を走行することができる。
【００５５】
搬送システムＳによれば、無人飛行体１が誘導画像ＧＩを投影するので、搬送車３を誘導するのに予め誘導ラインを設ける必要がない。また、プロジェクタ１７１が投影する誘導画像ＧＩは、補正処理部２１３によって随時補正されるので、投影面である路面Ｒが部分的に汚れていようと適切に誘導経路を表示することができる。しかも、有人運転モード時においては、無人飛行体１が荷役情報の画像ＬＩおよび方角画像ＤＩを投影させることにより、オペレータＯの荷役作業を補助することができる。さらに、搬送車３に配車予約があった場合には、無人飛行体１によって配車予約画像ＲＩが投影されるので、オペレータＯは、配車予約時間を確実に認識することができる。
【００５６】
以上、本発明に係る搬送車３を誘導するシステムの実施形態について説明したが、本発明は上記実施形態に限定されるものではない。
【００５７】
（１）無人飛行体１が自機位置を検出する方法は、特に限定されない。例えば、SLAM（Simultaneous Localization And Mapping）技術によって、無人飛行体１の位置を検出してもよい。
【００５８】
（２）自機位置検出部２３が上方撮像部の撮像した天井画像から天井マーカ４を認識できるのであれば、赤外線照射部１５３は、無人飛行体１に設けられていなくてもよい。また、自機位置検出部２３が上方撮像部の撮像した天井画像から天井マーカ４を認識することができるのであれば、上方撮像部は、赤外線カメラ１５２に限定されない。
【００５９】
（３）天井マーカ４には、例えば、２次元バーコードが付されており、この２次元バーコードに位置情報が含まれていてもよい。これにより、自機位置検出部２３は、天井画像から天井マーカ４を認識することにより無人飛行体１の位置を直接認識することができる。
【００６０】
（４）無人飛行体１は、アーム１２の上面にジンバルが設けられ、このジンバルに上部ユニット１５が接続される構成であってもよい。これにより、赤外線カメラ１５２は、無人飛行体１の姿勢に関わらず、常に一定の角度で天井Ｃを撮像することができる。
【００６１】
（５）プロジェクタ１７１は、複数のプロジェクタから構成されていてもよい。この場合、複数のプロジェクタによって複数の誘導画像ＧＩを同時に投影することにより、複数の搬送車３を同時に誘導してもよい。また、複数のプロジェクタによって同時に複数の誘導画像ＧＩを投影することにより広範囲の誘導経路を路面Ｒに表示させてもよい。
【００６２】
（６）搬送システムＳは、有人運転モード時に、プロジェクタ１７１が撮像した下方画像に基づいて、搬送車３の走行方向の周囲に人が存在するか否かを判定する人存在判定部と、人存在判定部によって搬送車３の走行方向の周囲に人が存在すると判定されたとき、方角画像ＤＩの色を所定の色に変更する色変更部と、をさらに備えてもよい。この場合、人存在判定部によって、搬送車３の走行方向の周囲に人が存在すると判定されたとき、色変更部が方角画像ＤＩの色を変更し、下カメラ１７２が変更された色の方角画像ＤＩを路面に投影する。これにより、オペレータＯは、進行方向の死角に人が存在しても、人の存在を認識することができる。
【符号の説明】
【００６３】
１  無人飛行体
１５２  赤外線カメラ（上方撮像部）
１５３  赤外線照射部
１７１  プロジェクタ（投影部）
１７２  下カメラ（下方撮像部）
２０  本体
３  搬送車
３２  車載カメラ（路面撮像部）
３３  前輪
３４  後輪
３５  ステアリング制御部
３６  誘導経路検出部
４  天井マーカ
Ｃ  天井
Ｒ  路面
Ｓ  搬送システム
Ｌ  誘導ライン
ＧＩ  誘導画像
ＲＩ  配車予約画像
ＬＩ  荷役情報画像
Ｏ  オペレータ
Ｔ  撮像範囲
【図１】
2020052629.tif 000003
【図２】
2020052629.tif 000004
【図３】
2020052629.tif 000005
【図４】
2020052629.tif 000006
【図５】
2020052629.tif 000007
【図６】
2020052629.tif 000008
【図７】
2020052629.tif 000009
【図８】
2020052629.tif 000010
【図９】
2020052629.tif 000011
【手続補正書】
【提出日】令和1年11月19日(2019.11.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
無人運転モードおよび有人運転モードで動作する搬送車を備えた搬送システムであって、
ホバリング可能な無人飛行体と、
荷役作業に係る荷物の情報を含む荷役情報を記憶している荷役情報記憶部と、
前記搬送車の予め定められた走行経路を記憶している走行経路記憶部と、
前記無人飛行体の位置に対応する前記走行経路の一部を前記無人運転モード時の前記搬送車を誘導する誘導経路として抽出する誘導経路抽出部と、を備え、
前記無人飛行体は、
自機の位置を検出する自機位置検出部と、
前記自機の飛行を制御する飛行制御部と、
前記搬送車の前記無人運転モード時において、前記誘導経路抽出部が抽出した前記誘導経路の画像を路面に投影し、前記搬送車の前記有人運転モード時において、前記誘導経路の画像とは異なるとともに前記荷役情報を示す画像を前記路面に投影する投影部と、を有し、
前記搬送車は、
前記路面を撮像する路面撮像部と、
前記路面撮像部によって撮像された前記路面の画像を解析して前記誘導経路を検出する誘導経路検出部と、
検出された前記誘導経路に基づいて、ステアリング制御するステアリング制御部と、を有する
ことを特徴とする搬送システム。
【請求項２】
前記搬送車に係る配車予約をオペレータから受け付ける予約受付部をさらに備え、
前記投影部は、前記搬送車の前記有人運転モード時において、前記予約受付部が受け付けた配車予約時間を示す画像を前記路面にさらに投影する
ことを特徴とする請求項１に記載の搬送システム。
【請求項３】
前記無人飛行体は、
前記自機の上方を撮像する上方撮像部と、
予め撮像された前記自機の上方の画像を位置情報と関連付けて記憶している天井画像記憶部と、をさらに有し、
前記自機位置検出部は、
前記上方撮像部によって撮像された現在の前記自機の上方の画像と、前記天井画像記憶部に記憶されている前記自機の前記上方の画像とを照合する照合部と、
前記照合部が照合した結果に基づいて、前記自機の位置を特定する自機位置特定部と、を有する
ことを特徴とする請求項１または２に記載の搬送システム。
【請求項４】
天井に天井マーカが設けられた屋内における前記搬送システムにおいて、
前記天井画像記憶部は、予め撮像された前記天井マーカを含む前記天井の画像を位置情報と関連付けて記憶しており、
前記照合部は、前記上方撮像部によって撮像された前記天井の画像と、前記天井画像記憶部に記憶されている前記天井の画像とを照合する
ことを特徴とする請求項３に記載の搬送システム。
【請求項５】
前記無人飛行体は、
前記天井マーカに赤外線を照射する赤外線照射部をさらに有し、
前記天井マーカは、再帰性反射材であり、
前記上方撮像部は、赤外線カメラであり、前記赤外線で照射された前記天井マーカを含む前記天井の画像を撮像する
ことを特徴とする請求項４に記載の搬送システム。
【請求項６】
前記荷役情報は、荷取位置および荷置位置のいずれか一方または両方をさらに含み、
前記搬送システムは、
前記荷取位置または前記荷置位置と、前記無人飛行体の位置とに基づいて、前記無人飛行体から前記荷取位置または前記荷置位置への方角を特定する方角特定部をさらに備え、
前記無人飛行体は、
下方を撮像する下方撮像部と、
前記下方撮像部が撮像した画像に基づいて、前記搬送車を検出する車検出部と、をさらに有し、
前記搬送車の前記有人運転モード時において、
前記飛行制御部は、前記無人飛行体の飛行を制御することにより、前記車検出部によって検出した前記搬送車に前記無人飛行体を追従させ、
前記投影部は、前記荷役情報とともに、前記方角特定部が特定した方角を示す画像を前記路面にさらに投影する
ことを特徴とする請求項１〜３のいずれか１項に記載の搬送システム。
【請求項７】
前記搬送システムは、
前記搬送車の前記有人運転モード時において、前記下方撮像部が撮像した画像に基づいて、前記搬送車の走行方向の周囲に人が存在するか否かを判定する人存在判定部と、
前記人存在判定部によって前記搬送車の走行方向の周囲に前記人が存在すると判定されたとき、前記方角を示す画像の色を所定の色に変更する色変更部と、をさらに備え、
前記投影部は、前記色変更部によって変更された色の前記方角を示す画像を投影する
ことを特徴とする請求項６に記載の搬送システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
【特許文献１】特開平７−２１０２４６号公報
【特許文献２】特開平６−１１９０３６号公報
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
上記課題を解決するために本発明に係る搬送システムは、
無人運転モードおよび有人運転モードで動作する搬送車を備えた搬送システムであって、
ホバリング可能な無人飛行体と、
荷役作業に係る荷物の情報を含む荷役情報を記憶している荷役情報記憶部と、
搬送車の予め定められた走行経路を記憶している走行経路記憶部と、
無人飛行体の位置に対応する走行経路の一部を無人運転モード時の搬送車を誘導する誘導経路として抽出する誘導経路抽出部と、を備え、
無人飛行体は、
自機の位置を検出する自機位置検出部と、
自機の飛行を制御する飛行制御部と、
搬送車の無人運転モード時において、誘導経路抽出部が抽出した誘導経路の画像を路面に投影し、搬送車の有人運転モード時において、誘導経路の画像とは異なるとともに荷役情報を示す画像を路面に投影する投影部と、を有し、
搬送車は、
路面を撮像する路面撮像部と、
路面撮像部によって撮像された路面の画像を解析して誘導経路を検出する誘導経路検出部と、
検出された誘導経路に基づいて、ステアリング制御するステアリング制御部と、を有する、ことを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
上記搬送システムでは、好ましくは、
荷役情報は、荷取位置および荷置位置のいずれか一方または両方をさらに含み、
上記搬送システムは、
荷取位置または荷置位置と、無人飛行体の位置とに基づいて、無人飛行体から荷取位置または荷置位置への方角を特定する方角特定部をさらに備え、
無人飛行体は、
下方を撮像する下方撮像部と、
下方撮像部が撮像した画像に基づいて、搬送車を検出する車検出部と、をさらに有し、
搬送車の有人運転モード時において、
飛行制御部は、無人飛行体の飛行を制御することにより、車検出部によって検出した搬送車に無人飛行体を追従させ、
投影部は、荷役情報とともに、方角特定部が特定した方角を示す画像を路面にさらに投影する。