(57)【要約】  クレーン装置は、吊具と、吊具の下方を撮像して撮像画像を取得する撮像部と、吊具の下方のうち撮像画像の範囲内の複数の計測点までの距離情報を取得する距離情報取得部と、吊具の下方のうち撮像画像の範囲内の色彩情報を取得する色彩情報取得部と、表示部と、撮像画像を処理して表示部に表示させる制御部と、を備える。制御部は、距離情報及び色彩情報に基づいて、撮像画像において対象物が位置している領域を含む対象領域を当該撮像画像から抽出し、対象領域において、予め記憶している参照画像の形状に対応する対応部分を検出し、撮像画像を、検出した対応部分を強調して、表示部に表示させる。
2019049511.tif 000002
【特許請求の範囲】
【請求項１】
荷の荷掴み、保持、及び荷下ろしを行う吊具と、
前記吊具に設けられ、前記吊具の下方を撮像して撮像画像を取得する撮像部と、
前記吊具に設けられ、前記吊具の下方のうち前記撮像画像の範囲内の複数の計測点までの距離情報を取得する距離情報取得部と、
前記吊具に設けられ、前記吊具の下方のうち前記撮像画像の範囲内の色彩情報を取得する色彩情報取得部と、
前記撮像画像を表示する表示部と、
前記撮像画像を処理して前記表示部に表示させる制御部と、を備え、
前記制御部は、
前記距離情報及び前記色彩情報に基づいて、前記撮像画像において対象物が位置している領域を含む対象領域を当該撮像画像から抽出し、
前記対象領域において、予め記憶している参照画像の形状に対応する対応部分を検出し、
前記撮像画像を、検出した前記対応部分を強調して、前記表示部に表示させる、クレーン装置。
【請求項２】
前記制御部は、
前記撮像画像の前記対象領域の外において、前記対応部分を検出しない、請求項１に記載のクレーン装置。
【請求項３】
前記制御部は、
前記距離情報に基づいて、前記撮像画像において前記対象物が位置している第１領域を推定し、
前記色彩情報に基づいて、前記撮像画像において前記対象物が位置している第２領域を推定し、
前記第１領域及び前記第２領域の少なくとも一方に含まれている領域を含む領域を、前記対象領域として前記撮像画像から抽出する、請求項１又は２に記載のクレーン装置。
【請求項４】
前記制御部は、
前記距離情報に基づいて、前記撮像画像において前記対象物が位置している第１領域を推定し、
前記色彩情報に基づいて、前記撮像画像において前記対象物が位置している第２領域を推定し、
前記第１領域に含まれ且つ前記第２領域に含まれている領域を含む領域を、前記対象領域として前記撮像画像から抽出する、請求項１又は２に記載のクレーン装置。
【請求項５】
前記吊具を移動させる移動機構を備え、
前記制御部は、前記撮像画像における前記対応部分と、前記吊具が前記荷の荷掴み又は荷下ろしを行う際に、前記撮像画像において前記対応部分が位置すべき基準部分と、の位置ずれを検出し、
前記移動機構は、前記位置ずれが無くなるように前記吊具を移動させる、請求項１〜４のいずれか一項に記載のクレーン装置。
【請求項６】
前記対象物は、前記吊具により荷掴みされる前記荷の少なくとも一部分である、請求項１〜５のいずれか一項に記載のクレーン装置。
【請求項７】
前記対象物は、前記吊具により保持された前記荷が荷下ろしされる載置部の少なくとも一部分である、請求項１〜５のいずれか一項に記載のクレーン装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一態様は、クレーン装置に関する。
【背景技術】
【０００２】
特許文献１には、載置されたコンテナをスプレッダにより掴上げる場合、又は、スプレッダにより把持されたコンテナを他の載置されたコンテナ上に積上げる場合に、スプレッダに設けられた３Ｄカメラにより取得される距離マップに基づき、載置されたコンテナを検知してスプレッダと当該コンテナとの位置関係を取得するクレーンが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１５−５３３７４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述したようなクレーンで用いられる３Ｄカメラは、検知すべきコンテナが含まれる領域に対して計測光を出力し、その反射光を検出することで、距離マップを取得する。このため、３Ｄカメラは、例えば屋外での強力な太陽光や外乱光の影響を受けると、検知すべきコンテナが存在していない領域においてコンテナが存在していると誤検知してしまうおそれがある。また、３Ｄカメラでは、雨天時の屋外で使用された際に雨粒を検出してしまい、目標の対象物を適切に検出することができないおそれがある。更に、３Ｄカメラでは、例えば検知すべきコンテナに鏡面部分があると、当該３Ｄカメラにより反射光を検出することができない方向に計測光が鏡面反射されてしまう場合がある。この場合、３Ｄカメラは、鏡面部分についての距離マップを取得することができず、その結果、検知すべきコンテナが存在しているにもかかわらずコンテナを検知することができないおそれがある。【０００５】
そこで、本発明の一態様は、吊具と対象物との位置関係をより確実に取得することができるクレーン装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様に係るクレーン装置は、荷の荷掴み、保持、及び荷下ろしを行う吊具と、吊具に設けられ、吊具の下方を撮像して撮像画像を取得する撮像部と、吊具に設けられ、吊具の下方のうち撮像画像の範囲内の複数の計測点までの距離情報を取得する距離情報取得部と、吊具に設けられ、吊具の下方のうち撮像画像の範囲内の色彩情報を取得する色彩情報取得部と、撮像画像を表示する表示部と、撮像画像を処理して表示部に表示させる制御部と、を備え、制御部は、距離情報及び色彩情報に基づいて、撮像画像において対象物が位置している領域を含む対象領域を当該撮像画像から抽出し、対象領域において、予め記憶している参照画像の形状に対応する対応部分を検出し、撮像画像を、検出した対応部分を強調して、表示部に表示させる。【０００７】
本発明の一態様に係るクレーン装置によれば、吊具の下方を撮像した撮像画像において、距離情報に基づき対象物が位置している領域が推定されると共に、色彩情報に基づき対象物が位置している領域が推定される。そして、この装置は、これらの推定結果に基づいて、対象物が位置している領域を含む対象領域を撮像画像から抽出し、対象領域において参照画像の形状に対応する対応部分を強調して表示する。したがって、この装置は、距離情報と色彩情報とを相補的に用いて吊具と対象物との位置関係を取得することができる。よって、この装置は、例えば外乱光の影響及び対象物での鏡面反射の影響を受けにくいため、吊具と対象物との位置関係をより確実に取得することができる。【０００８】
本発明の一態様に係るクレーン装置では、制御部は、撮像画像の対象領域の外において、対応部分を検出しなくてもよい。これによれば、撮像画像のうちの対象領域のみについて、参照画像の形状に対応する対応部分を検出すればよいため、処理に要する時間を短縮することができる。【０００９】
本発明の一態様に係るクレーン装置では、制御部は、距離情報に基づいて、撮像画像において対象物が位置している第１領域を推定し、色彩情報に基づいて、撮像画像において対象物が位置している第２領域を推定し、第１領域及び第２領域の少なくとも一方に含まれている領域を含む領域を、対象領域として撮像画像から抽出してもよい。これによれば、対象物での鏡面反射の影響を受けやすい距離情報によって対象物が位置していると推定された領域に加えて、対象物での鏡面反射の影響を受けにくい色彩情報によって対象物が位置していると推定された領域についても、対象領域として撮像画像から抽出する。よって、対象物が存在しているにもかかわらず対象物を検知することができないことが抑制され、吊具と対象物との位置関係をより確実に取得することができる。【００１０】
本発明の一態様に係るクレーン装置では、制御部は、距離情報に基づいて、撮像画像において対象物が位置している第１領域を推定し、色彩情報に基づいて、撮像画像において対象物が位置している第２領域を推定し、第１領域に含まれ且つ第２領域に含まれている領域を含む領域を、対象領域として撮像画像から抽出してもよい。これによれば、外乱光の影響を受けやすい距離情報だけでなく、外乱光の影響を受けにくい色彩情報によっても対象物が位置していると推定された領域を、対象領域として撮像画像から抽出する。よって、対象物が存在していない領域において対象物が存在していると誤検知してしまうことが抑制され、吊具と対象物との位置関係をより確実に取得することができる。【００１１】
本発明の一態様に係るクレーン装置は、吊具を移動させる移動機構を備え、制御部は、撮像画像における対応部分と、吊具が荷の荷掴み又は荷下ろしを行う際に、撮像画像において対応部分が位置すべき基準部分と、の位置ずれを検出し、移動機構は、位置ずれが無くなるように吊具を移動させてもよい。これによれば、吊具を対象物の直上に精度良く位置させることができる。【００１２】
本発明の一態様に係るクレーン装置では、対象物は、吊具により荷掴みされる荷の少なくとも一部分であってもよい。これによれば、吊具により荷を荷掴みする状況において、吊具と荷との位置関係をより確実に取得することができる。【００１３】
本発明の一態様に係るクレーン装置では、対象物は、吊具により保持された荷が荷下ろしされる載置部の少なくとも一部分であってもよい。これによれば、吊具により荷を荷下ろしする状況において、吊具と載置部との位置関係をより確実に取得することができる。
【発明の効果】
【００１４】
本発明の一態様によれば、吊具と対象物との位置関係をより確実に取得することが可能になる。
【図面の簡単な説明】
【００１５】
【図１】図１は、第１実施形態に係るクレーン装置を示すブロック図である。
【図２】図２は、クレーン装置の正面図である。
【図３】図３は、クレーン装置の側面図である。
【図４】図４は、吊具及びコイルを示す斜視図である。
【図５】図５は、荷掴み制御における撮像画像を示す図である。
【図６】図６は、荷掴み制御における距離確度マップを示す図である。
【図７】図７は、荷掴み制御における色彩確度マップを示す図である。
【図８】図８は、荷掴み制御におけるＯＲ確度マップを示す図である。
【図９】図９は、参照画像を示す図である。
【図１０】図１０は、荷掴み制御における強調画像を示す図である。
【図１１】図１１は、荷掴み制御におけるＡＮＤ確度マップを示す図である。
【図１２】図１２は、荷下ろし制御における強調画像を示す図である。
【図１３】図１３は、第２実施形態に係るクレーン装置を示すブロック図である。
【図１４】図１４は、クレーン装置の正面図である。
【図１５】図１５は、クレーン装置の斜視図である。
【図１６】図１６は、参照画像を示す図である。
【図１７】図１７は、荷掴み制御における強調画像を示す図である。
【図１８】図１８は、荷下ろし制御における強調画像を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について、図面を参照して説明する。なお、各図において同一又は相当部分には同一符号を付し、重複する説明を省略する。
【００１７】
［第１実施形態］
［クレーン装置の構成］
図１は、第１実施形態に係るクレーン装置１を示すブロック図である。図２は、クレーン装置１の正面図である。図３は、クレーン装置１の側面図である。図４は吊具３０及びコイルＣを示す斜視図である。図１〜図４に示されるように、第１実施形態に係るクレーン装置１は、円筒形状に巻かれた鋼板であるコイル（荷）Ｃを搬送する天井クレーンである。クレーン装置１は、移動機構１０、吊具３０、撮像部４０、距離情報取得部４１、色彩情報取得部４２、表示部４３、制御部５０、及び運転室６０を備えている。また、クレーン装置１は、移動機構１０及び吊具３０を制御する搬送制御部５１、並びに、搬送制御部５１に接続されたエンコーダ３１を備えている。
【００１８】
コイルＣは、略円筒形状を呈している。コイルＣの軸心位置には、コイルＣの一端から他端に貫通した吊孔Ｈが形成されている。コイルＣは、工場又は倉庫等の建屋の床面Ｆに所定間隔でマトリクス状に配置されたスキッド（載置部）Ｓ上に、軸心方向が水平方向となる向きに載置される。コイルＣは、所定の形状、所定の大きさ、及び所定の色彩を有している。コイルＣの外周面は、鏡面状となっている。
【００１９】
移動機構１０は、吊具３０を移動（水平移動、上下移動、及び回転移動）させる機構である。移動機構１０は、ガーダー１２及びトロリー１３を有している。ガーダー１２は、トロリー１３及び吊具３０の荷重を支持するものである。ガーダー１２は、建屋の天井付近に、両壁に亘って略水平に横架されている。ガーダー１２は、当該ガーダー１２の延在方向に対して直交する水平方向に移動可能となっており、この方向にトロリー１３及び吊具３０を移動させることができる。
【００２０】
トロリー１３は、ガーダー１２の上面を、ガーダー１２の延在方向に沿って横行する。これにより、トロリー１３は、ガーダー１２の延在方向に沿って吊具３０を移動させることができる。また、トロリー１３は、垂下されたワイヤーロープ１７を巻き上げ及び巻き下げする巻上機構１１を有している。更に、トロリー１３は、ワイヤーロープ１７を介して吊具３０を鉛直方向の軸線回りに回転移動させる回転機構（不図示）を有している。
【００２１】
吊具３０は、コイルＣの荷掴み、保持、及び荷下ろしを行う器具である。吊具３０は、トロリー１３から垂下されたワイヤーロープ１７に吊り下げられている。吊具３０は、トロリー１３の巻上機構１１によりワイヤーロープ１７が巻き上げられることで上方に移動し、巻上機構１１によりワイヤーロープ１７が巻き下げられることで下方に移動する。吊具３０は、基部１８及び一対の対向する爪部１９，１９を有している。基部１８は、その上面側にワイヤーロープ１７が接続されており、その下面側に爪部１９，１９が開閉可能に設けられている。
【００２２】
爪部１９，１９の各爪先には、互いに向き合い正対するように突出した凸部２０が設けられている。爪部１９，１９が閉じることにより、各凸部２０は、コイルＣの吊孔Ｈにそれぞれ両側から挿入される。これにより、吊具３０は、コイルＣを保持した状態となる。「吊具３０がコイルＣを保持した状態」においては、爪部１９，１９の互いに対向する内側面２１，２１がコイルＣに当接していても、当接していなくてもよい。
【００２３】
吊具３０は、コイルＣの移載を以下の手順で行う。すなわち、吊具３０は、爪部１９，１９を開閉してスキッドＳ上に載置されたコイルＣを荷掴みし、当該コイルＣを保持した状態で移動機構１０及び巻上機構１１により他のスキッドＳ上に移動され、再度、爪部１９，１９を開閉して当該コイルＣを荷下ろしすることによって、コイルＣの移載を行う。
【００２４】
エンコーダ３１は、巻上機構１１の巻き上げ及び巻き下げの動作量、並びに、トロリー１３の横行の移動量を検出するセンサである。エンコーダ３１の検出結果に基づいて、搬送制御部５１は吊具３０の現在の高さを示す高さ情報を取得する。なお、エンコーダ３１は、巻上機構１１の巻き上げ及び巻き下げの動作量を検出し、トロリー１３の横行の移動量を検出しなくてもよい。
【００２５】
搬送制御部５１は、クレーン装置１の駆動を制御する。例えば、搬送制御部５１は、ガーダー１２の移動、トロリー１３の横行、巻上機構１１によるワイヤーロープ１７の巻き上げ及び巻き下げ（吊具３０の上下方向への移動）、回転機構による吊具３０の回転移動、及び、爪部１９，１９の開閉を制御する。また、搬送制御部５１は、エンコーダ３１の検出結果に基づいて取得した吊具３０の高さ情報を制御部５０に出力する。
【００２６】
撮像部４０は、吊具３０に設けられ、吊具３０の下方を撮像して撮像画像を取得する撮像機器である。撮像部４０は、例えばカメラであってもよい。撮像部４０は、吊具３０の基部１８に、下方を向くように設けられている。撮像部４０は、吊具３０に複数設けられていてもよい。
【００２７】
距離情報取得部４１は、吊具３０に設けられ、吊具３０の下方のうち撮像部４０により撮像された撮像画像の範囲内の複数の計測点までの距離情報を取得する機器である。距離情報取得部４１は、各計測点までの距離情報を撮像画像における位置と対応付けて取得する。距離情報取得部４１は、距離情報を取得可能な機器であれば特に限定されず、例えばＴｏＦ［Time of Flight］カメラであってもよく、３Ｄカメラであってもよく、３Ｄスキャナであってもよい。距離情報取得部４１は、吊具３０の基部１８における撮像部４０の近傍に、下方を向くように設けられている。距離情報取得部４１は、撮像部４０の個数に対応した個数だけ設けられている。「距離情報」とは、距離情報取得部４１と各計測点との間の距離を示す情報である。ここでは、計測点は、例えば床面Ｆ、スキッドＳ、コイルＣ等の上面に設定される点であり、例えばマトリクス状に設定されていてもよい。計測点は、例えば距離情報取得部４１の水平面内での位置座標を基準とした所定の相対位置に設定されてもよい。
【００２８】
色彩情報取得部４２は、吊具３０に設けられ、吊具３０の下方のうち撮像部４０により撮像された撮像画像の範囲内の色彩情報を取得する機器である。色彩情報取得部４２は、色彩情報を撮像画像における位置と対応付けて取得する。色彩情報取得部４２は、色彩情報を取得可能な機器であれば特に限定されず、例えばスペクトルカメラであってもよく、カラーカメラであってもよい。色彩情報取得部４２は、吊具３０の基部１８における撮像部４０の近傍に、下方を向くように設けられている。色彩情報取得部４２は、撮像部４０の個数に対応した個数だけ設けられている。「色彩情報」とは、例えばカラー画像をＲＧＢ信号に分解してベクトル表現で示す情報である。
【００２９】
表示部４３は、撮像画像を表示する表示機器である。また、表示部４３は、制御部５０により生成された強調画像を表示する。表示部４３は、例えばディスプレイであってもよい。表示部４３は、例えば運転室６０内に設けられている。
【００３０】
制御部５０は、撮像画像を処理して強調画像を生成し、生成した強調画像を表示部４３に表示させる（詳しくは後述）。制御部５０は、スキッドＳ上に載置されたコイルＣを吊具３０により荷掴みする荷掴み制御における強調画像、及び、吊具３０により保持されたコイルＣをスキッドＳ上に荷下ろしする荷下ろし制御における強調画像を生成可能である。
【００３１】
［荷掴み制御］
以下、荷掴み制御における強調画像の表示について説明する。
【００３２】
図５は、荷掴み制御における撮像画像Ｐ１を示す図である。図５に示されるように、制御部５０は、撮像部４０により撮像された撮像画像Ｐ１を表示部４３に表示させる。図５には、吊具３０の下方に載置されたコイルＣ、吊具３０の一方の爪部１９、及び、コイルＣが載置されていないスキッドＳが表示されている。図５では、吊具３０は、載置されたコイルＣの直上からずれた位置にある。なお、図５において、コイルＣは、当該コイルＣの下の図示されないスキッドＳ上に載置されている。コイルＣの外周面が鏡面状となっていることから、撮像画像Ｐ１におけるコイルＣには、周囲の景色が映り込んだ映込部分Ｒが存在している。
【００３３】
続いて、制御部５０は、撮像画像Ｐ１において対象物が位置している領域を含む対象領域を、以下のように当該撮像画像Ｐ１から抽出する。なお、ここでは、「対象物」は、吊具３０により荷掴みされるコイルＣである。
【００３４】
図６は、荷掴み制御における距離確度マップＰ２を示す図である。図６に示されるように、距離情報取得部４１は、吊具３０の下方のうち撮像画像Ｐ１の範囲内の複数の計測点（不図示）までの距離情報を、撮像画像Ｐ１における位置と対応付けて取得する。一例として、計測点は、撮像画像Ｐ１の上下方向に所定数（例えば２０個）、左右方向に所定数（例えば３０個）ずつ等間隔でマトリクス状に配列した位置に設定されていてもよい。
【００３５】
制御部５０は、距離情報取得部４１により取得された距離情報に基づいて、撮像画像Ｐ１において対象物であるコイルＣが位置している第１領域Ａ１を推定する。より詳細には、コイルＣが所定の形状及び所定の大きさを有していることを前提として、制御部５０は、吊具３０の現在の高さ情報に基づき吊具３０とコイルＣとの間の現在の距離を予測する。そして、制御部５０は、予測した距離と距離情報取得部４１により取得された距離情報に係る距離とを比較して、撮像画像Ｐ１においてコイルＣが位置している第１領域Ａ１を推定する。例えば、制御部５０は、予測した距離と距離情報取得部４１により取得された距離情報に係る距離との差が所定範囲内であれば、その領域にコイルＣが位置していると判定し、所定範囲外であれば、その領域にコイルＣが位置していないと判定してもよい。
【００３６】
図６では、平面視におけるコイルＣの軸心付近（図６中の白色領域）については、制御部５０は、コイルＣが位置している領域であると適切に判定している。一方、コイルＣの平面視における軸心から遠い領域（図６中の灰色領域）については、距離情報取得部４１の計測光が鏡面状のコイルＣの外周面に対して平行に近い入射角で入射している。このため、当該領域では、距離情報取得部４１は反射光を検出することができず、その結果、制御部５０は、コイルＣが位置していないと誤って判定している。
【００３７】
図７は、荷掴み制御における色彩確度マップＰ３を示す図である。図７に示されるように、距離情報取得部４１は、吊具３０の下方のうち撮像画像Ｐ１の範囲内の色彩情報を、撮像画像Ｐ１における位置と対応付けて取得する。制御部５０は、色彩情報取得部４２により取得された色彩情報に基づいて、撮像画像Ｐ１において対象物であるコイルＣが位置している第２領域Ａ２を推定する。より詳細には、コイルＣが所定の色彩を有していることを前提として、制御部５０は、撮像画像Ｐ１において、当該所定の色彩との色の相関度に基づきコイルＣが位置している第２領域Ａ２を推定する。なお、「色の相関度」を判定する手法としては公知の手法を用いることができる。例えば、制御部５０は、色彩情報を色度図上の座標に変換し、当該色度図上の座標と予め記憶しているコイルＣの色彩の色度図上の座標との距離を評価する手法により、色の相関度を判定してもよい。制御部５０は、コイルＣの色彩を予め記憶している。制御部５０は、色の相関度が所定値以上であれば、その領域にコイルＣが位置していると判定し、所定値未満であれば、その領域にコイルＣが位置していないと判定してもよい。
【００３８】
図７では、平面視において、コイルＣのうちの映込部分Ｒを除いた部分（図７中の白色領域）については、制御部５０は、コイルＣが位置している領域であると適切に判定している。一方、映込部分Ｒについては、コイルの色彩とは大きく異なる色彩を有しているため、制御部５０は、コイルＣが位置していないと誤って判定している。
【００３９】
図８は、荷掴み制御におけるＯＲ確度マップＰ４を示す図である。図８に示されるＯＲ確度マップＰ４は、距離確度マップＰ２の第１領域Ａ１及び色彩確度マップＰ３の第２領域Ａ２の少なくとも一方に含まれるＯＲ領域Ａ３（図８中の白色部分）を示している。制御部５０は、ＯＲ確度マップＰ４におけるＯＲ領域Ａ３を含む領域（例えば、ＯＲ領域Ａ３の外縁を所定の幅だけ拡大した領域）を対象領域Ａ４に設定する。以上により、制御部５０は、撮像画像Ｐ１においてコイルＣが位置している領域である対象領域Ａ４を撮像画像Ｐ１から抽出する。
【００４０】
続いて、制御部５０は、撮像画像Ｐ１の対象領域Ａ４において、予め記憶している参照画像の形状に対応する対応部分を以下のように検出する。
【００４１】
図９は、参照画像Ｐ５を示す図である。図１０は、荷掴み制御における強調画像Ｐ６を示す図である。図９及び図１０に示されるように、制御部５０は、対象物であるコイルＣの撮像画像Ｐ１における形状（具体的には、コイルＣの平面図）を、参照画像Ｐ５として予め記憶している。そして、制御部５０は、撮像画像Ｐ１のうちの対象領域Ａ４に対応する領域おいて、参照画像Ｐ５の形状に対応する対応部分Ａ５を公知の画像認識の手法を用いて検出する。「参照画像Ｐ５の形状に対応する」とは、参照画像Ｐ５と大きさが異なっていてもよく、参照画像Ｐ５を鉛直方向の軸線回りに傾けた形状であってもよい。「画像認識の手法」としては、例えば、パターンマッチング、機械学習等が用いられてもよい。なお、制御部５０は、撮像画像Ｐ１のうちの対象領域Ａ４の外においては、対応部分Ａ５を検出しない。
【００４２】
続いて、制御部５０は、撮像画像Ｐ１において対応部分Ａ５を強調した強調画像Ｐ６を生成し、生成した強調画像Ｐ６を表示部４３に表示させる。ここでは、強調画像Ｐ６は、撮像画像Ｐ１に対して、対象領域Ａ４をカラー表示すると共に対象領域Ａ４以外の領域を灰色に表示している。また、強調画像Ｐ６では、対応部分Ａ５が破線で囲まれている。なお、強調画像Ｐ６において、対応部分Ａ５は、作業者に認識されやすいように強調されていれば破線で囲まれることに限定されず、例えば、所定の色で表示されてもよく、点滅してもよく、切り抜かれてもよい。
【００４３】
次に、対象物であるコイルＣに対する吊具３０の位置ずれの補正について説明する。
【００４４】
図１０に示されるように、制御部５０は、吊具３０がコイルＣの荷掴みを行う際に、撮像画像Ｐ１において対応部分Ａ５が位置すべき基準部分Ａ６を、エンコーダ３１の検出結果に基づいて取得される高さ情報から計算して設定する。基準部分Ａ６は、例えば吊具３０の直下（鉛直方向における下方）のスキッドＳ上にコイルＣが載置されている場合の、平面視における当該コイルＣの形状である。制御部５０は、撮像画像Ｐ１（或いは、強調画像Ｐ６）における対応部分Ａ５と基準部分Ａ６との位置ずれを検出する。また、制御部５０は、対応部分Ａ５と基準部分Ａ６との大きさの倍率に基づいて吊具３０とコイルＣとの高さ方向の相対距離を検出してもよく、対応部分Ａ５と基準部分Ａ６との角度ずれに基づいて吊具３０とコイルＣとの回転方向のずれを検出してもよい。制御部５０は、検出した位置ずれに関する情報を搬送制御部５１に出力する。
【００４５】
搬送制御部５１は、制御部５０から入力された位置ずれに関する情報に基づいて、移動機構１０により、当該位置ずれが無くなるように吊具３０を移動させる。すなわち、移動機構１０は、ガーダー１２の移動及びトロリー１３の横行によって、当該位置ずれが無くなるように吊具３０を移動させることで、吊具３０をコイルＣの直上に移動させる。このとき、必要に応じて回転機構を駆動させて吊具３０を鉛直方向の軸線回りに回転移動させてもよい。
【００４６】
以上、制御部５０による荷掴み制御における強調画像Ｐ６の表示について、ＯＲ確度マップＰ４を用いた方法を説明した。なお、制御部５０は、荷掴み制御における強調画像Ｐ６の表示については、ＯＲ確度マップＰ４に代えてＡＮＤ確度マップを用いた方法も実行可能である。
【００４７】
図１１は、荷掴み制御におけるＡＮＤ確度マップＰ７を示す図である。図１１に示されるＡＮＤ確度マップＰ７は、距離確度マップＰ２の第１領域Ａ１に含まれ且つ色彩確度マップＰ３の第２領域Ａ２に含まれているＡＮＤ領域Ａ７（図１１中の白色部分）を示している。制御部５０は、ＡＮＤ確度マップＰ７におけるＡＮＤ領域Ａ７を含む領域（例えば、ＡＮＤ領域Ａ７の外縁を所定の幅だけ拡大した領域）を対象領域に設定してもよい。以上により、制御部５０は、撮像画像Ｐ１においてコイルＣが位置している領域である対象領域を撮像画像Ｐ１から抽出してもよい。なお、ＯＲ確度マップＰ４を用いるかＡＮＤ確度マップＰ７を用いるかについては、例えば対象物に応じて適宜選択される。
【００４８】
［荷下ろし制御］
制御部５０は、荷掴み制御と同様に撮像画像を処理することで、荷下ろし制御においても強調画像の表示を行うことが可能である。以下、荷下ろし制御における強調画像の表示について説明する。
【００４９】
図１２は、荷下ろし制御における強調画像Ｐ８を示す図である。図１２の強調画像Ｐ８には、コイルＣ、コイルＣを保持している吊具３０の爪部１９、及び、コイルＣが荷下ろしされるスキッドＳの一部が含まれている。スキッドＳは、所定の形状、所定の大きさ、及び所定の色彩を有する積付マークＭを有している。強調画像Ｐ８では、吊具３０は、コイルＣが荷下ろしされるスキッドＳの直上からずれた位置にあり、且つ、当該スキッドＳに対して鉛直方向の軸線回りに傾いている。ここでは、「対象物」は、吊具３０により保持されたコイルＣが荷下ろしされるスキッドＳの積付マークＭである。なお、積付マークＭの形状及び大きさとは、積付マークＭを有するスキッドＳのうち、積付マークＭの全体から床面Ｆに鉛直方向に至る仮想的な柱状部分の形状及び大きさである。
【００５０】
強調画像Ｐ８は、スキッドＳ上にコイルＣを荷下ろしする前における撮像画像に対して、ＯＲ確度マップにおけるＯＲ領域を含む対象領域Ａ８をカラー表示すると共に、対象領域Ａ８以外の領域を灰色に表示している。対象領域Ａ８は、ＯＲ確度マップにおけるＯＲ領域に代えて、ＡＮＤ確度マップにおけるＡＮＤ領域に基づき設定されてもよい。強調画像Ｐ８では、対象領域Ａ８において検出された対応部分Ａ９である積付マークＭの領域が破線で囲まれている。また、強調画像Ｐ８では、吊具３０によりコイルＣの荷下ろしを行う際に対応部分Ａ９が位置すべき基準部分Ａ１０が、一点鎖線で表示されている。基準部分Ａ１０は、吊具３０の直下（鉛直方向における下方）に積付マークＭが位置している場合の、平面視における積付マークＭの形状である。
【００５１】
制御部５０は、対応部分Ａ９と基準部分Ａ１０との位置ずれを検出する。また、制御部５０は、対応部分Ａ９と基準部分Ａ１０との大きさの倍率に基づいて吊具３０とコイルＣとの高さ方向の相対距離を検出してもよく、対応部分Ａ９と基準部分Ａ１０との角度ずれに基づいて吊具３０とコイルＣとの回転方向のずれを検出してもよい。制御部５０は、検出した位置ずれに関する情報を搬送制御部５１に出力する。搬送制御部５１は、制御部５０から入力された位置ずれに関する情報に基づいて、移動機構１０により、当該位置ずれが無くなるように吊具３０を移動させる。すなわち、移動機構１０は、ガーダー１２の移動、トロリー１３の横行、及び回転機構の駆動によって、当該位置ずれが無くなるように吊具３０を移動させることで、吊具３０をスキッドＳの直上に移動させる。
【００５２】
［作用及び効果］
以上説明したように、クレーン装置１によれば、吊具３０の下方を撮像した撮像画像Ｐ１において、距離情報に基づき対象物であるコイルＣ又は積付マークＭが位置している第１領域Ａ１が推定されると共に、色彩情報に基づき対象物であるコイルＣ又は積付マークＭが位置している第２領域Ａ２が推定される。そして、クレーン装置１は、これらの推定結果に基づいて、対象物が位置している領域を含む対象領域Ａ４，Ａ８を撮像画像Ｐ１から抽出し、対象領域Ａ４，Ａ８において参照画像の形状に対応する対応部分Ａ５，Ａ９を強調して表示する。したがって、クレーン装置１は、距離情報と色彩情報とを相補的に用いて吊具３０と対象物との位置関係を取得することができる。よって、クレーン装置１は、例えば外乱光の影響及び対象物での鏡面反射の影響を受けにくいため、吊具３０と対象物との位置関係をより確実に取得することができる。
【００５３】
クレーン装置１では、制御部５０は、撮像画像Ｐ１の対象領域Ａ４，Ａ８の外において、対応部分Ａ５，Ａ９を検出しない。これにより、撮像画像Ｐ１のうちの対象領域Ａ４，Ａ８のみについて、参照画像の形状に対応する対応部分Ａ５，Ａ９を検出すればよいため、処理に要する時間を短縮することができる。
【００５４】
クレーン装置１では、制御部５０は、距離情報に基づいて、撮像画像Ｐ１において対象物であるコイルＣ又は積付マークＭが位置している第１領域Ａ１を推定し、色彩情報に基づいて、撮像画像Ｐ１において対象物であるコイルＣ又は積付マークＭが位置している第２領域Ａ２を推定し、第１領域Ａ１及び第２領域Ａ２の少なくとも一方に含まれているＯＲ領域を含む領域を、対象領域Ａ４，Ａ８として撮像画像Ｐ１から抽出する。これにより、対象物での鏡面反射の影響を受けやすい距離情報によって対象物が位置していると推定された第１領域Ａ１に加えて、対象物での鏡面反射の影響を受けにくい色彩情報によって対象物が位置していると推定された第２領域Ａ２についても、対象領域Ａ４，Ａ８として撮像画像Ｐ１から抽出する。よって、対象物が存在しているにもかかわらず対象物を検知することができないことが抑制され、吊具３０と対象物との位置関係をより確実に取得することができる。
【００５５】
或いは、クレーン装置１では、制御部５０は、距離情報に基づいて、撮像画像Ｐ１において対象物であるコイルＣ又は積付マークＭが位置している第１領域Ａ１を推定し、色彩情報に基づいて、撮像画像Ｐ１において対象物であるコイルＣ又は積付マークＭが位置している第２領域Ａ２を推定し、第１領域Ａ１に含まれ且つ第２領域Ａ２に含まれているＡＮＤ領域を含む領域を、対象領域Ａ４，Ａ８として撮像画像Ｐ１から抽出する。これにより、外乱光の影響を受けやすい距離情報だけでなく、外乱光の影響を受けにくい色彩情報によっても対象物が位置していると推定された領域を、対象領域Ａ４，Ａ８として撮像画像Ｐ１から抽出する。よって、対象物が存在していない領域においても対象物が存在していると誤検知してしまうことが抑制され、吊具３０と対象物との位置関係をより確実に取得することができる。
【００５６】
クレーン装置１は、吊具３０を移動させる移動機構１０を備え、制御部５０は、撮像画像Ｐ１における対応部分Ａ５，Ａ９と、吊具３０が荷であるコイルＣの荷掴み又は荷下ろしを行う際に、撮像画像Ｐ１において対応部分Ａ５，Ａ９が位置すべき基準部分Ａ６，Ａ１０と、の位置ずれを検出し、移動機構１０は、位置ずれが無くなるように吊具３０を移動させる。これにより、吊具３０を対象物の直上に精度良く位置させることができる。
【００５７】
クレーン装置１では、対象物は、吊具３０により荷掴みされるコイルＣである。これにより、吊具３０によりコイルＣを荷掴みする状況において、吊具３０とコイルＣとの位置関係をより確実に取得することができる。
【００５８】
或いは、クレーン装置１では、対象物は、吊具３０により保持されたコイルＣが荷下ろしされるスキッドＳの積付マークＭである。これにより、吊具３０によりコイルＣを荷下ろしする状況において、吊具３０とスキッドＳとの位置関係をより確実に取得することができる。
【００５９】
［第２実施形態］
［クレーン装置の構成］
第２実施形態に係るクレーン装置について説明する。第２実施形態に係るクレーン装置は、第１実施形態に係るクレーン装置１と比較して、クレーンの種類及び移載される荷が異なる。以下、第１実施形態に係るクレーン装置１と異なる点について主に説明する。
【００６０】
図１３は、第２実施形態に係るクレーン装置１Ａを示すブロック図である。図１４は、クレーン装置１Ａの正面図である。図１５は、クレーン装置１Ａの斜視図である。図１３〜図１５に示されるように、第２実施形態に係るクレーン装置１Ａは、例えば接岸したコンテナ船に対してコンテナ（荷）Ｄの移載等が行われるコンテナターミナルにおいて、コンテナヤードＹに配されてコンテナＤの荷役を行うコンテナ荷役用クレーンである。クレーン装置１Ａは、移動機構１０Ａ、吊具３０Ａ、撮像部４０、距離情報取得部４１、色彩情報取得部４２、表示部４３、制御部５０、及び運転室６０Ａを備えている。吊具３０Ａは、スプレッダとも称される。また、クレーン装置１Ａは、移動機構１０Ａ及び吊具３０Ａを制御する搬送制御部５１Ａ、並びに、搬送制御部５１Ａに接続されたエンコーダ３１及び振れセンサ３２を備えている。
【００６１】
コンテナＤは、ＩＳＯ規格コンテナ等のコンテナである。コンテナＤは、長尺の直方体状を呈し、その長手方向において例えば２０フィート、４０フィートといった所定の長さを有している。コンテナＤは、その上面の四隅に、それぞれ孔部Ｇｈが形成された被係止部Ｇを備えている（図１６参照）。コンテナＤは、コンテナヤードＹに１段又は複数段積み上げられて複数のロウＥを形成している。各ロウＥは、当該ロウＥを構成するコンテナＤの長手方向が他のロウＥを構成するコンテナＤの長手方向に対して平行となるように、縦横に整列している。コンテナＤは、所定の形状、所定の大きさを有している。また、被係止部Ｇは、所定の形状、所定の大きさ、及び所定の色彩を有している。
【００６２】
以下の説明では、各コンテナＤのうち、吊具３０Ａによって荷掴みされようとしているコンテナＤを対象コンテナＤ１と呼ぶ（図１４参照）。また、吊具３０Ａによって保持されているコンテナＤを保持コンテナＤ２と呼び、その上に保持コンテナＤ２が荷下ろしされようとしているコンテナＤを目標コンテナ（載置部）Ｄ３と呼ぶ（図１５参照）。対象コンテナＤ１、保持コンテナＤ２、及び目標コンテナＤ３は、コンテナＤの移載の状況によってコンテナＤの呼び方が変化したものである。
【００６３】
移動機構１０Ａは、吊具３０Ａを移動（水平移動、上下移動、及び回転移動）させる機構である。移動機構１０Ａは、走行装置１４、２組の一対の脚部１５，１５、ガーダー１２Ａ、及びトロリー１３Ａを有している。走行装置１４は、２組の一対の脚部１５，１５の下端にそれぞれ設けられたタイヤ付車輪を含んでおり、走行モータによってタイヤ付車輪を駆動することで２組の一対の脚部１５，１５を前後に走行可能としている。ガーダー１２Ａは、２組の一対の脚部１５，１５の上端部同士に亘って略水平に横架されている。これにより、ガーダー１２Ａは、走行装置１４が２組の一対の脚部１５，１５を前後に走行させることで、当該ガーダー１２Ａの延在方向に対して直交する水平方向に移動可能となっており、この方向にトロリー１３Ａ及び吊具３０Ａを移動させることができる。
【００６４】
トロリー１３Ａは、ガーダー１２Ａの上面を、ガーダー１２Ａの延在方向に沿って横行する。これにより、トロリー１３Ａは、ガーダー１２Ａの延在方向に沿って吊具３０Ａを移動させることができる。また、トロリー１３Ａは、垂下されたワイヤーロープ１７Ａを巻き上げ及び巻き下げする巻上機構１１Ａを有している。更に、トロリー１３Ａは、ワイヤーロープ１７Ａを介して吊具３０Ａを鉛直方向の軸線回りに回転移動させる回転機構（不図示）を有している。
【００６５】
ガーダー１２Ａの下方には、トレーラ、ＡＧＶ［Automated Guided Vehicle］等の搬送台車Ｖの走行路Ｗが敷設されている。クレーン装置１Ａは、搬送台車Ｖによって搬入されたコンテナＤを荷掴みして、当該コンテナＤを、コンテナヤードＹ上、又は、コンテナヤードＹ上に載置された他のコンテナＤ（目標コンテナＤ３）上に荷下ろしする。また、クレーン装置１Ａは、コンテナヤードＹ上、又は、コンテナヤードＹ上に載置された他のコンテナＤ上に載置されているコンテナＤ（対象コンテナＤ１）を荷掴みし、当該コンテナＤを搬送台車Ｖ上に荷下ろして、搬送台車Ｖによって当該コンテナＤを外部に搬出させる。
【００６６】
吊具３０Ａは、コンテナＤの荷掴み、保持、及び荷下ろしを行う器具である。吊具３０Ａは、コンテナＤをその上面側から保持する。吊具３０Ａは、トロリー１３Ａから垂下されたワイヤーロープ１７Ａに吊り下げられている。吊具３０Ａは、トロリー１３Ａの巻上機構１１Ａによりワイヤーロープ１７Ａが巻き上げられることで上方に移動し、巻上機構１１Ａによりワイヤーロープ１７Ａが巻き下げられることで下方に移動する。吊具３０Ａは、本体部１８Ａ及び４個のロックピン（不図示）を有している。
【００６７】
本体部１８Ａは、平面視において、コンテナＤの形状及び大きさに対応した形状及び大きさを有している。すなわち、本体部１８Ａは、平面視において長尺の矩形状を呈している。本体部１８Ａは、その長手方向における中央部の上面側に、ワイヤーロープ１７Ａが掛け回されるシーブ２２を含んでいる。
【００６８】
ロックピンは、コンテナＤを保持するための機構である。ロックピンは、本体部１８Ａの下面の四隅に、本体部１８Ａから下方に突出するように設けられている。ロックピンは、吊具３０ＡがコンテナＤを保持する際に当該コンテナＤの被係止部Ｇの孔部Ｇｈに対応する位置に設けられている。ロックピンは、例えばツイストロックピンであり、鉛直方向の軸線回りに回転可能な係止片を下端に含む。各ロックピンは、コンテナＤの上面の四隅に設けられた各被係止部Ｇの孔部Ｇｈに進入すると共に各係止片を９０度回転させることにより、コンテナＤに係合される。
【００６９】
エンコーダ３１は、巻上機構１１の巻き上げ及び巻き下げの動作量、並びに、トロリー１３Ａの横行の移動量を検出するセンサである。エンコーダ３１の検出結果に基づいて、搬送制御部５１Ａは吊具３０Ａの現在の高さを示す高さ情報を取得する。なお、エンコーダ３１は、巻上機構１１の巻き上げ及び巻き下げの動作量を検出し、トロリー１３Ａの横行の移動量を検出しなくてもよい。振れセンサ３２は、ワイヤーロープ１７Ａが揺動することによる吊具３０Ａの振れ量を検出するセンサである。振れセンサ３２の検出結果に基づいて、搬送制御部５１Ａは吊具３０Ａの現在の振れ量を示す振れ量情報を取得する。
【００７０】
搬送制御部５１Ａは、クレーン装置１Ａの駆動を制御する。例えば、搬送制御部５１Ａは、ガーダー１２Ａの移動、トロリー１３Ａの横行、巻上機構１１Ａによるワイヤーロープ１７の巻き上げ及び巻き下げ（吊具３０Ａの上下方向への移動）、回転機構による吊具３０Ａの回転移動、及び、ロックピンの係止片の回転を制御する。また、搬送制御部５１Ａは、エンコーダ３１の検出結果に基づいて取得した吊具３０Ａの高さ情報、及び、振れセンサ３２の検出結果に基づいて取得した吊具３０Ａの振れ量情報を制御部５０に出力する。
【００７１】
撮像部４０は、吊具３０Ａに設けられ、吊具３０Ａの下方を撮像して撮像画像を取得する撮像機器である。撮像部４０の構成及び機能は、第１実施形態において上述したものと同様である。
【００７２】
距離情報取得部４１は、吊具３０Ａに設けられ、吊具３０Ａの下方のうち撮像部４０により撮像された撮像画像の範囲内の複数の計測点までの距離情報を取得する機器である。ここでは、計測点は、例えばコンテナヤードＹ、コンテナヤードＹ上に載置されたコンテナＤ等の上面に設定される点であり、例えばマトリクス状に設定されていてもよい。計測点は、例えば距離情報取得部４１の水平面内での位置座標を基準とした所定の相対位置に設定されてもよい。距離情報取得部４１の構成及び機能は、第１実施形態において上述したものと同様である。
【００７３】
色彩情報取得部４２は、吊具３０Ａに設けられ、吊具３０Ａの下方のうち撮像部４０により撮像された撮像画像の範囲内の色彩情報を取得する機器である。色彩情報取得部４２の構成及び機能は、第１実施形態において上述したものと同様である。
【００７４】
表示部４３は、撮像画像を表示する表示機器である。また、表示部４３は、制御部５０により生成された強調画像を表示する。表示部４３は、例えばディスプレイであってもよい。表示部４３は、例えば運転室６０Ａ内に設けられている。
【００７５】
制御部５０は、撮像画像を処理して強調画像を生成し、生成した強調画像を表示部４３に表示させる。制御部５０は、対象コンテナＤ１を吊具３０Ａにより荷掴みする荷掴み制御における強調画像、及び、保持コンテナＤ２を目標コンテナＤ３上に荷下ろしする荷下ろし制御における強調画像を生成可能である。
【００７６】
［荷掴み制御］
以下、荷掴み制御における強調画像の表示について説明する。制御部５０は、第１実施形態における荷掴み制御と同様に撮像画像を処理することで、第２実施形態での荷掴み制御における強調画像の表示を行う。
【００７７】
図１６は、参照画像Ｐ９を示す図である。図１７は、荷掴み制御における強調画像Ｐ１０を示す図である。図１６及び図１７に示されるように、制御部５０は、コンテナＤの被係止部Ｇの形状を参照画像Ｐ９として予め記憶している。図１７の強調画像Ｐ１０には、吊具３０Ａの本体部１８Ａの一部、及び、吊具３０Ａにより荷掴みされようとしている対象コンテナＤ１の被係止部Ｇ付近が含まれている。強調画像Ｐ１０では、吊具３０Ａは、対象コンテナＤ１の直上からずれた位置にある。ここでは、「対象物」は、対象コンテナＤ１の被係止部Ｇである。
【００７８】
制御部５０は、距離情報取得部４１により取得された距離情報に基づいて、対象物である対象コンテナＤ１の被係止部Ｇが位置している第１領域を推定する。また、制御部５０は、色彩情報取得部４２により取得された色彩情報に基づいて、対象物である対象コンテナＤ１の被係止部Ｇが位置している第２領域を推定する。制御部５０は、第１領域及び第２領域の少なくとも一方に含まれるＯＲ領域を含む領域を対象領域Ａ１１に設定する。以上のように、制御部５０は、対象領域Ａ１１を撮像画像から抽出する。
【００７９】
そして、制御部５０は、対象領域Ａ１１において、予め記憶している参照画像の形状に対応する対応部分を、公知の画像認識の手法を用いて検出する。なお、制御部５０は、撮像画像のうちの対象領域Ａ１１の外においては、対応部分Ａ１２を検出しない。制御部５０は、撮像画像において検出した対応部分Ａ１２を強調した強調画像Ｐ１０を生成し、生成した強調画像Ｐ１０を表示部４３に表示させる。
【００８０】
強調画像Ｐ１０は、対象コンテナＤ１を荷掴みする前における撮像画像に対して、対象領域Ａ１１をカラー表示すると共に、対象領域Ａ１１以外の領域を灰色に表示している。対象領域Ａ１１は、ＯＲ確度マップにおけるＯＲ領域に代えて、ＡＮＤ確度マップにおけるＡＮＤ領域に基づき設定されてもよい。強調画像Ｐ１０では、対象領域Ａ１１において検出された対応部分Ａ１２である被係止部Ｇの領域が破線で囲まれている。また、強調画像Ｐ１０では、吊具３０Ａが対象コンテナＤ１の荷掴みを行う際に対応部分Ａ１２が位置すべき基準部分Ａ１３が、一点鎖線で表示されている。基準部分Ａ１３は、吊具３０Ａの直下（鉛直方向における下方）に被係止部Ｇが位置している場合の、平面視における被係止部Ｇの形状である。
【００８１】
制御部５０は、対応部分Ａ１２と基準部分Ａ１３との位置ずれを検出する。また、制御部５０は、対応部分Ａ１２と基準部分Ａ１３との大きさの倍率に基づいて吊具３０と対象コンテナＤ１との高さ方向の相対距離を検出してもよく、対応部分Ａ１２と基準部分Ａ１３との角度ずれに基づいて吊具３０と対象コンテナＤ１との回転方向のずれを検出してもよい。制御部５０は、検出した位置ずれに関する情報を搬送制御部５１Ａに出力する。搬送制御部５１Ａは、制御部５０から入力された位置ずれに関する情報に基づいて、移動機構１０Ａにより、当該位置ずれが無くなるように吊具３０Ａを移動させる。すなわち、移動機構１０Ａは、ガーダー１２Ａの移動及びトロリー１３Ａの横行によって、当該位置ずれが無くなるように吊具３０Ａを移動させることで、吊具３０Ａを対象コンテナＤ１の直上に移動させる。このとき、必要に応じて回転機構を駆動させて吊具３０Ａを鉛直方向の軸線回りに回転移動させてもよい。
【００８２】
［荷下ろし制御］
制御部５０は、荷掴み制御と同様に撮像画像を処理することで、荷下ろし制御においても強調画像の表示を行うことが可能である。以下、荷下ろし制御における強調画像の表示について説明する。
【００８３】
図１８は、荷下ろし制御における強調画像Ｐ１１を示す図である。図１８の強調画像Ｐ１１には、吊具３０Ａの本体部１８Ａの一部、吊具３０Ａにより保持されている保持コンテナＤ２の一部、及び、保持コンテナＤ２が荷下ろしされようとしている目標コンテナＤ３の被係止部Ｇ付近が含まれている。強調画像Ｐ１１では、吊具３０Ａは、目標コンテナＤ３の直上からずれた位置にある。ここでは、「対象物」は、目標コンテナＤ３の被係止部Ｇである。
【００８４】
強調画像Ｐ１１は、目標コンテナＤ３上に保持コンテナＤ２を荷下ろしする前における撮像画像に対して、ＯＲ確度マップにおけるＯＲ領域を含む領域である対象領域Ａ１１をカラー表示すると共に、対象領域Ａ１１以外の領域を灰色に表示している。対象領域Ａ１１は、ＯＲ確度マップにおけるＯＲ領域に代えて、ＡＮＤ確度マップにおけるＡＮＤ領域に基づき設定されてもよい。強調画像Ｐ１１では、対象領域Ａ１１において検出された対応部分Ａ１２である被係止部Ｇの領域が破線で囲まれている。また、強調画像Ｐ１１では、吊具３０Ａが保持コンテナＤ２の荷下ろしを行う際に対応部分Ａ１２が位置すべき基準部分Ａ１３が、一点鎖線で表示されている。基準部分Ａ１３は、吊具３０Ａの直下（鉛直方向における下方）に被係止部Ｇが位置している場合の、平面視における被係止部Ｇの形状である。
【００８５】
制御部５０は、対応部分Ａ１２と基準部分Ａ１３との位置ずれを検出する。また、制御部５０は、対応部分Ａ１２と基準部分Ａ１３との大きさの倍率に基づいて吊具３０と目標コンテナＤ３との高さ方向の相対距離を検出してもよく、対応部分Ａ１２と基準部分Ａ１３との角度ずれに基づいて吊具３０と目標コンテナＤ３との回転方向のずれを検出してもよい。制御部５０は、検出した位置ずれに関する情報を搬送制御部５１Ａに出力する。搬送制御部５１Ａは、制御部５０から入力された位置ずれに関する情報に基づいて、移動機構１０Ａにより、当該位置ずれが無くなるように吊具３０Ａを移動させる。すなわち、移動機構１０Ａは、ガーダー１２Ａの移動及びトロリー１３Ａの横行によって、当該位置ずれが無くなるように吊具３０を移動させることで、吊具３０Ａを目標コンテナＤ３の直上に移動させる。このとき、必要に応じて回転機構を駆動させて吊具３０Ａを鉛直方向の軸線回りに回転移動させてもよい。
【００８６】
なお、荷下ろし制御においては、吊具３０Ａが保持コンテナＤ２を保持しているため、保持コンテナＤ２が目標コンテナＤ３に向かって下降していくと、目標コンテナＤ３の被係止部Ｇが保持コンテナＤ２に隠れて撮像画像に表示されなくなる場合がある。そこで、クレーン装置１Ａは、目標コンテナＤ３の被係止部Ｇが表示されなくなる前に、吊具３０Ａが所定の高さに位置する状態において、予め、対応部分Ａ１２と基準部分Ａ１３との位置ずれを検出し、その検出結果に基づいて振れセンサ３２の検出値を校正することで、振れセンサ３２の検出値と当該位置ずれとを対応づける。その後、クレーン装置１Ａは、吊具３０Ａにより保持コンテナＤ２を目標コンテナＤ３に向かって下降させながら、振れセンサ３２の検出結果に基づいて対応部分Ａ１２と基準部分Ａ１３との位置ずれの状態を監視する。これにより、クレーン装置１Ａは、吊具３０Ａが目標コンテナＤ３の直上に位置している状態を維持してもよい。
【００８７】
［作用及び効果］
以上説明したように、クレーン装置１Ａによれば、吊具３０Ａの下方を撮像した撮像画像において、距離情報に基づき対象物である対象コンテナＤ１の被係止部Ｇ又は目標コンテナＤ３の被係止部Ｇが位置している第１領域が推定されると共に、色彩情報に基づき対象物である対象コンテナＤ１の被係止部Ｇ又は目標コンテナＤ３の被係止部Ｇが位置している第２領域が推定される。そして、クレーン装置１Ａは、これらの推定結果に基づいて、対象物が位置している領域を含む対象領域Ａ１１を撮像画像から抽出し、対象領域Ａ１１において参照画像Ｐ９の形状に対応する対応部分Ａ１２を強調して表示する。したがって、クレーン装置１Ａは、距離情報と色彩情報とを相補的に用いて吊具３０Ａと対象物との位置関係を取得することができる。よって、クレーン装置１Ａは、例えば外乱光の影響、対象物での鏡面反射の影響、及び雨粒の検出の影響を受けにくいため、吊具３０Ａと対象物との位置関係をより確実に取得することができる。
【００８８】
クレーン装置１Ａでは、制御部５０は、撮像画像の対象領域Ａ１１の外において、対応部分Ａ１２を検出しない。これにより、撮像画像のうちの対象領域Ａ１１のみについて、参照画像Ｐ９の形状に対応する対応部分Ａ１２を検出すればよいため、処理に要する時間を短縮することができる。
【００８９】
クレーン装置１Ａでは、制御部５０は、距離情報に基づいて、撮像画像において対象物である対象コンテナＤ１の被係止部Ｇ又は目標コンテナＤ３の被係止部Ｇが位置している第１領域を推定し、色彩情報に基づいて、撮像画像において対象物である対象コンテナＤ１の被係止部Ｇ又は目標コンテナＤ３の被係止部Ｇが位置している第２領域を推定し、第１領域及び第２領域の少なくとも一方に含まれているＯＲ領域を含む領域を、対象領域Ａ１１として撮像画像から抽出する。これにより、外乱光の影響及び雨粒の検出の影響を受けやすい距離情報によって対象物が位置していると推定された第１領域に加えて、対象物での鏡面反射の影響を受けにくい色彩情報によって対象物が位置していると推定された第２領域についても、対象領域Ａ１１として撮像画像から抽出する。よって、対象物が存在しているにもかかわらず対象物を検知することができないことが抑制され、吊具３０Ａと対象物との位置関係をより確実に取得することができる。
【００９０】
或いは、クレーン装置１Ａでは、制御部５０は、距離情報に基づいて、撮像画像において対象物である対象コンテナＤ１の被係止部Ｇ又は目標コンテナＤ３の被係止部Ｇが位置している第１領域を推定し、色彩情報に基づいて、撮像画像において対象物である対象コンテナＤ１の被係止部Ｇ又は目標コンテナＤ３の被係止部Ｇが位置している第２領域を推定し、第１領域に含まれ且つ第２領域に含まれているＡＮＤ領域を含む領域を、対象領域Ａ１１として撮像画像から抽出する。これにより、外乱光の影響を受けやすい距離情報だけでなく、外乱光の影響を受けにくい色彩情報によっても対象物が位置していると推定された領域を、対象領域Ａ１１として撮像画像から抽出する。よって、対象物が存在していない領域においても対象物が存在していると誤検知してしまうことが抑制され、吊具３０Ａと対象物との位置関係をより確実に取得することができる。
【００９１】
クレーン装置１Ａは、吊具３０Ａを移動させる移動機構１０Ａを備え、制御部５０は、撮像画像における対応部分Ａ１２と、吊具３０Ａが荷であるコンテナＤの荷掴み又は荷下ろしを行う際に、撮像画像において対応部分Ａ１２が位置すべき基準部分Ａ１３と、の位置ずれを検出し、移動機構１０Ａは、位置ずれが無くなるように吊具３０Ａを移動させる。これにより、吊具３０Ａを対象物の直上に精度良く位置させることができる。
【００９２】
クレーン装置１Ａでは、対象物は、吊具３０Ａにより荷掴みされる対象コンテナＤ１の被係止部Ｇである。これにより、吊具３０Ａにより対象コンテナＤ１を荷掴みする状況において、吊具３０Ａと対象コンテナＤ１との位置関係をより確実に取得することができる。
【００９３】
或いは、クレーン装置１Ａでは、対象物は、吊具３０Ａにより保持された保持コンテナＤ２が荷下ろしされる目標コンテナＤ３の被係止部Ｇである。これにより、吊具３０Ａにより保持コンテナＤ２を荷下ろしする状況において、吊具３０Ａと目標コンテナＤ３との位置関係をより確実に取得することができる。
【００９４】
［変形例］
上述した実施形態は、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。
【００９５】
例えば、第１実施形態及び第２実施形態において、撮像部４０、距離情報取得部４１、及び色彩情報取得部４２を構成する各機器のうちの２種類又は全種類は、共通の機器であってもよい。例えば、撮像部４０及び色彩情報取得部４２は共通のカラーカメラで構成されていてもよく、撮像部４０、距離情報取得部４１、及び色彩情報取得部４２は共通のＲＧＢ画像一体型ＴＯＦカメラで構成されていてもよい。
【００９６】
また、第１実施形態及び第２実施形態において、制御部５０は、ＯＲ確度マップ又はＡＮＤ確度マップに基づいて、物体が存在しないはずの領域に物体が検出された場合に、当該物体を障害物と認識してもよい。
【００９７】
また、対象物は、所定の形状、所定の大きさ、及び所定の色彩を有していればよい。例えば、第１実施形態においては、対象物は、コイルＣ又はスキッドＳの積付マークＭ以外のものであってもよい。或いは、対象物は、コイルＣの一部分であってもよく、スキッドＳの全体であってもよい。第２実施形態においては、対象物は、対象コンテナＤ１の被係止部Ｇ又は目標コンテナＤ３の被係止部Ｇ以外のものであってもよい。或いは、対象物は、対象コンテナＤ１の全体であってもよく、目標コンテナＤ３の全体であってもよい。
【００９８】
また、制御部５０は、基準部分Ａ６，Ａ１０，Ａ１３を予め記憶していてもよい。この場合、制御部５０による演算量を低減することができる。
【００９９】
また、第１実施形態及び第２実施形態において、表示部４３としては、運転室６０，６０Ａ内に設けられたディスプレイに限定されず、あらゆる構成を採用することができる。例えば、表示部４３は、クレーン装置１，１Ａと直接的に又はネットワーク等を通じて間接的に通信可能な携帯端末のディスプレイであってもよい。なお、作業者（運転者）が手動操作にて運転を行わずに、制御部５０による自動運転によってクレーン装置１，１Ａが動作する場合には、表示部４３を省略してもよい。つまり、クレーン装置１，１Ａは、作業者の手動操作により運転されるのではなく制御部５０により自動運転される場合には、表示部４３を備えていなくてもよい。
【０１００】
また、クレーン装置１，１Ａは、天井クレーン及びコンテナ荷役用クレーンにそれぞれ限定されず、他の各種レーンであってもよい。
【符号の説明】
【０１０１】
１，１Ａ…クレーン装置、３０，３０Ａ…吊具、４０…撮像部、４１…距離情報取得部、４２…色彩情報取得部、４３…表示部、５０…制御部、Ｃ…コイル（荷，対象物）、Ｄ…コンテナ（荷）、Ｇ…被係止部（対象物）、Ｍ…積付マーク（対象物）。
【図１】
2019049511.tif 000003
【図２】
2019049511.tif 000004
【図３】
2019049511.tif 000005
【図４】
2019049511.tif 000006
【図５】
2019049511.tif 000007
【図６】
2019049511.tif 000008
【図７】
2019049511.tif 000009
【図８】
2019049511.tif 000010
【図９】
2019049511.tif 000011
【図１０】
2019049511.tif 000012
【図１１】
2019049511.tif 000013
【図１２】
2019049511.tif 000014
【図１３】
2019049511.tif 000015
【図１４】
2019049511.tif 000016
【図１５】
2019049511.tif 000017
【図１６】
2019049511.tif 000018
【図１７】
2019049511.tif 000019
【図１８】
2019049511.tif 000020
【国際調査報告】
2019049511.tif 000021
2019049511.tif 000022
2019049511.tif 000023
2019049511.tif 000024