(57)【要約】【課題】操作のタイミングの遅れを解消して、荷役効率を向上することができるクレーンの制御システム及び制御方法を提供する。【解決手段】クレーン１０の制御システム２０は、カメラ２１、表示装置２２、位置取得装置２３、２４、及び制御装置２５を有して、位置取得装置２３、２４が取得したスプレッダ１５及び着床ターゲット面３４の平面位置に基づいて、制御装置２５により、スプレッダ１５と着床ターゲット面３４とが平面視で位置が合った状態になったことを特定できる表示が透過背景３３ａに描画された上層画像３３と、カメラ２１が撮像した下層画像３２とを互いに非同期で表示装置２２に積層表示して、上層画像３３の透過背景３３ａから下層画像３２を透過させる構成にした。【選択図】図２
2019206424.tif 000002
【特許請求の範囲】
【請求項１】
一方向に延在する桁部と、この桁部に支持されてこの桁部の延在方向に移動するトロリと、このトロリからワイヤにより吊り下げられた吊具と、を備えるクレーンの制御システムにおいて、
前記トロリに設置されて前記吊具及びその下方のその吊具が着床する着床ターゲット面を含む画像を逐次撮像するカメラと、このカメラが撮像したその画像を逐次表示する表示装置と、前記吊具及び前記着床ターゲット面のそれぞれの平面位置を取得する位置取得装置と、前記カメラ、前記表示装置、及び前記位置取得装置に接続された制御装置とを有して、
前記位置取得装置が取得した前記平面位置に基づいて、前記制御装置により、前記吊具と前記着床ターゲット面とが平面視で位置が合った状態になったことを特定できる表示が透過背景に描画された上層画像を作成し、作成したその上層画像と前記カメラが撮像した前記画像とを互いに非同期で前記表示装置に積層表示させて、前記上層画像の前記透過背景から前記画像を透過させる構成にしたことを特徴とするクレーンの制御システム。
【請求項２】
前記カメラが前記画像を撮像してからその画像が前記表示装置に表示されるまでの時間よりも、前記位置取得装置が前記平面位置を取得してからその平面位置に基づいて作成された前記上層画像が前記表示装置に表示されるまでの時間が早い請求項１に記載のクレーンの制御システム。
【請求項３】
前記画像に基づいて、前記制御装置により、その画像の一部を拡大した拡大画像を作成し、作成したその拡大画像が前記上層画像及び前記画像と共に前記表示装置に積層表示される構成にした請求項１又は２に記載のクレーンの制御システム。
【請求項４】
前記拡大画像は、前記着床ターゲット面の四隅のそれぞれを拡大した画像である請求項３に記載のレーンの制御システム。
【請求項５】
前記位置取得装置が、前記吊具及び前記着床ターゲット面の平面位置に高さ位置を加えた三次元位置を取得可能に構成されて、
前記位置取得装置が取得した前記三次元位置に基づいて、前記制御装置により、前記吊具及び前記着床ターゲット面の相対位置関係に関する表示が前記上層画像に描画される構成にした請求項１〜４のいずれか１項に記載のクレーンの制御システム。
【請求項６】
前記制御装置に接続されて音又は光を発する報知装置を備えて、
前記制御装置により、前記吊具及び前記着床ターゲット面の相対位置関係に関する音又は光を前記報知装置に発せさせる構成にした請求項５に記載のクレーンの制御システム。
【請求項７】
前記制御装置に、前記着床ターゲット面の周囲の状況が予め設定されて、
前記位置取得装置が取得した前記三次元位置及び設定されたその着床ターゲット面の周囲の状況に基づいて、前記制御装置により、前記吊具と前記着床ターゲット面以外との接触を回避させる警告表示が前記上層画像に描画される構成にした請求項５又は６に記載のクレーンの制御システム。
【請求項８】
前記制御装置に接続されて音又は光を発する報知装置を備えて、
前記制御装置により、前記吊具と前記着床ターゲット面以外との接触を回避させる警告を前記報知装置（せさせる構成にした請求項７に記載のクレーンの制御システム。
【請求項９】
前記表示装置に積層表示された積層画像は、前記画像がその表示装置の表示領域の全域に表示され、その画像の上層に積層表示された前記特定できる表示が前記表示領域の中央部に配置されて、その特定できる表示以外の表示、が前記表示領域の外縁部に配置された画像である請求項１〜８のいずれか１項に記載のクレーンの制御システム。
【請求項１０】
一方向に延在する桁部に支持されてこの桁部の延在方向に走行するトロリからワイヤにより吊り下げられた吊具を降ろして、その吊具の下端又はその吊具が掴んだ吊り荷の下端を着床ターゲット面に着床させるクレーンの制御方法において、
前記トロリに設置されたカメラにより前記吊具及びその下方の前記吊具が着床する着床ターゲット面を含む画像を逐次撮像すると共に、位置取得装置により前記吊具及び前記着床ターゲット面のそれぞれの平面位置を逐次取得し、
制御装置により、前記カメラが撮像した前記画像と、取得した前記平面位置に基づいて前記吊具と前記着床ターゲット面とが平面視で位置が合った状態になったことを特定できる表示を透過背景に描画して作成した上層画像とを、互いに非同期で表示装置に積層表示させて、前記上層画像の前記透過背景から前記画像を透過させることを特徴とするクレーンの制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、クレーンの制御システム及び制御方法に関し、より詳細には、荷役効率を向上するクレーンの制御システム及び制御方法に関する。
【背景技術】
【０００２】
フックを用いたクレーンの操作を遠隔化する装置として、カメラで撮影された画像にフックの地上面等特定の高さの水平面への投影点（予想着床中心点）に対応する投影対応点を表示する装置が提案されている（例えば、特許文献１参照）。
【０００３】
この装置では、カメラで撮影された画像に投影対応点を重畳表示することで、クレーンを遠隔地から操作するオペレータに対して、フックの地上面等特定の高さの水平面上の投影点の位置を認識させ易くしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１７９８８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、カメラで撮影された画像は、撮影されてから実際に表示装置に表示されるまでの間に遅延が生じるという問題がある。それ故、特許文献１に記載の装置では、オペレータが実際にクレーンの動作を確認して操作のタイミングを図ることができない遠隔操作において、オペレータに対して遅延した画像が表示されることになり、クレーンの操作のタイミングがずれる要因となっている。このような、画像の遅延を起因とした操作のタイミングのずれは、位置合わせの精度を低下させて、荷役効率を低下させる。
【０００６】
本発明の目的は、操作のタイミングの遅れを解消して、荷役効率を向上することができるクレーンの制御システム及び制御方法を提供することである。
【課題を解決するための手段】
【０００７】
上記の目的を達成する本発明のクレーンの制御装置は、一方向に延在する桁部と、この桁部に支持されてこの桁部の延在方向に移動するトロリと、このトロリからワイヤにより吊り下げられた吊具と、を備えるクレーンの制御システムにおいて、前記トロリに設置されて前記吊具及びその下方のその吊具が着床する着床ターゲット面を含む画像を逐次撮像するカメラと、このカメラが撮像したその画像を逐次表示する表示装置と、前記吊具及び前記着床ターゲット面のそれぞれの平面位置を取得する位置取得装置と、前記カメラ、前記表示装置、及び前記位置取得装置に接続された制御装置とを有して、前記位置取得装置が取得した前記平面位置に基づいて、前記制御装置により、前記吊具と前記着床ターゲット面とが平面視で位置が合った状態になったことを特定できる表示が透過背景に描画された上層画像を作成し、作成したその上層画像と前記カメラが撮像した前記画像とを互いに非同期で前記表示装置に積層表示させて、前記上層画像の前記透過背景から前記画像を透過させる構成にしたことを特徴とする。
【０００８】
上記の目的を達成する本発明のクレーンの制御方法は、一方向に延在する桁部に支持されてこの桁部の延在方向に走行するトロリからワイヤにより吊り下げられた吊具を降ろして、その吊具の下端又はその吊具が掴んだ吊り荷の下端を着床ターゲット面に着床させるクレーンの制御方法において、前記トロリに設置されたカメラにより前記吊具及びその下方の前記吊具が着床する着床ターゲット面を含む画像を逐次撮像すると同時に、位置取得装置により前記吊具及び前記着床ターゲット面のそれぞれの平面位置を取得し、制御装置により、前記カメラが撮像した前記画像と、取得した前記平面位置に基づいて、前記吊具と前記着床ターゲット面とが平面視で位置が合った状態になったことを特定できる表示を透過背景に描画して作成した上層画像とを、互いに非同期で表示装置に積層表示させて、前記上層画像の前記透過背景から前記画像を透過させることを特徴とする。
【発明の効果】
【０００９】
本発明は、透過背景に吊具及び着床ターゲット面が平面視で位置が合った状態になったことを特定できる表示が描画された上層画像とカメラが撮像した画像とを互いに非同期で表示装置に積層表示させる。それ故、本発明によれば、カメラで撮像された画像により吊具の操作を確認しつつ、その画像が表示装置に表示されるまでに遅延が生じても、特定できる表示をリアルタイムに近い状態で表示装置に表示させることができる。これにより、特定できる表示に従わせてオペレータに吊具を操作させることで、操作のタイミングのずれを解消するには有利になり、吊具を着床ターゲット面に着床させたときに吊具と着床ターゲット面との位置が合った状態にできる。
【００１０】
つまり、本発明によれば、オペレータに対して、吊具を降ろす操作を行うタイミングを、特定できる表示により時間的な遅延無く的確に教えることができる。この特定できる表示に従って吊具を着床させることで、未熟者でも吊具と着床ターゲット面との位置合わせに要する時間の短縮には有利になり、荷役効率を向上することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明のクレーンの制御システムの実施形態を例示する構成図である。
【図２】図１の制御システムを例示するブロックである。
【図３】図２の下層画像を例示する説明図である。
【図４】図２の中層画像を例示する説明図である。
【図５】図１のスプレッダ及び着床ターゲット面との位置関係を例示する説明図である。
【図６】図２の上層画像を例示する説明図である。
【図７】図２の積層画像を例示する説明図であり、スプレッダと着床ターゲット面とが平面視で位置が合っていない状態である。
【図８】図２の積層画像を例示する説明図であり、スプレッダと着床ターゲット面とが平面視で位置が合っている状態である。
【図９】図２の制御システムにおける経過時間と下層画像及び中層画像の表示周期、並びに状態量の変化との関係を例示する関係図である。
【図１０】図２の制御システムにおける経過時間と上層画像の表示周期、並びに状態量の変化との関係を例示する関係図である。
【図１１】本発明のクレーンの制御方法の実施形態を例示するフロー図の前半部分である。
【図１２】本発明のクレーンの制御方法の実施形態を例示するフロー図の後半部分である。
【図１３】図１１及び図１２のフロー図の各ステップと経過時間との関係を例示する関係図である。
【発明を実施するための形態】
【００１２】
以下、本発明のクレーンの制御システム及び制御方法の実施形態について説明する。図中では、クレーン１０の桁部（１１、１２）の延在する方向をｘ１方向、ｘ１方向に直交して走行装置１６によりクレーン１０が移動する方向をｙ１方向、鉛直方向をｚ１方向で示す。また、後述する積層画像３０における縦方向をｘ２方向、横方向をｙ２方向で示す。
【００１３】
図１及び図２に例示するクレーン１０の制御システム２０は、クレーン１０から離間した施設に存在するオペレータが遠隔操作によりクレーン１０にコンテナ３１の荷役をさせるシステムである。
【００１４】
図１に例示するように、クレーン１０は岸壁に停泊した船舶に対してコンテナ３１の荷役をするクレーンである。クレーン１０は、ｘ１方向に延在する桁部としてのブーム１１及びガーダ１２と、ブーム１１及びガーダ１２に支持されてｘ１方向に移動するトロリ１３と、吊具としてトロリ１３からワイヤ１４により吊り下げられたスプレッダ１５と、を備える。
【００１５】
スプレッダ１５は、平面視でトロリ１３の中央部から下方に向って吊架した複数本のワイヤ１４により吊り下げられて、ワイヤ１４が巻き取られるあるいは繰り出されることで、上下に昇降させられる。
【００１６】
桁部（１１、１２）は、脚構造体（１７、１８）の上部に支持されて、ブーム１１が脚構造体からｘ１方向海側に張り出し、ガーダ１２が脚構造体からｘ１方向陸側に張り出す。脚構造体は、下端に岸壁に敷設されたｙ１方向に延在するレールに沿って走行可能な走行装置１６が設置されていて、走行装置１６から上方に延在する複数の脚体１７と、その脚体１７を連結する水平梁１８とから構成される。
【００１７】
クレーン１０は、機械室１９に、トロリ１３を横行させる図示しない横行装置、ワイヤ１４を巻き取るあるいは繰り出すことでスプレッダ１５を昇降させる図示しない昇降装置が設置される。なお、クレーン１０としては、横行装置がトロリ１３に設置されるクレーンや、昇降装置がトロリ１３に設置されるクレーンとしてもよい。
【００１８】
制御システム２０は、カメラ２１、表示装置２２、位置取得装置２３、２４、制御装置２５、クレーン用制御装置２６、操作装置２７、及び報知装置２８を有する。制御システム２０は、カメラ２１及び位置取得装置２３、２４が取得した情報に基づいて、制御装置２５により、積層画像３０を表示装置２２に表示させるシステムである。積層画像３０は、カメラ２１で撮像された下層画像３２と位置取得装置２３、２４が取得した情報に基づいて作成された上層画像３３とが互いに非同期で表示装置２２に積層表示された画像である。
【００１９】
カメラ２１は、トロリ１３に設置されていて、スプレッダ１５及びその下方の着床ターゲット面３４を含む画像である無処理画像３５を所定の撮像周期Ｔ１ごとに逐次撮像するカメラである。本明細書において、スプレッダ１５の下方とは、スプレッダ１５が着床するスプレッダ１５のｚ１方向直下も含む。また、着床ターゲット面３４は、スプレッダ１５の下端、あるいはスプレッダ１５が掴んだコンテナ３１の下端が着床する面であり、地面、船舶の接地面、あるいはコンテナ３１の上面が例示される。また、本明細書において、無処理画像３５は、カメラ２１で撮像された後に画像処理が一切行われていない画像である。なお、画像処理は、画像の映りに関するパラメータ（画素、濃度、及び情報量など）を補正する画像補正と、画像自体を編集（画像の一部を選択する、切り取る、拡大・縮小するなど）する画像編集とを区別するものとする。
【００２０】
具体的に、カメラ２１は、側面視で、トロリ１３のｘ１方向の陸側端部に設置されて、カメラレンズ２１ａが斜め下に向けられる。カメラ２１の光軸Ａ１は、側面視で、上方側がｘ１方向陸側に、下方側がｘ１方向海側に向いてｚ１方向に対して傾く。光軸Ａ１は、カメラレンズ２１ａの中心であるカメラ中心点Ｃ１を通過して、カメラレンズ２１ａの面に対する垂直方向に延在する仮想的な軸である。光軸Ａ１は、ｚ１方向に対して、左回りに角度θ１傾く。角度θ１は、カメラ２１が撮像した無処理画像３５にスプレッダ１５及びスプレッダ１５のｚ１方向直下に存在する着床ターゲット面３４（コンテナ３１の上面）が映る角度に設定される。
【００２１】
このように、制御システム２０は、カメラレンズ２１ａを斜め下に向けて、スプレッダ１５及び船舶に積載されたコンテナ３１を俯瞰することで、操作が遠隔化されていないクレーンにおいてトロリに設置された運転室に搭乗したオペレータの視界を再現可能になる。これにより、クレーン１０から離間した施設に存在するオペレータがカメラ２１で撮像された画像によりスプレッダ１５の操作を確認することができ、宛も運転室に搭乗した状態で遠隔操作が可能になり、遠隔操作の操作性を向上するには有利になる。
【００２２】
なお、カメラ２１は、スプレッダ１５及び着床ターゲット面３４を含んだ無処理画像３５を逐次撮像できればよい。カメラ２１は、スプレッダ１５のｚ１方向直上に設置されてカメラレンズ２１ａがｚ１方向真下に向けられた状態を除いて設置場所やカメラレンズ２１ａの向きを適宜変更してもよい。撮像周期Ｔ１は、特に限定されるものでは無いが、遅くとも後述する位置取得装置２３、２４のサンプリング周期Ｔ２以下の周期が例示される。
【００２３】
表示装置２２は、積層画像３０を逐次表示する一台のディスプレイで構成されている。表示装置２２は、クレーン１０から離間した施設に設置されて、クレーン１０の遠隔操作をするオペレータに対して積層画像３０を逐次表示する。一台の表示装置２２が一台のクレーン１０に対応した積層画像３０を表示すればよく、一台の表示装置２２が複数台のクレーン１０に対応した複数の積層画像３０を切り換え可能に表示してもよい。このように、表示装置２２がオペレータに対して一台のディスプレイで構成されることで、オペレータは一台のディスプレイに表示された積層画像３０により集約された情報に注視して遠隔操作が可能になる。それ故、制御システム２０によれば、複数台のディスプレイに表示させる構成に比して、オペレータの視線が移動する頻度が減り、オペレータの注意力が散漫の状態に陥ったり、情報を見落としたりすることを回避するには有利になり、遠隔操作に安全性を向上することができる。
【００２４】
位置取得装置２３、２４は、トロリ１３に設置されて、スプレッダ１５及び着床ターゲット面３４の平面位置に高さ位置を加えて三次元位置を所定のサンプリング周期Ｔ２ごとに逐次取得する装置である。具体的に、位置取得装置２３、２４は、スプレッダ中心点Ｃ２、着床ターゲット面中心点Ｃ３、及び予想着床中心点Ｃ４の三次元位置をサンプリング周期Ｔ２ごとに逐次取得する装置である。なお、サンプリング周期Ｔ２は特に限定されない。
【００２５】
位置取得装置２３は、二次元レーザーセンサや三次元レーザーセンサによる形状認識システムで構成されて、位置取得装置２４は、振れ角センサで構成される。位置取得装置２３、２４は、少なくともスプレッダ１５及び着床ターゲット面３４の平面位置を取得できれば上記の構成に限定されない。例えば、スプレッダ１５の平面位置を取得する装置として、ＧＰＳ受信器、ワイヤ１４の繰り出し量や巻き取り量を測定する装置が例示される。また、着床ターゲット面３４の平面位置を取得する装置として、スプレッダ１５に設置されたレーザーセンサが例示される。また、位置取得装置２３は、スプレッダ１５の平面位置を取得する装置と、着床ターゲット面３４の平面位置を取得する装置との二つの装置としてもよい。
【００２６】
スプレッダ１５は、平面視で短辺がｘ１方向に、長辺がｙ１方向に向いた略長方形状を成して、スプレッダ１５の中心であるスプレッダ中心点Ｃ２は、長方形状の対角線の交点となる。着床ターゲット面３４は、平面視でスプレッダ１５あるいはコンテナ３１と同様に略長方形状を成して、着床ターゲット面３４の中心である着床ターゲット面中心点Ｃ３は、長方形状の対角線の交点となる。予想着床中心点Ｃ４は、スプレッダ中心点Ｃ２が着床ターゲット面３４を含む水平面３６に鉛直投影された点である。水平面３６は、着床ターゲット面３４を含んで水平に広がる面であり、ｚ１方向に対して垂直な面である。
【００２７】
制御装置２５は、各種情報処理を行うＣＰＵ、その各種情報処理を行うために用いられるプログラムや情報処理結果を読み書き可能な内部記憶装置、及び各種インターフェースなどから構成されるハードウェアである。制御装置２５は、クレーン１０から離間した施設、或いはクレーン１０の近傍の地上に設置されて、表示装置２２及び操作装置２７に図示しない信号線を介して電気的に接続される。また、制御装置２５は、無線アンテナ又は光ファイバ等の通信線を介してカメラ２１、位置取得装置２３、２４に通信可能に接続される。
【００２８】
制御装置２５は、着床ターゲット面３４の周囲の状況として船舶に積まれたコンテナ３１の配列情報が予め入力される。着床ターゲット面３４の周囲の状況は、クレーン１０による荷役の進行によって適宜更新される。なお、船舶以外にもコンテナ３１を蔵置するコンテナヤードにおけるコンテナ３１の配列情報が入力されていてもよい。
【００２９】
クレーン用制御装置２６は、制御装置２５と同様に、ＣＰＵ、内部記憶装置、及び各種インターフェースなどから構成されるハードウェアである。クレーン用制御装置２６は、クレーン１０の機械室１９に設置されて、トロリ１３の横行装置、スプレッダ１５の昇降装置、及び走行装置１６に図示しない信号線を介して電気的に接続される。また、クレーン用制御装置２６は、無線アンテナを介して操作装置２７に通信可能に接続される。なお、クレーン用制御装置２６は、無線アンテナの代わりに光ケーブルなどの有線通信を介して操作装置２７に接続されてもよい。
【００３０】
報知装置２８は、オペレータに向けて音又は光を発する装置であり、表示装置２２を見て操作装置２７によりクレーン１０を操作しているオペレータに対して音又は光を発することでスプレッダ１５の状況を瞬時に知らせることが可能な装置である。報知装置２８としては、スピーカ、ブザー、回転灯、及び点滅灯が例示される。スプレッダ１５の状況としては、相対位置関係においてスプレッダ１５及び着床ターゲット面３４が近接した状況やスプレッダ１５が着床ターゲット面３４以外に接触する可能性があり警告を促す必要がある状況が例示される。
【００３１】
図２に例示するように、制御装置２５は、各機能要素として、第一画像作成部４０、第二画像作成部４１、表示制御部４２、及び報知制御部４３を有し、第二画像作成部４１が算出部４４、特定表示作成部４５、相対位置表示作成部４６、及び警告表示作成部４７を有する。この実施形態における各機能要素は、プログラムとして内部記憶装置に記憶されていて、適時、ＣＰＵにより実行されている。なお、各機能要素としては、プログラムの他にそれぞれが独立して機能する電気回路も例示される。また、各機能要素をＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｃｏｎｔｒｏｌｌｅｒ）で構成し、制御装置２５を複数のＰＬＣの集合体としてもよい。
【００３２】
第一画像作成部４０は、カメラ２１で撮像された無処理画像３５に対して画像処理を施して、下層画像３２及び拡大画像３７（中層画像３８）を作成する機能要素である。具体的に、第一画像作成部４０は、無処理画像３５に対して画像処理のうちの画像補正のみを行った下層画像３２を作成し、次いで、作成した下層画像３２に対して画像処理のうちの画像編集を行って複数の拡大画像３７で構成される中層画像３８を作成する機能要素である。
【００３３】
図３に例示するように、下層画像３２は、カメラ２１が撮像した無処理画像３５に対して画像補正を施して鮮明化させた画像であり、画像サイズが無処理画像３５の画像サイズと同等で、積層画像３０の最下層に配置される画像である。下層画像３２は、スプレッダ１５及び荷役対象となるコンテナ３１の上面に設定された着床ターゲット面３４が映った画像である。下層画像３２は、画像補正に要する遅延時間Ｔ３の分だけ、カメラ２１で撮像されてから表示装置２２に遅れて表示される。なお、遅延時間Ｔ３には、カメラ２１で撮像された無処理画像３５がデータとして送信されて制御装置２５に受信されるまでの伝播遅延時間や制御装置２５で画像補正された後に表示装置２２に表示されるまで伝播遅延時間も含むものとする。
【００３４】
図４に例示するように、中層画像３８は、下層画像３２に対して画像編集を施して、下層画像３２に映る部位の一部を拡大した拡大画像３７が複数配置された画像である。中層画像３８は、画像サイズが無処理画像３５の画像サイズと同等で、積層画像３０において下層画像３２よりも上層に積層される画像である。
【００３５】
拡大画像３７は、下層画像３２に映る着床ターゲット面３４の四隅のそれぞれを拡大した画像であり、画像サイズが無処理画像３５の画像サイズよりも小さく、透過背景３８ａの四隅に配置される。本明細書において、透過背景３８ａ（後述する透過背景３３ａも同様）とは下層に配置された画像が透過表示される背景であり、例えば、透明な背景が例示される。また、透過背景３８ａとしては、特定の色成分を透明にし、透明にした部部分に別の映像を合成するクロマキー合成における背景（ブルーバックやグリーンバック）も例示される。中層画像３８は、拡大画像３７の画像編集に要する遅延時間Ｔ４の分だけ、下層画像３２が表示装置２２に表示されてから遅れて表示される。遅延時間Ｔ４も遅延時間Ｔ３と同様に伝播遅延時間を含むものとする。
【００３６】
図２に例示するように、第二画像作成部４１は、位置取得装置２３、２４が取得した測定値に基づいた図形、目盛り、数値を作成し、それらが適宜配置された上層画像３３を作成する機能要素である。具体的に、第二画像作成部４１は、位置取得装置２３、２４が取得した測定値に基づいて、スプレッダ１５と着床ターゲット面３４とが平面視で位置が合った状態になったことを特定できる表示、スプレッダ１５と着床ターゲット面３４との相対位置関係に関する表示、及び、スプレッダ１５と着床ターゲット面３４以外との接触を回避させる警告表示として、図形、目盛り、及び数値が描画された上層画像３３を作成する機能要素である。
【００３７】
算出部４４は、位置取得装置２３、２４が取得した測定値に基づいて、特定できる表示に要する算出値、相対位置関係に関する表示に要する算出値、及び警告表示の判定に要する算出値を算出する機能要素である。具体的に、算出部４４は、特定できる表示に要する算出値として、位置取得装置２３、２４が取得した三次元位置に基づいて、着床ターゲット面中心点Ｃ３、及び予想着床中心点Ｃ４の積層画像３０における二次元座標を算出する機能要素である。また、算出部４４は、相対位置関係に関する表示に要する算出値として、位置取得装置２３、２４が取得した三次元位置に基づいて、スプレッダ１５及び着床ターゲット面３４の間のｚ１方向の高さＨ７、ｘ１方向の距離Ｌ５、及びスプレッダ１５の鉛直軸回りの回転角度であるスキュー角度θ５を算出する機能要素である。加えて、算出部４４は、警告表示の判定に要する算出値として、平面視における着床ターゲット面３４の中心からスプレッダ１５の一端までの距離（Ｌ５＋Ｌ６）と、着床ターゲット面３４の中心からその周囲に存在するコンテナ３１の一端までの距離（Ｌ７＋Ｌ８）を算出する機能要素である。
【００３８】
図５に例示するように、算出部４４は、光軸Ａ１及びカメラ中心点Ｃ１から着床ターゲット面中心点Ｃ３までを結ぶ線分Ａ３のなす角である着床ターゲットなす角θ３と、光軸Ａ１及びカメラ中心点Ｃ１から予想着床中心点Ｃ４までを結ぶ線分Ａ４のなす角である予想着床なす角θ４と、を算出する。そして、算出部４４は、算出した着床ターゲットなす角θ３及び予想着床なす角θ４を用いて着床ターゲット面中心点Ｃ３及び予想着床中心点Ｃ４の積層画像３０（上層画像３３）における二次元座標（Ｌθ３、Ｌθ４）を算出する。また、算出部４４は、その二次元座標を算出する過程で、高さＨ７、距離Ｌ５、スキュー角度θ５、距離（Ｌ５＋Ｌ６）、及び距離（Ｌ７＋Ｌ８）を算出する。
【００３９】
以下では、スプレッダ中心点Ｃ２、着床ターゲット面中心点Ｃ３、及び予想着床中心点Ｃ４の平面位置（ｘ１座標、ｙ１座標）のうちのｙ１座標が略一致しているものとする。クレーン１０において、スプレッダ１５をｚ１方向に昇降するときに走行装置１６によるｙ１方向の移動は完了しており、ｙ１方向の位置合わせは完了している。また、スプレッダ１５をｚ１方向に昇降するときのスプレッダ１５の揺れは、主にトロリ１３の移動方向に生じる。
【００４０】
算出部４４で、着床ターゲットなす角θ３と予想着床なす角θ４とを算出する際のｘ１方向の中心点Ｃ５は、スプレッダ１５とワイヤ１４とを単純振り子と見做した場合に、その単純振り子の支点となる位置を示している。また、ｚ１方向の高さの基準となる基準面３９はトロリ１３の下端面であり、その支点となる中心点Ｃ５を通る鉛直線に垂直な水平面と見做す。なお、中心点Ｃ５及び基準面３９は任意に設定可能であり、中心点Ｃ５はトロリ１３のｘ１方向の中心とは限らず、基準面３９はｚ１方向の高さの基準となればよく、トロリ１３の下端面とは限らない。
【００４１】
図中のＨ１、Ｈ２は位置取得装置２３が取得する測定値であり、Ｈ３〜Ｈ５は予め設定された設定値であり、Ｈ６、Ｈ７は測定値Ｈ１、Ｈ２に基づいて算出部４４が算出される算出値であり、それぞれｚ１方向下方を正、上方を負とする高さを示す。測定値Ｈ１は、位置取得装置２３の下端から着床ターゲット面３４までの高さである。測定値Ｈ２は、位置取得装置２３の下端からスプレッダ１５の上面までの高さである。設定値Ｈ３は、水平面３６から位置取得装置２３の下端までの高さである。設定値Ｈ４は、基準面３９からカメラ中心点Ｃ１までの高さである。設定値Ｈ５は、スプレッダ１５の上端から下端までの高さである。算出値Ｈ６は、カメラ中心点Ｃ１から着床ターゲット面３４までの高さである。算出値である高さＨ７は、スプレッダ１５の下端から着床ターゲット面３４までの間のｚ１方向の高さであり、スプレッダ１５が着床ターゲット面３４に着床するまでの高さである。設定値Ｈ５は、スプレッダ１５がコンテナ３１を掴んでいる場合に、スプレッダ１５の上端からコンテナ３１の下端までの高さになる。また、測定値Ｈ２は、ロープ繰り出し量に基づいて取得される場合に、基準面３９からスプレッダ１５の上面までの高さ（Ｈ２＋Ｈ３）としてもよい。
【００４２】
図中のＬ１は位置取得装置２３が取得する測定値であり、Ｌ２、Ｌ３、Ｌ６、Ｌ７、Ｌ８は予め設定された設定値であり、Ｌ４、Ｌ５は算出部４４が算出する算出値であり、それぞれｘ１方向右側を正、左側を負とする長さを示す。測定値Ｌ１は、位置取得装置２３のｘ１方向の中心から着床ターゲット面中心点Ｃ３までの長さである。設定値Ｌ２は、中心点Ｃ５から位置取得装置２３のｘ１方向の中心までの長さである。設定値Ｌ３は、中心点Ｃ５からカメラ中心点Ｃ１までの長さである。設定値Ｌ６は、スプレッダ１５のｘ１方向の中心から側面までの長さである。設定値Ｌ７は、コンテナ３１のｘ１方向の中心から側面までの長さ、すなわちコンテナ３１のＸ１方向の長さの半分である。設定値Ｌ８は、ｘ１方向に隣接するコンテナ３１どうしの間の距離である。算出値Ｌ４は、カメラ中心点Ｃ１から着床ターゲット面中心点Ｃ３までの長さである。算出値である距離Ｌ５は、着床ターゲット面中心点Ｃ３から予想着床中心点Ｃ４までの間のｘ１方向の長さ（距離）であり、着床ターゲット面３４に対するスプレッダ１５のずれ量である。設定値Ｌ７、Ｌ８は制御装置２５に予め入力されたコンテナ３１の配列情報に基づいた値を用いてもよい。但し、船舶ごとにコンテナ３１の積み位置が異なることから、設定値Ｌ８に関しては、形状認識システムで構成される位置取得装置２３で取得した積み山形状に基づいて算出される値が好ましい。
【００４３】
図中のθ１は予め設定された設定値であり、θ２、θ５は位置取得装置２４が取得する測定値であり、θ３、θ４は算出部４４が算出する算出値であり、それぞれｚ１方向に対して左回りを正、右回りを負とする傾きを示す。設定値θ１は、カメラ２１の光軸Ａ１の傾きである。測定値θ２は、スプレッダ１５のｘ１方向の振れ角であり、鉛直線と、振れ角センサで構成される位置取得装置２４の下端面及び中心点Ｃ５を通る鉛直線の交点並びにスプレッダ中心点Ｃ２を結ぶ線分とのなす角である。測定値であるスキュー角度θ５は、スプレッダ１５の鉛直軸回りの回転角度である。着床ターゲットなす角θ３は、着床ターゲット面中心点Ｃ３及びカメラ中心点Ｃ１を結ぶ線分Ａ３と光軸A１とのなす角である。予想着床なす角θ４は、予想着床中心点Ｃ４及びカメラ中心点Ｃ１を結ぶ線分Ａ４と光軸Ａ１とのなす角である。
【００４４】
算出部４４は、着床ターゲットなす角θ３に基づいて、着床ターゲット面中心点Ｃ３の積層画像３０における二次元座標を算出する。具体的に、算出部４４は、下記の数式（１）〜（３）を用いて着床ターゲットなす角θ３を算出し、算出した着床ターゲットなす角θ３とカメラ２１の画素数とに基づいて、着床ターゲット面中心点Ｃ３の積層画像３０（あるいは上層画像３３）におけるｘ２座標（Ｌθ３：図６参照）を算出する。
【００４５】
【数１】
2019206424.tif 000003
【００４６】
算出部４４は、予想着床なす角θ４に基づいて、予想着床中心点Ｃ４の積層画像３０における二次元座標を算出する。具体的に、算出部４４は、上記の数式（２）、（３）及び下記の数式（４）、（５）を用いて予想着床なす角θ４を算出し、算出したなす角θ４とカメラ２１の画素数とに基づいて、予想着床中心点Ｃ４の積層画像３０におけるｘ２座標（Ｌθ４：図６参照）を算出する。
【００４７】
【数２】
2019206424.tif 000004
算出部４４は、下記の数式（６）を用いて、着床までの距離として高さＨ７を算出する。
【００４８】
【数３】
2019206424.tif 000005
【００４９】
特定表示作成部４５は、算出部４４が算出した二次元座標（（Ｌθ３、０）、（Ｌθ４、０））に基づいて、特定できる表示として、着床ターゲット面中心点Ｃ３を示す着床ターゲット印３３ｂ及び予想着床中心点Ｃ４を示す予想着床印３３ｃを上層画像３３の透過背景３３ａに描画する機能要素である。
【００５０】
相対位置表示作成部４６は、算出部４４が算出したスプレッダ１５及び着床ターゲット面３４の間のｚ１方向の高さＨ７、ｘ１方向の距離Ｌ５、及びスプレッダ１５の鉛直軸回りのスキュー角度θ５に基づいて、相対位置関係に関する表示として、高さ表示３３ｄ、距離表示３３ｅ、及び角度表示３３ｆを上層画像３３の透過背景３３ａに描画する機能要素である。
【００５１】
警告表示作成部４７は、算出部４４が算出した距離（Ｌ５＋Ｌ６）、（Ｌ７＋Ｌ８）に基づいて、スプレッダ１５と着床ターゲット面３４以外との接触を回避させる警告表示を発するか否かを判定し、警告表示を発すると判定した場合に、警告表示３３ｇを上層画像３３の透過背景３３ａに機能要素である。なお、警告表示作成部４７は、スプレッダ１５のスキュー振れ分も追加した距離に基づいて警告表示を発するか否かを判定することが好ましい。
【００５２】
図６に例示するように、上層画像３３は、位置取得装置２３、２４が取得した測定値に基づいて、スプレッダ１５と着床ターゲット面３４との関係を図形、数値、及び目盛りにより視覚化した画像であり、特定表示作成部４５、相対位置表示作成部４６、及び警告表示作成部４７のそれぞれによりそれらの図形、数値、及び目盛りが描画された画像である。上層画像３３は、画像サイズが無処理画像３５と同等で、積層画像３０において下層画像３２よりも上層に積層される画像である。具体的に、上層画像３３は、特定できる表示として、着床ターゲット面中心点Ｃ３を示す着床ターゲット印３３ｂ及び予想着床中心点Ｃ４を示す予想着床印３３ｃが描画される。また、上層画像３３は、相対位置関係に関する表示として、スプレッダ１５及び着床ターゲット面３４の間のｚ１方向の高さ（スプレッダ１５が着床するまでの距離）Ｈ７を示す高さ表示３３ｄ、ｘ１方向の距離Ｌ５を示す距離表示３３ｅ、スプレッダ１５の鉛直軸回りのスキュー角度θ５を示す角度表示３３ｆが描画される。加えて、上層画像３３は、スプレッダ１５と着床ターゲット面３４以外との接触の回避を促す警告表示３３ｇが描画される。上層画像３３は、僅かな算出遅れを起因とする遅延時間Ｔ５の分だけ、位置取得装置２３、２４が三次元位置を取得してから表示装置２２に遅れて表示される。なお、遅延時間Ｔ５も遅延時間Ｔ３と同様に伝播遅延時間を含むものとする。
【００５３】
図２に例示するように、表示制御部４２は、第一画像作成部４０で作成された下層画像３２及び中層画像３８と、第二画像作成部４１で作成された上層画像３３とを非同期で積層合成して積層画像３０を作成し、作成したその積層画像３０を表示装置２２に表示させる機能要素である。
【００５４】
本明細書において、非同期とは、各画像どうしの間の同期を取らないことである。例えば、同時刻にカメラ２１で撮像すると共に位置取得装置２３、２４で測定値を取得した場合に、下層画像３２及び中層画像３８の作成に要する時間よりも、上層画像３３の作成に要する時間の方が短いため、表示装置２２には先に作成が完了する上層画像３３から表示される。つまり、各画像は作成されると即時に積層画像３０として積層合成されて表示装置２２に表示される。
【００５５】
図７及び図８に例示するように、積層画像３０は、上層から下層に向かって順に上層画像３３、中層画像３８、及び下層画像３２が積層され、上層画像３３の透過背景３３ａ及び中層画像３８の透過背景３８ａから下層画像３２を透過させた画像である。積層画像３０は、上層画像３３、中層画像３８、及び下層画像３２のそれぞれの時間軸が異なる画像である。具体的に、積層画像３０は、上層画像３３に描画される図形、数値、目盛りの時間、下層画像３２に描画される映像の時間、及び中層画像３８の拡大画像３７に描画される映像の時間の順に実際の時刻から遅れが生じ、上層画像３３に描画される図形、数値、目盛りの時間が最も実際の時刻に近くなる。
【００５６】
積層画像３０は、特定できる表示である着床ターゲット印３３ｂ及び予想着床印３３ｃが表示装置２２の表示領域（画面）の中央部に配置され、それ以外の相対位置関係に関する表示（３３ｄ〜３３ｆ）や警告表示３３ｇが表示領域の外縁部に配置される。また、拡大画像３７も表示領域の外縁部に配置される。このように、スプレッダ１５の操作タイミングを具体的に図ることが可能な情報を表示領域の中央部に配置し、その操作タイミングを図る上で補助的に作用する情報を表示領域の外縁部に配置することで、情報に優劣を付けることができる。これにより、スプレッダ１５の操作タイミングを図る上で最も重要な特定できる表示を目立たせるには有利になり、操作タイミングを見逃す頻度を低減することができる。なお、下層画像３２におけるスプレッダ１５及び着床ターゲット面３４は、特定できる表示と同様に表示装置２２の表示領域の中央部で透過表示されることが望ましい。
【００５７】
図９及び図１０に例示するように、経過時間における各画像の状態量の変化と各画像の表示周期を比較する。ここでいう状態量とは、例えば、スプレッダ１５の移動量が例示される。下層画像３２の表示周期と中層画像３８の表示周期はカメラ２１の撮像周期Ｔ１、すなわち無処理画像３５の表示と同一の周期であり、上層画像３３の表示周期は位置取得装置２３、２４のサンプリング周期Ｔ２と同一の周期である。つまり、実際の状態量が連続的に変化することに対して、各画像における状態量は各画像の表示周期ごとに変化する。換言すると、各画像における状態量は各画像の表示周期が経過するまでは変化しない。一方で、下層画像３２の表示周期は撮像周期Ｔ１に対して遅延時間Ｔ３が生じ、中層画像３８の表示周期は撮像周期Ｔ１に対して遅延時間Ｔ３及び遅延時間Ｔ４を合計した時間が生じ、上層画像３３の表示周期はサンプリング周期Ｔ２に対して遅延時間Ｔ５が生じる。結果、同一の時間ｔ４における下層画像３２は時間ｔ２における画像となり、中層画像３８は時間ｔ１における画像となり、上層画像３３は時間ｔ３における画像となる。なお、図中の時間α、β、γは各画像において状態量が変化してから経過した時間を示す。
【００５８】
報知制御部４３は、第二画像作成部４１の算出部４４から相対位置表示作成部４６に送信される算出値に基づいて、スプレッダ１５及び着床ターゲット面３４の相対位置関係に関する情報を報知装置２８に報知させる機能要素である。また、報知制御部４３は、第二画像作成部４１の警告表示作成部４７における判定に基づいて、警告表示作成部４７が警告表示を発すると判定した場合に、スプレッダ１５と着床ターゲット面３４以外との接触を回避させる警告を報知装置２８に報知させる機能要素でもある。例えば、報知装置２８は、経時的に音を大きくしたり、音が発せられる間隔を狭めたりして、スプレッダ１５及び着床ターゲット面３４が近接した状況を報知する。また、報知装置２８は、瞬時に警告音を大きくして、スプレッダ１５が着床ターゲット面３４以外に接触する可能性を警告する。加えて、報知装置２８は、スプレッダ１５が着床ターゲット面３４に着床した時に、スプレッダ１５が着床したときに発する着床音を模した音を鳴らして、スプレッダ１５が着床ターゲット面３４に着床したことを報知する。
【００５９】
図１１〜図１３に例示するように、上記の制御システム２０を利用したクレーン１０の制御方法は、オペレータが遠隔操作によりスプレッダ１５を指示された着床ターゲット面３４に着床させるときに行われる方法である。具体的に、この制御方法は、上層画像３３、中層画像３８、及び下層画像３２のそれぞれを互いに非同期で表示装置２２に積層表示させて、上層画像３３及び中層画像３８の透過背景３３ａ、３８ａから下層画像３２を透過させる方法である。なお、図１１及び図１２はデータの流れを例示するフロー図であり、図１３は経過時間ｔ４で表示された各画像の生成工程のタイミングを例示している。
【００６０】
この制御方法は、オペレータが操作装置２７によりスプレッダ１５を着床させる操作が行われるとスタートし、その操作が完了するまで周期的に繰り返し行われる方法である。なお、図中の二重線は並列処理を示すものとする。本明細書において、並列処理は、異なる装置や機能要素で互いに並列的に行われる処理であり、それぞれの処理時間が同期しない場合も含むものとする。
【００６１】
オペレータが操作装置２７によりスプレッダ１５を着床させる操作が行われると、カメラ２１がスプレッダ１５及び着床ターゲット面３４を含む無処理画像３５を撮像周期Ｔ１ごとに逐次撮像する（Ｓ１１０）。このステップＳ１１０に並列して、位置取得装置２３、２４が測定値（Ｈ１、Ｈ２、Ｌ１、θ２、θ５）をサンプリング周期Ｔ２ごとに逐次取得する（Ｓ１２０）。
【００６２】
カメラ２１が無処理画像３５を撮像すると、制御装置２５の第一画像作成部４０が、無処理画像３５に対して画像処理のうちの画像補正を施して、下層画像３２を作成する（Ｓ２１０）。次いで、第一画像作成部４０が、下層画像３２に対して画像処理のうちの画像編集を施して、中層画像３８を作成する（Ｓ２２０）。
【００６３】
位置取得装置２３、２４が測定値を取得すると、第二画像作成部４１の算出部４４が、測定値と設定値とに基づいて、着床ターゲットなす角θ３、予想着床なす角θ４、高さＨ７、距離Ｌ５、スキュー角度θ５、距離（Ｌ５＋Ｌ６）、及び距離（Ｌ７＋Ｌ８）を算出する（Ｓ３１０）。
【００６４】
次いで、特定表示作成部４５が、着床ターゲットなす角θ３と予想着床なす角θ４とカメラ２１の画素数に基づいて、着床ターゲット面中心点Ｃ３と予想着床中心点Ｃ４との上層画像３３における二次元座標を算出し、着床ターゲット面中心点Ｃ３を示す着床ターゲット印３３ｂと予想着床中心点Ｃ４を示す予想着床印３３ｃとを作成する（Ｓ３２０）。このステップに並列して、相対位置表示作成部４６が、高さＨ７、距離Ｌ５、及びスキュー角度θ５に基づいて、高さ表示３３ｄ、距離表示３３ｅ、及び角度表示３３ｆを作成する（Ｓ３３０）。さらに、これらのステップに並列して、警告表示作成部４７が、スプレッダ１５と着床ターゲット面３４以外との接触の可能性の有無を判定する（Ｓ３４０）。このステップでは、算出部４４で算出された距離（Ｌ５＋Ｌ６）が距離（Ｌ７＋Ｌ８）以上になった場合に、スプレッダ１５と着床ターゲット面３４以外との接触の可能性が有ると判定し、距離（Ｌ５＋Ｌ６）が距離（Ｌ７＋Ｌ８）未満になった場合に、スプレッダ１５と着床ターゲット面３４以外との接触の可能性が無いと判定する。次いで、接触の可能性が有ると判定すると（Ｓ３４０：ＹＥＳ）、警告表示作成部４７が、警告表示３３ｇを作成する（Ｓ３５０）。一方、接触の可能性が無いと判定すると（Ｓ３４０：ＮＯ）、警告表示作成部４７が警告表示３３ｇを消去する（Ｓ３６０）。このように、各表示が作成されて、上層画像３３の作成が完了する。
【００６５】
次いで、表示制御部４２が、上層画像３３、中層画像３８、及び下層画像３２を積層して積層画像３０を作成する（Ｓ４１０）。このとき、表示制御部４２は、現時点において各作成部から送られた画像どうしを同期させること無く、順次積層して積層画像３０を作成する。次いで、表示制御部４２が、作成した積層画像３０を表示装置２２に表示させると（Ｓ４２０）、スタートへ戻る。
【００６６】
この表示制御部４２におけるステップに並列して、報知制御部４３が、高さＨ７、距離Ｌ５、及びスキュー角度θ５を報知装置２８により報知させる、あるいは、スプレッダ１５と着床ターゲット面３４以外との接触の可能性が有り、その接触を回避させる警告を報知装置２８により報知させて（Ｓ５１０）、スタートへ戻る。
【００６７】
図７に例示するように、積層画像３０では、着床ターゲット印３３ｂと予想着床印３３ｃとが離間しており、平面視でスプレッダ１５と着床ターゲット面３４との位置が合っていない状態である。積層画像３０において、その中心として光軸Ａ１を示す原点（０、０）に対して、着床ターゲット印３３ｂの二次元座標は（Ｌθ３、０）となり、予想着床印３３ｃの二次元座標は（Ｌθ４、０）となる。このとき、予想着床なす角θ４は着床ターゲットなす角θ３よりも大きく、予想着床印３３ｃは着床ターゲット印３３ｂよりもｘ２方向海側に表示される。
【００６８】
また、この積層画像３０では、高さ表示３３ｄにより、スプレッダ１５が着床ターゲット面３４に着床するまでの距離として高さＨ７が表示され、着床までに多少時間を要することが分かる。また、距離表示３３ｅ、及び角度表示３３ｆにより、スプレッダ１５と着床ターゲット面３４との相対位置関係がずれていることが表示される。加えて、この積層画像３０では、警告表示３３ｇにより、スプレッダ１５が着床ターゲット面３４以外に接触する可能性を示す警告が、スプレッダ１５を移動させる方向を示す図形で表示される。
【００６９】
オペレータは、この積層画像３０を見てスプレッダ１５を着床させるタイミングでないと判断して、スプレッダ１５の位置合わせの操作を行う。具体的に、オペレータは、積層画像３０の下層画像３２によりスプレッダ１５の動きを確認しつつ、トロリ１３をｘ２方向陸側に移動させる、あるいはスプレッダ１５と着床ターゲット面３４との位置が合うタイミングを図る。
【００７０】
図８に例示するように、積層画像３０では、着床ターゲット印３３ｂと予想着床印３３ｃとが重なり合っており、平面視でスプレッダ１５と着床ターゲット面３４との位置が合っている状態である。積層画像３０において、その中心として光軸Ａ１を示す原点（０、０）に対して、着床ターゲット印３３ｂの二次元座標は（Ｌθ３、０）となり、予想着床印３３ｃの二次元座標も（Ｌθ３、０）となる。このとき、予想着床なす角θ４は着床ターゲットなす角θ３に等しい。
【００７１】
また、この積層画像３０では、高さ表示３３ｄにより、スプレッダ１５が着床ターゲット面３４に着床するまでの距離として高さＨ７が表示され、着床の直前であることが分かる。また、距離表示３３ｅ、及び角度表示３３ｆにより、スプレッダ１５と着床ターゲット面３４との相対位置関係がずれていないことが表示される。加えて、この積層画像３０では、警告表示３３ｇが表示されていないことにより、スプレッダ１５が着床ターゲット面３４以外に接触する可能性が無いことが表示される。
【００７２】
オペレータは、この積層画像３０を見てスプレッダ１５を着床させるタイミングであると判断して、スプレッダ１５を着床ターゲット面３４に着床させる操作を行う。具体的に、オペレータは、積層画像３０の下層画像３２によりスプレッダ１５の動きを確認しつつ、スプレッダ１５を着床ターゲット面３４に向けて降ろす。また、オペレータは、スプレッダ１５を着床ターゲット面３４に向けて降ろす最中に、この積層画像３０の拡大画像３７によりスプレッダ１５の位置合わせを確認しながら、スプレッダ１５を着床ターゲット面３４に向けて降ろす。
【００７３】
上記の制御システム２０によれば、下層画像３２と上層画像３３とを非同期で積層表示させることで、カメラ２１で撮像された下層画像３２によりスプレッダ１５の操作を確認しつつ、その下層画像３２が表示装置２２に表示されるまでに遅延が生じても、位置取得装置２３、２４が取得した測定値に基づいて作成された上層画像３３をリアルタイムに近い状態で表示装置２２に表示させることができる。これにより、上層画像３３に描画された特定できる表示（３３ｂ、３３ｃ）に従わせてオペレータに吊具を操作させることで、操作のタイミングのずれを解消するには有利になり、スプレッダ１５を着床ターゲット面３４に着床させたときにスプレッダ１５と着床ターゲット面３４との位置が合った状態にできる。
【００７４】
つまり、制御システム２０によれば、オペレータに対して、スプレッダ１５を降ろす操作を行うタイミングを、特定できる表示（３３ｂ、３３ｃ）により時間的な遅延無く的確に教えることができる。この特定できる表示に従ってスプレッダ１５を着床させることで、未熟者でもスプレッダ１５と着床ターゲット面３４との位置合わせに要する時間の短縮には有利になり、荷役効率を向上することができる。
【００７５】
例えば、カメラ２１で撮像した下層画像３２のみに基づいてオペレータがスプレッダ１５を操作する場合に、下層画像３２においてスプレッダ１５を着床ターゲット面３４に降ろす最適なタイミングを見極めても、実際のそのタイミングのときのスプレッダ１５は別の位置に到達している。つまり、そのような場合に、オペレータは、下層画像３２から把握できるスプレッダ１５の状況からコンマ数秒先の未来を予測しながら運転をしなければならない。
【００７６】
一方、上記の制御システム２０によれば、カメラ２１で撮像された下層画像３２と測定値に基づいて作成された上層画像３３との同期を取らずに、それらを表示装置２２に表示させることで、下層画像３２の遅延時間Ｔ３よりも短い遅延時間Ｔ５でスプレッダ１５の状況を表示させることができる。これにより、スプレッダ１５の未来の状況を予測しながら運転することが不要になり、熟練のオペレータに比して予測の精度が低い未熟なオペレータにスプレッダ１５の位置合わせ操作を正確に行わせることができる。
【００７７】
また、制御システム２０は、カメラ２１で撮像した下層画像３２に遅延が生じてもよいことから、映像をリアルタイム表示可能な装置を用いて映像の表示遅延の時間を小さくする方式に比して、導入コストを削減することが可能になる。
【００７８】
加えて、制御システム２０は、クレーン１０の周囲環境（天候、荷役作業時間（夜間など））の影響によりカメラ２１で撮像した下層画像３２が不鮮明な場合でも、上層画像３３によりオペレータにスプレッダ１５の状況を正確に伝えることが可能になる。これにより、クレーン１０の周囲環境による影響を排除して、遠隔操作によりクレーン１０に荷役させることができる。
【００７９】
なお、スプレッダ１５と着床ターゲット面３４とが平面視で位置が合った状態になったことを特定できる表示としては、着床ターゲット印３３ｂ及び予想着床印３３ｃの重なり具合の他に、文字や記号をスプレッダ１５と着床ターゲット面３４とが平面視で位置が合った状態になった瞬間に表示させてもよい。また、報知装置２８により、スプレッダ１５と着床ターゲット面３４とが平面視で位置が合った状態になったことを特定できる音や光を発するようにしてもよい。
【００８０】
制御システム２０は、着床ターゲット印３３ｂ及び予想着床印３３ｃの重なり具合を、スプレッダ１５と着床ターゲット面３４とが平面視で位置が合っていない状態から位置が合った状態までの経時的な変化として積層画像３０により表示させる。これにより、経時的に変化する着床ターゲット印３３ｂ及び予想着床印３３ｃの重なり具合から、スプレッダ１５を降ろす操作を行うタイミングを図ることができるので、スプレッダ１５と着床ターゲット面３４との平面視での位置合わせに要する時間の短縮には有利になる。
【００８１】
特に、制御システム２０は、スプレッダ１５が振り子のように周期的に揺れた場合でも、スプレッダ１５と着床ターゲット面３４との平面視での位置が合ったときに、スプレッダ１５を降ろす操作を行うことが可能になる。これにより、スプレッダ１５の振れが収まるまで待機する時間を短縮するには有利になる。
【００８２】
なお、スプレッダ１５の振れの周期（振幅）を計測して、予想着床中心点Ｃ４をその周期から予測される予測点としてもよい。クレーン１０を遠隔操作する場合に、操作装置２７の操作に対する各装置が駆動するまでの時間遅れが生じるときがある。この時間遅れにより、着床ターゲット印３３ｂ及び予想着床印３３ｃの重なり具合から、スプレッダ１５を降ろす操作を行うタイミングを図っても、実際にスプレッダ１５が着床ターゲット面３４に着床したときに位置が合わないおそれがある。そこで、予想着床中心点Ｃ４として操作の時間遅れを考慮した予測点を用いることで、各種の時間遅れによる位置ずれを解消するには有利になる。
【００８３】
制御システム２０は、着床ターゲット印３３ｂ及び予想着床印３３ｃに加えて、上層画像３３にスプレッダ１５の中心であるスプレッダ中心点Ｃ２を示すスプレッダ印を描画してもよい。スプレッダ中心点Ｃ２の上層画像３３における二次元座標は、着床ターゲット面中心点Ｃ３や予想着床中心点Ｃ４と同様に、光軸Ａ１に対するなす角に基づいて算出することが可能である。なお、スプレッダ１５に直接、スプレッダ印の代わりとなる目印を設置してもよい。このように、着床ターゲット印３３ｂ及び予想着床印３３ｃに加えて、スプレッダ中心点Ｃ２を示す表示をすることで、目印が増え、スプレッダ１５と着床ターゲット面３４との位置関係を把握するには有利になる。
【００８４】
制御システム２０は、クレーン１０を遠隔操作するシステムであり、カメラ２１が撮像した下層画像３２や中層画像３８で運転室に搭乗したオペレータの視界を再現している。それ故、カメラ２１のカメラレンズ２１ａが斜め下に向けられており、それらの画像のみでスプレッダ１５の数十ｍ下方の着床ターゲット面３４に対して位置が合った状態を見出すには高度な技術を要する。そこで、制御システム２０では、着床ターゲット面中心点Ｃ３及び予想着床中心点Ｃ４を示す着床ターゲット印３３ｂ及び予想着床印３３ｃが描画された上層画像３３を作成する。これにより、スプレッダ１５と着床ターゲット面３４との位置関係を把握するには有利になり、未熟者でも熟練者と同等に高精度な位置合わせを行うことが可能になる。
【００８５】
上述したとおりカメラ２１のカメラレンズ２１ａが斜め下に向けられており、積層画像３０の二次元座標を算出するには、このカメラ２１の光軸Ａ１に対する位置関係を把握する必要がある。そこで、制御システム２０は、着床なす角θ３及び予想着床なす角θ４に基づいて、着床ターゲット面中心点Ｃ３及び予想着床中心点Ｃ４の積層画像３０における二次元座標を算出している。これにより、積層画像３０における着床ターゲット面中心点Ｃ３及び予想着床中心点Ｃ４の二次元座標を高精度に算出するには有利になる。
【００８６】
制御システム２０は、位置取得装置２３、２４によりサンプリング周期Ｔ２ごとに測定値Ｈ１、Ｈ２、Ｌ１、θ２を測定し、上層画像３３における着床ターゲット面中心点Ｃ３及び予想着床中心点Ｃ４の二次元座標を算出する。それ故、波による船舶の揺れなどを起因として着床ターゲット面３４の位置やスプレッダ１５の位置が変化しても、その変化に合わせて、上層画像３３における二次元座標を算出することができる。これにより、高精度な位置合わせには有利になる。
【００８７】
制御システム２０は、上層画像３３に、スプレッダ１５及び着床ターゲット面３４の相対位置関係に関する表示が図形、数値、目盛りとして描画することで、オペレータにスプレッダ１５の現時点の状況をより詳しく把握させることができる。例えば、上層画像３３において着床ターゲット印３３ｂ及び予想着床印３３ｃが一致した場合でも、スプレッダ１５が着床ターゲット面３４に着床するまでの高さＨ７が高いときがある。また、スプレッダ１５に生じるスキュー振れにより、平面視でスプレッダ１５の位置が着床ターゲット面３４に対して鉛直軸回りにずれるときがある。このようなとき、オペレータの操作によりスプレッダ１５を降ろしても、着床したときに平面視でスプレッダ１５が着床ターゲット面３４に対してずれるおそれがある。そこで、スプレッダ１５及び着床ターゲット面３４の相対位置関係に関する表示により、スプレッダ１５の現在位置や姿勢をオペレータに示すことで、高精度な操作タイミングを図ることができる。例えば、スプレッダ１５を降ろす速度を遅くするタイミングも教えることが可能になり、スプレッダ１５が着床ターゲット面３４に着床したときの衝撃を低減するには有利になる。
【００８８】
制御システム２０は、上層画像３３に、スプレッダ１５と着床ターゲット面３４以外との接触を回避させる警告表示３３ｇを表示させることで、その接触を回避する操作をオペレータに教えることができる。例えば、上層画像３３において、警告表示３３ｇが表示されると、オペレータは、現状のままスプレッダ１５を降ろすとスプレッダ１５が着床ターゲット面３４の周囲に存在するコンテナ３１と接触する可能性があることを知ることができる。また、オペレータは、その警告表示３３ｇにより、その接触を回避する操作も知ることができる。このように、オペレータは事前にスプレッダ１５と着床ターゲット面３４以外との接触の可能性を予測することで、遠隔操作における安全性を向上することができる。
【００８９】
クレーン１０は、一方向に延在する桁部と、この桁部に支持されてこの桁部の延在方向に移動するトロリと、このトロリからワイヤにより吊り下げられたスプレッダと、を備えていればよく、船舶に対してコンテナ３１の荷役をするクレーンに限定されない。クレーンとしては、コンテナターミナルにおいて、外来シャーシや蔵置レーンに対してコンテナの荷役をする門型クレーンや天井クレーンも例示される。
【００９０】
既述した実施形態では、図７及び図８において、スプレッダ中心点Ｃ２、着床ターゲット面中心点Ｃ３、及び予想着床中心点Ｃ４の平面位置（ｘ１座標、ｙ１座標）のうちのｙ１座標が略一致しているものとしたが、ｙ１座標もｘ１座標と同様に逐次算出してもよい。走行装置１６によりクレーン１０をｙ１方向に移動する際に、正面視における光軸Ａ１に対する着床ターゲットなす角や予想着床なす角を算出して、積層画像３０におけるｙ２座標の位置合わせを行うことも可能である。
【００９１】
同様に、スプレッダ１５と着床ターゲット面３４以外との接触の回避を促す警告表示３３ｇも、積層画像３０のおけるｙ２方向への移動を示す図形を用いてもよい。なお、警告表示３３ｇを表示させるか否かの判定（Ｓ３４０）は、上記の判定方法に限定されない。例えば、制御装置２５に入力されたコンテナ３１の配列情報により、着床ターゲット面３４の周囲のコンテナ３１が着床ターゲット面３４よりも低い場合に、接触の可能性が無いと判定してもよい。
【００９２】
既述した制御システム２０は、クレーン１０を遠隔操作するものである。この制御システム２０を応用して、例えば、予想着床中心点Ｃ４と着床ターゲット面中心点Ｃ３との重なり具合を偏差として、その偏差に基づいて、制御装置２５により、トロリ１３やスプレッダ１５を自動操作することで、クレーン１０の操作を自動化することも可能である。
【００９３】
また、既述した制御システム２０としては、カメラ２１が無処理画像３５を撮像してから下層画像３２が表示装置２２に表示されるまでの時間よりも、位置取得装置２３、２４が測定値を取得してから上層画像３３が表示装置２２に表示されるまでの時間が早いシステムが例示される。一方で、制御システム２０としては、カメラ２１が撮像してから略遅延時間が無い状態で下層画像３２を表示装置２２に表示させるシステムにも適用可能である。そのようなシステムでも、上層画像３３によりスプレッダ１５の状況を図形、数値、目盛りで視覚的に容易に把握可能になることで、遠隔操作に要する作業時間の短縮や安全性の向上には有利になる。
既述した制御システム２０では、下層画像３２及び中層画像３８を非同期で表示させたが、上層画像３３がリアルタイムに近い状態で表示されればよく、下層画像３２及び中層画像３８を同期させて表示させてもよい。
【符号の説明】
【００９４】
１０  クレーン
１１、１２  桁部
１３  トロリ
１４  ワイヤ
１５  スプレッダ
２０  制御システム
２１  カメラ
２２  表示装置
２３、２４  位置取得装置
２５  制御装置
３０  積層画像
３２  下層画像
３３  上層画像
３４  着床ターゲット面
【図１】
2019206424.tif 000006
【図２】
2019206424.tif 000007
【図３】
2019206424.tif 000008
【図４】
2019206424.tif 000009
【図５】
2019206424.tif 000010
【図６】
2019206424.tif 000011
【図７】
2019206424.tif 000012
【図８】
2019206424.tif 000013
【図９】
2019206424.tif 000014
【図１０】
2019206424.tif 000015
【図１１】
2019206424.tif 000016
【図１２】
2019206424.tif 000017
【図１３】
2019206424.tif 000018