(57)【要約】【課題】クレーンにおいて作業者から音声で指示を受ける操縦者を支援することにより前記操縦者の誤操作を防止すること。【解決手段】クレーン１０において、音声処理装置３４は、作業者の指示音声のデータに対する音声認識処理を行うことによって指示動作情報ＡＤ１を特定し、さらに、前記指示音声のデータに続いて得られる操縦者の復唱音声のデータに対する音声認識処理を行うことによって復唱動作情報ＡＤ２を特定する（Ｓ１０２，Ｓ１０４）。復唱判定装置３１は、前記復唱動作情報ＡＤ２が前記指示動作情報ＡＤ１と整合するか否かを判定する（Ｓ１０５）。復唱ミス通知装置３１は、前記復唱動作情報ＡＤ２が前記指示動作情報ＡＤ１と整合しないと判定されるときに、復唱ミス警報を通知する（Ｓ２０２）。【選択図】図２
2019214466.tif 000002
【特許請求の範囲】
【請求項１】
作業者の指示音声のデータに対する音声認識処理を行うことによって指示動作情報を特定し、さらに、前記指示音声のデータに続いて得られる操縦者の復唱音声のデータに対する音声認識処理を行うことによって復唱動作情報を特定する音声処理装置と、
前記復唱動作情報が前記指示動作情報と整合するか否かを判定する復唱判定装置と、
前記復唱動作情報が前記指示動作情報と整合しないと判定されるときに、復唱ミス警報を通知する復唱ミス通知装置と、を備えるクレーン。
【請求項２】
前記復唱動作情報が前記指示動作情報と整合すると判定されるときに、前記復唱ミス警報とは異なる操作整合情報を通知する操作整合通知装置をさらに備える、請求項１に記載のクレーン。
【請求項３】
前記復唱音声のデータが得られた後に操縦室内の操作装置に対して行われる操作である対象操作が、前記指示動作情報に反する誤操作であるか否かを判定する誤操作判定装置と、
前記対象操作が前記誤操作であると判定されるときに、誤操作警報を通知する誤操作通知装置と、をさらに備える請求項１または請求項２に記載のクレーン。
【請求項４】
前記操作装置に対する操作に応じて制御対象を制御する制御装置をさらに備え、
前記制御装置は、前記対象操作が前記誤操作ではないと判定されるときに、前記指示動作情報における作動対象の動作量を特定する情報に応じて、前記対象操作に応じた前記制御対象の制御量を制限する、請求項３に記載のクレーン。
【請求項５】
前記操作装置に対する操作に応じて制御対象を制御する制御装置をさらに備え、
前記制御装置は、前記対象操作が前記誤操作であると判定されるときに、前記誤操作に対応する前記制御対象の制御を中止する、請求項３または請求項４に記載のクレーン。
【請求項６】
前記操作装置に対する操作に応じて制御対象を制御する制御装置をさらに備え、
前記制御装置は、前記指示動作情報が特定されてから、または、前記指示動作情報と整合しない前記復唱動作情報が特定されてから予め定められた解除条件が成立するまで、前記指示動作情報に反する前記制御対象の制御を禁止する、請求項３または請求項４に記載のクレーン。
【請求項７】
前記解除条件が、新たな前記指示音声のデータが得られるという第１解除条件、新たに得られる前記復唱音声のデータについて特定される前記復唱動作情報が前記指示動作情報と整合すると判定されるという第２解除条件、および前記操作装置に対して予め定められた解除操作が行われたという第３解除条件のうちの１つまたは複数を含む、請求項６に記載のクレーン。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業者から音声で指示を受ける操縦者を支援する機能を備えるクレーンに関する。
【背景技術】
【０００２】
移動式クレーン、タワークレーンまたは天井クレーンなどのクレーンにおいて、操縦者が、操縦室内のレバーまたはボタンなどの操作装置を操作する。さらに、制御装置が、前記操作装置に対する操作に応じて油圧機器などの制御対象を制御する。
【０００３】
また、クレーン制御部が、マイクを通じて入力される音声に従って前記クレーンを制御することが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−８８３８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、前記クレーンの前記操縦者は、吊り荷の近傍の作業者との間で無線通話装置を通じた音声のやりとりによって状況を確認しつつ、前記操作装置を操作する。前記作業者は、いわゆる玉掛け作業者である。一般に、前記作業者が前記操縦者へ音声により指示を出し、前記操縦者が前記指示を復唱する。
【０００６】
前記作業者は、前記操縦者の前記復唱の音声により、自身の指示が前記操縦者に伝わったか否かを確認できる。また、前記操縦者は、前記作業者による前記指示の確認を経て前記操作装置に対して必要な操作を行う。
【０００７】
しかしながら、前記操縦者が前記作業者との間で前記指示の確認が正しく行われたと勘違いした場合、前記操作装置に対する誤操作が行われるおそれがある。
【０００８】
また、安全性などの諸問題により、前記制御装置が、前記操縦者を介さずに、前記作業者の音声に従って前記クレーンを自動制御することは現実的ではない。
【０００９】
本発明の目的は、作業者から音声で指示を受ける操縦者を支援することにより前記操縦者の誤操作を防止するクレーンを提供することにある。
【課題を解決するための手段】
【００１０】
本発明の一の局面に係るクレーンは、音声処理装置と、復唱判定装置と、復唱ミス通知装置と、を備える。前記音声処理装置は、作業者の指示音声のデータに対する音声認識処理を行うことによって指示動作情報を特定し、さらに、前記指示音声のデータに続いて得られる操縦者の復唱音声のデータに対する音声認識処理を行うことによって復唱動作情報を特定する。前記復唱判定装置は、前記復唱動作情報が前記指示動作情報と整合するか否かを判定する。前記復唱ミス通知装置は、前記復唱動作情報が前記指示動作情報と整合しないと判定されるときに、復唱ミス警報を通知する。
【発明の効果】
【００１１】
本発明によれば、作業者から音声で指示を受ける操縦者を支援することにより前記操縦者の誤操作を防止するクレーンを提供することが可能になる。
【図面の簡単な説明】
【００１２】
【図１】図１は、第１実施形態に係るクレーンの構成図である。
【図２】図２は、第１実施形態に係るクレーンにおける制御関連機器の構成を示すブロック図である。
【図３】図３は、第１実施形態に係るクレーンにおけるＥＣＵおよびメインコントローラーの構成を示すブロック図である。
【図４】図４は、第１実施形態に係るクレーンにおける操縦支援処理の手順の一例を示すフローチャートである。
【図５】図５は、第１実施形態に係るクレーンにおける復唱ミス対応処理の手順の一例を示すフローチャートである。
【図６】図６は、第１実施形態に係るクレーンにおける正常操作対応処理の手順の一例を示すフローチャートである。
【図７】図７は、第１実施形態に係るクレーンにおける誤操作対応処理の手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照しながら、本発明の実施形態について説明する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格を有さない。
【００１４】
［第１実施形態：クレーン１０の概略構成］
第１実施形態に係るクレーン１０は、吊り荷Ｌ０を吊り上げつつ移動させる作業機械である。以下、クレーン１０がジブクレーンである場合の例について説明する。なお、クレーン１０が、天井クレーンなど他のタイプのクレーンであることも考えられる。
【００１５】
図１に示されるように、クレーン１０は、下部基体１０１、上部旋回体１０２、キャブ１０３、ブーム１０４、ウインチ１０５、ガントリ１０６、起伏ロープ１０７、カウンタウェイト１０８、吊りロープ１０９およびフック装置１１０などを備える。ウインチ１０５は、第１ウインチ１０５ａおよび第２ウインチ１０５ｂを含む。
【００１６】
下部基体１０１は、上部旋回体１０２を支える台座部分である。図１に示されるクレーン１０は移動式クレーンであため、下部基体１０１は、走行可能な走行体である。図１は、下部基体１０１がクローラ式の走行体である例を示す。
【００１７】
上部旋回体１０２は、下部基体１０１によって旋回可能に支持されている。キャブ１０３、ブーム１０４、ウインチ１０５、ガントリ１０６およびカウンタウェイト１０８、は、上部旋回体１０２によって支持されており、上部旋回体１０２に連動して旋回する。
【００１８】
キャブ１０３は、操縦室である。第１ウインチ１０５ａおよびガントリ１０６は、起伏ロープ１０７を介してブーム１０４を支える。また、第２ウインチ１０５ｂは、ブーム１０４の先端部のシーブ１０４１に掛けられた吊りロープ１０９を介してフック装置１１０を支える。
【００１９】
第１ウインチ１０５ａは、起伏ロープ１０７の巻き取り、または、繰り出しを行うことにより、ブーム１０４の傾斜角度を変更する。第２ウインチ１０５ｂは、吊りロープ１０９の巻き取り、または、繰り出しを行うことにより、フック装置１１０を昇降させる。
【００２０】
吊り荷Ｌ０は、フック装置１１０に吊される。カウンタウェイト１０８は、ブーム１０４、フック装置１１０および吊り荷Ｌ０の荷重とのバランスをとる。
【００２１】
図２に示されるように、クレーン１０は、エンジン１１、油圧ポンプ１２および油圧制御弁１３などの駆動系の機器を備える。さらに、クレーン１０は、ＥＣＵ（Engine Control Unit）２１、メインコントローラー３１および表示装置３２などの制御系の機器の他、操作装置３３および各種のセンサー８１なども備える。
【００２２】
各種のセンサー８１の検出結果は、ＥＣＵ２１およびメインコントローラー３１へ入力される。センサー８１は、温度センサーおよび圧力センサーなどを含む。
【００２３】
エンジン１１は、油圧ポンプ１２を駆動するディーゼルエンジンである。油圧制御弁１３が、ＥＣＵ２１またはメインコントローラー３１からの制御信号に従って不図示の油圧モーターなどの目的の駆動部へ圧縮油を供給する。前記駆動部は、ウインチ１０５などの駆動対象を駆動する。
【００２４】
ＥＣＵ２１、メインコントローラー３１および表示装置３２は、ＣＡＮ（Controller Area Network）などの車内ＬＡＮ（Local Area Network）を通じて相互に通信可能である。
【００２５】
例えば、ＥＣＵ２１、メインコントローラー３１および表示装置３２は、ＣＡＮ−ＢＵＳなどのバス９を通じて通信する。
【００２６】
ＥＣＵ２１は、各種のセンサー８１の検出結果に応じて、または、メインコントローラー３１からの制御指令に従って、エンジン１１および油圧制御弁１３の一部を制御する。
【００２７】
操作装置３３は、キャブ１０３内において、操縦者Ｈ２の操作を受け付ける装置である。例えば、操作装置３３は、操作レバーおよび操作ボタンなどを含む。また、操作装置３３が、表示装置３２と一体に構成されたタッチパネルを含む場合もある。
【００２８】
キャブ１０３内において、操縦者Ｈ２が操作装置３３を操作する。さらに、メインコントローラー３１が、操作装置３３に対する操作に応じて油圧制御弁１３などの制御対象を制御する。なお、メインコントローラー３１は制御装置の一例である。
【００２９】
表示装置３２は、メインコントローラー３１の制御に従ってクレーン１０の状態を表示する。例えば、表示装置３２は、表示灯、表示計器およびパネルディスプレーのうちの１つまたは複数を含む。
【００３０】
メインコントローラー３１は、操縦者Ｈ２による操作装置３３に対する操作を検出する。さらに、メインコントローラー３１は、操作装置３３に対する操作内容および各種のセンサー８１の検出結果およびＥＣＵ２１から出力されるクレーン１０の状態情報に応じて、油圧制御弁１３の一部などの機器を制御する。
【００３１】
さらに、メインコントローラー３１は、センサー８１の検出結果などのクレーン１０の状態を表す情報を表示装置３２に表示させる。
【００３２】
図３に示されるように、ＥＣＵ２１およびメインコントローラー３１は、それぞれＭＰＵ（Miro Processing Unit）２０１、ＲＡＭ（Random Access Memory）２０２、不揮発性メモリー２０３、信号インターフェイス２０４およびバスインターフェイス２０５などを備える。なお、ＲＡＭ２０２および不揮発性メモリー２０３は、コンピューター読み取り可能な記憶装置である。
【００３３】
ＭＰＵ２０１は、予め不揮発性メモリー２０３に記憶されたプログラムを実行することにより、各種のデータ処理および制御を実行するプロセッサーの一例である。
【００３４】
ＲＡＭ２０２は、ＭＰＵ２０１によって実行される前記プログラムおよびＭＰＵ２０１が導出もしくは参照するデータを一時記憶する揮発性のメモリーである。
【００３５】
不揮発性メモリー２０３は、ＭＰＵ２０１によって実行される前記プログラムおよびＭＰＵ２０１が参照するデータを予め記憶する。例えば、不揮発性メモリー２０３がＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）またはフラッシュメモリーなどであることが考えられる。
【００３６】
信号インターフェイス２０４は、センサー８１の検出信号をデジタルデータへ変換してＭＰＵ２０１へ伝送する。さらに、信号インターフェイス２０４は、ＭＰＵ２０１が出力する制御指令を電流信号または電圧信号などの制御信号へ変換し、制御対象の機器へ出力する。
【００３７】
バスインターフェイス２０５は、自装置のＭＰＵ２０１と他装置のＭＰＵ２０１との間のバス９を通じたデータ通信を中継する。
【００３８】
図２に示されるように、クレーン１０は、通話装置３５、マイクロホン３６およびスピーカー３７をさらに備える。例えば、スピーカー３７は、ヘッドホンまたはイヤホンなどである。また、マイクロホン３６およびスピーカー３７がヘッドセットとして一体に構成されていることが考えられる。
【００３９】
通話装置３５は、相手側の通話装置７３と無線通信を行うことにより、相手側の通話装置７３から第１音声信号ＶＳ１を受信し、その第１音声信号ＶＳ１をスピーカー３７へ出力する。
【００４０】
さらに、通話装置３５は、マイクロホン３６を通じて入力される第２音声信号ＶＳ２を前記無線通信によって相手側の通話装置７３へ送信する。
【００４１】
ところで、クレーン１０の操縦者Ｈ２は、吊り荷Ｌ０の近傍の作業者Ｈ１との間で通話装置３５を通じた音声のやりとりによって状況を確認しつつ、操作装置３３を操作する。作業者Ｈ１は、いわゆる玉掛け作業者である。一般に、作業者Ｈ１が操縦者Ｈ２へ音声により指示を出し、操縦者Ｈ２が前記指示を復唱する。
【００４２】
作業者Ｈ１は、操縦者Ｈ２の前記復唱の音声により、自身の指示が操縦者Ｈ２に伝わったか否かを確認できる。また、操縦者Ｈ２は、作業者Ｈ１による前記指示の確認を経て操作装置３３に対して必要な操作を行う。
【００４３】
しかしながら、操縦者Ｈ２が作業者Ｈ１との間で前記指示の確認が正しく行われたと勘違いした場合、操作装置３３に対する誤操作が行われるおそれがある。
【００４４】
また、安全性などの諸問題により、メインコントローラー３１が、操縦者Ｈ２を介さずに、作業者Ｈ１の音声に従ってクレーン１０を自動制御することは現実的ではない。
【００４５】
クレーン１０は、後述する音声処理装置３４を備える。さらに、メインコントローラー３１および音声処理装置３４が、後述する操縦支援処理を実行する（図４参照）。これにより、クレーン１０は、作業者Ｈ１から音声で指示を受ける操縦者Ｈ２を支援することにより操縦者Ｈ２の誤操作を防止する。
【００４６】
例えば、音声処理装置３４は、ＥＣＵ２１およびメインコントローラー３１と同様に、ＭＰＵ２０１、ＲＡＭ２０２、不揮発性メモリー２０３、信号インターフェイス２０４およびバスインターフェイス２０５などを備える（図３参照）。また、音声処理装置３４が、ＤＳＰ（Digital Signal Processor）などの他のプロセッサーによって実現されることも考えられる。
【００４７】
以下の説明において、作業者Ｈ１が操縦者Ｈ２に対してクレーン１０の操作に関する指示を行う音声のことを指示音声と称する。また、操縦者Ｈ２が前記指示音声に続いて復唱する音声のことを復唱音声と称する。
【００４８】
作業者Ｈ１は、マイクロホン７１、スピーカー７２および通話装置７３を携帯または装着している。例えば、スピーカー７２は、ヘッドホンまたはイヤホンなどである。また、マイクロホン７１およびスピーカー７２がヘッドセットとして一体に構成されていることが考えられる。
【００４９】
作業者Ｈ１の前記指示音声はマイクロホン７１に入力される。通話装置７３は、マイクロホン７１を通じて得られる前記指示音声の信号を無線通信によってクレーン１０の通話装置３５へ送信する。
【００５０】
さらに、通話装置７３は、クレーン１０の通話装置３５から操縦者Ｈ２の前記復唱音声の信号を受信し、前記復唱音声の信号をスピーカー７２へ出力する。
【００５１】
作業者Ｈ１の前記指示音声の信号が第１音声信号ＶＳ１である。また、操縦者Ｈ２の復唱音声の信号が第２音声信号ＶＳ２である。
【００５２】
また、通話装置３５は、第１音声信号ＶＳ１をデジタル音声データである指示音声データＶＤ１へ変換し、その指示音声データＶＤ１を音声処理装置３４へ出力する。
【００５３】
さらに、通話装置３５は、第２音声信号ＶＳ２をデジタル音声データである復唱音声データＶＤ２へ変換し、その復唱音声データＶＤ２を音声処理装置３４へ出力する。
【００５４】
さらに、音声処理装置３４は、指示音声データＶＤ１に対して音声認識処理を行うことによって指示動作情報ＡＤ１を特定する。指示動作情報ＡＤ１は、クレーン１０の動作を指定する情報である。
【００５５】
指示音声データＶＤ１は、“巻き上げ”または“ブーム下降”などのように、クレーン１０における作動対象および前記作動対象の動作方向を特定する音声の情報を含む。
【００５６】
指示音声データＶＤ１が“巻き上げ”という音声のデータである場合、前記作動対象が吊りロープ１０９であり、前記動作方向が巻き上げの方向である。即ち、 “巻き上げ”という音声は、“吊りロープを巻き上げ方向へ動作させる”という音声の省略形である。このように、指示音声データＶＤ１が、前記作動対象の情報と前記作動対象の動作方向の情報とを兼ねる音声の情報を含む場合もある。
【００５７】
また、吊りロープ１０９に対応する制御対象は、油圧制御弁１３のうち第２ウインチ１０５ｂを回転させる油圧モーターへの油の供給量を調節する制御弁である。
【００５８】
そして、音声処理装置３４は、指示音声データＶＤ１から前記作動対象の情報と、前記動作方向の情報とを指示動作情報ＡＤ１として特定する。例えば、指示音声データＶＤ１が“巻き上げ”という音声のデータである場合、前記作動対象の情報である“吊りロープ”の情報と、前記作動対象の動作方向の情報である“巻き上げ方向”の情報とを含む指示動作情報ＡＤ１が特定される。
【００５９】
また、指示音声データＶＤ１が、“１メートル巻き上げ”または“ブーム３メートル下降”などのように、前記作動対象、前記作動対象の動作方向および前記作動対象の動作量を特定する音声の情報を含む場合もある。
【００６０】
上記の場合、音声処理装置３４は、指示音声データＶＤ１から前記作動対象の情報と、前記動作方向の情報と、前記動作量の情報とを指示動作情報ＡＤ１として特定する。
【００６１】
指示動作情報ＡＤ１を特定する処理において、まず、音声処理装置３４は、指示音声データＶＤ１に対して周知の音声認識処理を実行する。これにより、指示音声データＶＤ１が指示文字列のデータへ変換される。
【００６２】
さらに、音声処理装置３４は、指示音声データＶＤ１から前記作動対象、前記動作方向および前記動作量を表す文字列を抽出することにより、指示動作情報ＡＤ１を特定する。なお、前述したように、前記動作方向を表す文字列が、前記作動対象を表す文字列を兼ねる場合もある。
【００６３】
例えば、音声処理装置３４における不揮発性メモリー２０３が、前記作動対象、前記動作方向および前記動作量を表す文字列の候補である複数の候補文字列Ｄ０１を予め記憶している。
【００６４】
そして、音声処理装置３４は、指示音声データＶＤ１から複数の候補文字列Ｄ０１のいずれかに一致する文字列を抽出することにより、指示動作情報ＡＤ１を特定する。
【００６５】
さらに、音声処理装置３４は、復唱音声データＶＤ２に対して音声認識処理を行うことによって復唱動作情報ＡＤ２を特定する。復唱動作情報ＡＤ２は、指示動作情報ＡＤ１と同様に、クレーン１０の動作を指定する情報である。
【００６６】
音声処理装置３４は、指示音声データＶＤ１から指示動作情報ＡＤ１を特定する処理と同様に、復唱音声データＶＤ２から復唱動作情報ＡＤ２を特定する。指示動作情報ＡＤ１および復唱動作情報ＡＤ２は、音声処理装置３４からメインコントローラー３１へ伝送される。
【００６７】
［操縦支援処理］
以下、図４に示されるフローチャートを参照しつつ、前記操縦支援処理の手順の一例について説明する。
【００６８】
メインコントローラー３１は、操作装置３３に対して予め定められた操縦支援開始操作が行われたときに、前記操縦支援処理を開始させる。また、メインコントローラー３１が、起動したときに自動的に前記操縦支援処理を開始させることも考えられる。
【００６９】
以下の説明において、Ｓ１０１，Ｓ１０２，…は、前記操縦支援処理における複数の工程の識別符号を表す。
【００７０】
＜工程Ｓ１０１＞
前記操縦支援処理において、まず、音声処理装置３４が、通話装置３５を通じて作業者Ｈ１の前記指示音声を表す指示音声データＶＤ１を取得する。
【００７１】
＜工程Ｓ１０２＞
続いて、音声処理装置３４は、指示音声データＶＤ１に対する音声認識処理を行うことによって指示動作情報ＡＤ１を特定する。指示動作情報ＡＤ１は、メインコントローラー３１へ伝送される。
【００７２】
なお、工程Ｓ１０２において、音声処理装置３４が指示音声データＶＤ１を前記指示文字列のデータへ変換する処理を行い、メインコントローラー３１が、前記指示文字列のデータから指示動作情報ＡＤ１を特定する処理を行うことも考えられる。
【００７３】
＜工程Ｓ１０３＞
続いて、音声処理装置３４は、通話装置３５を通じて操縦者Ｈ２の前記復唱音声を表す復唱音声データＶＤ２を取得する。
【００７４】
＜工程Ｓ１０４＞
続いて、音声処理装置３４は、指示音声データＶＤ１に続いて得られる復唱音声データＶＤ２に対する音声認識処理を行うことによって復唱動作情報ＡＤ２を特定する。復唱動作情報ＡＤ２は、メインコントローラー３１へ伝送される。
【００７５】
なお、工程Ｓ１０４において、音声処理装置３４が復唱音声データＶＤ２を前記復唱文字列のデータへ変換する処理を行い、メインコントローラー３１が、前記復唱文字列のデータから復唱動作情報ＡＤ２を特定する処理を行うことも考えられる。
【００７６】
＜工程Ｓ１０５＞
次に、メインコントローラー３１が、復唱動作情報ＡＤ２が指示動作情報ＡＤ１と整合するか否かを判定する。
【００７７】
そして、メインコントローラー３１は、復唱動作情報ＡＤ２および指示動作情報ＡＤ１が整合すると判定する場合に処理を工程Ｓ１０７へ移行させ、そうでない場合に処理を工程Ｓ１０６へ移行させる。
【００７８】
＜工程Ｓ１０６＞
工程Ｓ１０６において、メインコントローラー３１は、後述する復唱ミス対応処理を実行する（図５参照）。その後、音声処理装置３４およびメインコントローラー３１が、工程Ｓ１０１からの処理を繰り返す。
【００７９】
＜工程Ｓ１０７＞
一方、工程Ｓ１０７において、メインコントローラー３１は、復唱正常情報を通知する。前記復唱正常情報は、前記指示音声と前記復唱音声とが整合していることを示す。その後、メインコントローラー３１は、処理を工程Ｓ１０８へ移行させる。
【００８０】
例えば、前記復唱正常通知は、前記復唱正常情報を表示装置３２に表示させる処理と、音声処理装置３４を通じて前記復唱正常情報を表す音響をスピーカー３７へ出力する処理とを含む。
【００８１】
＜工程Ｓ１０８＞
続いて、工程Ｓ１０８において、メインコントローラー３１は、復唱音声データＶＤ２の取得に続いて操作装置３３に対して行われる操作である対象操作が検出されるまで待機する。
【００８２】
そして、メインコントローラー３１は、前記対象操作が検出されると処理を工程Ｓ１０９へ移行させる。
【００８３】
前記対象操作の一例は、吊りロープ１０９の垂下長さを調節するための第１操作レバーを巻き上げ側もしくは繰り出し側に倒す操作である。また、前記対象操作の他の例は、ブーム１０４の角度を調節するための第２操作レバーを上昇側もしくは下降側へ倒す操作である。前記第１操作レバーおよび前記第２操作レバーは、操作装置３３に含まれる複数の操作部の一部である。
【００８４】
例えば、メインコントローラー３１は、操作装置３３における前記複数の操作部の操作方向および操作量を表す操作信号の変化を検出することにより、前記対象操作を検出する。前記操作信号は、例えば電流信号または電圧信号である。
【００８５】
また、メインコントローラー３１が、前記操作部各々に対応するプロセスセンサーの検出値の変化を検出することにより、前記対象操作を検出することも考えられる。例えば、前記第１操作レバーを巻き上げ側に倒す操作に対応する前記プロセスセンサーは、パイロット回路における、第２ウインチ１０５ｂを駆動する油圧モーターへの油の流路において油量または油圧を検出するセンサーである。前記第１操作レバーが巻き上げ側へ倒された場合、前記パイロット回路の油量センサーまたは油圧センサーの検出値が、予め定められた方向へ変化する。
【００８６】
＜工程Ｓ１０９＞
続いて、工程Ｓ１０９において、メインコントローラー３１は、前記対象操作が指示動作情報ＡＤ１に反しない正常操作および指示動作情報ＡＤ１に反する誤操作のいずれであるかを判定する。
【００８７】
例えば、メインコントローラー３１における不揮発性メモリー２０３が、動作・操作対応情報Ｄ０２を予め記憶している。動作・操作対応情報Ｄ０２は、指示動作情報ＡＤ１における前記作動対象の候補および前記動作方向の候補の情報と、操作装置３３に対する前記正常操作の候補の情報との対応関係を表す。
【００８８】
メインコントローラー３１は、指示動作情報ＡＤ１における前記作動対象および前記動作方向の情報が、動作・操作対応情報Ｄ０２において前記対象操作に相当する前記正常操作の候補の情報と対応付けられている場合に、前記対象操作が前記正常操作であると判定し、そうでない場合に前記対象操作が前記誤操作であると判定する。
【００８９】
例えば、指示動作情報ＡＤ１が、前記作動対象として“吊りロープ”を表し、前記動作方向として“巻き上げ方向”を表す場合、対応する前記正常操作の候補は、前記第１操作レバーを巻き上げ側に倒す操作である。
【００９０】
なお、動作・操作対応情報Ｄ０２が、指示動作情報ＡＤ１における前記作動対象の候補および前記動作方向の候補の情報と、操作装置３３に対する前記異常操作の候補の情報との対応関係を表すことも考えられる。
【００９１】
上記の場合、メインコントローラー３１は、指示動作情報ＡＤ１における前記作動対象および前記動作方向の情報が、動作・操作対応情報Ｄ０２において前記対象操作の情報と対応付けられている場合に、前記対象操作が前記誤操作であると判定し、そうでない場合に前記対象操作が前記正常操作であると判定する。
【００９２】
そして、メインコントローラー３１は、前記対象操作が前記正常操作であると判定する場合に処理を工程Ｓ１１０へ移行させる。一方、メインコントローラー３１は、前記対象操作が前記誤操作であると判定する場合に処理を工程Ｓ１１１へ移行させる。
【００９３】
＜工程Ｓ１１０＞
工程Ｓ１１０において、メインコントローラー３１は、後述する正常操作対応処理を実行する（図６参照）。その後、音声処理装置３４およびメインコントローラー３１が、工程Ｓ１０１からの処理を繰り返す。
【００９４】
＜工程Ｓ１１１＞
一方、工程Ｓ１１１において、メインコントローラー３１は、後述する誤操作対応処理を実行する（図７参照）。その後、音声処理装置３４およびメインコントローラー３１が、工程Ｓ１０１からの処理を繰り返す。
【００９５】
［復唱ミス対応処理］
以下、図５に示されるフローチャートを参照しつつ、前記復唱ミス対応処理の手順の一例について説明する。
【００９６】
前述したように、復唱動作情報ＡＤ２が指示動作情報ＡＤ１と整合しないと判定される場合に、前記復唱ミス対応処理が実行される。以下の説明において、Ｓ２０１，Ｓ２０２，…は、前記復唱ミス対応処理における複数の工程の識別符号を表す。
【００９７】
＜工程Ｓ２０１＞
前記復唱ミス対応処理において、まず、メインコントローラー３１は、指示動作情報ＡＤ１における前記作動対象および前記動作方向の情報に反する誤制御を禁止する。
【００９８】
指示動作情報ＡＤ１において、前記作動対象が吊りロープ１０９であり、前記動作方向が巻き上げ方向である場合を考える。この場合、前記誤制御の一例は、第２ウインチ１０５ｂを駆動する油圧モーターを、吊りロープ１０９を繰り出す方向へ回転させるように油圧制御弁１３を制御することである。
【００９９】
例えば、メインコントローラー３１は、指示動作情報ＡＤ１における前記作動対象および前記動作方向の情報に反する操作装置３３への操作を無視することにより、前記誤制御を禁止する。この場合、メインコントローラー３１は、操作装置３３に対する操作が検出されたとしても、その操作が指示動作情報ＡＤ１に反する操作である場合、検出された操作に対応する制御出力を行わない。これにより、クレーン１０が、指示動作情報ＡＤ１によって特定される前記作動対象および前記動作方向に反して動作することが未然に防止される。
【０１００】
また、メインコントローラー３１が、後述する工程Ｓ２０４の解除処理が行われるまで、操作装置３３に対する操作の内容に関わらず、操作装置３３に対する操作に対応する制御出力を行わないことも考えられる。
【０１０１】
また、クレーン１０が、メインコントローラー３１による制御に従って、操作装置３３における前記操作部各々の動きをロックする操作部ロック機構を備える場合を考える。この場合、メインコントローラー３１は、指示動作情報ＡＤ１に反する前記操作部の動作をロックするように、前記操作部ロック機構を制御することが考えられる。
【０１０２】
また、クレーン１０が、メインコントローラー３１による制御に従って、油圧制御弁１３などの被制御機器の動作を制限する被制御機器制限装置を備える場合を考える。前記被制御機器制限装置は、電磁弁などの前記被制御機器の動きをロックする装置、または、前記被制御機器への制御信号の伝送ラインを遮断する回路などである。この場合、メインコントローラー３１が、指示動作情報ＡＤ１に反する前記操作部の操作に対応する前記被制御機器が動作しないように、前記被制御機器制限装置を制御することが考えられる。
【０１０３】
＜工程Ｓ２０２＞
さらに、メインコントローラー３１は、前記復唱音声が前記指示音声と整合していないことを示す復唱ミス警報を通知する。
【０１０４】
例えば、前記復唱ミス警報を通知する処理は、前記復唱ミス警報を表示装置３２に表示させる処理と、音声処理装置３４を通じて前記復唱ミス警報を表す音響をスピーカー３７へ出力する処理とを含む。
【０１０５】
＜工程Ｓ２０３＞
さらに、メインコントローラー３１は、予め定められた解除条件が成立するか否か判定する。メインコントローラー３１は、前記解除条件が成立するまで前記誤制御を禁止する状態を維持する。例えば、前記解除条件は、以下に示される３つの条件のうちの１つまたは複数を含む。
【０１０６】
第１解除条件は、新たな指示音声データＶＤ１が得られるという条件である。例えば、工程Ｓ２０３において、音声処理装置３４が、音声処理装置３４を通じて新たな第１音声信号ＶＳ１が入力されるか否かを監視する。
【０１０７】
さらに、音声処理装置３４は、新たな第１音声信号ＶＳ１が入力されたときに、その第１音声信号ＶＳ１に対応する新たな指示音声データＶＤ１をメインコントローラー３１へ出力する。そして、メインコントローラー３１は、新たな指示音声データＶＤ１が得られるときに、前記解除条件が成立すると判定する。
【０１０８】
第２解除条件は、新たに得られる復唱音声データＶＤ２について特定される復唱動作情報ＡＤ２が指示動作情報ＡＤ１と整合すると判定されるという条件である。例えば、工程Ｓ２０３において、音声処理装置３４が、音声処理装置３４を通じて新たな第２音声信号ＶＳ２が入力されるか否かを監視する。
【０１０９】
さらに、音声処理装置３４は、新たな第２音声信号ＶＳ２が入力されたときに、その第２音声信号ＶＳ２に対応する復唱音声データＶＤ２から新たな復唱動作情報ＡＤ２を特定する。
【０１１０】
さらに、メインコントローラー３１が、図５の工程Ｓ１０５と同様に、新たな復唱動作情報ＡＤ２が指示動作情報ＡＤ１と整合するか否かを判定する。そして、メインコントローラー３１は、新たな復唱動作情報ＡＤ２が指示動作情報ＡＤ１と整合すると判定するときに、前記解除条件が成立すると判定する。
【０１１１】
第３解除条件は、操作装置３３に対して予め定められた解除操作が行われたという条件である。
【０１１２】
例えば、音声処理装置３４は、前記第１解除条件、前記第２解除条件および前記第３解除条件の論理和を前記解除条件として判定する。
【０１１３】
また、前記解除条件が、前記第１解除条件または前記第２解除条件と、前記第３解除条件との組み合わせであることも考えられる。この場合、メインコントローラー３１は、前記第１解除条件または前記第２解除条件が成立したときに、表示装置３２に前記第３解除条件の前記解除操作を促す確認メッセージを表示させることが考えられる。
【０１１４】
＜工程Ｓ２０４＞
メインコントローラー３１は、前記解除条件が成立すると判定する場合、工程Ｓ２０１から継続する特定の制御の禁止を解除する。その後、メインコントローラー３１は、前記復唱ミス対応処理を終了させる。
【０１１５】
［正常操作対応処理］
次に、図６に示されるフローチャートを参照しつつ、前記正常操作対応処理の手順の一例について説明する。
【０１１６】
前述したように、図４の工程Ｓ１０８で検出される前記対象操作が、前記正常操作であると判定される場合に、前記正常操作対応処理が実行される。以下の説明において、Ｓ３０１，Ｓ３０２，…は、前記正常操作対応処理における複数の工程の識別符号を表す。
【０１１７】
＜工程Ｓ３０１＞
前記正常操作対応処理において、メインコントローラー３１は、操作整合情報を通知する。前記操作整合情報は、現在行っている操作が前記指示音声および前記復唱音声に整合していることを示す。
【０１１８】
例えば、前記操作整合情報を通知する処理は、前記操作整合情報を表示装置３２に表示させる処理と、音声処理装置３４を通じて前記操作整合情報を表す音響をスピーカー３７へ出力する処理とを含む。
【０１１９】
＜工程Ｓ３０２＞
さらに、メインコントローラー３１は、指示動作情報ＡＤ１における前記作動対象、前記動作方向および前記動作量の情報に対応する前記制御対象の許容制御量を算出する。
【０１２０】
指示動作情報ＡＤ１において、前記作動対象が吊りロープ１０９であり、前記動作方向が巻き上げ方向であり、前記動作量が１メートルである場合を考える。この場合、前記制御対象は油圧制御弁１３のうちの特定の制御弁である。
【０１２１】
例えば、メインコントローラー３１は、吊りロープ１０９の１メートルの巻き上げに対応する前記特定の制御弁への制御信号の出力時間を、前記許容制御量として算出する。この場合、メインコントローラー３１は、予め定められた単位時間と吊りロープ１０９の巻き上げ長さを乗算して得られる値を、前記許容制御量として算出する。
【０１２２】
また、メインコントローラー３１が、前記特定の制御弁を通じて第２ウインチ１０５ｂを駆動する油圧モーターへ供給される油の量を、前記許容制御量として算出することも考えられる。
【０１２３】
なお、前記動作量に対して正確に対応する前記許容制御量を算出することが難しいことも考えられる。この場合、前記許容制御量が、十分な余裕率を見込んで算出される。
【０１２４】
＜工程Ｓ３０３＞
さらに、メインコントローラー３１は、前記対象操作を監視し、過剰操作を検出したときに、後述する工程Ｓ３０４，Ｓ３０５の処理を実行する。前記過剰操作は、前記許容制御量を超える制御量に対応する前記対象操作である。
【０１２５】
例えば、前記許容制御量が前記制御対象への制御信号の出力時間である場合、メインコントローラー３１は、前記制御対象への制御信号の出力時間が前記許容制御量を超える場合に、前記過剰操作を検出する。
【０１２６】
また、前記許容制御量が前記制御対象を通じて油圧モーターなどの特定の油圧機器へ供給される油の量である場合、メインコントローラー３１は、前記油圧機器へ供給される油の量を検出する前記プロセスセンサーの検出値が前記許容制御量を超える場合に、前記過剰操作を検出する。
【０１２７】
一方、メインコントローラー３１は、前記過剰操作を検出しない場合、前記正常操作対応処理を終了させる。
【０１２８】
＜工程Ｓ３０４，Ｓ３０５＞
メインコントローラー３１は、前記過剰操作を検出した場合、前記制御対象の制御を中止する（Ｓ３０４）。即ち、メインコントローラー３１は、指示動作情報ＡＤ１における前記作動対象の前記動作量を特定する情報に応じて、前記対象操作に応じた前記制御対象の制御量を制限する。
【０１２９】
さらに、メインコントローラー３１は、操作過剰警報を通知する。前記操作過剰警報は、操作装置３３に対する操作量が前記指示音声で指定される動作量に基づいて制限されている状況を示す。その後、メインコントローラー３１は、前記正常操作対応処理を終了させる。
【０１３０】
［誤操作対応処理］
次に、図７に示されるフローチャートを参照しつつ、前記誤操作対応処理の手順の一例について説明する。
【０１３１】
前述したように、図４の工程Ｓ１０８で検出される前記対象操作が、前記誤操作であると判定される場合に、前記誤操作対応処理が実行される。以下の説明において、Ｓ４０１およびＳ４０２は、前記誤操作対応処理における複数の工程の識別符号を表す。
【０１３２】
＜工程Ｓ４０１＞
前記誤操作対応処理において、メインコントローラー３１は、前記誤操作と判定された前記対象操作に対応する前記制御対象の制御を中止する。
【０１３３】
＜工程Ｓ４０２＞
さらに、メインコントローラー３１は、誤操作警報を通知する。前記誤操作警報は、操作装置３３に対して行われている操作が、前記指示音声に反する操作であることを示す。その後、メインコントローラー３１は、前記誤操作対応処理を終了させる。
【０１３４】
以上に示されるように、メインコントローラー３１は、復唱動作情報ＡＤ２が指示動作情報ＡＤ１と整合するか否かを判定する（図４の工程Ｓ１０５参照）。工程Ｓ１０５の処理を実行するメインコントローラー３１は、復唱判定装置の一例である。
【０１３５】
指示動作情報ＡＤ１および復唱動作情報ＡＤ２は、それぞれ指示音声データＶＤ１および復唱音声データＶＤ２から音声処理装置３４によって特定される情報である（図４の工程Ｓ１０２，Ｓ１０４参照）。
【０１３６】
さらに、メインコントローラー３１は、復唱動作情報ＡＤ２が指示動作情報ＡＤ１と整合しないと判定されるときに、前記復唱ミス警報を通知する（図５の工程Ｓ２０２参照）。工程Ｓ２０２の処理を実行するメインコントローラー３１は、復唱ミス通知装置の一例である。
【０１３７】
操縦者Ｈ２は、前記復唱ミス警報によって前記指示音声に対応する自信の復唱のミスに気づく。これにより、操縦者Ｈ２が、前記指示音声の聞き間違い、または、勘違いによって操作装置３３を誤って操作してしまう事態の発生を回避することができる。
【０１３８】
さらに、メインコントローラー３１は、復唱動作情報ＡＤ２が指示動作情報ＡＤ１と整合すると判定されるときに、前記復唱ミス警報とは異なる前記操作整合情報を通知する（図６の工程Ｓ３０１参照）。工程Ｓ３０１の処理を実行するメインコントローラー３１は、操作整合通知装置の一例である。
【０１３９】
操縦者Ｈ２は、前記操作整合情報の通知により、正しく復唱した後に迷い無く速やかに操作装置３３を操作することができる。
【０１４０】
また、メインコントローラー３１は、前記対象操作が、指示動作情報ＡＤ１に反する前記誤操作であるか否かを判定する（図４の工程Ｓ１０９参照）。工程Ｓ１０９の処理を実行するメインコントローラー３１は、誤操作判定装置の一例である。
【０１４１】
前述したように、前記対象操作は、復唱音声データＶＤ２が得られた後にキャブ１０３内の操作装置３３に対して行われる操作である。
【０１４２】
さらに、メインコントローラー３１は、前記対象操作が前記誤操作であると判定されるときに、前記誤操作警報を通知する（図７の工程Ｓ４０２参照）。前記誤操作警報は、前記操作ミス警報および操作整合情報とは内容が異なる。工程Ｓ４０２の処理を実行するメインコントローラー３１は、誤操作通知装置の一例である。
【０１４３】
従って、操縦者Ｈ２は、正しく復唱したにもかかわらず操作装置３３に対して誤った操作を行ってしまったことを速やかに気づくことができる。
【０１４４】
さらに、メインコントローラー３１は、前記対象操作が前記誤操作ではないと判定されるときに、前記対象操作に応じた前記制御対象の制御量を前記許容制御量の範囲内に制限する（図６の工程Ｓ３０３，Ｓ３０４参照）。
【０１４５】
前記許容制御量は、指示動作情報ＡＤ１における前記作動対象の前記動作量を特定する情報に対応して算出される前記制御対象の制御量である（図６の工程Ｓ３０２参照）。
【０１４６】
従って、操縦者Ｈ２が、前記指示音声に対して適切に復唱し、前記作動対象および前記動作方向に対応した操作を行う場合において、過剰な操作を行ってしまうことが回避される。また、メインコントローラー３１が操縦者Ｈ２による操作を介さずに自動制御する場合とは異なり、操縦者Ｈ２を適切に支援することが可能となる。
【０１４７】
また、メインコントローラー３１は、前記対象操作が前記誤操作であると判定されるときに、前記誤操作に対応する前記制御対象の制御を中止する（図７の工程Ｓ４０１参照）。これにより、前記誤操作が継続することを防止できる。
【０１４８】
また、メインコントローラー３１は、指示動作情報ＡＤ１と整合しない復唱動作情報ＡＤ２が特定されてから予め定められた前記解除条件が成立するまで、指示動作情報ＡＤ１に反する前記制御対象の制御を禁止する（図４の工程Ｓ１０５，Ｓ１０６および図５の工程Ｓ２０１〜Ｓ２０４参照）。
【０１４９】
従って、操縦者Ｈ２が、前記指示音声の聞き間違い、または、勘違いによって操作装置３３を誤って操作してしまう事態の発生を確実に回避することができる。
【０１５０】
［第２実施形態］
次に、第２実施形態に係るクレーンについて説明する。本実施形態に係るクレーンは、クレーン１０と同じ構成を備える。
【０１５１】
但し、本実施形態に係るクレーンは、クレーン１０と比較して、メインコントローラー３１が図５の工程Ｓ２０１の処理を実行するタイミングが異なる。
【０１５２】
即ち、第１実施形態においては、メインコントローラー３１は、指示動作情報ＡＤ１と整合しない復唱動作情報ＡＤ２が特定されてから前記解除条件が成立するまで前記誤制御を禁止する（図４の工程Ｓ１０５，Ｓ１０６および図５の工程Ｓ２０１〜Ｓ２０４参照）。
【０１５３】
一方、本実施形態において、メインコントローラー３１は、図４の工程Ｓ１０２において指示動作情報ＡＤ１が特定されたときに前記誤制御を禁止する。即ち、本実施形態におけるメインコントローラー３１は、図５の工程Ｓ２０１の処理を早期に実行する。
【０１５４】
従って、本実施形態におけるメインコントローラー３１は、指示動作情報ＡＤ１が特定されてから前記解除条件が成立するまで前記誤制御を禁止する。前記誤制御は、指示動作情報ＡＤ１における前記作動対象および前記動作方向の情報に反する制御である。
【０１５５】
本実施形態に係るクレーンが採用される場合も、クレーン１０が採用される場合と同様の効果が得られる。
【０１５６】
[応用例]
クレーン１０において、前記復唱ミス対応処理、前記正常操作対応処理および前記誤操作対応処理における一部または全ての工程の処理が、メインコントローラー３１以外のＤＳＰまたはＡＳＩＣ（Application Specific Integrated Circuit）などの装置によって実行されてもよい。
【符号の説明】
【０１５７】
９        ：バス
１０      ：クレーン
１１      ：エンジン
１２      ：油圧ポンプ
１３      ：油圧制御弁
２１      ：ＥＣＵ
３１      ：メインコントローラー（制御装置）
３２      ：表示装置
３３      ：操作装置
３４      ：音声処理装置
３５      ：通話装置
３６      ：マイクロホン
３７      ：スピーカー
７１      ：マイクロホン
７２      ：スピーカー
７３      ：通話装置
８１      ：センサー
１０１    ：下部基体
１０２    ：上部旋回体
１０３    ：キャブ
１０４    ：ブーム
１０５    ：ウインチ
１０５ａ  ：第１ウインチ
１０５ｂ  ：第２ウインチ
１０６    ：ガントリ
１０７    ：起伏ロープ
１０８    ：カウンタウェイト
１０９    ：吊りロープ
１１０    ：フック装置
２０１    ：ＭＰＵ
２０２    ：ＲＡＭ
２０３    ：不揮発性メモリー
２０４    ：信号インターフェイス
２０５    ：バスインターフェイス
１０４１  ：シーブ
ＡＤ１    ：指示動作情報
ＡＤ２    ：復唱動作情報
Ｄ０１    ：候補文字列
Ｄ０２    ：操作対応情報
Ｈ１      ：作業者
Ｈ２      ：操縦者
Ｌ０      ：吊り荷
ＶＤ１    ：指示音声データ
ＶＤ２    ：復唱音声データ
ＶＳ１    ：第１音声信号
ＶＳ２    ：第２音声信号
【図１】
2019214466.tif 000003
【図２】
2019214466.tif 000004
【図３】
2019214466.tif 000005
【図４】
2019214466.tif 000006
【図５】
2019214466.tif 000007
【図６】
2019214466.tif 000008
【図７】
2019214466.tif 000009