(57)【特許請求の範囲】
【請求項１】
作業対象物を含む作業領域を撮像した画像の信号処理により、上記作業対象物の状況を認識し、自動機に作業の指示を行なう自動機の作業支援装置であって、
上記作業領域内に存在する上記作業対象物の３次元情報を得るための作業３次元計測手段と、
上記作業対象物の状況によりオペレータが提示する作業指示に該当する作業３次元情報を上記３次元計測手段から取得する３次元情報取得手段と、
上記３次元計測手段から得られる上記３次元情報から上記作業指示領域内の３次元物体占有状態を解釈する３次元情報処理手段と、
上記３次元情報処理手段から得られた上記３次元物体占有状態と、上記３次元情報取得手段から得られる上記作業３次元情報とを基に、両者の整合性を検証する３次元情報検証手段とを備えた自動機の作業支援装置において、
代替案生成のための代替案生成ルールを蓄積しておく代替案生成ルールデータベースと、３次元計測手段からの３次元情報および上記代替案生成ルールに基づき、３次元情報検証手段での整合性を有する複数の作業指示の上記代替案を生成する代替案生成手段とを備え、上記代替案生成手段で生成された複数の代替案をオペレータに提示し、上記オペレータが上記代替案を選択して自動機に提示することを特徴とする自動機の作業支援装置。
【請求項２】
作業対象物が複数個の対象物にて構成される場合、代替案生成ルールを、上記複数の作業対象物の最上段位置にある作業対象物で、かつ、上記複数の作業対象物の任意の端部位置にある作業対象物から作業を行うルールとすることを特徴とする請求項１に記載の自動機の作業支援装置。
【請求項３】
作業対象物が複数個の対象物にて構成される場合、代替案生成ルールを、上記複数の作業対象物の最上段位置にある作業対象物で、かつ、上記複数の作業対象物の姿勢が作業終了位置の姿勢に到達するための回転角度が小さい作業対象物から作業を行うルールとすることを特徴とする請求項１に記載の自動機の作業支援装置。
【請求項４】
作業対象物が単体の対象物を積み上げてなる場合、代替案生成ルールを、上記作業対象物の最上部領域である作業対象物領域で、かつ、上記作業対象物領域のうち作業終了位置までの距離が短い作業対象物領域から作業を行うルールとすることを特徴とする請求項１に記載の自動機の作業支援装置。
【請求項５】
オペレータによって選択された代替案を作成するために利用された代替案生成ルールの選択頻度を記録する選択頻度記録手段と、上記選択頻度記録手段の情報を基に選択頻度の多い上記代替案生成ルールを優先する順位を決定し、上記複数の代替案に優先順位をつける優先度決定手段とを備え、複数の代替案に優先順位を付けて上記オペレータに提示することを特徴とする請求項１ないし請求項４のいずれかに記載の自動機の作業支援装置。
【請求項６】
オペレータの指示した作業指示に至るまでの複数の代替案の作業順序を決定し、上記オペレータに提示する作業順序決定手段を備えたことを特徴とする請求項１ないし請求項４のいずれかに記載の自動機の作業支援装置。
【請求項７】
代替案をオペレータが修正し修正作業指示として指示を行う場合、上記修正作業指示の修正作業３次元情報と、３次元情報処理手段から得られた３次元物体占有状態とを基に、両者の整合性を検証する修正代替案検証手段を備えたことを特徴とする請求項１ないし請求項６のいずれかに記載の自動機の作業支援装置。
【請求項８】
オペレータが指示する作業指示に基づき、３次元計測手段の計測範囲を限定する計測範囲限定手段を備えたことを特徴とする請求項１ないし請求項７のいずれかに記載の自動機の作業支援装置。
【請求項９】
請求項１ないし請求項８のいずれかに記載の自動機の作業支援装置において、
上記作業領域を撮像して画像信号に変換する画像入力手段を備え、３次元計測手段は上記画像信号から３次元情報を得、また、オペレータの上記作業対象物に対する作業指示は、上記画像信号から２次元情報を得る画像処理手段の上記２次元情報により行われ、上記画像処理手段の画像処理結果を上記オペレータに提示する情報提示手段と、上記情報提示手段から提示された情報に基づいて上記オペレータが上記作業指示を入力する作業指示入力手段とを備えたことを特徴とする自動機の作業支援装置。
【請求項１０】
作業指示入力手段で入力された作業指示を、画像処理手段の画像処理結果を基に補正する作業指示補正手段を備え、上記作業指示補正手段によって補正された補正作業指示をオペレータが提示する作業指示とすることを特徴とする請求項９に記載の自動機の作業支援装置。
【請求項１１】
３次元情報を、作業領域内に存在する任意の点から作業対象物までの距離にて構成することを特徴とする請求項１ないし請求項１０のいずれかに記載の自動機の作業支援装置。
【請求項１２】
３次元情報検証手段にて不整合と判断された場合、オペレータに警告音を発生する警告音発生手段を備えたことを特徴とする請求項１ないし請求項１１のいずれかに記載の自動機の作業支援装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、画像処理機能を利用して自動的に作業を遂行する事が可能なロボットや産業機械等の自動機において、非自動運転発生時にオペレータによる作業支援を行うための自動機の作業支援装置に関するものである。
【０００２】
【従来の技術】
図１６は例えば特開平１−１７７６１５号公報に示されたロボット用オフラインプログラミング方法を行うための装置の構成を示したブロック図である。図１７は図１６にて示した装置にてロボット用オフラインプログラミング方法を行う作業を示した図である。図１８は図１６に示した装置のロボット用オフラインプログラミング方法のフローチャートを示した図である。
【０００３】
図において、１は作業対象物の距離画像および濃淡画像を生成する画像生成装置で、投光装置１ａ、カメラ１ｂおよび画像処理プロセッサ１ｃにてなる。２は制御プログラムにしたがってオフラインプログラミング処理を実行するメインプロセッサ、３は主記憶装置、４はグラフィックデイスプレイ装置で、デイスプレイ４ａおよびデイスプレイコントローラ４ｂにてなり、デイスプレイコントローラ４ｂには濃淡画像を記録する画面メモリが設けられている。
【０００４】
５はキーボード、６はデイスクコントローラ、７は生成されたロボット動作経路などを記憶するハードデイスク、８はＸ−Ｙプロッタ、９はアーク溶接するための作業対象物で、部材９ａおよび部材９ｂ間をアーク溶接する事が作業目的となる。１０は画面メモリに記憶された距離画像、１１はデイスプレイ画面に描画された作業対象物９の濃淡画像、１２はカーソル、１３は濃淡画像１１上のロボットの動作経路、１４はロボットの３次元動作経路である。
【０００５】
次に、上記のように構成された従来のロボット用オフラインプログラミング方法について説明する。まず、図１７における作業対象物９がカメラの撮像視野内に納まるように、画像生成装置１を配置する。そして、本システムが起動しスタートする（図１８のステップｓ１）。次に、画像生成装置１を用いて距離画像１０および濃淡画像１１の計測を行う（図１８のステップｓ２）。
【０００６】
次に、オペレータはグラフィックデイスプレイ装置４の濃淡画像１１から判断し、作業対象点としての作業の開始点と終点を指示する（図１８のステップｓ３）。次に、濃淡画像１１上の溶接線に沿った作業経路の生成が行なわれる（図１８のステップｓ４）。次に、距離画像１０中から先に設定された作業経路に該当する部分の３次元座標を取得する（図１８のステップｓ５）。次に、この３次元座標にもとづいて、ロボットのアプローチ姿勢が決定され、制御され（図１８のステップｓ６）、経路の終点に達すると処理が終了する。
【０００７】
このようにして、表示装置としてのグラフィックデイスプレイ装置４を通じてオペレータに提示された濃淡画像１１上の情報から、オペレータが指示した作業指示を、３次元計測データに変換して補うことにより、ロボット等の自動機のオフラインプログラミングが可能となる。
【０００８】
また、他の従来の例として、図１９は例えば特開平６ー１１０５４４号公報に示されたロボットの遠隔操作装置の構成を示した図である。図２０は図１９に示したロボットの遠隔操作装置の動作のフローチャートを示した図である。図において、１５は相関検出形の３次元位置計測装置、１６はモニタ装置、１７はマウス、１８は座標変換装置、１９はロボットコントローラである。
【０００９】
２０はロボットで、手先２０ａおよび本体２０ｂからなる。２１はワークである作業対象物、２２は３次元座標を検出すべき点を含む所定の領域を撮像するためのテレビカメラ、２３はこのテレビカメラ２２の視野を変更するための回転機構、２４は回転機構２３の回転角度を検出するための角度検出器、２５は検出すべき所定位置の３次元座標を演算すると共に回転機構２３の駆動を制御する処理装置、２６はモニタ装置１６の画面、２６ａはこの画面２６上のカーソルである。
【００１０】
次に、上記のように構成された従来のロボットの遠隔操作装置の動作について説明する。まず、作業対象物２１が撮像視野内に納まるように、３次元位置計測装置１５が配置される。そして、本システムが起動しスタートされる（図２０のステップｓ７）。次に、３次元位置計測装置１５および同装置内のテレビカメラ２２を用いて、撮像視野内の各点までの３次元距離および濃淡画像の計測が行なわれる（図２０のステップｓ８）。
【００１１】
次に、オペレータにより作業対象点がカーソル２６ａを用いて指示される（図２０のステップｓ９）。次に、３次元位置計測装置１５から提示されている３次元距離情報から、この指示された作業対象点の３次元座標を取得する（図２０のステップｓ１０）。
【００１２】
次に、ロボット２０の手先２０ａ位置と作業対象点の３次元位置との偏差が座標変換手段１８にて算出される（図２０のステップｓ１１）。次に、ロボット２０の手先２０ａ位置は作業対象点の３次元的に解釈された制御が、ロボットコントローラ１９で行なわれ（図２０のステップｓ１２）、経路の終点に達すると処理を終了する（図２０のステップｓ１３）。
【００１３】
また、他の従来の例として、図２１は例えば特公昭５８−５４２１７号公報に記載された到達位置制御装置の構成を示した図である。図２２は図２１に示した到達位置制御装置の一方のテレビカメラの距離測定の具体的な回路構成を示すブロック図、図２３は図２１に示した到達位置制御装置の動作のフローチャートを示した図である。
【００１４】
図において、２７、２８はテレビカメラ、２９、３０、３１、３２は各テレビカメラ２７、２８の仰角および水平角をそれぞれ変更し、光学軸の方位を制御するサーボモータ、３３は原料を積み上げた山にてなる作業対象物、Ｐは作業対象物３３内の作業対象点、３４、３５は各テレビカメラ２７、２８の各テレビモニタ、３６、３７はクロスマークで、作業対象点Ｐを指す。
【００１５】
３８はテレビカメラ２７の方位を制御する方位制御装置で、シャフトエンコーダ３９、４０、仰角制御回路４１および水平制御回路４２を備えている。４３はテレビカメラ計測装置で、テレビカメラの制御回路４４、映像信号処理回路４５、モニター制御回路４６、ポジションメータ４７および演算回路４９を備えている。５０はモニターテレビ５１上に映されたマークを２次元的に移動させるための操作レバーである。演算回路４９には他方のテレビカメラ２８の入力イと出力ロとが備えられている。
【００１６】
次に、上記のように構成された従来の到達位置制御装置の動作について説明する。まず、２台のテレビカメラ２７、２８を、作業対象物３３が撮像視野内に納まるように配置する。そして、本システムが起動してスタートする（図２３のステップｓ１４）。次に、テレビカメラ２７、２８を用いて濃淡画像が入力される（図２３のステップｓ１５）。
【００１７】
次に、モニターテレビ５１に表示された画像を基に、作業対象点Ｐが指示され、座標読取回路４８で座標データが読み取られる（図２３のステップｓ１６）。次に、作業対象点Ｐがテレビモニタ３４、３５の画像の中心点０に一致するように、方位制御装置３８にて制御する（図２３のステップｓ１７）。
【００１８】
次に、２台のテレビカメラ２７、２８の基線距離ｌ及び方位角から三角測量の原理に基づき、作業対象点Ｐまでの距離が計測される（図２３のステップｓ１８）。そして、例えば作業を行う作業装置が駆動され（図２３のステップｓ１９）、経路の終点に達すると処理が終了する。
【００１９】
このようにして、テレビモニタ３４、３５を通じて、オペレータに提示された画像上にて与えられた作業対象点Ｐの指示に基づき、テレビカメラ２７、２８等を駆動して作業対象点Ｐの３次元計測データを取得する事で、装置を作業目標点に制御する事が容易となる。
【００２０】
【発明が解決しようとする課題】
従来の自動機の作業支援装置は以上のように構成されているので、オペレータが２次元情報としての濃淡画像上で指示した内容に、３次元計測情報を補う事で、自動機としてのロボット等が動作可能な３次元経路を与えている。しかし、ロボットが実際の作業を行なった際、２次元情報からは容易に判断できないような不具合、または、オペレータによるミスにより、作業指示の作業対象物あるいはロボットハンドが他の作業対象物に干渉し、作業が遅滞するという問題点があった。
【００２１】
このような問題点は、オペレータが指示した濃淡画像上の経路に相当する３次元情報のみを、３次元情報取得手段から取得することに起因する問題点である。すなわち、上記各の従来技術のみならず、たとえ他の手法を用いようとも、濃淡画像上の２次元経路を３次元情報を用いて補う事のみにより、ロボットが動作を行うことのできる３次元経路に変換するという、一方向的な情報利用手法を用いる限り、同種の問題点を生じると考えられる。
【００２２】
また、従来の各自動機の作業支援装置は以上のように構成され、画像上単一とみなされる作業対象物上の作業経路の自動決定が目的であるため、画像上複数の作業対象物が存在する場合は考慮されていない。そのため、複数作業対象物が存在する状況にて上記した従来の技術を適用した場合、各作業対象物毎に同様の作業指示を繰り返さなければならず、作業時間およびオペレータの作業負担が増大するという問題点があった。
【００２３】
また、従来の各自動機の作業支援装置は以上のように構成され、オペレータの作業指示内容の如何に関わらず、常に撮像領域内の全ての３次元情報を取得するため、処理時間が長くかかるという問題点があった。
【００２４】
この発明は上記のような問題点を解消するためになされたもので、作業が延滞することなく作業を行うことができる自動機の作業支援装置を提供することを目的とする。
【００２５】
【課題を解決するための手段】
この発明に係る請求項１の自動機の作業支援装置は、作業対象物を含む作業領域を撮像した画像の信号処理により、作業対象物の状況を認識し、自動機に作業の指示を行なう自動機の作業支援装置であって、作業領域内に存在する作業対象物の３次元情報を得るための作業３次元計測手段と、作業対象物の状況によりオペレータが提示する作業指示に該当する作業３次元情報を３次元計測手段から取得する３次元情報取得手段と、３次元計測手段から得られる３次元情報から作業指示領域内の３次元物体占有状態を解釈する３次元情報処理手段と、３次元情報処理手段から得られた３次元物体占有状態と、３次元情報取得手段から得られる作業３次元情報とを基に、両者の整合性を検証する３次元情報検証手段とを備えた自動機の作業支援装置において、代替案生成のための代替案生成ルールを蓄積しておく代替案生成ルールデータベースと、３次元計測手段からの３次元情報および代替案生成ルールに基づき、３次元情報検証手段での整合性を有する複数の作業指示の代替案を生成する代替案生成手段とを備え、代替案生成手段で生成された複数の代替案をオペレータに提示し、オペレータが代替案を選択して自動機に提示するものである。
【００２６】
また、この発明に係る請求項２の自動機の作業支援装置は、請求項１において、作業対象物が複数個の対象物にて構成される場合、代替案生成ルールを、複数の作業対象物の最上段位置にある作業対象物で、かつ、複数の作業対象物の任意の端部位置にある作業対象物から作業を行うルールとするものである。
【００２７】
また、この発明に係る請求項３の自動機の作業支援装置は、請求項１において、作業対象物が複数個の対象物にて構成される場合、代替案生成ルールを、複数の作業対象物の最上段位置にある作業対象物で、かつ、複数の作業対象物の姿勢が作業終了位置の姿勢に到達するための回転角度が小さい作業対象物から作業を行うルールとするものである。
【００２８】
また、この発明に係る請求項４の自動機の作業支援装置は、請求項１において、作業対象物が単体の対象物を積み上げてなる場合、代替案生成ルールを、作業対象物の最上部領域である作業対象物領域で、かつ、作業対象物領域のうち作業終了位置までの距離が短い作業対象物領域から作業を行うルールとするものである。
【００２９】
また、この発明に係る請求項５の自動機の作業支援装置は、請求項１ないし請求項４のいずれかにおいて、オペレータによって選択された代替案を作成するために利用された代替案生成ルールの選択頻度を記録する選択頻度記録手段と、選択頻度記録手段の情報を基に選択頻度の多い代替案生成ルールを優先する順位を決定し、複数の代替案に優先順位をつける優先度決定手段とを備え、複数の代替案に優先順位を付けてオペレータに提示するものである。
【００３０】
また、この発明に係る請求項６の自動機の作業支援装置は、請求項１ないし請求項４のいずれかにおいて、オペレータの指示した作業指示に至るまでの複数の代替案の作業順序を決定し、オペレータに提示する作業順序決定手段を備えたものである。
【００３１】
また、この発明に係る請求項７の自動機の作業支援装置は、請求項１ないし請求項６のいずれかにおいて、代替案をオペレータが修正し修正作業指示として指示を行う場合、修正作業指示の修正作業３次元情報と、３次元情報処理手段から得られた３次元物体占有状態とを基に、両者の整合性を検証する修正代替案検証手段を備えたものである。
【００３２】
また、この発明に係る請求項８の自動機の作業支援装置は、請求項１ないし請求項７のいずれかにおいて、オペレータが指示する作業指示に基づき、３次元計測手段の計測範囲を限定する計測範囲限定手段を備えたものである。
【００３３】
また、この発明に係る請求項９の自動機の作業支援装置は、請求項１ないし請求項８のいずれかにおいて、作業領域を撮像して画像信号に変換する画像入力手段を備え、３次元計測手段は画像信号から３次元情報を得、また、オペレータの作業対象物に対する作業指示は、画像信号から２次元情報を得る画像処理手段の２次元情報により行われ、画像処理手段の画像処理結果をオペレータに提示する情報提示手段と、情報提示手段から提示された情報に基づいてオペレータが作業指示を入力する作業指示入力手段とを備えたものである。
【００３４】
また、この発明に係る請求項１０の自動機の作業支援装置は、請求項９において、作業指示入力手段で入力された作業指示を、画像処理手段の画像処理結果を基に補正する作業指示補正手段を備え、作業指示補正手段によって補正された補正作業指示をオペレータが提示する作業指示とするものである。
【００３５】
また、この発明に係る請求項１１の自動機の作業支援装置は、請求項１ないし請求項１０のいずれかにおいて、３次元情報を、作業領域内に存在する任意の点から作業対象物までの距離にて構成するものである。
【００３６】
また、この発明に係る請求項１２の自動機の作業支援装置は、請求項１ないし請求項１１のいずれかにおいて、３次元情報検証手段にて不整合と判断された場合、オペレータに警告音を発生する警告音発生手段を備えたものである。
【００３７】
【発明の実施の形態】
実施の形態１．
以下、この発明の実施の形態を図について説明する。図１はこの発明の実施の形態１における自動機の作業支援装置の構成を示すブロック図、図２は図１に示した自動機の作業支援装置の動作を説明するためのフローチャートを示した図である。
【００３８】
作業対象物としては、説明の簡素化のために、例えば多面体形状を有する段ボール箱が、複数個積み重なっているのような状態を想定する。そして、この各物体は同一形状および同一サイズのものとする。そして、自動機としてのロボットが、作業対象物を吸着ハンドによって吸着して握持し、作業を行うものとする。
【００３９】
図において、５２は作業対象物を含む作業領域を撮像して、画像を信号処理して変換する画像入力手段、５３はこの画像入力手段５２から２次元情報を得るための画像処理手段である。この際の画像改善手法として本実施の形態１では、例えばボケを減少させ、かつ、鮮鋭化された画像を得るという画像鮮鋭化手法としての、ラプラシアンフィルタリング処理の方法を用いることとする。この方法を用いると、例えば図３（ａ）に示したような画像が、オペレータに提供されることとなる。
【００４０】
他の方法としては、画質改善手法の、例えば入力された濃淡画像中の濃度値の出現頻度分布を均一化するというヒストグラム均一化処理、または、画質改善以外の画像処理手段として、個々の作業対象物を濃淡画像において一様とみなせる領域毎に分割する、領域分割手法によって分割する方法がある（図３（ｂ））。
【００４１】
または、入力画像を、あらかじめ登録された作業対象物の画像パターンによって検索し、個々の作業対象物の領域を抽出する、テンプレートマッチング手法、または、特定の画像処理を行なわずに画像入力装置５２から入力された濃淡画像（図３（ｃ））をそのまま表示してもよい。
【００４２】
５４はこの画像処理手段５３にて処理された画像信号をオペレータ５５に提供する情報提示手段、５６はオペレータ５５が情報提示手段５４に基づき、作業対象物に対する作業指示を入力するための作業指示入力手段、５７はこの作業指示入力手段５６に入力された作業指示を、画像処理手段５３の画像処理結果を基に補正する作業指示補正手段で、この補正方法としては例えば、オペレータ５５が作業対象物の一部を指示し、この指示が作業対象物の重心からずれた位置を指示している場合、この指示を作業対象物の重心位置にあわせるものとして補正する。
【００４３】
５８は画像信号から３次元情報を得るための３次元計測手段で、ここでいう３次元情報とは、２つのカメラから入力された画像を用いて、三角測量の原理で３次元計測を行なう、いわゆる二眼ステレオ視を用いる。そして、例えば作業領域に存在する任意の点の、一例としての、作業対象物の載置されている床の作業対象物の中心位置の点から、作業対象物の各表面上の位置までの距離にて構成することができる。
【００４４】
５９はオペレータ５５の作業対象物に対する作業指示として、作業指示補正手段５７にて補正された補正作業指示に該当する作業３次元情報を、３次元計測手段５８から取得する３次元情報取得手段、６０は３次元計測手段５８から得られる３次元情報から、作業領域内の３次元物体占有状態を解釈する３次元情報処理手段、６１は３次元情報処理手段６０から得られた３次元物体占有状態と、３次元情報取得手段５９から得られる作業３次元情報とを基に、両者の整合性を検証する３次元情報検証手段、６２は例えばロボットにてなる自動機である。
【００４５】
次に、上記のように構成された実施の形態１の自動機の作業支援装置の動作を図２に基づいて説明する。まず、作業対象物が画像入力手段５２の撮像視野内に納まるように、画像入力手段５２を配置する。そして、自動機の作業支援装置が起動されスタートされる（図２のステップｓ２０）。そして、画像入力手段５２によって作業領域の画像が撮像されて入力される（図２のステップｓ２１）。
【００４６】
次に、入力された画像の画質改善が画像処理手段５３で行なわれ、２次元情報が情報提示手段５４を用いてオペレータ５５に提示される（図２のステップｓ２２）。このように、画質改善された画像をオペレータ５５に示す事で、オペレータ５５の負担を軽減している。
【００４７】
次に、オペレータ５５がこの２次元情報により提示した作業指示を、作業指示入力手段５６に入力する（図２のステップｓ２３）。次に、この作業指示が、作業指示補正手段５７にて画像処理手段５３の画像処理結果を基に、作業対象物の重心位置に補正され（図２のステップｓ２４）、補正作業指示とされる。
【００４８】
次に、３次元情報取得手段５９にて、補正作業指示に該当する作業３次元情報を、３次元計測手段５８の全３次元情報の中から取得する（図２のステップｓ２５）。次に、３次元情報処理手段６０にて、作業領域内に存在する物体の３次元空間内における３次元占有状態が解釈される（図２のステップｓ２６）。なお、本実施の形態１では、３次元占有状態の解釈として、３次元空間上の高さが同じで、かつ、空間的に隣接する領域を同一領域、または、離れている領域を別領域として領域分割する方法を用いている。
【００４９】
次に、３次元情報検証手段６１にて、３次元情報取得手段５９にて取得された作業３次元情報と、３次元情報処理手段６０にて解釈された３次元物体占有状態とを基に、両者の整合性が検証される（図２のステップｓ２７）。この、３次元情報検証手段６１の検証方法として、本実施の形態１では、作業指示の作業対象物の高さの情報と他の作業対象物の高さの情報とが比較され、作業指示の作業対象物の高さより、他の作業対象物の高さが低い場合には整合性があると検証し、また、高い場合には不整合性であると検証するように構成する（図２のステップｓ２８）。
【００５０】
上記検証の結果、整合性があると検証された場合、自動機６２への作業指示が与えられ、作業が行われる（図２のステップｓ２９）。また、不整合性であると検証された場合には、例えば情報提示手段５４を介してオペレータ５５に警告情報が発せられるように構成し、再び上記同様の動作にて、オペレータ５５が情報提示手段５４より情報提供を受け、再度作業指示を提示する。
【００５１】
上記のように構成された実施の形態１の自動機の作業支援装置によれば、オペレータ５５が指示した作業内容に相当する作業３次元情報と、３次元情報を基に解釈された３次元物体占有状態と照らし合わせて整合性を検証する事によって、オペレータ５５の作業指示間違いを自動的に検知し、事前に警告を発する事で、作業が遅滞する状況を未然に防ぐ事ができる。
【００５２】
また、上記実施の形態１では、作業指示入力手段５６にて入力される指示内容として、作業対象物の選択を、位置の入力にておこなう例を示したが、これに加えて、指示内容として例えば移動量、および移動方向なども与えられるように構成してもよく、この場合３次元情報検証手段６１おいては、移動量および移動方向に対応する３次元物体占有状態と、この作業指示内容に対応する作業３次元情報とを照らし合わせて整合性を検証すればよい。
また、作業対象物として１つの作業対象物を選択するのみならず、複数の作業対象物を選択指示できるように構成してもよい。
【００５３】
また、上記実施の形態１では、３次元情報検証手段６１の検証方法として、作業対象物とこの作業対象物の周囲の物体の高さとを比較する検証方法を例に示したが、他の方法として、例えば３次元情報検証手段６１により、作業対象物の重心位置に対応する面積が、作業対象物の１つの面積のｎ％（ｎは作業対象物の形状などによりそれぞれ決定されるが、任意の実数値を決定することが可能である）以下である場合に、この作業対象物が作業を行う上で他の物体により、必要以上に隠蔽されており、不整合であると検証するように構成してもよい。
【００５４】
また、３次元計測手段５８として二眼ステレオ視を用いた場合に、オペレータ５５の作業負担軽減のために、いずれか一方のカメラの入力による２次元情報のみの画像を、オペレータ５５に提示するような場合が考えられる。しかし、この一方のカメラの入力による画像中では、作業対象物を隠蔽している他の物体の観測が不可能な場合がある。よって、上記実施の形態１にて示したように、３次元情報検証手段６１にて確認すれば、両カメラの入力を考慮に入れることができるため、このような不具合を事前に検知し、対応することが可能となる。
【００５５】
上記実施の形態１にて説明した各手段におけるさまざまな方法は、以下の各実施の形態においても同様に実施することが可能なことはいうまでもなく、以下の各実施の形態においてはこれらの説明は適宜省略する。
【００５６】
実施の形態２．
図４はこの発明の実施の形態２における自動機の作業支援装置の構成を示すブロック図、図５は図４に示した自動機の作業支援装置の動作を説明するためのフローチャートを示した図である。図において上記実施の形態１と同様の部分は同一符号を付して説明を省略する。また、作業対象物としては、上記実施の形態１にて示した場合と同様の場合を用いて説明する。
【００５７】
６３は代替案生成のための代替案生成ルールを蓄積しておく代替案生成ルールデータベース、６４は３次元計測手段５８からの３次元情報および代替案生成ルールに基づき、３次元情報検証手段６１での整合性を有する複数の作業指示の代替案を生成する代替案生成手段である。
【００５８】
この代替案生成ルールとしては、作業対象物が複数個の対象物にて構成される場合、複数の作業対象物の最上段位置にある作業対象物で、かつ、複数の作業対象物の任意の端部位置にある作業対象物から作業を行うルールとする。
また、他の代替案生成ルールとしては、複数の作業対象物の最上段位置にある作業対象物で、かつ、複数の作業対象物の姿勢が作業終了位置の姿勢に到達するための回転角度が小さい作業対象物から作業を行うルールとするものがある。上記した両ルールを用いるようにしても、また、いずれか一方のみのルールを用いるようにしてもよい。
【００５９】
次に、上記のように構成された実施の形態２の自動機の作業支援装置の動作を図５に基づいて説明する。まず、上記実施の形態１と同様に、作業対象物が画像入力手段５２の撮像視野内に納まるように、画像入力手段５２を配置する。そして、自動機の作業支援装置が起動されスタートされる（図５のステップｓ２０）、そして、画像入力手段５２によって作業領域の画像が撮像されて入力される（図５のステップｓ２１）。
【００６０】
次に、入力された画像の画質改善が画像処理手段５３で行なわれ、２次元情報が情報提示手段５４を用いてオペレータ５５に提示される（図５のステップｓ２２）。このように、画質改善された画像をオペレータ５５に示す事で、オペレータ５５の負担を軽減している。
【００６１】
次に、オペレータ５５がこの２次元情報により提示した作業指示を、作業指示入力手段５６に入力する（図５のステップｓ２３）。次に、この作業指示が、作業指示補正手段５７にて画像処理手段５３の画像処理結果を基に、作業対象物の重心位置に補正され（図５のステップｓ２４）、補正作業指示とされる。
【００６２】
次に、３次元情報取得手段５９にて、補正作業対象指示に該当する作業３次元情報を、３次元計測手段５８の全３次元情報の中から取得する（図５のステップｓ２５）。次に、３次元情報処理手段６０にて、作業領域内に存在する物体の３次元空間内における３次元占有状態が解釈される（図５のステップｓ２６）。なお、本実施の形態２では、上記実施の形態１と同様に、３次元占有状態の解釈として、３次元空間上の高さが同じで、かつ、空間的に隣接する領域を同一領域、または、離れている領域を別領域として領域分割する方法を用いている。
【００６３】
次に、３次元情報検証手段６１にて、３次元情報取得手段５９にて取得された作業３次元情報と、３次元情報処理手段６０にて解釈された３次元物体占有状態とを基に、両者の整合性が検証される（図５のステップｓ２７）。この、３次元情報検証手段６１の検証方法として、本実施の形態２では、上記実施の形態１と同様に作業指示の作業対象物の高さの情報と他の作業対象物の高さの情報とが比較され、作業指示の作業対象物の高さより、他の作業対象物の高さが低い場合には整合性があると検証し、また、高い場合には不整合性であると検証するように構成する（図５のステップｓ２８）。
【００６４】
上記検証の結果、整合性があると検証された場合、自動機への作業指示が与えられ、作業が行われる（図５のステップｓ２９）。また、不整合性であると検証された場合には、代替案生成手段６４は３次元計測手段５８からの３次元情報、および、代替案生成ルールデータベース６３からの代替案生成ルールに基づき、３次元情報検証手段６１での整合性を有する複数の作業指示の代替案を生成する（図５のステップｓ３０）。
【００６５】
そして、代替案生成手段６４で生成された複数の代替案が、情報提示手段５４を介してオペレータ５５に提示され、オペレータ５５が再度情報提示手段５４からの情報提供（図５のステップｓ２２）を受け、再度確認して複数の代替案から１つの代替案を選択して作業指示とし、作業指示入力手段５６に入力し（図５のステップｓ２３）、この作業指示を自動機６２に提示する（図５のステップｓ２９）。
【００６６】
上記のように構成された実施の形態２の自動機の作業支援装置によれば、オペレータが指示した作業内容を、上記実施の形態１と同様に３次元情報を基に解釈された３次元物体占有状態と照らし合わせて検証するだけでなく、代替案を自動的に生成する事により、オペレータ５５が代替案を作成する必要がなく、提示された代替案を選択するだけでよいため、自動機６２への作業支援が安全かつ速やかに遂行される。
【００６７】
なお、上記実施の形態２では、代替案生成手段６４にて生成される代替案のみを情報提示手段５４に提示する構成としたが、例えば、オペレータ５５が指示した元の作業指示も同時に表示し、オペレータ５５が元の作業指示を選択した場合には、元の作業指示を強制的に実行可能な構成としてもよい。これは、自動機の作業支援装置自体のシステムが、例えば、実質的には作業可能であるのに、作業対象物のわずかな隠蔽により作業不可能と判断するような過剰判断による救済措置であり、例えば、オペレータ５５の作業指示を強行したとしても、オペレータ５５の経験則などにより実質的に作業に支障の生じない場合等に有効である。
【００６８】
実施の形態３．
図６はこの発明の実施の形態３における自動機の作業支援装置の構成を示すブロック図、図７は図６に示した自動機の作業支援装置の動作を説明するためのフローチャートを示した図である。図において、上記各実施の形態と同様の部分は同一符号を付して説明を省略する。また、作業対象物としては、上記各実施の形態にて示した場合と同様の場合を用いて説明する。
【００６９】
６５はオペレータ５５によって選択された代替案を作成するために利用された代替案生成ルールの選択頻度を記録する選択頻度記録手段、６６は選択頻度記録手段６５の情報を基に、複数の代替案を選択頻度の多い代替案生成ルールを優先する順位を決定し、複数の代替案に優先順位をつける優先度決定手段である。
【００７０】
次に、上記のように構成された実施の形態３の自動機の作業支援装置の動作を図７に基づいて説明する。本実施の形態３では、オペレータ５５が初めての作業指示を提示し、この作業指示が不整合と判断され、複数の代替案を作成する動作までは、上記実施の形態２の動作と同様であるため省略する。そして、代替案生成手段６４で生成された複数の代替案が、情報提示手段５４を介してオペレータ５５に提示され、オペレータ５５が再度情報提示手段５４からの情報提供（図７のステップｓ２２）を受ける。
【００７１】
そして、再度確認して複数の代替案から１つの代替案を選択して作業指示とし、作業指示入力手段５６に入力する（図７のステップｓ２３）。次に、この作業指示を自動機６２に提示する（図７のステップｓ２９）と同時に、選択頻度記録手段６５に、オペレータ５５によって選択された代替案を作成するために利用された代替案生成ルールの選択頻度を記録する（図７のステップｓ３１）。
【００７２】
再び、オペレータ５５により上記実施の形態２と同様の動作を経て、作業指示を提示し、この作業指示が不整合と判断された場合、複数の代替案を作成する動作までは上記と同様におこなわれる。次に、代替案作成手段６４にて作成した複数の代替案を、優先度決定手段６６にて選択頻度記録手段６５の情報を基に、選択頻度の多い代替案生成ルールを優先する順位を決定し、複数の代替案に優先順位をつける（図７のステップｓ３２）。
【００７３】
次に、複数の代替案に優先順位を付けてオペレータ５５に、情報提示手段５４を介して提示する（図７のステップｓ２２）。次に、オペレータ５５が再度情報提示手段５４からの情報提供により、再度確認して複数の代替案から１つの代替案を選択する。この際のオペレータ５５の選択は、作業環境に応じた代替案を容易に選択することができる。そして、この選択した代替案を作業指示とし、作業指示入力手段５６に入力し（図７のステップｓ２３）、この作業指示を自動機６２に提示する（図７のステップｓ２９）。
【００７４】
上記のように構成された実施の形態３の自動機の作業支援装置によれば、上記各実施の形態と同様の効果を奏するのはもちろんのこと、複数の代替案が優先順位を付けられてオペレータ５５に提示されるため、オペレータ５５はこの順位を判断材料として作業の指示を行うことができる。よって、作業状況にあった代替案を選択するまでの作業時間を短縮することができ、作業効率を向上することができる。
【００７５】
実施の形態４．
図８はこの発明の実施の形態４における自動機の作業支援装置の構成を示すブロック図、図９は図８に示した自動機の作業支援装置の動作を説明するためのフローチャートを示した図である。図において、上記各実施の形態と同様の部分は同一符号を付して説明を省略する。また、作業対象物としては、上記各実施の形態にて示した場合と同様の場合を用いて説明する。
【００７６】
６７はオペレータ５５の指示した作業指示に至るまでの複数の代替案の作業順序を決定し、オペレータ５５に情報提示手段５４を介して提示する作業順序決定手段である。
【００７７】
次に、上記のように構成された実施の形態４の自動機の作業支援装置の動作を図９に基づいて説明する。本実施の形態４では、オペレータ５５が作業指示を提示し、この作業指示が不整合と判断され、複数の代替案を作成する動作までは、上記実施の形態２の動作と同様であるため省略する。そして、代替案生成手段６４で生成された複数の代替案を、作業順序決定手段６７にてオペレータ５５の指示した作業指示に至るまでの作業順序に並び変えて決定する（図９のステップｓ３３）。
【００７８】
次に、この作業順序に並び変えられた複数の代替案を、オペレータ５５に情報提示手段５４を介して提示する（図９のステップｓ２２）。そして、オペレータ５５はこの作業指示を確認し、作業順序に並び変えられた複数の代替案を作業指示とし、作業指示入力手段５６に入力し（図９のステップｓ２３）、この作業指示を自動機６２に提示する（図９のステップｓ２９）。
【００７９】
ここで、上記に示しような実施の形態４の実際の利用例について説明する。通常運転時には、画像処理信号を利用したロボット等の自動機が、オペレータが指示を与えることなく作業を行うという自動運転が行われている。しかし、ロボットの把持ミスにより作業対象物が転落する等の発生により、自動機の自動運転が困難な場合の、オペレータによる作業支援を目的としている。
【００８０】
そのため、作業ミスが生じた作業対象物のみに対して作業支援を行なえば、再度自動運転が可能となる。しかし、作業領域内に複数の作業対象物が存在する状況下においては、オペレータが作業ミスした作業対象物に対して指示を与えても、他の作業対象物の干渉等により、直接作業が行なえない場合がある。このような場合、他の作業対象物に対して作業を行なう事が有効となる。
【００８１】
そこで、作業ミスをした作業対象物が作業領域内に存在する間は自動運転への復帰ができないため、作業ミスをした作業対象物に対する作業が可能となる状態まで、オペレータが作業対象物を一つ一つ指示する必要がある。しかし、上記実施の形態４にて示したように作業順序決定手段６７により、作業ミスをした作業対象物に対する作業が完了するまでの、複数の作業対象物に対する作業手順を自動的に決定するため、このような操作の煩わしさを解消することができる。
【００８２】
上記のように構成された実施の形態４の自動機の作業支援装置によれば、上記各実施の形態と同様の効果を奏するのはもちろんのこと、作業領域内に複数の作業対象物が存在する場合において、オペレータ５５が最初に指示した作業対象物に対する作業が可能となるまでの、複数の作業対象物に対する作業手順を自動設定するため、一つ一つの作業対象物に対して、オペレータ５５が作業指示を繰り返すという操作の煩わしさが解消され、作業が効率よく行なわれる。
【００８３】
実施の形態５．
図１０はこの発明の実施の形態５における自動機の作業支援装置の構成を示すブロック図、図１１は図１０に示した自動機の作業支援装置の動作を説明するためのフローチャートを示した図である。図において、上記各実施の形態と同様の部分は同一符号を付して説明を省略する。また、作業対象物としては、上記各実施の形態にて示した場合と同様の場合を用いて説明する。
【００８４】
６８は代替案をオペレータが修正し修正作業指示として指示を行う場合、代替案の修正指示を含めた修正作業指示としての、修正代替案を作成する修正代替案作成手段である。そして、オペレータ５５の代替案の修正指示を含めた修正代替案とする方法としては、例えば代替案の作業経路の一部を修正する場合には、修正範囲の始点と終点とを選択指示し、始点と終点との間における中間経由点を複数点指示すると、各点間が補間され、修正経路を指示し修正代替案とする方法が可能である。ここでは各点間の補間方法として、例えばスプライン曲線による補間を行なう方法がある。
【００８５】
そして、３次元情報検証手段６１では、この修正作業案の修正作業３次元情報と、３次元物体占有状態とを基に、両者の整合性を検証する修正代替案検証手段としての機能が追加される。
【００８６】
次に、上記のように構成された実施の形態５の自動機の作業支援装置の動作を図１１に基づいて説明する。本実施の形態５では、オペレータ５５が作業指示を提示し、この作業指示が不整合と判断され、複数の代替案を作成する動作までは、上記各実施の形態と同様であるため説明を省略する。
【００８７】
そして、代替案生成手段６４で生成された複数の代替案が、情報提示手段５４に入力され、オペレータ５５が再度情報提示手段５４からの情報提供（図１１のステップｓ２２）を受ける。そして、オペレータ５５は再度情報を確認して複数の代替案から１つの代替案を選択する。そして、オペレータ５５が選択した代替案の一部を修正する場合には、その修正指示をオペレータ５５が修正代替案作成手段６８に入力し、修正代替案作成手段６８にて修正代替案が作成される（図１１のステップｓ３４）。
【００８８】
次に、３次元情報取得手段５９にて、修正代替案に該当する修正作業３次元情報を、３次元計測手段５８の全３次元情報の中から取得する（図１１のステップｓ２５）。次に、３次元情報検証手段６１にて、３次元情報取得手段５９にて取得された作業３次元情報と、既に３次元情報処理手段６０にて解釈された３次元物体占有状態とを基に、両者の整合性が検証される（図１１のステップｓ２７）。
【００８９】
そして、３次元情報検証手段６１にて整合性を判断する（図１１のステップｓ２８）。上記検証の結果、整合性があると検証された場合、自動機６２への作業指示が与えられ、作業が行われる（図１１のステップｓ２９）。また、不整合性であると検証された場合には、例えば修正代替案作成手段６８を介してオペレータ５５に警告情報が発せられるように構成し、オペレータ５５の修正指示が再度３次元情報検証手段６１にて不適合とならないようにしておく。そして、再びオペレータ５５が修正指示を検討し、上記動作を再度繰り返す。
【００９０】
上記のように構成された実施の形態５の自動機の作業支援装置によれば、上記各実施の形態と同様の効果を奏するのはもちろんのこと、オペレータ５５が指示した修正指示に対する整合性が、３次元検証手段における検証をあらかじめ実行しておく事で、代替案生成を繰り返す事なく、オペレータ５５の知識を活かした作業の実行が、極めて効率的に行なわれる。
【００９１】
実施の形態６．
図１２はこの発明の実施の形態６における自動機の作業支援装置の構成を示すブロック図、図１３は図１２に示した自動機の作業支援装置の動作を説明するためのフローチャートを示した図である。図において、上記各実施の形態と同様の部分は同一符号を付して説明を省略する。また、作業対象物としては、上記各実施の形態にて示した場合と同様の場合を用いて説明する。６９はオペレータ５５が指示する作業指示としての補正作業指示に基づき、３次元計測手段５８の計測範囲を限定する計測範囲限定手段である。
【００９２】
次に、上記のように構成された実施の形態６の自動機の作業支援装置の動作を図１３に基づいて説明する。本実施の形態６では、上記実施の形態１の動作とほぼ同様であるが、３次元情報の計測範囲の限定が加わる。このことに重点をおいて以下説明する。まず、上記実施の形態１と同様の動作を経て、オペレータ５５の作業指示が補正され補正作業指示が作成される（図１３のステップｓ２４）。
【００９３】
次に、この補正作業指示を計測範囲限定手段６９に入力する。そして、計測範囲限定手段６９では、この補正作業指示に基づいて、３次元計測手段５８の計測範囲を限定する（図１３のステップｓ３５）。計測範囲の限定方法としては、作業対象物の２次元位置およびその近傍のみの３次元計測が計測範囲とされる。具体例として、作業対象物の近傍とは、作業対象物自体の長辺の２倍の長さを一辺とし、この一辺を正方形とする正方形領域の、各辺が座標軸に平行な領域に限定する方法がある。次に、計測範囲限定手段６９にて限定された計測範囲にて３次元計測手段５８は３次元計測を行うようにし、以後の動作は上記実施の形態１と同様に行う。
【００９４】
上記のように構成された実施の形態６の自動機の作業支援装置によれば、上記実施の形態１と同様の効果を奏するのはもちろんのこと、オペレータ５５が指示した作業指示に対応する３次元情報のみを、３次元計測手段５８にて取得するようにし、作業指示の実行に必要な情報のみを取得する事で、処理時間の短縮を図ることができる。尚、上記実施の形態６においては上記実施の形態１に基づいて説明したが、これに限られることはなく、上記示した他の実施の形態においても同様に利用することができることはいうまでもなく、同様の効果を奏することが可能となる。
【００９５】
実施の形態７．
上記各実施の形態においては、作業対象物として、多面体形状を有する段ボール箱が、複数個積み重なっているのような状態を想定し、この各物体は同一形状および同一サイズのものとし、自動機が作業対象物を吸着ハンドによって吸着して握持し、作業を行うものとする場合について説明したが、これに限られることはなく、例えば、作業対象物が単体の対象物を積み上げられてなり、単体の対象物を１つ１つ認識できない場合、例えば原料などが山積みに載置されているような場合が想定される。以下、このような作業対象物に対応する実施の形態について説明する。
【００９６】
図１４はこの発明の実施の形態７における自動機の作業支援装置の構成を示すブロック図、図１５は図１４に示した自動機の作業支援装置の動作を説明するためのフローチャートを示した図である。図において、７０は作業対象物を含む作業領域を撮像して、画像を信号処理して変換する画像入力手段、７１はこの画像入力手段７０から２次元情報を得るための画像処理手段である。この際の画像改善手法として、例えば入力された濃淡画像中の濃度値の出現頻度分布を均一化するというヒストグラム均一化処理方法を用いることとする。
【００９７】
７２はこの画像処理手段７１にて処理された画像信号をオペレータ７３に提供する情報提示手段、７４はオペレータ７３が情報提示手段７２に基づき、作業対象物に対する作業指示を入力するための作業指示入力手段、７５は画像信号から３次元情報を得るための３次元計測手段で、ここでいう３次元情報とは、スリット光を一定の方向に移動させながら作業対象物に投影し、スリット光が物体表面に投影される様子をカメラで観測した結果に、三角測量の原理を応用して３次元計測を行う、光切断法という方法にて構成することができる。
【００９８】
７６はオペレータ７３の作業対象物に対する作業指示に該当する作業３次元情報を、３次元計測手段７５から取得する３次元情報取得手段、７７は３次元計測手段７５から得られる３次元情報から、作業領域内の３次元物体占有状態を解釈する３次元情報処理手段、７８は３次元情報処理手段７７から得られた３次元物体占有状態と、３次元情報取得手段７６から得られる作業３次元情報とを基に、両者の整合性を検証する３次元情報検証手段、７９は例えばロボットにてなる自動機である。
【００９９】
次に上記のように構成された実施の形態７の自動機の作業支援装置の動作を図１５に基づいて説明する。まず、上記実施の形態１と同様に、作業対象物が画像入力手段５２の撮像視野内に納まるように、画像入力手段５２を配置する。そして、自動機の作業支援装置が起動されスタートされる（図１５のステップｓ３６）。そして、画像入力手段７０によって作業領域の画像が撮像されて入力される（図１５のステップｓ３７）。
【０１００】
次に、入力された画像の画質改善が画像処理手段７１で行なわれ、２次元情報が情報提示手段７２を用いてオペレータ７３に提示される（図１５のステップｓ３８）。このように、画質改善された画像をオペレータ７３に示す事で、オペレータ７３の負担を軽減している。次に、オペレータ７３がこの２次元情報により提示した作業指示を、作業指示入力手段７４に入力する（図１５のステップｓ３９）。
【０１０１】
この際に行われる作業指示の内容としては、自動機による作業対象箇所および移動方向の指定が行われる。実際の指定方法としては、作業対象箇所の指定は、情報提示手段７２にて表示された画像の中から作業対象箇所を指示することによって行われ。また、移動方向の指定は、作業対象物の作業対象箇所から作業終了箇所までの移動方向に伸びる線分あるいは曲線を指示することによって行われる。
【０１０２】
次に、３次元情報取得手段７５にて、補正作業指示に該当する作業３次元情報を、３次元計測手段７５の全３次元情報の中から取得する（図１５のステップｓ４０）。次に、３次元情報処理手段７７にて、作業領域内に存在する物体の３次元空間内における３次元占有状態が解釈される（図１５のステップｓ４１）。なお、本実施の形態７では、３次元占有状態の解釈として、３次元空間上の高さが作業対象物より高い領域と低い領域との２つの領域に分割する方法を用いている。
【０１０３】
次に、３次元情報検証手段７８にて、３次元情報取得手段７７にて取得された作業３次元情報と、３次元情報処理手段７７にて解釈された３次元物体占有状態とを基に、両者の整合性が検証される（図１５のステップｓ４２）。この、３次元情報検証手段７８の検証方法として、本実施の形態７では、作業指示の作業対象箇所から移動方向におけるの高さの情報と、他の作業対象物の高さの情報とが比較され、作業指示の作業対象箇所から移動方向の高さより、他の作業対象物の高さが低い場合には整合性があると検証し、また、高い箇所を有する場合には不整合性であると検証するように構成する（図１５のステップｓ４３）。
【０１０４】
上記検証の結果、整合性があると検証された場合、自動機７９への作業指示が与えられ、作業が行われる（図１５のステップｓ４４）。また、不整合性であると検証された場合には、例えば情報提示手段７２を介してオペレータ７３に警告情報が発せられるように構成し、再び上記同様の動作にて、オペレータ７３が情報提示手段７２より情報提供を受け、再度作業指示を提示する。
【０１０５】
上記のように構成された実施の形態７の自動機の作業支援装置によれば、オペレータ７３が指示した作業内容に相当する作業３次元情報と、３次元情報を基に解釈された３次元物体占有状態とを照らし合わせて整合性を検証する事によって、オペレータ７３の作業指示間違いを自動的に検知し、事前に警告を発する事で、作業が遅滞する状況を未然に防ぐ事ができる。
【０１０６】
上記実施の形態７においては、上記実施の形態１の作業対象物が異なる場合に相当するものについて説明したが、これに限られることはなく、他の実施の形態においても作業対象物の異なる場合を適宜実施することが可能であることはいうまでもなく、上記各実施の形態と同様の効果を奏することができる。
【０１０７】
また、上記各実施の形態にて説明した、代替案生成ルールとして、上記実施の形態７の作業対象物を用いた場合には、作業対象物の最上部領域である作業対象物領域で、かつ、作業対象物領域のうち作業終了位置までの距離が短い作業対象物領域から作業を行うルールとする例が考えられる。
【０１０８】
なお、上記各実施の形態にて示した動作フローの流れは、一例であり、各図に示した各手段の入出力関係が適正でさえあれば、別の動作フローであってもよく、例えば、３次元計測と画像処理とを同時に行なうように動作してもよい。
【０１０９】
【発明の効果】
以上のように、この発明の請求項１によれば、作業対象物を含む作業領域を撮像した画像の信号処理により、作業対象物の状況を認識し、自動機に作業の指示を行なう自動機の作業支援装置であって、作業領域内に存在する作業対象物の３次元情報を得るための作業３次元計測手段と、作業対象物の状況によりオペレータが提示する作業指示に該当する作業３次元情報を３次元計測手段から取得する３次元情報取得手段と、３次元計測手段から得られる３次元情報から作業指示領域内の３次元物体占有状態を解釈する３次元情報処理手段と、３次元情報処理手段から得られた３次元物体占有状態と、３次元情報取得手段から得られる作業３次元情報とを基に、両者の整合性を検証する３次元情報検証手段とを備えた自動機の作業支援装置において、代替案生成のための代替案生成ルールを蓄積しておく代替案生成ルールデータベースと、３次元計測手段からの３次元情報および代替案生成ルールに基づき、３次元情報検証手段での整合性を有する複数の作業指示の代替案を生成する代替案生成手段とを備え、代替案生成手段で生成された複数の代替案をオペレータに提示し、オペレータが代替案を選択して自動機に提示するので、オペレータの作業指示が３次元的に整合性を有するか否かの判断を、自動機が作業を行う前に検証することができる自動機の作業支援装置を提供することが可能という効果があり、かつ、オペレータが代替案を作成することなく、整合性を有する代替案を作成することができる自動機の作業支援装置を提供することが可能という効果がある。
【０１１０】
また、この発明の請求項２によれば、請求項１において、作業対象物が複数個の対象物にて構成される場合、代替案生成ルールを、複数の作業対象物の最上段位置にある作業対象物で、かつ、複数の作業対象物の任意の端部位置にある作業対象物から作業を行うルールとするので、確実に整合性を有する代替案を作成することができる自動機の作業支援装置を提供することが可能という効果がある。
【０１１１】
また、この発明の請求項３によれば、請求項１において、作業対象物が複数個の対象物にて構成される場合、代替案生成ルールを、複数の作業対象物の最上段位置にある作業対象物で、かつ、複数の作業対象物の姿勢が作業終了位置の姿勢に到達するための回転角度が小さい作業対象物から作業を行うルールとするので、確実に整合性を有する代替案を作成することができる自動機の作業支援装置を提供することが可能という効果がある。
【０１１２】
また、この発明の請求項４によれば、請求項１において、作業対象物が単体の対象物を積み上げてなる場合、代替案生成ルールを、作業対象物の最上部領域である作業対象物領域で、かつ、作業対象物領域のうち作業終了位置までの距離が短い作業対象物領域から作業を行うルールとするので、確実に整合性を有する代替案を作成することができる自動機の作業支援装置を提供することが可能という効果がある。
【０１１３】
また、この発明の請求項５によれば、請求項１ないし請求項４のいずれかにおいて、オペレータによって選択された代替案を作成するために利用された代替案生成ルールの選択頻度を記録する選択頻度記録手段と、選択頻度記録手段の情報を基に選択頻度の多い代替案生成ルールを優先する順位を決定し、複数の代替案に優先順位をつける優先度決定手段とを備え、複数の代替案に優先順位を付けてオペレータに提示するので、オペレータが作業状況にあった代替案を選択しやすくなり、作業時間を短縮することができる自動機の作業支援装置を提供することが可能という効果がある。
【０１１４】
また、この発明の請求項６によれば、請求項１ないし請求項４のいずれかにおいて、オペレータの指示した作業指示に至るまでの複数の代替案の作業順序を決定し、オペレータに提示する作業順序決定手段を備えたので、オペレータの１つの作業指示に対して、オペレータが作業指示を繰り返し指示することなくできる自動機の作業支援装置を提供することが可能という効果がある。
【０１１５】
また、この発明の請求項７によれば、請求項１ないし請求項６のいずれかにおいて、代替案をオペレータが修正し修正作業指示として指示を行う場合、修正作業指示の修正作業３次元情報と、３次元情報処理手段から得られた３次元物体占有状態とを基に、両者の整合性を検証する修正代替案検証手段を備えたので、修正過程を繰り返すことなく、オペレータの知識を活かした作業指示を実行することができる自動機の作業支援装置を提供することが可能という効果がある。
【０１１６】
また、この発明の請求項８によれば、請求項１ないし請求項７のいずれかにおいて、オペレータが指示する作業指示に基づき、３次元計測手段の計測範囲を限定する計測範囲限定手段を備えたので、作業指示に必要な情報のみを取得することができ、処理時間を短縮することができる自動機の作業支援装置を提供することが可能という効果がある。
【０１１７】
また、この発明の請求項９によれば、請求項１ないし請求項８のいずれかにおいて、作業領域を撮像して画像信号に変換する画像入力手段を備え、３次元計測手段は画像信号から３次元情報を得、また、オペレータの作業対象物に対する作業指示は、画像信号から２次元情報を得る画像処理手段の２次元情報により行われ、画像処理手段の画像処理結果をオペレータに提示する情報提示手段と、情報提示手段から提示された情報に基づいてオペレータが作業指示を入力する作業指示入力手段とを備えたので、オペレータが２次元情報という一般的に利用されている情報にて、作業指示を行うことができる自動機の作業支援装置を提供することが可能という効果がある。
【０１１８】
また、この発明の請求項１０によれば、請求項９において、作業指示入力手段で入力された作業指示を、画像処理手段の画像処理結果を基に補正する作業指示補正手段を備え、作業指示補正手段によって補正された補正作業指示をオペレータが提示する作業指示とするので、オペレータの作業指示を的確に補正した補正作業指示を基に、整合性を検証することができる自動機の作業支援装置を提供することが可能という効果がある。
【０１１９】
また、この発明の請求項１１によれば、請求項１ないし請求項１０のいずれかにおいて、３次元情報を、作業領域内に存在する任意の点から作業対象物までの距離にて構成するので、３次元情報を確実に得ることができる自動機の作業支援装置を提供することが可能という効果がある。
【０１２０】
また、この発明の請求項１２によれば、請求項１ないし請求項１１のいずれかにおいて、３次元情報検証手段にて不整合と判断された場合、オペレータに警告音を発生する警告音発生手段を備えたので、オペレータが警告音により、オペレータの指示した作業指示が不整合であることが確実に確認できる自動機の作業支援装置を提供することが可能という効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１による自動機の作業支援装置の構成を示したブロック図である。
【図２】図１に示した自動機の作業支援装置の動作を説明するためのフローチャートを示した図である。
【図３】この発明の実施の形態１による自動機の作業支援装置のオペレータに提示される画像処理画面の例を示したブロック図である。
【図４】この発明の実施の形態２による自動機の作業支援装置の構成を示したブロック図である。
【図５】図４に示した自動機の作業支援装置の動作を説明するためのフローチャートを示した図である。
【図６】この発明の実施の形態３による自動機の作業支援装置の構成を示したブロック図である。
【図７】図６に示した自動機の作業支援装置の動作を説明するためのフローチャートを示した図である。
【図８】この発明の実施の形態４による自動機の作業支援装置の構成を示したブロック図である。
【図９】図８に示した自動機の作業支援装置の動作を説明するためのフローチャートを示した図である。
【図１０】この発明の実施の形態５による自動機の作業支援装置の構成を示したブロック図である。
【図１１】図１０に示した自動機の作業支援装置の動作を説明するためのフローチャートを示した図である。
【図１２】この発明の実施の形態６による自動機の作業支援装置の構成を示したブロック図である。
【図１３】図１２に示した自動機の作業支援装置の動作を説明するためのフローチャートを示した図である。
【図１４】この発明の実施の形態７による自動機の作業支援装置の構成を示したブロック図である。
【図１５】図１４に示した自動機の作業支援装置の動作を説明するためのフローチャートを示した図である。
【図１６】従来の自動機の作業支援装置の構成を示した図である。
【図１７】従来の自動機の作業支援装置の画像処理を示した図である。
【図１８】図１６に示した自動機の作業支援装置の動作を説明するためのフローチャートを示した図である。
【図１９】従来の自動機の作業支援装置の構成を示した図である。
【図２０】図１９に示した自動機の作業支援装置の動作を説明するためのフローチャートを示した図である。
【図２１】従来の自動機の作業支援装置の画像処理を示した図である。
【図２２】従来の自動機の作業支援装置の構成を示した図である。
【図２３】図２２に示した自動機の作業支援装置の動作を説明するためのフローチャートを示した図である。
【符号の説明】
５２，７０  画像入力手段、５３，７１  画像処理手段、５４，７２  情報提示手段、
５５，７３  オペレータ、５６，７４  作業指示入力手段、５７  作業指示補正手段、
５８，７５  ３次元計測手段、５９，７６  ３次元情報取得手段、
６０，７７  ３次元情報処理手段、６１，７８  ３次元情報検証手段、
６２，７９  自動機、６３  代替案生成ルールデータベース、６４  代替案生成手段、
６５  選択頻度記録手段、６６  優先度決定手段、６７  作業順序決定手段、
６８  修正代替案作成手段、６９  計測範囲限定手段。
【図１】
0003602687.tif 000002
【図２】
0003602687.tif 000003
【図３】
0003602687.tif 000004
【図４】
0003602687.tif 000005
【図５】
0003602687.tif 000006
【図６】
0003602687.tif 000007
【図７】
0003602687.tif 000008
【図８】
0003602687.tif 000009
【図９】
0003602687.tif 000010
【図１０】
0003602687.tif 000011
【図１１】
0003602687.tif 000012
【図１２】
0003602687.tif 000013
【図１３】
0003602687.tif 000014
【図１４】
0003602687.tif 000015
【図１５】
0003602687.tif 000016
【図１６】
0003602687.tif 000017
【図１７】
0003602687.tif 000018
【図１８】
0003602687.tif 000019
【図１９】
0003602687.tif 000020
【図２０】
0003602687.tif 000021
【図２１】
0003602687.tif 000022
【図２２】
0003602687.tif 000023
【図２３】
0003602687.tif 000024