(57)【要約】【課題】画像処理ロジック及び動作制御ロジックの検証及び修正が可能な画像処理を用いたロボットのシミュレーションシステムを提供する。【解決手段】３次元仮想空間を構築する３次元仮想空間構築手段と、前記構築された３次元空間画像を表示手段に表示する画像提示手段と、前記表示手段に提示する画像を元にロボットに搭載されているカメラからみた３次元仮想空間内における３次元画像を画像処理する画像処理手段と、画像処理手段の画像処理結果に基づいて前記ロボットの動作を制御しその結果の画像を前記画像提示手段に提供する動作制御手段と、前記構築された３次元空間の環境条件を与える仮想空間環境変更手段と、３次元空間画像を画像処理する際の複数の画像処理ロジックを切り替え手段、前記ロボットの複数の動作制御ロジックを切り替える動作制御切り替え手段と、から構成したシミュレーションシステム。【選択図】  図１
2004306182.tif 000002
【特許請求の範囲】
【請求項１】
３次元仮想空間を構築する３次元仮想空間構築手段と、前記構築された３次元空間画像を表示手段に表示する画像提示手段と、前記表示手段に提示する画像を元にロボットに搭載されているカメラからみた３次元仮想空間内における３次元画像を画像処理する画像処理手段と、画像処理手段の画像処理結果に基づいて前記ロボットの動作を制御しその結果の画像を前記画像提示手段に提供する動作制御手段とからなるロボットのシミュレーションシステムであって、前記構築された３次元空間の環境条件を与える仮想空間環境変更手段と、３次元空間画像を画像処理する際に複数の画像処理ロジックを切り替える画像処理ロジック切り替え手段と、前記ロボットの動作を制御する際の複数の動作制御ロジックを切り替える動作制御切り替え手段と、から構成した画像処理を用いたロボットのシミュレーションシステム。
【請求項２】
請求項１において、前記切り替え選択された画像処理ロジックの修正をおこなう画像処理ロジック修正手段と、前記切り替え選択された動作制御ロジックの修正をおこなう動作制御ロジック修正手段とを備えた画像処理を用いたロボットのシミュレーションシステム。
【請求項３】
請求項１において、前記仮想空間環境変更手段により複数の画像処理ロジックの切り替え、あるいは複数の動作制御ロジックの切り替えをおこなう画像処理を用いたロボットのシミュレーションシステム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ロボットの開発に係り、特にコンピュータによる画像処理を用いたロボットの動作制御シミュレーションシステムに関する。
【０００２】
【従来の技術】
【特許文献１】特願平１０−１８２７９０号公報
従来の画像処理を用いたロボットの開発では、ロボットを動作させる環境の照明変化や、周囲の物体あるいは背景の色などの影響により、画像処理ロジックが思惑通りに動作しないことが多く、その環境に適応する画像処理ロジックを個別に開発していた。また、ロボットを動作させる環境を開発現場で再現することも難しい。したがって、実際に現地にロボットを持ち込んだあとで、現地での画像処理ロジックの修正などの作業が発生することは避けられなかった。
【０００３】
前記特許文献１の「仮想物体制御方法および仮想物体制御装置および記録媒体」では、画像処理によって３次元仮想空間内のオブジェクトを制御している。具体的には仮想空間内の仮想物体（ＣＧモデル）の動き、形状等を制御する仮想物体制御方法に関し、コンピュータ内に作られた仮想空間内の物体を、より現実的な操作方法で操作制御できる仮想物体制御装置について開示がある。それは認識対象画像の位置と、動きと、方向に関する情報を抽出して、抽出された情報に基づいて仮想空間内の制御対象を制御するものである。
【０００４】
【発明が解決しようとする課題】
従来の画像処理を用いたロボットの開発では、ロボットを動作させる環境の照明変化や周囲の物体の色などの影響により画像処理ロジックが思惑通りに動作しないことが多く、その環境に適応する画像処理ロジックを個別に現地で開発していた。また、ロボットを動作させる環境を開発現場で再現することも難しく、現地での画像処理ロジック修正などが発生していた。
本発明は、このような従来技術の問題点に鑑みてなされたものであり、従来の方法と比較して効率良い開発を実現するためのシミュレーションシステムを提供することにある。
【０００５】
【課題を解決するための手段】
上記課題を以下の手段により解決することができる。
３次元仮想空間を構築する３次元仮想空間構築手段と、前記構築された３次元空間画像を表示手段に表示する画像提示手段と、前記表示手段に提示する画像を元にロボットに搭載されているカメラからみた３次元仮想空間内における３次元画像を画像処理する画像処理手段と、画像処理手段の画像処理結果に基づいて前記ロボットの動作を制御しその結果の画像を前記画像提示手段に提供する動作制御手段とから成るロボットのシミュレーションシステムであって、前記構築された３次元空間の環境条件を与える仮想空間環境変更手段と、３次元空間画像を画像処理する際の複数の画像処理ロジックを切り替える画像処理ロジック切り替え手段と、前記ロボットの動作を制御する際の複数の動作制御ロジックを切り替える動作制御切り替え手段と、から構成する。
【０００６】
また、前記切り替え選択された画像処理ロジックの修正をおこなう画像処理ロジック修正手段と、前記切り替え選択された動作制御ロジックの修正をおこなう動作制御ロジック修正手段とから構成する。また、前記仮想空間環境変更手段により前記複数の画像処理ロジックの切り替え、あるいは前記複数の動作制御ロジックの切り替えをおこなうことにある。
【０００７】
【発明の実施の形態】
以下、本発明の実施の形態に係る画像処理を用いたロボットのシミュレーションシステムを、図を用いて説明する。図１は本発明に係る画像処理を用いたロボットのシミュレーションシステムのブロック構成図を示している。
【０００８】
３次元仮想空間構築手段１は、３次元データから３次元仮想空間を構築する手段である。また、３次元空間画像提示手段２は、３次元仮想空間構築手段１が構築した仮想空間内におけるある地点から見た画像、すなわちロボットからみた画像を生成し表示手段２０に提示する手段である。例えば、ロボットに搭載されているカメラＣＡから見た画像を、画像処理手段３は、前記３次元仮想空間内に生成する。画像処理手段３は、３次元空間画像提示手段２が生成した画像を入力とし、またカメラＣＡから入力された画像データの処理を行う手段である。
【０００９】
動作制御手段４は、画像処理手段３が行った３次元仮想空間画像におけるロボットカラみた画像の処理結果に基づいて、その目的に応じてロボットの動作制御（例えば追尾制御等）を行う手段である。仮想環境変更手段５は、３次元空間画像提示手段２が画像を生成する際、あるいはカメラＣＡによるターゲットの撮像状況に影響を与える照明や背景色などの環境要因を仮想的に変更し、環境が変化した場合のロボットの制御動作を確認するためのものである。また、動作制御ロジック切り替え手段６は、動作制御手段４が用いる動作制御ロジックが複数用意されている場合に、その環境状況や動作制度などによって動作制御ロジックを切り替える手段である。
【００１０】
動作制御ロジック修正手段７は、動作制御手段４が用いる動作制御ロジックの内容を修正する手段である。画像処理ロジック切り替え手段８は、画像処理手段３が用いる画像処理ロジックが複数用意されている場合に画像処理ロジックを切り替える手段である。画像処理ロジック修正手段９は、画像処理手段３が用いる画像処理ロジックの内容を修正する手段である。
【００１１】
前記図１に示した機能構成ブロックによるロボットの制御はコンピュータによりおこなわれるが、その制御フローを図２に示す。まず前処理として、ステップ８０とステップ１００において、仮想空間を構成するための３次元データを用いて３次元仮想空間を構築する。これは図１における３次元仮想空間構築手段１の処理に相当する。そして構築された仮想空間は３次元空間画像提示処理ステップ１４０（図１の手段２に対応）に記憶する。
記憶されたことを確認後、記憶された仮想空間画像を処理するためにステップ１１０（図１の画像処理ロジック切り替え手段８に対応）では画像処理ロジックの選択をし、画像処理ステップ１５０（図１の手段３に対応）に記憶する。記憶されたことを確認後、ステップ１２０（図１の動作制御ロジック切り替え手段６に対応）では、ロボットの動作制御ロジック切り替え手段６の処理として動作制御ロジック選択処理を行い、ステップ１６０（図１の制御手段４に対応）に記憶する。
【００１２】
次に、メイン処理として、ステップ１３０において、終了判定処理（例えばシミュレーションスイッチＳＷがＯＮ状態か、またＳＷがＯＦＦでシミュレーションが終了かどうかを判定）をおこなう。ＳＷがＯＦＦ（Ｙｅｓ）ならばこのシミュレーションを終了する。終了処理判定の結果がＮＯならば、ステップ１４０において、３次元空間画像提示手段２の処理として３次元画像生成処理がおこなわれる。それは、ステップ１５０における画像処理（手段３）の結果およびステップ１６０における動作制御処理（手段４）の結果が、３次元空間画像提示処理（手段２）に反映される。
【００１３】
また、環境変化によって画像処理ロジックあるいはロボットの動作制御ロジックを修正したい場合がある。そのような場合は、必要に応じて、仮想空間環境変更手段５からの信号にしたがって、ステップ１１０において選択された画像処理ロジックをステップ１７０により修正する。それは１の画像処理ロジック修正手段９の処理に対応する。このようにして、画像処理ロジックの修正を行い、画像処理手段３に記憶された画像処理ロジックの内容を修正することができる。同様に、必要に応じて、ステップ１８０において、図１の動作制御ロジック修正手段７の処理として、動作制御ロジックの修正を行い、動作制御ステップ１６０、すなわち、動作制御手段４に記憶している動作制御ロジックの内容を修正することができる。仮想空間環境変更手段５は、与えられる環境データ５ａに応じて環境変更信号５ｃを出力する。また画像を直接修正するような場合は、その変更信号５ｂを出力するようにしてもよい。
【００１４】
また、図２において、表示手段２０は画像処理された結果を表示するほかに、選択指示部２０ａにおいて、複数の画像処理ロジックあるいは複数の動作制御ロジックからの選択支持を与えることができる。それは例えばそれぞれに対応したアイコンを予め用意しておいて、アイコン表示をクリックすることにより複数ロジックを表示し選択、指示することができる。
【００１５】
また、仮想空間環境変化の大きさその他の条件によってはステップ１１０ａおよびステップ１２０ａにより画像処理ロジックの選択切り替えあるいはロボットの動作制御切り替えを行うようにしてもよい。その場合は、例えばステップ１１０ａによる画像処理ロジックの選択信号を、ステップ１５０の画像処理を経由して画像処理ロジック選択ステップ１１０に送り、選択した結果を画像処理ステップ１５０に記憶させ画像処理をおこなうようにしてもよい。動作制御ロジック切り替えステップ１２０ａについても同様である。
【００１６】
次に簡単な例として、３次元空間内におけるロボットの追尾制御について説明する。まず、図３の（Ａ）、（Ｂ）にシミュレーションの対象となるロボットの例を示す。（Ａ）はロボットの前面から見た図，（Ｂ）はロボットの背後から見た図である。ロボットには、画像処理手段３の入力部としてのカメラＣＡと、画像処理手段３の処理対象となる長方形のターゲットＴＧが搭載されている。このロボットは同型のロボットのターゲットを認識し、追尾する。３次元仮想空間構築手段１が、ロボットが図４のように配置されている３次元仮想空間を構築したとき、３次元空間画像提示手段２が生成する２号機のカメラからの画像は、図５のようになる。画像処理手段３はこの画像を元に、パターンマッチングや色情報抽出などを用いた画像処理ロジックによりターゲットを認識し、ターゲットＴＧの領域の大きさや画像内でのターゲットの重心位置などを計算する。
【００１７】
動作制御手段４はこの結果からターゲットが右にあれば右旋回、左にあれば左旋回、遠ければ前進、近ければ後退といった動作制御ロジックを用いてロボットの動作を決定する。これらを略図で示す。図６はカメラＣＡが捕らえた画像によって、ロボットの左右の旋回あるいは前後動作を制御する説明図である。図６の（Ａ）は、ターゲットＴＧが右寄りであり、ロボットを右旋回制御してターゲットが中央に位置するように制御動作をおこなう場合である。同図（Ｂ）は逆に左寄りであってロボットを左旋回制御してターゲットが中央に位置するように制御動作をおこなう場合である。同図（Ｃ）は予め定められた距離よりも離れていることをあらわし、接近制御がおこなわれる。同図（Ｄ）は接近しすぎているので予め定められた距離を保つように後退制御がおこなわれる。これらに基づいて、動作制御をおこなった結果を前記３次元空間に反映し３次元空間画像提示手段２の処理をおこなうステップ１４０で、新しい画像を生成する。これを繰り返し、ターゲット追尾動作の制御をおこなう。
【００１８】
ここで、例えば１号機のロボットが図７のように移動したとすると、３次元空間画像提示手段２が生成する２号機のカメラ画像は図８のようになる。この画像を用いた画像処理手段３の結果として、ターゲット重心位置やターゲット領域の大きさが図９のように求められる。動作制御手段４は、重心位置が右側にあり大きさから遠いと判断し右旋回しながら前進という行動をとる。すると、図１０のように２号機が移動を行いターゲットの追尾ができる。
【００１９】
ここで、画像処理手段３のターゲット認識精度が低ければ、画像処理ロジック切り替え手段８によって別の画像処理ロジックを選択し、画像処理ロジック修正手段９で画像処理ロジックをより良いものにすることが出来る。例えば、色情報抽出手法のみではターゲット認識精度が低い場合、さらにパターンマッチング手法も組み合わせることでターゲット認識精度の向上を図ることができる。同様に、動作制御手段４においても、動作制御ロジック切り替え手段６によって別の動作制御ロジックを選択し、動作制御ロジック修正手段７で動作制御ロジックをより良いものにすることが出来る。
【００２０】
例えば、ターゲットが大きく右に移動したらより速い右旋回を行うなどのロジックを追加し、より確実にターゲットを追尾するようにできる。また、一般的に画像処理は照明などの環境に結果が左右されやすい傾向がある。例えば、赤のターゲットを色情報抽出のみで認識している場合、赤い照明のある環境でターゲットの誤認識が発生しやすい。そこで、仮想空間環境変更手段５によって想定される実稼働環境の照明変化などの環境変化を与えることにより、環境の変化が画像処理手段３に与える影響を予めシミュレートできる。影響が大きい場合には、画像処理ロジック切り替え手段８や画像処理ロジック修正手段９を用いて、実環境変化に対応できる画像処理ロジックを予め準備することができる。したがって、現地での開発工程を大幅に減少させることができる。
【００２１】
本発明によれば、３次元仮想空間内でシミュレーションを行うことにより、より手間のかかる実環境における画像処理ロジック及び動作制御ロジックの検証をより効率的におこなうことができる。また、本システムにより、ロボットを動作させる環境における画像処理ロジックおよび動作制御ロジックの動作を事前に検証することが可能となり、画像処理を用いたロボットを効率良く開発することが可能となる。
【００２２】
【発明の効果】
以上説明したように本発明によれば、画像処理を用いたロボットの開発において、画像処理ロジックおよび動作制御ロジックによる動作を事前に検証することが可能となる。したがって、ロボットの使用環境への対応が容易になり、現地での調整効率を大幅に向上させることができる。
【図面の簡単な説明】
【図１】本発明の一実施例に係る画像処理を用いたロボットのシミュレーションシステムの機能構成ブロック図である。
【図２】本発明の一実施例に係る画像処理を用いたロボットのシミュレーションシステムのフローチャートである。
【図３】ロボットの前部、後部の概略図である。
【図４】３次元仮想空間の構築例を示す図である。
【図５】ロボットに搭載されたカメラによる画像の例を示す図である。
【図６】カメラからみたターゲットとその領域を示す図である。
【図７】１号機２号機の追尾例を示す図である。
【図８】１号機移動後の２号機のカメラ画像例である。
【図９】２号機によるターゲット認識例である。
【図１０】追尾例を示す図である。
【符号の説明】
１；３次元空間構築手段  ２；３次元空間画像提示手段  ３；画像処理手段  ４；動作制御手段  ５；仮想環境変更手段  ６；動作制御ロジック切り替え手段  ７；動作制御ロジック修正手段  ８；画像処理ロジック切り替え手段  ９；画像処理ロジック修正手段  ２０；表示手段。
【図１】
2004306182.tif 000003
【図２】
2004306182.tif 000004
【図３】
2004306182.tif 000005
【図４】
2004306182.tif 000006
【図５】
2004306182.tif 000007
【図６】
2004306182.tif 000008
【図７】
2004306182.tif 000009
【図８】
2004306182.tif 000010
【図９】
2004306182.tif 000011
【図１０】
2004306182.tif 000012