(57)【要約】【課題】  簡易な方式で環境中の画像処理不要領域を特定して、画像処理対象領域を指定し、高速な画像処理を実行する画像処理装置および画像処理方法を提供することを目的とする。【解決手段】  カメラ１により対象物に対して撮像軸方向の画像を撮像する（ステップＳ１１）。次に、メモリ４に記録されている外装５を含む画像処理装置の座標系Σｂの任意の点について座標系Σｃの座標系に変換する（ステップＳ１２）。次に、座標系Σｃに従う外装５を含む画像処理装置の任意の点について、座標変換テーブルＴを用いて、２次元座標に変換し、カメラ画像２０上に表わす（ステップＳ１３）。カメラ画像２０に示される変換した任意の複数の点が集合する領域に基づいて画像処理不要領域を決定する（ステップＳ１４）。画像処理不要領域を除いて画像処理を実施する（ステップＳ１５）。【選択図】        図８
2005258758.tif 000002
【特許請求の範囲】
【請求項１】
撮像軸方向の画像を撮像するための撮像手段と、
前記撮像手段によって撮像された画像データを処理する画像処理手段と、
前記画像処理手段に必要な情報を記憶する記憶手段とを備え、
前記記憶手段は、
前記撮像手段の光学中心を第１の原点とし、前記撮像軸および互いに前記撮像軸と直行する２軸を基軸とする第１の座標系における画像内に入る環境内の任意の点を画像上の２次元座標系に変換するための座標変換テーブルと、
任意の点を第２の原点とした第２の座標系における前記環境内における画像処理に不要な領域における不要領域情報とを記憶し、
前記画像処理手段は、前記記憶手段に記憶されている第２の座標系における前記不要領域情報を第１の座標系に変換し、前記画像上に示される前記座標変換テーブルを用いて変換した第１の座標系に従う不要領域情報に基づいて前記撮像された前記画像データを処理する領域を指定する、画像処理装置。
【請求項２】
前記撮像手段の向きを基準となる所定位置から変更するための少なくとも１自由度を有する撮像範囲変更手段と、
前記撮像範囲変更手段により基準となる所定位置から移動した前記撮像手段の変更角度を検出する角度検出手段とをさらに備え、
前記画像処理手段は、前記角度検出手段において検出した変更角度に基づいて前記記憶手段に記憶されている第２の座標系における前記不要領域情報を第１の座標系に変換し、前記画像上に示される前記座標変換テーブルを用いて変換した第１の座標系に従う不要領域情報に基づいて前記撮像された前記画像データを処理する領域を指定する、請求項１記載の画像処理装置。
【請求項３】
前記角度検出手段は、エンコーダに相当する、請求項２記載の画像処理装置。
【請求項４】
撮像軸方向の画像を撮像するための撮像手段と、前記撮像手段によって撮像された画像データを処理する画像処理手段と、前記画像処理手段に必要な情報を記憶する記憶手段とを備える、画像処理装置の画像処理方法であって、
前記撮像手段の光学中心を第１の原点とし、前記撮像軸および互いに前記撮像軸と直行する２軸を基軸とする第１の座標系における画像内に入る環境内の任意の点を画像上の２次元座標系に変換するための座標変換テーブルを作成し、前記記憶手段に記憶するステップと、
任意の点を第２の原点とした第２の座標系における前記環境内における画像処理に不要な領域における不要領域情報を前記記憶手段に記憶するステップと、
前記記憶手段に記憶されている第２の座標系における前記不要領域情報を第１の座標系に変換するステップと、
前記座標変換テーブルを用いて変換した第１の座標系に従う前記画像上に示される不要領域情報に基づいて前記撮像された前記画像データの画像処理を実行する領域を指定するステップとを備える、画像処理方法。
【請求項５】
前記画像装置は、前記撮像軸を基準撮像軸から変更させるための少なくとも１自由度を有する撮像範囲変更手段と、前記撮像軸の前記基準撮像軸からの変更角度を検出する角度検出手段とをさらに備え、
前記第１の座標系に変換するステップは、前記角度検出手段において検出した変更角度に基づいて前記記憶手段に記憶されている第２の座標系における前記不要領域情報を前記第１の座標系に変換する、請求項４記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラを用いた画像処理装置および画像処理方法において、画像処理を行なう際に、画像処理を行なう領域を指定する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来より、画像処理としては、コンピュータ内のメモリ等へ格納した画像データに対して、平均化、フーリエ変換などの各種演算を行なうものが知られている。このような画像処理においては格納した画像データの対応するすべての領域について画像処理を実行するのではなく、画像データの一部の領域に対して処理を行なうことにより高速な画像処理を実行する方式が提案されている。
【０００３】
図１６は、従来の画像処理方式を説明する概念図である。
【０００４】
図１６を参照して、環境中の対象物としてボール１５を認識することを考える。図１６においては、外装５の上部にカメラ１が設けられ、ボール１５に対してカメラ１が向けられている。
【０００５】
図１７は、図１６で説明したカメラ１で撮像した画像を示す一例図である。
【０００６】
図１７に示されるようにカメラ画像２０♯において、ボール１５が認識されるとともに、ボール１５に近接してカメラ１を支持するための外装領域５が示されている。なお、本例においては、外装５には円状の模様が付与されているものとし、２次元上のカメラ画像２０♯において、ボール１５と外装５に付与された模様１１とが撮像されているものとする。
【０００７】
従来の画像処理による対象物認識方式においては、たとえば一例としてボールを認識するためにボールの色情報や形状情報を利用して画像からボール領域の抽出を行なうことが一般的に行われている。しかしながら、図１７で示されるように環境中に存在するものの模様がたとえばボール１５と同じ色である場合や、同じ形状である場合にはボールであるのか模様であるかどうかの識別は困難である。
【０００８】
一方、この図１７に示されるカメラ画像２０♯において、画像処理対象領域を外装領域と考えられる部分以外の部分に限定することにより模様１１をボールであると誤認識することから回避することができる。すなわち、図１８のように画像処理対象領域を限定することにより高速な画像処理を実行することが可能となる。
【０００９】
画像処理対象領域の設定方法として、特開平４−１００７５号公報においては画像処理における領域区分しきい値設定方法が開示されている。この特開平４−１００７５号公報においては、画像処理対象領域とその他の領域とを区別する際に原画像に基づく色の特徴量を用いて領域を区別するしきい値が決定されている。また、特開平３−１４４８６１号公報においては、画像処理システムにおいてカメラで撮像した画像に対して、オペレータがユーザインターフェイスを用いて円弧直線により画像処理対象領域を設定する方式が開示されている。また、別の例として、特開平６−２９５３３４号公報においては、画像処理対象領域に関し、画像サイズの画素毎に画像処理対象領域か画像処理不要領域かを事前に記録し、実際に画像処理する際には画像処理対象領域として登録されている領域のみを処理する。上述した３つの公報に開示されるように画像処理における領域をある一部領域に区分して設定することにより高速な画像処理が可能となる。
【特許文献１】特開平４−１００７５号公報
【特許文献２】特開平３−１４４８６１号公報
【特許文献３】特開平６−２９５３３４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述した特開平４−１００７５号公報においては、色の特徴量を用いて画像処理対象領域を区別する方式であるため、たとえば画像処理対象領域の正確さが照明条件や環境中の色要素の複雑さに影響を受けやすいという問題がある。
【００１１】
また、特開平３−１４４８６１号公報においては撮像した画像に対して、オペレータがユーザインターフェイスを用いて画像処理対象領域を設定しているため画像処理の途中にオフライン処理が入り全体的な処理の所要時間が増大するという問題がある。
【００１２】
また、特開平６−２９５３３４号公報においては、画像サイズの各画素毎に画像処理対象領域か画像処理不要領域かを事前に記録する必要がある。したがって、撮像領域が変化する場合には事前にすべての場合の画像処理対象領域を記録することが必要であり、画像サイズの各画素が極めて大容量となる場合には画像処理に多大な時間を要するという問題が生じる。
【００１３】
本発明は、上記のような問題を解決するためになされたものであって、簡易な方式で環境中の画像処理不要領域を特定して、画像処理対象領域を指定し、高速な画像処理を実行する画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明に係る画像処理装置は、撮像軸方向の画像を撮像するための撮像手段と、撮像手段によって撮像された画像データを処理する画像処理手段と、画像処理手段に必要な情報を記憶する記憶手段とを備える。記憶手段は、撮像手段の光学中心を第１の原点とし、撮像軸および互いに撮像軸と直行する２軸を基軸とする第１の座標系における画像内に入る環境内の任意の点を画像上の２次元座標系に変換するための座標変換テーブルと、任意の点を第２の原点とした第２の座標系における環境内における画像処理に不要な領域における不要領域情報とを記憶する。画像処理手段は、記憶手段に記憶されている第２の座標系における不要領域情報を第１の座標系に変換し、画像上に示される座標変換テーブルを用いて変換した第１の座標系に従う不要領域情報に基づいて撮像された画像データを処理する領域を指定する。
【００１５】
好ましくは、撮像手段の向きを基準となる所定位置から変更するための少なくとも１自由度を有する撮像範囲変更手段と、撮像範囲変更手段により基準となる所定位置から移動した撮像手段の変更角度を検出する角度検出手段とをさらに備える。画像処理手段は、角度検出手段において検出した変更角度に基づいて記憶手段に記憶されている第２の座標系における不要領域情報を第１の座標系に変換し、画像上に示される座標変換テーブルを用いて変換した第１の座標系に従う不要領域情報に基づいて撮像された画像データを処理する領域を指定する。
【００１６】
特に、角度検出手段は、エンコーダに相当する。
【００１７】
本発明に係る画像処理方法は、撮像軸方向の画像を撮像するための撮像手段と、撮像手段によって撮像された画像データを処理する画像処理手段と、画像処理手段に必要な情報を記憶する記憶手段とを備える、画像処理装置の画像処理方法であって、撮像手段の光学中心を第１の原点とし、撮像軸および互いに撮像軸と直行する２軸を基軸とする第１の座標系における画像内に入る環境内の任意の点を画像上の２次元座標系に変換するための座標変換テーブルを作成し、記憶手段に記憶するステップと、任意の点を第２の原点とした第２の座標系における環境内における画像処理に不要な領域における不要領域情報を記憶手段に記憶するステップと、記憶手段に記憶されている第２の座標系における不要領域情報を第１の座標系に変換するステップと、座標変換テーブルを用いて変換した第１の座標系に従う画像上に示される不要領域情報に基づいて撮像された画像データの画像処理を実行する領域を指定するステップとを備える。
【００１８】
好ましくは、画像装置は、撮像軸を基準撮像軸から変更させるための少なくとも１自由度を有する撮像範囲変更手段と、撮像軸の基準撮像軸からの変更角度を検出する角度検出手段とをさらに備える。第１の座標系に変換するステップは、角度検出手段において検出した変更角度に基づいて記憶手段に記憶されている第２の座標系における不要領域情報を第１の座標系に変換する。
【発明の効果】
【００１９】
本発明に係る画像処理装置および画像処理方法は、第１の座標系における画像内に入る環境内の任意の点を画像上の２次元座標系に変換する座標変換テーブルを用いて、不要領域情報を変換し、画像データを処理する領域を指定する。したがって、座標変換により、簡易に不要領域情報を画像内で判別することができる。すなわち、簡易に画像データを処理する領域を指定し、高速な画像処理を実行することができる。
【発明を実施するための最良の形態】
【００２０】
本発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付し、その説明は繰返さない。
【００２１】
（実施の形態１）
図１は、本発明の実施の形態１に従う画像処理装置の外観構成図である。
【００２２】
図１を参照して、本発明の実施の形態１に従う画像処理装置は、カメラ１と、カメラ１を支持するリンク２と、リンク２を介してカメラ１を固定するとともに、装置内部を覆う外装５とが示される。
【００２３】
図２は、本発明の実施の形態１に従う画像処理装置の内部回路の概略ブロック図である。
【００２４】
図２を参照して、本発明の実施の形態１に従う画像処理装置は、環境中における対象物を撮像するためのカメラ１と、カメラ１を制御するための制御部１０とを備える。制御部１０は、カメラ１で撮像した撮像データを画像処理する画像処理部３と、画像処理に用いるために必要なプログラム情報やデータを記憶するためのメモリ４と、外部との間で入力情報および出力情報を授受する入出力部６とを備える。
【００２５】
本発明の画像処理装置は、特に画像処理において、環境中の対象物を撮像する場合にカメラ１の撮像領域において外装５の一部が含まれる場合の画像処理について説明する。具体的には、撮像領域に含まれる外装５の一部を除きそれ以外の領域を画像処理対象領域に設定する方式について説明する。すなわち、撮像領域における画像処理不要領域を設定し、それ以外の領域を画像処理対象領域として画像処理を実行する方式について説明する。これにより、たとえば撮像された画像データにおいて外装５の領域には対象物が存在しないために画像処理対象領域を外装５以外の領域に設定することにより画像処理時間の短縮および認識精度の向上を図ることができる。
【００２６】
以下、本発明の実施の形態１に従う画像処理方式について説明する。
【００２７】
まず、本発明の実施の形態１に従う画像処理方式における前処理について図３のフローチャート図を用いて説明する。
【００２８】
図３を参照して、まず、最初にカメラ座標系の３次元座標と画像上２次元座標の対応を計測する（ステップＳ０）。
【００２９】
図４は、カメラ座標系の３次元座標Σｃを説明する概念図である。
【００３０】
図４に示されるように、カメラ座標系Σｃは、カメラの撮像軸方向すなわちカメラの光軸をＺｃ軸とし、カメラの光軸Ｚｃ軸に対して垂直な面の横軸方向をＸｃ軸とし、縦軸方向をＹｃ軸としている。Ｘｃ軸、Ｙｃ軸およびＺｃ軸は互いに直交している。カメラの撮像領域は、カメラ座標系ΣｃのＺｃ軸上においてカメラの光学中心である原点Ｏｃから離れるほど広がっていく様子が示されている。
【００３１】
図５は、カメラ１によって撮像されたカメラ画像２０を説明する図である。
【００３２】
図５に示されるように、カメラ１は、光軸方向すなわち撮像軸方向のＺｃ軸における対象物を撮像し、Ｘｃ軸およびＹｃ軸に基づく２次元座標に撮像する。具体的には、図４に示されるカメラの撮像領域がカメラ画像２０であるフレーム領域内に撮像されることになる。Ｚｃ軸に従ってカメラの撮像領域は変化する。したがって、カメラ画像２０に表示される撮像点に対応するカメラ座標Σｃの点は、同一の撮像点であっても、Ｚｃ軸の値ｚｃに応じて、Ｘｃ軸の値ｘｃおよびＹｃ軸の値ｙｃで表現される点（ｘｃ，ｙｃ，ｚｃ）が変化することになる。
【００３３】
このステップＳ０は、具体的には、カメラ３次元座標系Σｃにおける任意の点が、カメラ画像２０に投影した際に、変化する撮像点の対応関係を計測するものである。
【００３４】
再び図３を参照して、次に、計測結果に基づいて、画像処理部３は、座標変換テーブルＴを作成する（ステップＳ１）。具体的には、カメラ３次元座標系Σｃからカメラ画像２０への二次元座標系への座標変換テーブルを作成し、メモリ４に記憶される。座標変換テーブルＴは、簡易に説明するとカメラ３次元座標系Σｃで実測された座標値がカメラ画像２０のフレーム内においていずれの撮像点として投影されるかを変換するテーブルである。なお、カメラ３次元座標系Σｃの全空間の全ての点について実測することは困難であるため、スプライン補間等の既存の補間公式を用いて、座標変換テーブルＴを作成することも可能である。
【００３５】
次に、任意の基準座標系Σｂを設定する（ステップＳ２）。
【００３６】
図６は、外装５の１つの頂点を原点Ｏｂとして基準座標系Σｂを設定した一例図である。基準座標系Σｂは、水平面において直交する２軸をＸｂ軸およびＹｂ軸とし、水平面に直交する方向をＺｂ軸としている。なお、図６にはカメラ３次元座標系Σｃも示されている。
【００３７】
再び、図３を参照して、次に基準座標系Σｂにおける外装５の３次元座標をメモリに登録（記憶）する（ステップＳ３）。具体的には、外装５の形状を特定するために必要な複数の頂点等に関する３次元座標の値が記憶される。
【００３８】
次に、カメラ情報がメモリに登録（記憶）される（ステップＳ４）。具体的には、カメラの姿勢およびカメラの取付けに関する情報が記憶される。
【００３９】
図７は、３軸直交座標系Σｋにおけるカメラの姿勢を説明する概念図である。
【００４０】
座標系Σｋは、カメラの光学中心である原点Ｏｃにおいて、水平面における２軸をそれぞれＸｋ軸およびＺｋ軸とし、水平面に垂直な方向をＹｋ軸としている。カメラの姿勢は、各軸すなわちＸｋ軸、Ｙｋ軸およびＺｋ軸の回転角度α、β、γでメモリに記憶される。したがって、座標系Σｋにおける各軸の関係と回転角度α、β、γとから座標系Σｃの各軸の関係を導き出すことが可能となる。すなわち、座標系Σｋにおける回転角度α、β、γに基づいて座標系Σｃに変換が可能である。また、これとともに、外装５のサイズ情報および外装５に対するリンク２の取付け位置およびリンク２の長さ等のスカラ情報もメモリに記録される。
【００４１】
このステップＳ３およびＳ４により、外装５を含む画像処理装置全体の任意の点について座標系Σｂで標記することが可能になる。そして、カメラ１の位置、具体的にはカメラ１の光学中心である原点Ｏｃを座標系Σｂで示すことができる。以上が前処理である。
【００４２】
次に、本発明の実施の形態１に従う画像処理方式の本処理について説明する。
【００４３】
図８のフローチャート図を用いて本発明の実施の形態１に従う本処理について説明する。
【００４４】
図８を参照して、画像処理を開始する（ステップＳ１０）。
【００４５】
次に、カメラ１により対象物に対して撮像軸方向の画像を撮像する（ステップＳ１１）。
【００４６】
次に、メモリ４に記録されている外装５を含む画像処理装置の座標系Σｂの任意の点について座標系Σｃの座標系に変換する（ステップＳ１２）。具体的には、メモリ４に記憶された座標系Σｂにおける原点Ｏｃと、原点Ｏｃにおける座標系ΣｋにおけるＸｋ軸、Ｙｋ軸およびＺｋ軸の回転角度α、β、γとに基づいて座標系Σｂの任意の点について座標系Σｃの座標系に変換する。
【００４７】
次に、座標系Σｃに従う外装５を含む画像処理装置の任意の点について、座標変換テーブルＴを用いて、２次元座標に変換し、カメラ画像２０上に表す（ステップＳ１３）。
【００４８】
図９は、カメラ画像２０において、画像処理装置の任意の点について、カメラ画像２０に表わされた場合を説明する概念図である。
【００４９】
図９に示されるように、外装５を含む画像処理装置の任意の点について座標系Σｃに変換し、座標変換テーブルＴを用いてカメラ画像２０に表わした場合には、複数の撮像点に画像処理装置の任意の点が示されることになる。
【００５０】
図１０には、一例として撮像領域に含まれる外装５の任意の点Ａ〜点Ｄが示されている。図９の点Ａ〜点Ｄに対応するものである。
【００５１】
再び、図８を参照して、カメラ画像２０に示される変換した任意の複数の点が集合する領域に基づいて画像処理不要領域を決定する（ステップＳ１４）。具体的には、カメラ画像２０内において、座標変換テーブルＴにより複数の撮像点に示された画像処理装置の任意の点が示される領域を画像処理に不要な領域として決定する。これにより、カメラ画像２０において点１、点２、点３、点４で囲まれる画像領域における画像処理不要領域と画像処理対象領域とを判別することができ、画像処理不要領域を除いて画像処理を実施する（ステップＳ１５）。そして、ステップＳ１６において連続的に画像処理を実施する場合にはステップＳ１１に戻り、再度画像を撮像する。ステップＳ１６において、連続的に画像処理を実施しない場合には画像処理を完了する（ステップＳ１７）。
【００５２】
本発明では座標系Σｂで表わされる外装５の任意の点をカメラ座標系Σｃに変換し、カメラ座標系Σｃの座標系からカメラ画像２０の領域内に入る任意の点について座標変換テーブルを用いて算出することにより画像処理対象領域と画像処理不要領域とを簡易に判別することができる。したがって、このように画像処理対象領域と画像処理不要領域とを判別することにより認識対象物が移動物体である場合など連続画像処理が必要な場合には画像処理不要領域に対して画像処理を実施しないことにより高速な画像処理を実行することができる。なお、画像処理不要領域の設定方法については種々の方式が考えられるが、たとえば画像処理をさらに高速にするために座標変換テーブルを用いて座標変換する所定の点を予め定めておくことも可能である。たとえば、設定外装５の頂点部分等に対してのみ座標変換テーブルＴを用いてカメラ画像２０に示し、頂点部分等を直線等で結ぶことにより画像処理対象領域と画像処理不要領域とを判別することも可能である。この場合には、座標変換テーブルＴを用いた座標変換処理に掛かる時間をさらに短縮することが可能であり、さらに高速な画像処理を実行することが可能である。
【００５３】
（実施の形態２）
上記の実施の形態１においては、カメラ１が固定された状態において画像処理対象領域と画像処理不要領域とを判別する方式について説明した。
【００５４】
本発明の実施の形態２においては、カメラ１が移動してカメラの撮像領域が変化する場合における画像処理方式について説明する。
【００５５】
図１１は、本発明の実施の形態２に従う画像処理装置の外観構成図である。
【００５６】
図１１を参照して、本発明の実施の形態２に従う画像処理装置は、図１の画像処理装置と比較して、マニピュレータ８が新たに設けられている点が異なる。マニピュレータ８は、カメラの撮像領域を変化させるための１自由度を有する撮像領域変更手段として設けられており、リンク２と外装５との間に設けられている。
【００５７】
図１２は、本発明の実施の形態２に従う画像処理装置の内部回路の概略ブロック図である。
【００５８】
図１２を参照して、本発明の実施の形態２に従う画像処理装置は、制御部１０♯と、カメラ１と、マニピュレータ８とを備える。
【００５９】
マニピュレータ８は、モータドライバ１２と、モータ７と、エンコーダ１３とを含む。マニピュレータ８は、カメラ１の１自由度の位置を制御するとともに、位置情報を制御部１０♯に出力する。
【００６０】
モータ７は、マニピュレータの関節の駆動源である。モータドライバ１２は、制御部１０＃からの指示に応じてモータ７を制御する。エンコーダ１３は、モータ７の回転量に応じたパルスを後述する制御部１０＃のカウンタ２３に出力する。
【００６１】
制御部１０♯は、メモリ４と、入出力部６と、バス９と、Ｄ／Ａ変換器２２と、カウンタ２３と、画像処理部３とを含む。
【００６２】
カメラ１で撮像された画像データの出力は、画像処理部３へ入力され、画像処理部３において環境中の対象物を認識および識別処理等が行なわれる。
【００６３】
画像処理部３は、関節の駆動に必要な制御値を算出して、Ｄ／Ａ変換器２２でアナログ出力に変換し、モータドライバ１２を介して関節を駆動するモータ７を制御する。さらに、画像処理部３は、カウンタ２３の値を利用してマニピュレータの関節角度を算出する。
【００６４】
マニピュレータ８の自由度は、本例においては１つとする。
【００６５】
図１３のフローチャート図を用いて本発明の実施の形態２に従う画像処理方式について説明する。
【００６６】
まず、撮像処理を開始する（ステップＳ２０）。なお、前処理については、上記の実施の形態１の画像処理方式で説明したのと同様であるのでその詳細な説明は繰り返さない。
【００６７】
次に、カメラの撮像範囲を決定し、マニピュレータ８を制御する（ステップＳ２１）。たとえば、所定の向きにおける角度を０度としたとき−２０度から＋２０度まで１０度刻みで環境認識を実施することをタスクとする場合、タスクの進行状況により画像処理部３において撮像範囲が決定される。同時に関節の目標角度が決定されることになる。現在の角度と目標角度とから移動量を画像処理部３において算出し、Ｄ／Ａ変換器２２を介してモータドライバ１２に前記移動量の制御指令を出力する。モータドライバ１２がモータ７を制御することでマニュピュレータ８を制御する。
【００６８】
次に、マニピュレータの静止後にマニピュレータの関節角度を算出する（ステップＳ２２）。具体的には、所定の向きにおける角度からの変更角度をカウンタ２３の値を用いて画像処理部３において算出する。モータに目標関節角度を設定して制御した場合、実際の角度と目標関節角度に誤差が生じる場合がある。この誤差を吸収するためにエンコーダを利用して静止後の関節角度を算出する。たとえば、モータの出力軸と減速器の間にエンコーダを設置することにより高精度に関節角度を測定することができる。なお、本例においては、制御部１０＃における画像処理部３において、関節角度の算出等の演算機能を実行する方式について説明したが、これに限られずたとえば演算機能を有する演算処理部を別に設けて、カウンタ２３の値を利用して当該演算処理部でマニピュレータの関節角度を算出し、上記で説明したのと同様にＤ／Ａ変換器２２を介してモータドライバ１２に対する制御指令を出力するようにすることも可能である。また、上記の実施の形態１において
説明した座標変換テーブルＴの作成についても、画像処理部３において作成するのではなく、たとえば上記演算処理部で作成して、メモリ４に記憶させる方式とすることも可能である。
【００６９】
次に、画像を撮像する（ステップＳ２３）。
【００７０】
次に、マニピュレータの取得した関節角度に基づいてメモリ４に記憶されている外装５の座標系Σｂの任意の点について座標系Σｃの座標系に変換する（ステップＳ２４）。具体的には、前処理においてメモリ４に記憶した所定位置におけるカメラの姿勢すなわち座標系Σｋにおける回転角度α、β、γおよびカメラの所定位置からの移動した際のマニピュレータの取得した関節角度に基づいて座標系Σｂの任意の点について座標系Σｃの座標系に変換する。
【００７１】
次に、変換した座標系Σｃを座標変換テーブルＴを用いて変換し、カメラ座標上に表す（ステップＳ２５）。
【００７２】
図１４は、カメラ画像２０において、画像処理装置の任意の点について、カメラ画像２０に表わされた場合を説明する概念図である。
【００７３】
図１４に示されるように、外装５を含む画像処理装置の任意の点についてマニピュレータの取得した関節角度を用いて座標系Σｃに変換し、座標変換テーブルＴを用いてカメラ画像２０に表わした場合には、複数の撮像点に画像処理装置の任意の点が示されることになる。
【００７４】
図１５には、一例として撮像領域に含まれる外装５の任意の点Ｋ〜点Ｎ，Ｐ，Ｑが示されている。図１４の点Ｋ〜点Ｎ，Ｐ，Ｑに対応するものである。
【００７５】
そして、カメラ画像に示される変換した任意の複数の点が集合する領域に基づいて画像処理不要領域を決定する（ステップＳ２６）。これにより、カメラ画像２０において画像領域における画像処理不要領域を除いて画像処理を実施する（ステップＳ２７）。
【００７６】
次に、連続的に画像処理を実施するかどうかを判定する（ステップＳ２８）。連続的に画像処理を実施する場合にはステップＳ３０に進む。ステップＳ３０において、撮像範囲を変更するかどうかを判定する。変更する場合には、再びステップＳ２１に戻って撮像範囲を決定する。一方、変更しない場合には、ステップＳ２３に戻って再び画像を撮像する。
【００７７】
一方、ステップＳ２８において、連続的に画像処理を実施しない場合には画像処理を完了する（ステップＳ２９）。
【００７８】
本実施例においては、マニピュレータの自由度は１自由度であるが多自由度の場合にも全関節に角度検出手段を設けることによりすなわちエンコーダを配置することにより座標変換が可能となり、上記で説明した画像処理対象領域と画像処理不要領域とを判別することができる。
【００７９】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【００８０】
【図１】本発明の実施の形態１に従う画像処理装置の外観構成図である。
【図２】本発明の実施の形態１に従う画像処理装置の内部回路の概略ブロック図である。
【図３】本発明の実施の形態１に従う画像処理方式における前処理について説明するフローチャート図である。
【図４】カメラ座標系の３次元座標Σｃを説明する概念図である。
【図５】カメラ１によって撮像されたカメラ画像２０を説明する図である。
【図６】外装５の１つの頂点を原点Ｏｂとして基準座標系Σｂを設定した図である。
【図７】３軸直交座標系Σｋにおけるカメラの姿勢を説明する概念図である。
【図８】本発明の実施の形態１に従う本処理について説明するフローチャート図である。
【図９】カメラ画像２０において、画像処理装置の任意の点について、カメラ画像２０に表わされた場合を説明する概念図である。
【図１０】撮像領域に含まれる外装５の任意の点Ａ〜点Ｄを示す図である。
【図１１】本発明の実施の形態２に従う画像処理装置の外観構成図である。
【図１２】本発明の実施の形態２に従う画像処理装置の内部回路の概略ブロック図である。
【図１３】本発明の実施の形態２に従う画像処理方式について説明するフローチャート図である。
【図１４】カメラ画像２０において、画像処理装置の任意の点について、カメラ画像２０に表わされた場合を説明する概念図である。
【図１５】撮像領域に含まれる外装５の任意の点Ｋ〜点Ｎ，Ｐ，Ｑが示される図である。
【図１６】従来の画像処理方式を説明する概念図である。
【図１７】図１６で説明したカメラ１で撮像した画像を示す一例図である。
【図１８】画像処理対象領域を限定した場合について説明する図である。
【符号の説明】
【００８１】
１  カメラ、２  リンク、３  画像処理部、４  メモリ、５  外装、６  入出力部、７  モータ、８  マニュピュレータ、９  バス、１０，１０＃  制御部、１１  模様、１２  モータドライバ、１３  エンコーダ、２０，２０＃  画像、２２  Ｄ／Ａ変換器、２３  カウンタ。
【図１】
2005258758.tif 000003
【図２】
2005258758.tif 000004
【図３】
2005258758.tif 000005
【図４】
2005258758.tif 000006
【図５】
2005258758.tif 000007
【図６】
2005258758.tif 000008
【図７】
2005258758.tif 000009
【図８】
2005258758.tif 000010
【図９】
2005258758.tif 000011
【図１０】
2005258758.tif 000012
【図１１】
2005258758.tif 000013
【図１２】
2005258758.tif 000014
【図１３】
2005258758.tif 000015
【図１４】
2005258758.tif 000016
【図１５】
2005258758.tif 000017
【図１６】
2005258758.tif 000018
【図１７】
2005258758.tif 000019
【図１８】
2005258758.tif 000020