(57)【特許請求の範囲】
【請求項１】
入力画像から得られる対象物の輪郭、凹凸、模様等の特徴を直線や円弧に近似した特徴データと、対象物のモデルの特徴データとのマッチングをとることで対象物の認識を行なう物体認識装置において、
他の入力画像から得られる対象物の輪郭、凹凸、模様等の特徴を直線や円弧に近似して得る特徴データに基づき、この特徴データを作業者がモデル特徴として選択登録し、さらに直線、円弧等のモデルの特徴データを作業者が編集できる機能を持つように構成したモデル作製手段を有することを特徴とする物体認識装置。
【請求項２】
モデル作製手段は、上記特徴データを作業者がモデル特徴として選択登録し、さらに任意の直線をモデル特徴に追加できる機能を有するものであることを特徴とする［請求項１］に記載する物体認識装置。
【請求項３】
モデル作製手段は、上記特徴データを作業者がモデル特徴として選択登録し、さらに任意の円弧をモデル特徴に追加できる機能を有するものであることを特徴とする［請求項１］に記載する物体認識装置。
【請求項４】
モデル作製手段は、上記特徴データを作業者がモデル特徴として選択登録し、さらに作業者の判断によって登録されているモデル特徴の位置を移動調整できる機能を有するものであることを特徴とする［請求項１］に記載する物体認識装置。
【請求項５】
モデル作製手段は、上記特徴データを作業者がモデル特徴として選択登録し、さらに作業者の判断によって登録されているモデル特徴の姿勢を回転調整できる機能を有するものであることを特徴とする［請求項１］に記載する物体認識装置。
【請求項６】
モデル作製手段は、上記特徴データを作業者がモデル特徴として選択登録し、さらに任意の特徴を必要に応じてモデル特徴に追加した後、モデル特徴として適切でない特徴を作業者の判断によって消去できる機能を有するものであることを特徴とする［請求項１］に記載する物体認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は物体認識装置に関し、特にモデルベーストマッチング法の特徴マッチングに用いる対象物のモデルを作製する場合に用いて有用なものである。
【０００２】
【従来の技術】
二次元平面画像から三次元物体を認識する場合、すなわちいわゆる視覚認識装置において三次元物体の認識を行なう場合、モニタに二次元投影画像を表示し目視により認識の確かさを確認する方法がある。つまり、対象物の二次元画像と対象物の三次元物体モデル画像とをモニタ上に重ね合わせて表示することで、対象物と三次元物体モデルとのずれを目視により簡易的に確認する方法である。
【０００３】
この場合、三次元物体モデルのモニタとしては、三次元物体モデルを用いて、この三次元物体モデルを認識姿勢に三次元座標変換し、更にカメラ座標に二次元投影してモニタ表示を行なっている。
【０００４】
そして、この三次元物体モデルの作製は、三次元物体モデルが物体の外形を表現するものであるため、ＣＡＤデータから作製したり、グラフィックツールを用いてモニタ上にて作製している。また、このために三次元物体モデルは、直線や円弧又は楕円などの幾何学的特徴で構成される。
【０００５】
他方、コンピュータを用いた機械によって視覚認識を行なういわゆるコンピュータビジョンも研究されつつあり、ここにおいて三次元物体認識を行なう方法のひとつに、モデルベーストマッチング法がある。この方法は、コンピュータの内部に予め三次元物体のモデルを蓄え、このモデルと対象物体画像とを比較して、画像中から特定物体を探し出したり、物体の三次元位置及び姿勢を検出するものである。
【０００６】
かかるモデルベーストマッチング法にあっても、三次元物体認識を行なう前には予め三次元物体モデルを作製する必要があり、ＣＡＤデータからモデルを作製したり、グラフィックツールを用いてこの三次元物体モデルを作製している。
【０００７】
【発明が解決しようとする課題】
以上のとおり三次元物体認識を行なうには、三次元物体モデルを作製する必要があり、前述のようにＣＡＤデータにより、又はグラフィックツールを用いてモデルを作製しているが、次のような問題が生じている。
【０００８】
（１）  三次元ＣＡＤデータからモデルを作製した場合、直線や円弧・楕円などでモデルを特徴付けているため、対象物が任意の自由曲線の外形や模様を持つ場合、モニタ上にて対象物と三次元物体モデル画像とを重ね合わせて表示した場合には、直線や円弧に近似したときの誤差が表示の誤差となり、細部にて対象物とモデルとのずれが生じる。
【０００９】
また、コンピュータビジョンにおけるモデルベーストマッチングにおいては、カメラからの画像を処理し、その物体の特徴を抽出して、モデルとの特徴とマッチングをとる特徴マッチングの場合も、ＣＡＤモデルの特徴と物体の二次元投影画像を処理した特徴画像とは一致せず、この特徴マッチングではＣＡＤモデルと同じ物体の特徴が得られにくく、ＣＡＤモデルをそのままでは用いることができない。
【００１０】
（２）  グラフィックツールを用いて三次元物体モデルを作る場合には、物体の奥行き情報が必要であり、このため物体の３ディメンションデータをグラフィック手段とは別の手段にて獲得しなければならない。
【００１１】
かかる従来技術の問題点を解消すべく、本発明者等は、ＣＡＤによる直線や円弧・楕円の近似による三次元物体モデルの作製や、３ディメンションデータを別途に得る必要があるグラフィックツールの使用を行なわないで、三次元物体モデルを作製する方法を、先に提案した（特願平７−２３２２２号）。
【００１２】
これは対象物の輪郭、凹凸、模様等を基本的に一つの実画像を処理して直線や円弧等に近似した特徴データの内、モデルデータとして必要なものを作業者が選択するというものであり、この方法によれば特徴データを得るまでの処理が認識処理と同一のため認識に適したモデルが作製できるという利点はあるが、カメラからの入力画像の濃淡値の変化や対象物の位置姿勢変化によって図１３に示すように特徴データの出方にバラツキがあり、次のような問題が起こる場合がある。
【００１３】
▲１▼  特徴データの出方にバラツキがあるため、モデルデータとして適当な高い確率で得られる特徴データであっても、モデルデータを選択する時の特徴データとして得られていない場合があり、モデル作製作業を困難なものにする場合がある。
▲２▼  対象物体上の同じ部分の特徴データであってもモデルに登録した特徴データと大きく異なる特徴データとなる場合があり、この場合には認識性能が低下する。
【００１４】
本発明は、上記問題点に鑑み、モデル作製作業を効率化し、さらに認識性能を向上する、すなわち入力画像から抽出される特徴データのバラツキを吸収し、モデル作製作業の効率化と認識性能の向上を行う物体認識装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
上記目的を達成する本発明の構成は次の点を特徴とする。
【００１６】
１）  入力画像から得られる対象物の輪郭、凹凸、模様等の特徴を直線や円弧に近似した特徴データと、対象物のモデルの特徴データとのマッチングをとることで対象物の認識を行なう物体認識装置において、
他の入力画像から得られる対象物の輪郭、凹凸、模様等の特徴を直線や円弧に近似して得る特徴データに基づき、この特徴データを作業者がモデル特徴として選択登録し、さらに直線、円弧等のモデルの特徴データを作業者が編集できる機能を持つように構成したモデル作製手段を有すること。
２）  １）において、モデル作製手段は、上記特徴データを作業者がモデル特徴として選択登録し、さらに任意の直線をモデル特徴に追加できる機能を有するものであること。
３）  １）において、モデル作製手段は、上記特徴データを作業者がモデル特徴として選択登録し、さらに任意の円弧をモデル特徴に追加できる機能を有するものであること。
４）  １）において、モデル作製手段は、上記特徴データを作業者がモデル特徴として選択登録し、さらに作業者の判断によって登録されているモデル特徴の位置を移動調整できる機能を有するものであること。
５）  １）において、モデル作製手段は、上記特徴データを作業者がモデル特徴として選択登録し、さらに作業者の判断によって登録されているモデル特徴の姿勢を回転調整できる機能を有するものであること。
６）  １）において、モデル作製手段は、上記特徴データを作業者がモデル特徴として選択登録し、さらに任意の特徴を必要に応じてモデル特徴に追加した後、モデル特徴として適切でない特徴を作業者の判断によって消去できる機能を有するものであること。
【００１７】
【発明の実施の形態】
以下本発明の実施の形態を図面に基づき詳細に説明する。
【００１８】
本発明の実施の形態に係る物体認識装置は、従来のモデル作製機能によって作製したモデルに対してそのモデルの特徴データを作業者が編集できるようにしたモデル作製手段を有するものである。
【００１９】
したがって、その基本的な処理手順は、図１に示すように従来と同様の対象物の画像入力処理（ステップＳ1 ）の後、この入力画像から対象物の輪郭、凹凸、模様等を直線や円弧に近似した特徴データを抽出（ステップＳ2 ）するとともに、この特徴データを作業者がモデル特徴として選択登録（ステップＳ3 ）する。その後、モデルの特徴データ（直線、円弧）を作業者が適宜編集する（ステップＳ4 ）。
【００２０】
かかる編集の具体的な内容は種々考えられる。各編集の内容を中心に本願発明のさらに具体的な実施例を説明する。各実施例は、入力画像の処理によって「直線」と「円弧」の２種類の特徴データ（勿論これら「直線」、「円弧」に限定されるものではなく、特徴データの種類に特別な制限はない）が得られることを前提とする。
【００２１】
＜第１の実施例（直線追加による対処）＞
本実施例は、入力画像から対象物の輪郭、凹凸、模様等を直線や円弧に近似した特徴データを作り、その特徴データを作業者がモデル特徴として選択登録し、さらに任意の直線をモデル特徴に追加するものである。
【００２２】
▲１▼  入力画像から特徴抽出を行った場合、高い確率で「直線」として得られる対象物の特徴が、モデル作製作業時に行った特徴抽出ではたまたま「円弧」として得られる場合がある。この場合はモデル特徴登録の際、その「円弧」を登録せず、モデル編集時に作業者が適当な「直線」を追加する。この作業を図２に示す（図中の太線は編集した特徴である（以下同じ））。
【００２３】
▲２▼  入力画像から特徴抽出を行った場合、高い確率で「一つの直線」として得られる対象物の特徴が、モデル作製作業時に行った特徴抽出ではたまたま「複数の直線の組」として得られる場合がある。この場合はモデル特徴登録の際、それらの「直線」を登録せず、モデル編集時に作業者が適当な「直線」を追加する。この作業を図３に示す。
【００２４】
▲３▼  入力画像から特徴抽出を行った場合、高い確率で「複数の直線の組」として得られる対象物の特徴が、モデル作製作業時に行った特徴抽出ではたまたま「一つの直線」として得られる場合がある。この場合はモデル特徴登録の際、その「直線」を登録せず、モデル編集時に作業者が適当な「直線」を追加する。この作業を図４に示す。
【００２５】
▲４▼  入力画像から特徴抽出を行った場合、対象物のある部分が「直線」または「円弧」として同程度の確率で得られ、モデル作製作業者には「円弧」として得られる場合がある。この場合はモデル特徴登録の際、その「円弧」を登録し、さらにその部分に作業者が適当な「直線」を追加する。この作業を図５に示す。
【００２６】
▲５▼  入力画像から特徴抽出を行った場合、対象物のある部分が「一つの直線」または「複数の直線の組」として同程度の確率で得られる場合がある。この状況でモデル作製作業時に「複数の直線の組」として得られた場合、モデル特徴登録の際、その「複数の直線の組」を登録し、さらにその部分に作業者が適当な「直線」を追加する。この作業を図６に示す。
【００２７】
また、この逆にモデル作製作業時に「一つの直線」として得られた場合、モデル特徴登録の際その「一つの直線」を登録し、さらにその部分に作業者が適当な「直線」を追加する。この作業を図７に示す。
【００２８】
＜第２の実施例（円弧追加による対処）＞
本実施例は、入力画像から対象物の輪郭、凹凸、模様等を直線や円弧に近似した特徴データを作り、その特徴データを作業者がモデル特徴として選択登録し、さらに任意の円弧をモデル特徴に追加するものである。
【００２９】
▲１▼  入力画像から特徴抽出を行った場合、高い確率で「円弧」として得られる対象物の特徴が、モデル作製作業時に行った特徴抽出ではたまたま「直線」として得られる場合がある。この場合はモデル特徴登録の際、その「直線」を登録せず、モデル編集時に作業者が適当な「円弧」を追加する。この作業を図８に示す。
【００３０】
▲２▼  入力画像から特徴抽出を行った場合、対象物のある部分が「直線」または「円弧」として同程度の確率で得られ、モデル作製作業時には「直線」として得られる場合がある。この場合はモデル特徴登録の際、その「直線」を登録し、さらにその部分に作業者が適当な「円弧」を追加する。この作業を図９に示す。
【００３１】
＜第３の実施例（特徴移動による対処）＞
本実施例は入力画像から対象物の輪郭、凹凸、模様等を直線や円弧に近似した特徴データを作り、その特徴データを作業者がモデル特徴として選択登録し、さらに作業者の判断によって登録されているモデル特徴の位置を移動調整するものである。
【００３２】
▲１▼  入力画像から特徴抽出を行った場合、対象物のある部分の特徴がモデル作製時において照明や対象物の表面状態による影響で本来得られる位置、または高い確率で得られる位置から多少ずれている場合がある。この場合はモデル登録の際にその特徴を登録し、モデル編集時に作業者が適切な位置に移動する。この作業を図１０に示す。
【００３３】
＜第４の実施例（特徴回転による対処）＞
本実施例は、入力画像から対象物の輪郭、凹凸、模様等を直線や円弧に近似した特徴データを作り、その特徴データを作業者がモデル特徴として選択登録し、さらに作業者の判断によって登録されているモデル特徴の姿勢を回転調整するものである。
【００３４】
▲１▼  入力画像から特徴抽出を行った場合、対象物のある部分の特徴がモデル作製時において照明や対象物の表面状態による影響で本来得られる姿勢、または高い確率で得られる姿勢から多少ずれている場合がある。この場合はモデル登録の際にその特徴を登録し、モデル編集時に作業者が適切な姿勢に回転する。この作業を図１１に示す。
【００３５】
＜第５の実施例（特徴消去による対処）＞
本実施例は、入力画像から対象物の輪郭、凹凸、模様等を直線や円弧に近似した特徴データを作り、その特徴データを作業者がモデル特徴として選択登録し、さらに任意の特徴を必要に応じてモデル特徴に追加した後、モデル特徴として適切でない特徴を作業者の判断によって消去するものである。
【００３６】
▲１▼  モデルに登録された特徴には、モデル登録において間違って登録した特徴、モデル特徴として登録したものの入力画像から特徴として得られる確率の低い特徴、またはモデル編集において間違って追加してしまった特徴が含まれる場合がある。この場合はモデル編集時にモデル特徴として適切でない特徴を作業者の判断によって消去する。この作業を図１２に示す。
【００３７】
【発明の効果】
以上実施の形態及び実施例とともに具体的に説明したように、本発明によれば次の効果を奏する。
【００３８】
（１）  モデル作製時の特徴抽出において、モデルに登録したい特徴が得られていない場合でも、再度特徴抽出処理を行うことなく、モデル編集時に作業者が適当な特徴を追加することでモデル作製作業を効率化できる。
【００３９】
（２）  モデル作製時の特徴抽出において、モデルに登録したい特徴が照明や対象物の表面状態による影響で本来得られる位置、または高い確率で得られる位置から多少ずれていた場合でも、再度特徴抽出処理を行うことなく、モデル編集時に作業者が適切な位置に特徴を移動することでモデル作製作業を効率化でき、さらに認識精度を向上できる。
【００４０】
（３）  モデル作製時の特徴抽出において、モデルに登録したい特徴が照明や対象物の表面状態による影響で本来得られる姿勢、または高い確率で得られる姿勢から多少ずれていた場合でも、再度特徴抽出処理を行うことなく、モデル編集時に作業者が適切な姿勢に特徴を回転することでモデル作製作業を効率化でき、さらに認識精度を向上できる。
【００４１】
（４）  対象物のある部分の特徴の出方が数種類ある場合、例えば同じ部分の特徴が「直線」または「円弧」として同程度の確率で得られる、または「一つの直線」または「複数の直線の組」として同程度の確率で得られるような場合、まずモデル特徴登録時に得られている方の特徴を登録し、さらにモデル編集時に作業者が別の出方の特徴をその部分に追加することで認識安定性能を向上することができる。
【００４２】
（５）  モデル作製作業において、モデル登録作業で間違って登録した特徴およびモデル編集作業で間違って追加した特徴は、改めてモデルを作り直すことなく、モデル編集時に作業者の判断によって間違った特徴を消去することでモデル作製作業を効率化できる。
【００４３】
（６）  モデルの特徴データの内得られる確率の低い特徴については、改めてモデルを作り直すことなく、モデル編集処理において適切でない特徴を消去することでモデル作製作業を効率化でき、さらに認識性能を向上できる。
【図面の簡単な説明】
【図１】本発明の実施の形態における処理手順を示すフローチャート。
【図２】第１の実施例に係る直線追加処理の第１の例を概念的に示す説明図。
【図３】第１の実施例に係る直線追加処理の第２の例を概念的に示す説明図。
【図４】第１の実施例に係る直線追加処理の第３の例を概念的に示す説明図。
【図５】第１の実施例に係る直線追加処理の第４の例を概念的に示す説明図。
【図６】第１の実施例に係る直線追加処理の第５の例を概念的に示す説明図。
【図７】第１の実施例に係る直線追加処理の第６の例を概念的に示す説明図。
【図８】第２の実施例に係る円弧追加処理の第１の例を概念的に示す説明図。
【図９】第２の実施例に係る円弧追加処理の第２の例を概念的に示す説明図。
【図１０】第３の実施例に係る特徴移動処理を概念的に示す説明図。
【図１１】第４の実施例に係る特徴回転処理を概念的に示す説明図。
【図１２】第５の実施例に係る円弧追加処理を概念的に示す説明図。
【図１３】従来の問題を概念的に示す説明図。
【図１】
0003967400.tif 000002
【図２】
0003967400.tif 000003
【図３】
0003967400.tif 000004
【図４】
0003967400.tif 000005
【図５】
0003967400.tif 000006
【図６】
0003967400.tif 000007
【図７】
0003967400.tif 000008
【図８】
0003967400.tif 000009
【図９】
0003967400.tif 000010
【図１０】
0003967400.tif 000011
【図１１】
0003967400.tif 000012
【図１２】
0003967400.tif 000013
【図１３】
0003967400.tif 000014