(57)【要約】【課題】  部品の組立段階における組付け間違いを防止するとともに、組立作業を軽減することのできる、組立品検査装置を得ることを目的とする。【解決手段】  部分組立品を撮影するカメラと、カメラの撮影画像に基づいて部分組立品の２次元形状データを生成する形状認識装置と、組立品の３次元形状データを用いて、部品識別装置で識別された部品の組み付けにより生成される部分組立品の３次元形状データを生成することにより、形状認識装置により生成された２次元形状データと、３次元形状データをカメラの視点方向に投影した２次元形状データとを比較して、部分組立品の組み付け間違いを検出する。【選択図】        図１
2008235504.tif 000002
【特許請求の範囲】
【請求項１】
組立品の組立てに用いられる部品の識別情報と、当該識別情報に対応した部品の３次元形状データを順次結合して生成される組立品の３次元形状データとを格納する記憶装置と、
組み付ける部品を識別する部品識別装置と、
部分組立品を撮影するカメラと、
上記カメラの撮影画像に基づいて、部分組立品の２次元形状データを生成する形状認識装置と、
上記記憶装置に格納された組立品の３次元形状データを用いて、上記部品識別装置で識別された部品の組み付けにより生成される部分組立品の３次元形状データを生成する３次元形状モデル生成部と、
上記３次元形状モデル生成部により生成される部分組立品の３次元形状データを、上記カメラの視点方向に投影して、２次元形状データを生成する射影形状データ生成部と、
形状認識装置により生成された２次元形状データと射影形状データ生成部により生成された２次元形状データとを比較し、部分組立品の組み付け間違いを検出する比較部と、
を備えた組立品検査装置。
【請求項２】
組立品の組立てに用いられる部品の識別情報と、当該識別情報に対応した部品の３次元形状データを順次結合して生成される組立品の３次元形状データとを格納する記憶装置と、
組み付ける部品の識別情報を取得する部品識別装置と、
組み付ける部品および部分組立品を撮影するカメラと、
上記カメラの撮影画像に基づいて、組み付ける部品および部分組立品の２次元形状データを生成する形状認識装置と、
上記部品識別装置で取得された組み付ける部品の識別情報に基づいて、上記記憶装置に格納された組立品の３次元形状データから、組立てに用いられる部品の３次元形状データを生成する部品３次元形状モデル生成部と、
上記部品３次元形状モデル生成部により生成される部品の３次元形状データを、上記カメラの視点方向に投影して、組立てに用いられる部品の２次元形状データを生成する部品射影形状データ生成部と、
上記形状認識装置により生成された組み付ける部品の２次元形状データと部品射影形状データ生成部により生成された組立てに用いられる部品の２次元形状データとを比較し、組み付ける部品が組立てに用いられる部品であるか否かを判別する部品判別部と、
上記部品判別部にて組み付ける部品が組立てに用いられる部品であると判別されたとき、上記記憶装置に格納された組立品の３次元形状データを用いて、上記組み付ける部品の組み付けにより生成される部分組立品の３次元形状データを生成する３次元形状モデル生成部と、
上記３次元形状モデル生成部により生成される部分組立品の３次元形状データを、上記カメラの視点方向に投影して、２次元形状データを生成する射影形状データ生成部と、
形状認識装置により生成された２次元形状データと射影形状データ生成部により生成された２次元形状データとを比較し、部分組立品の組み付け間違いを検出する比較部と、
を備えた組立品検査装置。
【請求項３】
形状認識装置は、認識可能な少なくとも３点の特徴部位を有し組立品の一部を構成する土台の撮影画像から、土台の特徴部位を識別し、識別した特徴部位に基づいて、土台の基準方向の向きを計測し、
上記射影形状データ生成部は、上記形状認識装置で計測された土台の基準方向の向きに基づいて、土台の基準方向に対する上記カメラの視点方向を求め、上記３次元形状モデル生成部により生成される部分組立品の３次元形状データを、求めたカメラの視点方向に投影して、２次元形状データを生成することを特徴とした請求項１または請求項２記載の組立品検査装置。
【請求項４】
部品識別装置は、組み付ける部品に貼り付けされた識別子の情報を非接触で読み取り、部品の識別情報を取得することを特徴とした請求項１または請求項２記載の組立品検査装置。
【請求項５】
組み付ける部品の識別情報と、組立品の３次元形状データと、土台の設置方向とを、遠隔地の計算機に転送するデータ転送装置を備えたことを特徴とする請求項１または請求項２記載の組立品検査装置。
【請求項６】
上記データ転送装置からの伝送データに基づいて、組み付ける部品の３次元形状データを異なる表示形式で表示可能な状態で、上記組み付ける部品を組み付けて生成される部分組立品の３次元形状データを生成する３次元形状モデル生成部と、
上記３次元形状モデル生成部により生成された部分組立品の３次元形状データを、上記組み付ける部品の３次元形状データを異なる表示形式で表示した状態で、土台の設置方向に投影した２次元形状データを表示する画像表示装置と、
を備えたことを特徴とする請求項５記載の組立品検査装置。
【請求項７】
部品識別装置で得られた組み付ける部品の識別情報に基づいて、次に組立み付けられる部品に対する組立の指示情報を出力する組立指示情報出力部を備えたことを特徴とする請求項１または請求項２記載の組立品検査装置。
【請求項８】
組立品に貼り付けまたは刻印された文字列を認識する、画像認識装置を備えたことを特徴とする請求項１または請求項２記載の組立品検査装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、カメラ画像を用いて、組立品の検査を行う組立品検査装置に関する。
【背景技術】
【０００２】
３次元ＣＡＤにより設計された３次元形状モデルをディスプレイ画面に表示し、組立て手順の表示や、組立て完成品のイメージ表示等を行う３次元形状モデル表示装置が知られている。このような３次元形状モデルを生成するための３次元ＣＡＤ図面については、データ生成方法やデータ形式に関する各種規格が存在することは周知のところである。
【０００３】
また、カメラ画像に基づいて部品の２次元形状を検査したり、レーザスキャナを用いて部品の３次元形状を非接触で検査する３次元計測装置が広く利用されている（例えば、特許文献１参照）。
【０００４】
【特許文献１】特開平１０−２８８５０８号公報
【０００５】
一方、近年、カメラで撮像される実写像に基づき、画像処理を用いて製品の形状を検証する形状検証システムが提案されている。例えば、特許文献２には、３次元計測装置の計測データや３次元ＣＡＤ／ＣＡＭの設計データに基づいて、仮想空間で対象物の理想二次元像を再現し、対象物の実写像とを比較して、形状の検証を行う技術が詳細に記述されている。このシステムを用いることにより、３次元測定機を使用せずに、簡単に製品形状を検証することができる。
【０００６】
【特許文献２】特開２０００−３０４５１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、現在、製造業者が組立品の検査を行う場合は、組立担当者が組み上げた組立品について、検査担当者が２次元の設計図面と組立品とを見比べ、指示通りに部品が組み付けられているか否かを、目視で検査しているのが実情である。
【０００８】
このような検査方法では、次の（１）〜（３）に示すような問題があった。
（１）内部に組み付けられる部品の組立途中で組み付け間違いがあった場合、組み上がった組立品を分解し、再度組立て作業のやり直しを行う。このようなやり直し作業を避けるために、組立途中の各段階で、検査担当者が逐一、部分組立品を検査することがある。
（２）検査担当者は組立図面を読図し、組立品の形状を正確に認識した上で、検査を行う必要がある。このため、読図及び、形状認識に多大な時間を要す。
（３）人手による検査のため、検査見逃し、勘違いや思い込みによる見逃し等を誘発する恐れがある。
【０００９】
なお、特許文献２の形状検証システムは、加工品や成型品の製品形状を検証するものであるが、組立品を構成する各部品の組み付け途中で、段階的に生成される部分組立品を検査するものではない。このため、複数の部品を複雑に組み付けて組立品を生成する際の、組付け間違いを防止し、検査作業を簡易化するための具体的な手段についてまでは、示されていない。
【００１０】
この発明は、係る課題を解決するために成されたものであり、部品の組立段階における組付け間違いを防止するとともに、組立作業を軽減することのできる、組立品検査装置を得ることを目的とする。
【課題を解決するための手段】
【００１１】
この発明による組立品検査装置は、組立品の組立てに用いられる部品の識別情報と、当該識別情報に対応した部品の３次元形状データを順次結合して生成される組立品の３次元形状データとを格納する記憶装置と、
組み付ける部品を識別する部品識別装置と、
部分組立品を撮影するカメラと、
上記カメラの撮影画像に基づいて、部分組立品の２次元形状データを生成する形状認識装置と、
上記記憶装置に格納された組立品の３次元形状データを用いて、上記部品識別装置で識別された部品の組み付けにより生成される部分組立品の３次元形状データを生成する３次元形状モデル生成部と、
上記３次元形状モデル生成部により生成される部分組立品の３次元形状データを、上記カメラの視点方向に投影して、２次元形状データを生成する射影形状データ生成部と、
形状認識装置により生成された２次元形状データと射影形状データ生成部により生成された２次元形状データとを比較し、部分組立品の組み付け間違いを検出する比較部と、を備えたものである。
【００１２】
また、画像処理によって認識可能な少なくとも３点の特徴部位を有し、組立品の一部を構成する土台と、
土台を撮影する第２のカメラと、
第２のカメラの撮影画像から土台の特徴部位を識別し、識別した特徴部位に基づいて、土台の基準方向の向きを計測する画像計測装置と、
を更に備え、
上記射影形状データ生成部は、上記画像計測装置で計測された土台の基準方向の向きに基づいて、土台の基準方向に対する上記カメラの視点方向を求め、上記３次元形状モデル生成部により生成される部分組立品の３次元形状データを、求めたカメラの視点方向に投影して、２次元形状データを生成するものであっても良い。
【発明の効果】
【００１３】
この発明によれば、部品の組立段階における組付け間違いを防止するとともに、部分組立品の検査作業を減らすことができる、という効果が得られる。
【発明を実施するための最良の形態】
【００１４】
実施の形態１．
以下、図を用いてこの発明に係る実施の形態１の組立品検査装置について説明する。この実施の形態１は、３次元ＣＡＤ／ＣＡＭシステムに代表される３次元の設計モデルと、３次元空間上にある部分組立品および最終組立品の画像認識結果とを照合し、部分組立品および最終組立品の検査に用いることを特徴とする。
【００１５】
図１は、この発明に係る実施の形態１による組立品検査装置の構成を示す図である。図において、組立品および組立用部品の取り付け状況を撮影するカメラ１と、カメラ１の撮影画像から組立品および組立用部品の形状を認識する形状認識装置２と、３次元図面の形状データを格納した３次元図面庫５と、３次元図面庫５に格納された３次元図面の形状データと形状認識装置２から出力される形状データとを照合する計算機３と、組み付け部品の管理を行う部品ストッカ４を備えて構成される。可動台２０はカメラ１を保持し、組立品を所定の３方向から撮影するように、カメラ１を移動させる。勿論、カメラ１を３台設置固定して、３方向から撮影するようにしても良い。可動台２０は、カメラ１を移動させた位置でのカメラ１の視点方向を計測することができる。
【００１６】
部品ストッカ４において、組立品の組立てに必要な全ての組立用部品が所定の棚に収納され、ストックされている。部品ストッカ４の周辺には、バーコードリーダ２１が設置され、予め組立用部品に貼り付けされたバーコードを認識することにより、部品の識別情報を得ることができる。
なお、バーコードとしては、２次元バーコードを用いても良い。また、バーコードの代わりにＲＦＩＤを用い、バーコードリーダの代わりにＲＦＩＤリーダを用いて、ＲＦＩＤのコード情報を非接触で読み取っても良い。
【００１７】
ここで、組立を行う対象品は、予め３次元ＣＡＤを用いて設計された３次元設計モデルが構築されている。この３次元設計モデルは、３次元図面庫５に格納された３次元図面の３次元形状データから成る。３次元設計モデルは、計算機３に接続された表示装置上で画像表示が可能であり、作業者は３次元設計モデルの表示画像に基づいて組立を行う。また、計算機３上で、最終組立品の３次元設計モデルを、３次元設計モデルを構成する全ての構成部品の３次元形状モデルに分解することが可能である。作業者は、３次元設計モデルに基づいて、組立用部品を組み合わせて順次部分組立品を構成し、全ての組立用部品を組み付けることにより、最終組立品を構築する。
【００１８】
図２は、計算機３の内部処理構成を示す図である。
図において、計算機３は、部品３次元形状モデル生成部２３と、部品射影形状データ生成部２４と、部品判別部２５と、３次元形状モデル生成部２７と、射影形状データ生成部２８と、比較部２９とを備える。また、計算機３は記憶装置２６を備える。記憶装置２６には３次元図面庫５が格納されている。部品３次元形状モデル生成部２３、部品射影形状データ生成部２４、部品判別部２５、３次元形状モデル生成部２７、射影形状データ生成部２８、および比較部２９は、計算機３のＲＯＭや記憶装置２６に格納されたプログラムに基づいて、計算機３のＣＰＵ制御により動作する。
【００１９】
次に、動作について説明する。
図３は、計算機３が、組立品と３次元形状モデルとの整合性を検証するための部品とデータの流れを示す図である。また、図４は、計算機３が、組立品と３次元形状モデルとの整合性を検証するための動作フローを示す図である。作業者は、記憶装置２６の３次元図面庫５において、予めデータを取り出すべき組立品の３次元形状データを指定しておく。
【００２０】
図において、組立作業者は土台となる部品６を部品ストッカ４から取り出し、作業台に置き作業を開始する（ステップＳ１）。部品ストッカ４にはそれぞれの部品が識別可能なようにストックされている。
【００２１】
作業者が部品６を手に取った時点で、部品認識装置２１が部品６のバーコードを読取、認識する。これにより、部品ストッカ４からどの部品が手に取られたかを認識することができる。部品認識装置２１は、読み取った組み付け部品のバーコードに基づいて、バーコードに対応する部品６の部品識別情報を、計算機３の部品３次元形状モデル生成部２３に入力する（ステップＳ４）。
【００２２】
部品３次元形状モデル生成部２３は、組立作業者により指定された組立品の３次元形状データを、３次元図面庫５から取り出す。部品３次元形状モデル生成部２３は、部品認識装置２１から供給される部品６の部品識別情報に基づいて、組立品の３次元形状データから組立てに用いられる部品６の３次元形状データを抽出する。
部品射影形状データ生成部２４は、部品３次元形状モデル生成部２３で生成された３次元形状データを、カメラ１の視点方向に投影して、組立てに用いられる部品のカメラ１の視点方向から見た２次元形状データを生成し、出力する（ステップＳ５）。なお、カメラ１の視点方向は、後述のように可動台２０から入力される。
【００２３】
また、作業者が部品６を手に取った上記時点で、カメラ１からは作業台の検査用作業エリアに設置された部品６の形状を映像として入力する。形状認識装置２は、カメラ１の撮影画像から部品６の画像を認識する（ステップＳ２）。この際、作業者は、カメラ１を予め設定された部品撮影用の位置Ａに移動させるように、可動台２０に移動指示を与える。これにより、カメラ１は可動台２０によって可動され、予め設定された部品撮影用の位置Ａに移動する。位置Ａでは、検査用作業エリアの背景が一様となっており、予め記憶された背景画像と撮影画像の差分画像により部品６の画像を認識することができる。また、この際、可動台２０は位置Ａでのカメラ１の視点方向を求め、部品射影形状データ生成部２４に出力する。
次に、形状認識装置２は、部品６の画像に基づいて部品６の２次元形状を認識し、部品６の２次元形状データを出力する（ステップＳ３）。
【００２４】
部品判別部２５は、部品射影形状データ生成部２４から出力される２次元形状データと、形状認識装置２から出力される２次元形状データとの照合を行い、一致した場合に正しい部品が選択されたと判断とし、不一致である場合に誤った部品が選択されたと判断するチェックを行う（ステップＳ６）。
【００２５】
部品判別部２５の照合の結果、正しい部品が選択されたと判断された場合、３次元形状モデル生成部２７に、部品６の部品識別情報を出力する。３次元形状モデル生成部２７は、組み付け順位に応じて、組み付けされる部品の部品識別情報と組み付け順位を記憶領域に格納することができる。３次元形状モデル生成部２７は、組立て開始後、最初に設置される部品６の部品識別情報を受けると、部品６の部品識別情報を、組み付け順１位の部品識別情報として記憶領域に格納する。
また、部品判別部２５の照合の結果、誤った部品が選択されたと判断された場合、組立作業を中断し、再びステップＳ１に戻る。
【００２６】
次に、組立作業者は、土台の部品６を組立て用の作業エリアに設置する（ステップＳ８）。
このとき、カメラ１からは組立て用の作業エリアに設置された部品６の形状を映像として入力する。形状認識装置２は、カメラ１の撮影画像から部品６の画像を認識する（ステップＳ９）。この際、作業者は、カメラ１を予め設定された組立品撮影用の位置Ｂに移動させるよう、可動台２０に移動指示を与え、予めカメラ１を移動させておく。
【００２７】
これにより、カメラ１は可動台２０に可動され、予め設定された組立品撮影用の位置Ｂに移動する。カメラ１は位置Ｂにおいて、真上から部品６を撮影できるように配置されている。位置Ｂでは、組立て用の作業エリアの背景が一様となっており、予め記憶された背景画像と撮影画像の差分画像により部品６の画像を認識することができる。また、位置Ｂにおいてカメラ１から見える部品６の形状データが予め形状認識装置２に設定されている。
【００２８】
形状認識装置２は、位置Ｂにおいてカメラ１により撮影される部品６の画像について、作業台に設置された部品６の２次元形状を認識し、予め設定された部品６の形状データとのパターンマッチングにより、部品６の特徴的な形状を示す代表点（例えば、図３の点ｓ、ｔ、ｕ）の位置を求める。また、位置Ｂにおいて、カメラ１により撮影される部品６の画像から得られる、少なくとも３つの代表点（ｓ、ｔ、ｕ）の位置座標と、予め設定された部品６の形状データにおける対応する代表点の位置座標とに基づいて、作業台に設置された部品６における３次元絶対座標空間での基準線の設置方向を認識する（ステップＳ１０）。この代表点としては、部品の画像中における角部や、穴部等の特徴部位が選択される。
【００２９】
次に、組立作業者は、組立てに用いられる組み付け部品７を部品ストッカ４より手に取り、土台の部品６への組付を行う（ステップＳ１２）。
この際、作業者が、部品ストッカ４から部品７を手に取った時点で、部品認識装置２１が部品７のバーコードを読取、認識する。部品認識装置２１は、読み取った組み付け部品のバーコードに基づいて、バーコードに対応する部品７の部品識別情報を、計算機３の３次元形状モデル生成部２７に入力する（ステップＳ１３）。
【００３０】
部品３次元形状モデル生成部２３は、３次元図面庫５から、図面により指定された組立品の３次元形状データを取り出す。部品３次元形状モデル生成部２３は、部品認識装置２１から供給される部品７の部品識別情報に基づいて、部品７の３次元形状データを、組立品の３次元形状データから抽出する（ステップＳ１４）。
【００３１】
部品射影形状データ生成部２４は、部品３次元形状モデル生成部２３で生成された部品７の３次元形状データを、位置Ａでのカメラ１の視点方向に投影して、部品７のカメラ１の視点方向から見た２次元形状データを生成し、出力する（ステップＳ１５）。カメラ１の視点方向は可動台２０から入力される。
【００３２】
また、作業者が部品７を手に取り、部品認識装置２１が部品７のバーコードを読取った時点で、カメラ１は自動的に位置Ａに復帰している。カメラ１は作業台に設置された部品７の形状を映像として入力する（ステップＳ１５）。形状認識装置２は、カメラ１から入力される部品７の画像に基づいて部品７の２次元形状を認識し、部品７の２次元形状データを出力する（ステップＳ１６）。
【００３３】
部品判別部２５は、部品射影形状データ生成部２４から出力される部品７の２次元形状データと、形状認識装置２から出力される部品７の２次元形状データとの照合を行い、正しい部品が作業台に設置されたか否かのチェックを行う（ステップＳ１７）。
【００３４】
チェックの結果、その部品が誤った部品であることが判明すると、組立てを中断する指示情報を出力する（ステップＳ１８）。画像表示装置４０は、組立てを中断する指示情報の出力を受け、組立ての中断を作業者に知らせる情報を、画面表示する。
チェックの結果、その部品が確かに部品７であることが判明すると、部品判別部２５は、３次元形状モデル生成部２７に部品７の部品識別情報を出力する。
【００３５】
次に、組立作業者は、部品７を組立て用の作業エリアに移動させ、部品６に部品７を組み付ける作業を行い、部分組立品８を生成する（ステップＳ２０）。
このとき、カメラ１は組立て用の作業エリアに設置された部分組立品８の形状を映像として入力する。
【００３６】
形状認識装置２は、カメラ１の撮影画像から部分組立品８の画像を認識する（ステップＳ２１）。この際、作業者は、カメラ１を予め設定された組立品撮影用の位置Ｃに移動させるよう、可動台２０に移動指示を与え、予めカメラ１を移動させておく。形状認識装置２は、部分組立品８の画像に基づいて部分組立品８の２次元形状を認識し、部分組立品８の組み付け形状を示すデータとして、２次元形状データを出力する（ステップＳ２２）。
【００３７】
３次元形状モデル生成部２７は、部品判別部２５からの部品７の部品識別情報に基づいて、部品７の部品識別情報を、組み付け順２位の部品識別情報として記憶領域に格納する。
３次元形状モデル生成部２７は、組み付け順１位の部品識別情報に対応した部品６と、組み付け順２位の部品識別情報に対応した部品７とを組み付けることにより生成される、部分組立品８の３次元形状モデルを生成する（ステップＳ１９）。
【００３８】
この際、３次元形状モデル生成部２７は、３次元図面庫５から指定された組立品の３次元形状データを取り出す。３次元形状モデル生成部２７は、部品６および部品７の部品識別情報に基づいて、組立品の３次元形状データから部品６と部品７が結合された３次元形状モデルを抽出する。
例えば、３次元形状モデルとして通常の３次元ＣＡＤデータを用いる場合、３次元形状モデル中で、部品６と部品７を表示状態とし、その他の部品を非表示状態とするようなデータ処理を行う。この場合、勿論、適宜視野方向に基づく陰線処理を行うことは言うまでもない。
【００３９】
射影形状データ生成部２８は、３次元形状モデル生成部２７で生成された部分組立品８の３次元形状データを、カメラ１の視点方向に投影して、カメラ１の視点方向から見た部分組立品８の２次元形状データを生成し、出力する。この際、土台となる部品６の基準線の設置方向を加味して、部品６の基準線の設置方向に対する可動台２０から入力される３次元絶対座標空間でのカメラ１の視点方向から、カメラ１の視点方向が求められる。
【００４０】
このように、計算機３上では、土台となる部品６に部品７が設計意図通りに組付いて部分組立品８が構成された場合の、３次元形状の模擬を行っている。組立作業者が、土台となる部品６への部品７の組付を完了すると、比較部２９が、カメラ１により撮影され形状認識装置２により認識された部品６、７の組立後の形状と、射影形状データ生成部２８から出力されるカメラ１の視点方向から見た部分組立品８の２次元形状データとの照合を行う。かくして、部品６に部品７が正しい位置に正しい向きで組付けられたか否かのチェックが行われる（ステップＳ２３）。
【００４１】
このチェックの結果、その部品が誤った部品であることが判明すると、比較部２９は組立ての中断を指示する情報を出力する（ステップＳ２４）。画像表示装置４０は、組立ての中断を指示する情報の出力を受け、組立ての中断を作業者に知らせる情報を、画面表示する。
【００４２】
また、このチェックの結果、その部品が確かに部品７であることが判明すると、比較部２９は、組み付け記録データを出力する（ステップＳ２５）。組み付け記録データは、組み付けに用いられた全ての部品の識別情報を有するものである。
画像表示装置４０は、組み付け記録データの出力を受け、組み付け記録データを画面に表示する。
【００４３】
次に、組立作業者が組み付け位置を間違えた場合について説明する。ここで、組立作業者が、部品９を部品ストッカ４より手に取り、部品６への組み付けを行うことを想定する。
【００４４】
組立作業者が、土台となる部品６に対し組み付け部品９を間違った位置に組み付けると、計算機３が、カメラ１により認識された組立後の形状と計算機３上の３次元形状モデル１０との照合を行うことにより、部品６に部品９が正しい位置に組み付けられていないことが検出される。計算機３の比較部４０は、この検出結果と３次元形状データを画像表示装置４０に出力する。この際、間違えて組付けた部品９がハイライトされた状態で表示されるように、３次元形状データの表示形式を設定する。画像表示装置４０では、この３次元形状データに基づいて間違えて組付けた部品のみをハイライトして、画面に表示する。
【００４５】
以降の作業は順にこれを繰返し実施することにより、部分組立品並びに最終組立品における、組み付け部品及び組み付け位置の確実性を保証することができる。
【００４６】
以上により、この実施の形態は、部分組立品を撮影するカメラと、カメラの撮影画像に基づいて部分組立品の２次元形状データを生成する形状認識装置と、組立品の３次元形状データを用いて、部品識別装置で識別された部品の組み付けにより生成される部分組立品の３次元形状データを生成することにより、形状認識装置により生成された２次元形状データと、３次元形状データをカメラの視点方向に投影した２次元形状データとを比較して、部分組立品の組み付け間違いを検出する。これによって、部品の組立段階における組付け間違いを防止するとともに、部分組立品の検査作業を減らすことができる、という効果が得られる。
【００４７】
実施の形態２．
この発明に係る実施の形態２では、組立対象のモーションキャプチャリングを行い、遠隔監視することを特徴とする。以下、図４を用いて実施の形態２を説明する。
【００４８】
図５、図６は、実施の形態２による組立品検査装置の構成を示す図である。
作業者による組立作業は、常にカメラ１により撮影され、形状認識装置２により形状認識が行われている。カメラ１の設置位置は、被組立品が撮影可能な前方、上方および作業者の目線の中で、適切な位置が予め選択される。図の例では、目線方向から撮影するカメラとして、カメラ１１を設けている。カメラ１またはカメラ１１は、形状認識装置２に接続される。形状認識装置２では、組立作業者や遠隔地の作業者の指示により、カメラ１とカメラ１１の何れか一方の撮影画像が選択されて、入力される。伝送装置４１は、計算機３の出力データを、遠隔地に配置された遠隔地計算機１４にデータを伝送する。遠隔地計算機１４は、３次元形状モデル生成部と画像表示装置とを有している。また、比較部２９は、土台部品６の設置方向を求める機能を有する。図中、図１〜３と同一符号の他のものについては、構成および動作が同様のものであるので、説明を省く。
【００４９】
ここで、被組立品の土台部品６における、部品形状のエッジや穴等の特徴的な部分１２の部分形状と、少なくとも３つの特徴的な部分１２における幾何学的配置関係の情報とが、予め計算機３上に登録されている。計算機３は、比較部２９において、その特徴的な部分１２の部分形状を元にして、計算機３上の３次元形状モデルと、カメラ１で撮影され形状認識装置２で認識された被組立品の部品６とを照合し、フィッティングを行う。比較部２９は、このフィッティング結果に基づいて、３次元形状モデル上での部品６の基準方向とカメラ１で撮影された部品６の基準方向との方向ずれを検出し、３次元形状モデル上での基準方向に対する部品６の設置方向を求める。
【００５０】
また、比較部２９は、実施の形態１と同様に、形状認識装置２により認識された、組み付け部品を組み付けて成る部分組立品の形状と、射影形状データ生成部２８から出力されるカメラ１の視点方向から見た部分組立品の２次元形状データとの、照合を行い、組み付け部品が正しい位置に正しい向きで組付けられたか否かをチェックする。また、比較部２９は、部分組立品の組立てに用いられた全ての組み付け部品の部品識別情報と組み付け部品の組み付け順位から成る組み付け記録データを、部分組立品の構成情報として出力する。組み付け記録データには、土台部品６の部品識別情報と最新の組み付け部品の識別情報が含まれる。
【００５１】
比較部２９は、最新の組み付け部品の識別情報を含む組み付け記録データと、土台部品６の設置方向と、部分組立品の３次元形状データとを、データ伝送装置４１に送信する。データ伝送装置４１は、遠隔地に配置された遠隔地計算機１４に対し、比較部２９から受信した各データを伝送する。
【００５２】
遠隔地計算機１４は、データ伝送装置４１から伝送された、最新の組み付け部品の識別情報と、組み付け記録データと、土台部品６の設置方向と、部分組立品の３次元形状データとを受け取る。遠隔地計算機１４の３次元形状モデル生成部は、受け取った部分組立品の３次元形状データを部品６の設置方向の視点に投影して、２次元形状データを求める。この求めた２次元形状データは、遠隔地計算機１４の画像表示装置に表示される。
【００５３】
この際、最新の組み付け部品の３次元形状データは、部分組立品を構成する他の部品の３次元形状データとは、異なる配色や線種の表示形式としておく。これにより、３次元形状モデル生成部により生成された部分組立品の３次元形状データを、組み付け部品の３次元形状データを異なる表示形式で表示した状態で、土台の設置方向に投影した２次元形状データを画像表示装置に表示することが可能となる。
【００５４】
このように、土台となる部品６のモーションを常に検知することで、計算機３上の３次元形状モデル１３を連動してモーションさせ、画像表示装置に表示することができる。
【００５５】
また、それぞれの組み付け部品は、部品６からの相対的な位置に組付けられるため、この部品６のモーションに合わせてそれぞれ組付けられたの部品をモーションすることができる。これにより、遠隔地計算機１４においても、組立作業者の視点から見た組立品の組み付け作業状況を、３次元形状モデルの投影図を通じて、リアルタイムに監視することができる。
【００５６】
実施の形態３．
この発明に係る実施の形態３では、計算機３上の３次元形状モデルに予め付帯された作業指示情報が、画像表示装置の表示画面を通じて、作業者に提供される。これにより、部品の組立状況の把握と平行して、次に組立てられる部品に対する組立部品の指示を行うことを特徴とする。図７は、実施の形態４による組立品検査装置の実施例を示す図である。
【００５７】
組立作業者が組み付け部品を手に取った時点で、部品識別装置２１を通じて計算機３に該当部品の部品識別情報が入力される。計算機３の組立指示情報出力部５０には、組み付け部品毎に作業手順に従って記述された作業指示情報が格納されており、予め各作業手順が部品識別情報に対応付けされている。組立指示情報出力部５０は、部品識別装置２１を通じて得られる部品識別情報に基づいて、所定の作業指示情報を出力する。
【００５８】
これにより、組立作業者は、組み付けただけでは組付けの確実性が保証できず、数値による確認を行う必要のあるネジ部品１５や、組み付けの際に特別な作業指示が必要な部品についても、組付けの状態を確認することができる。具体的な作業指示の例としては、以下の２つの実施例が挙げられる。
【００５９】
（実施例１）
この例では、ネジ部品の組み付け例について説明する。
図７において、組立作業者が部品ストッカ４からネジ部品１５を手に取り、その部品が形状認識装置２で形状認識される。これによって、その部品が計算機３上でネジ部品の３次元形状モデル１６と照合された後、ネジ部品１５の締付けトルクの指示情報が提供される。
【００６０】
組立指示情報出力部５０は、ネジ部品の３次元形状モデル１６上に付帯された作業指示情報から、指示内容の１つである締付けトルク値の属性情報が取得される。取得された締付けトルク値はウインドウ１７に表示され、締付けトルク値の指示が行われる。作業者は、ネジ部品１５を所定のトルクで締めると、トルクドライバ１８がトルク値を計測し、計測した値が出力される。このトルクドライバ１８から出力されたトルク値は、計算機３に与えられる。計算機３は、与えられたトルク値を読取り、締付けトルクの確認を行う。
【００６１】
一方、計算機３上では、実施の形態１で説明したように、ネジ部品１５の３次元形状モデル１６が、ベース部品に設計意図通りに組付いた状態の３次元形状モデルを生成する。組立作業者がベース部品にネジ部品１５の組付を完了すると、計算機３は、カメラ１により認識された部分組立品の形状と、計算機３上の３次元形状モデルとの照合を行い、ベース部品にネジ部品１５が正しく組付けられたか否かのチェックを行う。
【００６２】
このようにして、組立作業者は、ネジ部品１５が作業指示に基づいて適正に取り付けされたか否かを、確認することができる。
【００６３】
（実施例２）
この例では、挿入部品のように組付方向の指示が必要な部品を例に説明する。
図７において、組立作業者が部品ストッカ４から挿入部品を手に取ると、その部品が形状認識装置２で形状認識される。これによって、その部品が計算機３上で挿入部品の３次元形状モデルと照合された後、挿入部品の組付方向が指示される。
【００６４】
組立指示情報出力部５０は、挿入部品の３次元形状モデル上に付帯された作業指示情報から、指示内容の１つである挿入方向が取得される。取得された挿入方向は、ウインドウ１７に表示され、その方向が指示される。
【００６５】
一方、計算機３上では、ベース部品に挿入部品の３次元形状モデルが設計意図通りに組付いた状態の、３次元形状モデルが生成される。組立作業者がベース部品に挿入部品の組付を完了すると、カメラ１により認識された組立後の形状と計算機３上の３次元形状モデルとの照合を行い、ベース部品に挿入部品が正しく組付けられたか否のチェックが行われる。
【００６６】
実施の形態４．
図８は、実施の形態４による組立品検査装置の構成を示す図である。この発明に係る実施の形態４では、組み付け部品に貼付／刻印された部品番号、ロット番号等のラベル文字列を識別し、組立品検査を行う。ここで取扱う組立品では、組み付け品の部品番号、ロット番号の識別を目的として、組立作業中にラベルの貼付や刻印が行われる。
【００６７】
図において、組立作業者により、部品または組立品６にラベル１９の貼付が行われる。ラベル１９の貼付後、カメラ１により撮影が行われる。カメラ１の撮影画像に基づいて、ラベル１９の貼付位置、大きさ、文字列情報が形状認識装置２によって読み取られる。
【００６８】
一方、計算機３は、３次元図面庫５から、３次元形状モデル上に貼られるラベル情報を取得し、３次元形状モデル上におけるラベル形状データを得る。計算機３は、形状認識装置２により認識されたラベル１９の貼付位置、大きさ、文字列と、ラベル形状データにおけるラベルの貼付位置、大きさ、文字列との照合を行う。この照合結果に基づいて、組立部品の正しい位置に正しい大きさのラベル１９が貼られ、正しい文字列になっているか否かのチェックが行われる。
【図面の簡単な説明】
【００６９】
【図１】この発明に係る実施の形態１の構成を示す図である。
【図２】この発明に係る実施の形態１による計算機３の構成を示す図である。
【図３】この発明に係る実施の形態１によるデータフローを示す図である。
【図４】この発明に係る実施の形態１によるフローチャートを示す図である。
【図５】この発明に係る実施の形態２の構成を示す図である。
【図６】この発明に係る実施の形態２の構成を示す図である。
【図７】この発明に係る実施の形態３の構成を示す図である。
【図８】この発明に係る実施の形態４の実施例を示す図である。
【符号の説明】
【００７０】
１ カメラ、２ 形状認識装置、３ 計算機、４ 部品ストッカ、５ ３次元図面庫、６ 土台部品、７ 部品、８ 組付いた３次元形状、９ 部品、１０ 組付いた３次元形状、１１ カメラ（目線）、１２ 形状のエッジ等の特徴的な部分、１３ ３次元形状モデル、１４ 遠隔地計算機、１５ ネジ部品、１７ ウインドウ、１８ トルクドライバ、１９ ラベル、２０  可動台、２１  部品識別装置、２３  部品３次元モデル生成部、２４  部品射影形状データ生成部、２５  部品判別部、２６  記憶装置、２７  ３次元モデル生成部、２８  射影形状データ生成部、２９  比較部、４１  データ伝送装置、４２  画像表示装置、５０  組立指示情報出力部。
【図１】
2008235504.tif 000003
【図２】
2008235504.tif 000004
【図３】
2008235504.tif 000005
【図４】
2008235504.tif 000006
【図５】
2008235504.tif 000007
【図６】
2008235504.tif 000008
【図７】
2008235504.tif 000009
【図８】
2008235504.tif 000010