(57)【特許請求の範囲】
【請求項１】
対象物を保持して組立作業を実行するロボットハンドをカメラで撮像して前記組立作業の異常を判断する製造時異常判断方法であって、
前記組立作業と同一の動作を正常に実行した前記ロボットハンドを前記カメラで撮像した基準動画を取得し、
前記基準動画のフレームそれぞれと、前記対象物の画像とのパターンマッチングを行い、該パターンマッチングの結果に基づいて、前記対象物が写っている可能性が低いフレームほど重み付けを低くするための補正値をフレームごとに設定し、
前記組立作業を実行する前記ロボットハンドを前記カメラで撮像して取得した作業時動画と前記基準動画との比較結果を、前記基準動画の各フレームの補正値で補正し、補正後の比較結果に基づいて前記組立作業の異常を判断する評価値を生成する、
処理をコンピュータが実行することを特徴とする製造時異常判断方法。
【請求項２】
前記設定する処理では、前記対象物が写っている可能性が所定の基準よりも低いフレームが前記組立作業の異常の判断に用いられないように、前記補正値を設定する、ことを特徴とする請求項１に記載の製造時異常判断方法。
【請求項３】
前記評価値が予め定めた閾値よりも大きい場合に、前記組立作業の異常を判断する、処理を前記コンピュータが更に実行することを特徴とする請求項１又は２に記載の製造時異常判断方法。
【請求項４】
前記フレームごとの前記補正値に基づいて前記閾値を設定する、処理を前記コンピュータが更に実行することを特徴とする請求項３に記載の製造時異常判断方法。
【請求項５】
前記基準動画と前記作業時動画は、複数のカメラで撮像し、
前記設定する処理では、カメラごとに補正値を設定することを特徴とする請求項１〜４のいずれか一項に記載の製造時異常判断方法。
【請求項６】
対象物を保持して組立作業を実行するロボットハンドをカメラで撮像して前記組立作業の異常を判断する製造時異常判断プログラムであって、
前記組立作業と同一の動作を正常に実行した前記ロボットハンドを前記カメラで撮像した基準動画を取得し、
前記基準動画のフレームそれぞれと、前記対象物の画像とのパターンマッチングを行い、該パターンマッチングの結果に基づいて、前記対象物が写っている可能性が低いフレームほど重み付けを低くするための補正値をフレームごとに設定し、
前記組立作業を実行する前記ロボットハンドを前記カメラで撮像して取得した作業時動画と前記基準動画との比較結果を、前記基準動画の各フレームの補正値で補正し、補正後の比較結果に基づいて前記組立作業の異常を判断する評価値を生成する、
処理をコンピュータに実行させることを特徴とする製造時異常判断プログラム。
【請求項７】
対象物を保持して組立作業を実行するロボットハンドを備える製造装置であって、
前記組立作業と同一の動作を正常に実行した前記ロボットハンドをカメラで撮像した基準動画を取得する取得部と、
前記基準動画のフレームそれぞれと、前記対象物の画像とのパターンマッチングを行い、該パターンマッチングの結果に基づいて、前記対象物が写っている可能性が低いフレームほど重み付けを低くするための補正値をフレームごとに設定する設定部と、
前記組立作業を実行する前記ロボットハンドを前記カメラで撮像して取得した作業時動画と前記基準動画との比較結果を、前記基準動画の各フレームの補正値で補正し、補正後の比較結果に基づいて前記組立作業の異常を判断する評価値を生成する生成部と、
を備える製造装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、製造時異常判断方法、製造時異常判断プログラム、及び製造装置に関する。
【背景技術】
【０００２】
ロボットによる自動組み立て作業においては、作業の異常や失敗をリアルタイムに検出し、異常検出時に、組立作業中のロボットを即時停止させ、製品や部品の破壊を未然に防ぐ技術が求められている。
【０００３】
近年、視覚センサ（例えばカメラ）を用いた異常検出方法が提案されている（例えば、特許文献１〜３等参照）。この場合、作業中に異常をリアルタイムに検出するためには、動画を用いた判断が行われる。動画を用いた判断方法としては、処理速度、汎用性（形状依存がない）の観点から、例えばCHLAC（Cubic Higher-order Local Auto Correlation：立体高次局所自己相関）特徴を用い、動きの変化を捉えて異常を判断する方法が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平６−１５５３４９号公報
【特許文献２】特開平８−１９７４６９号公報
【特許文献３】特開２０１５−１０４７９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ロボットは位置や姿勢を変化させながら作業するため、カメラを用いてロボットを撮影すると、対象物（ワーク、パーツ等）がロボットやケーブルの影に隠れ、カメラの死角に入る場合がある。作業の正常異常判断に用いる画像（動画のフレーム）に、対象物が撮影されていない画像（フレーム）が含まれる場合、高精度な判断を行えない可能性がある。
【０００６】
１つの側面では、本発明は、高精度な正常異常判断を行うことが可能な製造時異常判断方法、製造時異常判断プログラム、及び製造装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
一つの態様では、製造時異常判断方法は、対象物を保持して組立作業を実行するロボットハンドをカメラで撮像して前記組立作業の異常を判断する製造時異常判断方法であって、前記組立作業と同一の動作を正常に実行した前記ロボットハンドを前記カメラで撮像した基準動画を取得し、前記基準動画のフレームそれぞれと、前記対象物の画像とのパターンマッチングを行い、該パターンマッチングの結果に基づいて、前記対象物が写っている可能性が低いフレームほど重み付けを低くするための補正値をフレームごとに設定し、前記組立作業を実行する前記ロボットハンドを前記カメラで撮像して取得した作業時動画と前記基準動画との比較結果を、前記基準動画の各フレームの補正値で補正し、補正後の比較結果に基づいて前記組立作業の異常を判断する評価値を生成する、処理をコンピュータが実行する製造時異常判断方法である。
【発明の効果】
【０００８】
高精度な正常異常判断を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】一実施形態に係る製造システムの構成を概略的に示す図である。
【図２】処理装置のハードウェア構成を示す図である。
【図３】処理装置の機能ブロック図である。
【図４】正常／異常判断ＤＢのデータ構造を示す図である。
【図５】特徴量基準データ及び評価補正値設定処理を示すフローチャートである。
【図６】図５のステップＳ１４の処理（特徴量基準データ設定処理）を示すフローチャートである。
【図７】図５のステップＳ１６の処理（評価補正値設定処理）を示すフローチャートである。
【図８】図８（ａ）は、対象物モデルの一例を示す図であり、図８（ｂ）は、動画データの１フレームの一例を示す図である。
【図９】図９（ａ）、図９（ｂ）は、CHLAC特徴の算出方法を概略的に示す図である。
【図１０】図１０（ａ）は、特徴量基準データと特徴量データの一例を示す図であり、図１０（ｂ）は、異常スコア値の時間変化一例を示すグラフである。
【図１１】統合閾値設定処理を示すフローチャートである。
【図１２】図１１のステップＳ１０４、図１５のステップＳ２０６の処理（異常スコア値算出（補正）処理）を示すフローチャートである。
【図１３】図１１のステップＳ１１０の処理（統合閾値設定処理）を示すフローチャートである。
【図１４】図１４（ａ）は、複数カメラの異常スコア値の一例を示すグラフであり、図１４（ｂ）は、統合閾値と累積異常スコア値とを示すグラフである。
【図１５】異常判断処理を示すフローチャートである。
【図１６】図１５のステップＳ２０８の処理（統合判断処理）を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、製造装置の一実施形態である製造システム１００について、図１〜図１６に基づいて詳細に説明する。
【００１１】
図１には、製造システム１００の構成が概略的に示されている。図１に示すように、製造システム１００は、ロボット１０と、複数のカメラ２２と、作業台３０と、パーツ供給機３２，３４と、処理装置２０と、を備える。
【００１２】
ロボット１０は、ロボットハンド１２を備える。ロボット１０は、ロボットハンド１２を用いてパーツ供給機３２、３４から対象物としてのパーツ４２，４４を取り上げて保持し、作業台３０上まで搬送する。そして、ロボット１０は、作業台３０上に配置されたワーク４０にパーツ４２，４４を組み付けることにより、組立作業を行う。
【００１３】
カメラ２２は、組立作業を行っているロボット１０を様々な角度から動画撮影し、撮影した動画データを処理装置２０に送信する。なお、図１では、４台のカメラ２２が図示されているが、カメラ２２の台数は、適宜変更可能である。
【００１４】
作業台３０は、ワーク４０が載置される台である。また、パーツ供給機３２，３４は、パーツ４２，４４をロボット１０に対して供給するために、パーツ４２，４４を整列して、保持する装置である。なお、パーツ４２と、パーツ４４は、異なる種類のパーツであるものとする。なお、ワーク４０に組み付けるパーツが１種類の場合には、パーツ供給機は１つであってもよい。
【００１５】
処理装置２０は、ＰＣ（Personal Computer）等を含み、ロボット１０を制御したり、ロボット１０の正常／異常を判断して、異常と判断された場合にロボット１０の作業を停止させたりする。
【００１６】
図２には、処理装置２０のハードウェア構成が示されている。図２に示すように、処理装置２０は、ＣＰＵ（Central Processing Unit）９０、ＲＯＭ（Read Only Memory）９２、ＲＡＭ（Random Access Memory）９４、記憶部（ここではＨＤＤ（Hard Disk Drive））９６、通信部９７、及び可搬型記憶媒体用ドライブ９９等を備えている。これら処理装置２０の構成各部は、バス９８に接続されている。処理装置２０では、ＲＯＭ９２あるいはＨＤＤ９６に格納されているプログラム（製造時異常判断プログラムを含む）、或いは可搬型記憶媒体用ドライブ９９が可搬型記憶媒体９１から読み取ったプログラム（製造時異常判断プログラムを含む）をＣＰＵ９０が実行することにより、図３に示す、各部としての機能が実現される。
【００１７】
処理装置２０は、ＣＰＵ９０がプログラムを実行することにより、図３に示す前処理部５０及び異常判断部６０として機能する。
【００１８】
（前処理部５０）
前処理部５０は、ロボット１０が実際の組立作業を実行する前に、正常／異常判断に用いるデータ等を準備する処理を実行する。前処理部５０は、図３に示すように、特徴量基準データ設定部５１と、モデルマッチング部５２と、評価補正値設定部５３と、統合閾値設定部５４と、を有する。
【００１９】
特徴量基準データ設定部５１は、組立作業開始前に、組立作業と同一の動作をロボットに正常に実行させたときに複数のカメラ２２で撮影される基準動画としての動画データ（以下、正常作業動画データと呼ぶ）を取得する。そして、特徴量基準データ設定部５１は、正常作業動画データから特徴量データを抽出し、特徴量基準データとする。特徴量基準データ設定部５１は、設定した特徴量基準データを正常／異常判断ＤＢ７０に格納する（図４のＡ列参照）。なお、正常／異常判断ＤＢ７０のうち、左側のＤＢ（Ａ列からＩ列までの表形式のデータ）についてはカメラ２２ごとに用意されているものとする。
【００２０】
モデルマッチング部５２は、対象物の画像として予め用意されている対象物モデル（図８（ａ）参照）を用いて、動画データのフレーム（図８（ｂ）参照）ごとにモデルマッチングを行い、マッチングスコアを算出する。マッチングスコアは、各フレームに対象物が写っている可能性を示す値である。モデルマッチング部５２は、算出したマッチングスコアを正常／異常判断ＤＢ７０に格納する（図４のＢ列参照）。
【００２１】
評価補正値設定部５３は、マッチングスコアに基づいて、対象物が写っている可能性が低いフレームほど重み付けを低くするための評価補正値を設定する。評価補正値設定部５３は、設定した評価補正値を正常／異常判断ＤＢ７０に格納する（図４のＣ列参照）。
【００２２】
統合閾値設定部５４は、正常作業動画データから得られる異常スコア値を統合し、正常／異常判断を行うための閾値（統合閾値）を設定する。統合閾値設定部５４は、設定した統合閾値を正常／異常判断ＤＢ７０に格納する（図４のＪ列参照）。
【００２３】
（異常判断部６０）
異常判断部６０は、ロボット１０が実際の組立作業を実行している間に、異常が発生していないかを判断する処理を実行する。異常判断部６０は、図３に示すように、異常スコア算出部６１と、異常スコア補正部６２と、判断部としての統合判断部６３と、を有する。
【００２４】
異常スコア算出部６１は、実際にロボット１０が組立作業を行っている間に複数のカメラ２２で撮影された動画データ（作業時動画）から特徴量データを抽出する。また、異常スコア算出部６１は、抽出した特徴量データを、正常／異常判断ＤＢ７０に格納されている特徴量基準データと比較することで、異常スコア値を算出する。異常スコア算出部６１は、抽出した特徴量データと、算出した異常スコア値と、を正常／異常判断ＤＢ７０に格納する（図４のＧ列、Ｈ列参照）。
【００２５】
異常スコア補正部６２は、正常／異常判断ＤＢ７０に格納されている評価補正値を用いて異常スコア値を補正し、補正後異常スコア値を算出する。異常スコア補正部６２は、算出した補正後異常スコア値を正常／異常判断ＤＢ７０に格納する（図４のＩ列参照）。
【００２６】
統合判断部６３は、異常スコア補正部６２が算出した複数のカメラ２２の補正後異常スコア値を統合して累積異常スコア値を算出し、統合閾値と比較することで、作業に異常が発生したか否かをリアルタイムに判断する。
【００２７】
なお、統合判断部６３は、作業に異常が発生したと判断した場合には、ロボット１０の作業を停止する。
【００２８】
（処理装置２０の処理）
以下、処理装置２０による処理について、図５〜図７、図１１〜図１３、図１５、図１６のフローチャートに沿って、その他図面を参照しつつ詳細に説明する。処理装置２０による処理には、（Ａ）前処理と、（Ｂ）異常判断処理が含まれる。
【００２９】
（Ａ）前処理
以下、前処理について説明する。なお、前処理には、(1)特徴量基準データ及び評価補正値設定処理と、(2)統合閾値設定処理と、が含まれる。
【００３０】
（(1)特徴量基準データ及び評価補正値設定処理）
以下、特徴量基準データ及び評価補正値設定処理について、図５〜図７のフローチャートに沿って、その他図面を適宜参照しつつ詳細に説明する。
【００３１】
図５の処理では、まず、ステップＳ１０において、特徴量基準データ設定部５１、モデルマッチング部５２が、正常作業動画データを取得する。なお、正常作業動画データとは、組立作業と同一の動作を正常に（異常なく）ロボット１０に行わせたときに、複数のカメラ２２で撮影される動画データである。
【００３２】
次いで、ステップＳ１２では、特徴量基準データ設定部５１が、処理対象のフレームの番号を示すパラメータｆを初期値にリセット(ｆ＝１)する。なお、以下においては、パラメータｆを単に「フレーム番号ｆ」と呼ぶものとする。
【００３３】
次いで、ステップＳ１４では、特徴量基準データ設定部５１が、特徴量基準データ設定処理のサブルーチンを実行する。
【００３４】
ステップＳ１４においては、図６のフローチャートに沿った処理が実行される。図６の処理では、ステップＳ５０において、特徴量基準データ設定部５１が、フレーム番号ｆが３未満であるか否かを判断する。ここでは、ｆ＝１であるので、ステップＳ５０の判断は肯定され、図５のステップＳ１６に移行する。
【００３５】
ステップＳ１６に移行すると、図７のフローチャートに沿った処理が実行される。図７の処理では、まず、ステップＳ６０において、モデルマッチング部５２が、対象物モデルの読み込みを実行する。ここで、対象物とは、組立作業においてロボットハンド１２が保持する対象であるパーツ４２，４４等を意味する。図３のモデルＤＢ７２には、対象物の３次元ＣＡＤモデルを対象物の撮像アングルと同一となるように２次元面上に投影したもの（図８（ａ））が、予め格納されている。したがって、モデルマッチング部５２は、モデルＤＢ７２から対象物モデルを読み込む。なお、対象物モデルは、組立作業中に得られる動画データの全フレームに対応して用意されているものとする。
【００３６】
次いで、ステップＳ６２では、モデルマッチング部５２が、画像データ（正常作業動画データのフレーム番号ｆのフレーム）を読み込む。次いで、ステップＳ６４では、モデルマッチング部５２が、画像データと対象物モデルのマッチング処理を実行する。この場合、ステップＳ６２で読み込んだフレーム（例えば、図８（ｂ）のようなフレーム）に対して、該フレームに対応する対象物モデルをモデルマッチングし、マッチングスコアを算出する。なお、ステップＳ６４の処理は、対象物モデルの描画パターン（図８（ａ））がどの程度の割合でフレーム内（図８（ｂ））に含まれているかを判定する、パターンマッチング処理であるといえる。
【００３７】
次いで、ステップＳ６６では、モデルマッチング部５２が、ステップＳ６４で算出されたマッチングスコアを図４の正常／異常判断ＤＢ７０に記憶する。なお、ステップＳ６６で算出されたマッチングスコアは、図４のＢ列に格納される。
【００３８】
次いで、ステップＳ６８では、評価補正値設定部５３は、フレーム番号ｆが３未満であるか否かを判断する。ここでは、フレーム番号ｆは「１」であるので、ステップＳ６８の判断は肯定され、図５のステップＳ１８に移行する。
【００３９】
ステップＳ１８に移行すると、評価補正値設定部５３は、フレーム番号ｆを１インクリメントする（ｆ＝ｆ＋１）。これにより、フレーム番号ｆは「２」となる。次いで、ステップＳ２０では、全フレームの処理を終了したか否かを判断する。このステップＳ２０の判断が否定された場合には、ステップＳ１４に戻る。
【００４０】
ステップＳ１４に戻ると、図６のステップＳ５０の判断が肯定され、ステップＳ１６に移行する。ステップＳ１６では、図７のステップＳ６０〜Ｓ６６の処理が、前述したのと同様に実行され（図４の正常／異常判断ＤＢ７０にｆ＝２のマッチングスコア（０．８３）が記憶され）、ステップＳ６８の判断が肯定されると、図５のステップＳ１８に移行する。ステップＳ１８では、評価補正値設定部５３は、フレーム番号ｆを１インクリメントする（ｆ＝ｆ＋１）。これにより、フレーム番号ｆは「３」となる。その後、ステップＳ２０の判断が否定されると、ステップＳ１４に戻る。
【００４１】
ステップＳ１４に戻った場合、フレーム番号ｆは３であるので、図６のステップＳ５０の判断が否定され、特徴量基準データ設定部５１は、ステップＳ５２に移行する。
【００４２】
ステップＳ５２に移行すると、特徴量基準データ設定部５１は、特徴量データを抽出する。ここでは、特徴量基準データ設定部５１は、動画データのフレーム番号ｆ，ｆ−１，ｆ−２（ここでは、ｆ＝３，２，１）の３フレームから動きの変化を表すCHLAC特徴を算出し、特徴量データとして抽出する。図９（ａ）、図９（ｂ）には、CHLAC特徴の算出方法が概略的に示されている。CHLAC特徴は、通常、連続する３フレームの正常作業動画データから生成される２値化画像（図９（ａ））それぞれから得られる、図９（ｂ）に示すような２５１次元（０次が１個、１次が１３個、２次が２３７個）のピクセルパターン（動きの変化）のことを意味する。本実施形態では、正常作業動画データから得られる、２５１通りのピクセルパターンの出現頻度のデータを特徴量データとして抽出する（図１０（ａ）において破線で示す特徴量基準データに相当）。なお、CHLAC特徴については、特開２００６−０７９２７２号公報等に開示されている。
【００４３】
次いで、ステップＳ５４では、特徴量基準データ設定部５１は、インデックス番号ｉをｆ−２とする（ｉ＝ｆ−２）。フレーム番号ｆが３の場合、インデックス番号ｉは１となる。なお、インデックス番号ｉは、特徴量基準データ、評価補正値など、マッチングスコア以外のデータの通し番号となる。
【００４４】
次いで、ステップＳ５６では、特徴量基準データ設定部５１は、ステップＳ５２で抽出した特徴量データを、インデックス番号ｉ（＝１）の特徴量基準データとして図４の正常／異常判断ＤＢ７０（Ａ列）に記憶する。ステップＳ５６の後は、図５のステップＳ１６（図７の処理）に移行する。
【００４５】
図７のステップＳ６０に移行すると、モデルマッチング部５２は、ステップＳ６０〜Ｓ６６までの処理を前述したのと同様に実行する。これにより、図４の正常／異常判断ＤＢ７０にｆ＝３のマッチングスコア（０．８５）が記憶される。
【００４６】
次いで、ステップＳ６８では、評価補正値設定部５３は、フレーム番号ｆが３未満であるか否かを判断する。このステップＳ６８の判断が否定されると、評価補正値設定部５３は、ステップＳ７０に移行する。ステップＳ７０では、評価補正値設定部５３は、マッチングスコアがフレーム番号ｆ、ｆ-１、ｆ-２（ここでは、フレーム番号＝３，２，１）のフレームの全てにおいて閾値以上であるか否かを判断する。なお、閾値としては、例えば、あらかじめ対象物を撮像し、撮像した対象物の面積の３０％を障害物で遮蔽した状態でモデルマッチング処理した場合のマッチングスコア値の平均値を採用するなどすることができる。なお、本実施形態では、一例として、閾値は０．３であるものとする。ここでは、フレーム番号＝３，２，１のフレームのマッチングスコアは、０．７８，０．８３，０．８５であり、全てが閾値以上であるので、ステップＳ７０の判断は肯定され、ステップＳ７２に移行する。
【００４７】
ステップＳ７２に移行すると、評価補正値設定部５３は、３フレーム（ｆ，ｆ−１，ｆ−２）のマッチングスコアの平均を算出する。例えば、３フレームのマッチングスコアが、上述したように０．７８，０．８３，０．８５の場合には、（０．７８＋０．８３＋０．８５）／３＝０．８２となる。
【００４８】
次いで、ステップＳ７４では、評価補正値設定部５３は、ステップＳ７２で算出したマッチングスコアの平均をインデックス番号ｉの評価補正値として記憶する。ｆ＝３、ｉ＝１の場合、図４のインデックス番号（Ｄ列）が「１」である行の評価補正値（Ｃ列）の欄に０．８２が格納されることになる。その後は、図５のステップＳ１８に移行する。
【００４９】
以降、ステップＳ２０の判断が肯定されるまで、ステップＳ１４〜Ｓ２０の処理・判断を繰り返す。この繰り返し処理において、図７のステップＳ７０の判断が否定される場合がある。例えば、図４のインデックス番号ｉ＝３，４，５のように、フレーム番号ｆ，ｆ−１，ｆ−２の中に「５」（マッチングスコア＝０．２６）が含まれる場合などである。この場合、ステップＳ７６に移行し、評価補正値設定部５３は、「０」をインデックス番号ｉの評価補正値として図４の正常／異常判断ＤＢ７０に記憶する。
【００５０】
上記処理が実行され、図５のステップＳ２０の判断が肯定されると、図５の全処理が終了する。なお、図５の処理が終了した時点では、図４の左側の表に示す「前処理（正常作業動画データ）」（Ａ〜Ｄ列）のデータが収集され、その他は空欄となっている。なお、図５〜図７の処理は、設置されたカメラ２２の台数分繰り返し実行される。
【００５１】
（(2)統合閾値設定処理）
次に、図１１〜図１３のフローチャートに沿って、統合閾値設定処理について説明する。
【００５２】
図１１の処理では、まず、ステップＳ１００において、統合閾値設定部５４が、前述した図５のステップＳ１０と同様に、正常作業動画データを取得する。次いで、ステップＳ１０２では、統合閾値設定部５４が、前述した図５のステップＳ１２と同様に、フレーム番号を初期値（ｆ＝１）にリセットする。
【００５３】
次いで、ステップＳ１０４では、統合閾値設定部５４が、異常スコア値算出（補正）処理のサブルーチンを実行する。ステップＳ１０４においては、具体的には、図１２の処理が実行される。
【００５４】
図１２の処理では、まず、ステップＳ１２０において、統合閾値設定部５４が、フレーム番号ｆが３未満であるか否かを判断する。このステップＳ１２０の判断が肯定されると、統合閾値設定部５４は、ステップＳ１３６に移行し、ｆを１インクリメント（ｆ＝ｆ＋１：ここでは、ｆ＝２）した後、図１１のステップＳ１０６に移行する。
【００５５】
ステップＳ１０６に移行すると、統合閾値設定部５４は、１作業が終了したか否かを判断する。このステップＳ１０６の判断が否定されると、ステップＳ１０４に戻り、再度、図１２の処理に移行する。ここでは、フレーム番号ｆが「２」であるので、ステップＳ１２０の判断が肯定され、ステップＳ１３６に移行する。ステップＳ１３６では、統合閾値設定部５４が、ｆを１インクリメント（ｆ＝ｆ＋１：ここではｆ＝３）し、図１１のステップＳ１０６に移行する。そして、ステップＳ１０６の判断が否定されると、統合閾値設定部５４は、ステップＳ１０４に戻り、再度、図１２の処理に移行する。
【００５６】
図１２のステップＳ１２０に移行すると、統合閾値設定部５４は、フレーム番号ｆが３未満であるか否かを判断する。このステップＳ１２０の判断が否定されると、ステップＳ１２２に移行する。
【００５７】
ステップＳ１２２では、統合閾値設定部５４は、図６のステップＳ５２と同様、フレーム番号ｆ,ｆ-１,ｆ-２のフレームの特徴量データを抽出する。なお、ステップＳ１２２で抽出される特徴量データは、図１０（ａ）において実線で示すようなデータであるものとする。
【００５８】
次いで、ステップＳ１２４では、統合閾値設定部５４は、図６のステップＳ５４と同様、インデックス番号ｉをｆ−２とする（ｉ＝ｆ−２）。フレーム番号ｆが３の場合、インデックス番号ｉは１となる。次いで、ステップＳ１２６では、統合閾値設定部５４は、インデックス番号ｉ（＝１）の特徴量基準データを図４の正常／異常判断ＤＢ７０（Ａ列）から呼び出す。
【００５９】
次いで、ステップＳ１２８では、統合閾値設定部５４は、インデックス番号ｉ（＝１）の異常スコア値を算出する。具体的には、統合閾値設定部５４は、ステップＳ１２２で抽出した特徴量データと、ステップＳ１２６で呼び出した特徴量基準データとを比較し、比較結果（差分）を異常の度合い（異常スコア値）とする。図１０（ｂ）には、異常スコア値の時間変化の一例が示されている。なお、ステップＳ１２８では、統合閾値設定部５４は、図１０（ｂ）のうちのフレーム番号ｆに対応する時刻における異常スコア値を算出している。
【００６０】
次いで、ステップＳ１３０では、統合閾値設定部５４が、インデックス番号ｉ（＝１）の評価補正値を図４の正常／異常判断ＤＢ７０のＣ列から呼び出す。
【００６１】
次いで、ステップＳ１３２では、統合閾値設定部５４が、インデックス番号ｉ（＝１）の補正後異常スコア値を算出する。具体的には、統合閾値設定部５４は、ステップＳ１２８で算出した異常スコア値と、ステップＳ１３０で読み出した評価補正値とを乗算することで、補正後異常スコア値を算出する。例えば、インデックス番号ｉ＝１の場合に異常スコア値が０．４であったとすると、評価補正値＝０．８２と、異常スコア値＝０．４とを乗算することで、補正後異常スコア値＝０．８２×０．４＝０．３２８と算出される。なお、インデックス番号ｉ＝３〜５の場合、評価補正値＝０であるので、補正後異常スコア値は０となる。
【００６２】
次いで、ステップＳ１３４では、統合閾値設定部５４は、インデックス番号ｉ（＝１）の補正後異常スコア値を一時記憶する。次いで、ステップＳ１３６では、統合閾値設定部５４は、ｆを１インクリメント（ｉ＝４）し、図１１のステップＳ１０６に移行する。
【００６３】
その後は、ステップＳ１０６の判断が肯定されるまで、ステップＳ１０４の処理（図１２の処理）が繰り返し実行され、全インデックス番号の補正後異常スコア値が算出されると、ステップＳ１０８に移行する。
【００６４】
ステップＳ１０８に移行すると、統合閾値設定部５４は、予め定められている作業設定回数だけステップＳ１００〜Ｓ１０６の処理を繰り返したか否かを判断する。なお、作業設定回数とは、統合閾値を設定するのに必要なデータを収集するために実行すべき作業回数を意味する。このステップＳ１０８の判断が否定された場合には、統合閾値設定部５４は、ステップＳ１００に戻り、上述したステップＳ１００〜Ｓ１０６の処理を繰り返し実行する。そして、予め定められている作業設定回数だけステップＳ１００〜Ｓ１０６の処理を繰り返した後は、ステップＳ１０８の判断が肯定されるので、統合閾値設定部５４は、ステップＳ１１０に移行する。なお、ステップＳ１１０に移行する段階では、作業設定回数分の正常作業動画データを用いて、カメラ２２の台数分だけ、補正後異常スコア値が算出されている。すなわち、図１４（ａ）に示すような複数カメラそれぞれの補正後異常スコア値が、作業設定回数分だけ得られている。
【００６５】
ステップＳ１１０に移行すると、統合閾値設定部５４は、統合閾値設定処理として、図１３の処理を実行する。
【００６６】
図１３の処理では、まず、ステップＳ１５０において、統合閾値設定部５４は、統合閾値をリセットする。具体的には、統合閾値設定部５４は、統合閾値を０に設定する。
【００６７】
次いで、ステップＳ１５２では、統合閾値設定部５４は、インデックス番号をリセットする。具体的には、統合閾値設定部５４は、インデックス番号ｉを「１」に設定する。次いで、ステップＳ１５４では、統合閾値設定部５４は、作業回数をリセットする。具体的には、統合閾値設定部５４は、作業回数を示すパラメータｍを「１」に設定する。
【００６８】
次いで、ステップＳ１５６では、統合閾値設定部５４は、作業回数ｍ（＝１）、インデックス番号ｉ（＝１）について、カメラ台数分の補正後異常スコア値を呼び出す。
【００６９】
次いで、ステップＳ１５８では、統合閾値設定部５４は、ステップＳ１５８で呼び出した、カメラ台数分の補正後異常スコア値を積算する。
【００７０】
次いで、ステップＳ１６０では、統合閾値設定部５４は、全作業設定回数分（例えば、Ｍ回）だけ、ステップＳ１５６、Ｓ１５８の処理を実行したか否かを判断する。このステップＳ１６０の判断が否定された場合には、ステップＳ１６２に移行し、統合閾値設定部５４は、ｍを１インクリメントする（ｍ＝ｍ＋１）。ここでは、ｍは２となる。その後は、ステップＳ１５６に戻り、ステップＳ１６０の判断が肯定されるまで、ステップＳ１５６〜Ｓ１６２の処理・判断を繰り返す。
【００７１】
そして、ステップＳ１６０の判断が肯定されると、統合閾値設定部５４は、ステップＳ１６４に移行する。なお、ステップＳ１６４に移行する段階では、インデックス番号ｉ（＝１）について、全てのカメラ２２の補正後異常スコア値が全作業設定回数（Ｍ回）分積算されている。
【００７２】
ステップＳ１６４に移行すると、統合閾値設定部５４は、インデックス番号ｉ（＝１）に関し、全作業回数(Ｍ)分の積算補正後異常スコア値の平均、標準偏差（σ）を算出する。
【００７３】
次いで、ステップＳ１６６では、統合閾値設定部５４は、インデックス番号ｉ（＝１）に関し、標準偏差の３倍値（３σ）を算出し、平均と標準偏差の３倍値との和を算出する。
【００７４】
次いで、ステップＳ１６８では、統合閾値設定部５４は、インデックス番号ｉ（＝１）に対応付けて、ステップＳ１６６で算出した値を、統合閾値として図４の正常／異常判断ＤＢ７０（図４のＪ列）に記憶する。
【００７５】
次いで、ステップＳ１７０では、統合閾値設定部５４は、１作業分のインデックス番号全てについての処理が終了か否かを判断する。このステップＳ１７０の判断が否定されると、統合閾値設定部５４は、ステップＳ１７２においてｉを１インクリメント（ｉ＝ｉ＋１）し、ステップＳ１５４に戻る。その後は、統合閾値設定部５４は、ステップＳ１５４〜Ｓ１７２の処理をステップＳ１７０の判断が肯定されるまで繰り返し、ステップＳ１７０の判断が肯定された段階で、図１３の処理及び図１１の全処理が終了する。図１１の全処理が終了した段階では、図１４（ｂ）において破線で示すような統合閾値が得られることになる。
【００７６】
なお、上記のようにして設定される統合閾値は、各フレームに対象物が写っている可能性の高低を考慮した値となっている。
【００７７】
（Ｂ）異常判断処理
次に、ロボット１０が実際に組立作業を行っている間に、異常判断部６０が実行する処理（異常判断処理）について、図１５、図１６のフローチャートに沿って、詳細に説明する。なお、図１５の処理は、ロボット１０の組立作業開始のタイミングで開始される処理である。
【００７８】
図１５の処理では、まず、ステップＳ２００において、異常スコア算出部６１が、ロボット１０が作業している間に撮影される動画データの取得を開始する。
【００７９】
次いで、ステップＳ２０２では、異常スコア算出部６１が、フレーム番号をリセット(ｆ＝１)する。次いで、ステップＳ２０４では、異常スコア算出部６１が、累積異常スコア値を０にリセットする。
【００８０】
次いで、ステップＳ２０６では、異常スコア算出部６１が、異常スコア値算出(補正）処理を実行する。具体的には、異常スコア算出部６１は、前述したステップＳ１０４と同様、図１２のフローチャートに沿った処理を実行する。なお、図１２（ステップＳ２０６）の処理のうち、ステップＳ１３０〜Ｓ１３４の処理については、異常スコア補正部６２が実行し、図１２のその他の処理については、異常スコア算出部６１が実行するものとする。
【００８１】
なお、ステップＳ２０６では、ｆ＝３となるまでは、ステップＳ１３６（ｆ＝ｆ＋１）を実行した後、ステップＳ２０８に移行する。また、ステップＳ２０８では、ｆ＝３となるまでは、図１６のステップＳ２４８の判断が肯定されるため、ステップＳ２５０〜Ｓ２６２の処理を行わずに、図１５のステップＳ２１０に移行する。ステップＳ２１０の判断が否定されると、ステップＳ２０６に戻り、ｆ≧３の場合には、図１２のステップＳ１２２〜Ｓ１３６の処理が実行される
【００８２】
なお、ステップＳ２０６（図１２）のステップＳ１２２〜Ｓ１３６の処理が行われると、複数カメラそれぞれの、インデックス番号ｉ（＝１）の補正後異常スコア値が得られる。なお、図１２のステップＳ１２８で算出される異常スコア値は、図４の正常／異常判断ＤＢ７０（Ｈ列参照）に格納され、ステップＳ１３４では、補正後異常スコア値が、図４の正常／異常判断ＤＢ７０（Ｉ列参照）に格納される。
【００８３】
ここで、補正後異常スコア値は、異常スコア値（Ｈ列）と評価補正値（Ｃ列）を乗じた値である。したがって、本実施形態では、対象物が写っている可能性が低いフレームの異常スコア値が低くなるように補正するとともに、対象物が写っている可能性が高いフレームの異常スコア値が高くなるように補正している。
【００８４】
次いで、図１５のステップＳ２０８に移行すると、統合判断部６３は、統合判断処理を実行する。具体的には、統合判断部６３は、図１６のフローチャートに沿った処理を実行する。
【００８５】
図１６の処理では、まずステップＳ２４８において、統合判断部６３は、フレーム番号ｆが３未満であるか否かを判断する。このステップＳ２４８の判断が否定された場合（ｆ≧３の場合）、統合判断部６３は、ステップＳ２５０に移行する。
【００８６】
ステップＳ２５０に移行すると、統合判断部６３は、インデックス番号ｉ（ｉ＝ｆ−２）に関し、カメラ台数分の補正後異常スコア値を、図４の正常／異常判断ＤＢ７０（Ｉ列）から呼び出す。ここでは、インデックス番号ｉ＝１であるものとする。
【００８７】
次いで、ステップＳ２５２では、統合判断部６３は、統合異常スコア値を算出する。具体的には、統合判断部６３は、全てのカメラ２２のインデックス番号ｉ（＝１）の補正後異常スコア値を積算する。
【００８８】
次いで、ステップＳ２５４では、統合判断部６３は、累積異常スコア値を算出する。具体的には、統合判断部６３は、ステップＳ２５２で算出した統合異常スコア値と、累積異常スコア値（ｉ＝１の場合は、０（Ｓ２０４参照））と、の和を算出する。なお、累積異常スコア値は、補正後異常スコア値の積算結果を含むので、対象物が写っている可能性が高いフレームの情報を多く反映した値となっている。
【００８９】
次いで、ステップＳ２５６では、統合判断部６３は、インデックス番号ｉ（＝１）の統合閾値を図４の正常／異常判断ＤＢ７０から呼び出す。
【００９０】
次いで、ステップＳ２６０では、統合判断部６３は、ステップＳ２５４で算出した累積異常スコア値と、ステップＳ２５６で呼び出した統合閾値とを比較し、累積異常スコア値のほうが大きいか否かを判断する。このステップＳ２６０の判断が肯定された場合には、統合判断部６３は、ステップＳ２６２に移行し、異常が発生したと判断して、ロボット停止命令を実行する。例えば、図４の場合には、インデックス番号ｉ＝６の時点で、累積異常スコア値＝２５．５が統合閾値＝１８．３よりも大きくなっているので、異常と判断され、ロボットが停止されることになる。なお、図１４（ｂ）では、ステップＳ２６０の判断が肯定されるタイミングが、「作業異常」として図示されている。
【００９１】
一方、ステップＳ２６０の判断が否定された場合には、図１６の処理を終了して、図１５のステップＳ２１０に移行する。
【００９２】
ステップＳ２１０に移行すると、異常スコア算出部６１は、作業終了か否かを判断する。このステップＳ２１０の判断が否定された場合には、ステップＳ２０６に戻り、ステップＳ２０６、Ｓ２０８の処理を繰り返すが、ステップＳ２１０の判断が肯定された場合には、図１５の全処理を終了する。なお、異常判断処理がほぼリアルタイムに実行されるためには、ステップＳ２０６〜Ｓ２１０の処理時間が、１フレームを撮像してから次のフレームを撮像するまでの時間とほぼ一致している必要がある。
【００９３】
これまでの説明から分かるように、特徴量基準データ設定部５１と、モデルマッチング部５２と、を含んで、正常作業動画データを取得する取得部としての機能が実現されている。また、モデルマッチング部５２と、評価補正値設定部５３と、を含んで、正常作業動画データのフレームそれぞれと、対象物モデルとのマッチング処理を行い、マッチング処理の結果に基づいて、対象物が写っている可能性が低いフレームほど重み付けを低くするための評価補正値をフレームごとに設定する設定部としての機能が実現されている。また、異常判断部６０に含まれる各部６１，６２，６３を含んで、組立作業を実行するロボットハンド１２の動画データと基準動画とから異常スコア値を算出し、異常スコア値を各フレームの評価補正値で補正して補正後異常スコア値を算出し、該補正後異常スコア値に基づいて、累積異常スコア値を算出する、生成部としての機能が実現されている。
【００９４】
以上、詳細に説明したように、本実施形態によると、モデルマッチング部５２が正常作業動画データを取得し（Ｓ１０）、モデルマッチング部５２が正常作業動画データのフレームそれぞれと、対象物モデルとのマッチング処理を行い（Ｓ６４）、評価補正値設定部５３は、マッチング処理の結果に基づいて、対象物が写っている可能性が低いフレームほど重み付けを低くするための評価補正値をフレームごとに設定する（Ｓ７２〜Ｓ７６）。そして、異常スコア算出部６１は、組立作業を実行するロボットハンド１２の動画データと基準動画とから異常スコア値を算出し（Ｓ１２８）、異常スコア補正部６２が、異常スコア値を各フレームの評価補正値で補正して補正後異常スコア値を算出し（Ｓ２０６）、該補正後異常スコア値に基づいて、統合判断部６３が累積異常スコア値を算出する（Ｓ２５４）。これにより、累積異常スコア値に、対象物が写っている可能性が低いフレームの情報が反映されるのを抑制することができるので、異常検出の対象物が写っている可能性の高いフレームの情報に基づいて、高精度に製造時の異常を判断することが可能となる。
【００９５】
また、本実施形態によると、ステップＳ７０、Ｓ７６では、評価補正値設定部５３は、マッチングスコアが閾値未満のフレームが組立作業の異常の判断に用いられないように、評価補正値を「０」に設定する。これにより、累積異常スコア値に、対象物が写っている可能性が閾値未満のフレームの情報が一切反映されないようにすることができるので、異常検出の対象物が写っている可能性の高いフレームの情報に基づいて、高精度に製造時の異常を判断することが可能となる。
【００９６】
また、本実施形態では、累積異常スコア値が統合閾値よりも大きい場合に、組立作業の異常と判断する。これにより、異常判断を簡易に行うことができる。
【００９７】
なお、上記実施形態では、評価補正値設定部５３は、マッチングスコアが閾値未満のフレームが組立作業の異常の判断に用いられないように、評価補正値を「０」に設定する場合について説明したが、これに限られるものではない。例えば、閾値との比較を行わずに、全てのケースにおいて、フレーム番号ｆ，ｆ−１，ｆ−２のフレームのマッチングスコアの平均を評価補正値としてもよい。
【００９８】
なお、上記実施形態では、異常判断を累積異常スコア値を用いて行う場合について説明したが、これに限られるものではない。例えば、図１６のステップＳ２５２で算出した統合異常スコア値が所定の閾値よりも大きいか否かに基づいて、異常判断を行うこととしてもよい。
【００９９】
なお、上記実施形態では、複数のカメラを用いて、ロボットを撮影する場合について説明したが、これに限られるものではない。ロボットを撮影するカメラは１台であってもよい。
【０１００】
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体（ただし、搬送波は除く）に記録しておくことができる。
【０１０１】
プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ（Digital Versatile Disc）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【０１０２】
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【０１０３】
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
【０１０４】
なお、以上の実施形態の説明に関して、更に以下の付記を開示する。
（付記１）  対象物を保持して組立作業を実行するロボットハンドをカメラで撮像して前記組立作業の異常を判断する製造時異常判断方法であって、
前記組立作業と同一の動作を正常に実行した前記ロボットハンドを前記カメラで撮像した基準動画を取得し、
前記基準動画のフレームそれぞれと、前記対象物の画像とのパターンマッチングを行い、該パターンマッチングの結果に基づいて、前記対象物が写っている可能性が低いフレームほど重み付けを低くするための補正値をフレームごとに設定し、
前記組立作業を実行する前記ロボットハンドを前記カメラで撮像して取得した作業時動画と前記基準動画との比較結果を、前記基準動画の各フレームの補正値で補正し、補正後の比較結果に基づいて前記組立作業の異常を判断する評価値を生成する、
処理をコンピュータが実行することを特徴とする製造時異常判断方法。
（付記２）  前記設定する処理では、前記対象物が写っている可能性が所定の基準よりも低いフレームが前記組立作業の異常の判断に用いられないように、前記補正値を設定する、ことを特徴とする付記１に記載の製造時異常判断方法。
（付記３）  前記評価値が予め定めた閾値よりも大きい場合に、前記組立作業の異常を判断する、処理を前記コンピュータが更に実行することを特徴とする付記１又は２に記載の製造時異常判断方法。
（付記４）  前記フレームごとの前記補正値に基づいて前記閾値を設定する、処理を前記コンピュータが更に実行することを特徴とする付記３に記載の製造時異常判断方法。
（付記５）  前記基準動画と前記作業時動画は、複数のカメラで撮像し、
前記設定する処理では、カメラごとに補正値を設定することを特徴とする付記１〜４のいずれかに記載の製造時異常判断方法。
（付記６）  対象物を保持して組立作業を実行するロボットハンドをカメラで撮像して前記組立作業の異常を判断する製造時異常判断プログラムであって、
前記組立作業と同一の動作を正常に実行した前記ロボットハンドを前記カメラで撮像した基準動画を取得し、
前記基準動画のフレームそれぞれと、前記対象物の画像とのパターンマッチングを行い、該パターンマッチングの結果に基づいて、前記対象物が写っている可能性が低いフレームほど重み付けを低くするための補正値をフレームごとに設定し、
前記組立作業を実行する前記ロボットハンドを前記カメラで撮像して取得した作業時動画と前記基準動画との比較結果を、前記基準動画の各フレームの補正値で補正し、補正後の比較結果に基づいて前記組立作業の異常を判断する評価値を生成する、
処理をコンピュータに実行させることを特徴とする製造時異常判断プログラム。
（付記７）  前記設定する処理では、前記対象物が写っている可能性が所定の基準よりも低いフレームが前記組立作業の異常の判断に用いられないように、前記補正値を設定する、ことを特徴とする付記６に記載の製造時異常判断プログラム。
（付記８）  前記評価値が予め定めた閾値よりも大きい場合に、前記組立作業の異常を判断する、処理を前記コンピュータが更に実行することを特徴とする付記６又は７に記載の製造時異常判断プログラム。
（付記９）  前記フレームごとの前記補正値に基づいて前記閾値を設定する、処理を前記コンピュータに更に実行させることを特徴とする付記８に記載の製造時異常判断プログラム。
（付記１０）  前記基準動画と前記作業時動画は、複数のカメラで撮像し、
前記設定する処理では、カメラごとに補正値を設定することを特徴とする付記６〜９のいずれか一項に記載の製造時異常判断プログラム。
（付記１１）  対象物を保持して組立作業を実行するロボットハンドを備える製造装置であって、
前記組立作業と同一の動作を正常に実行した前記ロボットハンドをカメラで撮像した基準動画を取得する取得部と、
前記基準動画のフレームそれぞれと、前記対象物の画像とのパターンマッチングを行い、該パターンマッチングの結果に基づいて、前記対象物が写っている可能性が低いフレームほど重み付けを低くするための補正値をフレームごとに設定する設定部と、
前記組立作業を実行する前記ロボットハンドを前記カメラで撮像して取得した作業時動画と前記基準動画との比較結果を、前記基準動画の各フレームの補正値で補正し、補正後の比較結果に基づいて前記組立作業の異常を判断する評価値を生成する生成部と、
を備える製造装置。
（付記１２）  前記設定部は、前記対象物が写っている可能性が所定の基準よりも低いフレームが前記組立作業の異常の判断に用いられないように、前記補正値を設定する、ことを特徴とする付記１１に記載の製造装置。
（付記１３）  前記評価値が予め定めた閾値よりも大きい場合に、前記組立作業の異常を判断する判断部を更に備える付記１１又１２に記載の製造装置。
（付記１４）  前記フレームごとの前記補正値に基づいて前記閾値を設定する閾値設定部を更に備える付記１３に記載の製造装置。
（付記１５）  前記基準動画と前記作業時動画は、複数のカメラで撮像し、
前記設定部は、カメラごとに補正値を設定することを特徴とする付記１１〜１４のいずれかに記載の製造装置。
【符号の説明】
【０１０５】
１２  ロボットハンド
２２  カメラ
４２、４４  パーツ（対象物）
５１  特徴量基準データ設定部（取得部の一部）
５２  モデルマッチング部（取得部の一部、設定部の一部）
５３  評価補正値設定部（設定部の一部）
６１  異常スコア算出部（生成部の一部）
６２  異常スコア補正部（生成部の一部）
６３  統合判断部（生成部の一部、判断部）
１００  製造装置（製造システム）
【図１】
0006597320.tif 000002
【図２】
0006597320.tif 000003
【図３】
0006597320.tif 000004
【図４】
0006597320.tif 000005
【図５】
0006597320.tif 000006
【図６】
0006597320.tif 000007
【図７】
0006597320.tif 000008
【図８】
0006597320.tif 000009
【図９】
0006597320.tif 000010
【図１０】
0006597320.tif 000011
【図１１】
0006597320.tif 000012
【図１２】
0006597320.tif 000013
【図１３】
0006597320.tif 000014
【図１４】
0006597320.tif 000015
【図１５】
0006597320.tif 000016
【図１６】
0006597320.tif 000017