(57)【要約】【課題】作業者の状態を管理者の経験や勘に頼ることなく常に的確に把握する。【解決手段】作業中の作業者ＷＫ１，ＷＫ２，ＷＫ３の生体計測データおよび動きの計測データを一次指標として、この一次指標と別途生成した学習データとをもとに作業者の感情と認知能力をそれぞれ推定し、さらにこの推定した感情と認知能力を二次指標として、この二次指標と別途生成した関係式とに基づいて作業者の生産能力を推定する。【選択図】図４
2018142259.tif 000002
【特許請求の範囲】
【請求項１】
作業者が作業を行う工程を有するシステムにおいて前記作業者の作業を管理する作業管理装置であって、
作業中の前記作業者の活動状態を表す情報を取得する活動状態取得部と、
前記取得された活動状態を表す情報を一次指標とし、当該一次指標と、前記作業者の活動状態と前記作業者の感情および認知能力との関係性を表す第１の学習データとに基づいて、前記作業者の作業中における感情および認知能力をそれぞれ推定する第１の推定部と、
前記推定された感情および認知能力を二次指標とし、当該二次指標と、前記作業者の感情および認知能力と前記作業者の作業に対するパフォーマンスとの関係性を表す第２の学習データとに基づいて、前記作業者の作業に対するパフォーマンスを推定する第２の推定部と
を具備する作業管理装置。
【請求項２】
前記第１の学習データは、前記作業者が自己申告した感情を表す情報を正解値とすると共に、前記自己申告した時間帯に取得される前記作業者の活動状態を表す情報を変数として生成される、前記作業者の感情と前記活動状態との関係性を表す第１の回帰式を含む請求項１記載の作業管理装置。
【請求項３】
前記作業者の感情と前記活動状態との関係性を表す第１の回帰式は、前記作業者が自己申告した感情を表す情報を、感情の活性度（Arousal）とその強度（Valence）とにより表したとき、前記感情の活性度（Arousal）および強度（Valence）の各々について生成されるものである請求項２記載の作業管理装置。
【請求項４】
前記第１の学習データは、前記作業者による作業結果の成否を表す情報を正解値とすると共に、前記作業結果を得る直前の時間帯に取得される前記作業者の活動状態を表す情報を変数として生成される、前記作業者の認知能力と前記活動状態との関係性を表す第２の回帰式を含む請求項１記載の作業管理装置。
【請求項５】
前記作業者の認知能力と前記活動状態との関係性を表す第２の回帰式は、前記作業者による作業結果の成否を表す情報を正解値とすると共に、前記作業者の活動状態を表す情報から抽出した前記作業者の手の動きを表す特徴量と目の動きを表す特徴量の少なくとも一方を変数として生成されるものである請求項４記載の作業管理装置。
【請求項６】
前記第２の学習データは、前記作業者の感情および認知能力の推定値を二次指標として、過去と現在との間の当該二次指標の差の大きさから作業者の習熟度を推定する第１の関係式と、前記作業者の感情および認知能力の推定値を二次指標として、過去から現在までの二次指標のばらつきから作業者の作業ミスの発生度合いを推定する第２の関係式のうちの、少なくとも一方を含むものである請求項１記載の作業管理装置。
【請求項７】
前記第２の推定部による前記作業者の作業に対するパフォーマンスの推定結果に基づいて、前記システムの動作を制御する制御部を、さらに具備する請求項１乃至請求項６のいずれかに記載の作業管理装置。
【請求項８】
前記制御部は、前記推定された作業に対するパフォーマンスを予め設定した少なくとも１つのしきい値に基づいて複数のクラスに分割し、分割された複数のクラス別に、当該クラスごとに予め対応付けられた制御情報に基づいて前記システムの動作を制御する請求項７記載の作業管理装置。
【請求項９】
作業者が作業を行う工程を有するシステムにおいて前記作業者の作業を管理する作業管理装置が実行する作業管理方法であって、
前記作業管理装置が、作業中の前記作業者の活動状態を表す情報を取得する過程と、
前記作業管理装置が、前記取得された活動状態を表す情報を一次指標とし、当該一次指標と、前記作業者の活動状態と前記作業者の感情および認知能力との関係性を表す第１の学習データとに基づいて、前記作業者の作業中における感情および認知能力をそれぞれ推定する過程と、
前記作業管理装置が、前記推定された感情および認知能力を二次指標とし、当該二次指標と、前記作業者の感情および認知能力と前記作業者の作業に対するパフォーマンスとの関係性を表す第２の学習データとに基づいて、前記作業者の作業に対するパフォーマンスを推定する過程と
を具備する作業管理方法。
【請求項１０】
請求項１乃至請求項８のいずれかに記載の作業管理装置が備える各部としてプロセッサを機能させる作業管理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、作業者が作業を行う工程を有するシステムで使用される作業管理装置、方法およびプログラムに関する。
【背景技術】
【０００２】
例えば、生産ライン等の各種システムにおいて、設備の動作異常を早期に検出することは、稼働効率の低下を未然に防ぐ上できわめて重要である。そこで、例えば複数のセンサから設備の動作状態を表す測定データを取得し、取得した測定データを事前に生成しておいた学習データに照会することで、設備の動作異常の予兆を検出するシステムが提案されている（例えば特許文献１を参照）。
【０００３】
一方、作業者が作業を行う工程を有する生産ラインにおいては、生産性、つまり品質と生産量に影響を与える要因として、「4M（Machine、Method、Material、Man）」があることが知られている。このうち、Machine、MethodおよびMaterialの3Mについては、常に改善、改良を重ねることで生産性の向上が図られてきた。しかし、“Man”は、作業者の習熟度や適性、心身状態等に依存する。このため、一般には管理者が作業者の心身状態を例えば目視観察し、作業者に対し適切な指示を行うことで、生産性を維持・向上させる対策が採られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５５３００１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところが、管理者が作業者の状態を目視観察する手法では、作業性に影響する作業者の状態を的確に把握できるかどうかが管理者の経験や勘に依存するため、作業者の状態を常に的確に把握できるとは限らない。
【０００６】
この発明は上記事情に着目してなされたもので、作業性に影響する作業者の状態を管理者の経験や勘に頼ることなく常に的確に把握できるようにした作業管理装置、方法およびプログラムを提供しようとするものである。
【課題を解決するための手段】
【０００７】
上記課題を解決するためにこの発明の第１の態様は、作業者が作業を行う工程を有するシステムにおいて前記作業者の作業を管理する作業管理装置または作業管理方法にあって、作業中の前記作業者の活動状態を表す情報を取得する活動状態取得部または取得過程と、前記取得された活動状態を表す情報を一次指標とし、当該一次指標と、前記作業者の活動状態と前記作業者の感情および認知能力との関係性を表す第１の学習データとに基づいて、前記作業者の作業中における感情および認知能力をそれぞれ推定する第１の推定部または推定過程と、前記推定された感情および認知能力を二次指標とし、当該二次指標と、前記作業者の感情および認知能力と前記作業者の作業に対するパフォーマンスとの関係性を表す第２の学習データとに基づいて、前記作業者の作業に対するパフォーマンスを推定する第２の推定部または推定過程とを具備するものである。
【０００８】
この発明の第２の態様は、前記第１の学習データを、前記作業者が自己申告した感情を表す情報を正解値とすると共に、前記自己申告した時間帯に取得される前記作業者の活動状態を表す情報を変数として生成される、前記作業者の感情と前記活動状態との関係性を表す第１の回帰式を含むものである。
【０００９】
この発明の第３の態様は、前記作業者の感情と上記活動状態との関係性を表す第１の回帰式を、上記作業者が自己申告した感情を表す情報を、感情の活性度（Arousal）とその強度（Valence）とにより表し、上記感情の活性度（Arousal）および強度（Valence）の各々について生成したものである。
【００１０】
この発明の第４の態様は、上記第１の学習データを、前記作業者による作業結果の成否を表す情報を正解値とすると共に、前記作業結果を得る直前の時間帯に取得される前記作業者の活動状態を表す情報を変数として生成される、前記作業者の認知能力と前記活動状態との関係性を表す第２の回帰式を含むものである。
【００１１】
この発明の第５の態様は、上記作業者の認知能力と上記活動状態との関係性を表す第２の回帰式を、上記作業者による作業結果の成否を表す情報を正解値とすると共に、上記作業者の活動状態を表す情報から抽出した上記作業者の手の動きを表す特徴量と目の動きを表す特徴量の少なくとも一方を変数として生成したものである。
【００１２】
この発明の第６の態様は、上記第２の学習データを、上記作業者の感情および認知能力の推定値を二次指標として、過去と現在との間の当該二次指標の差の大きさから作業者の習熟度を推定する第１の関係式と、上記作業者の感情および認知能力の推定値を二次指標として、過去から現在までの二次指標のばらつきから作業者の作業ミスの発生度合いを推定する第２の関係式のうちの、少なくとも一方を含むものとしたものである。
【００１３】
この発明の第７の態様は、上記第２の推定部による上記作業者の作業に対するパフォーマンスの推定結果に基づいて上記システムの動作を制御する制御部を、さらに具備するようにしたものである。
【００１４】
この発明の第８の態様は、上記制御部が、上記推定された作業に対するパフォーマンスを予め設定した少なくとも１つのしきい値に基づいて複数のクラスに分割し、分割された複数のクラス別に、当該クラスごとに予め対応付けられた制御情報に基づいて上記システムの動作を制御するものである。
【発明の効果】
【００１５】
この発明の第１の態様によれば、作業中の作業者の活動状態を示す情報を一次指標として、この一次指標と別途生成された第１の学習データとをもとに作業者の感情と認知能力がそれぞれ推定され、さらにこの推定された感情と認知能力を二次指標として、この二次指標と別途生成された第２の学習データとに基づいて作業者の作業に対するパフォーマンスが推定される。従って、作業中の作業者の活動状態を示す情報をもとに、当該作業者の作業に対するパフォーマンスを推定することが可能となり、これにより感情および認知能力といった、これまで考慮されていなかった人のパフォーマンスを考慮した作業管理を行うことが可能となる。
【００１６】
この発明の第２の態様によれば、第１の学習データが、作業者の感情と活動状態との関係性を表す第１の回帰式を含むので、例えば大量の学習データをデータベースに記憶することなく、第１の回帰式を用いた演算処理により作業者の感情を推定することが可能となる。
【００１７】
この発明の第３の態様によれば、感情の活性度（Arousal）とその強度（Valence）のそれぞれについて生成された第１の回帰式により作業者の感情が推定される。このため、作業者の感情を、活性度（Arousal）と強度（Valence）とにより表される数値情報として出力することが可能となる。
【００１８】
第４の態様によれば、第１の学習データが、作業者の認知能力と活動状態との関係性を表す第２の回帰式を含む。このため、認知能力を推定する際にも、大量の学習データをデータベースに記憶することなく、第２の回帰式を用いた演算処理により認知能力を推定することが可能となる。
【００１９】
第５の態様によれば、作業者による作業結果の成否を表す情報を正解値とし、作業者の手の動きを表す特徴量と目の動きを表す特徴量の少なくとも一方を変数として、上記第２の回帰式が生成される。このため、作業者の作業に係る認知能力を、作業の状態が直接的に反映される手の動きと目の動きの少なくとも一方をもとに精度良く推定することが可能となる。
【００２０】
第６の態様によれば、第２の学習データとして、作業者の習熟度を推定する第１の関係式と、作業者の作業ミスの発生度合いを推定する第２の関係式のうちの少なくとも一方が用意される。このため、作業者の作業に対するパフォーマンスを、習熟度または作業ミスの発生度合いという具体的な指標により推定することが可能となる。
【００２１】
第７の態様によれば、作業者の作業に対するパフォーマンスの推定結果に基づいてシステムの動作が制御される。このため、作業者の作業に対するパフォーマンスの低下が推定された場合に、例えばシステムの速度を減速させるように制御することができ、これにより製品の品質劣化を防止することが可能となる。
【００２２】
第８の態様によれば、推定された作業者の作業に対するパフォーマンスのクラスに応じて、システムの動作が層別化（標準化）される。このため、作業者の作業に対するパフォーマンスの低下に応じたシステムの動作を、作業性の要求を維持しつつ比較的簡単に制御することが可能となる。
【００２３】
すなわちこの発明によれば、作業性に影響する作業者の状態を管理者の経験や勘に頼ることなく常に的確に把握できるようにした作業管理システムとその装置、方法およびプログラムを提供することができる。
【図面の簡単な説明】
【００２４】
【図１】この発明の一実施形態に係るシステムの概略構成図。
【図２】図１に示したシステムで使用される感情入力デバイスおよび計測デバイスの一例を示す図。
【図３】図１に示したシステムで使用される他の計測デバイスを示す図。
【図４】図１に示したシステムに設けられる生産管理装置の機能構成を示すブロック図。
【図５】図４に示した生産管理装置により実行される感情学習処理の処理手順と処理内容を示すフローチャート。
【図６】図４に示した生産管理装置により実行される認知能力学習処理の処理手順と処理内容を示すフローチャート。
【図７】図５に示した感情学習モードにおける感情学習データ生成・記憶処理の手順と処理手順の前半部分を示すフローチャート。
【図８】図５に示した感情学習モードにおける感情学習データ生成・記憶処理の手順と処理手順の後半部分を示すフローチャート。
【図９】図６に示した認知能力の学習処理における学習データ生成・記憶処理の手順と処理手順の前半部分を示すフローチャート。
【図１０】認知能力推定処理の説明に使用する作業工程の一例を示す図。
【図１１】図４に示した生産管理装置において実行される生産管理処理の手順と処理内容を示すフローチャート。
【図１２】図１１に示した処理手順のうち感情推定処理の手順と処理内容を示すフローチャート。
【図１３】図１１に示した処理手順のうち認知能力推定処理の手順と処理内容を示すフローチャート。
【図１４】図１１に示した処理手順のうち生産能力の推定処理およびライン制御処理の手順と処理内容を示すフローチャート。
【図１５】図２に示した感情入力デバイスにおいて入力される感情情報の定義を説明するための図。
【図１６】図１に示したシステムの感情入力デバイスを用いた感情情報の入力結果の一例を示す図。
【図１７】図１に示したシステムの感情入力デバイスにおいて入力された感情情報をクラス分けした図。
【図１８】図１に示したシステムの感情入力デバイスにおいて入力された感情情報の変化量を示す図。
【発明を実施するための形態】
【００２５】
以下、図面を参照してこの発明に係わる実施形態を説明する。  
［一実施形態］
（原理）
例えば、生産ラインの生産性に影響を与える要因には、「4M(Machine、Method、Material、Man)」がある。このうち“Man”が生産性に及ぼす要因として、本実施形態では脳神経活動に基づく感情と認知能力を定義する。感情は、例えば人の作業に対するやる気および気分（快／不快）であり、時間又は日単位の比較的短期間において変動する。認知能力は、例えば人の作業に対する注意力や判断力に影響し、年又は月単位の比較的長期間で変動する人のベースラインの能力である。
【００２６】
本実施形態では、脳神経活動と相関を有する人の活動状態を表す情報、例えば生体情報および動きの情報を一次指標とし、この活動状態を表す情報と、作業者自身が入力する感情の正解値とから感情を推定する。活動状態を表す情報としては、例えば心電、皮膚電位、モーションおよび活動量等の生体情報や行動情報が用いられる。
【００２７】
認知能力は、人の活動状態を表す情報のうち、注意力や判断力が反映される例えば目の動きと手の動きの各特徴量を一次指標とし、この目の動きと手の動きの特徴量と、認知能力の正解値とから認知能力を推定する。目の動きを表す特徴量としては、例えば視線の移動速度、注視位置座標とその注視時間、瞬きの回数、瞳孔サイズの変化がある。手の動きを表す特徴量としては例えば３軸加速度がある。
【００２８】
本実施形態では、先ず作業者ごとに上記感情と認知能力についてそれぞれ事前に学習データを生成する。これらの学習データは、上記した正解値と一次指標とをもとに生成する。そして、作業中に作業者の活動状態の変化を計測し、その計測データを一次指標とし、当該一次指標と上記学習データとをもとに作業者の感情および認知能力の変化をそれぞれ推定する。
【００２９】
さらに、作業者ごとに、感情および認知能力の変化と作業者の作業に対するパフォーマンスの変化との相関を表す関係式を、作業に対するパフォーマンスを推定するための学習データとして予め生成しておく。そして、上記推定された作業者の感情および認知能力の変化を二次指標とし、この二次指標と上記関係式とに基づいて、作業者の現在または今後の作業に対するパフォーマンスの変化を推定する。
【００３０】
作業に対するパフォーマンスを表す情報は、生産ラインにおいては一般に品質と生産個数により定義されるが、本実施形態ではより具体的に習熟度を表す情報と、作業ミスの発生度合いを表す情報とにより表す。習熟度を表す情報は、例えば標準的な作業時間と実際の作業時間との差で表される。作業ミスの発生度合いを表す情報は、例えば平均的な作業時間に対する実際の作業時間のばらつきとして表される。すなわち、作業に対するパフォーマンスを表す情報は、作業者の作業に対する集中度、疲労度、技能が反映された情報として定義できる。
【００３１】
本実施形態では、作業者ごとに、その作業中に上記作業時間と実際の作業時間との差の情報、および平均的な作業時間に対する実際の作業時間のばらつきを表す情報を、作業に対するパフォーマンスを表す情報としてそれぞれ推定し、その推定結果に基づいてラインを制御する。
【００３２】
（構成）
この発明の一実施形態に係るシステムは、セル生産システムからなる。セル生産システムとは、製品を生産する工程を複数に分ける。そして、生産ライン上にこれらの工程に対応するセルと呼ばれる作業エリアを設け、これらのセルにおいてそれぞれ作業者が割り当てられた工程の作業を行うシステムである。
【００３３】
図１はセル生産システムの一例を示すもので、Ｕ字型をなす生産ラインＣＳを備えている。生産ラインＣＳは、例えば製品の流れの方向に工程の異なる３つのセルＣ１，Ｃ２，Ｃ３を有し、これらのセルＣ１，Ｃ２，Ｃ３にはそれぞれ作業者ＷＫ１，ＷＫ２，ＷＫ３が配置される。また生産ラインＣＳ全体の作業を監視するために、熟練者であるリーダＷＲが配置される。リーダＷＲはスマートフォンやタブレット型端末等の携帯型情報端末ＴＭを所持する。携帯型情報端末ＴＭは、リーダＷＲに対し生産作業の管理のための情報を表示するために使用される。
【００３４】
生産ラインＣＳの最上流の位置には、部品供給装置ＤＳおよび部品供給コントローラＤＣが配置されている。部品供給装置ＤＳは、部品供給コントローラＤＣから送られる供給指示に従い、製造に必要な複数種類の部品を、指示された速度でラインＣＳに供給する。また生産ラインＣＳの任意のセルＣ１には協調ロボットＲＢが配置されている。協調ロボットＲＢは、部品供給コントローラＤＣからの指示に従い、部品の供給速度に協調して製品Ｂ１への部品の組み付け作業等を行う。
【００３５】
生産ラインＣＳの各セルＣ１，Ｃ２，Ｃ３には、それぞれモニタＭＯ１，ＭＯ２，ＭＯ３が配置されている。これらのモニタＭＯ１，ＭＯ２，ＭＯ３は、それぞれ作業者ＷＫ１，ＷＫ２，ＷＫ３に対し、個々の作業に関する指示情報等を提示するために用いられる。
【００３６】
また生産ラインＣＳの上方空間には作業監視カメラＣＭが配置されている。作業監視カメラＣＭは、各セルＣ１，Ｃ２，Ｃ３において作業者ＷＫ１，ＷＫ２，ＷＫ３による製品Ｂ１，Ｂ２，Ｂ３の生産作業の結果を監視するための映像を撮像する。この生産作業の結果は、認知推定用の学習データを生成する際に、正解値として用いられる。なお、モニタの数、工程数、作業者数、リーダの有無等については、図１に示したものに限定されない。また、作業者の生産作業を監視する手段についても作業監視カメラＣＭに限定されず、生産作業の結果を表す音や光、振動等を収集し、これらにより生産作業の結果を推定するようにしてもよい。
【００３７】
ところで、作業者ＷＫ１，ＷＫ２，ＷＫ３の感情および認知能力を推定するために、作業者ＷＫ１，ＷＫ２，ＷＫ３にはそれぞれ入力・計測装置ＳＳ１，ＳＳ２，ＳＳ３が設けられる。入力・計測装置ＳＳ１，ＳＳ２，ＳＳ３は、感情の正解値を入力する手段として用いる感情入力デバイス２と、感情および認知能力を推定する際の一次指標となる作業者の活動状態を計測する計測デバイス３および視線監視カメラ４を備えている。
【００３８】
感情入力デバイス２は、例えば図２に示すようにスマートフォンまたはタブレット型端末からなり、アプリケーションプログラムの制御の下で感情入力画面を表示する。感情入力画面は、感情の活性度（Arousal）を縦軸にとり、活性度の強度（Valence）を横軸にとることで、感情を二次元座標平面で表したものである。上記感情入力画面上において、作業者が自身のその時の感情に対応する位置をプロットすると、感情入力デバイス２はこのプロットされた位置座標を作業者の感情を表す情報として認識する。
【００３９】
なお、上記感情をArousalとValenceとからなる二次元座標平面で表す手法は、ラッセルの円環モデルとして知られている。図１５にその概要を示す。図１６は感情入力デバイス２による時間帯別の感情の入力結果の一例を示したもので、活性度（Arousal）により「やる気」のあるなしとその程度が表され、活性度の強度（Valence）により「気分」の快（ワクワク）／不快（イライラ）とその程度が表される。
【００４０】
感情入力デバイス２は、上記感情を表す情報として検出した位置座標を、ArousalとValenceとで表される二次元座標平面の象限とArousalおよびValenceの各値に変換する。そして、この変換後のデータに入力日時を表すタイムスタンプデータを付与し、これを感情入力データ（以後スケールデータと呼ぶ）として、無線インタフェースを使用することによりネットワークＮＷを介して、作業管理装置としての生産管理装置１へ送信する。
【００４１】
計測デバイス３は、例えばウェアラブル端末に内蔵され、図３に示すように作業者の手首に装着される。なお、計測デバイス３はウェアラブル端末に内蔵する以外に、衣服やベルト、ヘルメット等に装着するものであってもよい。計測デバイス３は、人の感情および認知能力と相関を持つ人の活動状態を表す情報を計測する。人の活動状態を表す情報には生体情報と行動情報が含まれる。生体情報および行動情報を計測するために、計測デバイス３は複数種類の生体センサおよび行動センサを内蔵する。これらの生体センサおよび行動センサは、例えば、心電Ｈ、皮膚電位Ｇ、モーションＢＭおよび活動量Ｅｘを計測するセンサを含む。
【００４２】
心電センサは、予め設定した周期或いは任意のタイミングで作業者の心電Ｈの波形データを計測し、その計測データを出力する。皮膚電位センサは、例えばポリグラフ計からなり、上記予め設定した周期或いは任意のタイミングで作業者の皮膚電位Ｇを計測し、その計測データを出力する。モーションＢＭを計測するセンサとしては、例えば３軸加速度センサが用いられ、作業者の手の動きを表す３軸加速度の計測データを出力する。活動量Ｅｘを計測するセンサとしては活動量計が用いられ、身体活動の強度（メッツ）と、身体活動の量（エクササイズ）を表す計測データを出力する。なお、生体センサとしては、他に筋電を計測する筋電センサ等も利用可能である。
【００４３】
視線監視カメラ４は小型イメージセンサからなり、例えば図３に示すように作業者ＷＫ１，ＷＫ２，ＷＫ３の帽子に取り付けられるか、またはメガネやゴーグルのフレームに装着される。視線監視カメラ４は、作業者の目の動き（眼球運動ＥＭ）を撮像し、その撮像画像データを計測データの１つとして生産管理装置１へ送信する。
【００４４】
なお、計測デバイス３および視線監視カメラ４は、上記各計測データを送信する際に、計測日時を表すタイムスタンプデータを付与し、この計測データを無線インタフェースを用いてネットワークＮＷ経由で生産管理装置１へ送信する。
【００４５】
無線インタフェースとしては、例えば、無線ＬＡＮ（Local Area Network）やBluetooth（登録商標）等の小電力型無線データ通信規格を採用した無線インタフェースが使用される。なお、感情入力デバイス２とネットワークＮＷとの間を接続するインタフェースとしては、公衆移動通信ネットワークやＵＳＢ（Universal Serial Bus）等の有線信号ケーブルを使用してもよい。
【００４６】
次に、生産管理装置１の構成について説明する。図４はその機能構成を示すブロック図である。生産管理装置１は、例えばパーソナルコンピュータまたはサーバコンピュータからなり、制御ユニット１１と、記憶ユニット１２と、インタフェースユニット１３とを備えている。
【００４７】
インタフェースユニット１３は、ネットワークＮＷにより規定された通信プロトコルに従ってデータ通信を行うもので、上記入力・計測装置ＳＳ１，ＳＳ２，ＳＳ３から送信された各計測データをネットワークＮＷを介して受信する。またインタフェースユニット１３は、制御ユニット１１から出力された表示データを携帯型情報端末ＴＭおよび各モニタＭＯ１，ＭＯ２，ＭＯ３へ送信すると共に、制御ユニット１１から出力された生産ラインＣＳの制御指示コマンドを部品供給コントローラＤＣへ送信する。
【００４８】
なお、インタフェースユニット１３はマンマシンインタフェース機能を備えるようにしてもよい。このマンマシンインタフェース機能は、例えば、キーボードやマウス等の入力デバイスから出力された入力データを受信すると共に、制御ユニット１１から出力された表示データを図示しないディスプレイへ出力し表示させる。なお、マンマシンインタフェース機能としては、作業者等の音声を取り込む機能や、音を出力する機能等、その他の機能を備えていてもよい。
【００４９】
記憶ユニット１２は、記憶媒体としてＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書き込み読み出しが可能な不揮発性メモリを使用したもので、本実施形態を実施する上で必要な記憶領域として、センシングデータ記憶部１２１と、学習データ記憶部１２２と、制御履歴記憶部１２３とを備えている。
【００５０】
センシングデータ記憶部１２１は、上記入力・計測装置ＳＳ１，ＳＳ２，ＳＳ３から送信される各データ、つまり感情入力デバイス２において入力された作業者の感情を表すスケールデータと、計測デバイス３の各センサにより計測された各計測データと、視線監視カメラ４から出力される画像データを、送信元の作業者ＷＫ１，ＷＫ２，ＷＫ３の識別情報と紐付けて記憶するために使用される。またセンシングデータ記憶部１２１は、上記作業監視カメラＣＭから送信される、製品に対する作業の結果を撮像した画像データを記憶するためにも使用される。
【００５１】
学習データ記憶部１２２は、制御ユニット１１により作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに生成される、感情の推定に使用する学習データ、認知能力の推定に使用する学習データ、および生産能力の推定に使用する学習データをそれぞれ記憶するために使用される。
【００５２】
制御履歴記憶部１２３は、制御ユニット１１により作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに生成される、生産能力の推定結果とそれに対応する生産ラインＣＳの制御結果を表す情報を制御履歴として記憶するために使用される。
【００５３】
制御ユニット１１は、ＣＰＵ（Central Processing Unit）および作業用メモリを有し、本実施形態を実施する上で必要な制御機能として、センシングデータ取得制御部１１１と、特徴量抽出部１１２と、生産能力推定部１１３と、ライン制御部１１４と、学習データ生成部１１５とを備えている。これらの制御機能はいずれも、図示しないプログラムメモリに格納されたアプリケーションプログラムを上記ＣＰＵに実行させることにより実現される。
【００５４】
センシングデータ取得制御部１１１は、上記入力・計測装置ＳＳ１，ＳＳ２，ＳＳ３から送信される各データ、つまり感情入力デバイス２から出力されるスケールデータ、計測デバイス３から出力される計測データ、および視線監視カメラ４から出力される画像データをインタフェースユニット１３を介して取得し、取得した各データをセンシングデータ記憶部１２１に記憶させる処理を行う。またセンシングデータ取得制御部１１１は、作業監視カメラＣＭから送信される、各作業者ＷＫ１，ＷＫ２，ＷＫ３による作業結果を撮像した作業監視画像データについても、インタフェースユニット１３を介して取得してセンシングデータ記憶部１２１に記憶させる。
【００５５】
特徴量抽出部１１２は、学習モードにおいて、時系列上の異なる複数の時間位置に設定されるウィンドウごとに、上記センシングデータ記憶部１２１から上記ウィンドウに含まれるスケールデータ、各計測データおよび画像データを作業者ＷＫ１，ＷＫ２，ＷＫ３別に読み込む。そして、読み込んだスケールデータ、各計測データおよび画像データのそれぞれについて、それぞれ特徴量を抽出してその変化量を算出し、その算出結果を学習データ生成部１１５に渡す。
【００５６】
なお、ウィンドウは所定の単位時間幅を有し、時系列上で隣り合うウィンドウ同士が互いに重ならないように上記単位時間幅ずつシフトすることにより設定されるか、または時系列上で隣り合うウィンドウ同士が部分的に重なるように上記単位時間幅より短い時間ずつ順次シフトすることにより設定される。また、ウィンドウの単位時間幅は所定の範囲で一定量ずつ可変可能である。
【００５７】
学習データ生成部１１５は、作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに、上記特徴量抽出部１１２により抽出されたスケールデータのArousalおよびValence別の特徴量の変化量を正解値（教師データ）とし、各計測データの特徴量の変化量を変数として、重回帰分析を行うことで、感情と各計測データの特徴量との関係性を表す回帰式をArousalおよびValence別に生成する。そして、生成した各回帰式を、どの時間位置のウィンドウであるかを示すウィンドウ識別情報と対応付けて、感情の推定に使用する学習データとして学習データ記憶部１２２に記憶させる。
【００５８】
また学習データ生成部１１５は、作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに、作業監視カメラＣＭの撮像画像データから抽出された「作業結果」が正しい作業であったか否かを表すデータを正解値とし、目の動きを示すデータおよび手の動きを示すデータをそれぞれ変数として、重回帰分析を行う。目の動きを表すデータは、特徴量抽出部１１２により、視線監視カメラ４の撮像画像データから抽出される。また、手の動きを表すデータは、特徴量抽出部１１２により、計測デバイス３に含まれる３軸加速度センサの計測データから抽出される。かくして学習データ生成部１１５は、作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに、認知能力と、目の動きおよび手の動きとの関係性を表す回帰式を生成する。そして、生成した回帰式を、認知能力を推定するための学習データとして学習データ記憶部１２２に記憶させる。
【００５９】
さらに学習データ生成部１１５は、作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに、上記推定された感情および認知能力の変化を二次指標として、この二次指標と作業者の生産能力の変化との相関を表す関係式を生成する。そして、生成した関係式を、生産能力を推定するための学習データとして学習データ記憶部１２２に記憶させる。
【００６０】
具体的には、生産能力を表す情報として、習熟度を表す情報と、作業ミスの発生度合いを表す情報を定義する。習熟度を表す情報は、例えば標準的な作業時間と実際の作業時間との差の情報として表される。また作業ミスの発生度合いを表す情報は、例えば平均的な作業時間に対する実際の作業時間のばらつきを示す情報として表される。学習データ生成部１１５は、上記習熟度を表す情報、および作業ミスの発生度合いを表す情報の各々について、これらの情報を上記感情および認知能力の変化の推定値から推定するための関係式を生成し、学習データ記憶部１２２に記憶させる。
【００６１】
また特徴量抽出部１１２は、生産能力推定モードにおいて、時系列上の異なる複数の時間位置に設定されるウィンドウごとに、上記センシングデータ記憶部１２１から上記ウィンドウに含まれる各計測データおよび画像データを作業者ＷＫ１，ＷＫ２，ＷＫ３別に読み込む。そして、読み込んだ各計測データおよび画像データからそれぞれ感情および認知能力を推定するための特徴量の変化を抽出し、この特徴量の変化を生産能力推定部１１３に渡す。
【００６２】
生産能力推定部１１３は、作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに、上記特徴量抽出部１１２から上記抽出された感情および認知能力を推定するための特徴量の変化を受け取ると共に、上記学習データ記憶部１２２から上記感情の学習データおよび認知能力の学習データを読み込む。そして、上記特徴量の変化と各学習データとを用いて感情および認知能力の変化をそれぞれ推定する処理を行う。
【００６３】
また生産能力推定部１１３は、作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに、上記学習データ記憶部１２２から生産能力を推定するための関係式を読み込む。そして、上記感情および認知能力の変化の各推定値と、上記読み込んだ関係式とを用いて、作業者ＷＫ１，ＷＫ２，ＷＫ３の生産能力をそれぞれ推定する。具体的には、習熟度を表す、標準的な作業時間と実際の作業時間との差の情報と、作業ミスの発生度合いを表す、平均的な作業時間に対する実際の作業時間のばらつきを推定する処理を行う。
【００６４】
ライン制御部１１４は、作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに、上記生産能力推定部１１３による「生産能力」の推定結果に基づいて、生産ラインＣＳの速度調整の要否と、作業者ＷＫ１，ＷＫ２，ＷＫ３に対する配置転換や休息の要否をそれぞれ判定する。そして、速度調整が必要と判定された場合に、部品供給コントローラＤＣに対しライン速度制御指示を出力する。また、配置転換や休息が必要と判定された場合には、リーダＷＲの携帯型情報端末ＴＭ或いはモニタＭＯ１，ＭＯ２，ＭＯ３に対し、配置転換または休息の指示情報を送信する処理を行う。
【００６５】
（動作）
次に、以上のように構成された生産管理装置１の動作を、システム全体の動作と共に説明する。  
（１）学習データの生成
作業者ＷＫ１，ＷＫ２，ＷＫ３の生産能力の推定に先立ち、生産管理装置１は先ず作業者ＷＫ１，ＷＫ２，ＷＫ３ごとにその生産能力の推定に使用する学習データを以下のように生成する。
【００６６】
（１−１）感情推定に使用する学習データの生成
生産管理装置１は、先ず作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに感情推定に使用する学習データを以下のように生成する。図５はその処理手順と処理内容を示すフローチャートである。
【００６７】
すなわち、作業者ＷＫ１，ＷＫ２，ＷＫ３にそれぞれ実際に作業をしてもらいながら、所定の時間間隔又は任意のタイミングでその時々の作業者自身の感情を、感情入力デバイス２により入力してもらう。
【００６８】
感情入力デバイス２は、先に述べたように感情を活性度（Arousal）とその強度（Valence）とからなる二次元座標平面で表したもので、作業者ＷＫ１，ＷＫ２，ＷＫ３がプロットした二次元座標平面における座標値を検出する。また、このとき感情入力デバイス２は、上記二次元座標平面を図１７に示すように４つの象限“１”，“２”，“３”，“４”に分け、さらにArousalおよびValenceの各軸の値を図１８に示すように交点を０として、−１００〜＋１００により表している。感情入力デバイス２は、上記検出した座標値を、上記象限を表す情報と、上記ArousalおよびValenceの各軸の値に変換する。そして、この変換後の情報に、入力日時を表すタイムスタンプデータと作業者ＷＫ１，ＷＫ２，ＷＫ３の識別情報（作業者ＩＤ）を付加し、これをスケールデータとして生産管理装置１へ送信する。
【００６９】
また、それと並行して計測デバイス３では、上記作業中の作業者ＷＫ１，ＷＫ２，ＷＫ３の心電Ｈ、皮膚電位Ｇ、モーションＢＭおよび活動量Ｅｘが一定の時間間隔で計測される。そして、その各計測データが、計測時刻を表すタイムスタンプデータと作業者ＷＫ１，ＷＫ２，ＷＫ３の作業者ＩＤと共に生産管理装置１へ送信される。さらに、作業者ＷＫ１，ＷＫ２，ＷＫ３の目の動きを表す眼球運動ＥＭが視線監視カメラ４により撮像される。そして、その画像データが、タイムスタンプデータと作業者ＷＫ１，ＷＫ２，ＷＫ３の識別情報（作業者ＩＤ）と共に生産管理装置１へ送信される。
【００７０】
生産管理装置１は、作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに、上記感情入力デバイス２から送信されるスケールデータを、ステップＳ１１により、センシングデータ取得制御部１１１の制御の下でインタフェースユニット１３を介して受信し、この受信したスケールデータをセンシングデータ記憶部１２１に記憶させる。
【００７１】
またそれと共に、作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに、上記計測デバイス３から送信される各計測データおよび視線監視カメラ４から送信される画像データを、ステップＳ１２により、センシングデータ取得制御部１１１の制御の下でインタフェースユニット１３を介して受信し、この受信した各計測データおよび画像データをセンシングデータ記憶部１２１に記憶させる。
【００７２】
上記スケールデータと各計測データおよび画像データが一定期間分（例えば１日分又は１週間分）蓄積されると、生産管理装置１はステップＳ１３により、特徴量抽出部１１２および学習データ生成部１１５の制御の下で、感情推定用の学習データの生成処理を以下のように実行する。図７および図８はその処理手順と処理内容を示すフローチャートである。
【００７３】
すなわち、先ずステップＳ１３１によりウィンドウＷｉ（ｉ＝１，２，３，…）の単位時間幅を初期値に設定し、ステップＳ１３２によりｉ＝１番目のウィンドウを選択する。次に特徴量抽出部１１２が、ステップＳ１３３により、上記１番目のウィンドウの期間に含まれる複数のスケールデータを上記センシングデータ記憶部１２１から読み込み、ステップＳ１３４によりArousalおよびValence別にその特徴量の変化量を算出する。
【００７４】
例えば、いま図１８に示すように１つのウィンドウの期間内にスケールデータＫ１，Ｋ２が入力された場合には、象限が“３”→“４”、Arousal＋２０、Valence＋５０のように変化量が算出される。なお、象限が“３”→“２”のように対角状に変化した場合にも、ArousalおよびValence別にその特徴量の変化量を算出すればよい。
【００７５】
特徴量抽出部１１２は、続いてステップＳ１３５により、上記１番目のウィンドウの期間に計測された各計測データと画像データ、つまり心電Ｈ、皮膚電位Ｇ、モーションＢＭおよび活動量Ｅｘの各計測データと、眼球運動ＥＭを表す画像データを、上記センシングデータ記憶部１２１から読み込む。そして、ステップＳ１３６においてこれらの計測データおよび画像データから特徴量を抽出する。
【００７６】
例えば、心電Ｈの特徴量としては、心拍の間隔（R-R Interval：RRI ）、当該RRI のパワースペクトルの高周波成分（HF）および低周波成分（LF）を抽出する。皮膚電位Ｇの特徴量としては、皮膚電気抵抗（Galvanic Skin Response：GSR）を抽出する。モーションＢＭの特徴量としては、例えば手の動きの方向とその速度を抽出する。手の動きの方向とその速度は、例えば３軸加速度センサにより計測される３軸加速度から算出される。活動量Ｅｘの特徴量は、身体活動の強度（METs）とエクササイズ（EX）により表される。エクササイズ（EX）は、身体活動の強度（METs）×身体活動の実施時間により算出される。眼球運動ＥＭの特徴量としては、例えば視線の移動速度、注視位置座標とその注視時間、瞬きの回数、瞳孔サイズの変化を抽出する。
【００７７】
そして特徴量抽出部１１２は、上記抽出された心電Ｈ、皮膚電位Ｇ、モーションＢＭ、活動量Ｅｘおよび眼球運動ＥＭの各特徴量の、上記ウィンドウの期間内における変化量をそれぞれ算出する。
【００７８】
次に学習データ生成部１１５は、ステップＳ１３７において、上記ステップＳ１３４で算出されたスケールデータの特徴量の変化量と、上記ステップＳ１３６により算出された各計測データおよび画像データの特徴量の変化量とに基づいて、ArousalおよびValence別に学習データを生成する。
【００７９】
例えば、スケールデータのArousalおよびValence別の特徴量の変化量を教師データとし、各計測データおよび画像データの特徴量の変化量を一次指標となる独立変数として、重回帰分析を行う。そして、作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに、感情の変化と、各計測データおよび画像データの特徴量の変化との関係性を表す回帰式をArousalおよびValence別に生成する。
【００８０】
以下にｉ番目のウィンドウに対応する回帰式を示す。  
ＸＡ^i ＝ｆ（α1Ｈi ，α2Ｇi ，α3ＥＭi ，α4ＢＭi ，α5Ｅｘi ）
ＸＶ^i ＝ｆ（α1Ｈi ，α2Ｇi ，α3ＥＭi ，α4ＢＭi ，α5Ｅｘi ）    …(1)
但し、ＸＡ^i ，ＸＶ^i はArousalおよびValenceの変化の推定値、α1，α2，α3 ，α4，α5 はそれぞれ計測データＨi ，Ｇi ，ＥＭi ，ＢＭi ，Ｅｘの特徴量に対する重み付け係数、ｆは一次指標である計測データＨi ，Ｇi ，ＥＭi ，ＢＭi ，Ｅｘの特徴量から得られる指標の総合計を示す。重み付け係数は、例えば学習段階で得られる母集団データの中の比率などを考慮して加重平均などにより設定してもよい。なお、ＸＡ^iおよびＸＶ^i の“^”は、「ハット」と読み、本来はＸＡ、ＸＶの頭部に記述される記号である。
【００８１】
学習データ生成部１１５は、上記生成されたｉ番目のウィンドウに対応するArousalおよびValenceの回帰式を、ステップＳ１３８により学習データ記憶部１２２に保存する。そして、ステップＳ１３９により、すべてのウィンドウＷｉについて回帰式の生成処理が終了したか否かを判定し、未選択のウィンドウが残っていればステップＳ１３２に戻り、次の未選択のウィンドウを選択してステップＳ１３３〜Ｓ１３９による一連の感情推定用の学習データの生成処理を繰り返す。
【００８２】
また、特徴量抽出部１１２および学習データ生成部１１５は、ウィンドウの単位時間幅とシフト量の最適値を決定するために、ウィンドウの単位時間幅を一定量ずつ可変すると共に、ウィンドウの時系列方向へのシフト量を一定量ずつ可変する。そして、そのすべての組み合わせの中で、回帰式により得られる感情推定値と、感情入力デバイス２により入力された感情情報の正解値との差分が最も小さい組み合わせを選択し、この選択したウィンドウの単位時間幅とシフト量、およびこの組み合わせのときに生成された回帰式を感情推定用として設定する。なお、上記ウィンドウの単位時間幅およびシフト量は固定してもよい。
【００８３】
以上の最適なウィンドウを選択する処理の一例を以下に説明する。図８はその処理手順と処理内容を示すフローチャートである。  
すなわち、学習データ生成部１１５は、ステップＳ１４１により、ウィンドウＷｉごとに生成された各回帰式をもとに感情の推定値ＸＡ^i ，ＸＶ^iをそれぞれ算出し、算出されたすべてのＸＡ^i ，ＸＶ^iの合計ＸＡ^，ＸＶ^を算出する。そして、ステップＳ１４２により、感情入力デバイス２により入力された感情情報の真値の合計ＸＡ，ＸＶと、上記感情の推定値の合計ＸＡ^，ＸＶ^との差分を
Σ（ＸＡ−ＸＡ^），Σ（ＸＶ−ＸＶ^）
により算出し、その算出結果を学習データ記憶部１２２に保存する。なお、図８では図示の簡単のためΣ（ＸＡ−ＸＡ^）のみを代表して示している。
【００８４】
学習データ生成部１１５は、次にステップＳ１４３において、ウィンドウの単位時間幅とシフト量の可変を終了したか否か、つまりウィンドウの単位時間幅とシフト量のすべての組み合わせについて回帰式の生成処理を終了したか否かを判定する。この判定の結果、まだ終了していなければ、ステップＳ１４４によりウィンドウＷｉの単位時間幅とシフト量を一定量可変し、図７に示すステップＳ１３２に戻る。そして、ステップＳ１３２〜Ｓ１４３による処理を実行する。以後、ウィンドウの単位時間幅とシフト量のすべての組み合わせについて回帰式の生成処理が終了するまで、上記ステップＳ１３２〜Ｓ１４４による処理を繰り返す。
【００８５】
そして、ウィンドウの単位時間幅とシフト量のすべての組み合わせについて回帰式の生成処理が終了すると、学習データ生成部１１５はステップＳ１４５に移行し、上記ウィンドウの単位時間幅とシフト量のすべての組み合わせについて計算された、感情情報の真値の合計ＸＡ，ＸＶと、上記感情の推定値の合計ＸＡ^，ＸＶ^との差分をΣ（ＸＡ−ＸＡ^），Σ（ＸＶ−ＸＶ^）を比較する。そして、Σ（ＸＡ−ＸＡ^），Σ（ＸＶ−ＸＶ^）がいずれも最小となるウィンドウの単位時間幅とシフト量の組み合わせを選択する。
【００８６】
学習データ生成部１１５は、続いてステップＳ１４６において、上記選択されたウィンドウの単位時間幅とシフト量の組み合わせを特徴量抽出部１１２に設定すると共に、ステップＳ１４７において上記選択した組み合わせに対応する回帰式を学習データ記憶部１２２に記憶させる。かくして、感情推定に使用する学習データの生成を終了する。
【００８７】
（１−２）認知能力の推定に使用する学習データの生成
次に学習データ生成部１１５は、認知能力の推定に使用する学習データを以下のように生成する。図６はその処理手順と処理内容を示すフローチャートである。
【００８８】
すなわち、作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに、計測デバイス３の３軸加速度センサにより手の動きを示すモーションＢＭが計測され、その計測データが生産管理装置１へ送信される。またそれと共に、視線監視カメラ４により作業中の目の動きを示す眼球運動ＥＭが撮像され、その撮像画像データが生産管理装置１へ送信される。
【００８９】
生産管理装置１は、センシングデータ取得制御部１１１の制御の下で、ステップＳ１４により、作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに、上記計測デバイス３から送信される手の動きを示すモーションＢＭの計測データと、視線監視カメラ４から送信される眼球運動ＥＭを示す画像データを、インタフェースユニット１３を介して受信し、この受信した各計測データおよび画像データをセンシングデータ記憶部１２１に記憶させる。なお、上記モーションＢＭの計測データおよび眼球運動ＥＭの画像データは、先に述べた感情推定用の学習データを生成する処理の過程で得られたデータをそのまま利用してもよい。
【００９０】
また生産ラインＣＳの各セルＣ１，Ｃ２，Ｃ３では、作業者ＷＫ１，ＷＫ２，ＷＫ３による作業結果が作業監視カメラＣＭにより撮像され、その画像データが生産管理装置１へ送信される。生産管理装置１は、センシングデータ取得制御部１１１の制御の下で、ステップＳ１５により、上記作業監視カメラＣＭから送信される画像データをインタフェースユニット１３を介して受信し、この受信した画像データをセンシングデータ記憶部１２１に記憶させる。
【００９１】
生産管理装置１は、続いてステップＳ１６において、特徴量抽出部１１２および学習データ生成部１１５の制御の下で、以下のように認知能力推定用の学習データを生成する。図９はその処理手順と処理内容を示すフローチャートである。
【００９２】
すなわち、先ずステップＳ１６１により任意の作業時間帯（例えば日または週単位）を選択する。そしてステップＳ１６２において、特徴量抽出部１１２がセンシングデータ記憶部１２１から上記作業結果を表す画像データを読み込み、ステップＳ１６３において、上記読み込んだ作業結果を表す画像データから、例えばパターン認識技術を用いて作業の成否を表す特徴量を抽出する。この特徴量は、例えば上記一定期間に発生した作業ミスの回数または発生率により表される。特徴量抽出部１１２は、上記抽出した特徴量を認知能力の正解値とする。
【００９３】
続いて特徴量抽出部１１２は、ステップＳ１６４において、上記計測デバイス３の３軸加速度センサにより得られた計測データを読み込み、ステップＳ１６５において、当該読み込んだ計測データから作業者の手の動きを表す特徴量を抽出する。またそれと共に、ステップＳ１６４において、視線監視カメラ４により得られた画像データを読み込み、ステップＳ１６５において、当該読み込んだ画像データから作業者の目の動きを表す特徴量（眼球運動ＥＭ）を抽出する。このとき、抽出対象となる眼球運動ＥＭは、先に記したように、例えば視線の移動速度、注視位置座標とその注視時間、瞬きの回数、瞳孔サイズの変化により表される。なお、上記モーションＢＭおよび眼球運動ＥＭの各特徴量は、先に述べた感情推定用の学習データを生成する処理の過程で抽出されたものをそのまま利用することもできる。
【００９４】
次に学習データ生成部１１５は、ステップＳ１６６において、上記作業の成否を表す特徴量を正解値（教師データ）とし、上記手の動きを表す特徴量と眼球運動ＥＭを表す特徴量を変数として、重回帰分析により回帰式を生成する。そして、生成した回帰式を、認知能力を推定するための学習データとして学習データ記憶部１２２に記憶させる。以下に認知能力推定に使用する回帰式の一例を示す。  
Ｙ^i ＝ｆ（β1 ＥＭi ，β2 ＢＭi ）        …(2)
但し、Ｙ^iは認知能力の変化の推定値、β1 ，β2 はそれぞれ眼球運動ＥＭi およびモーションＢＭiの各特徴量に対する重み付け係数、ｆは一次指標である眼球運動ＥＭi およびモーションＢＭiの特徴量から得られる指標の総合計を示す。重み付け係数は、例えば学習段階で得られる母集団データの中の比率などを考慮して加重平均などにより設定してもよい。
【００９５】
学習データ生成部１１５は、すべての作業時間帯に対し上記回帰式の生成処理を終了したか否かをステップＳ１６７で判定し、未選択の作業時間帯が残っていればステップＳ１６１に戻って上記回帰式の生成処理を繰り返す。一方、すべての作業時間帯について回帰式の生成が終了すると、ステップＳ１６８において、各作業時間帯に対し生成された回帰式を、作業時間帯を表す情報と対応付けて学習データ記憶部１２２に記憶させる。
【００９６】
（１−３）生産能力の推定に使用する学習データの生成
作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに、感情推定用の学習データと、認知能力推定用の学習データの生成が終了すると、学習データ生成部１１５は生産能力の推定に使用する学習データを以下のように生成する。
【００９７】
すなわち、学習データ生成部１１５は、生産能力を表す情報として、習熟度を表す情報と作業ミスの発生度合いを表す情報を定義する。習熟度を表す情報は、例えば標準的な作業時間と実際の作業時間との差として表される。作業ミスの発生度合いを表す情報は、平均的な作業時間に対する実際の作業時間のばらつきとして表される。
【００９８】
学習データ生成部１１５は、上記感情の推定値および認知能力の推定値を二次指標とし、過去と現在の二次指標の差の大きさから作業者の習熟度を推定する関係式を生成する。以下にこの関係性の一例を示す。
【００９９】
すなわち、現在における感情の推定値をｘ1 、認知能力の推定値をｙ1 とし、過去における感情の推定値の平均をＸ2 、認知能力の推定値をＹ2 とし、さらに感情および認知能力に対する重み係数をそれぞれγa1 ，γa2 とすると、習熟度QualityＡは、
QualityＡ＝√｛（γa1 （Ｘ2 −ｘ1 ））2 ｝
＋√｛（γa2 （Ｙ2 −ｙ1 ））2 ｝        …(3)
と表される。
【０１００】
また学習データ生成部１１５は、上記感情の推定値および認知能力の推定値を二次指標とし、過去から現在までの二次指標のばらつきから作業者の作業ミスの発生度合いを推定する関係式を生成する。以下にこの関係性の一例を示す。
【０１０１】
すなわち、現在における感情の推定値をｘ1 、認知能力の推定値をｙ1 とし、過去における感情の推定値をＸ1 、認知能力の推定値をＹ1 とし、さらに感情および認知能力に対する重み係数をそれぞれγb1 ，γb2 とすると、作業ミスの発生度合いQualityＢは
QualityＢ＝γb1 √｛（（Ｘ1 −ｘ1 ）／Σ（Ｘ−ｘi ））2 ｝
＋γb2 √｛（（Ｙ1 −ｙ1 ）／Σ（Ｙ−ｙi ））2 ｝        (4)
と表される。
【０１０２】
なお、上記重み係数γa1 ，γa2 ，γb1 ，γb2 は、作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに、例えば重回帰分析により求めるか、或いは作業者ＷＫ１，ＷＫ２，ＷＫ３に対するアンケート調査により決定することができる。
【０１０３】
（２）生産能力の推定
上記生産能力推定用の学習データの生成が終了すると、生産管理装置１はこの学習データを用いて、以後作業中の作業者ＷＫ１，ＷＫ２，ＷＫ３の生産能力を以下のように推定する。図１１はその推定処理の手順と処理内容を示すフローチャートである。
【０１０４】
（２−１）作業者のセンシングデータの収集
作業開始指示コマンドの入力をステップＳ２１で検出すると、生産管理装置１はステップＳ２２において、事前に指定入力された生産量指示情報（例えば１００個／日）に応じて部品供給コントローラＤＣに対し部品供給速度を初期指定する。そうすると、部品供給コントローラＤＣの指示に従い、部品供給装置ＤＳが製造対象の製品に対応する部品群を指示された速度で生産ラインＣＳに供給する。この部品群の供給を受けて、作業者ＷＫ１，ＷＫ２，ＷＫ３はそれぞれ割り当てられたセルにおいて製品を生産するための作業を開始する。
【０１０５】
上記作業中において、作業者ＷＫ１，ＷＫ２，ＷＫ３ごとに設けられた入力・計測装置ＳＳ１，ＳＳ２，ＳＳ３では、計測デバイス３により所定の時間間隔又はタイミングにおいて作業者の心電Ｈ、皮膚電位Ｇ、モーションＢＭおよび活動量Ｅｘが計測され、その計測データが生産管理装置１へ送信される。また、作業者ＷＫ１，ＷＫ２，ＷＫ３ごとにその目の動きを示す眼球運動ＥＭが視線監視カメラ４により撮像され、その撮像画像データが生産管理装置１へ送信される。
【０１０６】
これに対し生産管理装置１は、上記入力・計測装置ＳＳ１，ＳＳ２，ＳＳ３から送信される各計測データおよび画像データを、センシングデータ取得制御部１１１の制御の下で、ステップＳ２３によりインタフェースユニット１３を介して受信する。そして、受信した各データをセンシングデータ記憶部１２１に記憶させる。
【０１０７】
（２−２）作業者の感情の推定
次に生産管理装置１は、予め設定した一定時間（例えば１時間）が経過したことをステップＳ２４で判定すると、先ずステップＳ２５により作業者ＷＫ１，ＷＫ２，ＷＫ３の一人を選択する。そして、特徴量抽出部１１２が、上記選択した作業者に紐付けられた各計測データおよび画像データをセンシングデータ記憶部１２１から読み込み、この各計測データおよび画像データからそれぞれ特徴量を抽出する。
【０１０８】
例えば、心電Ｈ、皮膚電位Ｇ、モーションＢＭおよび活動量Ｅｘの各計測データと、眼球運動ＥＭを撮像した画像データから、それぞれ感情の変化と相関のある心電Ｈi 、皮膚電位Ｇi 、モーションＢＭi 、活動量Ｅｘi および眼球運動ＥＭi の各特徴量を抽出する。またそれと共に、モーションＢＭの計測データと眼球運動ＥＭの画像データから、認知能力の変化と相関のある特徴量を抽出する。なお、ここで抽出される各特徴量は、先に述べた学習データの生成処理において抽出されるものと同じであるため、ここでの説明は省略する。
【０１０９】
続いて生産管理装置１は、生産能力推定部１１３の制御の下で、先ずステップＳ２６により作業者の感情の変化を推定する。図１２はその処理手順と処理内容を示すフローチャートである。
【０１１０】
すなわち、生産能力推定部１１３は、先ずステップＳ２６１により上記特徴量抽出部１１２から感情の推定に使用する各特徴量を受け取ると共に、ステップＳ２６２により上記一定時間の時間帯に対応する感情推定用のArousalおよびValence別の回帰式（(1)式）を、学習データ記憶部１２２から読み込む。続いてステップＳ２６３において、上記感情の推定に使用する各特徴量と、上記ArousalおよびValence別の回帰式に基づいて、上記作業者の上記一定時間の時間帯における感情変化の推定値ＸＡ^i ，ＸＶ^iを算出する。
【０１１１】
（２−３）作業者の認知能力の推定
次に生産管理装置１は、特徴量抽出部１１２により、上記一定時間に計測されたモーションＢＭi の計測データと、眼球運動ＥＭi を撮像した画像データから、それぞれ認知能力と相関のある特徴量を抽出する。
【０１１２】
次に生産管理装置１は、生産能力推定部１１３の制御の下で、先ずステップＳ２６により作業者の認知能力を推定する。図１３はその処理手順と処理内容を示すフローチャートである。
【０１１３】
すなわち、生産能力推定部１１３は、先ずステップＳ２７１により上記特徴量抽出部１１２から、上記一定時間の時間帯に対応する認知能力の推定に使用する眼球運動ＥＭi およびモーションＢＭiの各特徴量を受け取る。またそれと共にステップＳ２７２において、上記一定時間の時間帯に対応する認知能力推定用の回帰式（(2)式）を学習データ記憶部１２２から読み込む。そしてステップＳ２７３において、上記認知能力の推定に使用する眼球運動ＥＭi およびモーションＢＭiの各特徴量と、上記認知能力推定用の回帰式とに基づいて、上記作業者の認知能力の推定値Ｙ^iを算出する。
【０１１４】
（２−４）生産能力の推定
次に生産管理装置１は、生産能力推定部１１３の制御の下、ステップＳ２８において、上記算出された感情変化の推定値および認知能力の推定値と、学習データ記憶部１２２に記憶された生産能力推定用の関係式（(3)および(4)式）に基づいて、以下のように作業者の生産能力を推定する。
【０１１５】
すなわち、先ず図１４に示すステップＳ２８１において、前述の関係式（(3)式）を用いて、標準的な作業時間と実際の作業時間との差を算出し、この作業時間差を作業者の習熟度QualityＡを表す情報として出力する。次にステップＳ２８２において、前述の関係式（(4)式）を用いて、平均的な作業時間に対する実際の作業時間のばらつきを算出し、その算出値を作業者の作業ミスの発生度合いを表すQualityＢを表す情報として出力する。これらの習熟度QualityＡおよび作業ミスの発生度合いを表すQualityＢは、作業者の生産能力の推定値となる。
【０１１６】
（３）作業者の生産能力の推定結果に応じた生産ラインの制御
生産管理装置１は、上記生産能力の推定結果が得られると、続いてステップＳ２９により、ライン制御部１１４の制御の下で、上記作業者の生産能力の推定結果に応じた生産ラインＣＳの制御を以下のように実行する。
【０１１７】
すなわち、ライン制御部１１４は、先ず図１４のステップＳ２９１において、上記算出された作業時間差（習熟度QualityＡ）を予め設定した第１のしきい値と比較する。この比較の結果、作業時間差（習熟度QualityＡ）が第１のしきい値を超えていた場合には、ステップＳ２９２により生産ラインＣＳへの部品の供給速度を減速させるべく、部品供給コントローラＤＣに対し速度変更指示コマンドを与える。この結果、部品供給コントローラＤＣの制御の下、部品供給装置ＤＳからラインへの部品供給速度は減速される。従って、生産ラインＣＳは作業者の生産能力に応じた速度に調整され、これにより作業者には余裕が生まれ、品質の劣化を未然に防止することが可能となる。
【０１１８】
一方、上記ステップＳ２９１による判定の結果、作業時間差が第１のしきい値以下だった場合には、ライン制御部１１４はステップＳ２９３により、上記算出された作業時間のばらつき（作業ミスの発生度合いQualityＢ）を予め設定した第２のしきい値と比較する。この比較の結果、作業時間のばらつき（作業ミスの発生度合いQualityＢ）が第２のしきい値を超えていた場合には、作業者の生産能力が不安定になっていると判断する。そして、ステップＳ２９４により作業ミスの発生を警告するためのメッセージ情報を生成し、当該メッセージ情報をリーダＷＲが所持する携帯型情報端末ＴＭへ送信する。このメッセージ情報を受けてリーダＷＲは、該当する作業者の心身の健康状態等を確認して上で、例えば配置転換を行うか或いは休息を指示する。
【０１１９】
すなわち、生産管理装置１は、作業者の生産能力の推定結果を複数のしきい値を用いて判定し、その判定結果に応じて生産ラインの動作を制御する。つまり、作業者の生産能力の推定結果に応じて生産ラインの動作を層別化（標準化）する。これにより、作業者の生産能力の低下に応じた生産ラインの動作を、生産性の要求を維持しつつ比較的簡単に制御することが可能となる。
【０１２０】
生産管理装置１は、以上述べた一人の作業者に対する感情の推定からライン制御までの一連の処理を終了すると、ステップＳ３０において全作業者に対する処理が終了したか否かを判定する。そして、未選択の作業者が残っていれば、ステップＳ２５に戻って上記ステップＳ２５〜Ｓ２９による上記した一連の処理を繰り返し実行する。
【０１２１】
これに対し、全作業者ＷＫ１，ＷＫ２，ＷＫ３に対する上記一連の処理が終了した場合には、生産管理装置１はステップＳ３１において、例えば生産ラインＣＳの運転終了時刻になったか否かを判定する。そして、終了時刻になった場合には、ステップＳ３２により生産ラインＣＳを停止させる。
【０１２２】
なお、上記ライン制御が実行された場合、ライン制御部１１４ではライン制御の内容および実行日時を表す情報が生成され、作業者ＩＤと関連付けられて制御履歴記憶部１２３に記憶される。この制御履歴記憶部１２３に記憶されたライン制御の制御履歴を表す情報は、例えば生産予定数の変更等、生産管理に使用される。
【０１２３】
（一実施形態の効果）
以上詳述したように一実施形態によれば、作業中の作業者ＷＫ１，ＷＫ２，ＷＫ３の生体計測データおよび動きの計測データを一次指標として、この一次指標と別途生成した学習データとをもとに作業者の感情と認知能力をそれぞれ推定し、さらにこの推定した感情と認知能力を二次指標として、この二次指標と別途生成した関係式とに基づいて作業者の生産能力を推定するようにしている。
【０１２４】
従って、作業中の作業者の生体計測データおよび動きの計測データをもとに、当該作業者の生産能力を推定することが可能となり、これにより感情および認知能力といった、これまで考慮されていなかった人のパフォーマンスを考慮した生産管理を行うことが可能となる。
【０１２５】
また、作業者ＷＫ１，ＷＫ２，ＷＫ３の生体計測データおよび動きの計測データとして、心電Ｈ、皮膚電位Ｇ、眼球運動ＥＭ、モーションＢＭおよび活動量Ｅｘの各計測データを使用することで、作業者に対し非侵襲で一次指標となるデータを取得することができる。
【０１２６】
さらに、感情の変化を、ArousalとValenceとから構成される二次元座標平面の象限と、ArousalおよびValenceの各変化量により表すようにしているので、感情の変化を簡単かつ的確に推定することができる。
【０１２７】
さらに、作業監視カメラＣＭにより撮像された画像データから抽出した作業の成否を表す特徴量を正解値（教師データ）とし、上記手の動きを表す特徴量と眼球運動ＥＭを表す特徴量を変数として、認知能力推定用の学習データを生成するようにしたので、作業者の生産作業に対する認知能力をより正確に推定することが可能となる。
【０１２８】
例えば、いま作業者が部品間の接続作業を行っており、その作業結果を表す画像データが図１０に示すようなものだったとする。この例では、リード線７３による端子５３と端子６３との間の接続が不完全で、かつ端子５８と端子６８との間が未接続のまま作業が終了している。本実施形態では、この作業の成否を表す特徴量を作業者の認知能力を表す教師データとし、同一時間帯に並行して得られる作業者と認知能力と関連性を持つ一次指標、つまり作業者の手の動きを表す特徴量と目の動きを表す特徴量（眼球運動ＥＭ）を変数として、認知能力を推定するための関係式を生成する。この関係式を用いて作業者の認知能力を推定することで、上記した手の動きを表す特徴量と目の動きを表す特徴量を含む測定データが得られた場合に、当該作業者は図１０に示したような作業ミスを起こす可能性があると推定することが可能となる。
【０１２９】
さらに、作業者の生産能力を表す情報として、標準的な作業時間と実際の作業時間との差として表される習熟度と、平均的な作業時間に対する実際の作業時間のばらつきとして表される作業ミスの発生度合いを定義し、この習熟度と作業ミスの発生度合いの各々について学習データを用意し、作業者の生産能力を推定するようにしている。このため、作業者の生産能力を、生産現場の評価指標に対応して正確に推定することが可能となる。
【０１３０】
［他の実施形態］
人の感情と生体情報および行動情報との関係性は、月日や曜日、季節、環境の変化等により変化する場合がある。そこで、感情推定に使用する学習データは、定期的又は必要時に更新することが望ましい。生産能力推定部１１３により得られた感情の推定値を感情の正解値と比較してその差を算出し、算出された差が予め設定された正解値の範囲を超える場合には、学習データ記憶部１２２に記憶されている学習データを更新する処理を行うとよい。この場合、上記正解値は感情の推定値の変化の傾向から推定することができる。または、被験者が定期的に感情入力デバイス２により感情の正解値を入力し、この入力された値を使用してもよい。
【０１３１】
同様に、生産能力推定部１１３により得られた認知能力の推定値を認知能力の正解値と比較してその差を算出し、算出された差が予め設定された正解値の範囲を超える場合には、学習データ記憶部１２２に記憶されている学習データを更新する処理を行うとよい。この場合、上記正解値は認知能力の推定値の変化の傾向から推定することができる。
【０１３２】
また、感情および認知能力と生産能力との関係性を表す関係式についても、生産能力の推定結果に基づいて修正するとよい。この場合も、上記正解値は認知能力の推定値の変化の傾向から推定することができる。
【０１３３】
一実施形態では、作業者の感情を表す情報を、スマートフォンまたはタブレット型端末からなる感情入力デバイス２を用いて生産管理装置１に入力する場合を例にとって説明した。しかし、これに限定されるものではなく、例えば作業者がアンケート用紙等の紙媒体に記載した自身の感情情報をスキャナ等を用いて読み取り、その情報を生産管理装置１に入力するようにしてもよい。
【０１３４】
さらに、作業者の顔の表情等をカメラ等により検出し、この顔表情の検出情報を感情を表す情報として生産管理装置１に入力するようにしてもよい。またさらに、作業者の音声をマイクロフォンにより検出し、その検出情報を感情を表す情報として生産管理装置１に入力するようにしてもよい。また、不特定多数の人の感情を表す情報をアンケート等により収集して、収集した情報の平均等を母集団データとして個人の感情情報を補正するようにしてもよい。その他、人の感情を表す情報を生産管理装置１に入力するための手法については、如何なる手法を用いてもよい。
【０１３５】
また一実施形態では、作業者の感情を表す情報を、感情の活性度（Arousal）とその強度（Valence）とにより２次元平面で表した場合を例にとって説明した。しかし、これについても他の表現手法を採用してもよい。
【０１３６】
さらに一実施形態では、作業者の活動状態を表す情報として、心電Ｈ、皮膚電位Ｇ、眼球運動ＥＭ、モーションＢＭおよび活動量Ｅｘの各計測データを生産管理装置１に入力し、これらをすべて用いて感情を推定するようにした。しかし、それに限らず、上記各計測データのうちの少なくとも１つの計測データを用いて感情を推定するようにしてもよい。例えば、心電Ｈは生体情報の中でも感情に対する寄与率が高いので、心電Ｈの計測データのみを用いて感情を推定することは十分に可能である。なお、ここに例示した生体情報以外の他の生体情報を用いてもよいことは言うまでもない。
【０１３７】
また、認知能力を推定する際に一次指標として用いる測定データについても、手の動きと目の動き以外の測定データを使用してもよい。
【０１３８】
その他、生産ラインＣＳのセルの数や各セルで生産する製品の種類等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
【０１３９】
また、以上の説明では、作業者が作業する工程を有する生産ラインにおいて、作業者の感情及び認知能力をもとに作業に対するパフォーマンスを推定する場合を例にとって説明した。しかし、この発明はそれに限るものではなく、人が作業を行う工程を有するシステムであれば如何なるシステムにも適用可能である。
【０１４０】
例えば、作業者たる運転者が作業としての運転操作を行う自動車や船舶、航空機等の乗り物等において、運転者の感情および認知能力をもとに運転操作の能力を推定する場合にもこの発明は適用可能である。この場合、運転者の認知能力は乗り物の外の風景に写る障害物に対する運転者の認知度合で計測することが可能である。また、作業者たるオペレータが作業として運転操作を行う、建設機械や発電設備、変電設備、医療機器、さらには各種プラントや航空機、列車等の管制システム等にも、この発明は適用可能である。
【０１４１】
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【０１４２】
上記実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下には限られるものではない。  
（付記１）
作業者が作業を行う工程を有するシステムにおいて前記作業者の作業を管理する作業管理装置であって、少なくとも１つのハードウェアプロセッサと、メモリとを有し、
前記メモリは、
前記作業者の活動状態と前記作業者の感情および認知能力との関係性を表す第１の学習データを記憶する第１の記憶部と、
前記作業者の感情および認知能力と前記作業者の作業に対するパフォーマンスとの関係性を表す第２の学習データを記憶する第２の記憶部と
を備え、
前記少なくとも１つのハードウェアプロセッサは、
作業中の前記作業者の活動状態を表す情報を取得し、
前記取得された活動状態を表す情報を一次指標とし、当該一次指標と、前記作業者の活動状態と前記作業者の感情および認知能力との関係性を表す第１の学習データとに基づいて、前記作業者の作業中における感情および認知能力をそれぞれ推定し、
前記推定された感情および認知能力を二次指標とし、当該二次指標と、前記作業者の感情および認知能力と前記作業者の作業に対するパフォーマンスとの関係性を表す第２の学習データとに基づいて、前記作業者の作業に対するパフォーマンスを推定するように構成された作業管理装置。
【０１４３】
（付記２）
少なくとも１つのハードウェアプロセッサおよびメモリを備える装置が実行する作業管理方法であって、
前記少なくとも１つのハードウェアプロセッサが、作業中の前記作業者の活動状態を表す情報を取得する過程と、
前記少なくとも１つのハードウェアプロセッサが、前記取得された活動状態を表す情報を一次指標とし、当該一次指標と、前記作業者の活動状態と前記作業者の感情および認知能力との関係性を表す第１の学習データとに基づいて、前記作業者の作業中における感情および認知能力をそれぞれ推定する過程と、
前記少なくとも１つのハードウェアプロセッサが、前記推定された感情および認知能力を二次指標とし、当該二次指標と、前記作業者の感情および認知能力と前記作業者の作業に対するパフォーマンスとの関係性を表す第２の学習データとに基づいて、前記作業者の作業に対するパフォーマンスを推定する過程と
を具備する作業管理方法。
【符号の説明】
【０１４４】
ＣＳ…生産ライン、Ｂ１，Ｂ２，Ｂ３…製品、Ｃ１，Ｃ２，Ｃ３…セル、ＷＲ…リーダ、ＷＫ１，ＷＫ２，ＷＫ３…作業者、ＭＯ１，ＭＯ２，ＭＯ３…モニタ、ＴＭ…携帯型情報端末、ＤＣ…部品供給コントローラ、ＤＳ…部品供給装置、ＲＢ…協調ロボット、ＣＭ…作業監視カメラ、ＮＷ…ネットワーク、ＳＳ１，ＳＳ２，ＳＳ３…入力・計測装置、１…生産管理装置、２…感情入力デバイス、３…計測デバイス、４…視線監視カメラ、１１…制御ユニット、１１１…センシングデータ取得制御部、１１２…特徴量抽出部、１１３…生産能力推定部、１１４…ライン制御部、１１５…学習データ生成部、１２…記憶ユニット、１２１…センシングデータ記憶部、１２２…学習データ記憶部、１２３…制御履歴記憶部、１３…インタフェースユニット。
【図１】
2018142259.tif 000003
【図２】
2018142259.tif 000004
【図３】
2018142259.tif 000005
【図４】
2018142259.tif 000006
【図５】
2018142259.tif 000007
【図６】
2018142259.tif 000008
【図７】
2018142259.tif 000009
【図８】
2018142259.tif 000010
【図９】
2018142259.tif 000011
【図１０】
2018142259.tif 000012
【図１１】
2018142259.tif 000013
【図１２】
2018142259.tif 000014
【図１３】
2018142259.tif 000015
【図１４】
2018142259.tif 000016
【図１５】
2018142259.tif 000017
【図１６】
2018142259.tif 000018
【図１７】
2018142259.tif 000019
【図１８】
2018142259.tif 000020