(57)【要約】  本発明は、マシンラーニングを利用したセンシング方法に関する。本発明によるセンシング方法は、外部刺激に対して検出可能な信号を生成する材料の任意の位置に刺激を複数回加える段階と、前記刺激を通じて生成された信号を使用してマシンラーニングを行う段階と、マシンラーニングを通じて導き出した関数を利用して前記材料に加えられる刺激の位置または程度を予測する段階とを含む。
2019522302.tif 000002
【特許請求の範囲】
【請求項１】
外部刺激に対して検出可能な信号を生成する材料の任意の位置に刺激を複数回加える段階と、
前記刺激を通じて生成された信号を使用してマシンラーニングを行う段階と、
マシンラーニングを通じて導き出した関数を利用して前記材料に加えられる刺激の位置または程度を予測する段階とを含むセンシング方法。
【請求項２】
前記検出可能な信号を生成する材料を複数個の仮想セクターに区分して各セクターに前記刺激を複数回加え、各セクター別に生成された信号を使用してマシンラーニングを行う、請求項１に記載のセンシング方法。
【請求項３】
前記生成された信号と共に刺激を加えた位置座標を使用してマシンラーニングを行う、請求項１に記載のセンシング方法。
【請求項４】
前記材料は、規則的なパターンが形成されていない物質である、請求項１〜３のいずれかに記載のセンシング方法。
【請求項５】
前記センシング方法は、電子皮膚、タッチパネル、フレキシブルキーボード、手話通訳手袋、社会基盤施設の安全診断、胃腸管での運動性とぜん動運動障害診断、または大面積ストレーンゲージのセンサー用である、請求項１〜３のいずれかに記載のセンシング方法。
【請求項６】
前記刺激を加えることは、単一のセクター別に垂直荷重を加えたり、多重荷重を２個以上のセクターに加えることである、請求項２に記載のセンシング方法。
【請求項７】
外部刺激に対して検出可能な信号を発生する材料と、
前記材料に刺激を複数回加え、生成された信号を使用してマシンラーニングを行って、導き出された関数を記憶する記憶手段と、
前記関数を利用して前記材料に加えられる刺激の位置または程度を演算する演算手段とを含むセンシングシステム。
【請求項８】
前記検出可能な信号を生成する材料を複数個の仮想セクターに区分して各セクターに前記刺激を複数回加え、各セクター別に生成された信号を使用してマシンラーニングを行う、請求項７に記載のセンシングシステム。
【請求項９】
前記生成された信号と共に刺激を加えた位置座標を使用してマシンラーニングを行う、請求項７に記載のセンシングシステム。
【請求項１０】
前記材料は、規則的なパターンが形成されていない物質である、請求項７〜９のいずれかに記載のセンシングシステム。
【請求項１１】
前記センシングシステムは、電子皮膚、タッチパネル、フレキシブルキーボード、手話通訳手袋、社会基盤施設の安全診断、胃腸管での運動性とぜん動運動障害診断、または大面積ストレーンゲージのセンサー用である、請求項７〜９のいずれかに記載のセンシングシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マシンラーニングを利用したセンシング方法とセンシングシステムに関する。
【背景技術】
【０００２】
電子皮膚と呼ばれる人工皮膚を製造するための絶え間ない努力が進められてきており、機能的な性能の側面では、実際ヒトの皮膚に近接した水準になった。
【０００３】
そして、電子皮膚の性能を左右する主要素は、接触位置および当該位置の変形（または圧力）を認識することを具備した触覚感知である。
【０００４】
このような電子皮膚用として多数の変形（ｓｔｒａｉｎ）センサーが開発されている。既存の電子皮膚においていかなる変形センサータイプを考慮しても、すべての電子皮膚に備えられる共通の構成は、いわゆる特定領域に対するパターンと呼ばれる装置要素の規則的な配列である。
【０００５】
このようなパターン、すなわち単層または多層に対する多重モード配列は、信頼性のある電子皮膚を具現するのに必須であり、これなしには、システム的に皮膚の特定領域に対する圧力分布を検出できる方法がない。
【０００６】
これと関連して、抵抗型、静電容量型、誘導型、圧電抵抗型、光学型、磁性型、バイナリ型、圧電電気型、または油圧型センサー装置のように多様な形態の触覚または位置センサーが開発されている。
【０００７】
ところが、このようなすべてのセンサーは、検出された信号を処理するための論理回路設計を具備した多層基板上に装置要素の特定のパターンを具備する。例えば、抵抗タッチパネル用に開発された層間に配置されたきわめて単純なスペーサーパターンから、複雑なワイヤー配列を具備した変形ゲージセンサー用パターンとＴＦＴ配列パターンのようにきわめて複雑なパターンに至る多様な形態がある。
【０００８】
また、パターンの製造方法も、単純なプリント法から複雑な半導体工程を使用するものまで非常に広い間隙がある。ところが、信頼性の高い電子皮膚を低コストで製造するに際して、パターン形成工程は、主要な障壁の一つになっている。
【０００９】
また、従来の電子皮膚に関するセンシング装置では、負荷の位置認識は可能であったが、負荷の圧力程度は認識しにくいという問題点もある。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明の一つの目的は、マシンラーニング技法を使用して、電子皮膚をはじめとして多様な装置に使用されて、負荷の位置認識だけでなく、負荷の程度を正確に測定できるセンシング方法と、このセンシング方法を適用したセンシングシステムを提供することにある。
【００１１】
本発明の他の目的は、マシンラーニング技法を使用して、パターンが形成されていない材料を使用しても、負荷の位置認識と負荷の程度を測定できるセンシング方法とセンシングシステムを提供することにある。
【課題を解決するための手段】
【００１２】
前記目的を達成するための本発明によるセンシング方法は、外部刺激に対して検出可能な信号を生成する材料の任意の位置に刺激を複数回加える段階と、前記刺激を通じて生成された信号を使用してマシンラーニングを行う段階と、マシンラーニングを通じて導き出した関数を利用して前記材料に加えられる刺激の位置または程度を予測する段階とを含む。
【００１３】
また、前記センシング方法において、前記検出可能な信号を生成する材料を複数個の仮想セクターに区分して各セクターに前記刺激を複数回加え、各セクター別に生成された信号を使用してマシンラーニングを行うことができる。
【００１４】
また、前記センシング方法において、前記生成された信号と共に刺激を加えた位置座標を使用してマシンラーニングを行うことができる。
【００１５】
また、前記センシング方法において、前記材料は、単純化の側面で規則的なパターンが形成されていない物質が最も好ましいが、一定のパターンが形成されているものも、センシングをする機能の側面では制限事項にならない。
【００１６】
また、前記センシング方法は、電子皮膚、タッチパネル、フレキシブルキーボード、手話通訳手袋、社会基盤施設の安全診断、胃腸管での運動性とぜん動運動障害診断、または大面積ストレーンゲージのセンサーに使用することができる。
【００１７】
また、前記センシング方法において、複数個の仮想セクターに区分して刺激を加える場合、単一のセクター別に垂直荷重を加えたり、多重荷重を２個以上のセクターに加えることができる。
【００１８】
また、前記センシング方法において、仮想セクターに区分することなく、任意の位置に刺激を加えるときにも、単一の垂直荷重を加えたり、様々な位置に垂直荷重を同時に加えることができる。
【００１９】
前記他の目的を達成するための本発明によるセンシングシステムは、外部刺激に対して検出可能な信号を発生する材料と、前記材料に刺激を複数回加え、生成された信号を使用してマシンラーニングを行って、導き出された関数を記憶する記憶手段と、前記関数を利用して前記材料に加えられる刺激の位置または程度を演算する演算手段とを含む。
【００２０】
また、前記センシングシステムにおいて、前記検出可能な信号を生成する材料を複数個の仮想セクターに区分して各セクターに前記刺激を複数回加え、各セクター別に生成された信号を使用してマシンラーニングを行うことができる。
【００２１】
また、前記センシングシステムにおいて、前記生成された信号と共に刺激を加えた位置座標を使用してマシンラーニングを行うことができる。
【００２２】
また、前記センシングシステムにおいて、前記材料は、単純化の側面で規則的なパターンが形成されていない物質が最も好ましいが、一定のパターンが形成されているものも、センシングをする機能の側面では制限事項にならない。
【００２３】
また、前記センシングシステムは、電子皮膚、タッチパネル、フレキシブルキーボード、手話通訳手袋、社会基盤施設の安全診断、胃腸管での運動性とぜん動運動障害診断、または大面積ストレーンゲージのセンサー用であってもよい。
【発明の効果】
【００２４】
本発明によるセンシング方法とセンシングシステムによれば、マシンラーニングを通じて、センシングシステムに加えられる負荷の位置と程度を正確に測定することができる。
【００２５】
また、本発明の一実施例によれば、規則的なパターンがないとしても、センシングシステムに加えられる負荷の位置と程度を正確に予測することができるため、人工皮膚のような領域の製造コストを顕著に節減することができる。
【００２６】
また、本発明の一実施例によれば、材料の標準化がある程度行われる場合、特定材料の学習結果を同種の他の材料にも適用することができることとなり、学習ｔ時間および費用を大きく節減することができる。
【００２７】
また、本発明の一実施例によれば、例えばＰＤＭＳ基材に均質に分布したＣＮＴを具備した圧電抵抗複合フィルムのような単純なシートまたはフィルムを使用して、大面積でも具現され得ると共に、信頼性の高い変形（および位置）感知が可能であり、同時に規則的なパターンや多層構造を必要としない。
【００２８】
また、本発明の一実施例によれば、ＰＤＭＳ基材の硬化剤分率、ＣＮＴ添加比率、シートの厚さ等を制御すると、弱い触感水準から苦痛を感じる水準まで広範囲な圧力感知が可能である。
【００２９】
また、本発明の一実施例によれば、単純な単一のセクター別の垂直荷重以外に複雑な多重荷重が２個以上のセクターに作用する場合も、ＤＮＮの学習でセンシング可能である。
【００３０】
また、本発明によるセンシング方法およびセンシングシステムは、電子皮膚はもちろん、タッチパネル、フレキシブルキーボード、手話通訳手袋、社会基盤施設の安全診断、胃腸管での運動性とぜん動運動障害診断、または大面積ストレーンゲージのセンサー用にも適用することができる。
【００３１】
例えば、検出可能な信号を生成する非常に薄いフレキシブル材料（例えば、プラスチックフィルム）からなる材料の表面にキーボードを印刷して本発明による学習過程を経る場合、フレキシブルキーボードとして使用することができ、このキーボードは、容易に携帯可能であり、既存の携帯用キーボードに比べて改善された便宜性を提供することができる。
【図面の簡単な説明】
【００３２】
【図１】図１は、本発明の実施例において電子皮膚に使用したＣＮＴ／ＰＤＭＳ複合フィルムの概略図である。
【図２】図２は、本発明の実施例による電子皮膚のマシンラーニングのためのＣＮＴ／ＰＤＭＳ複合フィルムに負荷を加えるための装置（木の棒およびおもちゃの指）と電気的信号を検出するための端子（中間の図面）の配置を示す図である。
【図３】図３は、本発明の実施例による電子皮膚の学習およびテスト用システムの構成図である。
【図４ａ】図４ａは、図面の右側に示す一軸引張試験片に対して１Ｈｚの周波数を有する周期的荷重に対する時間の関数として荷重（変位または圧力）および電気抵抗を示すプロットを示す図である。
【図４ｂ】図４ｂは、１、３および６Ｈｚの周波数で一軸引張試験片に対する電気抵抗対変位のプロットを示す図である。
【図４ｃ】図４ｃは、８個のプローブ端子電極信号ｖｓ．６×６セクター位置での変位（圧力）および０〜１．２ＭＰａの圧力範囲での圧力対変位曲線（右下側）を示す図である。
【図５】図５は、本発明の実施例で適用したディープラーニングのための階層図である。
【図６】図６は、本発明の実施例で使用したデータセット構造を示す図である。
【図７ａ】図７ａは、本発明の実施例で使用した４、８および１６フィーチャー（ｆｅａｔｕｒｅ）を有する位置認識用ＤＮＮアーキテクチャーを示す図である。
【図７ｂ】図７ｂは、本発明の実施例で使った８および１６フィーチャーを有する圧力認識用ＤＮＮアーキテクチャーを示す図である。
【図８】図８は、仮想のセクター区分なしに実際座標を得るための回帰型ＤＮＮアーキテクチャーを示す図である。
【図９】図９は、本発明の実施例で行った３６（６×６）個の仮想セクターのそれぞれに対して予測されたものに対する測定された変位（圧力）のプロットを示す図である。
【図１０】図１０は、本発明の実施例で行った３６個のセクターのそれぞれに対する予測圧力対実験圧力のプロットを示す図である。
【図１１】図１１は、特定のセクター位置（６×６セクターマトリックスの４番目の行と３番目の列）で圧力関数としての８個の電気抵抗曲線で、高い圧力測定のための厚くてかつ丈夫なシート（図１１（ａ））のものと、低い圧力検出のための薄くてかつやわらかいフィルム（図１１（ｂ））のものを示す図である。
【発明を実施するための形態】
【００３３】
以下、本発明の好ましい実施例について説明するが、本発明が下記好ましい実施例に限定されて解釈されてはならず、本発明の概念の範囲内で多様な形態の変形が可能になり得るものと解釈すべきである。
【００３４】
〔ＣＮＴ／ＰＤＭＳ圧電抵抗複合フィルムの製造〕
商用のＭＷＣＮＴ（マルチウォールカーボンナノチューブ、以下、「ＣＮＴ」という、ナノマテリアルテクノロジー社）とＰＤＭＳ（Ｓｙｌｇａｒｄ（登録商標）１８４  Ｓｉｌｉｃｏｎｅ  Ｅｌａｓｔｏｍｅｒ）を使用して、図１に概略的に示されたように、ＣＮＴが無作為に分布した均質な複合材を合成した。
【００３５】
ＣＮＴは、長さ５μｍ、直径２０ｎｍのマルチウォールを有するものを使用し、プラスチックシリンダー容器に液状のＰＤＭＳを入れ、１重量％のＣＮＴを混合し、撹拌した後、ＰＤＭＳを硬化させることによって、圧電抵抗パッチを製造した。
【００３６】
具体的に、ＰＤＭＳ内でＣＮＴの凝集がない均質な分散のために、１０ｍｍの直径を有する若干のアルミナボールを投入し、プラナタリーせん断ミキサーを使用して２時間の間４００ｒｐｍの速度で撹拌した。以後、ＰＤＭＳ硬化剤をＰＤＭＳ重量の１０％になるように添加した後、２０分間プラナタリーせん断混合器に維持した。最後に、複合材内に気泡がトラップされないように２０分間真空状態で脱ガス処理を行った。ガラス板上に、モールドを準備し、ドクターブレード法を使用して、圧電抵抗ＣＮＴ／ＰＤＭＳ複合材を鋳造した。そして、ガラス基板を６０℃で３０分間加熱して、ＣＮＴ／ＰＤＭＳ複合材が横×縦×厚さ寸法が４０ｍｍ×４０ｍｍ×５ｍｍになるように固化させた。
【００３７】
また、薄いフィルムを形成するために、０．１ｍｍ、１ｍｍ、および２ｍｍの深さを有する他のモールドも使用し、ＰＤＭＳ硬化剤の調節を通じてシートの弾性特性を多様にした。
【００３８】
このような過程を通じて、図２の中間の写真から確認されるように、表面にいかなるパターン構造も形成されていないＣＮＴ−ＰＤＭＳ複合シートを製造した。
【００３９】
本発明の実施例では、ＣＮＴ−ＰＤＭＳ複合シートを使用したが、刺激に対して信号を発生し得るものであれば、例えばＩＴＯ基板、導電性物質が特定のパターンを成さないように含まれたゴム板等のように多様な形態の物質からなるシートを使用することができる。
【００４０】
〔学習およびテストデータの収集〕
図２の中間の写真から分かるように、数本の銅線をＣＮＴ−ＰＤＭＳパッチの側面に２０ｍｍの間隔で配置されたＣＮＴ−ＰＤＭＳ端子に連結した。また、ＣＮＴ−ＰＤＭＳパッチの中央には、グラウンドを配置し、直流５Ｖバイアスを加えた。
【００４１】
様々な抵抗測定プローブ端子は、パターンがないセンサーパッチで重要な役割をするので、各側面に１個から４個のプローブを多様に使用した。図２は、本発明の実施例において各側面に２個のプローブを連結したパッチ（中央）の実際の写真である。
【００４２】
また、試験段階の構成図を図３に示した。図３に示したように、本発明の実施例による電子皮膚用学習およびテストは、負荷を加える装置（Ｉｎｓｔｒｏｎ  ３０００）と、該装置に装着された試験片と、該試験片から電気的信号を検出するプローブと、前記装置から受けた荷重および変位データとプローブから回路を経て受けた電気信号データをデジタルに変換するＤＡＱと、変換したデータを演算し、前記装置に信号を伝達するコンピュータとを含んでなる。
【００４３】
パッチ学習は、インストロンＥ３０００を使用した。全体圧電抵抗パッチ領域は、仮想的にｍ×ｍセクター（ｍ＝４、６および１０）に分割された。このような仮想セクターの分割により指接触面積に相当する程度の単一のセクター面積（すなわち空間解像度）が付与される。
【００４４】
インストロンＥ３０００には、図２の右側に示されたように、丸い先端を有するシリンダー型バーを装着して、システム的に圧電抵抗パッチの選択されたセクター領域を加圧するようにした。
【００４５】
また、加圧地点を変更するために、稼動ｘ−ｙステージ上に圧電抵抗パッチを配置した。
【００４６】
それぞれのセクターに反復的な加圧を通じて、パッチの側面に配置された４個、８個および１６個のプローブから、図４（ｃ）に示したように、電気的な抵抗データを収集した。このような過程を通じた学習データセットを収集と並行して、学習データ用のスティックに比べて軟質であり、ヒトの指にさらに近い人工的なプラスチック材の指を使用してテストデータセットを別個に収集した。
【００４７】
〔ＤＮＮ（Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）構成〕
基本的に、本実施例のＤＮＮ構成は、図５に示したように、二つのチャネルで構成される。一つは、位置認識用であり、他の一つは、変形（圧力）認識用である。
【００４８】
これらの二つのチャネルは、実際の感知状況では、同時に作動する。入力データは、ｎ−次元（１×ｎ）ベクターでベクター化し、ベクターの要素は、ｎ端子電極（ｎ＝４、８、および１６）のそれぞれから測定された実際の抵抗値の個数を意味する。入力ベクター要素の個数（ｎ）、すなわち入力ベクターの次元は、入力フィーチャーの数で表現することができる。
【００４９】
圧力（０ＭＰａ〜１．２ＭＰａ）の特定レベルが関連セクターに加えられ、加圧中にデータが収集される。その結果、本実施例では、各セクター当たり１５００個のｎ−次元入力ベクターを収集し、１０回の独立的な測定が各セクターで行われたのであり、これにより、全体的な学習データセットは、６×６セクターに対して５４０，０００（１，５００×３６×１０）個のｎ−次元入力ベクターを構成した。
【００５０】
本実施例の学習データセット構造およびテストデータセット構造を図６（ａ）および６（ｂ）に概略的に示した。位置認識用レーベル（出力）データは、６×６マトリックスの行と列を指示するセクター座標であり、変形（圧力）用レーベルデータは、実際数値である。テストデータセットは、類似したデータ構造を有するが、２回の独立的な測定のみが各セクターで行われた。何よりも注目すべき点は、テストデータセットは、各セクター学習データセットに使用された木材バーと異なるおもちゃ指により独立して用意したものである。
【００５１】
ＣＮＴ−ＰＤＭＳ材の圧電抵抗が変形速度に影響を受けないという点が立証されている。これは、圧電抵抗が単に絶縁体であるＰＤＭＳ基材で伝導体であるＣＮＴ分布の瞬間的な状態にのみ影響を受け、変形速度には影響を受けないことを意味する。
【００５２】
圧電抵抗は、図４（ａ）および４（ｂ）に示されたように、負荷周波数に関係なく、変形（変位または圧力）に完ぺきに線形的な関連性を示すものと立証された。
【００５３】
本発明において、「圧力」という表現は、「変形」および「変位」と共に使用することができる。「圧力」、「変位」および「変形」という用語は、実際的な観点で出力信号として同等に扱われなければならない。なぜなら、これらのすべては、非弾性挙動や焼成挙動がなく、静的および動的条件で完ぺきに線形的な関係であるためである。結果的に、ここで使用された用語にいかなる差異もない。
【００５４】
本発明の実施例において、ＤＮＮアーキテクチャーは、中間（隠匿）層の数、各層のノード数（ニューロン）、活性化関数（ａｃｔｉｖａｔｉｏｎ  ｆｕｎｃｔｉｏｎ）の細部内容、ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ  Ｌｉｎｅａｒ  Ｕｎｉｔ）、ドロップアウト（ｄｒｏｐｏｕｔ）、バッチサイズ（ｂａｔｃｈ  ｓｉｚｅ）、エポック制御（ｅｐｏｃｈ  ｃｏｎｔｒｏｌ）、および有効性検査セット設定等によって分類される。
【００５５】
入力層のノード数は、フィーチャー数、入力ベクター次元およびプローブ端子電極数と同一である。
【００５６】
最終アーキテクチャー、すなわち中間（隠匿）層の数とＲｅＬＵの採択で媒介変数化したＤＮＮアーキテクチャーと各層のノード数は、多くの試みを通じて決定された。
【００５７】
本発明の実施例では、入力層に８個のノードがあり、出力層に３６（６×６）ノードがあるＤＮＮアーキテクチャーのみに対して具体的に学習およびテスト結果を導き出す過程を提示し、入力層に１６個のノードと４個のノードがある他のＤＮＮアーキテクチャーと学習およびテスト結果は、表１に要約して提示する。
【００５８】
学習およびテスト結果と共にＤＮＮアーキテクチャーバージョンが下記の表１に要約されており、４個、８個および１６個のノードがあるＤＮＮアーキテクチャーの概略図を図７ａ（位置認識用）と図７ｂ（圧力認識用）に示した。
【００５９】
このうち、１６個のノードの場合、学習およびテストに対して若干さらに高い正確度を得ることができる。しかしながら、単純化のためには、さらに少ないフィーチャー（本発明の実施例では、さらに少ない数のプローブ端子電極）が有利になり得るので、８−プローブ端子電極を含む装置が、１６個の電極を有するものよりさらに好ましいことがある。他方で、４個のノードを有する場合、学習およびテストの正確度が非常に低下するため、位置認識を正確に予測するのに困難がありえる。
【００６０】
これにより、本発明の実施例では、電極数と正確度の間の最適化のために、１６ｃｍ２領域に対するパターンのない電子皮膚用に８個のノードを使用した。
【００６１】
また、４フィーチャー、８フィーチャーおよび１６フィーチャーおよび１６レーベル（すなわち４×４セクター区分事例）を有するＤＮＮに対しても、データセットを生成したが、当然に学習およびテストの正確性が４×４セクターに比べてずっと良いので、その結果を省略した。
【００６２】
その理由は、セクター分割を微細にすることが、より精巧なセンサーを具現するのに好ましいからであり、６×６セクターに区分して得たデータは、電子皮膚を実際に皮膚に近くより写実的にシミュレーションすることができるようにする。
【００６３】
〔位置認識用ＤＮＮ〕
以上のような理由で、本発明の実施例では、８個のフィーチャーと３６個のレーベルのＤＮＮに焦点を合わせ、８個のプローブ端子で収集された電気抵抗信号を位置認識用ＤＮＮで８次元入力ベクターとして使用した。
【００６４】
位置認識用ＤＮＮアーキテクチャーは、図５に示されたように、入力層と出力層を含めて合計４個の連結された層で構成される。
【００６５】
入力層から出力層に各層に属する８−５７６０−１１５２−１４４−３６個のノードがある。単純な線形活性化関数が入力層から３番目の層まで適用されたが、最後に連結された層の活性化関数は、ｓｏｆｔｍａｘ関数を適用した。３個の隠匿層に対してｍａｘ（０，ｘ）臨界値を有するように活性化関数を適用するＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ  Ｌｉｎｅａｒ  Ｕｎｉｔ）が３個の隠匿層に採択され、３０％のドロップアウトを導入した。０．２５の確認比率で、確認は、毎１００世代ごとに施行された。
【００６６】
学習正確度は、個別学習データを基準として９８．９７％であり、特定のセクターに対するグループ（レーベルが同じ１，５００個の入力ベクターで構成されたデータセットをグループと見なした）ですべてのデータを共にまとめたとき、１００％正確度に到達した。１００％正確度は、特定のセクター（ラベル）を示す１，５００個の入力ベクターで構成されるデータセットと最も頻繁にマッチングされるラベルが実際その特定ラベルである確率をいう。
【００６７】
すなわち、本発明の実施例によるＤＮＮモデルは、一つの失敗もなく、３６０個の学習データセットグループのラベルを正確に予測することができ、３６０個の学習データセットグループが３６０回の独立的なタッチを示すので、すべてのタッチがＤＮＮにより成功裏に認識された。
【００６８】
従来のＤＮＮセットアップでは、一般的には、学習データを分離してテストに使用することが通常的である。しかしながら、本実施例では、この基準に従わず、その代わりに、ＤＮＮの剛健性を確保するために完全に異なる器具（おもちゃの指）を使用してテストデータセットを別に準備した。
【００６９】
テストデータセットは、圧力下でセクターを指定する当該ラベルと共に８次元ベクターであった。テストデータセットのサイズは、学習データセットのサイズより小さく、ラベルがある１０８，０００（１５００×３６×２）入力ベクトルを含む。このテストも、また、個別データ基盤とグループデータ基盤で実行された。
【００７０】
また、本実施例では、テスト用学習データセットの２０％を別に設定して典型的な学習およびテストを行ったのであり、この典型的なテスト結果は、個別データ基盤であるとき、９９．７８％であり、グループデータ基盤であるとき、１００％であった。これは、瞬間的に感知された８個の電気抵抗値から、〜１０−４秒の時間分解能で瞬間毎ごとに９９．７８％の正確度で正確なタッチ地点を捜し出すことを意味する。また、典型的なケースのグループデータ基盤テスト正確度は、１００％に達した。
【００７１】
おもちゃの指を使用した個別データ基盤テスト正確度は、９６．１９％であり、おもちゃの指を使用したグループデータ基盤テスト正確度は、９７．２２％に達した。
【００７２】
グループデータ基盤テスト正確度は、７２回の任意のタッチテストから始まったのであり、これは、圧力を受けている当該セクターを指定するデータセットを生成した。このためには、データセットで１，５００個の入力ベクトルをテストしなければならず、最も頻繁に一致するラベルがグループデータが示す正しいセクターと見なされた。位置認識に対するグループデータ基盤テスト正確度は、９７．２２％であるが、これは、７２個のデータセットのうち２個のデータセットのみをのがしたものであり、７２個のタッチのうちＤＮＮが２個のタッチだけが誤って表示したことを意味する。
【００７３】
ところが、誤って認識された２個も、正確な位置に隣接したものであり、本実施例で提案した皮膚の空間解像度が指先の接触領域より非常に小さい約６．６ｍｍであったため発生したものであり、このような種類のエラーは、実際に皮膚でも発生し得るものである。
【００７４】
下記の表１に示されたように、１６個のプローブ端子電極に対するテストでは、１００％の正確度を得るので、前述した実施例（８個のプローブ端子電極の使用）でタッチ位置認識の小さい誤差は、感知端子数に起因したものであるため、大きい意味はないといえる。１６個のプローブ端子電極を使用した場合に、個別データ基盤テスト正確度は、９９．２８％であり、グループデータ基準のテスト正確度は、１００％に達した。すなわち、すべてのタッチが１６フィーチャーＤＮＮモデルで正しく認識された。
【００７５】
一方、前述した８フィーチャーＤＮＮモデルも、正確に作動すると共に、その結果も十分に受け入れることができる水準であるので、システムの単純化の観点では、８フィーチャーＤＮＮモデルがさらに適合すると言える。
【００７６】
【表１】
2019522302.tif 000003
【００７７】
また、本発明者らは、前述したように、事前設定されたマトリックスでセクター番号を通じて位置を識別するモデルと共に、正確なタッチポイントを実際の位置と予測する回帰型（ｒｅｇｒｅｓｓｉｏｎ−ｔｙｐｅ）ＤＮＮモデルも開発した。
【００７８】
図８は、この回帰型ＤＮＮモデルのアーキテクチャーを示す図である。
【００７９】
回帰型ＤＮＮモデルを使用する場合、電子皮膚シート領域の実際座標（ｘおよびｙ）を指定する二つの値を得ることができる。回帰型ＤＮＮモデルを使用して非常に高い空間解像度が得られたのであり、下記の表２のように、回帰型ＤＮＮによって０．７８±０．４４ｍｍの解像度でモデリングが可能であった。
【００８０】
【表２】
2019522302.tif 000004
【００８１】
〔変形（圧力）評価用ＤＮＮ〕
変形（圧力）評価のためのさらに他のＤＮＮは、図５に示されたように、各層に属する８−２０４８−２５６−１ノードで構成されるアーキテクチャーで別に構成された。圧力を受けている特定のセクターに属するデータセットのみを圧力評価用ＤＮＮの学習およびテストに使用した。圧力を受けている正確なセクター位置は、位置認識ＤＮＮで荷重初期に特定されたためである。
【００８２】
したがって、図５に示されたように、当該圧力値に関連した１５，０００個の入力ベクトルをラベルとして使用して学習およびテストを完了した。隠匿層に対する活性化関数は、単純な線形関数であり、位置認識ＤＮＮの場合と同様に、ＲｅＬＵが適用された。しかしながら、圧力評価ＤＮＮの最後層の活性化関数は、ｓｏｆｔｍａｘでない単純な線形関数であるので、最終出力値は、変位を示す実際の数字であり、これは、線形的な関係に起因した変形または圧力と見なすことができる。
【００８３】
テストは、また、おもちゃの指のデータを使用して具現され、これは、各セクター当たり１，５００個であり、全体的に５４，０００個の入力ベクトルに該当する。
【００８４】
本実施例では、１，５００個のテスト用入力ベクトルを初期テストデータセットとして１０００個、確証テストデータセットとして５００個に無作為に分けた。
【００８５】
１，０００個の初期テスト入力ベクトルと当該圧力値がＤＮＮテストに使用されるとき、テスト正確度は、受け入れることができない程度であり、予測値と実験値の間には、不一致が現れた。３６個のセクターのそれぞれに対して予測されたことに対する測定された変位（圧力）のプロットを図７に示した。予測された圧力は、実験データから顕著に外れたのであり、図９に示されたように、対角線から外れた非線形曲線が形成された。このような離脱は、散った類型でなく、単に偏向した（変形された）特徴である。
【００８６】
これは、単純なデータ変換により補正が可能であることを意味する。これと関連して、本実施例では、２次多項式関数を回帰モデル（ｌｎ（ｙ）＝β０＋β１ｘ＋β２ｘ２）で導入して回帰分析を行い、回帰分析結果は、図９の赤色線で表示した。
【００８７】
その後、５００個の入力ベクトルと出力圧力値で構成された確証テストデータセットを使用してＤＮＮをテストし、回帰分析のデータ変換を統合した。最終的に、本実施例では、ＤＮＮと非線形回帰に基づく信頼できる圧力認識用予測モデルを得た。
【００８８】
図１０は、３６個のセクターそれぞれに対する予測圧力対実験圧力のプロットを示す確証テストデータセットを示す。ＤＮＮモデリングと後続回帰分析は、実験的に測定された圧力と予測された圧力の間の完全な線形関係を達成するために確証的なテストデータセット変換を作った。このような計算過程を通じて、圧力下の特定セクター位置で高い正確度で圧力水準を即刻に予測することができた。３６個のセクターに対する平均ＲＭＳＥは、３．１２％と推定され、これは、ＤＮＮが実際人工皮膚に適用される時に完ぺきに受け入れられ得る水準である。
【００８９】
〔空間解像度および圧力感知度〕
本発明の実施例に提案された電子皮膚の圧力感知のための空間分解能は、センサーの機能を向上させるが、本発明の電子皮膚は、追加として装置の構造を物理的に変更する努力をしなくても、非常に容易に空間解像度を調節できるものである。
【００９０】
本発明の実施例による電子皮膚の場合、学習条件の変更、例えばフィーチャーの数（プローブ端子の数）、仮想面積分割方式およびデータの量を変化させることによって、空間分解能の調節が可能である。
【００９１】
本発明の実施例において６×６分割電子皮膚に対して６．６ｍｍの空間解像度を得た。このような空間解像度は、より微細な仮想細分化を採択し、プローブ端子の数を増加させることによって、さらに低減することができ、このために電子皮膚の構造自体を変更する必要がない。
【００９２】
例えば、４０×４０ｍｍサイズの電子皮膚シートを１０×１０仮想セクターと１６個のプローブ端子を使用して学習させる場合、空間解像度を約４ｍｍに低減することができるが、最先端触覚センサーの空間解像度が約２．５ｍｍである点を考慮する時、非常に優れた結果と言える。
【００９３】
本発明において仮想細分化設計の自由度は、基本的に無限であるので、どんな解像度でも達成することができるが、本発明の実施例のピック−ブロックタイプ（ｐｉｃｋ−ｂｌｏｃｋ  ｔｙｐｅ）テストは、時間と費用の問題によって、前述したように制限された解像度で試験された。
【００９４】
このような点を考慮して、前述した表２の結果のように、回帰型ＤＮＮを導入したモデリングでは、実際空間座標（ｘおよびｙ）を０．７８±０．４４ｍｍの解像度を具現することができ、この結果は、従来のパターンを基盤とするセンシング装置が追いつくことができない追いつく高い水準の空間解像度である。
【００９５】
また、本発明の実施例によるＤＮＮモデルは、８個の電気抵抗信号から単一の圧力値を予測するので、従来の圧力感知システムより短い時間フレーム（＜１０−４秒）で高い圧力感知度を確保するに非常に有利である。これに対し、従来のパターン化したセンサーマトリックスで構成される電子皮膚の場合、特定の位置で圧力感知を担当する単一センサーが作動して、当該位置の圧力値を感知する。
【００９６】
従来のパターン化したセンサーマトリックスで構成される電子皮膚の場合、特定の位置での圧力値は、一対一の関係に基づく単一圧力対抵抗曲線から予測される。
【００９７】
これに対し、本発明の実施例によるＤＮＮ駆動電子皮膚の場合、圧力感知のために少なくとも８個の抵抗値から１個の圧力値を予測するいわゆる８対１誘導（ｄｅｒｉｖａｔｉｏｎ）をするので、従来の１対１誘導に比べて非常に敏感な圧力予測値を提供することができる。特に、小さい勾配のノイズが多いデータを使用する場合に有利になり得る。
【００９８】
一例として、図１１は、特定のセクター位置（６×６セクターマトリックスの４番目の行と３番目の列）で圧力関数としての８個の電気抵抗曲線で、高い圧力測定のための厚くてかつ丈夫なシート（図１１（ａ））のものと、低い圧力検出のための薄くてかつやわらかいフィルム（図１１（ｂ））のものを示す図である。
【００９９】
図１１のすべての圧力対抵抗曲線は、信頼性の高い圧力感知が可能な水準の低いノイズを有する勾配を示しているが、ノイズがずっと多い他の場合にも感知が可能である。これは、本発明によるＤＮＮ駆動電子皮膚（センサー）の場合には、多数の（例えば８個または１６個）圧力対抵抗曲線を使用するためである。
【図１】
2019522302.tif 000005
【図２】
2019522302.tif 000006
【図３】
2019522302.tif 000007
【図４ａ】
2019522302.tif 000008
【図４ｂ】
2019522302.tif 000009
【図４ｃ】
2019522302.tif 000010
【図５】
2019522302.tif 000011
【図６（ａ）】
2019522302.tif 000012
【図６（ｂ）】
2019522302.tif 000013
【図７ａ】
2019522302.tif 000014
【図７ｂ】
2019522302.tif 000015
【図８】
2019522302.tif 000016
【図９】
2019522302.tif 000017
【図１０】
2019522302.tif 000018
【図１１】
2019522302.tif 000019
【手続補正書】
【提出日】平成30年12月17日(2018.12.17)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マシンラーニングを利用したセンシング方法とセンシングシステムに関する。
【背景技術】
【０００２】
電子皮膚と呼ばれる人工皮膚を製造するための絶え間ない努力が進められてきており、機能的な性能の側面では、実際ヒトの皮膚に近接した水準になった。
【０００３】
そして、電子皮膚の性能を左右する主要素は、接触位置および当該位置の変形（または圧力）を認識することを具備した触覚感知である。
【０００４】
このような電子皮膚用として多数の変形（ｓｔｒａｉｎ）センサーが開発されている。既存の電子皮膚においていかなる変形センサータイプを考慮しても、すべての電子皮膚に備えられる共通の構成は、いわゆる特定領域に対するパターンと呼ばれる装置要素の規則的な配列である。
【０００５】
このようなパターン、すなわち単層または多層に対する多重モード配列は、信頼性のある電子皮膚を具現するのに必須であり、これなしには、システム的に皮膚の特定領域に対する圧力分布を検出できる方法がない。
【０００６】
これと関連して、抵抗型、静電容量型、誘導型、圧電抵抗型、光学型、磁性型、バイナリ型、圧電電気型、または油圧型センサー装置のように多様な形態の触覚または位置センサーが開発されている。
【０００７】
ところが、このようなすべてのセンサーは、検出された信号を処理するための論理回路設計を具備した多層基板上に装置要素の特定のパターンを具備する。例えば、抵抗タッチパネル用に開発された層間に配置されたきわめて単純なスペーサーパターンから、複雑なワイヤー配列を具備した変形ゲージセンサー用パターンとＴＦＴ配列パターンのようにきわめて複雑なパターンに至る多様な形態がある。
【０００８】
また、パターンの製造方法も、単純なプリント法から複雑な半導体工程を使用するものまで非常に広い間隙がある。ところが、信頼性の高い電子皮膚を低コストで製造するに際して、パターン形成工程は、主要な障壁の一つになっている。
【０００９】
また、従来の電子皮膚に関するセンシング装置では、負荷の位置認識は可能であったが、負荷の圧力程度は認識しにくいという問題点もある。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明の一つの目的は、マシンラーニング技法を使用して、電子皮膚をはじめとして多様な装置に使用されて、負荷の位置認識だけでなく、負荷の程度を正確に測定できるセンシング方法と、このセンシング方法を適用したセンシングシステムを提供することにある。
【００１１】
本発明の他の目的は、マシンラーニング技法を使用して、パターンが形成されていない材料を使用しても、負荷の位置認識と負荷の程度を測定できるセンシング方法とセンシングシステムを提供することにある。
【課題を解決するための手段】
【００１２】
前記目的を達成するための本発明によるセンシング方法は、外部刺激に対して検出可能な信号を生成する材料の任意の位置に刺激を複数回加える段階と、前記刺激を通じて生成された信号を使用してマシンラーニングを行う段階と、マシンラーニングを通じて導き出した関数を利用して前記材料に加えられる刺激の位置または程度を予測する段階とを含む。
【００１３】
また、前記センシング方法において、前記検出可能な信号を生成する材料を複数個の仮想セクターに区分して各セクターに前記刺激を複数回加え、各セクター別に生成された信号を使用してマシンラーニングを行うことができる。
【００１４】
また、前記センシング方法において、前記生成された信号と共に刺激を加えた位置座標を使用してマシンラーニングを行うことができる。
【００１５】
また、前記センシング方法において、前記材料は、単純化の側面で規則的なパターンが形成されていない物質が最も好ましいが、一定のパターンが形成されているものも、センシングをする機能の側面では制限事項にならない。
【００１６】
また、前記センシング方法は、電子皮膚、タッチパネル、フレキシブルキーボード、手話通訳手袋、社会基盤施設の安全診断、胃腸管での運動性とぜん動運動障害診断、または大面積ストレーンゲージのセンサーに使用することができる。
【００１７】
また、前記センシング方法において、複数個の仮想セクターに区分して刺激を加える場合、単一のセクター別に垂直荷重を加えたり、多重荷重を２個以上のセクターに加えることができる。
【００１８】
また、前記センシング方法において、仮想セクターに区分することなく、任意の位置に刺激を加えるときにも、単一の垂直荷重を加えたり、様々な位置に垂直荷重を同時に加えることができる。
【００１９】
前記他の目的を達成するための本発明によるセンシングシステムは、外部刺激に対して検出可能な信号を発生する材料と、前記材料に刺激を複数回加え、生成された信号を使用してマシンラーニングを行って、導き出された関数を記憶する記憶手段と、前記関数を利用して前記材料に加えられる刺激の位置または程度を演算する演算手段とを含む。
【００２０】
また、前記センシングシステムにおいて、前記検出可能な信号を生成する材料を複数個の仮想セクターに区分して各セクターに前記刺激を複数回加え、各セクター別に生成された信号を使用してマシンラーニングを行うことができる。
【００２１】
また、前記センシングシステムにおいて、前記生成された信号と共に刺激を加えた位置座標を使用してマシンラーニングを行うことができる。
【００２２】
また、前記センシングシステムにおいて、前記材料は、単純化の側面で規則的なパターンが形成されていない物質が最も好ましいが、一定のパターンが形成されているものも、センシングをする機能の側面では制限事項にならない。
【００２３】
また、前記センシングシステムは、電子皮膚、タッチパネル、フレキシブルキーボード、手話通訳手袋、社会基盤施設の安全診断、胃腸管での運動性とぜん動運動障害診断、または大面積ストレーンゲージのセンサー用であってもよい。
【発明の効果】
【００２４】
本発明によるセンシング方法とセンシングシステムによれば、マシンラーニングを通じて、センシングシステムに加えられる負荷の位置と程度を正確に測定することができる。
【００２５】
また、本発明の一実施例によれば、規則的なパターンがないとしても、センシングシステムに加えられる負荷の位置と程度を正確に予測することができるため、人工皮膚のような領域の製造コストを顕著に節減することができる。
【００２６】
また、本発明の一実施例によれば、材料の標準化がある程度行われる場合、特定材料の学習結果を同種の他の材料にも適用することができることとなり、学習ｔ時間および費用を大きく節減することができる。
【００２７】
また、本発明の一実施例によれば、例えばＰＤＭＳ基材に均質に分布したＣＮＴを具備した圧電抵抗複合フィルムのような単純なシートまたはフィルムを使用して、大面積でも具現され得ると共に、信頼性の高い変形（および位置）感知が可能であり、同時に規則的なパターンや多層構造を必要としない。
【００２８】
また、本発明の一実施例によれば、ＰＤＭＳ基材の硬化剤分率、ＣＮＴ添加比率、シートの厚さ等を制御すると、弱い触感水準から苦痛を感じる水準まで広範囲な圧力感知が可能である。
【００２９】
また、本発明の一実施例によれば、単純な単一のセクター別の垂直荷重以外に複雑な多重荷重が２個以上のセクターに作用する場合も、ＤＮＮの学習でセンシング可能である。
【００３０】
また、本発明によるセンシング方法およびセンシングシステムは、電子皮膚はもちろん、タッチパネル、フレキシブルキーボード、手話通訳手袋、社会基盤施設の安全診断、胃腸管での運動性とぜん動運動障害診断、または大面積ストレーンゲージのセンサー用にも適用することができる。
【００３１】
例えば、検出可能な信号を生成する非常に薄いフレキシブル材料（例えば、プラスチックフィルム）からなる材料の表面にキーボードを印刷して本発明による学習過程を経る場合、フレキシブルキーボードとして使用することができ、このキーボードは、容易に携帯可能であり、既存の携帯用キーボードに比べて改善された便宜性を提供することができる。
【図面の簡単な説明】
【００３２】
【図１】図１は、本発明の実施例において電子皮膚に使用したＣＮＴ／ＰＤＭＳ複合フィルムの概略図である。
【図２】図２は、本発明の実施例による電子皮膚のマシンラーニングのためのＣＮＴ／ＰＤＭＳ複合フィルムに負荷を加えるための装置（木の棒およびおもちゃの指）と電気的信号を検出するための端子（中間の図面）の配置を示す図である。
【図３】図３は、本発明の実施例による電子皮膚の学習およびテスト用システムの構成図である。
【図４ａ】図４ａは、図面の右側に示す一軸引張試験片に対して１Ｈｚの周波数を有する周期的荷重に対する時間の関数として荷重（変位または圧力）および電気抵抗を示すプロットを示す図である。
【図４ｂ】図４ｂは、１、３および６Ｈｚの周波数で一軸引張試験片に対する電気抵抗対変位のプロットを示す図である。
【図４ｃ】図４ｃは、８個のプローブ端子電極信号ｖｓ．６×６セクター位置での変位（圧力）および０〜１．２ＭＰａの圧力範囲での圧力対変位曲線（右下側）を示す図である。
【図５】図５は、本発明の実施例で適用したディープラーニングのための階層図である。
【図６】図６は、本発明の実施例で使用したデータセット構造を示す図である。
【図７ａ】図７ａは、本発明の実施例で使用した４、８および１６フィーチャー（ｆｅａｔｕｒｅ）を有する位置認識用ＤＮＮアーキテクチャーを示す図である。
【図７ｂ】図７ｂは、本発明の実施例で使った８および１６フィーチャーを有する圧力認識用ＤＮＮアーキテクチャーを示す図である。
【図８】図８は、仮想のセクター区分なしに実際座標を得るための回帰型ＤＮＮアーキテクチャーを示す図である。
【図９】図９は、本発明の実施例で行った３６（６×６）個の仮想セクターのそれぞれに対して予測されたものに対する測定された変位（圧力）のプロットを示す図である。
【図１０】図１０は、本発明の実施例で行った３６個のセクターのそれぞれに対する予測圧力対実験圧力のプロットを示す図である。
【図１１】図１１は、特定のセクター位置（６×６セクターマトリックスの４番目の行と３番目の列）で圧力関数としての８個の電気抵抗曲線で、高い圧力測定のための厚くてかつ丈夫なシート（図１１（ａ））のものと、低い圧力検出のための薄くてかつやわらかいフィルム（図１１（ｂ））のものを示す図である。
【発明を実施するための形態】
【００３３】
以下、本発明の好ましい実施例について説明するが、本発明が下記好ましい実施例に限定されて解釈されてはならず、本発明の概念の範囲内で多様な形態の変形が可能になり得るものと解釈すべきである。
【００３４】
〔ＣＮＴ／ＰＤＭＳ圧電抵抗複合フィルムの製造〕
商用のＭＷＣＮＴ（マルチウォールカーボンナノチューブ、以下、「ＣＮＴ」という、ナノマテリアルテクノロジー社）とＰＤＭＳ（Ｓｙｌｇａｒｄ（登録商標）１８４  Ｓｉｌｉｃｏｎｅ  Ｅｌａｓｔｏｍｅｒ）を使用して、図１に概略的に示されたように、ＣＮＴが無作為に分布した均質な複合材を合成した。
【００３５】
ＣＮＴは、長さ５μｍ、直径２０ｎｍのマルチウォールを有するものを使用し、プラスチックシリンダー容器に液状のＰＤＭＳを入れ、１重量％のＣＮＴを混合し、撹拌した後、ＰＤＭＳを硬化させることによって、圧電抵抗パッチを製造した。
【００３６】
具体的に、ＰＤＭＳ内でＣＮＴの凝集がない均質な分散のために、１０ｍｍの直径を有する若干のアルミナボールを投入し、プラナタリーせん断ミキサーを使用して２時間の間４００ｒｐｍの速度で撹拌した。以後、ＰＤＭＳ硬化剤をＰＤＭＳ重量の１０％になるように添加した後、２０分間プラナタリーせん断混合器に維持した。最後に、複合材内に気泡がトラップされないように２０分間真空状態で脱ガス処理を行った。ガラス板上に、モールドを準備し、ドクターブレード法を使用して、圧電抵抗ＣＮＴ／ＰＤＭＳ複合材を鋳造した。そして、ガラス基板を６０℃で３０分間加熱して、ＣＮＴ／ＰＤＭＳ複合材が横×縦×厚さ寸法が４０ｍｍ×４０ｍｍ×５ｍｍになるように固化させた。
【００３７】
また、薄いフィルムを形成するために、０．１ｍｍ、１ｍｍ、および２ｍｍの深さを有する他のモールドも使用し、ＰＤＭＳ硬化剤の調節を通じてシートの弾性特性を多様にした。
【００３８】
このような過程を通じて、図２の中間の写真から確認されるように、表面にいかなるパターン構造も形成されていないＣＮＴ−ＰＤＭＳ複合シートを製造した。
【００３９】
本発明の実施例では、ＣＮＴ−ＰＤＭＳ複合シートを使用したが、刺激に対して信号を発生し得るものであれば、例えばＩＴＯ基板、導電性物質が特定のパターンを成さないように含まれたゴム板等のように多様な形態の物質からなるシートを使用することができる。
【００４０】
〔学習およびテストデータの収集〕
図２の中間の写真から分かるように、数本の銅線をＣＮＴ−ＰＤＭＳパッチの側面に２０ｍｍの間隔で配置されたＣＮＴ−ＰＤＭＳ端子に連結した。また、ＣＮＴ−ＰＤＭＳパッチの中央には、グラウンドを配置し、直流５Ｖバイアスを加えた。
【００４１】
様々な抵抗測定プローブ端子は、パターンがないセンサーパッチで重要な役割をするので、各側面に１個から４個のプローブを多様に使用した。図２は、本発明の実施例において各側面に２個のプローブを連結したパッチ（中央）の実際の写真である。
【００４２】
また、試験段階の構成図を図３に示した。図３に示したように、本発明の実施例による電子皮膚用学習およびテストは、負荷を加える装置（Ｉｎｓｔｒｏｎ  ３０００）と、該装置に装着された試験片と、該試験片から電気的信号を検出するプローブと、前記装置から受けた荷重および変位データとプローブから回路を経て受けた電気信号データをデジタルに変換するＤＡＱと、変換したデータを演算し、前記装置に信号を伝達するコンピュータとを含んでなる。
【００４３】
パッチ学習は、インストロンＥ３０００を使用した。全体圧電抵抗パッチ領域は、仮想的にｍ×ｍセクター（ｍ＝４、６および１０）に分割された。このような仮想セクターの分割により指接触面積に相当する程度の単一のセクター面積（すなわち空間解像度）が付与される。
【００４４】
インストロンＥ３０００には、図２の右側に示されたように、丸い先端を有するシリンダー型バーを装着して、システム的に圧電抵抗パッチの選択されたセクター領域を加圧するようにした。
【００４５】
また、加圧地点を変更するために、稼動ｘ−ｙステージ上に圧電抵抗パッチを配置した。
【００４６】
それぞれのセクターに反復的な加圧を通じて、パッチの側面に配置された４個、８個および１６個のプローブから、図４（ｃ）に示したように、電気的な抵抗データを収集した。このような過程を通じた学習データセットを収集と並行して、学習データ用のスティックに比べて軟質であり、ヒトの指にさらに近い人工的なプラスチック材の指を使用してテストデータセットを別個に収集した。
【００４７】
〔ＤＮＮ（Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）構成〕
基本的に、本実施例のＤＮＮ構成は、図５に示したように、二つのチャネルで構成される。一つは、位置認識用であり、他の一つは、変形（圧力）認識用である。
【００４８】
これらの二つのチャネルは、実際の感知状況では、同時に作動する。入力データは、ｎ−次元（１×ｎ）ベクターでベクター化し、ベクターの要素は、ｎ端子電極（ｎ＝４、８、および１６）のそれぞれから測定された実際の抵抗値の個数を意味する。入力ベクター要素の個数（ｎ）、すなわち入力ベクターの次元は、入力フィーチャーの数で表現することができる。
【００４９】
圧力（０ＭＰａ〜１．２ＭＰａ）の特定レベルが関連セクターに加えられ、加圧中にデータが収集される。その結果、本実施例では、各セクター当たり１５００個のｎ−次元入力ベクターを収集し、１０回の独立的な測定が各セクターで行われたのであり、これにより、全体的な学習データセットは、６×６セクターに対して５４０，０００（１，５００×３６×１０）個のｎ−次元入力ベクターを構成した。
【００５０】
本実施例の学習データセット構造およびテストデータセット構造を図６（ａ）および６（ｂ）に概略的に示した。位置認識用レーベル（出力）データは、６×６マトリックスの行と列を指示するセクター座標であり、変形（圧力）用レーベルデータは、実際数値である。テストデータセットは、類似したデータ構造を有するが、２回の独立的な測定のみが各セクターで行われた。何よりも注目すべき点は、テストデータセットは、各セクター学習データセットに使用された木材バーと異なるおもちゃ指により独立して用意したものである。
【００５１】
ＣＮＴ−ＰＤＭＳ材の圧電抵抗が変形速度に影響を受けないという点が立証されている。これは、圧電抵抗が単に絶縁体であるＰＤＭＳ基材で伝導体であるＣＮＴ分布の瞬間的な状態にのみ影響を受け、変形速度には影響を受けないことを意味する。
【００５２】
圧電抵抗は、図４（ａ）および４（ｂ）に示されたように、負荷周波数に関係なく、変形（変位または圧力）に完ぺきに線形的な関連性を示すものと立証された。
【００５３】
本発明において、「圧力」という表現は、「変形」および「変位」と共に使用することができる。「圧力」、「変位」および「変形」という用語は、実際的な観点で出力信号として同等に扱われなければならない。なぜなら、これらのすべては、非弾性挙動や焼成挙動がなく、静的および動的条件で完ぺきに線形的な関係であるためである。結果的に、ここで使用された用語にいかなる差異もない。
【００５４】
本発明の実施例において、ＤＮＮアーキテクチャーは、中間（隠匿）層の数、各層のノード数（ニューロン）、活性化関数（ａｃｔｉｖａｔｉｏｎ  ｆｕｎｃｔｉｏｎ）の細部内容、ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ  Ｌｉｎｅａｒ  Ｕｎｉｔ）、ドロップアウト（ｄｒｏｐｏｕｔ）、バッチサイズ（ｂａｔｃｈ  ｓｉｚｅ）、エポック制御（ｅｐｏｃｈ  ｃｏｎｔｒｏｌ）、および有効性検査セット設定等によって分類される。
【００５５】
入力層のノード数は、フィーチャー数、入力ベクター次元およびプローブ端子電極数と同一である。
【００５６】
最終アーキテクチャー、すなわち中間（隠匿）層の数とＲｅＬＵの採択で媒介変数化したＤＮＮアーキテクチャーと各層のノード数は、多くの試みを通じて決定された。
【００５７】
本発明の実施例では、入力層に８個のノードがあり、出力層に３６（６×６）ノードがあるＤＮＮアーキテクチャーのみに対して具体的に学習およびテスト結果を導き出す過程を提示し、入力層に１６個のノードと４個のノードがある他のＤＮＮアーキテクチャーと学習およびテスト結果は、表１に要約して提示する。
【００５８】
学習およびテスト結果と共にＤＮＮアーキテクチャーバージョンが下記の表１に要約されており、４個、８個および１６個のノードがあるＤＮＮアーキテクチャーの概略図を図７ａ（位置認識用）と図７ｂ（圧力認識用）に示した。
【００５９】
このうち、１６個のノードの場合、学習およびテストに対して若干さらに高い正確度を得ることができる。しかしながら、単純化のためには、さらに少ないフィーチャー（本発明の実施例では、さらに少ない数のプローブ端子電極）が有利になり得るので、８−プローブ端子電極を含む装置が、１６個の電極を有するものよりさらに好ましいことがある。他方で、４個のノードを有する場合、学習およびテストの正確度が非常に低下するため、位置認識を正確に予測するのに困難がありえる。
【００６０】
これにより、本発明の実施例では、電極数と正確度の間の最適化のために、１６ｃｍ２領域に対するパターンのない電子皮膚用に８個のノードを使用した。
【００６１】
また、４フィーチャー、８フィーチャーおよび１６フィーチャーおよび１６レーベル（すなわち４×４セクター区分事例）を有するＤＮＮに対しても、データセットを生成したが、当然に学習およびテストの正確性が４×４セクターに比べてずっと良いので、その結果を省略した。
【００６２】
その理由は、セクター分割を微細にすることが、より精巧なセンサーを具現するのに好ましいからであり、６×６セクターに区分して得たデータは、電子皮膚を実際に皮膚に近くより写実的にシミュレーションすることができるようにする。
【００６３】
〔位置認識用ＤＮＮ〕
以上のような理由で、本発明の実施例では、８個のフィーチャーと３６個のレーベルのＤＮＮに焦点を合わせ、８個のプローブ端子で収集された電気抵抗信号を位置認識用ＤＮＮで８次元入力ベクターとして使用した。
【００６４】
位置認識用ＤＮＮアーキテクチャーは、図５に示されたように、入力層と出力層を含めて合計４個の連結された層で構成される。
【００６５】
入力層から出力層に各層に属する８−５７６０−１１５２−１４４−３６個のノードがある。単純な線形活性化関数が入力層から３番目の層まで適用されたが、最後に連結された層の活性化関数は、ｓｏｆｔｍａｘ関数を適用した。３個の隠匿層に対してｍａｘ（０，ｘ）臨界値を有するように活性化関数を適用するＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ  Ｌｉｎｅａｒ  Ｕｎｉｔ）が３個の隠匿層に採択され、３０％のドロップアウトを導入した。０．２５の確認比率で、確認は、毎１００世代ごとに施行された。
【００６６】
学習正確度は、個別学習データを基準として９８．９７％であり、特定のセクターに対するグループ（レーベルが同じ１，５００個の入力ベクターで構成されたデータセットをグループと見なした）ですべてのデータを共にまとめたとき、１００％正確度に到達した。１００％正確度は、特定のセクター（ラベル）を示す１，５００個の入力ベクターで構成されるデータセットと最も頻繁にマッチングされるラベルが実際その特定ラベルである確率をいう。
【００６７】
すなわち、本発明の実施例によるＤＮＮモデルは、一つの失敗もなく、３６０個の学習データセットグループのラベルを正確に予測することができ、３６０個の学習データセットグループが３６０回の独立的なタッチを示すので、すべてのタッチがＤＮＮにより成功裏に認識された。
【００６８】
従来のＤＮＮセットアップでは、一般的には、学習データを分離してテストに使用することが通常的である。しかしながら、本実施例では、この基準に従わず、その代わりに、ＤＮＮの剛健性を確保するために完全に異なる器具（おもちゃの指）を使用してテストデータセットを別に準備した。
【００６９】
テストデータセットは、圧力下でセクターを指定する当該ラベルと共に８次元ベクターであった。テストデータセットのサイズは、学習データセットのサイズより小さく、ラベルがある１０８，０００（１５００×３６×２）入力ベクトルを含む。このテストも、また、個別データ基盤とグループデータ基盤で実行された。
【００７０】
また、本実施例では、テスト用学習データセットの２０％を別に設定して典型的な学習およびテストを行ったのであり、この典型的なテスト結果は、個別データ基盤であるとき、９９．７８％であり、グループデータ基盤であるとき、１００％であった。これは、瞬間的に感知された８個の電気抵抗値から、〜１０−４秒の時間分解能で瞬間毎ごとに９９．７８％の正確度で正確なタッチ地点を捜し出すことを意味する。また、典型的なケースのグループデータ基盤テスト正確度は、１００％に達した。
【００７１】
おもちゃの指を使用した個別データ基盤テスト正確度は、９６．１９％であり、おもちゃの指を使用したグループデータ基盤テスト正確度は、９７．２２％に達した。
【００７２】
グループデータ基盤テスト正確度は、７２回の任意のタッチテストから始まったのであり、これは、圧力を受けている当該セクターを指定するデータセットを生成した。このためには、データセットで１，５００個の入力ベクトルをテストしなければならず、最も頻繁に一致するラベルがグループデータが示す正しいセクターと見なされた。位置認識に対するグループデータ基盤テスト正確度は、９７．２２％であるが、これは、７２個のデータセットのうち２個のデータセットのみをのがしたものであり、７２個のタッチのうちＤＮＮが２個のタッチだけが誤って表示したことを意味する。
【００７３】
ところが、誤って認識された２個も、正確な位置に隣接したものであり、本実施例で提案した皮膚の空間解像度が指先の接触領域より非常に小さい約６．６ｍｍであったため発生したものであり、このような種類のエラーは、実際に皮膚でも発生し得るものである。
【００７４】
下記の表１に示されたように、１６個のプローブ端子電極に対するテストでは、１００％の正確度を得るので、前述した実施例（８個のプローブ端子電極の使用）でタッチ位置認識の小さい誤差は、感知端子数に起因したものであるため、大きい意味はないといえる。１６個のプローブ端子電極を使用した場合に、個別データ基盤テスト正確度は、９９．２８％であり、グループデータ基準のテスト正確度は、１００％に達した。すなわち、すべてのタッチが１６フィーチャーＤＮＮモデルで正しく認識された。
【００７５】
一方、前述した８フィーチャーＤＮＮモデルも、正確に作動すると共に、その結果も十分に受け入れることができる水準であるので、システムの単純化の観点では、８フィーチャーＤＮＮモデルがさらに適合すると言える。
【００７６】
【表１】
2019522302.tif 000020
【００７７】
また、本発明者らは、前述したように、事前設定されたマトリックスでセクター番号を通じて位置を識別するモデルと共に、正確なタッチポイントを実際の位置と予測する回帰型（ｒｅｇｒｅｓｓｉｏｎ−ｔｙｐｅ）ＤＮＮモデルも開発した。
【００７８】
図８は、この回帰型ＤＮＮモデルのアーキテクチャーを示す図である。
【００７９】
回帰型ＤＮＮモデルを使用する場合、電子皮膚シート領域の実際座標（ｘおよびｙ）を指定する二つの値を得ることができる。回帰型ＤＮＮモデルを使用して非常に高い空間解像度が得られたのであり、下記の表２のように、回帰型ＤＮＮによって０．７８±０．４４ｍｍの解像度でモデリングが可能であった。
【００８０】
【表２】
2019522302.tif 000021
【００８１】
〔変形（圧力）評価用ＤＮＮ〕
変形（圧力）評価のためのさらに他のＤＮＮは、図５に示されたように、各層に属する８−２０４８−２５６−１ノードで構成されるアーキテクチャーで別に構成された。圧力を受けている特定のセクターに属するデータセットのみを圧力評価用ＤＮＮの学習およびテストに使用した。圧力を受けている正確なセクター位置は、位置認識ＤＮＮで荷重初期に特定されたためである。
【００８２】
したがって、図５に示されたように、当該圧力値に関連した１５，０００個の入力ベクトルをラベルとして使用して学習およびテストを完了した。隠匿層に対する活性化関数は、単純な線形関数であり、位置認識ＤＮＮの場合と同様に、ＲｅＬＵが適用された。しかしながら、圧力評価ＤＮＮの最後層の活性化関数は、ｓｏｆｔｍａｘでない単純な線形関数であるので、最終出力値は、変位を示す実際の数字であり、これは、線形的な関係に起因した変形または圧力と見なすことができる。
【００８３】
テストは、また、おもちゃの指のデータを使用して具現され、これは、各セクター当たり１，５００個であり、全体的に５４，０００個の入力ベクトルに該当する。
【００８４】
本実施例では、１，５００個のテスト用入力ベクトルを初期テストデータセットとして１０００個、確証テストデータセットとして５００個に無作為に分けた。
【００８５】
１，０００個の初期テスト入力ベクトルと当該圧力値がＤＮＮテストに使用されるとき、テスト正確度は、受け入れることができない程度であり、予測値と実験値の間には、不一致が現れた。３６個のセクターのそれぞれに対して予測されたことに対する測定された変位（圧力）のプロットを図７に示した。予測された圧力は、実験データから顕著に外れたのであり、図９に示されたように、対角線から外れた非線形曲線が形成された。このような離脱は、散った類型でなく、単に偏向した（変形された）特徴である。
【００８６】
これは、単純なデータ変換により補正が可能であることを意味する。これと関連して、本実施例では、２次多項式関数を回帰モデル（ｌｎ（ｙ）＝β０＋β１ｘ＋β２ｘ２）で導入して回帰分析を行い、回帰分析結果は、図９の赤色線で表示した。
【００８７】
その後、５００個の入力ベクトルと出力圧力値で構成された確証テストデータセットを使用してＤＮＮをテストし、回帰分析のデータ変換を統合した。最終的に、本実施例では、ＤＮＮと非線形回帰に基づく信頼できる圧力認識用予測モデルを得た。
【００８８】
図１０は、３６個のセクターそれぞれに対する予測圧力対実験圧力のプロットを示す確証テストデータセットを示す。ＤＮＮモデリングと後続回帰分析は、実験的に測定された圧力と予測された圧力の間の完全な線形関係を達成するために確証的なテストデータセット変換を作った。このような計算過程を通じて、圧力下の特定セクター位置で高い正確度で圧力水準を即刻に予測することができた。３６個のセクターに対する平均ＲＭＳＥは、３．１２％と推定され、これは、ＤＮＮが実際人工皮膚に適用される時に完ぺきに受け入れられ得る水準である。
【００８９】
〔空間解像度および圧力感知度〕
本発明の実施例に提案された電子皮膚の圧力感知のための空間分解能は、センサーの機能を向上させるが、本発明の電子皮膚は、追加として装置の構造を物理的に変更する努力をしなくても、非常に容易に空間解像度を調節できるものである。
【００９０】
本発明の実施例による電子皮膚の場合、学習条件の変更、例えばフィーチャーの数（プローブ端子の数）、仮想面積分割方式およびデータの量を変化させることによって、空間分解能の調節が可能である。
【００９１】
本発明の実施例において６×６分割電子皮膚に対して６．６ｍｍの空間解像度を得た。このような空間解像度は、より微細な仮想細分化を採択し、プローブ端子の数を増加させることによって、さらに低減することができ、このために電子皮膚の構造自体を変更する必要がない。
【００９２】
例えば、４０×４０ｍｍサイズの電子皮膚シートを１０×１０仮想セクターと１６個のプローブ端子を使用して学習させる場合、空間解像度を約４ｍｍに低減することができるが、最先端触覚センサーの空間解像度が約２．５ｍｍである点を考慮する時、非常に優れた結果と言える。
【００９３】
本発明において仮想細分化設計の自由度は、基本的に無限であるので、どんな解像度でも達成することができるが、本発明の実施例のピック−ブロックタイプ（ｐｉｃｋ−ｂｌｏｃｋ  ｔｙｐｅ）テストは、時間と費用の問題によって、前述したように制限された解像度で試験された。
【００９４】
このような点を考慮して、前述した表２の結果のように、回帰型ＤＮＮを導入したモデリングでは、実際空間座標（ｘおよびｙ）を０．７８±０．４４ｍｍの解像度を具現することができ、この結果は、従来のパターンを基盤とするセンシング装置が追いつくことができない追いつく高い水準の空間解像度である。
【００９５】
また、本発明の実施例によるＤＮＮモデルは、８個の電気抵抗信号から単一の圧力値を予測するので、従来の圧力感知システムより短い時間フレーム（＜１０−４秒）で高い圧力感知度を確保するに非常に有利である。これに対し、従来のパターン化したセンサーマトリックスで構成される電子皮膚の場合、特定の位置で圧力感知を担当する単一センサーが作動して、当該位置の圧力値を感知する。
【００９６】
従来のパターン化したセンサーマトリックスで構成される電子皮膚の場合、特定の位置での圧力値は、一対一の関係に基づく単一圧力対抵抗曲線から予測される。
【００９７】
これに対し、本発明の実施例によるＤＮＮ駆動電子皮膚の場合、圧力感知のために少なくとも８個の抵抗値から１個の圧力値を予測するいわゆる８対１誘導（ｄｅｒｉｖａｔｉｏｎ）をするので、従来の１対１誘導に比べて非常に敏感な圧力予測値を提供することができる。特に、小さい勾配のノイズが多いデータを使用する場合に有利になり得る。
【００９８】
一例として、図１１は、特定のセクター位置（６×６セクターマトリックスの４番目の行と３番目の列）で圧力関数としての８個の電気抵抗曲線で、高い圧力測定のための厚くてかつ丈夫なシート（図１１（ａ））のものと、低い圧力検出のための薄くてかつやわらかいフィルム（図１１（ｂ））のものを示す図である。
【００９９】
図１１のすべての圧力対抵抗曲線は、信頼性の高い圧力感知が可能な水準の低いノイズを有する勾配を示しているが、ノイズがずっと多い他の場合にも感知が可能である。これは、本発明によるＤＮＮ駆動電子皮膚（センサー）の場合には、多数の（例えば８個または１６個）圧力対抵抗曲線を使用するためである。
【０１００】
本発明は未来創造科学部が支援し財団法人韓国研究財団が主管した未来素材ディスカバリー事業（課題番号：２０１５M３D１A１０６９７０５、課題名：ヒューリスティックス電算ベース無機素材創製研究）から支援を受けて行われた研究結果である。
【国際調査報告】
2019522302.tif 000022
2019522302.tif 000023
2019522302.tif 000024
2019522302.tif 000025
2019522302.tif 000026
2019522302.tif 000027