◇第二部 化学多変量解析／パターン認識（ケモメトリックス（Chemometrics））関連(2)Part2. Chemical multivariate analysis /pattern recognition (Chemometrics)

株式会社 インシリコデータ
湯田 浩太郎Contents:
挨拶：Greetings:
株式会社 インシリコデータ （ In Silico Data, Ltd.）
湯田 浩太郎（Kohtaro Yuta）◆導入 計算毒性学と「化学データサイエンス」
Introduction: Computational Toxicology and “Chemical Data Science”◇第一部 計算機化学（Computer Chemistry）関連
Part1. Computer Chemistry◇第二部 化学多変量解析／パターン認識（ケモメトリックス（Chemometrics））関連
Part2. Chemical multivariate analysis / pattern recognition (Chemometrics)◇第三部 人工知能（Artificial Intelligence）関連
Part3. Artificial Intelligence◇第四部 インシリコ創薬関連
Part4. Insilico drug design

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◆化合物関連パラメーター：Compound related parameters

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◆化合物関連パラメーター：トポロジカルパラメーター
Compound related parameters: Topological parameters

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◆化合物関連パラメーター：トポロジカルパラメーター
Compound related parameters: Topological parameters

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◆化合物関連パラメーター：トポロジカルパラメーター
Compound related parameters: Topological parameters

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◆化合物関連パラメーター：トポロジカルパラメーター
Compound related parameters: Topological parameters

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◆化合物関連パラメーター：トポロジカルパラメーター
Compound related parameters: Topological parameters

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◆化合物関連パラメーター：トポグラフィカルパラメーター
Compound related parameters: Topographic parameters

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◆化合物関連パラメーター：トポグラフィカルパラメーター
Compound related parameters: Topographic parameters

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◆化合物関連パラメーター：物理化学的パラメーター
Compound related parameters: Physicochemical parameters◇種々の物性：
分子量、 融点、 沸点、分子屈折率、 LogP、 Hammetσ、 その他◇分子軌道法関連パラメーター：
電子密度、 HOMO、 LUMO、 分極率、 双極子モーメント、その他◇分子力学関連パラメーター：
結合エネルギー、トーションエネルギー、 水素結合エネルギー、 その他

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◆化合物関連パラメーター：物理化学的パラメーター （ＬｏｇＰ）
Compound related parameters: Physicochemical parameters （ＬｏｇＰ）

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◆化合物関連パラメーター：物理化学的パラメーター （ＬｏｇＰ）
Compound related parameters: Physicochemical parameters （ＬｏｇＰ）

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◆化合物関連パラメーター：その他のパラメーター
Compound-related parameters: Other parameters◇部分構造パラメーター Substructure parameter
部分構造を定義し、解析対象とする化合物中に定義した部分構造が含まれているかいないかを利用する Define a partial structure and use whether or not thedefined partial structure is included in the compound to be analyzed

部分構造カウントの結果データの表記手法により以下の３種類に大別できる
１．部分構造があるかないかのバイナリーデータBinary data with or without substructure
１または０のバイナリーデータ＊MACCS, PubChem, Daylight等が提供している
２．内包される部分構造の数をカウント Count the number of substructures included
整数値のパラメーター＊フィンガープリントの拡張版
３．内包された部分構造の隣接原子の情報を加味して数値化
Quantify by taking into account the information of neighboring atoms of the included partial structure

連続変数パラメーター＊ADAPT(Automated Data Analysis by the Pattern recognition)で開発/採用
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◆化合物関連パラメーター：その他のパラメーター
Compound-related parameters: Other parameters◇部分構造パラメーター Substructure parameter１．部分構造があるかないかのバイナリーデータ
Binary data with or without substructure
１または０のバイナリーデータ＊MACCS, PubChem, Daylight等が提供＊この種のパラメーターは一般的に「フィンガープリント"Fingerprint"」と呼ばれる＊パラメーター数は数百から千種類提供される＊検索される部分構造は提供元の適用目的等により変化する□適用目的＊多変量解析／パターン認識による解析のパラメーターとして適用＊化合物の類似度評価等に利用される事が多い

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis
２．内包される部分構造の数をカウント Count the number of substructures included
３．内包された部分構造の隣接原子の情報を加味して数値化
Quantify by taking into account the information of neighboring atoms of the included partial structure

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◆化合物関連パラメーター：その他のパラメーター
Compound-related parameters: Other parameters◇部分構造パラメーターの特徴 Feature of substructure parameter特徴 characteristics：①部分構造パラメーターは化合物構造式に直結するパラメーターのため、他のパラメーターと比較して要因抽出がしやすい②部分構造パラメーター情報は、薬理活性や毒性等のコントロールに必要な情報を化合物の構造情報として捉えることが出来る③部分構造パラメーターの情報は化合物合成等に反映しやすい④データ解析のみならず、化合物検索等にも適用できる①Since partial structure parameters are directly linked to the compound structural formula,
it is easier to extract the factors than other parameters(2) Partial structure parameter information can capture information necessary for control ofpharmacological activity, toxicity, etc. as structural information of compounds.
(3) Information on partial structure parameters is easily reflected in compound synthesis, etc.
(4) Not only data analysis but also compound search
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◆化合物関連パラメーター：その他のパラメーター
Compound-related parameters: Other parameters◇部分構造パラメーターの特徴 Feature of substructure parameter
留意点：Points to remember①設定する部分構造の内容が実施目的の実現性に大きな影響を及ぼす
例：薬理活性では、ファーマコフォア等に留意した部分構造
化合物毒性では、毒性要因に関連する部分構造②部分構造の設定にノウハウや経験がある程度実施結果に影響することがある(1) The content of the partial structure to be set has a great influence on the feasibility of theimplementation purpose
Example: In pharmacological activity, partial structure with attention paid to pharmacophore, etc.
In compound toxicity, partial structure related to toxicity factors(2) Know-how and experience may affect the implementation results to some extent in setting the partial
structure

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◇ 機器スペクトルパラメーター Instrument spectral parameters■ Spectral database oforganic compounds SDBS

トップ画面

https://sdbs.db.aist.go.jp/sdbs/cgi-bin/direct_frame_top.cgi
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◇ 機器スペクトルパラメーター Instrument spectral parameters■有機化合物のスペクトルデータベース SDBS
Spectral database of organic compounds SDBS

https://sdbs.db.aist.go.jp/sdbs/cgi-bin/direct_frame_top.cgi
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◇ 機器スペクトルパラメーター Instrument spectral parameters

Ｍａｓｓ

https://sdbs.db.aist.go.jp/sdbs/cgi-bin/direct_frame_top.cgi
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◇ 機器スペクトルパラメーター Instrument spectral parameters

13C NMR : in CDCl

3

https://sdbs.db.aist.go.jp/sdbs/cgi-bin/direct_frame_top.cgi

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◇ 機器スペクトルパラメーター Instrument spectral parameters

1H NMR : 90 MHz in CDCl

3

https://sdbs.db.aist.go.jp/sdbs/cgi-bin/direct_frame_top.cgi
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◇ 機器スペクトルパラメーター Instrument spectral parameters

IR : nujol mullhttps://sdbs.db.aist.go.jp/sdbs/cgi-bin/direct_frame_top.cgi

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◇ 機器スペクトルパラメーター Instrument spectral parameters

Ｒａｍａｎデータ
BIO-RADのスペクトルデータ
ベースより
http://www.bio-rad.com/

http://www.bio-rad.com/ja-jp/product/raman-spectraldatabases?ID=N0ZXPS4VY
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◇ 機器スペクトルパラメーター Instrument spectral parameters

UV-Visスペクトル
BIO-RADのスペクトルデータ
ベースより
http://www.bio-rad.com/

http://www.bio-rad.com/ja-jp/product/uv-vis-spectraldatabases?ID=NH262L4VY
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◇ 機器スペクトルパラメーター Instrument spectral parameters＊機器スペクトルデータは殆どの場合アナログデータなので、デジタルの数値データに変換することが必要である。

Since instrument spectral data is mostly analog data, it must be converted to digital
numerical data.

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◇ 機器スペクトルパラメーター Instrument spectral parameters
特徴 Characteristic:：①機器があれば数値データとして簡単に蓄積できる
If there is a device, it can be easily stored as numerical data
②スペクトルチャートは様々な実験過程で種々蓄積される
Spectrum charts are accumulated in various experimental processes.
留意点 Points to remember:：①一般的にパラメーター数が極めて大きくなりやすい
結果として、データ解析手法が限定、適用不可となる可能性が高くなる②スペクトルデータは多重共線性が極めて高い①と②の特徴により、データ解析実施においては次元圧縮・統合等が必要で、解析手法もPLSやPCAと制限されることが多い③スペクトルチャートの測定条件等統一が必要
出来れば測定機器メーカーや機種も統一
例：６０MのH-NMRデータと９０MのH-NMRデータを混在してのデータ解析は無意味
・測定条件等が統一されないとデータ解析の精度が保証されにくくなる
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◇ 機器スペクトルパラメーター Instrument spectral parameters＊例え同じスペクトルで、測定環境条件を同じにしたとしても測定機器やソフトウエアの違いにより多種多様のフォーマトがある。
＊スペクトルデータベース間でのデータのやり取りにはファイルフォーマト変換が重要

NMR

https://www.acdlabs.com/products/fileformats/

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◇ 機器スペクトルパラメーター Instrument spectral parameters

Chromatogra
phy

OpticalSpectropy

Mass Spectrometry

https://www.acdlabs.com/products/fileformats/

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◆ 医療関連データ Medical data
＊医療分野でのデータ解析はデータのとり方で様々な解析を実施できる＊現在は医療関連は統計解析を適用し、様々な病気との因果関係や薬効検証等が中心＊今後はアイディア次第で様々な解析を実施できるようになる• Data analysis in the medical field can be performed in various ways depending on how
the data is collected.
* Currently, statistical analysis is applied to medical-related, focusing on causal relationships
with various diseases and drug efficacy verification* In the future, various analyzes will be possible depending on the idea.

患者 病態
Patient pathology

数値
データ

データ解析

解析テーマ
・様々な研究テーマ・
術後回復率
術後再発率
種々癌検診
死後経過時間・データ解析手法
・機器スペクトルデータ
・解析内容に従って・NMR,Mass,GC,IR
利用・バイオ関連データ・
遺伝子情報
Postoperative recovery rate
・様々な機器診断データ
Postoperative recurrence rate
Ｘ線、CT、MRI、超音波、PET
Various cancer screening
Elapsed time after death
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◆ 医療関連データ Medical data
研究分野により名前や分析機器の種類が変わる
The name and type of analytical instrument varies depending on the research field

患者 病態
Patient
pathology

メタボロミクス
Metabolomics（NMR、Mass)

画像解析
Image analysis（CT、MRI、X線）

解析目標
Objection

法医学解析
Forensic analysis（GC、IR、Mass）
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis□パラメーターの操作や選択に関連する事項
Matters related to parameter operation and selection
１．パラメーターの単位等に関する留意事項
Notes on parameter units, etc.
２．パラメーター選択について
About parameter selection
３．サンプルの選択について
About sample selection
４．データ解析を保証するための制限事項等
Restrictions to ensure data analysis

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◇パラメーターの正規化

Parameter normalization

桁数が大きく異なるパラメーターをデータ解析時に混在すると、要因解析等を困難にする要因となる。
このようなパラメーター群を利用する場合は、通常オートスケーリングを実施する。
オートスケーリングは数値データを平均０で標準偏差１のパラメーターに変換する技術である。

If parameters with significantly different numbers of digits are mixed during
data analysis, it becomes a factor that makes factor analysis difficult.
When using such a parameter group, auto scaling is usually performed.
Autoscaling is a technique for converting numerical data into parameterswith an average of 0 and a standard deviation of 1.

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◇パラメーターの正規化 Parameter normalization■桁数の異なるパラメーター事例 Parameter examples with different numbers of digits
以下には値の桁数が異なるパラメーターや、正／負の両方を取る値等列挙する
Below are listed parameters with different numbers of values, values that take both positive and negative values, etc.

①桁数の大きくなるパラメーター；分子量（数百から千）、②値が一桁単位から二けた単位：原子数や環の数等③値が一桁程度：バイナリーデータ、フラグメントデータ、④値が小数点以下となる：分子軌道法関連パラメーター（電子密度、HOMO/LUMO、自由エネルギー、超分極率、ヤング率、その他）⑤値が生と負の両方を取る：ＬｏｇＰパラメーター、① Parameters with a large number of digits; molecular weight (hundreds to thousands)②Values are in single-digit to double-digit units: number of atoms, number of rings, etc.
③ The value is about one digit: binary data, fragment data,④ Value is below the decimal point: Parameters related to molecular orbital method(Electron density, HOMO / LUMO, free energy, hyperpolarizability, Young's modulus, etc.)⑤ Value takes both raw and negative: LogP parameter,
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◇パラメーターの正規化：オートスケーリング
Parameter normalization: autoscaling①解析時に用いるパラメーターは、桁数が揃っていることが望ましい②同じ種類のデータを用いる時は桁数がそろっている場合が多いので問題ないが、化学分野で扱うデータは内容が多種多様だけでなく、その単位（桁数）も大きく異なる場合が多い(1) It is desirable that the parameters used for analysis have the same number of digits.
(2) When using the same type of data, there are many cases where the number of digits is the same, so there
is no problem, but the data handled in the chemical field is not only diverse but also the units (number ofdigits) are often very different.

□解析に使うパラメーター
Parameters used for analysis◇パラメーターの選択（特徴抽出：Feature selection or Parameter selection）＊データ解析の信頼性を保つためにはサンプル数をパラメーター数で割った値である、信頼性指標を守ることが求められる。
このため、少ないサンプル数の場合はパラメーター数を減少させることが必要。
*現在のケモメトリックス解析では、先に述べた化学関連パラメーターはプログラムにより１サンプル（化合物）あたり数千パラメーター発生することが出来る。
＊化学関連研究ではサンプル数が少ないことが多い。このため、解析精度を保つためにもパラメーター数を減少する特徴抽出が極めて重要である。
＊解析に重要なパラメーターは、Intrinsic Parameter、反対がNon-intrinsic parameter。
* To maintain the reliability of data analysis, it is required to observe the reliability index,
which is the value obtained by dividing the number of samples by the number of parameters.
For this reason, it is necessary to reduce the number of parameters when the number ofsamples is small.
* In the current chemometric analysis, the above-mentioned chemistry-related parameters
can generate thousands of parameters per sample (compound) by the program.
* In chemistry-related research, the number of samples is often small. For this reason,
feature extraction that reduces the number of parameters is extremely important in order tomaintain analysis accuracy.
* Intrinsic parameters are important parameters for analysis, and non-intrinsic parameters
are the opposite.
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◇パラメーターの選択（特徴抽出：Feature selection or Parameter selection）＊データ解析手法によってはＰＬＳのようにパラメーター数を形式的に減少させることが出来る手法があり、パラメーターを多数発生できる化学分野ではよく利用される。
しかし、ＰＬＳは一種の次元変換／圧縮手法で、パラメーターが多いとき緊急避難的に適用される手法。データ解析で重要な要因解析は出来なくなり、分類率や予測率もキレが良くないことになる。

* Some data analysis methods, such as PLS, can formally reduce the number of parameters,
and are often used in the chemical field where many parameters can be generated.
However, PLS is a kind of dimensional transformation / compression technique that is
applied as an emergency evacuation when there are many parameters. It is impossible toanalyze important factors in data analysis, and the classification rate and prediction rate are
not good

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◇パラメーターの選択（特徴抽出：Feature selection or Parameter selection）
特徴抽出手法は大きく以下に示される４種類に分類される①パラメーターを構成する値の特徴と、統計的特性を利用した特徴抽出
Feature extraction using parameters that make up parameters and statistical characteristics
０値チエック、 同値データ出現率、フィッシャー比＊二クラス分類および重回帰（フィッテイング）の両方で利用可能②パラメーター間の相互関係に注目した特徴抽出（相関係数によるアプローチ）
Feature extraction focusing on correlation between parameters (correlation coefficient approach)
単相関、多重相関＊二クラス分類および重回帰（フィッテイング）の両方で利用可能③個々のデータ解析手法の特徴を利用した特徴抽出
Feature extraction using features of individual data analysis methods
個々のデータ解析手法の特徴や機能を用いることで特徴抽出を行う＊データ解析の種類により二クラス分類や重回帰に適用される④最適化等の手法を利用することで特徴抽出を行う
Perform feature extraction by using techniques such as optimization
遺伝的アルゴリズム等が利用され、二クラス分類や重回帰に適用される
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◇パラメーターの選択：フィッシャー比Parameter selection: Fisher ratio

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◇パラメーターの選択：バリアンスウエイト法
Parameter selection: Variance weight method
パーセプトロンの特性を利用した特徴抽出手法
Feature extraction method using characteristics of perceptron

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◇パラメーターの選択：クラスタリング
Parameter selection: Clustering

ＭｏｄｅｌＢｕｉｌｄｅｒの画面より

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◇パラメーターの選択：主成分分析法（ＰＣＡ）
Parameter selection: Principal component analysis (PCA)

ＭｏｄｅｌＢｕｉｌｄｅｒの画面より

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◇パラメーターの選択：ラインチャート
Parameter selection: Line chart

ＭｏｄｅｌＢｕｉｌｄｅｒの画面より

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◇パラメーターの選択：クラスディビジョンマップ
Parameter selection: Class division map

ＭｏｄｅｌＢｕｉｌｄｅｒの画面より

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◇パラメーターの選択：重回帰
Parameter selection: Multiple regression

ＭｏｄｅｌＢｕｉｌｄｅｒの画面より

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◇パラメーターの選択：データ解析手法の特徴を利用した特徴抽出
Parameter selection: Feature extraction using data analysis method features
クラス分類と重回帰の両方に適用■二クラス分類 Binary classification
パーセプトロンによる特徴抽出
Feature extraction by perceptron①ウエイトサイン法 Weight sign method②バリアンスウエイト法
Variance weight sign method■多クラス分類 Multi-class classification
ＳＩＭＣＡ法の指標を用いた特徴抽出
Feature extraction using SIMCA index①モデリングパワー
Modeling power②ディスクリミネイティングパワー
Discriminating power□ニューラルネットワーク
Neural network①忘却学習法Forgetting learning method②消滅学習法Erase learning method□ＰＣＡ（主成分分析）■重回帰（フィッテイング）
Multiple regression (fitting)①前進選択法②後進選択法
③Ｔ検定適用
④総当たり法PCA (principal component analysis)①因子負荷量の適用
Application of factor loading□遺伝的アルゴリズム適用
Genetic algorithm application
種々の解析手法と組み合わせて利用される
Used in combination with various
analysis methods① Forward selection method② Reverse selection method③T test application④ Round-robin method

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◇サンプルの選択 Sample selection
データ解析で判別関数や重回帰式をリファイニングしてゆく過程でサンプルも抽出する必要がある
It is necessary to extract samples in the process of refining discriminantfunctions and multiple regression equations in data analysis■二クラス分類では誤分類の原因となる「インライヤー」の除去
Removal of “inliner” that causes misclassification in 2-class classification
繰り返し最適化の過程で分類できずに残ったサンプル群の除去
Removal of sample groups that could not be classified in the process of repeated optimization「インライヤー」が特定されたことは、重要な情報源となる
The identification of “inliers” is an important source of information■重回帰では相関係数を下げる原因となる「アウトライヤー」の除去
Eliminate "outliers" that cause the correlation coefficient to drop in multiple regression
回帰式をプロットし、アウトライヤーを確認して取り除く
Plot regression equation, check outlier and remove「アウトライヤー」が特定されたことは、重要な情報源となる
The identification of “outliers” is an important source of information
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◇サンプルの選択：クラスタリング
Sample selection: Clustering

ＭｏｄｅｌＢｕｉｌｄｅｒの画面より

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◇サンプルおよびパラメーター選択：レーダーチャート
Sample and parameter selection: Radar chart

ＭｏｄｅｌＢｕｉｌｄｅｒの画面より

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□解析に使うパラメーター
Parameters used for analysis◇サンプルおよびパラメーター選択：重回帰
Sample and parameter selection: multiple regression

ＭｏｄｅｌＢｕｉｌｄｅｒの画面より

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019□データ解析関連技術の展開
Development of data analysis related technologies■解析原理・化合物操作・データ解析での留意事項（１）Notes on analysis principle, compound manipulation and data analysis
多変量解析／パターン認識によるデータ解析⇒宝箱・発見型アプローチ
化合物関連：一元一項対応、一次元表記、二次元表記、三次元表記
三次元の扱い問題：ローカル・グローバルミニマ対応
確率問題⇒偶然相関
フィッテイング⇒オーバーフィッテイング（過剰適合）
線形/非線形問題；
特徴抽出（パラメーター手法）；種類、特徴、限界サンプル関連；総サンプル数、最小サンプル数、ポピュレーション（絶対数、クラス比率）
パラメーター関連：種類、単位の違い、オートスケーリング、最少パラメーター数

Data analysis by multivariate analysis / pattern recognition ⇒ treasure chest / discovery approach
Compound-related: one-to-one correspondence, one-dimensional notation, two-dimensional notation, threedimensional notation
3D handling issues: Local and global minimal
Probability problem ⇒ accidental correlation
Fitting ⇒ Overfitting (overfit)
Linear / nonlinear problems;
Feature extraction (parameter method); type, feature, limit
Sample related: total sample number, minimum sample number, population (absolute number, class ratio)
Parameters: Type, unit difference, auto scaling, minimum number of parameters
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019□データ解析関連技術の展開
Development of data analysis related technologies■解析原理・化合物操作・データ解析での留意事項（２）Notes on analysis principle, compound manipulation and data analysis
ニューラルネットワーク⇒中間層のユニット数⇒層の重なり
問題点；チャンスコリレーション、非線形性
パラメーター数が多いとき：パラメーター圧縮 PCA PLS
パラメーター数が少ない時；成功率低下、解析不能、物性式等要因解析：パラメーターの読解力、分類力が強いパラメーター
KY法：サンプル数フリー、ポピュレーションフリー
二クラス分類；完全分類、重回帰；高相関係数、高絶対係数
分類/予測⇒クロスバリデーション
外挿と内挿の違い

Neural network-> number of units in the middle layer-> layer overlap
Problems: Chance correlation, nonlinearity
When there are many parameters: Parameter compression PCA PLS
When the number of parameters is small; decrease in success rate, inability to analyze, physicalproperties, etc.
Factor analysis: Parameters with strong reading and classification ability
KY method: Sample number free, population free
2-class classification; complete classification,
Multiple regression; high correlation coefficient, high absolute coefficientClassification / Prediction ⇒ Cross validation
Difference between extrapolation and interpolation
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◇ケモメトリックス解析を保証するための最低限の制限事項
Minimum restrictions to ensure chemometric analysis
データ解析結果を保証する３段階＋１項目の保証手続き
１．実施したデータ解析自体が正しい状態にあるか否かのチェック
データ解析をする前の前提条件
２．データ解析手法自体が有する制限事項や適用限界等
データ解析手法自体が適用対象や適用限界を有する
３．データ解析の結果が解析的に良好であるか、否か
一般的には、分類率、予測率、相関係数、絶対係数等の指標を用いる
４．その他
プログラムの制限事項、化合物を扱うときの特殊事項、その他
個々のプログラム上での制限事項、バージョンの違い、化合物に起因する特殊問題等への注意が必要

3 steps + 1 item guarantee procedure to guarantee data analysis results
1. Check that the data analysis performed is in the correct state
Preconditions before data analysis
2. Restrictions and application limits of the data analysis method itself
The data analysis method itself has application targets and application limits
3. Whether the data analysis results are analytically good or not
Generally, indicators such as classification rate, prediction rate, correlation coefficient,and absolute coefficient are used.
4). Other∙ Program restrictions, special matters when handling compounds, etc.
∙ Restrictions on individual programs, version differences, compound need to pay attention to special
problems

◇ケモメトリックス解析を保証するための最低限の制限事項
Minimum restrictions to ensure chemometric analysis

１．実施したデータ解析自体が正しい状態にあるか否かのチェック
Check that the data analysis performed is in the correct state
データ解析をする前の前提条件 Preconditions before data analysis＊サンプル数と解析に用いるパラメーター数との比が指針となる
The guideline is the ratio between the number of samples and the number of parameters used in the analysis.

＊データ解析で避けなければならない以下の問題を避けることを保証するパラメーターである
This parameter ensures that the following problems that must be avoided in data analysis
are avoided:・過剰適合：Over Fitting
・偶然相関：Chance Correlation＊上記二問題はクラス分類や重回帰（フィッテイング）手法の総てのデータ解析手法に適用される問題である
The above two problems apply to all data analysis methods such as classification andmultiple regression (fitting) methods.

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019□サンプルポピュレーション
Sample population□サンプルポピュレーションが問題になるのは判別分析等を適用する場合＊サンプルポピュレーションがクラス間で大きな差異がない時はデータ解析を問題なく実施できる＊サンプルポピュレーションがクラス間で大きな違いがある場合、データ解析結果がクラス
ポピュレーションの影響を強く受ける＊クラス分類では、ポピュレーションが多いクラスの分類率が高くなる。
Sample population is a problem when discriminant analysis is applied* Data analysis can be performed without problems when sample populations are not significantly different between classes.
* If the sample population varies greatly between classes, the data analysis results will be strongly influenced by population* Class classification increases the classification rate of classes with a large population.

クラス
１
５０％

クラス
２
５０％

クラス
１
９５％

分類率に関する寄与は略同等となる
The contribution regarding theclassification rate is almost the same.

クラス
２
５％

創出される判別関数は、総てのサンプルをクラス１に判定する。しかし、分類率は９５％と高い値になる。
The discriminant function created determines all samples as class 1.
However, the classification rate is as high as 95%.
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

◇総サンプル数／クラスサンプル数での制限事項
Restrictions on the total number of samples / class samples＊データ解析を行う時はデータ解析結果の信頼性を保証することが必要である＊一般的にサンプル分布を基本とする統計解析ではサンプル数を多くそろえることが必要なことはよく知られている＊多変量解析／パターン認識を行う時の最小サンプル数はどの程度必要なのだろうか＊他の分野と異なり、薬理活性や毒性等の分野ではサンプルを多数集めることは殆どできない＊この点で、信頼性を保ちながら多変量解析／パターン認識を行うための最小サンプル数が重要になる* When performing data analysis, it is necessary to guarantee the reliability of the data analysis results.
* In general, statistical analysis based on sample distribution requires a large number of samples.
well known* How many minimum samples are required for multivariate analysis / pattern recognition?
* Unlike other fields, it is almost impossible to collect many samples in fields such as pharmacologicalactivity and toxicity.
* In this respect, the minimum number of samples is important for multivariate analysis / patternrecognition while maintaining reliability.

＊信頼性の高いデータ解析を実施するための最少サンプル数は、解析に用いたパラメーターの数との関係で決まる＊データ解析信頼性は以下のパラメーターを基準として設定される* The minimum number of samples for performing highly reliable data analysis isdetermined by the relationship with the number of parameters used in the analysis.
* Data analysis reliability is set based on the following parameters.

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

◇総サンプル数／クラスサンプル数での制限事項
Restrictions on the total number of samples / class samples

２クラス分類の信頼性
Reliability of 2-class classification

重回帰の信頼性
Reliability of multiple regression

総サンプル数
総パラメーター数

総サンプル数
総パラメーター数≧ ４≧ ５

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◇ケモメトリックス解析を保証するための最低限の制限事項
Minimum restrictions to ensure chemometric analysis

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◇ケモメトリックス解析を保証するための最低限の制限事項
Minimum restrictions to ensure chemometric analysis■解析信頼性の簡単な事例 A simple example of analysis reliability□二クラス分類 Binary classification
例１：１００サンプルを１パラメーターで１００％分類 ⇒ 信頼性指標＝１００
Example 1: 100 samples are classified as 100% by one parameter ⇒ Reliability index = 100

この解析のパラメーターはクラス分類に極めて重要な情報を持つ
This parameter has extremely important information for classification
例２：１００サンプルを１０００パラメーターで１００％分類 ⇒ 信頼性指標＝０．１
Example 2: 100 samples are classified 100% with 1000 parameters ⇒ Reliability index = 0.1

１０００個のパラメーターはクラス分類に重要な情報を持たない
1000 parameters do not have important information for class classification

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◇ケモメトリックス解析を保証するための最低限の制限事項
Minimum restrictions to ensure chemometric analysis■解析信頼性の簡単な事例 A simple example of analysis reliability□重回帰（フィッテイング）Multiple regression (fitting)
例１：１００サンプルを１パラメーターで１００％分類 ⇒ 信頼性指標＝１００
Example 1: 100 samples are classified as 100% by one parameter ⇒ Reliability index = 100
このパラメーターはクラス分類に極めて重要な情報を持つ
This parameter has extremely important information for classification

例２：１００サンプルを１０００パラメーターで１００％分類 ⇒ 信頼性指標＝０．１
Example 2: 100 samples are classified 100% with 1000 parameters ⇒ Reliability index = 0.1
１０００個のパラメーターはクラス分類に重要な情報を持たない
1000 parameters do not have important information for class classification

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◇ケモメトリックス解析を保証するための最低限の制限事項
Minimum restrictions to ensure chemometric analysis■解析信頼性の簡単な事例 A simple example of analysis reliability□二クラス分類 Binary classification
例１：１００サンプルを１パラメーターで１００％分類
Example 1: 100 samples are classified as 100% by one parameter

ポジかネガの１００サンプルの可能な組み合わせの場合の数は２１００ となる。
パラメーターが二値パラメーターであれば、表現できる場合の数は２。
従って、１パラメーターで１００サンプルを二分割できる確率は、
Ｐ＝２／２１００ で、殆ど０であり、チャンスコリレーション（偶然相関） はない。
The number of possible combinations of 100 positive or negative samples is 2100.
If the parameter is a binary parameter, the number that can be expressed is 2.
Therefore, the probability that 100 samples can be divided into two with one parameter is
P = 2/2100, almost zero, and there is no chance correlation.

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◇ケモメトリックス解析を保証するための最低限の制限事項
Minimum restrictions to ensure chemometric analysis■解析信頼性の簡単な事例 A simple example of analysis reliability□二クラス分類 Binary classification

例２：１００サンプルを１０００パラメーターで１００％分類
ポジかネガの１００サンプルの可能な組み合わせの場合の数は２１００ となる。
パラメーターが二値パラメーターであれば、表現できる場合の数は２１０００ である。
従って、１パラメーターで１００サンプルを二分割できる確率は、
Ｐ＝２１０００ ／２１００ で、Ｐは極めて大きい値となる。
例２の条件下では、１００サンプルの１００％分類は確実に実現する。即ち、チャンスコリレーション（偶然相関）が発生する。
The number of possible combinations of 100 positive or negative samples is 2100.
If the parameter is a binary parameter, the number of cases that can be expressed is 21000.
Therefore, the probability that 100 samples can be divided into two with one parameter is
P = 21000/2100, and P is a very large value.
Under the conditions of Example 2, 100% classification of 100 samples is reliably realized.
That is, chance correlation (accidental correlation) occurs.
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◇ケモメトリックス解析を保証するための最低限の制限事項
Minimum restrictions to ensure chemometric analysis◇重回帰で相関係数や絶対係数を１にする方法
Method to set correlation coefficient and absolute coefficient to 1 by multiple regression
目的変数として薬理活性のＥＤ５０を用いて、１００個のサンプルを用意。なお、これら１００個のサン
プルにはあらかじめ１から１００番までの任意のＩＤ番号を付ける。
100 samples were prepared using ED50 of pharmacological activity as the objective variable. These 100
samples are given arbitrary ID numbers from 1 to 100 in advance.

１．サンプルデータとして薬理活性のＥＤ５０値を持つ１００個の化合物を用意。
２．使用するパラメータとしてサンプル数と同じ１００パラメータを用意します。
３．各パラメータは化合物のＩＤ番号の部分を１とし、残りはすべて０とします。
４．１００サンプルのＥＤ５０を目的変数、１００個のパラメータを説明変数として重回帰を実行します。

1. Prepare 100 compounds with ED50 values of pharmacological activity as sample data.
2. Prepare 100 parameters that are the same as the number of samples.
3. For each parameter, the ID number of the compound is 1 and the rest are all 0.
4. Perform multiple regression with 100 samples of ED50 as the target variable and 100
parameters as explanatory variables.
実行結果：
相関係数R=1、 絶対係数R2=1

Execution result:
Correlation coefficient R = 1, absolute coefficient R2 = 1
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◇ケモメトリックス解析を保証するための最低限の制限事項
Minimum restrictions to ensure chemometric analysis◇重回帰で相関係数や絶対係数を１にする方法
Method to set correlation coefficient and absolute coefficient to 1 by multiple regression

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

◇取り出すサンプル数の限界
Limit on number of samples＊二クラス分類では誤る分類するサンプル（インライヤー）を取り除くことで判別関数の予測精度を高める。
このサンプル取り出しは初期サンプル数の約１０％を上限にするとされている。
* In the two-class classification, the prediction accuracy of the discriminant function is improved byremoving erroneously classified samples (inliers).
This sample removal is supposed to have an upper limit of about 10% of the initial number of samples.

＊重回帰（フィッテイング）でもサンプル（アウトライヤー）を取り除くことで重回帰式の相関／絶対係数を高くする。
このサンプル取り出しは二クラス分類と同様に初期サンプル数の約１０％を上限にするとされている。
* In the multiple regression (fitting), thecorrelation / absolute coefficient of themultiple regression equation is increased
by removing the sample (outlier).
Similar to the two-class classification,
this sample extraction is supposed tohave an upper limit of about 10% of theinitial number of samples.

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◇クラスサンプル数の限界 Class sample limit

クラスポピュレーション ≧ パラメーター数
Class population≧ Number of parameters
ポピュレーション例：
総サンプル数１００、クラス分類率１００％、でもどちらの結果を信用しますか
Population example:
Which result do you trust, with a total sample count of 100 and a classification rate of 100%
①クラス１；９９サンプル、 クラス２；１サンプル②クラス１；５０サンプル、 クラス２；５０サンプル① Class 1; 99 samples, Class 2; 1 sample② Class 1; 50 samples, Class 2; 50 samples

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◇分類率と予測率 Classification rate and prediction rate
＊二クラス分類では分類率と予測率が作成された判別関数の精度を示す指標として利用される* In the two-class classification, the classification rate and the prediction rate are used as
an index indicating the accuracy of the discriminant function that was created.
＊分類率はデータ解析に用いたサンプルを判定するものなので、サンプルに困ることはない＊予測率は予測項目の実測値が無いので、予測率を出すことは出来ない＊予測率算出には、クラス既知のサンプルを使って仮の値を出すことが出来る＊一般的にはクロスバリデーションと呼ばれており、様々な手法が展開されている＊“Leave N Out”法が最も良く利用されているクラス既知のサンプルのなかからＮ個のサンプルを取り出す。このＮサンプルをクラス未知とし、残る（Ｔ－Ｎ）個のサンプルを用いて予測モデルを構築し、この予測モデルを用いて取り出されたＮサンプ
ルについて予測を行う。この手順を総てのサンプルについて繰り返して、全体の予測値を出す。
この時、パラメーターセットは同じものを利用する。
* Since the classification rate determines the sample used for data analysis, there is no problem with thesample.
* Since there is no actual measurement value of the prediction item, the prediction rate cannot be obtained.
* For calculating the prediction rate, a temporary value can be obtained using a sample of known class* Generally called cross-validation, various methods have been developed.
* “Leave N Out” method is the most commonly used.
* N samples are taken out of samples of known class. The N samples are class unknown, a prediction model
is constructed using the remaining (TN) samples, and prediction is performed on the N samples extractedusing the prediction model. This procedure is repeated for all samples to give an overall predicted value. At
this time, the same parameter set is used.
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◇分類率と予測率

Classification rate and prediction rate

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

◇総サンプル数／クラスサンプル数
Total number of samples / class samples＊総サンプル数は使ったパラメーターの数で決まる＊データ解析時に用いるサンプル数を４（二クラス分類）か５（重回帰）で割った値のパラメーターを用いてデータ解析を行えば、データ解析の信頼性が保証される* The total number of samples is determined by the number of parameters used.
* Reliability of data analysis is guaranteed if data analysis is performed using parameters
obtained by dividing the number of samples used in data analysis by 4 (two-classclassification) or 5 (multiple regression)

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

◇総サンプル数／クラスサンプル数
Total number of samples / class samples

１００サンプル用いた場合、解析に用いたパラメーターが２クラスタ分類 ： ２５以下 ⇒ 解析信頼性が保証
２５以上 ⇒ 解析信頼性が低い
重回帰：２０以下 ⇒ 解析信頼性が保証
２０以上 ⇒ 解析信頼性が低い
When 100 samples were used, the parameters used for the analysis were
2 cluster classification: 25 or less ⇒ Guaranteed analysis reliability
25 or more ⇒ Low analysis reliability
Multiple regression:
20 or less ⇒ Guaranteed analysis reliability
20 or more ⇒ Low analysis reliability

結論：最小サンプル数の縛りはない用いたサンプル数でパラメーター数の縛りが発生
Conclusion: There is no restriction on the minimum number of samples
The number of parameters used is limited by the number of samples used

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

◇総サンプル数／クラスサンプル数
Total number of samples / class samples＊クラスの最少サンプル数は使えるパラメーターの数と直結する＊解析信頼性を保ってクラス分類を行う場合、総サンプル数よりも最小クラスのサンプル数がパラメーターの利用制限に強い影響を及ぼす* The minimum number of samples in a class is directly linked to the number of usable parameters.
* When classifying with analysis reliability maintained, the number of samples in the smallest class has agreater influence on the parameter usage limit than the total number of samples.

１００サンプルでクラス１が９０でクラス２が１０の場合
２クラスタ分類 ： １０以下 ⇒ 解析信頼性が保証
１０以上 ⇒ 解析信頼性が低い
100 samples, class 1 is 90 and class 2 is 10
2 cluster classification: 10 or less ⇒ Guaranteed analysis reliability
10 or more ⇒ Low analysis reliability

結論：クラスポピュレーションの最小クラスのサンプル数
この値を超えた数のパラメーターは使えない
Conclusion: Number of samples in the smallest class of class population
The number of parameters exceeding this value cannot be used

＊パラメーターを多くしたい時は、最小クラスのサンプル数を増やす＊
If you want more parameters, increase the number of samples in the smallest class
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◇線形／非線形問題

Linear / nonlinear problems＊線形および非線形に関する問題はデータ解析を行う時に常に考慮すべき事項である＊データ解析の外挿性や内挿性に関係する＊過剰適合を起こしている場合、非線形解析の方が発生しやすい＊データ解析の簡易度で考える場合、線形解析よりも非線形解析の方が成功率は高い＊判別分析や重回帰を行う場合、分類率や相関係数、絶対係数値は線形解析よりも非線形解析の方が高い／良好な結果を導きだす＊Ｎ次元サンプル空間での問題を考えた場合、・線形での解析はサンプル空間を作り直して分類や重回帰を実施
・非線形解析の場合、サンプル空間の形に合わせて判別関数や重回帰式を算出* Linear and non-linear problems should always be considered when performing data analysis* Related to extrapolation and interpolation of data analysis* Nonlinear analysis is more likely to occur when overfitting occurs.
* When considering the simplicity of data analysis, the success rate of nonlinear analysis is higher than thatof linear analysis.
* When performing discriminant analysis and multiple regression, the classification rate, correlation
coefficient, and absolute coefficient value are higher in the non-linear analysis than in the linear analysis.
* When considering problems in the N-dimensional sample space,・ For linear analysis, sample space is recreated and classification and multiple regression are performed.
・ For non-linear analysis, calculate discriminant function and multiple regression equation according to theshape of the sample space.
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◆線形分類によるクラス分類
Class classification by linear classification＊分類できない場合 classification is not possible■ノイズデータを含んだＮ次元パターン空間
N-dimensional pattern space including noise data

Ａ

Ｎ
Ｎ

Ｎ

Ｎ
Ａ

Ａ

Ａ
Ｎ

線形判別関数
Linear discriminant functionＡＮＮ

Ａ Ｎ Ａ Ａ
Ａ
Ｎ
Ａ Ｎ
Ａ Ａ
Ａ
Ａ
Ａ
Ａ
Ｎ
Ａ
Ｎ

Ｎ

Y=a1x1+a2x2+・・+anxn+const.

Ａ
目的活性とパターン空間に何ら相関関係が見出せない
No correlation can be found between
target activity and pattern space

Ａ；活性化合物
Ｎ；非活性化合物
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◆線形分類によるクラス分類
Class classification by linear classification＊分類可能な場合 classification is possible■目的活性と相関の高いパラメータ群により形成されるN次元空間
N-dimensional space formed by parameter groups highly correlated with target activity
予測結果
Prediction

Ｎ
予測結果
Ｘ
Prediction
Ｎ
Ｎ
Ｎ
Ａ
Ｎ
Ｎ
ＮＮ
ＡＡ
Ａ
Ｎ
Ａ
Ａ
Ｎ
活性
非活性
Ａ Ａ
Ｎ Ｘ Ｎ Ｎ
化合物
Ｎ
Ａ
Ａ
化合物
Ｎ Ｎ
Ａ
Ｘ
Ｎ
Ｎ Ｎ
Ａ
Ａ Ａ
LinearＡ Ａ
ＡdiscriminantＡ

Ｘ

Y=a1x1+a2x2+・・+anxn+const.

＊活性および非活性化合物群と２分割可能なパターン空間＊本空間を作るパラメータ群には、活性／非活性と分類するに重要な情報 （科学的根拠／相関）を持つ* Active and inactive compound groups and pattern space that can be divided into two* The parameters that make up this space have important information (scientific basis / correlation) for
classification as active / inactive.
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

◆非線形分類によるクラス分類
Class classification by non-linear classification
線形判別関数で２分割可能な
パターン空間線形判別関数で２分割不可能なパターン空間
Pattern space that cannot be divided into two by linear
discriminant function

決定木
ニューラルネットワーク
Decision tree
N.N.

パターン分布に合わせた分類
Classification according to pattern
distribution

特
徴
抽
出

Feature selection

Ｎ Ｎ
Ｎ
Ａ Ｎ
Ａ
Ａ
Ａ
Ａ Ｎ
Ｎ
Ｎ
Ｎ
Ａ
Ａ
Ａ Ａ
Ｎ
Ａ
Ｎ
Ｎ
Ａ
Ａ Ａ
Ａ
Ａ
Ａ
Ａ Ａ Ｎ
Ｎ

Pattern space that can be divided into two by
linear discriminant function

Ｎ Ｎ
Ａ
Ｎ
Ｎ Ｎ
Ａ Ａ
Ａ
Ｎ
Ａ
Ｎ Ｎ
Ａ
Ａ
Ｎ Ｎ Ａ Ａ Ａ
Ａ
Ａ
Ｎ Ｎ
Ａ
Ａ
Ａ

線形判別関数
Linear discriminant function

科学に基づいたパターン空間
Science-based pattern space
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◆ニューラルネットワークによる非線形分類
Nonlinear classification by neural network
ニューラルネットワーク：バックプロパゲーション
Neural network: Backpropagation
バックプロパゲーションによる
非線形フィッティングのイメージ図
Image of nonlinear fitting bybackpropagation

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◇ケモメトリックス解析を保証するための最低限の制限事項
Minimum restrictions to ensure chemometric analysis□ニューラルネットワークによる二クラス分類 Two-class classification by neural network
ニューラルネットワークのネットワーク構造により、パラメーターが表現できる
場合の数は単純パーセプトロンと比較して極端に大きい値となる。
Due to the network structure of the neural network, the number of parameters that can be
expressed is extremely large compared to a simple perceptron.
例：１００サンプルの二クラス分類で、ニューラルネットワークで、入力パラメーター数は１０とし、中間層のユニット数も１０とした場合の１００％分類の可能性は以下となる。
Example: 100-sample two-class classification, with a neural network, the number of input
parameters is 10 and the number of units in the middle layer is also 10. The possibility of
100% classification is as follows.

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◇ケモメトリックス解析を保証するための最低限の制限事項
Minimum restrictions to ensure chemometric analysis□ニューラルネットワークによる二クラス分類 Two-class classification by neural network
ポジかネガの１００サンプルの可能な組み合わせの場合の数は２１００ となる。
一方、パラメーターが二値パラメーターであれば、ニューラルネットワークで表現できる
場合の数は入力層で２１０。これに中間層で生起される場合の数は、（ ２１０）１０となる。
従って、１パラメーターで１００サンプルを二分割できる確率は、
Ｐ＝ （ ２１０）１０ ／２１００ で、極めて大きな値となる。

この結果、チャンスコリレーション（偶然相関） は必然的に発生する。
The number of possible combinations of 100 positive or negative samples is 2100.
On the other hand, if the parameter is a binary parameter, the number that can be expressedby the neural network is 210 in the input layer. The number when this occurs in theintermediate layer is (210) 10.
Therefore, the probability that 100 samples can be divided into two with one parameter is
P = (210) 10/2100, which is an extremely large value.
As a result, chance correlation (incidental correlation) inevitably occurs.
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◇ケモメトリックス解析を保証するための最低限の制限事項
Minimum restrictions to ensure chemometric analysis□ニューラルネットワークによる二クラス分類 Two-class classification by neural network

ニューラルネットワークの二クラス分類は中間層のユニット数が大きくなると場合の数が拡大し、中間層の層数が拡大するとさらに場合の数は急激に拡大する。
最近の深層学習を行う多層のネットワーク構造では、チャンスコリレーションの影響を少なくするべく、学習用サンプル数を極めて大きくすることが必要となる。

In the two-class classification of the neural network, the number of cases increases as
the number of units in the intermediate layer increases, and the number of cases increases
rapidly as the number of layers in the intermediate layer increases.
In recent multi-layer network structures that perform deep learning, it is necessary toincrease the number of learning samples extremely to reduce the influence of chancecorrelation.

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□機械学習型人工知能 Machine learning type artificial intelligence・パーセプトロンとニューラルネットワーク Perceptron and neural network
ニューラルネットワーク：バックプロパゲーション
Neural network: Backpropagation
バックプロパゲーションによる
非線形フィッティングのイメージ図
Image of nonlinear fitting bybackpropagation

中間層の段数が大きくなると非線形性が強くなる
Nonlinearity increases as the number of intermediate layers increases

中間層の層数は急激な場合の数の拡大を伴う

The number of intermediate layers is accompanied by an increase in
the number of sudden cases
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◆線形および非線形フィッテイング
Linear and non-linear fitting
科学に基づいたアプロ－チ Science-based approach

外挿Extrapolation

Ｓ
ＳＳ
ＳＳ ＳＳ ＳＳ ＳＳＳＳＳＳ ＳＳ ＳＳ ＳＳ ＳＳ ＳＳ
ＳＳ
ＳＳ Ｓ Ｓ Ｓ
ＳＳ
ＳＳ Ｓ
ＳＵ Ｓ
Ｓ
ＳＳ
Ｓ
ＳＳ内挿
Y=a
ＳＳ ＳＳ Ｓ ＳＳ
Ｓ
Y=a11xx11+a+a22xx22+・・+a+・・+annxxnn+const.
+const.
内挿Ｓ
ＳＳ ＳＳ ＳＳ ＳＳ ＳＳ
Ｓ
ＳＳ

アウトライヤー
OutlierＳＳ

特徴抽出
パターンのみのアプロ－チ
パターンのみのアプロ－チ
Pattern-only approach

Feature selection
Ｓ

外挿？

Extrapolation
Ｓ

Ｓ
ニューラルネットワーク N.N.
Ｓ
Ｓ Ｓ
Ｓ
Ｓ
Ｓ
Ｓ
Ｓ
Ｓ
Ｓ ＳＳ
Ｓ Linear regression line
R=0.99 > R=0.70
Ｓ
Ｓ
Ｓ
Ｓ Ｓ
Ｓ
Ｓ
Ｓ Ｓ
Ｓ
Ｓ
Ｓ
Ｓ
Ｓ
Ｓ
Ｓ
Ｓ
Ｓ
真のアウトライヤー？
A true outlier?
Ｓ
外挿？

Extrapolation

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

◇過剰適合/過学習
Overfitting / overlearning
過剰適合（かじょうてきごう、英: Overfitting）とは、統計学や機械学習において、訓練データに対して学習されているが、未知データ（テストデータ）に対しては適合できていない、汎化できていない状態を指す。汎化能力の不足に起因する。
Overfitting is a generalization that is learned for training data in statistics and machinelearning but cannot be applied to unknown data (test data). Refers to a state that has not been
completed. Due to lack of generalization ability.

ほぼ線形なデータ Nearly linear data
一次関数はほぼ適合し、多項関数はサンプル上に適合している
The linear function fits almost and thepolynomial function fits on the sample

評価時のエラー
Error during evaluation

訓練時のエラー
Error during training

一次関数は両端で値が安定するが多項関数は両端で値が大きく変動
The value of a linear function is stable at both ends, but thevalue of a polynomial function varies greatly at both ends

https://ja.wikipedia.org/wiki/過剰適合

ニューラルネットワークでの過剰適合の状況
Status of overfitting in neural networks
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

◇過剰適合/過学習
Overfitting / overlearning
３パラメーターを用いた重回帰
解析信頼性を保ったパラメーター数
Multiple regression using 3 parameters
Number of parameters maintaining analysis reliability

全サンプル数２１
学習用１６サンプル
Total number of samples 21
16 samples for learning

相関係数： ０．９６８
Correlation
coefficient: 0.968
汎化能大Generalization ability

https://tjo.hatenablog.com/entry/2016/04/14/190000

９パラメーターを用いた重回帰
解析信頼性を伴わないパラメーター数
Multiple regression using 9 parameters
Number of parameters without analysis
reliability

相関係数： ０．９８６
Correlation
coefficient: 0.986
過学習Over-learning
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

◇過剰適合/過学習
Overfitting / overlearning

全サンプル２１
学習用１６＋テストデータ５
Total samples 21
16+ test data for learning 5

パラメーター３の場合と９の場合の回帰図
Regression chart for parameter 3 and 9https://tjo.hatenablog.com/entry/2016/04/14/190000

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019