In mathematics, statistics, finance, and computer science, particularly in machine learning and inverse problems, regularization is a process that converts the answer to a problem to a simpler one.
Dalam matematika, statistik, keuangan, dan ilmu komputer, terutama dalam pemelajaran mesin dan masalah invers, regularisasi adalah proses yang mengubah jawaban suatu masalah menjadi jawaban yang lebih sederhana.
It is often used in solving ill-posed problems or to prevent overfitting.
Metode ini sering digunakan untuk memecahkan masalah yang sulit atau untuk mencegah overfitting.
Explicit regularization is commonly employed with ill-posed optimization problems.
Regularisasi eksplisit umumnya digunakan pada masalah optimasi yang tidak terdefinisi dengan baik (ill-posed optimization problems).
The regularization term, or penalty, imposes a cost on the optimization function to make the optimal solution unique.
Suku regularisasi, atau penalti, memberikan biaya pada fungsi optimisasi untuk membuat solusi optimal menjadi unik.
Implicit regularization is all other forms of regularization.
Regularisasi implisit adalah semua bentuk regularisasi lainnya.
This includes, for example, early stopping, using a robust loss function, and discarding outliers.
Ini termasuk, misalnya, early stopping, penggunaan fungsi kerugian yang robust, dan penghapusan data pencilan (outlier).
By combining both using Bayesian statistics, one can compute a posterior, that includes both information sources and therefore stabilizes the estimation process.
Dengan menggabungkan keduanya menggunakan statistik Bayesian, kita dapat menghitung posterior yang mencakup kedua sumber informasi tersebut, sehingga menstabilkan proses estimasi.
By trading off both objectives, one chooses to be more aligned to the data or to enforce regularization (to prevent overfitting).
Dengan menyeimbangkan kedua tujuan ini, kita memilih untuk lebih berorientasi pada data atau untuk menegakkan regularisasi (untuk mencegah overfitting).
In practice, one usually tries a specific regularization and then figures out the probability density that corresponds to that regularization to justify the choice.
Dalam praktiknya, seseorang biasanya mencoba regularisasi tertentu dan kemudian mencari tahu densitas probabilitas yang sesuai dengan regularisasi tersebut untuk membenarkan pemilihan tersebut.
It can also be physically motivated by common sense or intuition.
Ini juga bisa dimotivasi secara fisik melalui akal sehat atau intuisi.
In machine learning, the data term corresponds to the training data and the regularization is either the choice of the model or modifications to the algorithm.
Dalam pemelajaran mesin, istilah data terkait dengan data pelatihan, sementara regularisasi adalah pilihan model atau modifikasi pada algoritma.
It is always intended to reduce the generalization error, i.e. the error score with the trained model on the evaluation set (testing data) and not the training data.
Tujuan utamanya selalu untuk mengurangi kesalahan generalisasi, yaitu skor kesalahan dengan model terlatih pada set evaluasi, bukan data pelatihan.
One of the earliest uses of regularization is Tikhonov regularization (ridge regression), related to the method of least squares.
Salah satu penggunaan regularisasi yang paling awal adalah regularisasi Tikhonov (regresi ridge), yang terkait dengan metode kuadrat terkecil.
Bayesian interpretation of regularization Bias–variance tradeoff Matrix regularization Regularization by spectral filtering Regularized least squares Lagrange multiplier Variance reduction L-curve Neumaier, A. (1998).
Interpretasi Bayesian tentang regularisasi Pertukaran bias-varians Regularisasi matriks Regularisasi dengan penyaringan spektral Kuadrat terkecil yang teratur Pengali Lagrange Pengurangan varians Neumaier, A. (1998).