Analitik prediktif
mengekspresikan satu variabel dependen sebagai kombinasi linear dari fitur lain atau pengukuran. Namun, ANOVA dan analisis regresi memberikan sebuah variabel dependen yang merupakan variabel numerik, sementara hirarkis optimal analisis diskriminan memberikan sebuah variabel dependen yang merupakan variabel kelas.
Classification and regression trees (CART) adalah non-parametrik decision tree learning teknik yang menghasilkan baik klasifikasi maupun regresi pohon, tergantung pada apakah variabel dependen kategorik maupun numerik, masing-masing.
Pohon keputusan yang terbentuk oleh kumpulan dari aturan-aturan yang didasarkan pada variabel-variabel dalam pemodelan data set: Masing-masing cabang dari pohon yang berakhir di terminal node. Setiap pengamatan jatuh ke satu dan satu terminal node, dan masing-masing terminal node secara unik ditentukan oleh seperangkat aturan.
Multivariate adaptive regression splines (MARS) adalah non-parametrik teknik yang membangun model fleksibel dengan pas piecewise linear regresi.
Konsep penting yang berhubungan dengan regresi spline adalah bahwa dari sebuah simpul. Simpul adalah dimana satu lokal model regresi memberikan cara untuk yang lain dan dengan demikian merupakan titik perpotongan antara dua splines.
Di multivariat dan adaptive regression splines, dasar fungsi ini adalah alat yang digunakan untuk generalisasi pencarian untuk knot. Dasar fungsi adalah fungsi yang digunakan untuk mewakili informasi yang terkandung dalam satu atau lebih variabel. Multivariat dan Adaptive Regression Splines model hampir selalu menciptakan dasar fungsi yang berpasangan.
Multivariat dan adaptive regression spline sengaja overfits model dan kemudian plum untuk mendapatkan model yang optimal. Algoritme komputasi yang sangat intensif dan dalam prakteknya kita diminta untuk menentukan batas atas pada jumlah dasar fungsi.
Pembelajaran mesin, sebuah cabang dari kecerdasan buatan, awalnya digunakan untuk mengembangkan teknik-teknik untuk memungkinkan komputer untuk belajar. Hari ini, karena itu termasuk sejumlah lanjutan metode statistik untuk regresi dan klasifikasi, ia menemukan aplikasi dalam berbagai bidang, termasuk bidang medis diagnostik, penipuan kartu kredit deteksi wajah dan pengenalan suara dan
analisis pasar saham. Dalam aplikasi tertentu, itu sudah cukup untuk langsung memprediksi variabel dependen tanpa berfokus pada yang mendasari hubungan antara variabel-variabel. Dalam kasus lain, hubungan yang mendasari dapat menjadi sangat kompleks dan matematika bentuk dependensi yang tidak diketahui. Untuk kasus seperti ini, teknik pembelajaran mesin meniru manusia kognisi dan belajar dari pelatihan contoh untuk memprediksi kejadian di masa depan.
Diskusi singkat dari beberapa metode ini biasa digunakan untuk analisis prediktif disediakan di bawah. Sebuah studi rinci tentang machine learning dapat ditemukan di Mitchell (1997).
Jaringan saraf adalah nonlinear canggih teknik pemodelan yang mampu memodelkan fungsi-fungsi yang kompleks. Mereka dapat diterapkan untuk masalah prediksi, klasifikasi atau kontrol dalam spektrum yang luas dari bidang-bidang seperti keuangan, psikologi kognitif/neuroscience, kedokteran, teknik, dan fisika.
Jaringan saraf tiruan yang digunakan ketika sifat yang tepat dari hubungan antara input dan output tidak diketahui. Fitur kunci dari jaringan saraf adalah bahwa mereka mempelajari hubungan antara input dan output melalui pelatihan. Ada tiga jenis pelatihan yang digunakan oleh berbagai jaringan saraf: supervised dan unsupervised pelatihan dan penguatan belajar, dengan diawasi menjadi salah satu yang paling umum.
Beberapa contoh dari jaringan saraf tiruan teknik pelatihan backpropagation, cepat rambat, conjugate gradient descent, proyeksi operator, Delta-Bar-Delta dll. Beberapa tanpa pengawasan arsitektur jaringan multilayer perceptrons, Kohonen jaringan, jaringan Hopfield, dll.
Dengan multilayer perceptron (MLP) yang terdiri dari input dan output layer dengan satu atau lebih lapisan tersembunyi secara nonlinier-mengaktifkan node atau sigmoid node. Hal ini ditentukan oleh berat vektor dan hal ini diperlukan untuk menyesuaikan bobot jaringan. Backpropagation menggunakan gradien jatuh untuk meminimalkan kuadrat error antara output jaringan dan nilai-nilai yang diinginkan untuk orang-output.
Bobot disesuaikan dengan proses yang berulang-ulang berulang-ulang hadir atribut. Perubahan kecil dalam berat untuk mendapatkan nilai-nilai yang diinginkan dilakukan dengan proses yang disebut pelatihan internet dan dilakukan melalui training set (belajar aturan).
Sebuah radial basis function (RBF) adalah fungsi yang telah dibangun ke dalamnya jarak kriteria sehubungan dengan pusat. Fungsi-fungsi tersebut dapat digunakan dengan sangat efisien untuk interpolasi dan untuk merapikan data. Radial basis fungsi yang telah diterapkan di daerah jaringan saraf dimana mereka digunakan sebagai pengganti sigmoid fungsi transfer. Jaringan tersebut memiliki 3 lapisan, lapisan input,
lapisan tersembunyi dengan RBF non-linearitas dan linear output layer. Pilihan yang paling populer untuk non-linearitas adalah Gaussian. RBF jaringan memiliki keuntungan tidak terkunci ke minima lokal seperti melakukan feed-forward jaringan seperti multilayer perceptron.
Support vector machines (SVM) yang digunakan untuk mendeteksi dan mengeksploitasi pola yang kompleks di data oleh clustering, klasifikasi dan peringkat data. Mereka belajar mesin yang digunakan untuk melakukan biner klasifikasi dan regresi estimasi. Mereka biasanya menggunakan kernel berbasis metode untuk menerapkan linear klasifikasi teknik non-linear klasifikasi masalah. Ada sejumlah jenis SVM seperti linear, polynomial, sigmoid dll.
Nave Bayes berdasarkan Bayes probabilitas bersyarat aturan yang digunakan untuk melakukan klasifikasi tugas-tugas. Nave Bayes menganggap prediktor yang secara statistik independen yang membuatnya efektif klasifikasi alat yang mudah untuk menafsirkan. Hal ini paling baik digunakan ketika dihadapkan dengan "curse of dimensionality" masalah, yaitu ketika jumlah prediktor yang sangat tinggi.
The nearest neighbour algorithm (KNN) milik kelas pengenalan pola metode statistik. Metode ini tidak memaksakan apriori asumsi tentang distribusi dari mana pemodelan sampel ditarik. Ini melibatkan pelatihan ditetapkan dengan nilai positif dan negatif. Sampel baru adalah diklasifikasikan dengan menghitung jarak ke tetangga terdekat pelatihan kasus. Tanda titik itu akan menentukan klasifikasi sampel. Di k-nearest neighbour classifier,
k titik terdekat yang dianggap dan tanda mayoritas digunakan untuk mengklasifikasikan sampel. Kinerja dari algoritme kNN dipengaruhi oleh tiga faktor utama: (1) jarak pengukuran yang digunakan untuk menemukan terdekat tetangga; (2) keputusan aturan yang digunakan untuk memperoleh klasifikasi dari k-tetangga terdekat; dan (3) jumlah tetangga digunakan untuk
mengklasifikasikan sampel baru. Hal ini dapat membuktikan bahwa, tidak seperti metode lain, metode ini adalah universal asimtotik konvergen, yaitu: sebagai ukuran dari training set meningkat, jika pengamatan independen dan identik didistribusikan (saya.aku.d.), terlepas dari distribusi dari sampel yang diambil, diperkirakan hotel akan berkumpul untuk tugas kelas yang meminimalkan kesalahan klasifikasi kesalahan. Lihat Devroy et al.
Secara konseptual, geospasial pemodelan prediktif berakar pada prinsip bahwa kejadian dari peristiwa yang sedang dimodelkan terbatas dalam distribusi. Kejadian dari peristiwa yang tidak seragam atau random dalam distribusi-ada spasial faktor lingkungan (infrastruktur, sosial-budaya, topografi, dll) yang membatasi dan pengaruh mana lokasi peristiwa terjadi. Geospasial pemodelan prediktif upaya