k-means merupakan salah satu algoritma clustering x. wu and v. kumar, eds., the top ten algorithms in data mining.chapman and hall, 2009..
tujuan algoritma ini
pada algoritma pembelajaran ini, komputer mengelompokkan sendiri data-data yang menjadi masukannya tanpa mengetahui terlebih dulu target kelasnya.
pembelajaran ini termasuk dalam unsupervised learning.
masukan yang diterima adalah data atau objek dan k buah kelompok (cluster) yang diinginkan.
algoritma ini akan mengelompokkan data atau objek ke dalam k buah kelompok tersebut.
pada setiap cluster terdapat titik pusat (centroid) yang merepresentasikan cluster tersebut.
k-means ditemukan oleh beberapa orang yaitu lloyd (1957, 1982), forgey (1965) , friedman and rubin (1967) , and mcqueen (1967) .
ide dari clustering pertama kali ditemukan oleh lloyd pada tahun 1957, namun hal tersebut baru dipublikasi pada tahun 1982.
pada tahun 1965, forgey juga mempublikasi teknik yang sama sehingga terkadang dikenal sebagai lloyd-forgy pada beberapa sumber.
algoritma untuk melakukan k-means clustering adalah sebagai berikutp.-n. tan, m.
steinbach, and v. kumar, introduction to data mining, (first edition).
boston, ma, usa: addison-wesley longman publishing co., inc., 2005.:
pilih k buah titik centroid secara acak
kelompokkan data sehingga terbentuk k buah cluster dengan titik centroid dari setiap cluster merupakan titik centroid yang telah dipilih sebelumnya
perbaharui nilai titik centroid
ulangi langkah 2 dan 3 sampai nilai dari titik centroid tidak lagi berubah
proses pengelompokkan data ke dalam suatu cluster dapat dilakukan dengan cara menghitung jarak terdekat dari suatu data ke sebuah titik centroid.
perhitungan jarak minkowski dapat digunakan untuk menghitung jarak antar 2 buah data.
rumus untuk menghitung jarak tersebut adalaho.
maimon and l. rokach, data mining and knowledge discovery handbo- ok.
secaucus, nj, usa: springer-verlag new york, inc., 2005.:
g = 1, untuk menghitung jarak manhattan
g = 2, untuk menghitung jarak euclidean
g = , untuk menghitung jarak chebychev
xi , xj adalah dua buah data yang akan dihitung jaraknya
p = dimensi dari sebuah data
pembaharuan suatu titik centroid dapat dilakukan dengan rumus berikut:
k = titik centroid dari cluster ke-k
nk = banyaknya data pada cluster ke-k
xq = data ke-q pada cluster ke-k
kelebihan dan kekurangan
ada beberapa kelebihan pada algoritma k-means, yaitu :
mudah untuk diimplementasikan dan dijalankan.
waktu yang dibutuhkan untuk menjalankan pembelajaran ini relatif cepat.
mudah untuk diadaptasi.
algoritma k-means memiliki beberapa kelebihan, namun ada kekurangannya juga.
kekurangan dari algoritma tersebut yaitu :
sebelum algoritma dijalankan, k buah titik diinisialisasi secara random sehingga pengelompokkan data yang dihasilkan dapat berbeda-beda . jika nilai random untuk inisialisasi kurang baik, maka pengelompokkan yang dihasilkan pun menjadi kurang optimal.
dapat terjebak dalam masalah yang disebut curse of dimensionality.
hal ini dapat terjadi jika data pelatihan memiliki dimensi yang sangat tinggi (contoh jika data pelatihan terdiri dari 2 atribut maka dimensinya adalah 2 dimensi.
namun jika ada 20 atribut, maka akan ada 20 dimensi).
salah satu cara kerja algoritma ini adalah mencari jarak terdekat antara k buah titik dengan titik lainnya.
jika mencari jarak antar titik pada 2 dimensi, masih mudah dilakukan.
namun bagaimana mencari jarak antar titik jika terdapat 20 dimensi.
hal ini akan menjadi sulit.
jika hanya terdapat beberapa titik sampel data, maka cukup mudah untuk menghitung dan mencari titik terdekat dengan k titik yang diinisialisasi secara random.
namun jika terdapat banyak sekali titik data (misalnya satu milyar buah data), maka perhitungan dan pencarian titik terdekat akan membutuhkan waktu yang lama.
proses tersebut dapat dipercepat, namun dibutuhkan struktur data yang lebih rumit seperti kd-tree atau hashing.
k-means sebagai algoritma clustering memiliki banyak aplikasi.
aplikasi-aplikasi tersebut dapat dikelompokkan sesuai tujuannya.
pengelompokan untuk pemahaman (understanding)
pengelompokan untuk pemahaman bertujuan menghasilkan kelompok-kelompok yang terdiri dari objek-objek dengan karakteristik yang serupa, seperti halnya manusia mengelompokkan objek-objek.
aplikasi di bidang biologi
k-means dapat digunakan untuk mengelompokkan gen berdasarkan polanya.
hal ini diperlukan untuk menemukan gen yang memiliki fungsi serupa.
aplikasi di bidang bisnis
k-means dapat digunakan untuk melakukan segementasi pasar.
segementasi pasar adalah pengelompokan pelanggan sesuai karakteristik mereka (misalnya: gaya hidup, kebutuhan).
k-means juga dapat digunakan dalam sistem pemberi rekomendasi untuk mengelompokkan objek-objek yang saling terkait.
aplikasi di bidang temu kembali informasi
k-means dapat digunakan untuk mengelompokkan dokumen sehingga memudahkan temu kembali dokumen berdasarkan topiknya.
pengelompokan untuk utility
pengelompokkan bertujuan untuk mengelompokkan himpunan data yang besar untuk memudahkan analisis data atau pemrosesan data lebih lanjut.
untuk tujuan ini, centroid dari cluster memegang peran lebih berarti.
kompresi data multimedia
k-means dapat digunakan untuk kompresi data multimedia (citra, audio, video).
setiap objek dalam data (misalnya pixel dari citra) direpresentasikan dengan centroid dari cluster yang memuat objek tersebut.
teknik kompresi ini disebut juga kuantisasi vektor.
k-means dapat digunakan untuk mengelompokkan data sebelum menerapkan teknik analisis data lainnya seperti regresi, tetangga terdekat, atau pca. k-means dapat digunakan untuk terlebih dahulu mengelompokkan data ke dalam cluster-cluster.
kemudian teknik analisis data hanya perlu diterapkan pada centroid dari setiap cluster sehingga lebih efisien dalam hal penggunaan waktu dan ruang.
terdapat beberapa algoritma yang merupakan pengembangan/variasi dari algoritma k-means.
algoritma untuk memilih nilai awal untuk algoritma k-means.
algoritma ini digunakan untuk mengurangi dampak buruk algoritma k-means yang sangat tergantung dari nilai awalnya.
algoritma clustering yang berbasiskan prototype/model dari cluster.
k-means menggunakan centroid (rata-rata) sebagai model dari cluster, sedangkan k-medoids menggunakan medoid (median).
ide dasarnya adalah menggunakan k-means untuk membagi dua suatu cluster.
awalnya setiap objek tergabung dalam satu cluster.
pada tiap iterasi, pilih satu cluster untuk dibagi dua menggunakan k-means.
hal ini dilakukan hingga terbentuk k cluster.
algoritma bisecting k-means bekerja lebih cepat dari k-means karena mengurangi jumlah objek yang diperbandingkan pada setiap iterasi.