## PERFORMA APRIORI DAN COLLABORATIVE FILTERING UNTUK SISTEM REKOMENDASI

## Albertus Bayu Aji Priyono
Fakultas Ilmu Komputer dan Teknologi Informasi, Universitas Gunadarma Jl. Margonda Raya no. 100, Depok 16424, Jawa Barat bayu@staff.gunadarma.ac.id

## Abstrak
Sistem  rekomendasi  adalah  sebuah  program  yang  mencoba  untuk  memprediksi sebuah item (lagu, buku, film, berita dan sebagainya) berdasarkan informasi yang diperoleh dari pengguna. Informasi yang diberikan oleh pengguna dapat diperoleh secara  eksplisit  dan  implisit  yang  merupakan  proses  pembangkitan  profil pengguna.  Yang  dimaksud  secara  eksplisit  adalah  informasi  tersebut  diberikan langsung oleh pengguna. Misalnya, memberikan rating terhadap film yang pernah ditonton.  Sedangkan  yang  dimaksud  secara  implisit  adalah  informasi  tersebut diperoleh  tanpa  diketahui  oleh  pengguna.  Misalnya,  dengan  melakukan penelusuran  dari  transaksi  yang  pernah  dilakukan  oleh  pengguna.  Pembuatan sistem rekomendasi lokasi pariwisata dengan menggunakan metode Collaborative Filtering dan Algoritma Apriori bertujuan untuk menghasilkan sebuah sistem yang secara  otomatis  melakukan  perhitungan  dalam  memberikan  rekomendasi  objek pariwisata  yang  tepat  bagi  pengguna  yang  menjadi  target  rekomendasi  serta menghasilkan  paket  perjalanan  wisata  berdasarkan  pola  kebiasaan  wisatawan dalam mengunjungi tempat wisata favoritnya.
Kata Kunci : sistem rekomendasi, apriori, collaborative filtering

## PERFORMA APRIORI DAN COLLABORATIVE FILTERING UNTUK SISTEM REKOMENDASI

## Abstract
Recommendation  system  is  a  program  that  tries  to  predict  an  item  (song,  book, movie,  news,  etc.)  based  on  information  obtained  from  the  user.  The  information provided by the user can be obtained explicitly and implicitly that a user’s profile generation process. Which is explicitly referred to the information given directly by the user. For example, a rating of the film ever watched. While the definition of the information that taken by implicitly is obtained without being noticed by the user. For  example,  by  doing  a  search  of  the  transactions  that  have  been  done  by  the user.  Tourism  recommendation  system  using  the  Collaborative  Filtering  and Apriori  algorithm  aims  to  produce  a  system  that  automatically  perform calculations  in  providing  appropriate  recommendations  tourism  attraction  for target users and generate recommendations based on the pattern of travel package tourists in the habit of visiting his favorite sights.
Keyword : recomenndation system, apriori, collaborative filtering

## PENDAHULUAN
Sistem  rekomendasi  dapat  mem- bantu  para  pengguna  menemukan  infor- masi tersebut dengan memberikannya sa- ran  secara  personal.  Kemampuan  suatu sistem  rekomendasi  yaitu  menyesuaikan outputnya  sesuai  karateristik  pengguna tertentu, dimana hal ini menyiratkan bah- wa  sistem  tersebut  harus  dapat  menyim- pulkan  apa  yang  pengguna  butuhkan berdasarkan  kegiatan  sebelumnya  atau interaksi dengan pengguna atau pengguna serupa  lainnya.  Selain  itu,  sistem  reko- mendasi  juga  dapat  membantu  travel agent dalam pembuatan paket yang tepat sesuai  kombinasi  objek  wisata  yang didapatkan  dari  pola  kebiasaan  wisata- wan.  Dari  kedua  hal  tersebut,  dapat  di- tarik  kesinambungan  antara  rekomendasi bagi  pengguna  dan  rekomendasi  paket wisata  bagi  penyedia  perjalanan  wisata, sehingga  didapatkan  objek  dan  paket wisata yang tepat bagi pengguna.
Terdapat 2 pendekatan sistem reko- mendasi dalam proses rekomendasi, yaitu Content  Based  Filtering  dan  Collabo- rative  Filtering.  Dalam  penelitian  ini  di- implementasikan  kedua  pendekatan  ter- sebut. Namun setiap proses memiliki ke- lebihan dan kekurangannya masing – ma- sing.  Kelebihan  metode  Content  Based Filtering  (CBF)  dibandingkan  dengan Collaborative Filtering (CF) adalah dapat merekomendasikan  item  baru  kepada target  pengguna  berdasarkan  kemiripan fitur  yang  dikandung  oleh  item  sebe- lumnya  yang  disukai  pengguna  tersebut dengan  melihat  rating  item  yang  positif, tidak seperti Collaborative Filtering yang sangat  bergantung  dengan  perhitungan rating oleh pengguna lainnya  [1]. Untuk menganalisis pola – pola kombinasi item dalam penelitian ini digunakan Algoritma Apriori.  Kelebihan  aturan  asosiasi dengan Apriori ini adalah lebih sederhana dan  dapat  menangani  data  yang  besar [3].  Sedangkan  algoritma  lainnya  memi-
liki kelemahan dalam penggunaan memo- ri  saat  jumlah  data  besar,  tentunya  ber- pengaruh  terhadap  banyaknya  item  yang diproses.  Penting  tidaknya  aturan  asosi- sasi dapat diketahui dengan 2 parameter, minimum  support  (prosentase  kombinasi item dalam database) dan minimum con- fidence (kuatnya hubungan antar item da- lam  aturan  asosiatif),  keduanya  ditentu- kan  oleh  pengguna.  Penggunaan  Apriori ditujukan  untuk  menemukan  peraturan asosiasi  dalam  sistem  rekomendasi  ber- basis  content  yang  terlihat  dari  keterhu- bungan  antara  pola  kebiasaan  wisatawan dalam  mengunjungi  objek  wisata.  Se- hingga  diharapkan,  sistem  rekomendasi yang  dibangun  ini  dapat  memberikan rekomendasi  yang  tepat  bagi  seorang pengguna  tersebut  terhadap  munculnya item baru nantinya.

## METODE PENELITIAN
Proses  kerja  sistem  dibagi  menjadi 3 tahapan besar, yaitu pengumpulan data melalui  interaksi  pengguna  dengan  sis- tem,  perhitungan  rekomendasi  lokasi  pa- riwisata  untuk  pengguna  dengan  meng- gunakan  pendekatan  Collaborative  Filte- ring  dan  perhitungan  pola  kebiasaan  wi- satawan  untuk  menentukan  paket  wisata sesuai  objek  wisata  yang  sering  dikun- jungi oleh wisatawan dengan mengguna- kan Algoritma Apriori.
Dua metode utama yang digunakan dalam penelitian ini adalah Collaborative Filtering  dan  Algoritma  Apriori.  Colla- borative  Filtering  bekerja  dengan  cara menjumlahkan  rating  atau  pilihan  dari suatu  produk,  menemukan  profil  /  pola pengguna  dengan  melihat  history  rating yang diberikan pengguna, dan menghasil- kan  suatu  rekomendasi  baru  berdasarkan perbandingan  antar  pola  pengguna    [2]. Biasanya nilai rating dapat berupa binary (suka/tidak suka) atau voting.
Gambar 1 : Alur Proses Collaborative Filtering

## Gambar 2 : Alur Proses Algoritma Apriori
Algoritma  Apriori  melakukan  pen- carian  frequent  itemset  dengan  menggu- nakan  teknik  association  rule.  Algoritma ini  menggunakan  pengetahuan  frekuensi atribut  yang  telah  diketahui  sebelumnya untuk  memproses  informasi  selanjutnya. Pada Algoritma Apriori menentukan kan-
didat yang mungkin muncul dengan cara memperhatikan  minimum  support  dan minimum  confidence.  Support  adalah nilai  pengunjung  atau  persentase  kom- binasi  sebuah  item  dalam  database [4].Tahapan  pertama  dalam  perhitungan Algoritma  Apriori  untuk  menemukan
association  rules  yaitu  mengumpulkan data transaksi yang terjadi dalam periode tertentu.  Tahapan  berikutnya  adalah membuat  tabel  tabular  untuk  melakukan perhitungan jumlah kunjungan di masing- masing  objek  wisata.  Pada  tahap  ini, dapat  dilihat  jumlah  kunjungan  yang terjadi  pada  objek  wisata  sebanyak  data transaksi.
Langkah  selanjutnya  adalah  mem- buat  kombinasi  2  itemsets  pada  setiap objek  wisata  dan  frekuensi  masing-ma- sing  kombinasi  dihitung  sesuai  dengan data tabular pada tabel. Setelah frekuensi masing-masing itemsets ditemukan, lang- kah  selanjutnya  menyeleksi  frekuensi yang lebih besar atau sama dengan batas minimal  yang  telah  ditentukan.  Tahapan selanjutnya  adalah  menganalis  hasil  dari langkah  sebelumnya.  Apabila  terdapat itemsets  yang  tidak  memenuhi  batas  mi- nimum  dari  jumlah  frekuensi  yang  telah ditentukan,  maka  itemsets  tersebut  tidak dipergunakan  pada  perhitungan  selan- jutnya.
Kemudian  langkah  berikutnya  ada- lah  dengan  membuat  3  itemset  yang  se- suai  dengan  susunan  kombinasi  yang baru. Setelah dilakukan penyesihan yang sama  dengan  cara  sebelumnya  apabila terdapat  itemsets  yang  tidak  memenuhi batas minimun support, maka selanjutnya dilakukan  perhitungan  persentase  confi- dence  berdasarkan  data  yang  baru.  Sete- lah  itu  baru  dilakukan  perhitungan  final
untuk  nilai  rekomendasi,  yaitu  support dikalikan dengan confidence [5].

## HASIL DAN PEMBAHASAN
Pada  proses  perhitungan  rekomen- dasi,  terdiri  dari  dua  bagian  yaitu  perhi- tungan berdasarkan metode Collaborative Filtering  untuk  rekomendasi  pengguna dan  perhitungan  berdasarkan  Algoritma Apriori  untuk  rekomendasi  paket  wisata berdasarkan  pola  kebiasaan  pengguna. Proses  perhitungan  nilai  rekomendasi menggunakan  metode  Collaborative  Fil- tering  digunakan  untuk  mendapatkan objek  -  objek  wisata  yang  akan  direko- mendasikan  kepada  pengguna  yang sedang login di dalam sistem. Pada dasar- nya  Collaborative  Filtering  dibagi  men- jadi  dua  jenis,  yaitu  :  (1) User  Based Collaborative  Filtering ,  yaitu  mem- berikan  rekomendasi  berdasarkan  opini pengguna  lain  yang  memiliki  kesukaan yang  sama  dengan  pengguna  yang  men- jadi  target  rekomendasi.  (2) Item  Based Collaborative  Filtering ,  menghitung tingkat kesamaan antara beberapa produk yang  berbeda  berdasarkan  penilaian pengguna.
Pada penelitian ini, digunakan User Based  Collaborative  Filtering untuk menghasilkan  nilai  rekomendasi  yang berbeda- beda untuk setiap penggunanya, sehingga  memiliki  saran  yang  lebih personal  berdasarkan  kemiripan  aktifitas serta kesukaan dengan pengguna lainnya.
Tabel 1 : Pemberian Nilai Objek Pariwisata Pengguna Objek Pariwisata  Nilai John Doe Borobudur 1 Keraton 1 Prambanan 2 Jon Smith Borobudur 2 Keraton 2 Prambanan 2 Malioboro 2 Parangtritis 2
Pengguna Objek Pariwisata  Nilai Jane Doe Borobudur 1 Keraton 1 Malioboro 2 Parangtritis 2 Alan Drake Keraton 1 Prambanan 1 Parangtritis 2 Nathan Brooke  Borobudur 2 Keraton 2 Prambanan 2 Malioboro 2 Parangtritis 1
Tabel 1 menunjukkan contoh pem- berian  nilai  objek  wisata  berdasarkan transaksi  yang  terjadi.  Nilai  1  menun- jukkan  pelanggan  hanya  melihat  objek wisata  dan  nilai  2  menunjukkan  pelang- gan  melakukan  transaksi  untuk  pergi  ke objek wisata tersebut. Sistem akan mem- berikan  rekomendasi  objek  pariwisata untuk pelanggan dengan nama John Doe. Perhitungan  pertama  yang  dilakukan adalah  menghitung similarity ( Sim )  atau tingkat  kesamaan  antara  John  Doe dengan  pelanggan  lain.  Hitung distance (Dis) untuk setiap nilai objek wisata yang sama  dengan  objek  wisata  yang  pernah dikunjungin  John  Doe.  Gambar  1 merupakan rumus perhitungannya.
Dimana, 𝑛𝑖𝑙𝑎𝑖𝑂𝑏𝑗𝑊𝑖𝑠𝑎𝑡𝑎 +,-./0 adalah  nilai  dari  produk  pengguna  yang akan diberikan rekomendasi.
𝑛𝑖𝑙𝑎𝑖𝑂𝑏𝑗𝑊𝑖𝑠𝑎𝑡𝑎 /12,-3,-./0 adalah nilai  dari  produk  pengguna  yang  akan dibandingkan. Dis dari  setiap  produk yang  sama  akan  dijumlahkan  untuk menghitung Sim dengan  menggunakan perhitungan seperti pada gambar 2.
Perhitungan  selanjutnya  adalah menghitung  tingkat  rekomendasi  untuk setiap  produk  yang  belum  pernah  dilihat atau  dibeli  oleh  bayu.  Perhitungan  dapat dilakukan seperti pada gambar 3.
Dengan menggunakan rumus tersebut  maka  hasil  yang  didapatkan untuk perhitungan seperti pada tabel 2.
𝐷𝑖𝑠 = (𝑛𝑖𝑙𝑎𝑖𝑂𝑏𝑗𝑊𝑖𝑠𝑎𝑡𝑎 +,-./0 − 𝑛𝑖𝑙𝑎𝑖𝑂𝑏𝑗𝑊𝑖𝑠𝑎𝑡𝑎 /12,-3,-./0 ) :
Gambar 1. Perhitungan tingkat kesamaan antara John Doe dengan pelanggan lain
𝑆𝑖𝑚 /12,-3,-./0 =   1 (1 +  Σ𝐷𝑖𝑠)
Gambar 2. Perhitungan Sim

## Σ(𝑆𝑖𝑚 × 𝑛𝑖𝑙𝑎𝑖𝑂𝑏𝑗𝑊𝑖𝑠𝑎𝑡𝑎) Σ𝑆𝑖𝑚
Gambar 3. Perhitungan Tingkat Rekomendasi
Tabel 2 : Perhitungan Rekomendasi Pengguna Sim  Mal  Sim x Mal  Par  Sim x Par John Doe 0.33  2 0.66 2 0.66 Jon Smith 1 2 2 2 2 Jane Doe 0.5 - - 2 1 Alan Drake 0.5 2 1 1 0.5 Nathan Brooke 3.66 4.16 Sim SUM 1.83 2.33 Total / sim SUM 2 1.78

## Gambar 4 : Alur Algoritma Apriori
Dari Tabel 2 didapatkan nilai reko- mendasi  dari  setiap  objek  pariwisata  un- tuk  pelanggan  dengan  id  John  Doe. Malioboro  memiliki  nilai  2  dan  Parang- tritis  memiliki  nilai  1.78.  Objek  pari- wisata dengan nilai rekomendasi tertinggi akan  lebih  diutamakan  untuk  ditawarkan kepada John Doe. Hasil dari rekomendasi akan berbeda untuk setiap pengguna yang menjadi  target  rekomendasi,  sehingga sistem akan semakin berkembang seiring dengan  bertambahnya  data  dari  sisi
pengguna,  aktifitas  pengguna  dan  data objek  pariwisata.  Langkah  selanjutnya adalah  mela-kukan  perhitungan  dengan menggunakan  algoritma  apriori.  Proses perhitungan  rekomendasi  dengan  meng- gunakan  Algoritma  Apriori  digunakan untuk  menghasilkan  rekomendasi  paket wisata  berdasarkan  pola  kebiasaan pengguna yang terdaftar di dalam sistem. Pada  tahapan  ini  dicari  kombinasi  – kombinasi  itemset  yang  sesuai  dengan association rule yang sudah ditentukan.
Tabel 3 : Tabel Final Association Rule Aturan (X ® Y) Sup (X ∪ Y)  Sup(X)  Confidence Keraton – Prambanan ® Parangtritis 50% 50% 100% Keraton – Parangtritis ® Prambanan 50% 75% 66.67% Prambanan – Parangtritis ® Keraton 50% 50% 100% Borobudur ® Prambanan 50% 50% 100% Prambanan ® Borobudur 50% 75% 66.67% Keraton ® Prambanan 50% 75% 66.67% Prambanan ® Keraton 50% 75% 66.67% Keraton ® Parangtritis 75% 75% 100% Parangtritis ® Keraton 75% 75% 100% Prambanan ® Parangtritis 50% 75% 66.67% Parangtritis ® Prambanan 50% 75% 66.67%
Hasil  akhir  dari  Algoritma  Apriori ini  lah  yang  akan  menjadi  rekomendasi untuk  paket  perjalanan  wisata  yang  di- tujukan bagi travel agent. Sehingga pem- buatan  paket  wisata,  dapat  dilakukan  se- cara otomatis berdasarkan pola kebiasaan wisatawan  dalam  mengunjungi  daerah wisata  favoritnya.  Pada  setiap  sistem  di- perlukan  pengujian  performa  sistem  un- tuk mengukur efektifitas proses kerja dari sistem  tersebut.  Dalam  hal  ini  apakah sistem dapat bekerja secara stabil dengan terjadinya  perubahan  parameter  dan memberikan  nilai  rekomendasi  yang  te- pat, atau terjadi perubahan kinerja sistem karena  perubahan  tersebut.  Pada  analisis performa  sistem  ini  dibagi  menjadi  dua jenis pengujian yaitu berdasarkan penga- ruh  perubahan  jumlah  pengguna  yang terdaftar  di  dalam  sistem  dan  pengaruh
perubahan  jumlah  objek  wisata  terhadap kualitas rekomendasi.
Analisa  performa  sistem  dihitung berdasarkan  nilai  precision,  recall  dan  f- measure. Dimana precision adalah bagian dari dokumen yang diambil yang relevan dengan  informasi  yang  dicari.  perhi- tungan  precision  dilakukan  seperti  pada gambar 5.
Sedangkan recall adalah persentase semua  dokumen  yang  relevan  yang  di- kembalikan  dari  hasil  pencarian.  perhi- tungan recall dilakukan seperti pada gam- bar  6.  Selain  precision  dan  recall,  kedua pengukuran tersebut terkadang digunakan bersama – sama untuk memberikan peng- ukuran  yang  seimbang  dan  tunggal. Pengukuran  ini  yang  disebut  dengan  F- Measure, seperti pada gambar 7.

## 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝑐𝑜𝑟𝑟𝑒𝑐𝑡𝑙𝑦 𝑟𝑒𝑐𝑜𝑚𝑚𝑒𝑛𝑑𝑒𝑑 𝑖𝑡𝑒𝑚 𝑡𝑜𝑡𝑎𝑙 𝑟𝑒𝑐𝑜𝑚𝑚𝑒𝑛𝑑𝑒𝑑 𝑖𝑡𝑒𝑚
Gambar 5. Perhitungan Nilai Precision
𝑟𝑒𝑐𝑎𝑙𝑙 = 𝑐𝑜𝑟𝑟𝑒𝑐𝑡𝑙𝑦 𝑟𝑒𝑐𝑜𝑚𝑚𝑒𝑛𝑑𝑒𝑑 𝑖𝑡𝑒𝑚
𝑡𝑜𝑡𝑎𝑙 𝑖𝑡𝑒𝑚 𝑙𝑖𝑘𝑒𝑑 𝑏𝑦 𝑢𝑠𝑒𝑟
Gambar 6. Perhitungan Recall
𝐹 − 𝑚𝑒𝑎𝑠𝑢𝑟𝑒 = 2 × 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 × 𝑟𝑒𝑐𝑎𝑙𝑙 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 +  𝑟𝑒𝑐𝑎𝑙𝑙
Gambar 7. Perhitungan F-Measure
Gambar 8 : Pengujian pengaruh jumlah pengguna terhadap kualitas rekomendasi
Gambar 9 : Pengujian pengaruh jumlah objek pariwisata terhadap kualitas rekomendasi
Data yang dipergunakan dalam pe- nelitian ini berasal dari data hasil survei, dimana  data  di  dapatkan  dari  survei secara  langsung  secara  personal.  Pada proses  ini  akan  dikumpulkan  data  -  data yang dibutuhkan, yaitu nilai rating lokasi pariwisata  sesuai  minat  pengguna,  keter- tarikan  pengguna  dengan  objek  wisata tertentu,  pilihan  pengguna  untuk  berwi- sata  ke  objek  wisata  yang  ditawarkan serta  kesamaan  data  pengguna  yang  satu dengan  yang  lainnya  sesuai  data  yang telah dikumpulkan.
Dari Gambar 8, dapat dilihat bahwa pada posisi jumlah pengguna sebanyak 2
user, baik precision, recall dan f-measure berhasil  mencapai  nilai  minimum-nya. Jadi, ketiga parameter utama performansi sistem  tersebut  mengalami  kondisi  ter- buruk  yaitu  sistem  bekerja  dengan  tidak efektif pada saat jumlah pengguna hanya 2  user,  karena  rasio  recall  dan  precision mengalami  progress  yang  sama  dan  se- cara  otomatis  f-measure  juga  mengalami hal ini.
Dengan  jumlah  pengguna  yang semakin  besar,  maka  performansi  sis- tem  menjadi  lebih  baik  karena  meng- hasilkan  kombinasi  objek  wisata  yang bermacam-macam  walaupun  tingkat  du-
kungan  data  kecil  (pada  data  training). Artinya,  kombinasi  objek  wisata  yang jarang  sekalipun  memiliki  kesempatan kemunculan  yang  sama  dengan  kombi- nasi objek wisata yang didukung banyak data latih sehingga kemungkinan menjadi kandidat  rekomendasi  juga  semakin besar.
Selain  jumlah  pengguna,  jumlah objek  pariwisata  juga  sangat  mem- pengaruhi  kinerja  sistem  pada  tahap kedua  ini  yaitu  dapat  menurunkan  nilai precision  dimana  telah  diketahui  bahwa precision  sangat  diutamakan  dalam  me- lihat  performansi  sistem  yang  baik.  Se- perti  terlihat  pada  gambar  9,  nilai  preci- sion semakin menurun dengan seiringnya bertambahnya jumlah objek pariwisata.

## SIMPULAN DAN SARAN
Pembuatan  sistem  rekomendasi dengan  menggunakan  metode  Collabo- rative  Filtering  dan  Algoritma  Apriori memiliki  tingkat  ketepatan  yang  cukup baik.  Namun  hal  ini  harus  diseimbangi dengan  adanya  aktifitas  serta  jumlah pengguna  yang  seimbang  dengan  jumlah objek  pariwisata  yang  ditawarkan  di dalam  sistem.  Semakin  besar  jumlah pengguna  dengan  jumlah  objek  pariwi- sata  yang  sedikit,  akan  menghasilkan rekomendasi  yang  tepat,  namun  sebalik- nya  semakin  besar  jumlah  objek  pari- wisata dengan jumlah pengguna yang se-
dikit  akan  membuat  sistem  menjadi kurang efektif.
Dalam pembuatan sistem rekomen- dasi ini masih menggunakan jumlah data dan  alur  sistem  yang  sangat  sederhana. Belum terdapatnya sistem Content Mana- gement  System  juga  salah  satu  keku- rangan  dalam  pembuatan  sistem  reko- mendasi ini agar lebih mempermudah da- lam  pengaturan  data.  Selain  itu,  metode Collaborative  Filtering  dan  Algoritma Apriori  masih  dapat  dikembangkan  lagi agar  menghasilkan  sistem  rekomendasi hybrid.

## DAFTAR PUSTAKA
[1]  Diahpangastuti,  N.  (2013).  Sistem rekomendasi  bidang  minat  maha- siswa  menggunakan  metode  asso- ciation rule dan algoritma apriori.
[2]  J.  Ben  Schafer,  D.  F.  (2007). Collaborative  filtering  recommender systems.
[3]  Rahma  Oktoria,  W.  M.  (2010). Content  based  recommender  system menggunakan algoritma apriori.
[4]  Sasmadi,  E.  (2010).  Multi  attribute decision  making  pada  recommender system menggunakan metode weighted sum model.
[5]  Sterneckert,  A.  B.  (2003).  Critical Incident  Management.  Taylor  & Francis.