## EVALUASI KINERJA TIM PENJUALAN: PENDEKATAN FUZZY AHP DALAM MODEL MCDM
SALES TEAM PERFORMANCE EVALUATION: FUZZY AHP APPROACH IN MCDM MODEL
Karlena Indriani 1 , Irwansyah  Saputra 2 , Nurmalasari 3 , Ahmad Yani 4 , Ade Christian 5
1 Sistem Informasi, Universitas  Bina Sarana Informatika,  Jakarta  Indonesia
2,3 Sistem Informasi,  Universitas Nusa Mandiri, Jakarta  Indonesia
4 Teknologi Komputer, Universitas Bina Sarana Informatika,  Jakarta  Indonesia
5 Informatika,  Universitas Nusa Mandiri, Jakarta  Indonesia
1 karlena@bsi.ac.id, 2 Irwansyah.iys@nusamandiri.ac.id, 3 nurmalasari.nmr@nusamandiri.ac.id, 4 ahmad.amy@bsi.ac.id  , 5 ade.adc@nusamandiri.ac.id Corresponding author: Irwansyah.iys@nusamandiri.ac.id
Abstrak. Tenaga  penjualan  adalah  aset paling  penting  bagi  sebuah  perusahaan.  Pengembangan  kompetensi tenaga  penjualan  tidak  dapat  sepenuhnya  dievaluasi  karena  kompleksitas  keterampilan  yang  langsung diperoleh  dan  digunakan.  Kesulitan  dalam  menentukan  kriteria  penilaian  yang  sesuai  untuk  mengevaluas i kinerja  tenaga  penjualan  di perusahaan  tidak cukup hanya  menggunakan  persepsi  manusia  oleh  manajemen. Hal  tersebut  karena  penilaian  dan  persepsi  manusia  terhadap  kriteria  kualitatif selalu  subjektif dan  tidak tepat. Dalam  menentukan  beberapa  kategori  kriteria,  diperlukan  teknik  kuantitatif  dan  kualitatif  sebagai  sarana pengambilan  keputusan  dalam  organisasi.  Penelitian  kuantitatif  menghasilkan  data  dalam  bentuk  angka, sedangkan  penelitian  kualitatif  cenderung  menghasilkan  data  yang  disajikan  dalam  bentuk  narasi  dan  teks. Dalam  penelitian  ini,  diusulkan  model  MCDM  menggunakan  metode  Fuzzy  AHP  untuk  mengevaluasi  kinerja tenaga  penjualan  di departemen  pemasaran  perusahaan  guna  menentukan  prioritas  dan peringkat  objektif dari alternatif.  Hasil  penelitian  menunjukkan  bahwa  konsistensi  rasio  validasi  menggunakan  metode  Fuzzy  AHP pada  kriteria  kuantitatif  diperoleh  nilai  0,016  dan  0,015  untuk  kriteria  kualitatif. Kemudian  analisis  sensitiv itas digunakan  untuk  mengidentifikasi  dampak  dari  perubahan  pada  bobot  relatif  kategori  kriteria  kuantitatif  yang nilainya  diturunkan  sebesar  3,85%,  sehingga  mempengaruhi  penilaian  secara  keseluruhan.  Secara  spesifik pada  pre-test  dengan  nilai  akurasi  sebesar  85%,  sedangkan  pada  post-test  menghasilkan  akurasi  yang  lebih besar  dengan  nilai  95%,  dapat  diinterpretasikan  bahwa  evaluasi  kinerja  tenaga  penjualan  menggunak an metode  Fuzzy  AHP menghasilkan  prioritas  dan  peringkat  alternatif  yang  lebih  objektif dan  s angat  sesuai untuk diimplementasikan  di perusahaan.  Analisis uji t-produksi  nilai p adalah  0,000494  yang lebih  kecil dari nilai alpha (0,05),  menunjukkan  bahwa  hasilnya  efektif.
Kata kunci: Evaluasi Kinerja,  Fuzzy  AHP, Kualitatif, Kuantitatif, MCDM,  Sales  force.
Abstract.    The  sales  force  represents  the  most  critical asset  for  any  company.  However,  fully  evaluating  the development  of sales force competence  is hindered  by the complexity of the skills directly utilized. Simply relying on  human  perception  by management  is  insufficient  in  determining  appropriate  assessment  criteria,  as  such subjective evaluations  of qualitative criteria are  inherently imprecise. Therefore,  both quantitative and qualitative techniques  are  necessary  in  defining  certain  criteria  categories  for  decision-making  within  an  organization. Quantitative  research  yields  numerical  data,  while  qualitative  research  tends  to produce  narrative  and  textual data.  In this study, we  propose  a  Multi-Criteria  Decision-Making  (MCDM)  model  employing  the  Fuzzy  Analytic Hierarchy  Process  (AHP)  method  to  evaluate  sales  force  performance  in  the  marketing  department  of  a company, aiming to determine  objective priorities  and rankings among alternatives. Results reveal  a consistency ratio  validation  using  the Fuzzy  AHP  method  of 0.016  for  quantitative  criteria  and  0.015  for  qualitative  criteria. Additionally,  a  sensitivity  analysis  is  conducted  to  identify  the  impact  of  changes  in  relative  weights  of quantitative  criteria  categories,  resulting  in  a 3.85%  decrease,  thus affecting  overall  ratings. Specifically, in the pre-test,  an  accuracy  of 85%  is achieved,  while  in  the  post -test, an  increased  accuracy of  95%  indicates  that the  sales  force  performance  evaluation  using  Fuzzy  AHP  produces  more  objecti ve  priorities  and  rankings  of alternatives, highly suitable for implementation  within the company. T-test analysis yields a p-value  of 0.000494, smaller  than the  alpha  value  of 0.05,  indicating  the effectiveness of the  results.
Keywords:  Evaluasi Kinerja,  Fuzzy  AHP, Kualitatif, Kuantitatif, MCDM,  Sales force.

## 1 Pendahuluan
Pada  organisasi  penjualan  modern,  peran  sales  f orce  (tenaga  penjualan)  terus  ditingkatkan  dikarenakan f rekuensi  perpindahan  sales  f orce ke  organisasi lain  cukup signif ikan. Di sisi lain  bu tuh  waktu  lagi  bagi sales f orce yang  baru  untuk  meningkatkan  produktivitas dan  prof il kinerjanya  (Varshney,  2021).  Dengan  gagasan bahwa  evaluasi  kinerja  sales  f orce  berkorelasi  positif   dengan  kinerja  marketing,  organisasi  memandang ketidakef ektif an dan inkompetensi sales f orce sebagai hal yang sangat penting (Asiegbu, et al., 2021).
Proses  evaluasi  kinerja  karyawan  khususnya  pada  divisi  marketing  kesulitan  dalam  mendapatkan  dan menentukan  penilaian  kategori kriteria  yang  tepat terhadap  evaluasi  kinerja  sales  f orce. Kriteria-kriteria  yang digunakan untuk evaluasi  kinerja tersebut hanya  mencakup daf tar absensi dan target penjualan  saja, sehingga masih kurangnya  kategori kriteria untuk menunjang  evaluasi kinerja  sales f orce. Selama ini dalam menentukan penilaian  terhadap suatu kriteria  pada evaluasi  kinerja sales f orce di perusahaan  masih menggunakan  persepsi manusia  dan  metode  manual  hitung  rata-rata  tanpa  pembobotan  oleh  pihak  manajemen,  sehingga  belum adanya  metode komputasi yang diimplementasikan  terhadap ev aluasi  kinerja  sales f orce. Menurut  Chang  dan Yang (2021)  penilaian  dan persepsi manusia  pada atribut atau kriteria  kualitatif  selalu begitu subjektif  dan tidak tepat.
Terdapat  banyak metode multi-criteria  decision making (MCDM) untuk mengevaluasi beberapa alternatif  dalam mencapai  tujuan  tertentu.  Metode  AHP  (analytic  hierarchy  process)  telah  menarik  minat  para  pembuat keputusan  dikarenakan  kemampuannya  dalam  memecahkan  masalah  keputusan  yang  kompleks  (Catak, 2022).  Menurut  Saaty  (2008)  AHP  merupakan  metod e  yang  digunakan  untuk  meyelesaikan  masalah  multi- kriteria  dan  berguna  untuk  menangani  keputusan  yang  kompleks, metode ini  telah  diterapkan  secara  harf iah untuk ratusan  contoh kasus baik yang nyata maupun  berupa hipotetis.
Terlepas  dari  popularitas AHP,  metode ini  sering  dikritik dikarenakan  ketidakmampuannya  untuk  menangani unsur  ketidakpastian dan  ketidaktepatan  yang  terkait  dengan  pemetaan  persepsi para  pengambil keputusan terhadap  angka  pasti  (Tiryaki  &  Ahlatcioglu,  2019).  Menurut  Chang  dan  Yang  (2021)  metode  konvensional MCDM seperti AHP tidak dapat secara ef ektif  menangani masalah  dengan inf ormasi yang tidak pasti. Masalah dengan  AHP  tradisional  yaitu  ketidakmampuannya  untuk  berurusan  dengan  ketidaktepatan  dan  subjektivitas dalam  proses perbandingan  berpasangan  (Sehra,  et  al., 2022),  dikarenakan  metode ini  tidak mampu  dalam menangani  variabel linguistik (Kabir & Hasin, 2021).
Ketidakmampuan  AHP  untuk  menangani  kriteria  yang  bersif at  subjektif   dalam  proses  perbandingan berpasangan telah  ditingkatkan pada metode f uzzy analytic hierarchy  process (FAHP). Sebagai pengganti nilai crisp  pada  metode  AHP,  maka  dihasilkan  skala  nilai  FAHP  untuk  menggabungkan  pengambilan  keputusan dengan kriteria yang tidak pasti (Rouyendegh & Erkan,  2022).  Sehingga metode ini diusulkan untuk menangani ketidakjelasan  penilaian  yang  dilakukan  oleh  seorang  pengambil  keputusan  (Karimi,  et  al.,  2021).  Dengan demikian,  metode f uzzy  AHP  (FAHP)  secara  ef isien mampu  untuk  menangani  ketidakjelasan  dari  data  yang terlibat dalam masalah  pengambilan keputusan multi-kriteria  (Srichetta & Thurachon,  2022).
Pengembangan  kompetensi  sales  f orce  tidak  dapat  sepenuhnya  dievaluasi  secara  langsung  dikarenakan kompleksitas kriteria keahlian  yang diambil dan digunakan (Asiegbu, 2021).  Adanya masalah  multi-kriteria  yang kompleks,  penilaian  kriteria  kinerja  yang  bersif at  subjektif ,  serta  aturan  antar  variabel  kriteria  yang  sulit ditetapkan  menyebabkan  penilaian  menjadi  tidak  pasti,  sehingga  dibutuhkan  metode  yang  ef ektif   dalam mempelajari  pola  evaluasi  terhadap  suatu  kinerja.  Dari  pembahasan  tersebut  diusulkan  metode  f uzzy  AHP untuk menangani  masalah  MCDM pada evaluasi kinerja  sales f orce.

## 2 Kajian  Pustaka

## 2.1 Evaluasi  Kinerja  Sales  Force
Sales  force (tenaga  penjualan)  merupakan  aset  paling penting pada sebuah  perusahaan.  Namun  pada saat yang sama,  maka semakin  sulit untuk  mempertahankan sales force berkinerja  tinggi, terutama  jika suatu industri  atau  perusahaan  mengalami  perubahan  yang signif ikan (Landry,  2007).  Pengembangan  kompetensi sales force tidak dapat sepenuhnya  dievaluasi  langsung dikarenakan  kompleksitas keahlian  yang diambil dan digunakan. Pencarian  untuk membangun  keunggulan kompetitif  menyebabkan perusahaan  berperan strategis, terutama  pada keputusan yang berkaitan dengan sales force (Asiegbu, 2021).
Secara  umum,  kinerja  adalah  sebuah  konsep  yang  secara  kuantitatif   maupun  kualitatif   menentukan sesuatu  yang  diolah sebagai  hasil  dari  suatu  kegiatan  yang dimaksudkan  dan  direncanakan.  Kriteria  kinerja yang sama  diukur secara  obyektif  (kuantitatif ) dan subyektif (kualitatif ), yang penting adalah untuk menentukan kriteria  tersebut. Kriteria  dapat bersif at kuantitatif  (misalnya laba, penjualan)  atau kualitatif  (misalnya  kepuasan pelanggan, kinerja  bisnis secara keseluruhan)  (Yildiz & Karakas, 2022).

## 2.2 Analytical  Hierarchy  Process  (AHP)
AHP merupakan  metode yang digunakan untuk  meyelesaikan  masalah  multi -kriteria  dan berguna  untuk menangani  keputusan  yang kompleks, metode ini telah  diterap kan  secara  harf iah untuk  ratusan  contoh kasus baik yang nyata maupun  berupa hipotetis (Saaty, 2008).
Prosedur AHP melibatkan enam  langkah  penting (Lee,  2010;  Lee,  et al., 2008)  :
a)  Menentukan  masalah  yang tidak tersetruktur. b)  Mengembangkan  struktur hirarki  AHP. c)  Perbandingan  berpasangan.
Tabel  1 Fundamental  Scale of Absolute  Numbers (Saaty, 2010)
Intensitas Kepentingan Definisi 1 Equal  Importance 2 Weak or slight 3 Moderate  importance 4 Moderate  plus 5 Strong  importance 6 Strong  plus 7 Very strong  or demonstrated importance 8 Very,very strong 9 Extreme importance Reciprocals ( j / i )
d)  Memperkirakan  bobot relatif .
𝐴𝑤 = 𝜆 𝑚𝑎𝑘𝑠 𝑥 𝑤 e)  Pengecekan  konsistensi.
𝐶𝐼 = 𝜆 𝑚𝑎𝑘𝑠 −  𝑛 𝑛 − 1 Tabel  2 Random  Index (Saaty, 2008) n 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 RI 0 0 0,58 0,90 1,12  1,24 1,32 1,41 1,45 1,49  1,51 1,48 1,56 1,57 1,58
𝐶𝑅 = 𝐶𝐼
𝑅𝐼
Keterangan  : CI = Consistency Index RI = Random  Index CR  =  Consistency Ratio f )  Mendapatkan  peringkat keseluruhan.
𝑃 𝑖 =   ∑ 𝐴 𝑖𝑗 𝐶 𝑖
𝑛 𝑖=1

## 2.3 Fuzzy Analytic  Hierarchy  Process  (FAHP)
Fuzzy AHP  (FAHP)  yang  mengintegrasikan  teori fuzzy ke  lingkungan  AHP  merupakan ekstensi dari  kumpulan  nilai crips yang berhubungan  dengan  data ambigu atau  tidak tepat.  Teknik fuzzy AHP  digunakan  untuk  menentukan  bobot kriteria  dan  diterapkan  beberapa  istilah  linguistik untuk  menilai  kinerja  berdasarkan  setiap   kriteria  (Das,  2013).  Pendekatan fuzzy AHP  (FAHP) diusulkan untuk mentolerir  ketidakjelasan  dan ambiguitas inf ormasi (Lee,  et al., 2008).
Teknik fuzzy AHP  dapat  diartikan  sebagai  suatu  metode  analisis  tingkat  lanjut  yang dikembangkan  dari  AHP  tradisional.  Umumnya  mustahil  bagi  para  pengambil  keputusan  untuk menggambarkan  pilihan  yang tidak pasti melalui  nilai crisp . Oleh  karena  itu, FAHP  diusulkan  untuk meringankan  ketidakpastian metode AHP dengan menggunakan  perbandingan  rasio fuzzy (Kabir & Hasin,  2021).  FAHP  memungkinkan  beberapa  pengambil  keputusan  pada  evaluasi  dan menggunakan  skala triangular  fuzzy yang  meliputi  bilangan fuzzy baik  positif maupun  negatif. Metodologinya  meliputi  perhitungan  matematika  sederhana,  dan  menghasilkan triangular  fuzzy number (TFN)  pada bobot alternatif  (Aydin & Kahraman,  2021).
Untuk  beberapa  tahapan  pada  prosedur fuzzy AHP  sesuai  dengan  yang  ada  pada  metode AHP,  sedangkan  prosedur  solusi dari  pendekatan fuzzy AHP  melibatkan  enam  langkah  penting sebagai berikut (Aktepe & Ersoz, 2021)  :
a)  Mendef inisikan masalah  dan menyatakan  tujuan  maupun  hasil dengan jelas.
b)  Menguraikan  masalah  yang  kompleks  menjadi  struktur  hirarki  dengan  elemen  keputusan (kriteria  dan alternatif ).
c)  Menggunakan  perbandingan  berpasangan  antar  elemen  keputusan  dan membentuk  matriks perbandingan dengan fuzzy number .

## Tabel  3 Linguistic Scales for Importance
(Chang  & Yang, 2021)
Linguistic Scale for Important Triangular Fuzzy Scale Triangular Fuzzy Reciprocal Scale Equally Important (1/2, 1, 3/2) (2/3, 1, 2) Weakly Important (1, 3/2, 2) (1/2, 2/3, 1) Strongly Important (3/2, 2, 5/2) (2/5, 1/2, 2/3) Very Strongly Important (2, 5/2, 3) (1/3, 2/5, 1/2) Absolutely Important (5/2, 3, 7/2) (2/7, 1/3, 2/5)
d)  Gunakan  metode extent analysis untuk memperkirakan  bobot relatif  dari elemen  keputusan. 𝑊 ′ = (𝑑 ′ (𝐴 1 ), 𝑑 ′ (𝐴 2 ), … , 𝑑 ′ (𝐴 𝑘 )) 𝑇 𝑑(𝐴 𝑛 ) = 𝑑 ′ (𝐴 𝑖 ) ∑ 𝑑 ′ (𝐴 𝑛 ) 𝑛 𝑖 =1
e)  Periksa  konsistensi  matriks  untuk  memastikan  bahwa  penilaian  dari  pengambil  keputusan konsisten.
𝑀 ̃_𝑐𝑟𝑖𝑠𝑝 = (𝑙 + 4𝑚 + 𝑢)
6
f )  Jumlahkan  bobot  relatif   elemen  keputusan  untuk  mendapatkan  peringkat  keseluruhan terhadap alternatif .

## 2.2 Tinjauan  Studi
Pada  tinjauan  ini  dilakukan  pembahasan  mengenai  teknik  terstruktur  untuk  menangani evaluasi  atau keputusan  yang telah  dilakukan penelitian  oleh para ahli  sebelumnnya.
a)  Penerapan  AHP  pada  perekrutan salesman dengan  judul  “ Application  of  Analysis  of Competency  Value on  the Recruitment  of Salesman ” (Guo, et al., 2008).
b)  Dalam  makalah ” Application  of  The  AHP  for  The  Performance  Evaluation  Criteria  of  Sport Office  in  Universities ” peneliti  mengidentif ikasi dan  memprioritaskan  kriteria  evaluasi  kinerja pendidikan  jasmani  dan  kantor  olahraga  di  universitas  dengan  menggunakan  AHP (Mirkazemi,  et al., 2019).
c) Pembahasan  mengenai  metode AHP pada makalah  ” Analytic  Hierarchy  Process  As  A Tool for Selecting and  Evaluating ” menjelaskan alasan memilih proyek yang tepat untuk melakukan bisnis di berbagai organisasi (Palcic & Lalic, 2019).
d)  Pembahasan  metode fuzzy AHP  untuk  memilih  staf   akademik  yang  paling  cocok  pada penelitian  “ Selection  of  Academic  Staff  Using  the  Fuzzy  Analytic  Hierarchy  Process ” (Rouyendegh  & Erkan,  2022).
e)  Metode fuzzy AHP  disertai studi kasus pada penelitian “ A  Fuzzy  Analytic  Hierarchy  Process Model  For Supplier  Selection And A Case Study ” membahas masalah  MCDM untuk pemilihan pemasok dan  model pengambilan  keputusan fuzzy diusulkan  terhadap  area  permasalahan supply chain  management (Aktepe & Ersoz, 2021).

## 3 Metode
Untuk menentukan  penilaian  kinerja sales force disajikan ringkasan perhitungan  metode AHP dan fuzzy AHP. Namun terlebih dahulu  menganalisa  data objek kemudian menentukan  kriteria yang menjadi dasar dalam penentuan  evaluasi. Setelah  itu kriteria-kriteria  tersebut ditentukan mana  yang termasuk  kriteria  kuantitatif   dan  kriteria  kualitatif .  Beberapa  literatur  mengungkapkan  bahwa beberapa  pengambilan  keputusan  yang  dilakukan  menggunakan  teknik  kualitatif   atau  kuantitatif maupun  keduanya  (Itanyi,  2022).  Kriteria-kriteria  yang  telah  ditentukan  kemudian  diberikan perbandingan bobot nilainya. Kerangka  penilaian  kinerja  seperti terlihat pada gambar 2.

## A.  Penerapan  Metode  AHP
Prosedur  AHP  melibatkan  enam  langkah  penting  (Lee  et  al,  2008)  yang  telah  diuraikan sebelumnya  pada  landasan  teori  yang  mengacu  dari  Saaty  (1980).  Pada  gambar  3.1  merupakan ilustrasi  mengenai  tahapan  atau  langkah-langkah  dalam  melakukan  perhitungan  menggunakan metode AHP.
Menemukan masalah yang tidak
terstruktur Mengembangkan hirarki AHP
Perbandingan berpasangan ( pairwise comparison ) Memperkirakan bobot relatif Pengecekan konsistensi Mendapatkan Peringkat Keseluruhan Konsisten? Ya Tidak Gambar  1 AHP Flowchart
Berikut ini merupakan  uraian  dari bebrapa tahapan penerapan  metode AHP dengan 5 sampel data sales force , 5 kriteria kuantitatif , dan 7 kriteria  kualitatif :
1)  Menentukan  Masalah  yang Tidak Terstruktur.
Dari  hasil  penelitian  diambil  beberapa  kriteria  berdasarkan  kategori  kuantitatif  dan  kualitatif yang digunakan untuk evaluasi  kinerja sales force di perusahaan  sebagai berikut :
Tabel  5 Kategori Kriteria Kode  Kriteria Kuantitatif Kode Kriteria Kualitatif A.1 Sales Target B.1 Product Knowledge A.2 Sales Order B.2 Selling Skill
A.3 Customer Obtained B.3 Customer Service A.4 Daftar Absensi B.4 Relationship A.5 Discount Range B.5 Communication B.6 Exhibition B.7 Appearance

## 2)  Mengembangkan  Hirarki  AHP
Gambar  2 Struktur  Hirarki  Evaluasi Kinerja  S ales Force
Pohon hirarki  tersebut pada tingkat menengah  terdapat kategorisasi kriteria  atau kriteria  level 1  yaitu  kategori  kriteria  kuantitatif   dan  kualitatif .  Kemudian  elemen-elemen  atau  sub- kriterianya  masing-masing sebagai perluasan  dari kriteria  kualitatif  dan kuantitatif .
3)  Perbandingan  Berpasangan
Dilakukan  perbandingan  berpasangan  pada  setiap  elemen  berdasarkan  himpunanny a masing-masing yang sesuai dengan pohon hirarki  yang telah dibentuk.
4)  Memperkirakan  Bobot Relatif
Dengan  ditentukannya  perbandingan  berpasangan,  kemudian  langkah  selanjutnya  adalah menghitung  bobot relatif   ( w )  terhadap  kriteria-kriteria  ( i )  yang  telah  dibandingkan  ( 𝑤 𝑖 )  atau prioritas ( eigenvector ).  Kemudian  untuk  menghasilkan  nilai  bobot relatif  ( w )  terhadap matriks perbandingan berpasangan  ( Aw )  dengan dihitung weighted  sum vector
5)  Pengecekan  atau  Periksa Konsistensi
Tahapan  ini  adalah  untuk  menentukan consistency ratio (CR),  jika CR  > 0,1  maka  penilaian matriks tidak konsisten. Untuk  mendapatkan  matriks yang konsisten, penilaian  harus  ditinjau dan  diperbaiki  dengan  mengulangi  proses  (Hambali,  et  al.,  2019).  Konsistensi  diperiksa menggunakan eigenvalue ( 𝜆 𝑚𝑎𝑘𝑠 ),  CI  ( consistency index ), dan CR  ( consistency ratio ). (a) Konsistensi Kategori Kriteria
𝜆 𝑚𝑎𝑘𝑠 = 4 2 = 2 𝐶𝐼 = 2 − 2 2 − 1 = 0
𝐶𝑅 = 0 0 = 0
(b) Konsistensi Kriteria  Kuantitatif
𝜆 𝑚𝑎𝑘𝑠 = 25,550 5 = 5,110 𝐶𝐼 = 5,110 − 5 5 − 1 = 0,027 𝐶𝑅 = 0,027 1,12 = 0,025
(c) Konsistensi Kriteria  Kualitatif
𝜆 𝑚𝑎𝑘𝑠 = 49,997 7 = 7,142
𝐶𝐼 = 7,142 − 7 7 − 1 = 0,024 𝐶𝑅 = 0,024 1,32 = 0,018
6)  Mendapatkan  Peringkat Keseluruhan
Tahapan  ini  adalah  tahapan  akhir  untuk  mendapatkan  hasil  dari  alternatif   yang  di dapatkan dengan beberapa sampel data sales force .

## B.  Penerapan  Metode  Fuzzy AHP
Penelitian  ini  menggunakan fuzzy AHP  (FAHP)  untuk  f uzif ikasi  analisis  hirarkis  dengan memungkinkan fuzzy  number terhadap  perbandingan  berpasangan  dan  menemukan  bobot pref erensi fuzzy .  Langkah-langkah  dalam  menerapkan  metode fuzzy AHP  pada  penelitian  ini digambarkan pada diagram alir  ( flowchart )  :
Mendefinisikan masalah serta menyatakan tujuan dan hasil dengan jelas
Menguraikan masalah yang kompleks menjadi struktur hirarki dengan elemen keputusan
Menggunakan perbandingan berpasangan antar elemen keputusan dan membentuk matriks perbandingan dengan fuzzy number
Gunakan metode e xtent analysis untuk memperkirakan bobot relatif dari elemen
keputusan Periksa konsistensi matriks untuk memastikan bahwa penilaian dari pengambil keputusan konsisten Jumlahkan bobot relatif elemen keputusan untuk mendapatkan peringkat keseluruhan terhadap alternatif Konsisten? Ya Tidak

## Gambar  3 FAHP Flowchart
Hasil  analisis  ini  merupakan  tahapan  evaluasi  kinerja sales  force yang menerapkan  metode AHP dengan pendekatan logika fuzzy yang biasa disebut fuzzy AHP, dapat diuraikan dengan contoh kasus berikut :
1)  Mendef inisikan masalah  serta menyatakan  tujuan  dan hasil dengan jelas.
Pendef inisian  masalah  telah  diuraikan  pada tahapan  awal  AHP  yaitu beberapa  kriteria  yang dibutuhkan dikelompokkan berdasarkan kategori kriteria kuantitatif  dan  kriteria  kualitatif  yang digunakan untuk  evaluasi kinerja sales force .
2)  Menguraikan  masalah  yang  kompleks  menjadi  struktur  hirarki  dengan  elemen  keputusan (kriteria  dan alternatif ).
Elemen  keputusan  telah  dibentuk  struktur  hirarki  sesuai  pada tahapan  kedua  metode  AHP yaitu pada gambar struktur hirarki  evaluasi  kinerja sales force .
3)  Menggunakan  perbandingan  berpasangan  antar  elemen  keputusan  dan membentuk  matriks perbandingan dengan fuzzy number .
Dilakukan pembobotan pada matriks perbandingan berpasangan menggunakan  transf ormasi triangular  fuzzy  number (TFN). 4)  Gunakan  metode extent analysis untuk memperkirakan  bobot relatif  dari elemen  keputusan . Langkah selanjutnya menganalisis fuzzy synthetic extent terhadap kriteria untuk mendapatkan perbandingan antara  kriteria satu dengan kriteria lainnya. Tahapannya  dengan menjumlahkan masing-masing anggota (𝑙, 𝑚, 𝑢) dalam satu baris. Setelah total masing-masing (𝑙, 𝑚, 𝑢) dalam setiap baris ditemukan, maka dicari to tal masing-masing (𝑙, 𝑚, 𝑢) secara keseluruhan.
5)  Periksa  konsistensi  matriks  untuk  memastikan  bahwa  penilaian  dari  pengambil  keputusan konsisten.
Langkah  ini  untuk  mencari  apakah  pemberi  keputusan  konsistensi  terhadap  nilai  yang diberikan  terhadap  masing-masing  kriteria,  dengan  mencari  nilai consistency ratio ( CR )  dari
skala  perbandingan  yang  telah  dibuat. Jika  nilai CR <  0,1  maka  pemberi  keputusan  sudah konsisten terhadap nilai kriteria  yang diberikan (Lee,  et al., 2021;  Wang, et al., 2022;  Tseng & Lin, 2008).
𝑀 ̃ 𝑐𝑟𝑖𝑠𝑝 = (𝑙 + 4𝑚 + 𝑢) 6 = ( 5 4 + 4 × 7 4 + 9 4 ) 6 = 1,75
(a) Konsistensi Kategori Kriteria
𝜆 𝑚𝑎𝑘𝑠 = 4,029 2 = 2,0147 𝐶𝐼 = 3,027 − 2 2 − 1 = 0,0147 𝐶𝑅 = 0,0147 0 = 0
(b) Konsistensi Kriteria  Kuantitatif
𝜆 𝑚𝑎𝑘𝑠 = 25,350 5 = 5,070 𝐶𝐼 = 5,070 − 5 5 − 1 = 0,017 𝐶𝑅 = 0,018 0,9 = 0,016
(c) Konsistensi Kriteria  Kualitatif
𝜆 𝑚𝑎𝑘𝑠 = 49,836 7 = 7,119 𝐶𝐼 = 7,119 − 7 7 − 1 = 0,020 𝐶𝑅 = 0,020 1,32 = 0,015
6)  Jumlahkan  bobot  relatif   elemen  keputusan  untuk  mendapatkan  peringkat  keseluruhan terhadap alternatif .
Dihitung  kalkulasi  dari  penilaian  kinerja sales  force berdasarkan  kriteria  kuantitatif , kriteria kualitatif ,  serta  hasil  akhir  dari  keseluruhan  penilaian  kinerja  sesuai  dengan  kriterianya masing-masing.
Hasil perhitungan  dari seluruh  tahapan  metode AHP dan fuzzy AHP yang paling ditinjau pada penelitian  ini yaitu perbedaan  nilai consistency ratio terhadap masing-masing metode. Tabel  berikut ini  merupakan  perbandingan  nilai  beberapa  variabel  dari  hasil  kalkulasi  elemen-elemen  kategori kriteria  kuantitatif  dan kualitatif  dengan menggunakan  metode AHP dan fuzzy AHP :
Tabel  7 Perbandingan Nilai  antara  AHP dengan Fuzzy AHP AHP FAHP 𝝀 𝒎𝒂𝒌𝒔 CI CR 𝝀 𝒎𝒂𝒌𝒔 CI CR Kuantitatif 5,120 0,027 0,025 5,070 0,017 0,016 Kualitatif 7,142 0,024 0,018 7,120 0,020 0,015
Perhitungan  menggunakan metode AHP dengan nilai consistency ratio pada kriteria kuantitatif sebesar  0,025  dan  kriteria  kualitatif   sebesar  0,018.  Kemudian  nilai consistency  ratio dengan menggunakan  metode fuzzy AHP pada kriteria kuantitatif  didapatkan nilai sebesar 0,016 dan kriteria kualitatif  sebesar 0,015.

## 4 Hasil  dan Pembahasan
Dilakukan  implementasi  dan  pengujian  sistem  dari  seluruh  hasil  perhitungan  metode, pengumpulan  data, maupun  perancangan  yang telah  dilakukan pada proses penelitian.
Berdasarkan  hasil perhitungan  dari Tabel  7 tentang perbandingan  nilai antara  AHP dan f uzzy AHP sehingga diperlukan evaluasi dari hasil penelitian. Hasil penelitian seperti pada tahapan berikut:
4.1 Validasi Hasil  Penelitian

## A.  Consistency  Ratio
Seorang sales manager dalam menentukan  bobot relatif  setiap kriteria harus  memeriksa  nilai dari consistency  ratio apakah  sudah  sesuai  ( consistent )  atau  masih error dimana  harus menghasilkan  nilai CR < 0.1. Jika masih terdapat error pada saat pengecekan nilai consistency ratio maka  sistem akan  memberikan  konf irmasinya, kemudian sales manager harus  mengulang  proses perbandingan  berpasangan  atau  menentukan  kembali nilai  bobot relatif  dari  setiap  kriteria -kriteria perbandingan  berpasangan.  Berikut  ini  merupakan  hasil  pengujian  sistem  dengan  menggunakan metode fuzzy AHP terhadap  kategori kriteria beserta  elemennya  masing -masing:
1)  Pengujian  Kategori Kriteria
Nilai skala kepentingan kategori kriteria  kuantitatif  yaitu lebih besar 4 terhadap kategori kriteria kualitatif . Karena  yang  dibandingkannya  hanya  dua  kategori kriteria  maka  nilai consistency ratio pada perbandingan tersebut dapat dipastikan bernilai  0/0.
2)  Pengujian  Kriteria  Kuantitatif
Perbandingan  pada  semua  elemen  kriteria  kuantitatif   maka  dihasilkan consistency  ratio dengan nilai  0,016.
3)  Pengujian  Kriteria  Kualitatif Didapatkan consistency  ratio sebesar  0,015  sehingga  dapat melewati  verif ikasi oleh  sistem pada kriteria-kriteria  kualitatif .
Pada  pengujian  perbandingan  berpasangan  semua  kategoria  kriteria  kuantitatif   dan  kualitatif beserta  elemennya  masing-masing  dapat  melewati  verif ikasi error dari  sistem.  Kemudian  sistem memberikan  konf irmasi the judgments  are  consistent yang ditampilkan terhadap sales manager .

## B.  Sensitivity  Analysis
Analisis  sensitivitas  ( sensitivity  analysis )  merupakan  teknik  yang  ampuh  untuk  memvalidasi sistem (Smith, et al., 2008),  dilakukan untuk menunjukkan  kepekaan hasil dengan perubahan  bobot kriteria  evaluasi  (Karimi,  et  al., 2021),  dengan cara  meningkatkan  atau  menurunkan  bobot masing- masing kriteria  sehingga perubahan  prioritas dan  peringkat terhadap  alternatif  dapat diamati  untuk memberikan  inf ormasi  mengenai  stabilitas  peringkat  (Tseng  &  Lin,  2008).  Pada  penelitian  ini dilakukan  penurunan  nilai  bobot relatif  terhadap  kriteria  pada  proses perbandingan  berpasangan kategori kuantitatif  dan kualitatif  (level 1).
Tabel  8 Bobot Rela tif Aktua l Ka tegori Kriteria Kategori Kuantitatif Kualitatif Bobot Relatif l m u l m u Kuantitatif 0,5 1 1,5 1.25 1,75 2,25 59,73% Kualitatif 0,5 0,67 1 0,5 1 1,5 40,27%
Sela njutnya   dila kuka n  penuruna n  ska la   denga n  TFN  pa da   ka tegori  kriteria   kua ntita tif  ya ng mempenga ruhi nila i bobot rela tif kedua  ka tegori kriteria  ya itu kua ntita tif da n kualita tif seba ga i berikut:
Tabel 9 Penuruna n Bobot Rela tif Ka tegori  Kriteria Kategori Kuantitatif Kualitatif Bobot Relatif l m u l m u Kuantitatif 0,5 1 1,5 1 1,5 2 55,88 % Kualitatif 0,5 0,667 1 0,5 1 1,5 44,12 %
Da ri  a na lisis sensitivita s tersebut dida pa tkan perubahan ha sil a khir da ri peringka t keseluruha n terhadap a lterna tif seba ga i berikut:
Gambar  4 Graf ik Analisis Sensitivitas MCDM – Fuzzy AHP
Dari gambar  analisis sensitivitas dapat dilihat perbedaan  peringkat akhir  dari perubahan  nilai bobot relatif . Peringkat pertama  didapatkan oleh sales  force yang  sama  yaitu  Asep  Zaidan  namun dengan  hasil  prioritas  yang  berbeda  yaitu  pada  peringkat  aktual  didapatkan  73,933  dan  analisis sensitivitas dengan nilai 73,667.  Kemudian  perbedaan yang signif ikan terlihat pada paringkat kedua dan  ketiga,  untuk  hasil  aktual  didapatkan  peringkat  kedua  oleh  Mulyati  Permana  (70,772)  dan peringkat  ketiga  oleh  Dadang  Friatna  (70,492).  Sedangkan  pada  analisis  sensitivitas  didapatkan peringkat sebaliknya, yaitu untuk peringkat kedua oleh Dadang Friatna  (70,590)  dan peringkat ketiga oleh Mulyati Permana  (70,506).
Tabel  4.3 Perbedaan  Peringkat Hasil Analisis Sensitivitas
No. Nama Sales Force Peringkat Aktual Analisis Sensitivitas Hasil Peringkat Hasil Peringkat 1 Asep Z.N. 73,933 1 73,667 1 2 Mulyati P. 70,772 2 70,506 3 3 Dadang F. 70,492 3 70,590 2 4 Neni S. 68,864 4 70,506 4 5 Yadi F. 67,788 5 67,669 5
Dari tabel 4.3 dapat disimpulkan bahwa semakin signif ikan perubahan  bobot relatif  maka akan semakin berpengaruh  terhadap urutan  alternatif . Sehingga analisis sensitivitas pada evaluasi kinerja sales force menggunakan  metode fuzzy AHP dapat mempengaruhi  prioritas dan peringkat terhadap alternatif .

## 4.2  Evaluasi  Hasil Penelitian

## 4.2.1  Analisa  Hasil  Pengolahan  Data
Evaluasi  hasil  penelitian  menggunakan  metode pretest dan posttest yang  digunakan  untuk melihat  tingkat akurasi  atau  objektivitas antara  hasil  penelitian  menggunakan  cara  manual  hitung rata-rata  dengan  metode fuzzy AHP  (FAHP).  Sebelumnya  didapatkan  target  evaluasi  dari  hasil observasi  berdasarkan  data sales  force yang  dikeluarkan  dari  perusahaan  dikarenakan produktif itasnya  yang  dibawah  standar.  Perbedaan  kesesuaian  dari  sebelum  dan  sesudah penerapan  metode fuzzy AHP  untuk  evaluasi  kinerja sales  force dengan  hasil  objektivitas pretest dan posttest digambarkan menjadi  graf ik sebagai berikut:
Gambar  5 Graf ik Objektivitas Pretest dan Posttest
Dari  graf ik tersebut dapat  terlihat  bahwa  terjadi  perbedaan  kesesuaian  sebelum  dan  setelah penerapan  sistem evaluasi kinerja sales force menggunakan  metode fuzzy AHP. Nilai  akurasi pada
85% 15% Objektivitas  Pretest Sesuai Tidak Sesuai 95% 5% Objektivitas  Posttest Sesuai Tidak Sesuai
pretest dengan nilai hanya  85%  dan nilai akurasi  pada posttest menghasilkan  nilai yang lebih besar yaitu 95%, sehingga sistem evaluasi  kinerja sales force berbasis fuzzy AHP hasilnya  lebih objektif .

## 4.2.2  Analisa  Hasil  Kuesioner
Analisa  hasil  kuesioner  dilakukan  dengan  memberikan  beberapa  pertanyaan  mengenai sistem  evaluasi  kinerja sales  force kepada  1  orang sales  manager dan  4  orang  penilai  yaitu supervisor sebagai berikut:
1)  Apakah  sistem evaluasi  kinerja sales  force dapat membantu  perusahaan  dalam  mengambil keputusan?
2)  Apakah  sistem  evaluasi  kinerja sales  force dapat  digunakan  untuk  mengambil  keputusan dengan mempergunakan  multi-kriteria?
3)  Apakah kriteria-kriteria  yang digunakan pada sistem evaluasi kinerja sales force sudah sesuai dengan kondisi dan kebutuhan  perusahaan?
4)  Apakah  penilaian  yang  dilakukan  dengan  menggunakan  sistem evaluasi  kinerja sales  force lebih ef ektif  dan mudah untuk digunakan?
5)  Apakah  sistem  evaluasi  kinerja sales  force dapat  memberikan  inf ormasi  yang  akurat  atau objektif ?

## A.  Skala  Likert
Pertanyaan-pertanyaan  yang  dicantumkan  pada  kuesioner  diukur  dengan  menggunakan skala likert yang merupakan  bentuk penilaian  dengan skala antara  angka 1 (satu)  sampai 4 (empat) yang dapat dideskripsikan seb agai berikut:
1)  Angka 1 (satu) menyatakan  sangat tidak setuju.
2)  Angka 2 (dua)  menyatakan  tidak setuju.
3)  Angka 3 (tiga) menyatakan  setuju.
4)  Angka 4 (empat) menyatakan  sangat setuju.
Skala ini berf ungsi untuk menunjukkan  tingkat kepuasan responden terhadap sistem evaluasi kinerja sales force menggunakan  metode fuzzy AHP. Gambar  4.3  menunjukkan  perbedaaan  yang signif ikan  antara  hasil pretest dan posttest dari  data  kuesioner  terhadap  tingkat  kepuasan responden.
Gambar  6 Graf ik Perbedaan Pretest dan Posttest Data Kuesioner
Dari graf ik data hasil kuesioner dapat terlihat bahwa terdapat perbedaan yang signif ikan terhadap keseluruhan  tingkat kepuasan  respoden terhadap  penggunaan  sistem evaluasi  kinerja sales force dengan menerapkan  metode fuzzy AHP.

## B.  Uji Statistik
Analisa t-test akan  membandingkan  hasil  perhitungan  perbedaan  hipotesa  dengan  t  tabel.
Apabila hasil perhitungan tersebut berbeda secara signif ikan, maka hipotesa diterima. Untuk itu perlu diketahui beberapa variabel  yang menjadi  parameter  perhitungan  pada t-test sebagai berikut:
1)  Derajat  kebebasan  (df ), yaitu suatu  angka yang  menjelaskan  sekumpulan  skor sampel yang bebas dari kesalahan.
2)  Alpha,  yaitu  tingkat signif ikansi  pengujian.  Besaran  nilai  yang  umumnya  digunakan  adalah 0,05.
0 2 4 6 8 10 12 14 16 18 20 Sales Manager Supervisor Tim A Supervisor Tim B Supervisor Tim C Supervisor Tim D Pretest Posttest
3)  Simpangan baku (Sd) yang dapat dihitung dengan rumus  sebagai berikut:
Sd = √∑(𝑥 − 𝑋 𝑧 )/𝑛 − 1
4) Standard  error  (Sx) yang dapat dihitung berdasarkan  rumus  berikut ini:
S X = Sd/√𝑛 5)  Untuk  menghitung nilai t dapat menggunakan  persamaan  sebagai berikut:
t = X − μ/S X
Perhitungan  dari  persamaan-persamaan  tersebut,  maka  nilai  t  hitung  akan  dibandingkan dengan  t  tabel. Jika  perbedaannya  signif ikan, maka  disimpulkan  bahwa  hipotesa  diterima  dengan dilakukan penyusunan  hipotesa sebagai berikut:
H 0 :  Tidak terdapat perbedaaan antara  data hasil kuesioner  sebelum dan sesudah implementasi sistem menggunakan  metode fuzzy AHP.
H 1 :  Terdapat  perbedaaan  antara  data  hasil  kuesioner  sebelum  dan  sesudah  implementasi sistem menggunakan  metode fuzzy AHP.
Untuk  perhitungan t-test , dapat disederhanakan  dengan  menggunakan  f ungsi dari Microsoft Excel pada data analysis sebagai berikut:
Tabel  4.4 Hasil t - Test Data Kuesioner
Keterangan  dari hasil t-test terhadap data kuesioner tersebut dapat dijelaskan sebagai berikut:
1) Mean = Nilai rata-rata  hasil pengujian
2) Variance = Nilai  variasi hasil pengujian pretest dan posttest 3) Observation = Jumlah  masing-masing pengamatan pretest dan posttest . 4) Pooled  variance = Variasi gabungan pretest dengan posttest 5) Hypothesized  Mean  Difference = Perbedaan  rata-rata 6)  Df  ( degree  of freedom )  = derajat  kebebasan ( n 1+ n 2-2 → 5+5-2=8) 7) t-Stat = Nilai  t hitung 8)  P(T<=t) one  tail = Nilai p-value 9) t-critical one  tail = Nilai  t tabel Dari  tabel t-test dapat dilihat t tabel  ( t  critical  one-tail )  bernilai  1,859548  sedangkan  t hitung  ( t stat ) bernilai  -7,85584  menunjukkan  bahwa  terdapat  perbedaan  data  hasil  kuesioner  yang  signif ikan antara  sebelum dan  sesudah penerapan  sistem evaluasi  kinerja sales force menggunakan  metode fuzzy AHP, artinya  bahwa  penerapan  sistem  tersebut membawa  ef ek positif . Dengan melihat  nilai probabilitas, hasil  dari p-value adalah  0,000494  yang  lebih  kecil  dari  nilai alpha (0,05)  berarti H 0 ditolak  ( H 1 diterima)  dapat  diartikan  bahwa  penerapan  sistem  evaluasi  kinerja sales  force menggunakan  metode fuzzy AHP.berjalan  dengan ef ektif .

## t-Test: Two-Sample Assuming Equal Variances
Pretest Posttest Mean 12.2 17.2 Variance 3.7 1.2 Observations 5 5 Pooled Variance 2.45 Hypothesized Mean Difference 0 df 8 t Stat -5.05076 P(T<=t) one-tail 0.000494 t Critical one-tail 1.859548 P(T<=t) two-tail 0.000988 t Critical two-tail 2.306004

## 5 Kesimpulan
Dari  penelitian  ini,  dapat  disimpulkan  bahwa  metode  f uzzy  AHP  berhasil  diterapkan  dalam membangun  sistem  evaluasi  kinerja  sales  f orce  dengan  hasil  yang  positif . Hal  ini  terlihat  dari kemampuan  metode  tersebut  dalam  mengatasi  subjektivitas dan  ketidakpastian  dalam  penilaian kualitatif , serta  mampu menghasilkan  prioritas dan  peringkat yang lebih objektif  terhadap alternatif . Temuan  tersebut menunjukkan  potensi metode f uzzy AHP untuk  meningkatkan  ef ektivitas evaluasi kinerja  sales  f orce di  perusahaan.  Namun,  perlu  dilakukan  penelitian  lanjutan  untuk  memperbaiki beberapa  aspek,  seperti  penggunaan  kategorisasi  kriteria  yang  lebih  ef ektif  untuk  mengur angi kompleksitas perbandingan berpasangan,  serta penerapan  analisis  sensitivitas secara  menyeluruh untuk  menguji  keandalan  hasil  akhir  evaluasi.  Selain  itu,  penelitian  masa  depan  juga  dapat mempertimbangkan  penggunaan  rata-rata  geometrik  dari  beberapa  pendapat  penilai  untuk meratakan  bobot  penilaian,  serta  menguji  responsivitas  sistem  evaluasi  terhadap  perubahan kebijakan  manajemen  yang  mungkin  terjadi.  Dengan  demikian,  penelitian  lanjutan  ini  diharapkan dapat meningkatkan validitas dan aplikabilitas metod e f uzzy AHP dalam evaluasi kinerja  sales f orce di berbagai industri.

## Referensi
[1]  Aktepe,  Adnan  &  Ersoz,  Suleyman  (2021).  A  Fuzzy  Analytic  Hierarchy  Process  Model  For Supplier Selection And A Case Study. International  Journal  of Research  and  Development (vol. 3, no. 1). January  2021.
[2]  Asiegbu, et  al.  (2021).  Salesf orce  Competence  Development  and  Marketing  Perf ormance  of Industrial and Domestic Products Firms in Nigeria. Far East Journal  of Psychology and  Business (vol. 2, no. 3). March  2021.  Calif ornia: Far  East Center.
[3]  Aydin, Serhat & Kahraman,  Cengiz  (2021).  A Modif ied Fuzzy Analytic Hierarchy  Process Based MCDM  Methodology f or Assessing  E-commerce  Website  Quality:  A  Case  Study  in  Turkey . Proceedings  of the World Congress  on  Engineering  2021 (vol II).  London: WCE.
[4]  Catak,  F.  Ozgur,  et  al.  (2022).  Fuzzy  Analytic  Hierarchy  Based  DBMS  Selection  in  Turkis h National  Identity  Card  Management  Project. International  Journal  of  Information  Sciences and Techniques (vol. 2, no. 4). July 2022.
[5]  Chang,  Kuei-Feng  &  Yang, Hao-Wei  (2021).  A Study of  Cosmetic Bundle  by  Utilizing  a  Fuzzy Analytic  Hierarchy  Process  (AHP)  to  Determine  Pref erence  of   Product  Attributers  Toward Customer  Value. African  Journal  of  Business  Management (vol.  5  (22),  pp. 8728-8739).  30 September, 2021.  Lagos: Academic Journals.
[6]  Das,  Manik  C.,  et  al.  (2013).  A  Decision  Support Framework  f or  Perf ormance  Evaluation  of Indian  Technical  Institutions. Decision  Science  Letters ,  2  (2013)  257 –274.  North  Vancouver: Growing Science.
[7]  Guo, Yongbo, et al. (2008).  Application of  Analysis of Competency Value on the Recruitment  of Salesman. International  Journal  of  Business  and  Management (Vol.  3,  No.  6).  June  2008. Toronto: Canadian  Center  of  Science and Education.
[8]  Itanyi, Okechukwu, et al. (2022).  Evaluation of  Decision Making Criteria with  Special Ref erenc e to Quantitative and Qualitative Paradigms. African Journal of Business Management (vol. 6 (44), pp. 11110-11117).  7 November 2022.  Lagos: Academic Journals.
[9]  Kabir, Golam & Hasin,  M. Ahsan  Akhtar  (2021).  Multiple Criteria  Inventory  Classif ication Using Fuzzy  Analytic Hierarchy  Process. International  Journal  of Industrial Engineering  Computations , 3 (2022)  123 –132.  North Vancouver: Growing Science Ltd.
[10] Karimi, A. R., et al. (2021).  Selection of  Wastewater Treatment  Process Based on The AHP and Fuzzy  Analytic Hierarchy  Process  Methods. Int.  J. Environ.  Sci.  Tech ,  8  (2),  267-280.  Spring 2021.  Tehran:  IRSEN,  CEERS, IAU.
[11] Landry,  Edward,  et  al. (2007). The  Adaptive  Sales  Force,  Five  Steps for  Staying  Aligned  with Customers .  McLean:  Booz Allen Hamilton  Inc.
[12] Lee,  Ming-Chang  (2010).  The  Analytic  Hierarchy  and  the  Network  Process  in  Multicriteria Decision Making: Perf ormance Evaluation and Selecting Key Perf ormance Indicators Based on ANP  Model. Convergence  and  Hybrid  Information  Technologies (pp.  426).  March  2010. Vukovar: Intech.
[13] Lee,  Amy H.I., et al. (2008).  A Fuzzy  AHP and BSC Approach f or Evaluating Perf ormance of  IT Department  in  The  Manuf acturing  Industry  in  Taiwan. Expert  Systems  with  Applications ,  34 (2008)  96 –107.  Elsevier Ltd.
[14] Mirkazemi, Seyedeh Azra, et al., (2019).  Application of  The AHP f or The Perf ormance Evaluation Criteria  of  Sport Of f ice in Universities. Brazilian  Journal  of  Biomotricity (v. 3,  n.  4,  p.  390-398). 2019.
[15] Palcic, I.  & Lalic, B. (2019).  Analytic Hierarchy  Process As A Tool f or Selecting and Evaluating Project. :IJSIMM.
[16] Rouyendegh,  Babak  Daneshvar  &  Erkan,  Turan  Erman  (2022).  Selecting  The  Best  Supplier Using  AHP  Method. African  Journal  of  Business  Management (vol.6  (4),  pp. 1455-1462).  1 February,  2022.  Lagos: Academic Journals.
[17] Saaty,  Thomas  L.  (2010).  Economic Forecasting  with  Tangible  and  Intangible  Criteria  -  The Analytic Hierarchy  Process of  Measurement  and Its Validation. Ekonomski Horizonti (str. 5-45). 2010,  12, (1).  Pittsburgh: RWS Publications.
[18] Saaty,  Thomas  L.  (2008).  Decision Making  with  The  Analytic  Hierarchy  Process: Why  is  The Principal Eigenvector Necessary Int. J. Services Sciences (vol. 1, no. 1). 2008.  Pittsburgh: RWS Publications.
[19] Srichetta,  Phanarut  &  Thurachon,  Wannasiri  (2022).  Applying FAHP  to  Evaluate  and  Select Product of  Notebook Computers. International Journal of Modeling and Optimization (vol. 2, no. 2). April 2022.
[20] Tiryaki,  Fatma  &  Ahlatcioglu,  Beyza  (2019).  Fuzzy  Portf olio Selection  Using  Fuzzy  Analytic Hierarchy  Process. Information  Sciences , 179  (2019)  53-69.  Elsevire Inc.
[21] Yildiz,  Sebahattin  &  Karakas,  Adem  (2022).  Def ining  Methods  and  Criteria  f or  Measuring Business  Perf ormance:  A  Comparative  Research  Between  The  Literature  in  Turkey  and Foreign. Procedia  - Social and  Behavioral  Sciences , 58  (2022)  1091
– 1102. Elsevier Ltd.
[22] Varshney,  K.R.,  et  al.  (2021).  Estimating  Post-Event  Seller  Productivity Prof iles in  Dynamic Sales  Organizations. Data  Mining  Workshops  (ICDMW),  2021  IEEE  11th  International Conference  on (pp.1191,1198,  11). 11  Dec. 2021.  IEEE Computer  Society.