JUMANJI
ISSN (e): 2598-8069

## Validitas dan Reliabilitas Instrumen Pengukuran pada Matriks Multitrait-Multimethod
(Kasus: Indeks Kepuasan Mahasiswa Terhadap proses Belajar Mengajar di Program Studi Informatika UNJANI)
ADE KANIA NINGSIH 1 , FAJRI RAKHMAT UMBARA 2
1.2 Program Studi Informatika, Fakultas Sains Dan Informatika Universitas Jenderal Achmad Yani (UNJANI) ade.kanianingsih@lecture.unjani.ac.id

## ABSTRAKS
Dalam  penelitian,  peneliti  sering  kali  menemukan  kesulitan  dalam  mengukur variabel konstruk. Campbell dan Fiske (1959) memperkenalkan matriks multitrait- multimethod (MTMM) untuk mengevaluasi konstruk. Desain kuesioner sering kali digunakan  setiap  item  kuesioner  hanya  satu  metode  pensekalaan  (  misalnya, likert dengan skala 1-5) sehingga sumber variasi metode terhadap respons item tidak  diperhitungkan.  Saris  dan  Gallhoffer  [13]  mengatakan  bahwa,  different methods,  different  results  yang  artinya  bahwa  metode  penskalaan  (effek metode)  sangat  berpengaruh  terhadap  kualitas  pengukuran.  Scherpenzeel  dan Saris [16] mengaplikasikan multitraits-multimethods (MTMM) untuk menghitung efek  metode  terhadap  respons  item  kuesioner,  juga  reliabilitas,  dan  validitas. Tujuan  makalah  ini  adalah  mengukur  reliabilitas,  validitas,  dan  besarnya  efek metode  suatu  traits.  Contoh  kasus  dalam  penelitian  ini  adalah  tentang  tingkat kepuasan  mahasiswa  terhadap  proses  belajar  mengajar  (PBM)  staf  pengajar  di lingkungan FMIPA-Unjani prodi informatika dengan tiga buah traits dan tiga buah metode penskalaan. Penaksiran reliabilitas, validitas, dan efek metode digunakan pendekatan pemodelan struktural dan paket program LISREL Metode penaksiran digunakan  kemungkinan  maksimum.  Hasilnya  tidak  sedikit  ketidak  konsistenan responden dalam menjawab kuesioner apabila hanya menggunakan satu metode penskalaan sehingga berpengaruh terhadap kualitas pengukuran.  Dalam hal ini berdasarkan  validitas  maka  untuk  kasus  yang  digunakan  menggunakan  tiga metode penskalaan untuk menghasilkan kualitas pengukuran yang lebih baik.
Kata kunci : MTMM, validitas dan reliabilitas ,metode penskalaan , pemodelan persamaan struktural.

## 1. PENDAHULUAN

## 1.1. Latar Belakang Masalah
Persoalan-persoalan pengukuran merupakan hal yang sangat kritis dalam penelitian ilmiah, karena  analisis  dan  interpetasi  pola-pola  empiris  dan  prosesnya  sangat  tergantung  kepada kemampuan untuk dikembangkan suatu alat ukur yang berkualitas tinggi sehingga mampu menaksir  fenomena-fenomena  yang  menjadi  perhatian  peneliti (Alwin,D.F.,2007) .  Studi- studi pemodelan statistik untuk mengembangkan konsep reliabilitas dan validitas suatu alat ukur, misalnya Cambell dan Fiske (1959); Reichardt dan Coleman (2015), Scherpenzeel dan Saris  (1993);  Saris  dan  Gallhoper  (2007).  Instrumen  atau  alat  ukur  dalam  suatu  survey sering disebut dengan kuesioner. Secara umum, bahwa setiap pertanyaan atau pernyataan (sering  disebut  item)  menggunakan  metode  penskalaan  hanya  satu  buah  (misalnya  Likert dengan skala 1-5) dengan hanya digunakan sebuah metode penskalaan tidak bisa mengukur seberapa besar varians kekeliruan pengukuran acak dan varians metode penskalaan (Saris dan  Gallhoper,  2007) .  Artinya,  metode  penskalaan  akan  berpengaruh  terhadap  respon responden untuk satu item. Ketidak mampuan mengukur suatu konsep social yang menjadi perhatian  peneliti  ada  kaitannya  dengan  kekeliruan  pengukuran  (measurement  error)  . Campbell dan Fiske (1959) memperkenalkan matriks multitrait-multimethod (MTMM) sebagai suatu  alat  untuk  mengevaluasi  variabel  konstruk.  Matriks  MTMM  adalah  suatu  matriks korelasi dari variabel–variabel J x K yang masing-masing mengukur salah satu J traits (atau karakteristik) menggunakan satu dari K buah metode. Campbell dan Fiske juga mengajukan kriteria  untuk  mengevaluasi  validitas  variabel  konstruk  menggunakan  validitas  konvergen dan validitas diskriminan (Reichardt dan Coleman, 1995) .
Validitas dalam rangka penelitian ditentukan oleh proses pengukuran yang akurat. Instrumen yang valid berarti alat ukur yang digunakan untuk mendapatkan data itu valid (Sugiyono, 2007) .  Validitas  adalah  sejauh  mana  suatu  alat  ukur  mampu  digunakan  untuk  mengukur apa  yang  ingin  diukur.  Reliabilitas  digunakan  untuk  menunjukkan  sejauhmana  suatu  alat ukur (instrument) dapat diandalkan (konsisten) untuk mengukur berbagai aspek dari suatu variabel penelitian.
Beberapa  peneliti  mengevaluasi  matriks  MTMM  dengan    menggunakan  Analisis  Faktor Konfirmatori (Widaman,  1985) . Meskipun  penggunaan  Analisis  Faktor  Konfirmatori tersebar  luas  dalam  analisis  matriks  Multitrait-Multimethod,  kenyataannya  terdapat kontroversi dalam penggunaan model ini. Contohnya, beberapa peneliti menunjukkan bahwa seringnya  terdapat  masalah  seperti  nonconvergence,  under-identification,  dan  Heywood cases (Brannick  &  Spector,  1990;  Dillon,  Kumar,  &  Mulani,  1987;  Marsh,  1989) . Selain  itu,  model  aditif mengabaikan  kemungkinan  interaksi  mutiplikatif  antara  trait  dan metode (Browne, 1984) .
UNJANI  merupakan  salah  satu  perguruan  tinggi  swasta  di  Indonesia  juga  memiliki,  peran sama  dengan  perguruan  tinggi  lainnya  yaitu  diharapkan  memberikan  peningkatan  mutu  , kualitas layanan yang dikehendaki mahasiswa dalam melaksanakan proses belajar mengajar. Berdasarkan  data  Jurusan  Informatika  setiap  tahun  terjadi  peningkatan  pendaftar,  hal  ini menjadi  bahan  pemikiran  bagaimana  indeks    kepuasan      mahasiswa  sesuai  dengan  yang dikehendaki  mahasiswa  umumnya  UNJANI  serta  khususnya  prodi  Informatika.  Dengan mengaplikasikan model alternatif yaitu model multiplikatif pada matriks MTMM dengan kasus evaluasi  kepuasan  mahasiswa  terhadap  kinerja  dosen  Fakultas  Sains  dan  Informatika Universitas Jenderal Achmad Yani, dalam hal ini diharapkan dapat menjadi referensi dalam pengembangan  alat  ukur  untuk  evaluasi  kinerja  dosen  Fakultas  Matematika  dan  Ilmu Pengetahuan Alam Universitas Jenderal Achmad Yani

## Validitas dan Reliabilitas Instrumen Pengukuran pada Matriks Multitrait-Multimethod

## 1.2. Tinjauan Pustaka
Dari  uraian  di  atas  dijelaskan  bahwa  latar  belakang  masalah  penelitian  ini  yaitu  masih memiliki  banyak  kekurangan  dalam  mengevaluasi  persoalan  pengukuran  dalam  penelitian . Oleh  karena  itu  dalam  hal  ini,  akan  dikemukakan  konsep-konsep  statistik  untuk  melihat model  apa  yang  tepat  untuk  digunakan  dalam  mengevaluasi  matriks  MTMM.  Pemodelan statistik  validitas  dan  reliabilitas      sudah  relatif  tua,  dan  alat  statistik  yang  digunakanpun relatif  sederhana  jika  dilihat  dari  perkembangan  pemodelan  statistik sekarang  ini,  misalnya Cronbach (Cronbach,  1951) Campbell  dan  Fiske (Campbell,  dan  Fiske,  1959) menggunakan koefisien korelasi untuk menaksir reliabilitas dan validitas. Akibat perumusan umum  tersebut  solusi  bahwa  model  pengukuran  klasik  digunakan    model-model  struktural dalam  penaksiran  parameter-parameter  pengukuran  untuk  variabel-variabel  yang  menjadi perhatian  penelitan  (misalnya  Saris  dan  Andrews (Andrews,  1991) ,  Bagozzi  dan  Yi (Bagozzi dan Yi, 1993) . Berkaitan dengan evaluasi reliabilitas dan validitas dari suatu alat ukur  ,  Saris  et  al. (Satorra  dan  Coenders,  2004) dan      Scherpenzeel  dan  Saris (Scherpenzeel dan Saris, 1993) menggunakan MTMM untuk mengetahui effek metode penskalaan,  juga  reliabilitas,  dan  validitas.  Konsep  yang  dikembangkannya  dikenal  dengan true-score validity (TV), sedangkan konsep umum dikenal dengan indicator validity (IV).
Dalam makalah ini dikemukakan tentang true-score validity (TV) dan validitas indikator untuk mengevaluasi  reliabilitas  dan  validitas.  Sebelum  dikemukakan  konsep  tersebut  akan dikemukakan  konsep-konsep  dasar  model  pengukuran  klasik  agar  dapat  diketahui perbedaannya.
Misalkan    adalah  true score,    merupakan  variabel  pengamatan  responden  ke-i  dan adalah kekeliruan pengukuran.  Hubungan ketiga besaran tersebut adalah:
(1)
Persamaan  (1)  pada  dasarnya  adalah  konsep  pengukuran  klasik  Dalam  model  pengukuran klasik diasumsikan bahwa true score bersifat tetap, dan asumsi ini dipandang tidak realistis (Bollen,  1989) .  Asumsi  model  ini  adalah . Perumusan tersebut tidak tampak komponen metode dan konsep yang ingin diukur. Jika Persamaan (1) dilibatkan kedua komponen tersebut, true score dirumuskan menjadi:
(2)
Asumsi Persamaan (2) adalah:
Dalam  hal  ini,  a,  b,  g  masing-masing  menunjukkan  koefisien  seperti  halnya  dalam  suatu persamaan regresi, dan U disebut unique component dari metode dan trait. Tentang metode dan trait selanjutnya akan dibahas lebih detil dalam MTMM.
Parameter  kualitas  pengukuran  umumnya  dalam  format  baku  (standardized  parameter), sehingga Persamaan (1) dan (2) dinyatakan dalam format baku menjadi:
i T i y  i i i y T      cov( , ) 0,  dan E 0 i i
F     i i i i j i T a b F g M U
   
cov( , ) 0, cov( , ) 0, cov( , ) 0, cov( , ) 0, cov( , ) 0, cov( , ) 0,  dan  cov( , ) 0 i i i i i i i i i i i F U M
F U
F M M U M
   
      
(3)
(4)
Semua  asumsi  Persamaan  (3)  dan  (4)  sama  seperti  Persamaan  (1)  dan  (2).    Kedua persamaan tersebut jika dinyatakan dalam suatu diagram adalah:

## Gambar 1. Diagram jalur proses pengukuran untuk satu trait dan metode
Persamaan  (3)  dan  (4)  ada  kaitannya  dengan  konsep  reliabilitas  dan  validitas  suatu  alat ukur. Reliabilitas sering didefinisikan sebagai proporsi varians dalam  , yang menunjukkan stable  dengan  melakukan  pengukuran  berulang-ulang  dari  ukuran  yang  sama.  Secara statistik, koefisien reliabilitas untuk format tak baku adalah:
(5)
Alternatif  lain,  koefisien  reliabilitas  sama  dengan  kuadrat  dari  persamaan  regresi  pada Persamaan (3) yaitu:
(6)
Konsep validitas didefinisikan sebagai efek kuadrat koefisien format baku variabel yang ingin diukur terhadap true score:
(7)
Definisi  tersebut  diusulkan  oleh  Heise  dan  Bohrnstedt (Heise  dan  Bohrnstedt,  1970) . Besaran  merupakan koefisien regresi pada Persamaan (4). Karena perumusan validitas ini dikaitkan  dengan  true  score,  sering  disebut  sebagai  true  score  validity,  TV (Saris  dan Andrews,  1991) .  Perbedaan  perumusan  validitas  secara  umum  selalu  dikaitkan  dengan variabel indikator dan variabel yang ingin diukur atau variabel laten sehingga perumusan ini sering disebut dengan indikator validity (IV).  Perbedaan TV  dan IV hanya persoalan scale transformation, yang artinya bahwa tidak merubah definisi validitas secara umum.

## 1.2.1  Matriks Multitrait-Multimethod (MTMM)
Matriks  MTMM  yang  diperkenalkan  dan  dipopulerkan  oleh (Campbell  dan  Fiske,  1959) , merupakan  suatu  matriks  korelasi  dari  variabel–variabel  J  x  K  yang  masing-masing mengukur  salah  satu  J  traits  (atau  karakteristik)  menggunakan  satu  dari  K  buah  metode. Matriks  MTMM  untuk  tiga  trait  dan  tiga  metode  diilustrasikan  dalam  Tabel  1  di  mana  V menunjukkan  korelasi  antara  trait  yang  sama  menggunakan  metode  yang  berbeda (monotrait-heteromethod),  S  adalah  korelasi  antara  trait  yang  berbeda  menggunakan
i i i i y hT    i i i i i T b F g M U    i M y   var( ) var i i T relibilitas y  1 2 var( ) / var( ) i i i h T y      2 i validitas b  i b
metode  yang  sama  (heterotrait-monomethod),  dan  D  adalah  korelasi  antara  trait  yang berbeda menggunakan metode yang berbeda (heterotrait-heteromethod).

## Tabel 1. Matriks MTMM untuk Tiga Traits dan Tiga Metode

## 1.2.2  Prosedur Campbell dan Fiske
Untuk mengevaluasi matriks MTMM, (Campbell dan Fiske, 1959) mengajukan dua aspek validitas  variabel  konstruk  yaitu  validitas  konvergen  dan  validitas  diskriminan.  Validitas konvergen  terpenuhi  apabila  dua  atau  lebih  metode  yang  mengukur  konsep  (trait)  yang sama  menghasilkan  korelasi  antar-metode  yang  tinggi.  Sedangkan  validitas  diskriminan terpenuhi  apabila  dua  atau  lebih  konsep  (trait)  yang  berbeda  menghasilkan  korelasi  antar- trait yang rendah (Bagozzi et al, 1991).
Evaluasi  validitas  variabel  konstruk  dari  Campbell  dan  Fiske  secara  implisit  memiliki  empat kriteria,  kriteria  pertama  untuk  validitas  konvergen  dan  tiga  kriteria  lainnya  untuk  validitas diskriminan, yaitu :
1. Korelasi monotrait-heteromethod (V) memiliki nilai yang besar.
2. Nilai  absolut  korelasi  monotrait-heteromethod  (V)  harus  melebihi  nilai  absolut  dari korelasi baris dan kolom dalam submatriks heteromethod (D).
3. Nilai  absolut  korelasi  monotrait-heteromethod  (V)  harus  melebihi  nilai  dua  submatriks monomethod (S) yang besangkutan.
4. Semua submatriks dari korelasi intertrait harus memiliki pola yang sama, apapun metode yang digunakan.
Kekurangan kriteria Campbell dan Fiske adalah ketiadaan informasi pemisahan variasi dalam pengukuran  yang  disebabkan  oleh  traits,  methods,  dan  random  error.  Selain  itu  prosedur Campbell dan Fiske tidak menyediakan standar untuk melihat seberapa besar kriteria-kriteria validitas sudah terpenuhi atau dengan kata lain bersifat subjektif (Bagozzi et al, 1991) .

## 1.3. Metode Penelitian 1.3.1 Pemodelan Persamaan Struktural
Penaksiran  parameter  dalam  Persamaan  (8)  dan  (9)  digunakan  pendekatan  persamaan struktural (Bachrudin dan Tobing, 2004) .  Variabel F, T, dan M dalam kedua persamaan
tersebut  dipandang  sebagai  variabel  laten.  Karena  melibatkan  variabel  laten  sehingga solusinya digunakan pendekatan pemodelan persamaan struktural yang baku, yaitu

## (8)
(9)
Persamaan (8) dan (9) masing-masing disebut model persamaan pengukuran dan struktural.
Berdasarkan (Saris et al, 2004) pada model MTMM  dengan pendekatan struktural ini ada beberapa asumsi: (1) antara metode tidak berkorelasi, tetapi antara trait atau variabel yang ingin diukur berkorelasi, (2)  efek metode diasumsikan terhadap semua trait   adalah sama, yaitu  ( ij m m m  ), untuk  setiap  metode,  dan  (3) unique  component,  yaitu .    Selain  itu  bahwa  vektor  pengamatan  diasumsikan  berdistribusi  multivariat  normal sehingga  metode  penaksiran  digunakan  adalah  kemungkinan  maksimum.  Pengolahan  data digunakan software LISREL (Jöreskog dan Sörbom, 1996) .
Spesifikasi model, identifikasi model, dan listing program dinyatakan sebagai berikut:
Syntax Lisrel : MTMM data ni=9 no=56 ma=cm km 0.504 0.182  0.348 0.283  0.184  0.509
0.462  0.302  0.432  2.454
0.164  0.416  0.398  1.407  2.275
0.247  0.398  0.486  1.646  2.002  2.691
0.156  0.152  0.186  0.255  0.284  0.372  0.418
0.088  0.100  0.123  0.204  0.300  0.232  0.123  0.353
0.104  0.114  0.215  0.231  0.468  0.497  0.133  0.179  0.477 la y11 y21 y31 y12 y22 y32 y13 y23 y33 model ny=9 ne=9 nk=6 ly=fu,fi te=di,fr ps=di,fi be=fu,fi ga=fu,fi ph=sy,fi value 1 ly 1 1 ly 2 2 ly 3 3 value 1 ly 4 4 ly 5 5 ly 6 6 ly 7 7 ly 8 8 ly 9 9 free ga 1 1 ga 4 1 ga 7 1 ga 2 2 ga 5 2 ga 8 2 ga 3 3 ga 6 3 ga 9 3 value 1 ga 1 4 ga 2 4 ga 3 4 value 1 ga 4 5 ga 5 5 ga 6 5 ga 7 6 ga 8 6 ga 9 6 free ph 2 1 ph 3 1 ph 3 2 ph 6 6 ph 5 5 ph 4 4 value 1 ph 1 1 ph 2 2 ph 3 3 start 0.5 all out rs adm=off sc Output Lisrel Goodness of Fit : Goodness of Fit Statistics Degrees of Freedom = 21 Minimum Fit Function Chi-Square = 20.18 (P = 0.51) Normal Theory Weighted Least Squares Chi-Square = 18.43 (P = 0.62) Estimated Non-centrality Parameter (NCP) = 0.0
  y Λη ε    η Γξ Βη ζ ( ) 1 j Var M 
0 i U 

## Validitas dan Reliabilitas Instrumen Pengukuran pada Matriks Multitrait-Multimethod
90 Percent Confidence Interval for NCP = (0.0 ; 11.19) Minimum Fit Function Value = 0.37 Population Discrepancy Function Value (F0) = 0.0 90 Percent Confidence Interval for F0 = (0.0 ; 0.20) Root Mean Square Error of Approximation (RMSEA) = 0.0 90 Percent Confidence Interval for RMSEA = (0.0 ; 0.098) P-Value for Test of Close Fit (RMSEA < 0.05) = 0.76
Expected Cross-Validation Index (ECVI) = 1.25
90 Percent Confidence Interval for ECVI = (1.25 ; 1.46) ECVI for Saturated Model = 1.64 ECVI for Independence Model = 5.90 Chi-Square for Independence Model with 36 Degrees of Freedom = 306.63 Independence AIC = 324.63 Model AIC = 66.43 Saturated AIC = 90.00 Independence CAIC = 351.86 Model CAIC = 139.04 Saturated CAIC = 226.14 Normed Fit Index (NFI) = 0.93 Non-Normed Fit Index (NNFI) = 1.01 Parsimony Normed Fit Index (PNFI) = 0.54 Comparative Fit Index (CFI) = 1.00 Incremental Fit Index (IFI) = 1.00 Relative Fit Index (RFI) = 0.89 Critical N (CN) = 107.13 Root Mean Square Residual (RMR) = 0.063 Standardized RMR = 0.073 Goodness of Fit Index (GFI) = 0.93 Adjusted Goodness of Fit Index (AGFI) = 0.85 Parsimony Goodness of Fit Index (PGFI) = 0.43
Output Lisrel Estimasi : Completely Standardized Solution LAMBDA-Y
ETA 1      ETA 2      ETA 3      ETA 4      ETA 5      ETA 6 --------     --------     --------     --------     --------     -------- y11       0.78        - -            - -             - -           - -           - - y21        - -          0.74         - -             - -           - -           - - y31        - -           - -           0.77           - -          - -           - - y12        - -            - -           - -            0.85        - -           - - y22        - -            - -           - -             - -          0.98        - - y32        - -             - -          - -             - -            - -         0.89 y13        - -              - -          - -            - -            - -          - - y23        - -              - -          - -             - -           - -          - - y33        - -              - -          - -             - -           - -          - - LAMBDA-Y ETA 7      ETA 8      ETA 9 --------     --------     -------- y11        - -           - -           - -
y21        - -           - -           - - y31        - -           - -           - - y12        - -           - -           - - y22        - -           - -           - - y32        - -           - -           - - y13       0.57        - -           - - y23        - -          0.58        - - y33        - -           - -          0.70

## GAMMA
KSI 1      KSI 2      KSI 3      KSI 4      KSI 5      KSI 6 --------    --------    --------    --------    --------    -------- ETA 1       0.84        - -            - -         0.54         - -           - - ETA 2        - -         0.77          - -         0.64          - -          - - ETA 3        - -            - -         0.85       0.52           - -         - - ETA 4       0.75         - -           - -            - -          0.66        - - ETA 5        - -         0.78           - -           - -          0.62        - - ETA 6        - -            - -          0.78         - -          0.63        - - ETA 7       0.83         - -            - -           - -           - -         0.56 ETA 8        - -          0.79          - -            - -          - -          0.62 ETA 9        - -             - -          0.90         - -           - -         0.44

## 1.3.2. Contoh Kasus
Contoh kasus ini tentang tingkat kepuasaan mahasiswa semester empat ke atas  terhadap kompetensi dosen dalam hal kemampuan mata kuliah yang diampu, kemamampuan dalam proses  belajar  mengajar  (PBM),  dan  kemampuan  dalam  penerapannya.  Pengumpula  data dilakukan  mahasiswa  tersebut  dilakukan  di  lingkungan  FSI-UNJANI  (Prodi  Informatika). Sebanyak 56 mahasiswa semester enam sebagai responden untuk mengsi kuesioner.Teknik pengumpulan  data  menggunakan  fasilitas  internet.  Kuesioner  ini  disusun  dengan  tiga  trait dan tiga metode penskalaan. Setiap mahasiswa untuk mengevaluasi setiap trait dengan tiga metode peskalaan. Kuesionernya adalah sebagai berikut:

## TRAITS
1. Secara umum sejauh mana kemampuan pengajar menguasai materi matakuliah
2. Secara umum sejauh mana kemampuan komunikasi pengajar dalam perkuliahan
3. Secara Umum sejauh mana kemampuan penerapan teori pengajar dalam suatu kasus. M1. 1 = Sangat rendah   2 = Rendah   3 = Cukup   4 = Tinggi    5 = Sangat Tinggi M2.   Sangat rendah                                                        Sangat Tinggi
1 2 3 4 5 6 7
M3. 1 = Sangat rendah   2 = Rendah   3 = Cukup   4 = Tinggi

## 2. HASIL DAN PEMBAHASAN
Data  yang  disajikan  dalam  penelitian  ini  diperoleh  dengan  menyebarkan  kuesioner  kepada mahasiswa  semester  empat  ke  atas  FSI-Unjani  prodi  Informatika.  Setiap  mahasiswa melakukan evaluasi terhadap tiga trait, setiap trait diukur dengan tiga metode  penskalaan. Kuisioner dibagikan secara online kepada 56 responden.
Tabel 2. Distribusi Respons Trait dan Tingkat Kepuasaan dengan Metode 1
Respons M1 ( Skala 1-5) T1 T2 T3 1 0 0 0 2 2 2 1 3 33 32 31 4 16 21 18 5 5 1 6 Total 56 56 56 Tabel 3. Distribusi Respons Trait dan Tingkat Kepuasaan dengan Metode 2 Respons M2 (Skala 1-7) T1 T2 T3 1 4 3 3 2 0 2 3 3 7 7 5 4 9 9 10 5 19 20 16 6 10 10 10 7 7 5 9 Total 56 56 56 Tabel 4. Distribusi Respons Trait dan Tingkat Kepuasaan dengan Metode 3 Respons M3 (Skala 1-4) T1 T2 T3 1 0 0 1 2 5 5 5 3 32 34 34 4 19 17 16 Total 56 56 56
Dalam  pemodelan  struktural  perlu  dilakukan  pemeriksaan  apakah  model  yang  diusulkan tersebut  fit  atau  tidak  dengan  data  (Goodness  of  fit  test).  Berdasarkan  sebagian  output LISREL  goodness  of  Fit  Statistics  (Tabel  4)  memperlihakan  bahwa  model  yang  diusulkan tidak fit dengan data (p-value = 0.51) untuk  = 0.05.
Tabel 5. Nilai-nilai Statistik Goodness of Fit Degrees of Freedom 21 Minimum Fit Function Chi-Square 20,18 (P = 0,51) Root Mean Square Residual (RMR) 0,063 Standardized RMR 0,073
Goodness of Fit Index (GFI) 0,93

## Sumber : Keluaran Program Lisrel
Tabel  5  menunjukkan  koefisien  validitas,  reliabilitas,  dan  efek  metode.  Besar  koefesien validitas untuk trait 1 dengan metode penskalaan M1  T 11  untuk konsep kompetensi dosen dalam  hal  teori  F 1  adalah  0.84,  pengaruh  metode  pensklaan  M1  terhadap  true  score  T 11 sebesar  0.54,  besar  koefisien  reliabilitas  sebesar  0.78,  dan  besar  indeks  validitas  adalah (0.78) 2 =0.61. Penjelasan yang sama untuk nilai taksiran lainnya pada Tabel 3.
Tabel  tersebut  memperlihatkan  bahwa  semakin  tinggi  (rendah)  nilai  efek  metode,  semakin kecil  rendah  (tinggi)  nilai  koefesien  validitas.  Fakta  ini  menunjukkan  bahwa  metode penskalaan  berpengaruh  terhadap  kualitas  pengukuran.  Hasil  tabel  tersebut  juga menunjukkan  bahwa  metode  penskalaan  M3  lebih  baik  daripda  yang  lain.  Artinya,  dengan pendekatan ini diusulkan untuk menggunakan metode penskalaan M3 bagi semua trait.

## Tabel 6. Taksiran Koefisien Validitas, Reliabilitas, dan Efek Metode
Trait Koefisien Validitas Efek Metode Koefisien Reliabilitas F1 F2 F3 M1 M2 M3 T11 0,84 0,54 0,78 T21 0,77 0,64 0,74 T31 0,85 0,52 0,77 T12 0,75 0,66 0,85 T22 0,78 0,62 0,98 T32 0,78 0,63 0,89 T13 0,83 0,56 0,57 T23 0,79 0,62 0,58 T33 0,9 0,44 0,70

## 3. KESIMPULAN
Berdasarkan  hasil  dan  pembahasan  sebelumnya,  berikut  ini  dapat  diambil  beberapa kesimpulan:
1. Secara  umum  bahwa  metode  penskalaan  menentukan  kualitas  pengukuran.  Semakin rendah (tinggi) nilai efek metode, semakin tinggi (rendah) koefisien validitasnya. Hasil ini semakin menguatkan pernyataan “Different methods, different results”.
2. Sehubungan  dengan  contoh  kasus  ini,  berdasarkan  true  score  validity  bahwa  metode yang paling tepat digunakan adalah M3.
3. Kelemahan  metode  ini  bahwa  setiap  responden  sangat  dibebani  karena  setiap pertanyaan  kuesioner  harus  mengisi  lebih  dari  satu  metode  penskalaan,  juga  ada pengaruh efek memory pada responden.

## Validitas dan Reliabilitas Instrumen Pengukuran pada Matriks Multitrait-Multimethod

## DAFTAR PUSTAKA

## Rujukan Buku:
Alwin,  D.F.  (2007)  Margin  of  Error:  A  Study  of  Reliability  in  Survey  Measurement,    ,  John
Wiley & Sons, Inc., Hoboken, New Jersey.
Bollen, K.A (1989). Structural Equations with Latent Variables. John Wiley & Sons, New York. Groves,  R.  M.  (2004).  Survey  errors  and  Survey  Costs,  John  Wiley  & Sons, Inc.,  Hoboken,
New Jersey.
Jöreskog, K. dan Sörbom,D. (1996). LISREL 8: User’s Reference Guide, SSI, Inc., Chicago.
Saris, W. E. dan Gallhofer, I. (2007). Design, Evaluation, and Analysis, of Questionnaires for
Survey Research, John Wiley & Sons, Inc., Hoboken, New Jersey.
Saris,  dan  Andrews,  F.M.(1991)  Evaluation  of  Measurement Instruments  Using  a  Structural Modeling  Approach.  Pp.  575-599  in  Measurement  Error  in  Survey,  edited  by  P.P. Biener et al..  John Wiley & Sons, Inc., New York.

## Rujukan Jurnal:
Andrews,  F.M.  (1984).  Construct  Validity  and  Error  Components  of  Survey  Measures.  A Structural Modeling Approach, Public Opinion Quaterly, 48, 409-442
Bagozzi  dan  Yi  (1993)  Multitrait-Multimethod  Matrices  in  Consumer  Research:  Critique  and New Developments, Journal of Consumer Psychology, 2, 143-170
Reichardt,  C.S.,  dan  Colemen,  S.C.  (2015).  The  Criteria  for  Convergent  and  Discriminant Validity  in    Maultitraits-Multimethods  Matrix,  Multivariate  Behavioral  Research,  30:4, 513-538.
Scherpenzeel, A.C. dan Saris, W.E. (1993), The Validity and Reliability of Survey Questions,

## Sociological Methods, 25, 341-374

## Rujukan Prosiding:
Achmad  Bachrudin  (2016)  Penerapan  Multitrait-Multimethod  (MTMM)  Untuk  Penaksiran Koefisien  Reliabilitas  dan  Validitas  Instrumen  Pengukuran.  Prosiding  Konferensi Nasional Matematika XVIII Universitas Riau Pekanbaru hal 151-159.
Campbell,  D.T.  dan  Fiske,  D.W.  (1959).  Convergent  and  Discriminant  Validation  by
Maultitraits-Multimethods Matrix. Psychological Bulletin, 56, 81-105.
Cronbach (1951). Coefficients Alpha and The Internal Structure of Tests, Psychometrika, 16, 297-334.
Heise dan Bohrnstedt (1970). Val.idity, Invalidity, and Reliability, Pp 104-129 in Sociological
Methodology,  edited  by  E.E.  Borgatta  and  G.W.  Bohmstedt,  San  Fransisco,  Jossey-
Bass.
Saris, Satorra A. , dan. Coenders, G. (2004). A New Approach for Evaluating of measurement Instruments, Sociological Methodology,3, 311-347.
Werts dan Linn (1970), Path Analysis. Psychological Examples, Psychological Bulletin, 74, S 193-212