Jurnal Teknik Informatika dan Sistem Informasi ISSN 2407-4322 Vol. 11, No. 2, Juni 2024, Hal. 97-111 E- ISSN 2503-2933 97

## Perbandingan Kerangka Kerja Penilaian Tingkat Kematangan Pengujian Perangkat Lunak
Margareth Handayani Saragih* 1 , Astari Retnowardhani 2
1,2 Bina Nusantara University, Jakarta, Indonesia 11480
3 Jurusan Manajemen Sistem Informasi (MMSI), BINUS Graduate Program e-mail: * 1 margreth.saragih@binus.ac.id, 2 aretnowardhani@binus.edu

## Abstrak
Pengujian  perangkat  lunak  merupakan  salah  satu  tahapan  penting  dalam  pembuatan suatu software pada suatu organisasi atau perusahaan. Beberapa organisasi bahkan mengukur tingkat  kematangan  pengujian  perangkat  lunak  yang  selama  ini  mereka  lakukan  untuk mengetahui  bagimana  pengujian  perangkat  lunak  yang  telah  dilakukan  apakah  sudah mencukupi atau perlu perbaikan kedepannya. Makalah ini merupakan hasil penelitian kualitatif yang  membandingkan  kerangka  kerja  penilaian  tingkat  kematangan  perangkat  lunak  yang dipilih  oleh  peneliti.  Dalam  penelitian  ini  dilakukan evaluasi  untuk  membandingkan  kerangka kerja TMMI, TPI Next dan Test SPICE. Makalah ini menyajikan hasil perbandingan dari ketiga nya  dan  rekomendasi yang  paling  baik  untuk  digunakan  sesuai  dengan  kebutuhan  organisasi. Ketiga  kerangka  kerja  ini  dapat  dipertimbangkan  untuk  digunakan  sebagai  perbaikan  dalam proses pengujian perangkat lunak, dengan pertimbangan dalam memilih salah satunya. Selain itu, ringkasan contoh implementasi kerangka kerja yang dipilih juga diberikan. Hasil studi ini sangat  diharapkan  dapat  digunakan  sebagai  referensi  bagi  organisasi  dalam  mempersiapkan pengukuran tingkat kematangan perangkat lunak dalam pengujian perangkat lunak.
Kata kunci —3-5 Pengujian, Perangkat Lunak, TMMi, TPI Next, Test SPICE

## Abstract
Software testing is one of the crucial stages in the development of software within an organization or company. Some organizations even measure the maturity level of their software testing  practices  assessing whether  their  testing  efforts  suffice or  require improvements  in  the future.  This  paper  presents  the  findings  of  a  qualitative  research  study  comparing  selected software maturity assessment frameworks. The evaluation in this research compares the TMMI, TPI Next, and Test SPICE frameworks. The paper provides a comparison of these frameworks and  recommends  the  most suitable  one  based  on organizational  needs.  These frameworks  can be  considered for  use in improving the  software testing process,  with careful consideration in choosing  among  them.  Additionally,  a  summary  of  example  implementations  of  the  chosen framework  is  also  provided.  The  results  of  this  study  are  expected  to  serve  as  a  valuable reference for organizations in preparing for software testing maturity assessments.
Keywords —Software Testing, Software, TMMi, TPI Next, Test SPICE
98 Jatisi ISSN 2407-4322 Vol. 11, No. 2, Juni 2024, Hal. 97-111 E-ISSN 2503-2933

## 1. PENDAHULUAN
Pengujian perangkat lunak adalah kegiatan mendasar atau fundamental dalam menjamin kualitas  perangkat  lunak  [1].  Hal  ini  ditambahkan  pada  [2]  bahwa  pengujian  perangkat  lunak merupakan  tindakan  pemeriksaan  perangkat  lunak  untuk  menguji  kesesuaian  perangkat  lunak dengan  kebutuhan  dan  mengetahui  dampak  dari defect yang  ditemukan,  namun  tidak mengetahui secara pasti lokasi defect pada perangkat lunak.
Menurut  [3],  pengujian  perangkat  lunak  merupakan  proses  memeriksa  dan  verifikasi oleh  tim  penguji  untuk  meningkatkan  kualitas  dari  perangkat  lunak  yang  dikembangkan. Berdasarkan ketiga sumber tersebut dapat disimpulkan bahwa pengujian perangkat lunak adalah aktivitas  yang  dilakukan  oleh  tim  penguji  dalam  memeriksa  dan  memverifikasi  kesesuaian perangkat lunak  dengan  kebutuhan  untuk  menjamin  dan  meningkatkan  kualitas dari  perangkat lunak  yang  sedang  dikembangkan.  Dari  defenisi  pengujian  perangkat  lunak  tersebut  dapat disimpulkan  bahwa  pengujian  perangkat  lunak  adalah  proses  yang  dilakukan  oleh  pihak  yang bertanggung  jawab  untuk  menguji  untuk  memeriksa  dan  memverifikasi  perangkat  lunak  yang dihasilkan apakah sudah siap untuk digunakan dilingkungan produksi tanpa adanya kecacatan. Setelah  membahas  mengenai  pengujian  perangkat  lunak,  makalah  ini  akan  membahas  lebih lanjut  mengenai  proses  pengujian  perangkat  lunak  untuk  lebih  memahami  bagaimana  proses pengujian  perangkat  lunak  dan  kerangka  kerja  yang  cocok  digunakan  untuk  menilai  tingkat pengujian perangkat lunak tersebut.
Pada  penelitian  yang  berjudul  "Test  Maturity  Model  integration  (TMMi):  Trends  of worldwide test maturity and certifications" dilakukan sebuah studi empiris untuk mengevaluasi penggunaan TMMi di berbagai negara dan sektor industri. Penelitian ini menggunakan data dari lebih dari 200 organisasi di seluruh dunia yang telah menggunakan TMMi sebagai alat evaluasi dan  perbaikan  proses  pengujian  perangkat  lunak.  Hasil  penelitian  menunjukkan  bahwa penggunaan TMMi telah meningkat secara signifikan selama beberapa tahun terakhir dan telah menjadi  standar  de  facto  untuk  evaluasi  kematangan  pengujian  perangkat  lunak  [4].  Dalam penelitian  yang  dilakukan  [5].  peneliti  menggunakan  data  dari  survei  global  yang  dilakukan pada organisasi-organisasi yang telah mengadopsi TMMi. Penelitian ini menemukan bahwa ada beberapa  motivasi  utama  yang  mendorong  organisasi  untuk  mengadopsi  TMMi,  termasuk kebutuhan  untuk  meningkatkan  kualitas  produk  perangkat  lunak,  memenuhi  persyaratan kontrak,  dan  meningkatkan  efisiensi  dan  efektivitas  pengujian  perangkat  lunak.  Selain  itu, penelitian  ini  menunjukkan  bahwa  organisasi  yang  telah  mengadopsi  TMMi  telah  mengalami manfaat  yang  signifikan,  seperti  meningkatkan  kualitas  produk  perangkat  lunak,  mengurangi biaya dan waktu pengembangan, serta meningkatkan kepuasan pelanggan.
Sedangkan  pada  penelitian  yang  berjudul  "TMMI  Integration  with  Agile  and  Test Process"  membahas  tentang  integrasi  Test  Maturity  Model  integration  (TMMi)  dengan  Agile dan proses pengujian perangkat lunak. peneliti menjelaskan bahwa TMMi adalah kerangka kerja yang  dapat  membantu  organisasi  untuk  meningkatkan  kematangan  pengujian  perangkat  lunak mereka  dan  mengevaluasi  kinerja  pengujian  mereka.  Penulis  kemudian  membahas  tentang bagaimana  TMMi  dapat  diintegrasikan  dengan  metodologi  Agile  dan  proses  pengujian perangkat  lunak.  Mereka  menunjukkan  bahwa  integrasi TMMi  dengan  Agile  dapat  membantu organisasi  untuk  meningkatkan  kualitas  produk  perangkat  lunak,  mempercepat  waktu pengembangan, dan meningkatkan kepuasan pelanggan [6].
Makalah  ini  bertujuan  untuk  memberikan  pemahaman  tentang  bagaimana  proses pengujian  perangkat  lunak  yang  dilakukan  pada  suatu  organisasi  dapat  dinilai  tingkat kematangannya  berdasarkan  kerangka  kerja  yang  digunakan.  Penilaian  tingkat  kematangan pengujian pada perusahaan atau organisasi ini diharapkan dapat menjadi rekomendasi perbaikan terhadap  proses  pengujian  untuk  meningkatkan  kualitas  dan  hasil  proses  pengujian  yang berdampak  terhadap  peningkatan  layanan  bisnis  organisasi.  Penelitian  ini  juga  akan
Jurnal Teknik Informatika dan Sistem Informasi ISSN 2407-4322 Vol. 11, No. 2, Juni 2024, Hal. 97-111 E- ISSN 2503-2933 99
memberikan  gambaran  dalam  memilih  kerangka  kerja  yang  sesuai  untuk  sebuah  perusahaan atau  organisasi  secara  kualitatif  dan  memberikan  rekomendasi  kerangka  kerja  penilaian perangkat lunak yang cocok untuk diimplementasikan dalam suatu organisasi.

## 2. METODE PENELITIAN
Penelitian  ini  membandingkan  beberapa  kerangka  kerja  penilaian  tingkat  kematangan proses pengujian. Terdapat tiga kerangka kerja yang umumnya digunakan untuk menilai tingkat kematangan  proses  pengujian.  Ketiga  kerangka  kerja  memiliki  model  referensi  proses  serta memiliki praktik terbaik untuk meningkatkan proses pengujian perangkat lunak, yaitu kerangka kerja TMMi, TPI Next dan Test SPICE.

## 2.1   Test Maturity Model integration (TMMi)
TMMi secara umum dikenal sebagai penerus atau kelanjutan dari Test Maturity Model (TMM) yang dikembangkan oleh TMMi Foundation. TMM Foundation terdiri dari sekelompok praktisi  pengujian  dan  kualitas  yang  bertujuan  untuk  mengembangkan  model  pengujian berdasarkan  pengalaman  dan  praktik  terbaik  di  industri  atau  organisasi  (Afzal  et  al.,  2016). Kerangka  kerja  TMMi  merupakan  pedoman  dan  referensi  untuk  peningkatan  atau  perbaikan proses pengujian perangkat lunak yang menggunakan konsep tingkat kematangan untuk proses evaluasi dan perbaikan. TMMi menggunakan terminologi yang sama dengan terminologi yang terdapat  pada  ISTQB  [4].  Hal  ini  ditambahkan  juga  dengan  survei  yang  dilakukan  oleh  [8] terhadap 74 responden dari beberapa bidang industri yang berbeda dan 37 diantaranya berasal dari  Asia  dan  25  responden  berasal  dari  Eropa.  Untuk  kategori  industri,  31%  atau  23/74 responden berasal dari industri perangkat lunak TI dan 28% atau 21/74 responden berasal dari industri  layanan  finansial.  Dari  survei  yang  dilakukan  bahwa  alasan  utama  untuk mengimplementasikan  TMMi  adalah  meningkatkan  kualitas  dari  produk,  mengurangi  risiko produk,  meningkatkan  produktivitas  pengujian  atau  efisiensi,  tolok  ukur  terhadap  model  yang digunakan secara internasional, serta meningkatkan standar tim pengujian. Sebanyak 87% dari responden  mengatakan  bahwa  perbaikan  proses  pengujian  berbasis  TMMi  berhasil  memenuhi dan bahkan melebihi ekspektasi.
TMMi  memiliki  skema  tingkat  kematangan  yang  mirip  dengan  Capability  Maturity Model  Integration  (CMMI)  berdasarkan  proses  pengujian  yang  dilakukan  organisasi.  Skema tingkat  kematangan  dimulai  dari  pengujian  yang  bersifat  ad-hoc  atau  disebut  juga  initial  or unmanaged  (level  1),  managed  (level  2),  defined  (level  3),  measured  (level  4),  dan  optimized (level 5) [4].
Menurut [7], TMMi terdiri dari beberapa hal berikut:
• Lima tingkat kematangan: Initial , Managed, Defined, Measured, Optimization.
• Setiap tingkat kematangan memiliki area proses.
• Komponen yang dibutuhkan, terdiri dari tujuan yang spesifik dan umum.
• Komponen yang diharapkan, terdiri dari praktik yang spesifik dan umum.
• Komponen  yang  informatif,  terdiri  dari sub-practices ,  contoh  produk,  catatan,  contoh  atau referensi.
Keseluruhan komponen TMMi dapat dilihat melalui ilustrasi pada Gambar 1 . Pada setiap tingkat kematangan TMMi terdiri dari beberapa area proses yang akan dinilai. Penilaian setiap area proses dilakukan berdasarkan specific goals dan generic goals yang  ada  didalamnya.  Penilaian specific  goals didasari  oleh  nilai  masing-masing specific practices, sementara penilaian generic  goals didasari  oleh  nilai  masing-masing generic practices. Specific practices terdiri dari sub-practices yang lebih spesifik, seperti contoh produk dan referensi.
100 Jatisi ISSN 2407-4322 Vol. 11, No. 2, Juni 2024, Hal. 97-111 E-ISSN 2503-2933
Gambar 1. Struktur Komponen TMMi (Sumber: [9])
Evaluasi  dari  hasil  penilaian  tingkat  kematangan  TMMi,  mengacu  kepada TMMi Assessment  Method  Accreditation  Requirement (TAMAR)  untuk  memastikan  bahwa  metode penilaian  dapat  dilakukan  dengan  cara  dan  tujuan  penilaian  yang  terdapat  pada  TMMi.  Selain itu,  TAMAR  juga  bertujuan  untuk  memastikan  penilaian  tingkat  kematangan  dapat  dilakukan berulang  menggunakan  penilaian  dengan  tolok  ukur  yang  konsisten,  misalnya  jika  dilakukan penilaian  oleh  tim  yang  berbeda  pada  data  yang  sama  maka  akan  dihasilkan  identifikasi kekuatan dan kelemahan proses yang sama [9].

## 2.2   Test Process Improvement (TPI) Next
TPI Next adalah penerus atau kelanjutan dari TPI yang dikembangkan oleh perusahaan Belanda,  Sogeti.  Dibandingkan  dengan  TPI  jumlah  area  utama  pada  TPI  Next  telah  dikurangi menjadi  16  dan  elemen  tambahan  yaitu enabler dan cluster yang  terdapat  pada  model  untuk menangani kebutuhan organisasi terhadap perbaikan proses pengujian yang efisien [7].
TPI  Next  merupakan  kerangka  kerja  yang  menggambarkan  model  berkelanjutan ( continuous model)  yang  berfokus  pada  tingkat  pengujian  yang  lebih  tinggi  yaitu  pengujian sistem  dan  UAT  [4].  Secara  terminologi  TPI  Next  menggunakan  terminologi  berdasarkan TMap.  Hal  ini  ditambahkan  oleh  [7]  bahwa  TPI  terdiri  dari  enam  elemen,  seperti  yang ditunjukkan pada Gambar 2.
Jurnal Teknik Informatika dan Sistem Informasi ISSN 2407-4322 Vol. 11, No. 2, Juni 2024, Hal. 97-111 E- ISSN 2503-2933 101
Gambar 2. Struktur Model TPI Next (Sumber: [3])
Elemen  yang  pertama  adalah  area  utama,  setiap  area  utama  memiliki  tingkat kematangan  yang  berbeda  dan  kombinasi  dari  area  utama  digunakan  untuk  menentukan kematangan  dari  proses  pengujian  secara  keseluruhan.  Berdasarkan  penelitian  yang  dilakukan oleh [3] area utama pada TPI NEXT dibagi menjadi tiga kelompok yaitu stakeholder relations, test management, dan test profession . Masing-masing kelompok terdiri dari area utama berikut:
• Stakeholder  relations:  stakeholder  commitment,  degree  of  involvement,  test  strategy,  test organization, communication, reporting.
• Test  management:  test  process  management,  estimating  and  planning,  metrics,  defect management, test ware management.
• Test  profession:  methodology  practice,  professionalism  tester,  test  care  design,  test  tools, test environment.
Elemen  selanjutnya  adalah  tingkat  kematangan,  tingkat  kematangan  pada  TPI  Next terdiri  dari initial,  controlled,  efficient ,  dan optimizing .  Tingkat  paling  tinggi  dapat  dicapai apabila  tingkat  sebelumnya  telah  dipenuhi.  Elemen  berikutnya  adalah checkpoint ,  berupa pertanyaan  untuk  menginvestigasi  proses  pengujian  sudah  memenuhi  area  utama  atau  belum, checkpoint terhubung  dengan  area  utama  dan  menentukan  tingkat  kematangan  proses  karena area utama  pada tingkat  kematangan  tertentu  akan  dicapai apabila  memenuhi checkpoint yang ada.  Elemen  selanjutnya  adalah cluster merupakan  pengelompokan  dari checkpoint yang terdapat  di  beberapa  area  utama,  berfungsi  untuk  menentukan  langkah  perbaikan  yang diperlukan. Elemen enabler membantu untuk memahami hubungan antara proses pengujian dan SDLC  sehingga  diperoleh  perbaikan  yang  diperlukan  pada  proses  pengujian  di  setiap  fase SDLC.
Elemen  terakhir  adalah  saran  perbaikan  ( improvement  suggestions )  berdasarkan  dari elemen-elemen  sebelumnya  akan  diperoleh  hal-hal  yang  dapat  diperbaiki  yang  telah dikelompokkan  ke  dalam cluster ,  untuk  memperbaiki  proses  pengujian.  Keseluruhan  proses yang terdapat pada elemen dimasukkan ke dalam matriks tingkat kematangan proses pengujian sehingga  diharapkan  mampu  meningkatkan  dan  memperbaiki  kematangan  proses  pengujian perangkat lunak di organisasi.
102 Jatisi ISSN 2407-4322 Vol. 11, No. 2, Juni 2024, Hal. 97-111 E-ISSN 2503-2933

## 2.3   Test SPICES
Test  Software  Process  Improvement  and  Capability  Determination (SPICE)  dikenal juga  sebagai  standar  ISO/IEC  15504  yang  pada  dasarnya  merupakan  kerangka  kerja  untuk menilai  proses  perangkat  lunak  [10].  Menurut  [7]  Test  SPICE  bertujuan  untuk  menyediakan model  referensi  proses  ( process  reference  model )  dan  model  penilaian  proses,  secara  khusus untuk  menilai  proses  pengujian  berdasarkan  standar  ISO/IEC  15504-2.  Test  SPICE menggunakan struktur yang terdapat pada standar ISO/IEC 15504-5, kemudian dibentuk model Test SPICE dengan cara berikut:
• Menggunakan proses ISO/IEC 15504-5 secara identik kepada Test SPICE.
• Mengganti proses asli ISO/IEC 15504-5 menjadi khusus ke proses pengujian.
• Menyesuaikan penamaan proses dari ISO/IEC 15504-5, dan
• Memasukkan proses pengujian baru ke dalam Test SPICE.
Menurut  [11],  Test  SPICE  4.0  adalah  versi  terbaru  dari  Test  SPICE  yang  secara independen  mengacu  model  penilaian  proses  untuk  proses  pengujian  berdasarkan  silabus ISTQB dan ISO/IEC 2991. Perbedaannya dengan Test SPICE 3.0 adalah terdapat proses agile extension untuk  mendukung  penilaian  proses  pengujian  berdasarkan agile .  Pada  (Organization SPICE  PRM/PAM,  2018)  dijelaskan  bahwa  proses  pada  Test  SPICE  4.0  dikelompokkan menjadi  3  kategori  proses  yaitu Agreement  for  Testing  Resources  Processes,  Business  Life Cycle Processes, dan Technical Life Cycle Processes . Setiap kategori dibagi menjadi beberapa kelompok proses. Seperti yang dapat dilihat pada Gambar 3.
Gambar 3. Kategori dan Kelompok Proses Test SPICE
(Sumber: [10])
Kategori Agreement  for  Testing  Resources (AGT)  terdiri  dari  proses  yang  digunakan untuk  akuisisi  dan  penyediaan  sumber  daya  pengujian.  Sumber  daya  yang  dimaksud  dapat berupa sumber daya apapun yang dibeli atau dijual untuk keperluan pengujian, seperti layanan pengujian, aset pengujian atau perangkat pengujian. Detail proses yang dilakukan pada kategori AGT dapat dilihat pada Gambar 4.
Jurnal Teknik Informatika dan Sistem Informasi ISSN 2407-4322 Vol. 11, No. 2, Juni 2024, Hal. 97-111 E- ISSN 2503-2933 103

## Gambar 4. Kategori Proses AGT
(Sumber: [10])
Kategori  proses  selanjutnya  adalah business  life  cycle ,  terdiri  dari  proses  yang dilaksanakan pada proses pengujian. Kelompok proses pada kategori business life cycle terdiri dari  proses  dan  sub  prosesnya,  yaitu  kelompok  proses testing , test  process  management, regression  reuse  and  maintenance, dan test  techniques  adoption .  Setiap  kelompok  memiliki proses  yang  menyeluruh  dan  terperinci,  terdapat  pemetaan  antara  indikator  dan  prosesnya. Detail proses pada kategori ini dapat dilihat pada Gambar 5.
Gambar 5. Kategori Proses Business Life Cycle
(Sumber: [10])
Kategori  terakhir  adalah  kategori  proses technical  life  cycle yang  terdiri  dari  proses untuk proses teknis dalam  proses pengujian. Kelompok proses yang terdapat pada kategori ini ada  tiga  yaitu  kelompok  proses Test  Environment  Management,  Test  Data  Management, dan Test  Automation  Process .  Sama  halnya  dengan  kategori  sebelumnya,  setiap  kelompok  proses terdiri dari sub proses dengan detail proses yang menyeluruh dan terperinci. Seperti yang dapat dilihat pada Gambar 6.
104 Jatisi ISSN 2407-4322 Vol. 11, No. 2, Juni 2024, Hal. 97-111 E-ISSN 2503-2933

## Gambar 6. Kategori Proses Technical Life Cycle
(Sumber: [10])
Kelompok  proses test  environment  management (TEM)  terdiri  dari  praktik  dan berhubungan  dengan  sub  proses  yang  secara  langsung  membahas  definisi,  perencanaan,  dan dukungan  lingkungan  pengujian.  Kelompok  proses test  data  management (TDM)  terdiri  dari praktik  dan  berhubungan  dengan  sub  proses  yang  secara  langsung  membahas  penyediaan  dan penggunaan  data  pengujian.  Kategori  proses  terakhir  yaitu test  automation  process  group (TAU)  terdiri  dari  proses yang  secara langsung  membahas definisi,  perencanaan,  pengelolaan, dan mendukung pengujian terotomatisasi [10].
Menurut [12] Test SPICE menjadi pertimbangan dalam pengembangan perangkat lunak menggunakan  agile  dan  membahas  peningkatan  kualitas  dari  waktu  ke  waktu  dalam pengembangan agile. Berdasarkan Test SPICE (2018), dijelaskan bahwa Test SPICE  memiliki enam tingkat kematangan dimulai dari incomplete process (level 0), performed process (level 1), managed  process  (level  2),  established  process  (level  3),  predictable  process  (level  4), dan optimizing process (level 5).

## 2.4   Penilaian TMMi
TMMi  memiliki TMMi  Assessment  Method  Accreditation  Requirements (TAMAR) untuk  penilaian  TMMi.  TAMAR  mengacu  dari  standar  ISO  15504.  Hal  ini  diperlukan  untuk memastikan  konsistensi  penilaian  yang  mengacu  kepada  TAMAR,  sehingga  penilaian  TMMi dapat dilakukan ( performable ) dan berulang ( repeatable ) [9].
Berdasarkan [9] terdapat beberapa aktivitas yang terdapat pada TAMAR, yaitu planning and preparation, data collection, data analysis and reporting , dan assessment closure . Terdapat empat  peringkat  komponen  proses  yaitu  N  ( Not  Achieved ),  P  ( Partially Achieved ),  L  ( Largely Achieved ),  dan  F  ( Fully Achieved )  yang  dapat  diaplikasikan  ke  dalam  praktik  (secara  spesifik dan  umum),  tujuan  (secara  spesifik  dan  umum),  area  proses,  dan  tingkat  kematangannya. Namun untuk penilaian berdasarkan persentase hanya dapat diaplikasikan pada praktik [9]. Hal ini ditunjukkan pada Tabel 1.
Jurnal Teknik Informatika dan Sistem Informasi ISSN 2407-4322 Vol. 11, No. 2, Juni 2024, Hal. 97-111 E- ISSN 2503-2933 105
Tabel 1. Skala Penilaian Komponen Proses TMMi
(Sumber: [9])
N ( Not Achieved ) berkaitan dengan komponen proses yang tidak memiliki atau sedikit bukti  dari  ketentuan  TMMi.  Praktik  menunjukkan  kelemahan  substansial  dalam implementasinya  dan  tidak  ada  alternatif  yang  memadai.  Pencapaian  praktiknya  berada dikisaran 0% hingga ≤ 15%. P ( Partially Achieved ) berkaitan dengan komponen proses yang memiliki sedikit bukti dari  ketentuan  TMMi.  Praktik  dan  prosesnya  tidak  lengkap,  tidak  menyeluruh,  dan  tidak konsisten  dalam  penerapan  atau  hasilnya.  Praktik  menunjukkan  kelemahan  yang  signifikan dalam implementasi atau alternatif yang terbatas. Pencapaian praktiknya berada dikisaran >15% hingga ≤ 50%. L  ( Largely Achieved ) berkaitan  dengan  komponen  proses  yang  seharusnya  memiliki bukti  yang  signifikan  dari  ketentuan  TMMi.  Praktik  dan  prosesnya  telah  sistematis  dan menyeluruh, namun masih ditemukan beberapa kelemahan minor dalam distribusi, aplikasi, atau hasil dari praktik dan atau prosesnya. Praktik menunjukkan kelemahan implementasi yang tidak memberikan  dampak  negatif  secara  signifikan.  Pencapaian  praktiknya  berada  dikisaran  >50% hingga ≤ 85%. F ( Fully Achieved) berkaitan dengan komponen proses yang seharusnya memiliki bukti yang  konsisten  sesuai  dengan  ketentuan  TMMi.  Praktik  dan  prosesnya  telah  sistematis  dan menyeluruh, dan tidak adanya kelemahan dalam distribusi, aplikasi, atau hasil dari praktik atau prosesnya.  Praktik  hanya  menunjukkan  kelemahan  yang  sepele  (jika  ada)  dalam implementasinya  dan  alternatifnya  sudah  sepenuhnya  sesuai.  Pencapaian  praktiknya  berada dikisaran >85% hingga ≤ 100%. NA  ( Not  Applicable ) akan  digunakan  jika  area  proses  tidak  dapat  diaplikasikan.  Area proses tidak dapat diaplikasikan jika tidak ditemukan kebutuhan yang  masuk akal dari praktik area  proses  di  organisasi.  Area  proses  tidak  akan  diberikan  NA  jika  pemangku  kepentingan memilih untuk mengecualikan itu dari ruang lingkup penilaian.
NR ( Not Rated) akan digunakan jika komponen proses tidak dapat dinilai karena bukti yang tidak cukup atau tidak  konsisten atau berada diluar ruang lingkup penilaian. Area proses yang  dipilih  oleh  sponsor  atau  telah  disetujui  oleh  tim  penilai  dengan  berbagai  alasan mengecualikan dari ruang linkup penilaian harusnya diberi NR.

## 3. HASIL DAN PEMBAHASAN

## 3.1   Perbandingan Tingkat Kematangan Proses Pengujian
Berdasarkan perbandingan yang dilakukan oleh [7] dari 18 pendekatan untuk penilaian proses  pengujian  perangkat  lunak,  kemudian  diidentifikasi  informasi  berdasarkan  kelengkapan pengembangan,  ketersediaan  informasi  dan  instrumen  penilaian,  dan  batas  domain  secara spesifik. Selanjutnya ditentukan 6 pendekatan yang dibandingkan yaitu TMM, TMMi, TPI, TPI Next, dan observing practice . Pada penelitian ini dibandingkan tiga kerangka kerja yang umum
106 Jatisi ISSN 2407-4322 Vol. 11, No. 2, Juni 2024, Hal. 97-111 E-ISSN 2503-2933
digunakan  yaitu  TMMi,  TPI  Next,  dan  Test  SPICE,  sehingga  diperoleh  hasil  perbandingan seperti pada Tabel 2.
Tabel 2. Perbandingan TMMi, TPI Next, dan Test SPICE
Maturity Framework Development complete? More than a brief description? Availability of an instrument? Not specific to a domain? TMMi OK OK N/A OK TPI Next OK OK OK OK Test SPICE OK OK N/A OK
(Sumber: [7], telah diolah kembali)
Dari  perbandingan  yang  telah  dilakukan  [7]  diperoleh  bahwa  kebutuhan  terhadap tingkat kematangan pada TMMi lebih ketat dan susah dicapai dibandingkan dengan TPI NEXT. Akan  tetapi  TMMi  menyediakan  panduan  yang  baik  dengan  deskripsi  umum  yang  detail  dan spesifik disertai contoh kerja dalam perbaikan proses pengujian perangkat lunak.
Berdasarkan penelitian [12] dari 117 sumber yang diteliti terkait penggunaan kerangka kerja  yang  terbaik  dan  lebih  spesifik  untuk  menilai  tingkat  kematangan  dan  perbaikan  proses pengujian. Diperoleh bahwa TMMi merupakan kerangka kerja yang paling banyak digunakan, dan diikuti oleh TPI. Selanjutnya menurut [3] ketiga kerangka kerja TMMi, TPI Next, dan Test SPICE dapat dibandingkan berdasarkan 5 kategori, yaitu:
• Representasi, yaitu menggambarkan struktur model yang diimplementasikan pada kerangka kerja.
• Fokus  utama,  yaitu  mengidentifikasi  fokus  utama  perbaikan  proses  pengujian  berdasarkan area proses yang dimiliki oleh kerangka kerja.
• Pendekatan  menyeluruh,  yaitu  deskripsi  dari  pendekatan  yang  digunakan  dalam  kerangka kerja untuk perbaikan proses pengujian.
• Metode pengujian, yaitu metodologi pengujian yang digunakan pada kerangka kerja.
• Perbaikan  proses  perangkat  lunak  ( Software  Process  Improvement ),  dalam  hal  ini menunjukkan  hubungan  antara  perbaikan  proses  pengujian  dengan  peningkatan  proses perangkat lunak.
Dari  kelima  kategori  pada  penelitian  [3]  terdapat  tambahan  kategori  berdasarkan  [8], yaitu kategori tingkat pengujian, terminologi, dan sertifikasi dari masing-masing kerangka kerja, sehingga  dari  perbandingan  Garousi  &  Veenendaal  (2022)  dan  Laksono,  Budiardjo,  dan Ferdinansyah (2019) dirangkum pada Tabel 3.
Tabel 3. Perbandingan Kerangka Kerja TMMi, TPI Next, dan Test SPICE
Kategori TMMi TPI Next Test SPICE Representasi Model [3] Staged Model , terdiri dari lima tingkat kematangan dan terdapat  area  proses pada setiap tingkatannya. Continuous Model , terdiri  dari  16  area utama proses pengujian  dan  setiap proses memiliki empat tingkat kematangan. Continuous Model , terdiri dari enam tingkat kematangan berdasarkan  ISO/IEC 15504-2 dan prosesnya dikelompokkan menjadi 3 kategori. Tingkat  Pengujian [8] Pada  setiap  tingkat pengujian dimulai dari  pengujian  unit, integrasi, sistem, dan Fokus  pada  tingkat pengujian paling tinggi yaitu pengujian sistem dan Fokus  pada  tingkat pengujian paling tinggi yaitu pengujian sistem dan UAT.
Jurnal Teknik Informatika dan Sistem Informasi ISSN 2407-4322 Vol. 11, No. 2, Juni 2024, Hal. 97-111 E- ISSN 2503-2933 107
Kategori TMMi TPI Next Test SPICE UAT. UAT. Khususnya pada metodologi agile. Fokus utama [3] Peningkatan berfokus  pada  area proses  per  tingkat kematangan yang membuat  organisasi fokus selama implementasi dari kerangka  kerja  ini. Berfokus  juga  pada masalah pengujian lainnya seperti testability review quality control, defect prevention, dan test measurement program. Berfokus pada pencapaian  16  area utama. Berfokus  pada  tiga kategori  proses  yaitu perjanjian, bisnis, dan teknis serta dapat digunakan untuk penilaian tingkat kematangan pada proses pengujian agile. Pendekatan menyeluruh [3] Memiliki fokus yang kuat untuk mendapatkan komitmen manajemen dan mendorong peningkatan  proses pengujian di organisasi. Mengadaptasi pendekatan  berbasis bisnis dan pengujian. Seperti stakeholder relations, test management, dan test profession. Pendekatan berdasarkan model referensi  proses  dan model penilaian proses  yang  mengacu kepada ISO/IEC 15504-2. Metode Olah Data [7] Kualitatif Kualitatif Kualitatif Metode Pengujian [8] Berdasarkan penelitian independen dan tidak mengikuti metode pengujian tertentu. Berdasarkan metodologi TMap NEXT  pada  praktik pengujian pada umumnya. Berdasarkan proses yang  terdapat  pada ISO 15504-5 dan ISO 15504-6. SPI Model [3] [8] Memiliki  hubungan dengan CMMI Model. Tidak memiliki hubungan dengan model peningkatan proses perangkat lunak. Tidak memiliki hubungan dengan model peningkatan proses perangkat lunak. Terminologi [8] Berdasarkan ISTQB.  Berdasarkan TMap. Berdasarkan ISO 15504-5.
(Sumber: [3] [8] [7] telah diolah kembali)
108 Jatisi ISSN 2407-4322 Vol. 11, No. 2, Juni 2024, Hal. 97-111 E-ISSN 2503-2933

## 3.2 Contoh Penilaian Tingkat Kematangan Proses Pengujian
TMMi  merupakan  kerangka  kerja  yang  di  rekomendasikan  oleh  peneliti  untuk digunakan organisasi dalam  mengukur tingkat  kematangan pengujian perangkat lunak. Karena itu pada sub bab ini akan diberikan salah satu contoh penggunaan TMMi pada organisasi XYZ. Implementasi  dilaksanakan  dengan  meninjau  proses  pengujian  yang  sedang  berlangsung  dan memberikan saran perbaikan yang sesuai dengan standar TMMi yang diterapkan di perusahaan XYZ.  Pertama,  akan  diuraikan  bagaimana  proses  evaluasi  pengujian  berlangsung.  Kemudian, hasil  evaluasi  bersama  dengan  tingkat  kematangan  yang  telah  dicapai  oleh  perusahaan  akan dipresentasikan.  Di  samping  itu,  contoh  formulasi rekomendasi juga  akan  diperlihatkan  sesuai dengan kebutuhan perbaikan yang telah diidentifikasi di perusahaan XYZ.
Pada bagian ini akan dijelaskan penilaian pada setiap area proses yang  meliputi aspek specific  practices  (SP),  generic  practices  (GP),  specific  goals  (SG),  generic  goals  (GG),  dan penilaian  area  proses  yang  menjadi  dasar  penilaian  tingkat  kematangan.  Area  proses  yang dinilai dengan kerangka kerja TMMi terdiri dari test policy and strategy (PA 2.1), test planning (PA  2.2),  test  monitoring  and  control  (PA  2.3),  test  design  and  execution  (PA  2.4),  dan  test environment (PA 2.5). Hasil penilaiannya ditampilkan pada Tabel 4 berikut ini.
Tabel 4. Ringkasan Hasil Penilaian Area Proses Komponen TMMi Rating Penilaian PA 2.1 Area Proses Test Policy and Strategy Largely Achieved SG 1 Establish a Test Policy F SG 2 Establish a Test Strategy F SG 3 Establish a Test Performance Indicators F GG 2 Institutionalize a Managed Process L PA 2.2 Area Proses Test Planning Partially Achieved SG 1 Perform a Product Risk Assessment P SG 2 Establish a Test Approach L SG 3 Establish Test Estimates L SG 4 Develop a Test Plan L SG 5 Obtain Commitment to the Test Plan L GG 2 Institutionalize a Managed Process P PA 2.3 Area Proses Test Monitoring and Control Largely Achieved SG 1 Monitor Test Progress against Plan L SG 2 Monitor Product Quality against Plan and Expectations L SG 3 Manage Corrective Action to Closure F GG 2 Institutionalize a Managed Process L PA 2.4 Test Design and Execution Largely Achieved SG  1  Perform  Test  Analysis  and  Design  using  Test  Design Techniques L SG 2 Perform Test Implementation F SG 3 Perform Test Execution F SG 4 Manage Test Incidents to Closure F GG 2 Institutionalize a Managed Process L PA 2.5 Test Environment Largely Achieved SG 1 Develop Test Environment Requirements F SG 2 Perform Test Environment Implementation L SG 3 Manage and Control Test Environments L GG 2 Institutionalize a Managed Process L
Jurnal Teknik Informatika dan Sistem Informasi ISSN 2407-4322 Vol. 11, No. 2, Juni 2024, Hal. 97-111 E- ISSN 2503-2933 109
Berdasarkan  tabel  tersebut,  diperoleh  bahwa  dari  keseluruhan  penilaian  area  proses, nilai  terendah  adalah  “P”  partially  achieved  yang  terdapat  pada  area  proses  test  planning  (PA 2.2) atau dengan kata lain tingkat kematangan proses pengujian perangkat lunak pada organisasi XYZ  masih  partially  achieved.  Area  proses  PA  2.3,  2.4,  2.5  dapat  bernilai  largely  achieved sementara  PA  2.2  masih  partially  achieved,  disebabkan  karena  pada  PA  2.2  terdapat  specific practices  yang  tidak  dipenuhi  secara  konsisten.  Sementara  pada  PA  2.3,  2.4,  dan  2.5  sebagian besar  specific  practices  tetap  dapat  dipenuhi  walaupun  pada  bagian  test  plan  masih  terdapat praktik-praktik  yang  belum  dilakukan.  Berdasarkan  hasil  ini  dapat  disimpulkan  bahwa  tingkat kematangan proses pengujian perangkat lunak pada organisasi XYZ berdasarkan TMMi saat ini berada  pada  tingkat  kematangan  1  (initial).  Terdapat  beberapa  perbaikan  proses  yang  perlu dilakukan untuk  mencapai tingkat kematangan 2 terutama pada area proses test planning yang mendapat  nilai  paling  rendah  yaitu  partially  achieved.  Perbaikan  proses  akan  dibahas  lebih lanjut pada bagian rekomendasi perbaikan proses pengujian perangkat lunak.

## 4. KESIMPULAN
Berdasarkan perbandingan ketiga metodologi ini, peneliti menyimpulkan bahwa TMMi merupakan kerangka kerja yang cocok digunakan untuk menilai tingkat kematangan pengujian pada suatu perusahaan. Hal ini didasari oleh kerangka kerja TMMi yang menyediakan penilaian tingkat  kematangan  di  setiap  tingkat  pengujian  dimulai  dari  pengujian  unit,  integrasi,  sistem, dan UAT. Hal ini sejalan dengan praktik proses pengujian yang mengacu pada proses pengujian V-Model. Berbeda dengan kerangka kerja TPI Next dan Test SPICE yang hanya berfokus pada pengujian paling akhir di siklus pengujian yaitu pengujian sistem dan UAT. Selanjutnya TMMi memiliki  hubungan  dengan  CMMI  model  yang  menghubungkan  peningkatan  atau  perbaikan proses  pengujian  dengan  peningkatan  proses  perangkat  lunak,  hal  ini  tidak  dimiliki  oleh  TPI Next  dan  Test  SPICE.  Pertimbangan  terakhir  adalah  terminologi  yang  digunakan  pada  TMMi mengacu pada ISTQB.

## 5. SARAN
Saran-saran dari penelitian ini yang dapat digunakan untuk penelitian selanjutnya adalah sebagai berikut:
1. Penggunaan  kerangka  kerja  TMMi  dengan  ketentuan  penilaian  TAMAR  dalam  penilaian tingkat  kematangan  proses  pengujian  perangkat  lunak  tidak  menunjukkan  prioritas rekomendasi  perbaikan  proses  pengujian  yang  ada  saat  ini.  Penyusunan  rekomendasi perbaikan  proses  pengujian  perangkat  lunak  dapat  diurutkan  berdasarkan  prioritas  urgensi dan dampak, sesuai dengan masukan dari pihak manajemen atau pemangku  kepentingan di organisasi.
2. Prioritas  perbaikan  proses  pengujian  perangkat  lunak  dapat  juga  disusun  dengan mempertimbangkan  aspek  manajemen  investasi  teknologi  informasi.  Hal  ini  dilakukan dengan  mengidentifikasi  dan  kuantifikasi  manfaat  yang  akan  diperoleh  oleh  organisasi jika melaksanakan rekomendasi perbaikan proses pengujian yang diusulkan.
110 Jatisi ISSN 2407-4322 Vol. 11, No. 2, Juni 2024, Hal. 97-111 E-ISSN 2503-2933

## UCAPAN TERIMA KASIH
Penulis mengucapkan terima kasih kepada semua pihak yang telah memberi dukungan dan masukan terhadap penelitian ini. Penulis juga mengucapkan terima kasih kepada pembaca yang  akan  membaca  penelitian  ini  kedepannya.  Semoga  semua  yang  membaca  penelitian  ini bisa  mendapatkan  informasi  yang  berguna  dan  dapat  membantu  dalam  penelitian  selanjutnya. Penulis  juga  memohon  maaf  jika  terdapat  kesalahan  dan  ketidaksempurnaan  dalam  penelitian ini.  Semoga  penelitian  ini  bermanfaat  untuk  orang  banyak  dan  bisa  menjadi  referensi  untuk mengembangkan penelitian yang lebih baik dan lebih luas lagi kedepannya.

## DAFTAR PUSTAKA
[1] Garousi, V., Rainer, A., Lauvås, P., & Arcuri, A. (2020). Software-Testing Education: A Systematic Literature Mapping . Journal of Systems and Software , 165 . https://doi.org/10.1016/j.jss.2020.110570
[2]   Friedenberg,  D.,  Hamburg,  M.,  McKay,  J.,  Posthuma,  M.,  Schaefer,  H.,  Smilgin,  R., Smith, M., Toms, S., Ulrich, S., Walsh, M., Zakaria, E., Müller, T., Beer, A., Klonk, M., Verma,  R.,  Graham,  D.,  van  Veenendaal,  E.,  Black,  R.,  Eldh,  S.,  …  Thompson,  G. (2018). Certified Tester Foundation Level Syllabus .
[3]   Laksono,  M.  A.  T.,  Budiardjo,  E.  K.,  &  Ferdinansyah,  A.  (2019). Assessment  of  test maturity  model:  A  Comparative  Study  For  Process  Improvement.  ACM  International Conference Proceeding Series , 110–118. https://doi.org/10.1145/3305160.3305203
[4]   Garousi,  V.,  Van  Veenendaal,  E.,  &  Foundation,  T.  (n.d.). Test  Maturity  Model integration  (TMMi):  Trends  of  Worldwide  Test  Maturity  and  Certifications . www.theguardian.com/government-computing-
[5]   van Veenendaal, E., Garousi, V., & Felderer, M. (2022). Motivations for and Benefits of Adopting  The  Test  Maturity  Model  Integration  (TMMi). Lecture  Notes  in  Business Information  Processing , 439  LNBIP ,  13–19.  https://doi.org/10.1007/978-3-031-04115- 0_2
[6]   Unudulmaz,  A.,  &  Kallpslz,  O.  (2020). TMMI  Integration  with  Agile  and  Test  Process.
ACM International Conference Proceeding Series , 375–378.
https://doi.org/10.1145/3383219.3386124
[7]   Afzal,  W.,  Alone,  S.,  Glocksien,  K.,  &  Torkar,  R.  (2016). Software  Test  Process Improvement Approaches: A Systematic Literature Review and an Industrial Case Study . Journal of Systems and Software , 111 , 1–33. https://doi.org/10.1016/j.jss.2015.08.048
[8]   Garousi,  V.,  &  van  Veenendaal,  E.  (2022). Test  Maturity  Model  Integration:  Trends  of Worldwide  Test  Maturity  and  Certifications . IEEE  Software , 39 (2),  71–79. https://doi.org/10.1109/MS.2021.3061930
[9] TMMi Assessment Method Application Requirements (TAMAR) Release 1.1 Produced by The TMMi Foundation . (n.d.). www.tmmi.org
Jurnal Teknik Informatika dan Sistem Informasi ISSN 2407-4322 Vol. 11, No. 2, Juni 2024, Hal. 97-111 E- ISSN 2503-2933 111
[10] Organization SPICE PRM/PAM . (2018). www.automotivespice.com.
[11]   Schweigert,  T.,  &  Kemaneci,  G.  (n.d.). Using  SPICE  Models  for  Flexible  and  Scalable Assessments .
[12]   Garousi,  V.,  Felderer,  M.,  &  Hacalo ğ lu,  T.  (2017). Software  Test  Maturity  Assessment and  Test  Process  Improvement:  A  Multivocal  Literature  Review. In Information  and Software Technology (Vol. 85, pp. 16–42). Elsevier B.V. https://doi.org/10.1016/j.infsof.2017.01.001