## Pembangunan Tools Audit Sistem Informasi Berdasarkan COBIT 5 pada Domain Align, Plan, And Organize (APO)
M. Ilham Nur Faizin 1) , Eva Hariyanti 2) , Badrus Zaman 3)
Program Studi Sistem Informasi, Fakultas Sains dan Teknologi, Universitas Airlangga Kampus C Mulyorejo, Surabaya
1) m.ilham.nur.faizin@gmail.com
2) eva_hariyanti@yahoo.com
3) zaman.badrus@gmail.com
Abstrak —Perkembangan  teknologi  informasi  (TI)  yang  pesat  mendorong  penerapan  proses  tata  kelola  TI untuk dapat mencapai tujuannya. Untuk mengetahui ketercapaian tujuan tersebut, diperlukan suatu alat atau tools  berupa  checklist  untuk  memudahkan  pengukuran  ketercapaian  tujuan  dan  tingkat  kapabilitas  proses. Penelitian  ini  bertujuan  untuk  membuat  suatu  alat  pengukuran  tingkat  kapabilitas  yang  dapat  membantu proses  audit  sistem  informasi  berdasarkan  COBIT  5  pada  domain  Align,  Plan,  and  Organize  (APO). Pembangunan  alat  pengukuran  tingkat  kapabilitas  dilakukan  dalam  empat  tahap.  Tahap  pertama  adalah analisis mengenai variabel atau indikator yang dibutuhkan dalam checklist pengukuran berdasarkan COBIT 5 dan Panduan Tata Kelola TIK Nasional. Tahap kedua adalah desain isi dan perancangan alat. Tahap ketiga adalah  pembangunan  alat  menggunakan  perangkat  lunak  spreadsheet.  Pada  tahap  keempat  dilakukan evaluasi  melalui  pemberian  kuesioner  terkait  alat  kepada  responden  pengguna  alat.  Responden  yang dilibatkan adalah staf Direktorat Sistem Informasi Universitas Airlangga. Komponen yang dievaluasi meliputi konten, antar muka, serta fungsional dan operasional alat. Hasil evaluasi selanjutnya digunakan sebagai dasar untuk perbaikan alat. Hasil dari penelitian ini berupa alat yang memberikan luaran tingkat kapabilitas proses saat  ini  dan  saran  perbaikan  untuk  mencapai  tingkat  kapabilitas  yang  diinginkan.  Hasil  evaluasi menunjukkan  bahwa  86%  responden  menyatakan  alat  memiliki  konten  yang  mudah  dipahami  dan  antar muka yang baik, dan 81% responden menyatakan alat memiliki fungsional dan operasional yang baik.

## Kata Kunci— Alat Pengukuran, Tingkat Kapabilitas, COBIT 5, Panduan Tata Kelola TIK Nasional
Abstract —Fast  growth  of  information  technology  (IT)  encourages  the  implementation  of  IT  governance processes to achieve its purposes. To determine its achievement, several tools in a checklist form is required to ease  the  measurement  of  purpose  achievement  and  process  capability  level.  This  study  aims  to  develop capability level measurement tools which can help in information system audit process based on COBIT 5 in domain of Align, Plan, and Organize (APO). The development of capability level measurement tools was done in  four  stages.  The  first  stage  was  the  analysis  about  variables  or  indicators  needed  in  the  making  of  the measurement checklist based on COBIT 5 and Panduan Tata Kelola TIK Nasional (National ITC Governance Guide). The second stage was the content and the tools design. The third stage was building the tools using a spreadsheet  software.  The  fourth  stage  was  the  tools  evaluation  by  giving  a  questionnaire  to  its  users. Respondents  involved  were  the  staff  of  Directorate  Information  System  of  Airlangga  University.  The components of evaluated tools consisted of its contents, interfaces, as well as its functions and operations. The result was used as a base for tools improvements. This study produces tools that gives outcomes in the form of current process capability level and improvement advices to achieve the expected capability level. Evaluation result shows that 86% of users agree that the tools have understandable contents and good interface, and 81% of users agrees that the tools have good functions and operations.
Keywords—Measurement Tools, Capability Level, COBIT 5, National ITC Governance Guide

## I. P ENDAHULUAN
Perkembangan  teknologi  informasi  (TI) yang  pesat  mendorong  berbagai  perusahaan  di berbagai  bidang  untuk  menerapkan  TI  dalam aktifitas  bisnisnya.  Penggunaan  TI  terbukti dapat  memberikan  berbagai    manfaat  dalam berbagai  tingkatan  baik  perseorangan,  bisnis, pemerintahan,  dan  masyarakat  pada  umumnya (Bin-Abbas  &  Bakry,  2014).  Penerapan  TI memerlukan  adanya  suatu  tata  kelola  yang mengatur  implementasinya,  karena  tata  kelola TI  yang  baik  dapat  menghasilkan  keuntungan
yang  lebih  tinggi  pada  invetasi  TI  (Lunardi, Becker, Macada, & Dolci, 2013)
Terdapat  beragam  cara  atau  metode  dalam penerapan  tata  kelola  TI,  salah  satunya  adalah dengan  menggunakan framework atau kerangka kerja.  Dalam  penelitian  ini,  acuan  yang digunakan  adalah  kerangka  kerja  COBIT  5 karena  memiliki  cakupan  yang  luas  dan menyeluruh diantara standar dan kerangka kerja lainnya (ISACA, 2012).
Kerangka  kerja  COBIT  5  terbagi  dalam  5 domain, salah satunya adalah APO (Align, Plan Organize)  yang  merupakan  domain  yang
Gambar 1. Prosedur Penelitian
digunakan  untuk  mengidentifikasi  cara  terbaik bagi  tata  kelola  TI  untuk  berkontribusi  dalam pencapaian tujuan perusahaan (ISACA, 2013). Selain  itu,  dalam  COBIT  5  juga  terdapat  suatu process capability model  yang dapat digunakan untuk  mengukur  tingkat  kapabilitas  proses  tata kelola teknologi informasi.
Penerapan  tata  kelola  TI  di  Indonesia tentunya perlu memperhatikan kebijakan pengelolaan  TI  di  Indonesia.  Berdasarkan Peraturan  Menteri  Komunikasi  dan  Informasi Nomor 41/PER/MEN.KOMINFO/11/2007 (Republik Indonesia, 2007), dalam penelitian ini digunakan  Panduan  Umum  Tata  Kelola  TIK Nasional  versi  I  tahun  2007  sebagai  acuan kebijakan pengelolaan TI di Indonesia.
Dalam  pengukuran  ketercapaian  tujuan  dan kapabilitas  proses  tata  kelola  TI,  diperlukan suatu alat atau tools berupa checklist yang dapat memudahkan  dalam  mengetahui  ketercapaian tersebut. Pengembangan alat pengukuran kapabilitas  proses  tata  kelola  TI  dapat berkontribusi dalam dua hal. Pertama, alat dapat membantu  organisasi  dalam  proses  evaluasi. Kedua, dari sudut pandang akademis, alat dapat membantu dalam pengembangan model penjelas  tata  kelola  TI  dan  hasil  kinerja  bisnis (Bermejo, Tonelli, Zambalde, Santos, & Zuppo, 2014). Selain itu, pengukuran tingkat kapabilitas    juga  dapat  menggambarkan  sejauh mana  proses  pengelolaan  telah  memenuhi standar  dan  juga  dapat  digunakan  dalam peningkatan  kesadaran  atau  awareness  (Sarno, 2009).
Luaran  dari  penelitian  ini  adalah  suatu  alat pengukuran  tingkat  kapabilitas  dari  proses  tata kelola  TI  yang  mengacu  pada  kerangka  kerja COBIT  5  dan  sesuai  dengan  kebijakan pengelolaan  TI  di  Indonesia.  Alat  pengukuran ini  bersifat  umum  dan  dapat  digunakan  untuk tujuan evaluasi diri maupun audit.

## II. M ETODE P ENELITIAN
Penelitian  ini  dilakukan  dalam  empat tahapan,  yang  meliputi:  analisis  kebutuhan, desain  isi  dan  perancangan  alat,  pembangunan
alat, serta evaluasi dan perbaikan alat. Prosedur penelitian dapat dilihat pada Gambar 1.

## A. Analisis Kebutuhan
Pada  tahap  ini  dilakukan  analisis  pada domain  APO  dan  model  kapabilitas  dalam COBIT  5  serta  analisis  Panduan  Umum  Tata Kelola  TIK  Nasional.  Analisis  yang  dilakukan bertujuan  untuk  mengidentifikasi  variabel  yang dibutuhkan dalam  pengukuran kapabilitas berdasarkan kedua standar tersebut.
B. Desain Isi dan Perancangan Alat
Pada tahap ini dilakukan pembuatan kuesioner,    perumusan  mekanisme  perhitungan hasil  isian  kuesioner,  perumusan  mekanisme pemberian  saran  perbaikan,  serta  perancangan alat.  Kuesioner  yang  dibuat  terdiri  dari  daftar kuesioner  tentang  praktik  dan  kuesioner  tentang produk  kerja.  Rumusan  mekanisme  perhitungan isian  kuesioner  digunakan  dalam  penentuan kapabilitas  saat  ini  (as  is),  kapabilitas  harapan (to  be),  dan  gap  antara  keduanya  yang selanjutnya  digunakan  sebagai  dasar  dalam rumusan mekanisme pemberian saran perbaikan. Perancangan alat meliputi desain antar muka dan desain  navigasi.  Desain  dan  perancangan  yang dilakukan  bertujuan  sebagai  cetak  biru  dari kinerja alat yang dibangun.

## C. Pembangunan Alat
Pada  tahap  ini  dilakukan  pembangunan  alat berdasarkan  desain  dan  perancangan  yang dilakukan pada tahap sebelumnya.
Pembangunan  alat  menggunakan  perangkat lunak spreadsheet.

## D. Evaluasi dan Perbaikan Alat
Pada  tahap  ini  dilakukan  evaluasi  dan perbaikan  terhadap  fitur-fitur  pada  alat  yang dihasilkan. Evaluasi dilakukan dengan membandingkan kesesuaian hasil antara perhitungan  manual  dengan  luaran  alat.  Selain itu,  evaluasi  juga  dilakukan  dengan  mengambil studi kasus di Direktorat Sistem Informasi (DSI) Universitas
Airlangga
tanpa adanya
penyesuaian  atau  kustomisasi  terhadap  DSI.
DSI dipilih karena direktorat tersebut merupakan  divisi  yang  melakukan  manajemen teknologi  informasi  di  lingkungan  Universitas Airlangga.  Komponen  yang  dievaluasi  meliputi konten,  antar  muka,  serta  fungsional  dan operasional alat.

## III. H ASIL DAN P EMBAHASAN
A. Analisis Domain APO dan Model Kapabilitas Proses COBIT 5
Analisis  dilakukan  dengan  melakukan  studi literatur.  Analisis  model  kapabilitas  proses COBIT  5  dilakukan  pada  “COBIT  Process Assessment  Model  (PAM):  Using  COBIT 5”(PAM)  bagian  4.  Dari  hasil  analisis,  dapat diketahui  berbagai  kriteria  baik  kriteria  praktik maupun  kriteria  produk  kerja  yang  digunakan sebagai  aspek  pengukuran  kapabilitas  proses. Selain  itu,  terdapat  salah  satu  kriteria  yang merupakan  kriteria  khusus  dan  bersifat  spesifik sesuai dengan prosesnya yaitu process performance  atau  ketercapaian  proses.  Atribut ini  berkenaan  dengan  pencapaian  tujuan  suatu proses.
Analisis  domain  APO  dilakukan  pada “COBIT  5:  Enabling  Processes”  (EP)  bab  3. Dari  hasil  analisis,  dapat  diketahui  bahwa masing-masing  proses  dalam  domain  APO memiliki  tujuan-tujuan  yang  berbeda,  dan masing-masing  tujuan  proses  memiliki  related metrics  atau  metriks  terkait  tersendiri  yang merupakan indikator ketercapaian tujuan tersebut.
T ABEL 1. P EMETAAN P ROSES APO DAN PTK Kode Proses APO Kode dalam PTK Kode Indikator PTK APO01 - - APO02 4.1.2.1 4.3.3.1 APO03 4.3.2.3 4.3.2.4 4.3.2.5 4.3.3.2 APO04 - - APO05 - - APO06 4.4 4.4.4 APO07 - - APO08 - - APO09 4.6.2.1 4.6.3.1 APO10 4.6.2.6 4.6.3.6 APO11 - - APO12 4.1.2.2 - APO13 4.6.2.2 4.6.3.2

## B. Analisis Panduan Umum Tata Kelola TIK Nasional
Analisis  dilakukan  dengan  melakukan  studi literatur  pada  “Panduan  Umum  Tata  Kelola Teknologi Informasi
dan Komunikasi Nasional”(PTK)  bagian  4.  Dari  hasil  analisis, dapat  diketahui  berbagai  kriteria  yang  menjadi indikator  keberhasilan  suatu  proses.  Selain  itu, juga  diketahui  terdapat  beberapa  ketentuan umum yang terkait dengan indikator keberhasilan tersebut.
Dari hasil analisis panduan umum tata kelola TIK  nasional  dan  analisis  pada  poin  A, diketahui bahwa:
1.  Tidak  semua  proses  pada  domain  APO dalam  COBIT  5  tercakup  dalam  PTK. Beberapa proses domain APO yang tercakup dalam  PTK  juga  tidak  semua  memiliki indikator  keberhasilan.  Pemetaan  proses domain APO dengan PTK dapat dilihat pada Tabel 1.
2.  Indikator  keberhasilan  proses  pada  PTK memiliki  keterkaitan  dengan  related-metrics atau  matriks  terkait  tujuan  proses  pada  EP. Keterkaitan  indikator  dan  matriks  terkait dapat dilihat pada Tabel 2.
3.  Ketentuan  umum  mengenai  penerapan mekanisme shared-service pada PTK memiliki  keterkaitan  dalam  tujuan  proses APO03  Manage  Enterprise  Architecture pada EP, tetapi tidak tercakup dalam matriks terkait  didalamnya.  Adanya  ketentuan  ini memberikan  indikator  tambahan  dalam pencapaian tujuan proses APO03.
4.  Ketentuan umum mengenai intensitas evaluasi  pada  PTK  memiliki  keterkaitan dengan  salah  satu  kriteria  dalam  atribut kapabilitas  4.1  process  measurement  pada PAM,  yaitu  kriteria  4.1.4  mengenai  ukuran dan frekuensi pengukuran. Adanya ketentuan  ini  memberikan  batasan  frekuensi pengukuran  pada  kriteria  4.1.4  menjadi minimal sekali setiap tahun.
T ABEL 2.P EMETAAN I NDIKATOR PTK DAN R ELATED M ETRIC
Kode Indikator PTK Cakupan dalam Related Metrics Tujuan Proses COBIT 5 4.3.3.1.1 APO02, tujuan ke 1, poin ke 1 4.3.3.1.2 APO02, tujuan ke 1, poin ke 2 4.3.3.1.3 APO02, tujuan ke 2, poin ke 3 4.3.3.1.4 APO02, tujuan ke 3, poin ke 1 4.3.3.2.1 APO03, tujuan ke 4, poin ke - 4.4.4.1.1 APO06, tujuan ke 1, poin ke 2 4.4.4.1.2 APO06, tujuan ke 4, poin ke 1 4.4.4.1.3 APO06, tujuan ke 1, poin ke 2 4.6.3.1.1 APO09, tujuan ke 2, poin ke 1 4.6.3.1.2 APO09, tujuan ke 3, poin ke 3 4.6.3.2.1 APO13, tujuan ke 3, poin ke 3 4.6.3.2.2 APO13, tujuan ke 1, poin ke 2 4.6.3.2.3 APO13, tujuan ke 1, poin ke 2 4.6.3.2.4 APO13, tujuan ke 1, poin ke 2 4.6.3.6.1 APO10, tujuan ke 1, poin ke 1 4.6.3.6.2 APO10, tujuan ke 1, poin ke 1 4.6.3.6.3 APO10, tujuan ke 1, poin ke 1 4.6.3.6.4 APO10, tujuan ke 1, poin ke 2 4.6.3.6.5 APO10, tujuan ke 1, poin ke 2 4.6.3.6.6 APO10, tujuan ke 1, poin ke 2 4.6.3.6.7 APO10, tujuan ke 1, poin ke 2

## C. Pembuatan Kuesioner
Pembuatan daftar pertanyaan untuk kuesioner  dilakukan  dengan  menggunakan kriteria-kriteria pada hasil analisis domain APO, model  kapabilitas  proses  COBIT  5,  dan panduan umum tata kelola TIK nasional sebagai bahan  pertanyaan.  Terdapat  dua  kelompok pertanyaan  untuk  masing-masing  pertanyaan, yaitu  kelompok  pertanyaan  mengenai  praktik dan  kelompok  pertanyaan  mengenai  produk kerja.  Pertanyaan  yang  dibuat  menggunakan isian  berupa  pilihan  persentase  yang  mengikuti skala peringkat ISO/IEC 15504 yang digunakan dalam  COBIT  5,  yaitu  skala  N/P/L/F.  Skala peringkat  dalam  COBIT  5  dapat  dilihat  pada Tabel 3.
T ABEL 3. S KALA P ERINGKAT COBIT 5
Skala Tingkat Pencapaian N 0-15% P >15-50% L >50-85%
F >85-100%

## D. Perumusan Mekanisme Perhitungan Hasil
Perhitungan hasil diterapkan untuk
pengukuran  kapabilitas  saat  ini  (as  is)  dan kapabilitas  harapan  (tobe)  dan  memiliki beberapa tahapan dalam perhitungannya. Tahapan mekanisme perhitungan adalah sebagai berikut:
1) Perhitungan  rerata  kriteria:  Pada  tahap ini  dilakukan  perhitungan  nilai  rata-rata  dalam suatu kriteria. Perhitungan untuk audit melibatkan  skor  praktik  dan  skor  produk  kerja, sedangkan untuk evaluasi diri hanya melibatkan skor  praktik  saja.  Perhitungan  dilakukan  untuk semua  kriteria  kapabilitas.  Rumus  perhitungan rerata  kriteria  untuk  audit  dapat  dilihat  pada persamaan  (3.1),  sedangkan  untuk  evaluasi  diri dapat dilihat pada persamaan (3.2)
x ¯ kriteria = ∑ (3.1) x ¯ kriteria = ∑
(3.2)
Keterangan: n : jumlah skor
SP
: skor praktik
SPK : skor produk kerja
2) Perhitungan  rerata  atribut  kapabilitas:
Pada tahap ini dilakukan perhitungan nilai rata- rata antara kriteria-kriteria dalam satu kelompok atribut kapabilitas. Perhitungan dilakukan untuk semua  atribut  kapabilitas.  Rumus  perhitungan rerata  atribut  kapabilitas  dapat  dilihat  pada persamaan (3.3)
x ¯ atribut =
∑ x¯ (3.3)
Keterangan: n : jumlah kriteria 3) Pengelompokan pencapaian atribut kapabilitas: Pada tahap ini dilakukan pengelompokan  rerata  atribut  kapabilitas  sesuai dengan  skala  peringkat  ISO/IEC  15504  yang digunakan dalam COBIT 5, yaitu skala N/P/L/F.
4) Penentuan  level  kapabilitas proses: pada tahap  ini  dilakukan  penentuan  level  kapabilitas proses berdasarkan pencapaian atribut kapabilitasnya.  Suatu  proses  dapat  mencapai level kapabilitas tertentu jika pencapaian atribut proses pada level tersebut mencapai peringkat L atau  F,  dan  telah  mencapai  peringkat  F  untuk atribut  proses  pada  level  yang  berada  di bawahnya (ISACA, 2013).

## E. Perumusan Mekanisme Pemberian Saran
Pemberian  saran  perbaikan  didasarkan  pada hasil perhitungan level kapabilitas untuk kondisi saat  ini  (as  is)  dan  kondisi  yang  diinginkan  (to be).  Terdapat  dua  jenis  saran  yang  diberikan, yaitu  saran  berupa  base  practice  dari  proses yang  diukur,  dan  saran  dalam  pencapaian  level to  be.  Saran  base  practice  diberikan  tanpa memperhatikan  level  kapabilitas  to  be  maupun as  is,  sedangkan  saran  pencapaian  to  be diberikan  dengan  memperhatikan  kesenjangan antara keduanya.
Sebagai  bahan  pembuatan,  saran  base practice  menggunakan  base  practice  dalam PAM.  Sedangkan  saran  pencapaian  to  be menggunakan  ringkasan  deskriptif  dari  kriteria- kriteria  dalam  atribut  kapabilitas  baik  praktik maupun produk kerja.
Gambar 2. Contoh Desain Masukan Kuesioner

## F. Perancangan Alat
Alat  yang  dibuat  terdiri  atas  dua  berkas spreadsheet,  yaitu  berkas  spreadsheet  untuk auditor  dan  berkas  spreadsheet  untuk  auditee. Berkas  spreadsheet  untuk  auditor  menampilkan dengan  lengkap  seluruh  kuesioner  beserta kelompok  atribut  kapabilitas  dan  levelnya, rekapitulasi  isian  responden,  hasil  pengukuran
Gambar 3. Desain Hasil Penilaian
proses, saran perbaikan, dan ringkasan pengukuran  proses  domain  APO.  Berkas spreadsheet  untuk  auditee  hanya  menampilkan kuesioner  saja,  tanpa  menampilkan  kelompok atribut  kapabilitas  maupun  level.  Berkas spreadsheet untuk auditee ditanamkan (embedded) ke dalam berkas spreadsheet untuk auditor,  dan  dapat  di-generate  menjadi  berkas tersendiri  untuk  kemudian  dapat  disebarkan kepada  auditee  yang dikehendaki dan  kemudian dapat direkapitulasi hasil isiannya.
Masukan  kuesioner  menggunakan  combo- box  sebagai  media  masukannya.  Contoh  desain masukan kuesioner dapat dilihat pada Gambar 2. Desain  hasil  penilaian  terdiri  dari  beberapa bagian, yaitu rekapitulasi isian auditee, rekapitulasi isian auditor, hasil visitasi, dan hasil akhir. Kolom rekapitulasi isian auditee merupakan  hasil  rekapitulasi  dari  isian  seluruh auditee.  Kolom  rekapitulasi  isian  auditor merupakan  hasil  rekapitulasi  dari  isian  yang dilakukan  oleh  auditor  untuk  kondisi  saat  ini. Kolom  hasil  visitasi  merupakan  hasil  dari  isian auditor  yang  dimasukkan  secara  manual  oleh auditor  ketika  melakukan  visitasi.  Kolom  hasil akhir untuk kondisi yang diinginkan menggunakan  hasil  rekapitulasi  isian  kondisi yang  diharapkan  dari  auditee,  sedangkan  kolom hasil  akhir  kondisi  saat  ini  menggunakan  hasil visitasi.  Contoh  desain  hasil  penilaian  dapat dilihat pada Gambar 3.

## Gambar 4. Desain Navigasi Berkas Auditee
Desain  navigasi  penggunaan  alat  untuk berkas  auditee  dapat  dilihat  pada  Gambar  4, sedangkan  untuk  berkas  auditor  dapat  dilihat pada  Gambar  5.  Garis  dengan  dua  mata  panah menunjukkan  navigasi  yang  dapat  dilakukan dengan dua arah atau bolak-balik. BP merupakan singkatan dari Base  Practice atau praktik  dasar,
sedangkan  GWP  adalah  singkatan  dari  Generic Work Products atau produk kerja umum.
Gambar 5. Desain Navigasi Berkas Auditor

## G. Pembangunan Alat
Dalam  pembangunan  alat,  terdapat  delapan komponen  yang  dibangun.  Komponen  tersebut antara lain:
1) Menu  dan  tombol-tombol  navigasi, dengan memanfaatkan fitur hyperlink.
2) Fitur “export checklist responden”,
berfungsi
untuk men-generate atau menghasilkan  berkas  spreadsheet  untuk  auditee yang  tertanam  didalam  berkas  spreadsheet auditor agar menjadi berkas tersendiri.
3) Input  jawaban  kuesioner,  menggunakan kombinasi  dari  pemanfaatan  fitur  combo  box sebagai  media  masukan  dan  formula  INDEX sebagai media pengembali nilai.
4) Fitur “import isian responden”, berfungsi untuk  rekapitulasi  hasil  isian  seluruh  berkas auditee.  Fitur  ini  digunakan  untuk  rekapitulasi hasil  isian  berkas  auditee  pada  proses  masing- masing.
5) Perhitungan  rerata  kriteria,  digunakan untuk menghitung pencapaian kriteria kapabilitas.  Hasil  perhitungan  tergantung  pada jenis  pengukuran  yang  dipilih,  yaitu  audit  atau evaluasi diri. 6) Pencapaian atribut kapabilitas, merupakan hasil pengelompokan dari perhitungan  rata-rata  kriteria-kriteria  dalam  satu kelompok  atribut  ke  dalam  kelompok  skala N/P/L/F.  Fungsi  ini  terdapat  dalam  masing- masing proses dan digunakan untuk menghitung pencapaian  atribut  kapabilitas  pada  proses tersebut.
7) Penentuan  level  kapabilitas,  digunakan
untuk  menentukan  pencapaian  level  kapabilitas dan  fungsi  ini  terdapat  pada  masing-masing proses.
8) Fitur  saran  perbaikan,  digunakan  untuk memberikan  saran  perbaikan  mengenai  proses masing-masing  dan  fungsinya  berdasarkan pencapaian level kapabilitas as is dan to be.

## H. Evaluasi Alat
Evaluasi  alat  dilakukan  untuk  mengetahui seberapa  baik  desain  dan  kinerja  dari  alat  yang telah  dibuat. Evaluasi dilakukan dengan pemberian  kuesioner  mengenai  konten,  antar muka, dan fungsional serta operasional dari alat. Kuesioner  ditujukan  kepada  responden  yang terkait  dengan  proses  berdasarkan  pemetaan struktur organisasi DSI dan RACI Charts proses domain APO.
Berdasarkan hasil pengisian kuesioner evaluasi, dapat diketahui bahwa 86%  responden menyatakan  alat  memiliki  konten  yang  mudah dipahami  dan  antar  muka  yang  baik,  dan  81% responden  menyatakan  alat  memiliki  fungsional dan  operasional  yang  baik.  Hasil  pengisian kuesioner evaluasi dapat dilihat pada Tabel 4.
T ABEL 4.H ASIL P ENGISIAN K UESIONER E VALUASI Komponen Penilaian Persentase Kurang Setuju Persentase Setuju Konten 14% 86% Antar Muka 14% 86% Fungsional &Operasional 19% 81%

## I. Perbaikan Alat
Perbaikan alat dilakukan untuk memperbaiki kekurangan yang ditemukan pada alat yang telah dibuat.  Perbaikan  didasarkan  pada  saran  dan komentar  yang  diberikan  oleh  responden  dalam tahap evaluasi alat.
Berdasarkan  saran  dan  komentar  dari responden, dilakukan perbaikan yang meliputi:
1) Perbaikan  kesalahan  pembangunan  yang ditemukan  pada  berkas  auditor.  Perbaikan  yang dilakukan  yaitu  mengoreksi  referensi  sel  yang salah ke referensi sel yang seharusnya.
2) Penambahan  kolom  komentar,  dari  yang sebelumnya  untuk  setiap  kriteria  menjadi  untuk setiap poin pertanyaan.
3) Pengubahan tata pewarnaan  pada tiap baris dalam  kuesioner  agar  memudahkan  pengguna dalam memahami.

## IV. K ESIMPULAN
Variabel  yang  digunakan  dalam  pembuatan kuesioner pengukuran tingkat kapabilitas berdasarkan  COBIT  5  pada  domain  APO terdapat  pada  related  metrics  dalam  masing-
masing  tujuan  proses  dan  pada  kriteria  dalam model  kapabilitas  proses  COBIT  5.  Beberapa variabel  disesuaikan  dengan  ketentuan  dan indikator  khusus  dari  Panduan  Tata  Kelola Teknologi Informasi dan Komunikasi  Nasional, yang meliputi: penambahan indikator penerapan mekanisme  shared-service  dalam  pencapaian tujuan proses  APO03, dan penambahan batasan frekuensi  pengukuran  pada  kriteria  kapabilitas 4.1.4 menjadi minimal sekali setiap tahun.
Pembuatan alat pengukuran tingkat kapabilitas dilakukan untuk auditor dan auditee. Berkas  kuesioner  untuk  auditor  memiliki  7 fungsi,  yaitu  men-generate  berkas  kuesioner untuk  auditee,  memberikan  skor  penilaian kondisi  saat  ini,  merekap  isian  auditee, memberikan  skor  akhir  kondisi  saat  ini, memberikan  hasil  berupa  tingkat  kapabilitas untuk kondisi saat ini dan kondisi harapan, serta memberikan saran perbaikan. Sedangkan berkas kuesioner untuk auditee memiliki 2 fungsi, yaitu memberikan  skor  penilaian  untuk  kondisi  saat ini  dan  kondisi  harapan.  Dari  hasil  evaluasi diketahui  bahwa  alat  yang  dibuat  memiliki konten  yang  mudah  dipahami,  antar  muka  dan navigasi  yang  menarik  dan  mudah  dipahami, serta  memiliki  fungsional  dan  operasional  yang baik dan akurat.

## D AFTAR P USTAKA
Bermejo,  P.  H.,  Tonelli,  A.  O.,  Zambalde,  A.  L., Santos,  P.  A.,  &  Zuppo,  L.  (2014). Evaluating  IT  governance  practices  and business  and  IT  outcomes:  A  quantitative exploratory  study  in  Brazilian  companies. CENTERIS 2014 / ProjMAN 2014 / HCIST 2014 (pp. 849-857). Troia, Lisbon, Portugal: Elsevier Ltd.
Bin-Abbas, H., & Bakry, S. H. (2014). Assessment of
IT  governance  in  organizations:  A  simple integrated  approach.  Computers  in  Human Behavior , 261-267.
ISACA.  (2012). COBIT 5. Illinois: ISACA. ISACA.  (2013).  COBIT  Process  Assessment  Model
(PAM): Using COBIT 5. Illinois: ISACA. ISACA.  (2013).  Self-Assessment  Guide:  Using
COBIT 5. Illinois: ISACA.
Lunardi,  G.  L.,  Becker,  J.  L.,  Macada,  A.  C.,  & Dolci, P. C. (2013). The impact of adopting IT  governance  on  financial  performance: An  empirical  analysis  among  Brazilian firms.  International  Journal  of  Accounting Information Systems .
Republik  Indonesia.  (2007).  Peraturan  Menteri Komunikasi  dan  Informasi  Nomor  41 Tahun  2007  tentang  Panduan  Umum  Tata Kelola  Teknologi  Informasi  Nasional.
Jakarta: Kemkominfo.
Sarno,    R.  (2009).  Audit  Sistem  &  Teknologi
Informasi. Surabaya: ITS Press.