## Analisis Adopsi Continuous Auditing pada Fungsi Audit Intern di Lembaga Negara XYZ
Sri Rahayu 1* , Machmudin Eka Prasetya 2
1,2) Program Magister Akuntansi, Fakultas Ekonomi dan Bisnis, Universitas Indonesia srirahayu348733@gmail.com
*Corresponding Author
Diajukan : 13 November 2023 Disetujui : 7 Desember 2023
Dipublikasi : 1 Juli 2024

## ABSTRACT
This research is motivated by the challenges faced by the Internal Audit Function (IAF) at XYZ Government  Institution  in  the  midst  of  the  rapid  development  of  technology  and  financial transactions  that  have  been  fully  digitized  using  the  Enterprise  Resource  Planning  /  Human Resources Information System. In order to utilize financial transaction data and technology, IAF carries out digital transformation by adopting continuous auditing and developing the Pemantauan Off Site Risiko Operasional (PERISAI) application as a continuous auditing implementation tool. The  purpose  of  this  study  is  to  analyze  the  suitability  of  the  steps  taken  by  the  IAF  at  XYZ Government  Institution  in  adopting  continuous  auditing  based  on  the  Global  Technology  Audit Guide  (GTAG)  3:  Coordinating  Continuous  Auditing  and  Monitoring  to  Provide  Continuous Assurance  (2 nd edition),  analyzing  the  success  of  the  PERISAI  application  based  on  the  user's perspective using the DeLone and McLean Information System Success Model. This research uses a case study research strategy with an exploratory study method. The data collection methods used were  semi-structured  interviews  consisting  of  open  and  closed  ended  questions,  documentation, and  observation.  The  results  of  this  study  indicate  that  the  steps  taken  by  FAI  to  implement continuous  auditing  are  not fully  in  accordance  with the key  steps for implementing  continuous auditing in GTAG 3 (2 nd edition), while the PERISAI application is considered successful by FAI internal auditors even though there are still some things that must be improved from the aspects of people, process, and technology used.
Keywords:  data  analytics;  DeLone  and  McLean,  Information  System  Success;  GTAG;  internal audit

## PENDAHULUAN
Perkembangan  teknologi  informasi  telah  mengubah  seluruh  aspek  kehidupan  manusia  dan menyebabkan  perubahan  signifikan  dalam  keuangan,  audit,  dan  akuntansi  (Afsay,  Tahriri,  & Rezaee, 2023).  Pesatnya perkembangan teknologi mendorong banyak manajer dan pengusaha yang berpikiran maju  untuk  melakukan transformasi digital dengan mengubah model bisnis yang ada serta menciptakan kembali bisnis dan aliran pendapatan baru dengan cara baru (Turban, Pollard, & Wood,  2021).  Dengan  mengimplementasikan  transformasi  digital  maka  perusahaan  akan  dapat meningkatkan pencapaian dan efektivitas secara keseluruhan, khususnya di bidang keamanan aset, pelaporan  keuangan,  operasional,  dan  tujuan  strategis  dari  entitas  tersebut,  serta  meningkatkan pengendalian internal menjadi lebih kuat dan efisien dalam pelaksanaan penilaian risiko, kegiatan pengendalian, informasi dan komunikasi (Wang, Wang, Deng, & Wang, 2023).
Salah satu transformasi digital yang berhasil diimplementasikan oleh Lembaga Negara XYZ adalah  integrasi  sistem  aplikasi  keuangan  melalui  implementasi Enterprise  Resource  Planning/ Human  Resource  Information  System (ERP/HRIS)  yang  digunakan  untuk  menjalankan  proses otomasi pengelolaan anggaran, pengadaan dan pelaksanaan kontrak, pengelolaan aset, pengelolaan perpajakan, pengelolaan sumber daya manusia, dan penyusunan laporan keuangan, yang semula dilakukan pada aplikasi yang terpisah-pisah
Di  era  digital  saat  ini,  digitalisasi  audit  merupakan  suatu  hal  yang  tidak  dapat  dihindari (Manita, Elommal, Baudier, & Hikkerova, 2020). C ontoh fenomena kekinian  dalam dunia audit harus  diterapkan  di  setiap  organisasi  adalah  pengembangan  data mining dan data  analytics guna memperkuat pengawasan rutin dan mencakup semua populasi data sehingga dapat menggantikan peran  audit tradisional  (Priantara,  2017). Audit  data  analytics memberikan  pengaruh  positif terhadap  kualitas  audit  dan  reviu  audit  secara  berkelanjutan,  sehingga  auditor  perlu mempertimbangkan  pemanfaatan big  data yang  dimiliki  dalam data  analytics (Ditkaew,  2022). Tiga isu utama dalam penggunaan teknologi dalam dunia audit yaitu adopsi continuous auditing and continuous monitoring , penggunaan software tools pada profesi audit, dan  hubungan antara sistem informasi dengan audit (Lamboglia, Lavorato, Scornavacca, & Za, 2021).
Penggunaan teknologi dan pemanfaatan data yang dihasilkan dari ERP/HRIS melalui data analytics yang terotomasi dan berkelanjutan menjadi tantangan bagi fungsi audit intern di Lembaga Negara  XYZ  (selanjutnya  disebut  FAI)  untuk  melakukan  transformasi  digital  melalui  adopsi Continuous Auditing (CA) dan mengembangkan aplikasi Pemantauan Off Site Risiko Operasional (PERISAI)  sebagai tool implementasi  konsep  CA.  Manfaat  dari  implementasi  CA  antara  lain kemampuan  mengotomatisasi  pemeriksaan  akan  menghasilkan  penghematan  biaya  yang  besar, meningkatkan efektivitas, serta memungkinkan untuk mengukur dan memantau proses bisnis pada tingkat  detail  secara real-time (Alles,  et  al.,  2006).  Selain  itu  CA  akan meningkatkan  frekuensi pelaporan yang up to date , dan bagi perusahaan yang telah mengimplementasikan CA secara penuh dapat memitigasi risiko perbedaan kualitas reviu atas hasil audit, redudansi substansi, kurangnya pendalaman pada suatu aktivitas, dan kondisi audit fatigue dimana auditee tidak mau bekerja sama karena banyaknya pelaksanaan audit (Vasarhelyi, et al., 2012). Urgensi implementasi CA dalam kegiatan  audit  internal  Lembaga  XYZ  juga  terbukti  dibutuhkan  pada  saat  terjadinya  pandemic covid-19. Social  distancing menyebabkan  auditor  intern  tidak  dapat  melakukan  pengawasan langsung kepada satuan kerja di kantor pusat dan kantor perwakilan daerah. Hal ini sejalan dengan hasil penelitian yang dilakukan oleh Lois et al. (2020) yang menyampaikan bahwa implementasi CA mengatasi kondisi pengumpulan data yang memakan waktu serta jarak geografis.
Namun, tidak mudah untuk mengimplementasikan CA pada Lembaga Negara karena adanya beberapa  tantangan  yang  dihadapi  oleh  organisasi  sektor  publik  dan  bank  sentral,  yaitu  terkait dengan kompleksitas organisasi, kekakuan kelembagaan, potensi ancaman terhadap independensi auditor  internal  atas  pemisahan continuous  auditing dan continuous  monitoring ,  kesulitan mendefinisikan  indikator  CA  untuk  analisis  tren, benchmarking ,  dan threshold ,  permasalahan dalam  mengungkapkan  temuan  CA  dalam  organisasi,  serta  masalah  dalam  mempertimbangkan sistem CA sebagai mekanisme ’koreksi kesalahan secara real time ’ (Polizzi & Scannella, 2023).
Oleh karena itu, sangat penting untuk menganalisis langkah-langkah yang dilakukan FAI dalam mengadopsi  CA  dan  mengembangkan  aplikasi  PERISAI  sehingga research  question pada penelitian  ini  adalah  bagaimana  kesesuaian  langkah-langkah  yang  dilakukan  FAI  untuk mengadopsi  konsep  CA  dengan Global  Technology  Audit  Guide  (GTAG)  3:  Coordinating Continuous  Auditing  and  Monitoring  to  Provide  Continuous  Assurance  (2 nd edition) yang merupakan supplemental  guidance yang dipublikasikan  oleh The  Institute  of  Internal  Auditors (IIA), dan bagaimana kesuksesan aplikasi PERISAI menurut perpektif penggunanya yaitu auditor internal FAI berdasarkan DeLone and McLean Information System Success (ISS) Model . Penelitian terkait CA telah banyak dilakukan, namun berbeda dengan penelitian sebelumnya, penelitian ini melakukan  studi  kasus  di  salah  satu  lembaga  negara  pemerintah  Indonesia  dan  mengeksplorasi proses adopsi CA, kesuksesan sistem CA, serta kendala yang dihadapi FAI pada lembaga tersebut dalam proses pengembangan CA dari aspek people, process , dan technology .

## STUDI LITERATUR

## Continuous Auditing
Audit internal perlu merencanakan dan melaksanakan audit melalui data analytics yang dapat diulang  dan  digunakan  secara  berkelanjutan  untuk  dimanfaatkan  dalam  perencanaan  audit  yang dinamis  dan  audit  berkelanjutan  atau continuous  auditing (KPMG,  2012) .  Continuous  Auditing (CA) adalah proses yang digunakan oleh auditor internal dalam memberikan keyakinan secara real-
time atas proses dan sistem bisnis (Richardson, Teeter, & Terrel, 2021). Menurut (Coddere, 2005), CA adalah seluruh jenis metode yang digunakan auditor untuk melakukan aktivitas audit secara berkelanjutan yang merupakan suatu rangkaian kegiatan mulai dari penilaian pengendalian hingga penilaian  risiko  berkelanjutan,  dan  teknologi  memainkan  peran  penting  dalam  mengotomatisasi identifikasi exceptions atau  anomali  yang  terjadi,  menganalisis  pola  dan  tren,  menganalisis transaksi rinci atas cut off atau thresholds (ambang batas), pengujian pengendalian, perbandingan proses atau sistem dari waktu ke waktu dan/atau terhadap unit/entitas lain yang sejenis.
Pengembangan CA memerlukan pemikiran ulang yang mendasar tentang semua aspek audit, mulai dari cara bagaimana data disediakan untuk auditor, jenis pengujian yang dilakukan auditor, bagaimana alarm/alert ditangani, jenis laporan yang dikeluarkan, seberapa sering dan kepada siapa laporan disampaikan, serta banyak masalah lainnya yang beberapa diantaranya hanya akan terlihat ketika  CA  diimplementasikan  (Vasarhelyi,  Alles,  &  Williams,  2010).  Beberapa  faktor  yang mempengaruhi  adopsi  CA  adalah  dukungan  manajemen  dan  pengetahuan  karyawan,  sistem informasi, dan akses data (Vasarhelyi, Alles, Kuenkaikaew, & Littley, 2012).
Pada  tahun  2015,  IIA  mempublikasikan GTAG  3:  Coordinating  Continuous  Auditing  and Monitoring to Provide Continuous Assurance ( 2 nd edition ) yang di dalamnya terdapat penjelasan mengenai langkah-langkah utama untuk mengimplementasikan CA sebagaimana pada Gambar 1.

## KEY STEPS TO IMPLEMENTING CONTINUOUS AUDITING
1. ESTABLISH A CONTINUOUS AUDITING STRATEGY
• Coordinate with first and second line of defense.
• Set priorities and gain management support.
• Adapt the annual plan to specify ongoing indicators.
2. ACQUIRE DATA FOR ROUTINE USE
• Establish routine access to the production environment.
• Develop analysis capabilities.
• Build audit technical skills and knowledge.
• Assess reliability of data sources.
• Prepare and validate the data.
3. CONSTRUCT CONTINUOUS AUDITING INDICATORS ONGOING RISK ASSESSMENT
• Develop risk indicators
• Design analytics to measure increase level of risk ONGOING CONTROL ASSESSMENT
• Relate to control objectives • Determine key controls
• Evaluate baseline condition and changes to controls
4. REPORT AND MANAGE RESULTS
• Establish a repeatable methodology.
• Report results.
• Facilitate management action.
• Align with continuous monitoring and adapt the continuous auditing strategy. Gambar 1. Keys Steps To Implementing Continuous Auditing
Sumber : (Bradley C. Ames, Robertson, & Rai, 2015)

## Manajemen Risiko
Definisi risiko menurut IIA adalah “ the possibility of an event occurring that will have an impact on  the  achievement  of  objectives ”,  yaitu  kemungkinan  terjadinya  suatu  peristiwa  yang  akan berdampak pada pencapaian tujuan (IIA, 2009). Selanjutnya COSO mendefinisikan risiko sebagai “ the  possibility  that  events  will  occur  and  affect  the  achievement  of  strategy  and  business objectives ”  yaitu  kemungkinan  peristiwa-peristiwa  akan  terjadi  dan  mempengaruhi  pencapaian strategi dan tujuan bisnis (COSO, 2018).
Tanggung  jawab  internal  audit  terkait Enterprise  Risk  Management (ERM)  diklasifikasikan menjadi tiga peran (IIA, 2019), yaitu:
1) Peran  Inti,  yaitu  memberikan  asurans  atas  proses  Manajemen  Risiko,  memberikan  asurans bahwa  risiko  telah  dievaluasi  dengan  benar,  melakukan  evaluasi  pelaporan  risiko  utama, meninjau pengelolaan risiko utama manajemen.
2) Peran yang Harus Dibatasi, yaitu memfasilitasi identifikasi dan evaluasi risiko,  memberikan pelatihan  dalam  merespon  risiko,  mengkoordinasikan  kegiatan  ERM,  mengkonsolidasikan pelaporan risiko, memperjuangkan pembentukan ERM,
3) Peran  yang  Tidak  Boleh  Dilakukan  Auditor,  yaitu  menentukan risk  appetite, menerapkan proses manajemen risiko, mengelola asurans atas risiko, mengambil keputusan tentang respons risiko, menerapkan respon risiko atas nama manajemen, mengasumsikan tanggung jawab atas manajemen risiko.

## Penelitian Terdahulu
Penelitian  (Hassan,  Salleh,  Ismail,  &  Ahmad,  2023)  dilakukan  terhadap  60  jurnal  publikasi mengenai  penggunaan  CA  dalam  konteks  audit  yang  membahas  kualitas  implementasi  sistem. Hasil  penelitian  mengidentifikasi  4  elemen  keberhasilan  implementasi  sistem  CA  yaitu  kualitas peserta,  kualitas  sistem,  kualitas  informasi,  serta  kualitas  produk  dan  layanan.  Dari  60  jurnal tersebut menunjukan bahwa setiap elemen diukur dengan indikator atau variabel yang berbeda.
Penelitian Federicco & Tandiono (2023) fokus pada awareness internal dan eksternal auditor di Indonesia terkait CA dan persepsi mengenai teknologi CA dengan kesimpulan bahwa Indonesia masih  dalam  perjalanan  untuk  mengadopsi  dan  beradaptasi  dengan  teknologi  CA.  Adapun penelitian (Barros & Marques, 2022) fokus pada perspektif internal auditor terkait pentingnya CA dan  mengungkapkan  bahwa  perkembangan  CA  di  Portugal  dinilai  relatif  lambat,  namun  audit internal  di  perusahaan  menengah  dan  besar  sadar  akan  pentingnya  penerapan  sistem  CA  yang penggunaan beberapa layanannya sudah menjadi bagian dari rutinitas. Kedua penelitian tersebut belum membahas mengenai proses adopsi CA dan pengembangan sistem informasi pendukung CA dalam suatu entitas lembaga publik, serta memberikan saran penelitian di masa depan yang dapat memperluas  partisipan  yang  berasal  dari regulatory  body untuk  menganalisis  kesiapan  dan dukungan  untuk  teknologi  CA  (Federicco  &  Tandiono,  2023)  dan  melakukan  eksplorasi penggunaan CA di entitas sektor publik (Barros & Marques, 2022).

## DeLone and McLean Information System Success (ISS) Model
DeLone and McLean ISS Model merupakan hasil penelitian William H. DeLone dan Ephraim R. McLean yang dilakukan pada tahun 1981-1987 mengenai dimensi/elemen yang mempengaruhi kesuksesan suatu Sistem Informasi, yang dipublikasikan di tahun 1992 dan kemudian diperbaharui di tahun 2003 (DeLone & McLean, 2003). Pembaharuan pada DeLone and McLean ISS Model tahun  2003  antara  lain  penambahan  dimensi  kualitas  layanan  ( service  quality )  dan  peleburan individual impact dan organizational impact menjadi dimensi net benefit .
Sesuai Gambar 2 Updated DeLone and McLean ISS Model , terdapat 6 dimensi yang digunakan untuk mengukur kesuksesan sistem informasi. Masing-masing dimensi tidak bersifat independent melainkan interdependent yaitu jika salah satu dari 6 dimensi tersebut mengalami suatu kegagalan maka seluruh kesuksesan sistem menjadi terganggu (DeLone & McLean, 2003). Menurut (DeLone &  McLean,  2002),  3  dimensi  utama  kesuksesan  yakni system  quality,  information  quality, dan service quality harus diukur secara terpisah atau secara gabungan, dan akan memberikan pengaruh terhadap penggunaan ( use ) atau niat menggunakan ( intention to use ) dan kepuasan pengguna ( user satisfaction ). User satisfaction akan meningkatkan use/intention to use , yang akan menimbulkan net benefit tertentu berdasarkan perspektif pemilik atau sponsor sistem informasi.
Gambar 2. Updated DeLone and McLean Information System Success Model
Sumber :  (DeLone & McLean, 2003)
INFORMATION QUALITY SYSTEM QUALITY SERVICE QUALITY INTENTION TO USE USE USER SATISFACTION NET BENEFITS

## METODE
Penelitian ini menggunakan strategi penelitian studi kasus . Dalam pelaksanaan studi kasus ini, peneliti  menggunakan  metode exploratory  study. Dengan  pendekatan  studi  kasus  dan  metode exploratory ,  peneliti    dapat  menggali  lebih  dalam  dan  mendapatkan  wawasan  baru  terkait implementasi CA pada FAI di Lembaga Negara XYZ, menganalisis langkah-langkah yang masih perlu  dilakukan  dalam  proses  adopsi  CA,  menganalisis  kesuksesan  aplikasi  PERISAI  dari perspektif  auditor  internal  FAI  sebagai  pengguna,  serta  mengidentifikasi  kendala  yang  dihadapi untuk dapat memberikan saran perbaikan.
Untuk menganalisis kesesuaian langkah-langkah yang dilakukan FAI dalam mengadopsi CA dengan GTAG 3 ( 2 nd edition ) serta analisis kesuksesan aplikasi PERISAI, peneliti menggunakan pendekatan penelitian kualitatif. Kualitatif sering digunakan sebagai  sinonim untuk setiap teknik pengumpulan  data  seperti  wawancara  atau  prosedur  analisis  data  yang  menghasilkan  atau menggunakan data non-numerik (Saunders, Lewis, & Thornhill, 2019). Metode pengumpulan data primer dilakukan melalui wawancara semi terstruktur kepada narasumber yang paling memahami proses  adopsi  CA  dan  pengembangan  aplikasi  PERISAI  di  FAI,  serta  didukung  data  sekunder berupa dokumentasi dan hasil observasi atas tampilan visual ( user interface ) dari aplikasi PERISAI. Analisis  kesuksesan  aplikasi  PERISAI  mengacu  pada DeLone  and  McLean  ISS  Mode l  dan dikombinasikan  dengan  penelitian  lain  sebagai  referensi  dalam  pemilihan  indikator  untuk mengukur kesuksesan masing-masing dimensi, sebagaimana Tabel 1.
Tabel 1. Dimensi dan Indikator Kesuksesan Aplikasi PERISAI Dimension Indicator/Variable Reference System quality 1. Ease  and  simple  to  use, user friendly 2. Fast/time response 3. Reliability
4. Accessibility
5. Response time (DeLone & McLean, 2003) (Albuainain, 2022), (Akrong,  Shao,  &  Owusu,  2022),  (Urbach  & Miller, 2011), (Liu, Hu, Yan, & Lin, 2023) Information quality 1. Accuracy Completeness 2. Easy to understand
3. Up to date 4. Format (DeLone & McLean, 2003) (Albuainain, 2022), (Akrong,  Shao,  &  Owusu,  2022),  (Urbach  & Miller, 2011), (Liu, Hu, Yan, & Lin, 2023) Service quality 1. Assurance 2. Responsiveness
3. Reliability
4. Technological expertise
5. Empathy (DeLone & McLean, 2003), (Mazadu, Ibrahim, Ibrahim,  & Mansur,  2022),  (Akrong,  Shao,  & Owusu, 2022), (Urbach & Miller, 2011), (Liu, Hu, Yan, & Lin, 2023) Use/Intention to use 1. Frequency of use 2. Actual use
3. Recommend to others 4. Willingness  to  continue using application (DeLone & McLean, 2003), (Mazadu, Ibrahim, Ibrahim,  & Mansur,  2022),  (Akrong,  Shao,  & Owusu, 2022), (Urbach & Miller, 2011), (Liu, Hu, Yan, & Lin, 2023) User satisfaction 1. Satisfied 2. Enjoyable experience
3. Effective
4. Efficient
5. Overall satisfaction (DeLone  &  McLean,  2003),  (Elmunsyah, Nafalski,  Wibawa,  &  Dwiyanto,  2023), (Albuainain, 2022), (Akrong, Shao, & Owusu, 2022), (Urbach & Miller, 2011), Net Benefit 1. Learning 2. Task innovation
3. Job productivity
4. Time saving and effort
5. Job performance
(DeLone  &  McLean,  2003),  (Elmunsyah,
Nafalski,  Wibawa,  &  Dwiyanto,  2023), (Albuainain, 2022), (Akrong, Shao, & Owusu, 2022), (Urbach & Miller, 2011),
Sumber : Peneliti, berdasarkan penelitian yang menjadi reference.
Pengumpulan data dilakukan melalui wawancara semi terstruktur dengan kombinasi open dan close ended question kepada 6 orang auditor internal yang telah menggunakan dan memanfaatkan PERISAI. Jawaban atas close ended question diolah menjadi kualitatif dengan menggunakan skala Likert melalui pembobotan setiap jawaban sebagaimana Tabel 2.
Tabel 2. Bobot Penilaian atas Jawaban Close Ended Question dari Pengguna PERISAI Jawaban Bobot Sangat Tidak Setuju 1 Tidak Setuju 2 Netral 3 Setuju 4 Sangat Setuju 5 Sumber : (Saunders, Lewis, & Thornhill, 2019)
Adapun  dari  jawaban  atas  pertanyaan  wawancara  yang  bersifat open  ended  question dapat diperoleh  pemahaman  yang  lebih  mendalam  terkait  kendala  yang  dialami  pengguna  pada  saat menggunakan  PERISAI  dan  hal-hal  yang  masih  memerlukan  peningkatan  sehingga  PERISAI sukses memenuhi kebutuhan penggunanya. Untuk melengkapi pemahaman atau wawasan terhadap kedua  permasalahan  tersebut,  peneliti  juga  melakukan  wawancara  kepada  2  orang  anggota  tim pengembang PERISAI.
Setelah  data  terkumpul  dilakukan  analisis  kualitatif  deskriptif.  Tiga  langkah  penting  dalam analisis  data  kualitatif adalah data reduction,  data  display, and drawing  conclusion (Sekaran & Bougie,  2020).  Pada  tahap data  reduction ,  peneliti  melakukan  proses coding yaitu  data  hasil wawancara  dikumpulkan,  dikurangi,  disusun  ulang, diintegrasikan  dan  dikategorikan  sesuai  key steps to implementing CA berdasarkan GTAG 3 ( 2 nd edition ) dan dimensi kesuksesan dari DeLone and McLean ISS Model . Pada tahap data display , data yang telah direduksi tersebut disajikan secara singkat,  padat  dan  jelas. Data  display membantu  peneliti  dalam  mengenali  hubungan  dan  pola dalam data, serta menarik kesimpulan dan memverifikasinya (Saunders, Lewis, & Thornhill, 2019). Selanjutnya  dilakukan  penarikan  kesimpulan  untuk  menjawab  pertanyaan  penelitian.  Terkait dengan analisis kesuksesan PERISAI, penarikan kesimpulan menggunakan perhitungan  rata-rata ( mean ) yang disimpulkan berdasarkan Tabel. 3
Tabel 3. Kriteria Analisis Rentang Nilai Rentang Nilai / Range Score Interpretasi Hasil / Kesimpulan 1 – 1,80 Tidak Sukses 1,81 – 2,60 Kurang sukses 2,61 – 3,40 Cukup sukses 3,41 – 4,20 Sukses 4,21 – 5,00 Sangat sukses
Sumber : Peneliti, berdasarkan rentang nilai yang digunakan dalam penelitian (Sözen & Güven, 2019), (Muqtadiroh, Nisafani, & Regina Mia Saraswati, 2019), (Aslan, 2018).

## HASIL
Narasumber wawancara dalam penelitian ini seluruhnya berasal dari FAI yang dilakukan secara tatap muka pada tanggal 2 sampai dengan 14 Oktober 2023, dengan daftar sebagai berikut :
No. Kualifikasi Kode 1. 1  orang  Auditor  Intern  Eksekutif  (AIE)  yang  membawahkan Pengembangan Metodologi NS A 2. 1 orang AIE Koordinator pengembangan aplikasi PERISAI NS B 3. 6 orang auditor internal yang telah menggunakan PERISAI NS 1 s.d. 6 4. 2 orang anggota Tim pengembang aplikasi PERISAI NS a dan b
Sumber : Peneliti
Berdasarkan hasil wawancara kepada seluruh narasumber, diketahui terdapat beberapa kendala yang perlu ditindaklanjuti oleh FAI agar adopsi CA berjalan dengan optimal, yang diklasifikasikan menjadi 3 aspek yaitu people, process, dan technology . Dari aspek people adalah terkait dengan kompetensi atau pemahaman mengenai struktur data aplikasi sumber, dengan penyampaian berikut:
1) Perlunya peningkatan pemahaman mengenai struktur data yaitu memahami konteks field data yang tersedia, lokasi dan kesesuaian dengan kebutuhan analisis (NS B).
2) Perlunya peningkatan kemampuan pemahaman atas request yang diajukan oleh auditor untuk Query data dan analytical yang dibutuhkan oleh auditor (NS 1).
Dari aspek process adalah terkait mekanisme penyusunan indikator CA/skenario analitik yang dapat mendorong partisipasi aktif dari auditor internal sebagai users , dengan penyampaian berikut:
1) Kurangnya ketersediaan usulan/request scenario dari user (NS A).
2) Metode pengembangan yang perlu lebih kolaboratif, saat ini tim pengembang secara proaktif melakukan penggalian informasi kepada auditor, alangkah baiknya jika dari auditor sendiri yang menyampaikan kebutuhannya kepada tim pengembang (NS B).
3) Sulitnya  mendapatkan  feedback  dan  koordinasi  secara  langsung  dengan  user  apabila  user mendapatkan penugasan audit (NS a).
Adapun dari aspek technology adalah terkait dengan spesifikasi dan kapasitas server yang dapat memproses data dalam volume besar, dengan penyampaian sebagai berikut :
1) Saat  ini  terdapat  keterbatasan  kapasitas  server  yang  diperlukan  untuk  pemrosesan  data (NS A).
2) Sebaiknya server menggunakan server yang dikelola oleh satuan kerja sistem informasi agar spesifikasi dan kapasitas lebih baik dan tingkat keamanan data lebih terjamin (NS a).
3) Sistem PERISAI digunakan untuk menampung dan mengolah data-data transaksi dari sistem- sistem yang ada di institusi, sehingga menampung data-data transaksi dari berbagai sistem menjadi satu tempat membutuhkan infrastruktur yang sangat memadai, seperti Server Storage (Penyimpanan), Application Server, dan lainnya (NS b).
Selanjutnya  dari  dokumentasi,  diketahui  bahwa  transformasi  digital  dalam  audit  internal lembaga  negara  XYZ    terkait  pengembangan  PERISAI  telah  masuk  dalam master  plan inovasi digital  dan Strategic  Business  Plan (SBP)  FAI  2020-2025.  Pengembangan  PERISAI  dilakukan dengan mengacu pada ketentuan internal lembaga terkait pengembangan sistem informasi. Adapun user  manual PERISAI  memberikan  informasi  yang  memudahkan  auditor  untuk  memahami menu/fitur dan struktur data dari query maupun analitik yang disediakan PERISAI. Adapun dari hasil observasi atas tampilan visual ( user interface ) PERISAI, diketahui terdapat 3 fitur yang tersedia dan telah dapat digunakan yaitu: 1) Dashboard yang menampilkan shortcut menu , dynamic  data berupa  data  dan  visualisasi  grafik  terkait alert atas  transaksi  tertentu;  2) Analitikal  yang  menampilkan  analisa  atau  indikator  CA  berdasarkan  hasil  pengolahan  data  dari beberapa query yang dapat menjadi informasi awal untuk didalami pada saat pelaksanaan audit; 3) Query yaitu fitur untuk melakukan unduh raw data transaksi dari aplikasi sumber yaitu ERP/HRIS.

## PEMBAHASAN
Berdasarkan  hasil  wawancara,  dokumentasi,  dan  hasil  observasi  atas  tampilan  visual  PERISAI, kesesuaian  langkah-langkah  yang  telah  dilakukan  FAI  dalam  mengadopsi  CA  dengan  langkah- langkah utama untuk mengimplementasikan CA berdasarkan GTAG 3 : Coordinating Continuous Auditing and Monitoring to Provide Continuous Assurance adalah sebagai berikut :
No. Key Steps to Implementing CA Langkah-langkah yang Dilakukan FAI dalam Mengimplementasikan CA Hasil Analisis 1. Menetapkan  Strategi CA, yang  mencakup strategi jangka panjang dan jangka pendek. FAI telah menetapkan strategi CA, yaitu : Strategi Jangka Panjang
Sesuai dengan Master Plan Inovasi Digital Lembaga Negara XYZ, aplikasi pendukung implementasi CA yaitu  PERISAI  akan  dikembangkan  dalam  Sistem Digitalisasi  Manajemen  Strategis  (DigiStrat)  yang merupakan  sistem  informasi  dari  4  (empat)  fungsi
Sesuai
No. Key Steps to Implementing CA Langkah-langkah yang Dilakukan FAI dalam Mengimplementasikan CA Hasil Analisis strategis  yang  mencakup  manajemen  kinerja, keuangan,  manajemen  risiko,  dan  audit.  Namun mengingat  DigiStrat masih  belum menjadi prioritas maka FAI mengembangkan aplikasi PERISAI sesuai dengan  SBP  FAI  sampai  saatnya  PERISAI  dilebur dalam  DigiStrat.  Sesuai  target  SBP,  di  tahun  2025, PERISAI akan dikembangkan untuk dapat berfungsi sebagai predictive analytics (NS A dan B).

## Strategi Jangka Pendek
Melakukan  pengembangan  PERISAI  yang  dapat menyediakan  kebutuhan  data  dan  data  analitik  atas data yang dihasilkan oleh sistem sumber, melakukan pengembangan back  end dan front  end berupa perluasan suplai data, pengembangan fitur, tampilan dan update user manual PERISAI (NS A dan B). a) Melakukan koordinasi dengan lini pertama dan lini kedua, guna mendapatkan dukungan dalam mengimplementasikan strategi  CA  yang  telah ditetapkan. FAI telah berkoordinasi dengan first line, yaitu: - Satuan kerja (Satker) pemilik proses bisnis terkait perolehan izin akses data
- Satker  Sistem  Informasi  terkait  teknis  akses  atau sharing data  atas  aplikasi  yang  sudah  disetujui satker  pemilik  proses  bisnis  untuk  secara  rutin diberikan  kepada  FAI,  serta  koordinasi  terkait penyediaan  infrastruktur  seperti server, database dan pembukaan akses jaringan.
Namun,  FAI  belum  berkoordinasi  dengan second line (Satker  yang  membawahi  Manajemen  Risiko) secara  khusus  terkait  pengembangan  CA  dan PERISAI. Koordinasi dengan second line dilakukan secara rutin dalam rangka penyampaian Risk Control Matrix (RCM) yang menjadi acuan dalam penetapan risiko  dan  pengendalian  yang  menjadi  objek  audit (NS A dan B). Belum Sesuai b) Menetapkan prioritas dan mendapatkan dukungan dari manajemen, dengan dukungan terpenting berupa pemberian akses  berkelanjutan  ke aplikasi dan data produksi. FAI  telah  menetapkan  prioritas  pengembangan PERISAI dalam SBP, yaitu : - Tahun  2020:  pengembangan  menu query,
analitikal dan dashboard PERISAI
- Tahun 2021: perluasan cakupan data dan analitik
- Tahun  2022-2023: automated  query  (scheduler)
dan peningkatan analitik serta fitur alert
- Tahun 2024-2025: pemantauan potensi kejadian risiko  secara  berkelanjutan,  terintegrasi,  efektif dan efisien.
FAI telah mendapatkan dukungan manajemen dalam pengembangan CA, yang tercermin dari keberadaan PERISAI  dalam  SBP  yang  disetujui  oleh  Pimpinan tertinggi  Lembaga,  pemberian  izin  dan  akses  data dari  aplikasi  sumber,  pemenuhan  kebutuhan  tenaga pengembang aplikasi baik pegawai dengan Perjanjian Kerja Waktu Tertentu maupun swakelola, disediakannya server tersendiri untuk PERISAI yang dikelola  oleh  FAI,  serta  penyediaan  anggaran
Sesuai
No. Key Steps to Implementing CA Langkah-langkah yang Dilakukan FAI dalam Mengimplementasikan CA Hasil Analisis pengembangan (NS A dan B). c) Menyesuaikan rencana  audit  untuk menentukan  ongoing indicator, sehingga analitik yang dilakukan pada  saat  pelaksanaan audit dapat dimanfaatkan untuk merancang  spesifikasi untuk  indikator  risiko dan pengendalian berkelanjutan FAI  telah  menyesuaikan  rencana  audit  untuk menentukan ongoing indicator , yaitu:
Rencana Audit Tahunan FAI berbasis risiko dengan prioritas  audit  sejalan  dengan  mandat  utama  dan PERISAI  merupakan  pendukung  pelaksanaan  audit yang  akan  terus  dikembangkan  pada  skenario analisis yang fokus pada transaksi keuangan (NS A). Pengembangan indikator pada PERISAI pada saat ini lebih  kepada  kebutuhan  dari  jenis  audit Internal Control over Financial Reporting (ICoFR) dan audit pengadaan  yang  setiap  tahun  masuk  dalam  rencana audit tahunan FAI. Dari hasil audit tersebut auditor dapat  menyampaikan  skenario  analisis  yang  dapat dikembangkan  kepada  tim  Pengembang  PERISAI (NS B). Sesuai 2. Memperoleh Data untuk Penggunaan Rutin, dengan mempertimbangkan teknologi dan kemampuan  yang  ada dalam  portofolio  TI  di organisasi FAI telah memperoleh data untuk penggunaan rutin, sesuai penjelasan berikut: Pengembangan  sistem  informasi  (SI)  di  Lembaga Negara XYZ dilakukan melalui satu pintu, sehingga penyediaan infrastruktur dilakukan oleh satuan kerja yang  membawahkan  SI  dan  tentunya  telah disesuaikan  dengan  kebutuhan,  portofolio  TI,  dan ketentuan di internal lembaga (NB).
Sesuai a) Akses rutin ke lingkungan produksi, yang  tidak  berdampak buruk terhadap operasional serta memenuhi standar privasi dan security FAI  telah  menperoleh  akses database yang  sudah diperoleh  secara  rutin  di  lingkungan  produksi PERISAI  yaitu database dari  aplikasi  ERP/HRIS mulai dari data anggaran, data transaksi, data kontrak pengadaan,  data Purchase  Order ,  data  perpajakan, dan data pembayaran (NS A dan B).
Teknis  pemberian  akses  dikoordinasikan  dengan Satker SI agar tidak berdampak pada aplikasi sumber dan tetap aman (NS a) Sesuai b) Mengembangkan kemampuan  analisis, keterampilan dan pengetahuan teknis audit, a.l  kemampuan analisa data dan IT FAI  telah  melakukan  pengembangan  kemampuan data  analytics ,  audit,  dan  teknologi  informasi  yang dilakukan  melalui  pelatihan  secara In  House Training (IHT)  di  internal  organisasi  maupun melalui pelatihan eksternal (NS A dan B). Sesuai c) Menilai keandalan sumber data, dilakukan di awal implementasi dan diperlukan untuk mengurangi risiko audit FAI telah menilai keandalan sumber data, yaitu:
Asesmen  keandalan  sumber  data  merupakan  fase pada  pengujian  data  yang  dilakukan  sebelum  data diimplementasikan.  Data  diuji  terlebih  dahulu  oleh pengembang  PERISAI  kemudian  divalidasi  oleh users dhi auditor internal (NS B).
Pengujian data biasanya dilakukan dengan membandingkan field yang  sama  antara  output PERISAI dengan output report dari aplikasi source (NS A) Sesuai
No. Key Steps to Implementing CA Langkah-langkah yang Dilakukan FAI dalam Mengimplementasikan CA Hasil Analisis d) Menyiapkan dan memvalidasi data , harus  dilakukan  untuk memastikan  integritas data  sebelum  analisis dilakukan. FAI  telah  menyiapkan  dan  memvalidasi  data  yang masuk dalam PERISAI, dengan penjelasan berikut: Proses  penyiapan/perolehan  data  Sistem  PERISAI menggunakan  proses interfacing yaitu  proses pengambilan  data  transaksi  dari  sistem  ERP/HRIS yang  dikirim  ke  sistem  PERISAI  yang  terdiri  dari aplikasi interface ,  database,  dan  aplikasi  PERISAI.
Proses validasi dilakukan berdasarkan feedback dari
users yang melakukan request kebutuhan pada  saat pengujian dan evaluasi yang dilakukan setelah proses penambahan data atau analisis (NS a dan b) Sesuai 3. Membangun Indikator  -  Indikator CA, yang dapat dihubungkan dengan indikator  risiko  dan desain  analisis  untuk mengukur  peningkatan tingkat  risiko  ( ongoing risk  assessment ),  serta menghubungkannya dengan pengendalian untuk mengevaluasi kondisi dasar dan perubahan pengendalian  ( ongoing control assessment )
FAI  membangun  indikator  CA/skenario  analisis, dengan proses berikut: 1) Requirement gathering; 2) Menyusun  desain  sesuai  kebutuhan users ;  3) Melakukan  pengembangan  sesuai  desain;  4) Melakukan User Acceptance Test (NS B).
Berdasarkan user  manual PERISAI  dan  hasil observasi pada menu analitik dan dashboard , kriteria outlier atau threshold indikator CA yang digunakan untuk  mengukur  ketidaksesuaian  suatu  aktivitas menggunakan  kriteria  sesuai  ketentuan  internal  dan ditampilkan  berdasarkan  proses  atau  subproses bisnis. Hasil dari skenario analisis tersebut di dalam aplikasi  PERISAI  belum  dihubungkan  dengan Ongoing  Risk  Assessment dan Ongoing  Control Assessment yang  tercantum  dalam Risk  Control Matrix (RCM)  yang  dikelola  oleh second  line ataupun  dengan  risiko  yang  diidentifikasi  oleh auditor . Pengembangan  CA  di  FAI  secara  desain tidak  untuk  diimplementasikan  secara  penuh  sesuai dengan GTAG 3 (NS A, 2023). Hal ini masih sesuai dengan  dengan  peran  audit  internal  terkait  dengan manajemen  risiko  yang  disampaikan  dalam  IIA Position  Paper : The  Role  of  Internal  Auditing  in
Enterprise-wide  Risk  Management ,  keputusan  FAI untuk  membatasi  peran   memfasilitasi ongoing  risk and control assessment . Belum sesuai 4. Melaporkan dan Mengelola Hasil, dapat  berupa  grafik perbandingan  dan  tren hingga  visualisasi  data risiko dan pengendalian. Berdasarkan user  manual PERISAI  dan  hasil observasi, FAI telah memiliki konsep pelaporan dan pengelolaan hasil CA antara lain yang tersedia dalam menu  analitik  dan dashboard  report .  Adapun pelaporan dan pengelolaan hasil dengan menggunakan alert dan dashboard dengan Power BI masih dalam proses pengembangan. Sesuai a) Penetapan metodologi yang  dapat  diulang, harus dapat memastikan data anomali teridentifikasi. Berdasarkan user  manual PERISAI  dan  hasil observasi, skenario analisis yang dapat diulang telah ditetapkan  serta  masuk  dalam  menu  analitikal  dan dashboard, misalnya analitik ketidaksesuaian daftar aset  tetap,  ketidaksesuaian pembebanan  biaya kesehatan,  ketidaksesuaian Purchase  Order dengan kontrak. Sesuai
No. Key Steps to Implementing CA Langkah-langkah yang Dilakukan FAI dalam Mengimplementasikan CA Hasil Analisis b) Melaporkan hasil, dan hasil CA sebaiknya  dikirimkan melalui website dibanding mengirim file  yang  besar  dan sensitif melalui email Berdasarkan user  manual PERISAI  dan  hasil observasi,  hasil  CA  dapat  dilihat  langsung  pada PERISAI  melalui  menu analitikal dan dashboard. Terdapat  2 jenis dashboard yaitu dashboard report yang sudah dapat digunakan dan dashboard berupa data visualisasi Power BI yang masih dalam proses pengembangan. Sesuai c) Pelaporan untuk memfasilitasi tindakan manajemen Setiap  rencana  tindak lanjut  harus  ada  pihak yang bertanggung jawab  untuk  remediasi hingga resolusi. FAI  telah  memiliki  desain  pelaporan  untuk memfasilitasi tindakan manajemen, sesuai penjelasan berikut:
Saat  ini  PERISAI  sedang  dikembangkan  fitur  baru yaitu alert notifikasi yang didesain untuk mengirim indikasi  data  anomali  kepada  auditor  internal  yang ditetapkan  guna  melakukan  rencana  aksi  atas  hasil CA  dengan  mengkonfirmasi  data  anomali  tersebut kepada auditee terkait  dan  memonitor  tindak  lanjut apabila terdapat tindakan yang harus dilakukan auditi terkait  (NS  a,  2023).  Berdasarkan  hasil  observasi,
alert /notifikasi  telah  terdapat  di  PERISAI  namun belum  dapat  diakses  karena  masih  dalam  proses pengujian. Sesuai d) Menyelaraskan dengan continuous monitoring dan melakukan penyesuaian atas strategi CA, a.l dengan menambahkan pengendalian, eksposur risiko  dan  indikator yang pemantauannya dapat dialihkan ke continuous monitoring .
Ke  depan  skenario  analitik  juga  idealnya  dapat diperluas  secara big  data mencakup  data  non transaksional  baik  dari  internal  maupun  eksternal dengan  memperhatikan  perubahan  eksposur  risiko dan lingkungan pengendalian (NS A).
Continuous  monitoring pada  Lembaga  XYZ dilakukan pada menu Internal Control Officer (ICO) yang  merupakan  bagian  ( embedded )  dari  aplikasi ERP/HRIS  (NS  B).  Berdasarkan user  manual dan observasi, diketahui bahwa akses pengguna PERISAI  masih  terbatas  yaitu  diberikan  hanya kepada  auditor  internal  FAI,  dan  PERISAI  tidak terhubung  dengan  sistem continuous  monitoring (CM) yang digunakan oleh satker operasional.
Belum sesuai
Sumber : Peneliti, diolah berdasarkan hasil wawancara, dokumentasi, dan observasi.
Dari  hasil  analisis  tersebut  dapat  disimpulkan  bahwa  langkah-langkah  yang  dilakukan  FAI untuk  mengimplementasikan  CA  belum  sepenuhnya  sesuai  dengan  GTAG  3  ( 2 nd edition )  yaitu belum dilakukannya koordinasi dengan second line , belum menghubungkan indikator CA dengan ongoing  risk  and  control  assessment sehingga  tidak  dapat  menyimpulkan  apakah  setelah dilakukannya monitoring atas indikator CA tersebut terdapat penurunan tingkat risiko dan belum dapat  digunakan    untuk  menilai  efektivitas  pengendalian  eksisting.  Selain  itu,  CA  dan  CM  di lembaga negara XYZ belum terintegrasi dalam satu platform dan akses CA yaitu aplikasi PERISAI belum  diberikan  kepada Internal  Control  Officer (ICO)  di  satker  operasional.  Untuk mengoptimalkan CA dan aplikasi PERISAI, FAI perlu berkoordinasi dengan second line terkait dengan  integrasi  manajemen  risiko  dan  CA,  serta  mempertimbangkan  untuk  memberikan  akses aplikasi  PERISAI  kepada  ICO  di  satker  operasional  untuk  indikator  CA  yang  sudah  tervalidasi akurasinya.
Berdasarkan jawaban wawancara atas closed ended question terkait dengan analisis kesuksesan aplikasi PERISAI kepada 6 orang pengguna aplikasi PERISAI, dilakukan pembobotan berdasarkan
Tabel  2  dan  dilakukan  perhitungan  nilai  rata-rata  ( mean/average )  dengan  hasil  sebagaimana Lampiran  1  Perhitungan  Pembobotan  dan Mean Menurut  Pengguna  atas  Kesuksesan  Aplikasi PERISAI.  Berdasarkan  total  rata-rata  dari  masing-masing  dimensi  dilakukan  interpretasi kesimpulan berdasarkan Tabel 3. Kriteria Analisis Rentang Nilai, dengan hasil perhitungan mean dan kesimpulan kesuksesan aplikasi PERISAI dari perspektif pengguna sebagaimana Tabel 4.
Tabel 4. Kesimpulan dari Kesuksesan Aplikasi PERISAI Dimensi DeLone and McLean ISS Model Mean Kesimpulan System Quality 4,06 Sukses Information Quality 4,00 Sukses Service Quality 4,12 Sukses Use/Intention to Use 4,20 Sangat Sukses User Satisfactionn 4,13 Sukses Net Benefit 4,19 Sukses Rata-rata 4,12 Sukses
Sumber : Peneliti
Dari  perhitungan  tersebut  disimpulkan  bahwa  PERISAI  dinilai  sukses  oleh  para  pengguna  dan dinilai telah memberikan manfaat bagi auditor dan FAI.
Berdasarkan  hasil  wawancara  kepada  6  orang  pengguna  PERISAI  diketahui  bahwa  seluruh narasumber menilai bahwa dimensi utama yang berpengaruh secara signifikan terhadap kesuksesan PERISAI  dan  mendorong  untuk  tetap  menggunakan  aplikasi  tersebut  adalah  kualitas  informasi yang dihasilkan, sehingga diharapkan untuk dapat terus diperluas baik dari data dan indikator CA atau  skenario  analitik  yang  disediakan.  Adapun  kendala  yang  dihadapi  pengguna  pada  saat menggunakan aplikasi PERISAI adalah sebagai berikut :
1. Pada  dimensi system  quality, terdapat  kendala  penarikan  data  dengan  kapasitas  besar  dan adanya data atau reports yang belum dapat diakses karena migrasi sistem sumber, yaitu :
Penarikan data yang terbatas (NS 1).
Proses penarikan data yang lama untuk data dengan kapasitas besar (NS 2). Beberapa fungsi dalam PERISAI masih belum dapat diakses dikarenakan perubahan sumber data dan formulasi koding belum memfasilitasi peralihan dari sumber data lama ke sumber data yang baru (NS 6).
2. Pada dimensi information quality, terdapat data yang tidak terkini, kurang lengkap, dan format yang berbeda dengan aplikasi sumber, yaitu :
Masih ditemukan data yang tidak terkini dan hasil analytical yang dihasilkan oleh sistem tidak sesuai dengan premis yang disusun sebelumnya (NS 1).
Adanya data yang tidak lengkap ditarik dalam hal data yang diinginkan relatif besar (NS 2). Beberapa kali pernah tidak menemukan data yang diinginkan (NS 4). Data kurang lengkap dan bentuk report yang berbeda dengan report aplikasi sumber (NS 5).
3. Pada dimensi service quality, sesuai informasi dari NS 3 dan NS 4 tidak terdapat permasalahan yang berarti.

## KESIMPULAN
Berdasarkan hasil analisis dapat disimpulkan bahwa FAI belum melakukan koordinasi dengan second line ,  belum  menghubungkan indikator  CA  dengan ongoing  risk  and  control  assessment , serta belum menyelaraskan CA dan CM. Adapun aplikasi PERISAI sebagai tool implementasi CA dinilai sukses oleh auditor internal FAI yang tercermin dari nilai mean di atas 4,00 untuk masing- masing  dimensi  dalam DeLone  and  McLean  ISS  Model ,  dan  kualitas  informasi  dinilai  paling berpangaruh terhadap keinginan untuk terus menggunakan aplikasi pendukung implementasi CA.
Penelitian selanjutnya dapat memperluas metode seperti survei kuesioner dan dilakukan pada entitas lain yang memiliki core business di bidang audit misalnya implementasi CA di Lembaga Negara seperti Badan Pemeriksa Keuangan Republik Indonesia, Badan Pengawasan Keuangan dan Pembangunan, atau di sektor swasta seperti Kantor Akuntan Publik.

## REFERENSI
Afsay,  A.,  Tahriri,  A.,  &  Rezaee,  Z.  (2023).  A  meta-analysis  of  factors  affecting  acceptance  of information  technology  in  auditing. International  Journal  of  Accounting  Information Systems . doi: https://doi.org/10.1016/j.accinf.2022.100608
Akrong, G. B., Shao, Y., & Owusu, E. (2022, September 1). Development and validation of an improved DeLone and McLean IS success model - application to the evaluation of a tax administration  ERP. International  Journal  of  Accounting  Information  Systems .  doi: https://doi.org/10.1016/j.accinf.2022.100579
Albuainain,  M.  A.  (2022).  How  digital  communication  provides  better  government  services:
Assessing the Tawasul
System in Bahrain. Cities . doi:
https://doi.org/10/1016/j.cities.2022.103790
Alles, M., Brennan, G., Kogan, A., & Vasarhelyi, M. A. (2006). Continuous monitoring of business process  controls:  A  pilot  implementation  of  a  continuous  auditing  system  at  Siemens. International
Journal of
Accounting
Information Systems , 137–161.
doi:10.1016/j.accinf.2005.10.004
Aslan, İ. (2018). The Innovative Role of SocialMedia in Healthcare. (F. Bakırcı, T. Heupel, O. Kocagöz,  &  Ü.  Özen,  Eds.) FOMHochschule  für  Oekonomie  &  Management. doi: https://doi.org/10.1007/978-3-658-16962-6
Barros,  C.,  &  Marques,  R.  P.  (2022).  Continuous  Assurance  for  the  Digital  Transformation  of Internal Auditing. Journal of Information Systems Engineering and Management (7 (1)). doi: https://doi.org/10.55267/iadt.07.11681
Bradley C. Ames, R. D., Robertson, A., & Rai, S. (2015, Maret). Global Technology Audit Guide (GTAG)  3:  Coordinating  Continuous  Auditing  and  Monitoring  to  Provide  Continuous Assurance. second  edition .  The  Institute  of  Internal  Auditors.  Retrieved  from https://www.theiia.org/en/content/guidance/recommended/supplemental/gtags/gtag- continuous-auditing/
Coddere, D. (2005). Global Technology Audit Guide (GTAG): Continuous Auditing : Implications for Assurance, Monitoring, and Risk Assessment. The Institute of Internal Auditors. doi: https://www.qcpa.org.qa/assets/uploads/documents/library/1563184783.pdf
DeLone, W. H., & McLean, E. R. (2002). Information Systems Success Revisited. The 35th Hawaii International Conference on System Science. IEEE.
DeLone,  W.,  &  McLean,  E.  (2003).  The  DeLone  and  McLean  Model  of  Information  Systems Success: A Ten-Year Update. Journal of Management Information Systems, 19(4) (April),
9-30. doi: https://doi.org/10.1080/07421222.2003.11045748
Ditkaew, K. (2022). The impact of audit data analytics on audit quality and audit review continuity in  Thailand. Asian  Journal  of  Accounting  Research ,  2443-4175.  doi:10.1108/AJAR-04- 2022-0114
Elmunsyah, H., Nafalski, A., Wibawa, A. P., & Dwiyanto, F. A. (2023). Understanding the Impact of a Learning Management System Using a Novel Modified DeLone and McLean Model. Education Sciences MDPI . doi: https://doi.org/10.3390/educsci13030235
Federicco,  T.  Y.,  &  Tandiono,  R.  (2023).  An  Exploratory  Study  of  the  Familiarity  and  the Perceptions  of  Continuous Auditing  Technology  in  Indonesia. E3S Web  of  Conferences 388, 03005 (2023). doi: https://doi.org/10.1051/e3sconf/202338803005
Hassan,  A.,  Salleh,  N.,  Ismail,  M.  N.,  &  Ahmad,  M.  N.  (2023,  2).  Empirical  evaluation  of continuous auditing system use: a systematic review. International Journal of Electrical and Computer Engineering (IJECE) , 796~808. doi:10.11591/ijece.v13i1.pp796-808
KPMG.  (2012).  Transforming  Internal  Audit:  A  Maturity  Model  from  Data  Analytics  to Continuous Assurance. 13. KPMG.ch.
Lamboglia, R., Lavorato, D., Scornavacca, E., & Za, S. (2021). Exploring the relationship between audit  and  technology.  A  bibliometric  analysis. Meditari  Accountancy  Research ,  1233- 1260. doi:DOI 10.1108/MEDAR-03-2020-0836
Liu,  Y.  L.,  Hu,  B.,  Yan,  W.,  &  Lin,  Z.  (2023).  Can  chatbots  satisfy  me  ?  A  mixed  method comparative  study  of  satisfaction  with  task-oriented  chatbots  in  mainland  China  and Hongkong. Computer in Human Behavior . doi: https://doi.org/10.1016/j.chb.2023.107716
Lois, P., Drogalas, G., Karagiorgos, A., & Tsikalakis, K. (2020). Internal audits in the digital era: opportunities  risks  and  challenges. EuroMed  Journal  of  Business ,  205-217.  doi: https://doi.org/10.1108/EMJB-07-2019-0097
Manita,  R.,  Elommal,  N.,  Baudier,  P.,  &  Hikkerova,  L.  (2020).  The  Digital  Transformation  of External Audit and Its Impact on Corporate. Technological Forecasting & Social Change.
Technological Forecasting and Social Change . doi:
https://doi.org/10.1016/j.techfore.2019.119751
Mazadu, U. H., Ibrahim, M. M., Ibrahim, A. S., & Mansur, M. S. (2022, Agustus 18). Examining the  instructur  management  benefit  of  student  information  system:  An  empirical investigation.
Social Sciences & Humanities Open, 6 . doi:
https://doi.org/10.1016/j.ssaho.2022.100322
Muqtadiroh,  F.  A.,  Nisafani,  A.  S.,  &  Regina  Mia  Saraswati,  A.  H.  (2019).  Analysis  of  User Resistance Towards Adopting E-Learning. Procedia Computer Science, 161 , 123-132. doi: https://doi.org/10.1016/j.procs.2019.11.107
Polizzi,  S.,  &  Scannella,  E.  (2023).  Continuous  auditing  in  public  sector  and  central  banks:  a framework  to  tackle  implementation  challenges. Journal  of  Financial  Regulation  and Compliance . doi:DOI 10.1108/JFRC-02-2022-0011
Priantara,  D.  (2017,  Maret  15). Meningkatkan  Value  Audit  Intern .  Retrieved  12  10,  2022,  from https://iia-indonesia.org/meningkatkan-value-audit-intern
Richardson,  V.  J.,  Teeter,  R.  A.,  &  Terrel,  K.  L.  (2021). Data  Analytics  for  Accounting,  third edition. New York: McGrawHill LLC.
Saunders, M. N., Lewis, P., & Thornhill, A. (2019). Research Methods for Business Students, Eight Edition. Pearson Education Limited.
Sekaran, U., & Bougie, R. (2020). Research Methods for Business : A Skill Building Approach, Eight Edition. Wiley.
Sözen, E., & Güven, U. (2019). The Effect of Online Assessments on Students’ Attitudes Towards Undergraduate-Level Geography Courses. International Education Studies, 12 . doi:DOI: 10.5539/ies.v12n10p1
Turban, E., Pollard, C., & Wood, G. (2021). Information Technology for Management: Driving Digital  Transformation  ton  Enhance  Local  and  Global  Performance,  Growth  and Sustainability, Twelf Edition. Wiley.
Urbach, N., & Miller, B. (2011). The Updated DeLone and McLean Model of Information Systems Success. In Informations System Theory:Explaining and Predicting Our Digital Society. Germany: Springer Science. doi:10.1007/978-1-4419-6108-2_1
Vasarhelyi,  M.  A.,  Alles,  M.,  &  Williams,  K.  T.  (2010). Continuous  Assurance  for  the  Now Economy. Institute of Chartered Accountants Australia.
Vasarhelyi, M. A., Alles, M., Kuenkaikaew, S., & Littley, J. (2012). The acceptance and adoption of  continuous  auditing  by  internal  auditors:  A  micro  analysis. International  Journal  of Accounting, 13 , 267–281. doi:10.1016/j.accinf.2012.06.011
Wang, C., Wang, D., Deng, X., & Wang, S. (2023, May 22). Research on the Impact of Enterprise Digital Transformation on Internal Control. mdpi . doi: https://doi.org/10.3390/su15108392