Jurnal Sistem Informasi, Teknologi Informasi, dan Edukasi Sistem Informasi (JUST-SI) Vol. 4, No. 1, Agustus 2023, hlm. 11-18
Kapan Evaluasi Sebuah Artefak Sistem Informasi Dianggap Cukup?

## Perspektif Design Science Research
Dedi Inan *1
1 Universitas Papua, Manokwari
Email: 1 d.inan@unipa.ac.id
* Penulis Korespondensi
(Naskah masuk: 25 Agustus 2022, diterima untuk diterbitkan: 04 Desember 2022)

## Abstrak
Dalam  riset  pengembangan  sistem  informasi,  hal  terpenting  dari  prosesnya  sesungguhnya berada pada tahapan evaluasinya.  Hal ini karena evaluasi dimaksudkan untuk (1) mengukur seberapa baik efikasi dan efektivitas keluaran riset terhadap masalah yang ingin diselesaikan (2)  melihat  seberapa  ketat  dan  tangguh  proses  pengembangan  sistem  tersebut,  dan  (3) menggaransi  bahwa  artefak  sistem  informasi  yang  dihasilkan:  model,  metod,  konstruk  atau bahkan  yang  dituangkan  dalam  sebuah  prototipe,  memiliki  kontribusi  pada  domain pengetahuan  masalah  yang  dikemukakan.  Untuk  bisa  mencapai  hal  ini,  sering  sekali  proses evaluasi perlu dilakukan secara iteratif. Pertanyaan logis yang muncul kemudian adalah, kapan evaluasi  itu  dianggap  cukup?  Dalam  tulisan  ini,  penulis  memanfaatan  metodologi Design Science  Research (DSR)  dalam  bidang Information  Systems (IS)  untuk  menjustifikasi pertanyaan tersebut. Secara alamiah, karena DSR menuntut adanya artefak IS yang dihasilkan sebagai  solusi  inovatif  untuk  persoalan  yang  dikemukakan  maka  metodologi  tersebut dipandang  paling  representatif  dalam  konteks  ini.  Beberapa  contoh  diberikan  untuk memudahkan pemahaman terkait jawaban atas pertanyaan yang dikemukakan.
Kata  kunci : Design  Science  Research  (DSR),  Evaluasi  iteratif  ,  Inovasi,  Kontribusi  pengetahuan, Information Systems, Design Science

## WHEN EVALUATION OF AN INFORAMTION SYSTEM ARTEAFT IS ENOUGH? DESIGN SCIENCE RESEARCH PERSPECTIVE

## Abstract
The most crucial part of information system development lies in the evaluation stage. This is because evaluation aims to (1) measure how well the effectiveness and efficacy of the research output relative to the problem intended to address, (2) ensure that it is rigorously and robustly developed, and (3) guarantee that the developed artefacts, be it model, method, or construct that might turn into an instantiation, generate a knowledge contribution to its domain problem. To  allow  this  to  happen,  most  of the  time,  its  process  is  iteratively  undertaken.  The  logical consequence raised from this is that when is evaluation considered sufficient? In this piece, the author employs the Design Science Research (DSR) methodology of Information System (IS) to address this particular question. By nature, as DSR demands the presence of the produced IS artefact as an innovative solution to the issue discussed, the framework is seen as the most representative methodology in this context. Some examples are given to ease the understanding of the issues raised.
12 Jurnal Sistem Informasi, Teknologi Informasi, an Edukasi Sistem Informasi (JUST-SI) ,Vol.4, No.1,Agustus 2023,hlm. 11-18
Keywords : Design Science Research (DSR), Iterative evaluation, Innovation, Knowledge contribution, Information Systems, Design Science

## 1 PENDAHULUAN
Dari sekian banyak keprihatinan dalam pengembangan Sistem Informasi (SI) salah satunya adalah  bahwa  hal  tersebut  yang  seharusnya  mendorong  individu,  komunitas  atau  organisasi untuk bekerja lebih baik, namun kenyataannya tidak selalu demikian (Ram & Sheth, 1989). Kenyataannya,  pengguna  SI,  baik  individu,  grup  maupun  organisasi  memandang  bahwa  hal tersebut,  alih  –  alih  membantu  menyelesaikan  masalah,  kenyataannya  malah  menyusahkan, terlepas dari adopsi sebuah inovasi menuntut penggunanya juga berubah (Davis, 1989; Rogers, 1983). Penulis merasa cukup beruntung dapat melihat dari dekat berbagai isu ini dengan terlibat dalam pengembangan SI pada berbagai sektor publik sebagai peneliti dan juga praktisi.
Sesungguhnya, isu terkait dengan tidak optimalnya pemanfaatan SI pada tingkat organisasi dan/atau  individu  telah  banyak  dibahas  dalam  berbagai  literatur Information  Systems (IS) (Wendt et al., 2021; Venkatesh et al., 2003; DePietro et al., 1990; Davis, 1989) . Dari berbagai pengamatan praktis dan literatur dapat disimpulkan bahwa dari banyaknya kegagalan adopsi dan/atau pengembangan SI, penyebab utamanya adalah karena secara bersama – sama, pihak yang berkepentingan dalam pengembangan dan penggunaan sistem tersebut sedari awal tidak dapat  dengan  jelas  menunjukan  secara  tepat  bagaimana,  di  bagian  mana  dan  dalam  hal  apa inovasi teknologi yang dikembangkan tersebut digunakan untuk menyelesaikan permasalahan yang  dihadapi  oleh  organisasi.  Dengan  kata  lain,  inovasi  dalam  bidang  SI  cenderung  gagal (Ram & Sheth, 1989; Rogers, 1983).
Karena itu, mengenali berbagai isu ini sedari awal secara holistik dan menyeluruh sangat penting  bagi  organisasi  yang  berinisiatif untuk  berinovasi  dengan  memanfaatkan  sebuah  SI. Secara umum, ketidakoptimalan pemanfaatan SI sangat erat kaitannya dengan evaluasi sistem yang  dikembangkan  secara  ketat  ( robust )  dan  teliti  ( rigorous ).  Yaitu  bahwa  apakah  sistem tersebut  dapat  menjawab  tujuan  awal  pengembangannya,  misalnya  bermanfaat  dalam meningkatkan  efisiensi  dan  efektivitas  proses  yang  ada  saat  ini,  memperbaiki  proses akuntabilitas dan transparansi, menghasilkan nilai tambah dalam organisasi atas penggunaan sistem ini dan seterusnya.
Penting untuk diingat bahwa adopsi SI dalam sebuah organisasi tidak dimaksudkan untuk mengubah secara mendasar proses bisnis yang ada. Namun pemanfaatan teknologi adalah lebih kepada mengkomplemen ( enabler ) proses yang ada agar dapat berjalan dengan lebih baik dan menciptakan  nilai  tambah  (Venkatesh et  al. ,  2003).  Hal  ini  sesuai  dengan  sifat  alami  dari kehadiran SI itu sendiri. Dengan kata lain, tanpa inovasi SI-pun sesungguhnya proses bisnis yang  ada  dalam  sebuah  organisasi  dapat  berjalan.  Namun  seiring  berjalannya  waktu  yang diikuti oleh meningkatnya tantangan yang dihadapi organisasi, kebutuhan untuk bekerja lebih efisien adalah hal yang sangat krusial . Oleh karena inovasi SI dimaksudkan untuk menjawab berbagai isu tersebut.
Sebagai contoh, di masa awal pendiriannya, GO-JEK-pun menggunakan telepon rumahan untuk menghubungkan para pengguna dengan mitra pengemudinya (Almunawar et al. , 2020). Namun  seiring  dengan  meningkatnya  permintaan  layanannya,  tuntutan  untuk  bekerja  lebih cepat  dan  tepat  mendorong  dikembangkannya mobile-based GO-JEK.  Namun  hal  ini  tidak berarti bahwa dengan kehadiran aplikasi tersebut membuat layanan GO-JEK secara otomatis akan diadopsi/diterima secara luas. Faktanya, sampai saat ini, rasio adopsinya masih menjadi sebuah tantangan tersendiri (Inan et al. , 2022b). Salah satu contohnya adalah yang dilakukan penulis bersama beberapa kolega terkait hal ini di sini (Inan et al. , 2022b). Tentu saja masih banyak  penelitian  sejenis  lainya  terkait  memahami  faktor  kesuksesan  adopsi  teknologi, misalnya dalam bidang m-banking (Inan et al. , 2021) dan m-payment (Putri et al. , 2022).
Diperlukan berbagai evaluasi yang terus – menerus dilakukan dengan berbagai pendekatan untuk  mengakselerasi  adopsinya  dan  keberhasilannya,  misalnya  apakah  SI  tersebut dikembangkan  berdasarkan  analisis  terhadap  masalah  yang  dihadapi?  Apakah  proses pengembangannya  telah  sungguh  –  sungguh  memperhatikan  berbagai  persoalan  inter-relasi antara pengguna individu-organisasi dan teknologi tersebut? Apakah proses pengembangannya telah  mengikuti  berbagai  kaidah  –  kaidah  ilmiah  pengembangan  sistem?  Bagaimana kemudahan  penggunaannya?  Apakah  pengguna  merasakah  manfaat  dan  nilai  tambah  yang sungguh – sungguh dalam menggunakan aplikasi tersebut? Apa saja faktor penghambatnya? Faktor apa yang diperlukan agar adopsi teknologi tersebut sukses? Bagaimana mengevaluasi berbagai jawaban dari semua pertanyaan tersebut? dan seterusnya.
Berbagai pertanyaan di atas mengindikasikan bahwa diperlukan investigasi  yang terus  - menerus pada sebuah artefak SI yang dihasilkan. Secara spesifik, pertanyaannya adalah “ kapan evaluasi  sebuah  artefak  SI  dianggap  cukup  atau  dinyatakan  telah  menjawab  pertanyaaan tujuan pengembangannya ?” Dalam konteks inilah naskah ini ditulis. Metodologi Design Science Research (DSR) dalam bidang IS (Goes, 2014; Hevner et al. , 2004) digunakan untuk menjawab pertanyaan ini. Hal ini karena DSR dalam IS mensyaratkan adanya artefak TIK yang dihasilkan/dikembangkan ( build ) sebagai sebuah solusi inovatif yang dapat  berkontribusi  secara  nyata  dalam  menyelesaikan  persoalan  yang  diformulasikan sebelumnya.  Selanjutnya  proses  evaluasi  ( evaluate )  harus  menjadi  hal  berikutnya  yang dilakukan  setelah  proses  pengembangan  artefak  tersebut.  Proses  evaluasinya  dimaksudkan untuk  menjelaskan  impak  dari  inovasi  SI  terhadap  individu,  kelompok atau  organisasi  yang menggunakannya (Gregor & Hevner, 2013). Tujuannya untuk keselarasan pemanfaatannya dan rencana peruntukannya.

## 2 DESIGN SCIENCE VS DESIGN SCIENCE RESEARCH
Penulis  ingin  tetap  menggunakan  istilah  DSR  untuk  menjelaskan  metodologi Design Science Research (DSR) dan bidang Information Systems (IS). Hal ini semata – mata karena walaupun metodologi DSR adalah merupakan sebuah paradigma baku dalam bidang riset IS (Rai, 2017; March & Storey, 2008), namun di Indonesia sendiri, penggunaannya belum cukup populer. Karena itu jika istilah ini di-Indonesia-kan, misalnya menjadi “Penelitian/Riset Ilmu Desain”,  konotasinya  akan  cenderung  berfokus  pada  ilmu  desain,  yang  lebih  berfokus  pada bidang rekayasa ( engineering ). Lagipula, pencarian di internet dengan kata kunci tersebut tidak akan membawa kita ke mana – mana.
Sesungguhnya Design Science dan Design Science Research adalah dua hal yang, walau mempunyai  akar  yang  sama  (Iivari  &  Venable,  2009),  relatif  berbeda  (Gregor,  2006). Berbedaannya  terletak  pada  tuntutan  kontribusi  keduanya  pada  domain  pengetahuan ( contribution  to  knowledge ). Design  science terkait  dengan  ilmu  desain  secara  rutin menggunakan pengetahuan yang ada ( existing knowledge ) (Chatterjee, 2015). Sementara DSR menuntut  adanya  kontribusi  baru,  baik  itu  penemuan  baru  ( invention )  atau  perbaikan ( improvement/exaptation )  (Gregor  &  Hevner,  2013)  dalam  menyelesaikan  persoalan  yang dikemukakan. Jenis – jenis kontribusi pada pengetahuan ini sebagaimana yang digambarkan pada Gambar 1.
Dengan  kata  lain,  jika  sebuah  desain  dibangun  untuk  menyelesaikan  persoalan  dengan menggunakan berbagai metode yang sudah ada ( existing method ) maka hal tersebut dianggap sebagai  sebuah routine  design yang  tidak  berkontribusi  dalam  domain  keilmuan.  Dan sebaliknya, jika dalam desain tersebut memunculkan sebuah cara baru dalam bentuk konstruk, model atau metode yang dituangkan dalam bentuk sebuah desain ( instantiation ) maka desain tersebut memiliki kontribusi pada domain pengetahuan. Penjelasan detail terkait hal ini dapat dilihat pada (Gregor & Hevner, 2013). Secara singkat dapat dikatakan bahwa kontribusi yang dapat diukur pada domain pengetahuanlah yang membedakan antara DSR dan routine design .
Gambar 1. Matriks untuk menilai kontribusi terhadap domain pengetahuan, diadaptasi dari (Gregor & Hevner, 2013).
Yang  juga  perlu  ditekankan  dalam  naskah  ini  adalah  membedakan  apa  yang  dimaksud dengan Sistem Informasi (SI) sebagai sebuah aplikasi, misalnya SI Akademik, SI Perpustakaan, SI  PeduliLindungi  dengan Information  Systems (IS)  sebagai  sebuah  paradigma  atau  sebuah cabang ilmu dalam bidang ilmu komputer  (Struijk et al., 2021). Dalam DSR, SI  Akademik, misalnya,  dianggap  merupakan  sebuah  produk  desain  rutin  ( routine  design )  biasa  saja  yang memanfaatkan pengetahuan pengembangan sistem yang sudah ada ( existing knowledge base ). Pengembangan SI Akademik dapat dianggap mempunyai kontribusi improvement/exaptation atau bahkan sebuah invention , jika dan hanya jika ada bagian dalam proses pengembangannya yang benar – benar baru atau meningkat/berbeda dibanding yang sudah ada (Gregor & Hevner, 2013).
Hal  ini  pula  yang  sesungguhnya  menjadi  berbedaan  yang  signifikan  antara  DSR  dan behavioural  science dalam  domain  IS  (Chatterjee,  2015;  Hevner et  al. ,  2004).  Yaitu,  jika behavioural science merupakan ilmu yang dimaksudkan untuk memahami realitas yang ada, maka  DSR  mengharuskan  adanya  artefak  IS  yang  dimaksudkan  untuk  merubah  atau memperbaiki  realitas  yang  ada  tersebut  (Peffers  et  al.,  2008).  Dengan  demikian,  DSR mengupayakan penciptaan kembali ( re-create ) realitas melalui pengembangan sebuah artefak IS  dan  evaluasinya  untuk  melayani  dan  menyelesaikan  persoalan  yang  dihadapi  oleh individu/organisasi/komunitas.

## 3 EVALUASI DALAM DSR
Penting untuk diingatkan kembali bahwa dalam DSR, evaluasi adalah hal pertama yang harus dilakukan setelah pengembangannya. Hal ini sebagaimana yang ditunjukan pada Gambar 2. Ada cukup banyak penelitian yang membahas tentang bagaimana melakukan evaluasi sebuah artefak IS dalam metodologi DSR (Prat et al. , 2014) IS. Penulis tetap menggunakan IS untuk membedakan Information Systems (IS) sebagai sebuah paradigma riset dan Sistem Informasi (SI)  sebagai  sebuah  rutin  desain.  Evaluasi,  sebagaimana  yang  telah  disebutkan  di  atas, dimaksudkan untuk mengukur efektivitas dan efikasi artefak tersebut dalam masalah yang ingin diselesaikan. Evaluasi juga dimaksudkan untuk menghasilkan artefak, yang pada titik tertentu,
dapat menjadi solusi bagi persoalan – persoalan yang sama namun yang lebih umum (Rossi et al. , 2013).
Dengan kata lain, evaluasi dilakukan untuk melihat apakah artefak tersebut cukup efektif untuk  menyelesaikan  masalah  pada  tingkat  abstraksi  tinggi.  Hal  ini  sesungguhnya  menjadi salah  satu  ciri  utama  dalam  DSR,  yaitu  artefak  yang  dihasilkan  tidak  hanya  menyelesaikan sebuah  persoalan  spesifik  tapi  juga  pada  tingkatan  abstraksi  yang  lebih  luas  dari  persoalan tersebut. Proses menuju generalisasi dari solusi yang dihasilkan inilah yang oleh Gregor (2006) didefinisikan sebagai jalan menuju perumusan teori dalam riset IS. Lebih jauh terkait tipe – tipe teori dalam IS dapat di lihat dalam (Gregor, 2006).
Gambar 2. Tiga siklus pengembangan sistem dengan DSR, diadaptasi dari (Hevner et al. , 2004).
Evaluasi itu sendiri adalah sebuah proses yang iteratif (Sein et al. , 2011). Hal ini, misalnya, ditunjukan oleh Inan & Beydoun (2017a), dalam mengembangkan sebuah kerangka yang relatif cukup  lengkap  dan  holistik  untuk  analisis  pengetahuan  dalam  domain  –  domain  kompleks. Setelah kerangka tersebut dikembangkan mengikuti metode pengembangan sistem yang ketat, hal  berikut  yang  segera  dilakukan  adalah  mengevaluasinya.  Kerangka  tersebut  kemudian dievaluasi dengan tiga buah studi kasus (Inan et al. , 2018a; Inan & Beydoun, 2017; Inan et al. , 2016).  Pada  setiap  studi  kasus  tersebut,  masukan  ( feedback )  yang  didapat  menjadi  dasar evaluasi  berikutnya.  Dalam  konteks  ini,  evaluasi  dilakukan  dengan  ketat  dan  menunjukan adanya perbaikan artefak dari sisi efektivitas dan efisiensi.
Proses  evaluasi  ini  berhenti  saat  dipandang  bahwa  artefak  IS  yang  dihasilkan  telah dianggap dapat menjawab pertanyaan riset yang dikemukakan dan dapat digeneralisasi (Sein et al. , 2011). Selanjutnya, artefak yang dihasilkan diuji coba lebih lanjut untuk kemanfaatan yang berbeda  menggunakan  pada  studi  kasus  yang  berbeda  pula  (Inan et  al. ,  2022a;  Inan et  al. , 2018b). Dalam hal jika sebuah ide inovasi muncul sebagai hasil dari proses interaksi antara organisasi menggunakan artefak yang telah ada, maka proses iterasi berhenti jika organisasi menganggap  bahwa  telah  artefak  yang  ada  ( existing  artefact )  tersebut  telah  mengalami perbaikan sebagaimana keperluan untuk organisasi tersebut.
Secara  singkat  dari  rangkaian  proses build dan evaluate yang  iteratif  di  atas,  dapat dijelaskan  sebagai  berikut.  Awalnya,  penulis  mengusulkan  sebuah  artefak  IS  yang dimaksudkan  untuk  menjawab  isu latent dalam  bidang knowledge  management .  Secara spesifik, isu ini terkait dengan knowledge sharing dan reusing pada domain yang kompleks. Hal ini karena penulis ingin berkontribusi di dalamnya. Artefak yang dikembangkan tersebut disebut Disaster  Management  Knowledge  Analysis  Framework .  Untuk  mengujinya,  maka framework yang dikembangkan tersebut dievaluasi menggunakan studi kasus riil dari domain knowledge  management yang  kompleks,  yaitu disaster  management (Syarat  sebuah  domain
16 Jurnal Sistem Informasi, Teknologi Informasi, an Edukasi Sistem Informasi (JUST-SI) ,Vol.4, No.1,Agustus 2023,hlm. 11-18
pengetahuan dikategorikan sebagai domain yang kompleks dapat dilihat pada rujukan ini (Inan et al. , 2015)).
Pada  evaluasi  pertama,  sebuah  studi  kasus  riil  dimanfaatkan  (Inan et  al. ,  2016).  Dari evaluasi  ini, feedback diperoleh  dan  dimanfaatkan  untuk  memperbaiki framework tersebut. Evaluasi terus dilakukan karena artefak yang dihasilkan diangap belum cukup tangguh untuk untuk  menjawab  pertanyaan  riset  dan  digeneralisasi.  Setelah  mengalami improvement (lihat Gambar 1), framework tersebut dievaluasi kembali pada tahap kedua (Inan & Beydoun, 2017) dan ketiga (Inan et al. , 2018a) dengan studi kasus yang berbeda dan dengan alasan yang sama. Pada evaluasi ketiga, framework tersebut dianggap telah cukup generic untuk menjawab tujuan riset. Selanjutnya penulis mencoba efektivitas framework tersebut dengan mengaplikasikannya pada dua studi kasus riil yang lain (Inan et al. , 2022a; Inan et al. , 2018b), yang berbeda dari tiga  evaluasi  sebelumnya,  namun  masih  pada  domain  yang  sama: disaster  management . Hasilnya framework tersebut dianggap telah cukup efektif. Karena potensinya, penulis masih berencana melakukan exaptation (lihat Gambar 1) agar framework tersebut dapat juga efektif digunakan pada berbagai isu terkait knowledge management yang penulis temui.

## 4 PENUTUP
Pada  tulisan  ini,  pertanyaan  yang  dikemukakan  ” kapan  evaluasi  sebuah  artefak  sistem informasi dianggap cukup? Perspektif design science research ” telah dijawab. Penulis memulai menjawab pertanyaan ini dengan memberi ilustrasi terkait banyaknya penelitian dalam bidang IS di Indonesia yang keluarannya adalah menghasilkan artefak SI namun gagal menghasilkan kontribusi yang bahkan marginal. Selanjutnya penulis menunjukan perbedaan design science adn design  science  research sebagai  kedua  metode  yang  paling  umum  digunakan  dalam menghasilkan  produk  inovasi  dan  melanjutkan  dengan  mengambarkan  bagaimana  evaluasi pada  kedua  metode  tersebutlah  yang  dapat  membedakan  keluaran  dari  keduanya.  Pada akhirnya,  kapan  evaluasi  sebuah  artefak  IS  dianggap  cukup,  dijawab  dengan  memberikan beberapa contoh untuk memperjelas penjelasan di atas.
Dengan  demikian  dapat  disimpulkan  bawah  evaluasi  dalam  pengembangan  sebuah  SI adalah  hal  yang  utama.  Evaluasi  berfungsi  untuk  mengukur  apakah  adanya  kontribusi pengetahuan ( contribution to knowledge ) sebagai keluaran dari riset yang dilakukan. Hal ini sebagaimana kehawatiran dari banyak peneliti dalam bidang IS, salah satunya misalnya yang dikemukakan oleh Lee et al . (2021). Bahwa mayoritas peneliti dalam bidang IS melakukan riset yang  sudah  dibuktikan  kebenarannya  ( self-evident  axiomatic  theories )  tanpa  menyumbang pengetahuan baru pada domain masalah yang diteliti ( reinventing the wheel ). Oleh karena itu pemanfaatan metodologi, misalnya DSR, dalam sebuah inovasi adalah hal yang sangat krusial untuk  menjamin  kontribusi  yang  dilakukan  dan  proses  pengembangannya  dilakukan  secara ketat and teliti. Penggunaan metodologi juga dimaksudkan untuk menjamin bahwa produk yang dihasilkan dapat diukur efektivitas dan efikasinya.

## 5 UCAPAN TERIMA KASIH
Penulis mengucapkan terima kasih kepada kedua penelaah naskah ini yang, tidak hanya, telah  mengoreksi  berbagai  kesalahan  penulisan,  tapi juga  memberikan  komentar  konstruktif terkait Bagian 3 Evaluasi Dalam DSR. Hal ini  direspons oleh penulis dengan menambahkan paragraf ke-5 dan ke-6 untuk memperjelas bagian tersebut.

## DAFTAR PUSTAKA
Almunawar,  M.  N.,  Anshari,  M.,  &  Ariff  Lim,  S.  (2020).  “Customer  Acceptance  of  Ride- Hailing in Indonesia”. Journal of Science and Technology Policy Management, ahead- of-print .
Chatterjee, S. (2015). “Writing My Next Design Science Research Master-Piece: But How Do I Make a Theoretical Contribution to Dsr?” . Paper presented at the The Twenty-Third (23rd) European Conference on Information Systems (ECIS2015), Münster Germany.
Davis, F. D. (1989). “Perceived Usefulness, Perceived Ease of Use, and User Acceptance of Information Technology”. MIS Quarterly, 13 (3), 319-340.
DePietro,  R.,  Wiarda,  E.,  &  Fleischer,  M.  (1990).  “The  Context  for  Change:  Organization, Technology  and  Environment”.  In  Tornatzky,  L.  G.  &  Fleischer,  M.  (Eds.), The Processes  of  Technological  Innovation (pp.  151-175).  Lexington  Books:  Lexington, MA.
Goes, P. B. (2014). “Editor's Comments: Design Science Research in Top Information Systems Journals”. MIS Quarterly, 38 (1), iii-viii.
Gregor, S. (2006). “The Nature of Theory in Information Systems”. MIS Quarterly, 30 (3), 611- 642.
Gregor, S., & Hevner, A. R. (2013). “Positioning and Presenting Design Science Research for Maximum Impact”. MIS Quarterly, 37 (2), 337-A355.
Hevner, A. R., March, S. T., Park, J., & Ram, S. (2004). “Design Science in Information System Research”. MIS Quarterly, 28 (1), 75-105.
Iivari, J., & Venable, J. (2009). “Action Research and Design Science Research–Seemingly Similar but Decisively Dissimilar” . Paper presented at the 17th European conference on information systems (ECIS2009).
Inan, D. I., & Beydoun, G. (2017). “Facilitating Disaster Knowledge Management with Agent- Based Modelling” . Paper presented at the Proceedings of the Twenty First Pacific Asia Conference on Information Systems (PACIS2017), Langkawi Malaysia.
Inan,  D.  I.,  Beydoun,  G.,  &  Opper,  S.  (2015).  “Towards  Knowledge  Sharing  in  Disaster Management: An Agent Oriented Knowledge Analysis Framework” . Paper presented at  the  Proceedings  of  the  26th  Australasian  Conference  on  Information  Systems (ACIS2015), Adelaide, South Australia.
Inan, D. I., Beydoun, G., & Opper, S. (2016). “Customising Agent Based Analysis Towards Analysis of Disaster Management Knowledge”. Paper presented at the Proceedings of the  27th  Australasian  Conference  on  Information  Systems  (ACIS2016),  Wollongong NSW Australia
Inan, D. I., Beydoun, G., & Opper, S. (2018a). “Agent-Based Knowledge Analysis Framework in Disaster Management”. Information Systems Frontiers, 20 (4), 783-802. Inan,  D.  I.,  Beydoun,  G.,  Othman,  S.  H.,  Pradhan,  B.,  &  Opper,  S.  (2022a).  “Developing Reusable  Covid-19  Disaster  Management  Plans  Using  Agent-Based  Analysis”. Sustainability, 14 (12). doi:10.3390/su14126981
Inan, D. I., Beydoun, G., & Pradhan, B. (2018b). “Developing a Decision Support System for Disaster Management: Case Study of an  Indonesia Volcano Eruption”. International Journal of Disaster Risk Reduction, 31 (2018), 711-721.
Inan, D. I., Hidayanto, A. N., Juita, R., Andiyani, K., Hariyana, N., Tiffany, P., . . . Kurnia, S.
(2022b). “Technology Anxiety and Social Influence Towards Intention to Use of Ride- Hailing Service in Indonesia”. Case Studies on Transport Policy, In Press, Corrected Proof .
Inan, D. I., Hidayanto, A. N., Juita, R., Soemawilaga, F. F., Melinda, F., Puspacinantya, P., & Amalia,  Y.  (2021).  “Service  Quality  and  Self-Determination  Theory  Towards Continuance Usage Intention of Mobile Banking”. Journal of Science and Technology Policy Management, ahead-of-print (ahead-of-print). doi:10.1108/jstpm-01-2021-0005 March, S. T., & Storey, V. C. (2008). “Design Science in the Information Systems Discipline: An  Introduction  to  the  Special  Issue  on  Design  Science  Research”. MIS  Quarterly, 32 (4), 725-730.
Prat, N., Comyn-Wattiau, I., & Akoka, J. (2014). “Artifact Evaluation in Information Systems Design Science Research - a Holistic View”. Paper presented at the In 18th Pacific Asia Conference on Information Systems (PACIS2014), Chengdu, China.
Putri, M. F., Juita, R., Nidayanto, A. N., & Inan, D. I. (2022). “Gamification on Mobile Payment Application: Uses and Gratification Perspective ”. Asia Pacific Journal of Information Systems (APJIS), Accepted/To be published .
Rai, A. (2017). “Editor’s Comments: Diversity of Design Science Research”. MIS Quarterly,
40 (1), iii-xviii.
Ram, S., & Sheth, J. N. (1989). “Consumer Resistance to Innovations: The Marketing Problem and Its Solutions”. Journal of Consumer Marketing, 6 (2), 5-14.
Rogers, E. M. (1983). “Diffusion of Innovations” (Vol. 5th edition). New York: NY: The Free Press.
Rossi, M., Henfridsson, O., Lyytinen, K., & Siau, K. (2013). “Design Science Research: The Road  Traveled  and  the  Road  That  Lies  Ahead”. Journal  of  Database  Management (JDM), 24 (3), 1-8.
Sein,  M.  K.,  Henfridsson,  O.,  Purao,  S.,  Rossi,  M.,  &  Lindgren,  R.  (2011).  “Action  Design Research”. MIS Quarterly, 35 (1), 37-56.
Venkatesh,  V.,  Morris,  M.  G.,  Davis,  G.  B.,  &  Davis,  F.  D.  (2003).  “User  Acceptance  of Information Technology: Toward a Unified View”. MIS Quarterly, 27
(3), 425-478.
Wendt, C., Adam, M., Benlian, A., & Kraus, S. (2021). “Let’s Connect to Keep the Distance:
How  Smes  Leverage  Information  and  Communication  Technologies  to  Address  the Covid-19 Crisis”. Information Systems Frontiers . doi:10.1007/s10796-021-10210-z