Judul: Development and Testing of the Extract, Transform, Load (ETL) Module on the Indonesian Agricultural Commodity Data Warehouse
Abstrak: Indonesia merupakan negara agraris yang menghasilkan berbagai komoditas pertanian setiap tahunnya. Kementerian Pertanian Republik Indonesia telah menyediakan data komoditas pertanian Indonesia yang terdiri dari beberapa subsektor dalam bentuk spreadsheet, sehingga sulit untuk mendapatkan ringkasan data. Data komoditas tersebut terdiri atas hortikultura, perkebunan, peternakan, dan tanaman pangan dalam periode tahunan, sehingga pertumbuhan data akan menghasilkan sebuah dataset yang sangat besar. Pada penelitian sebelumnya telah dilakukan penyimpanan data komoditas pertanian Indonesia dalam sebuah data warehouse. Data warehouse adalah ruang penyimpanan jangka panjang untuk menyimpan koleksi data dari berbagai sumber dalam suatu skema untuk membantu pengguna dalam mengambil keputusan. Pengambilan keputusan untuk mendapatkan pengetahuan dari data yang disimpan dalam sebuah data warehouse menggunakan OLAP. OLAP yang mendukung operasi-operasi pada data spasial disebut dengan Spatial online analytical processing (SOLAP). SOLAP komoditas pertanian telah dibuat pada penelitian sebelumnya, yang merupakan suatu sistem penyajian data dari website Kementerian Pertanian yang disajikan dalam bentuk tabel, grafik, dan peta. Namun sistem SOLAP belum dapat memperbarui data. Hal ini disebabkan adanya kesalahan pada proses Extract, Transform, Load (ETL), sehingga data di SOLAP tidak sesuai dengan data di website Kementerian Pertanian. Penelitian sebelumnya mengintegrasikan ETL dengan data warehouse. Namun, hasil penelitian yang telah dilakukan masih belum dapat melakukan pembaruan data. Selain itu, terdapat kesalahan pada proses ETL dan pada pengambilan sumber data, sehingga pemetaan komoditas dan lokasi masih terdapat ketidaksesuaian dengan data sumber yaitu dari website Kementerian Pertanian Indonesia. Data warehouse yang digunakan pada SOLAP Komoditas Pertanian Indonesia menggunakan skema galaksi yang berisi tiga tabel dimensi dan tujuh tabel fakta. Tiga tabel dimensi diantaranya adalah tabel dimensi waktu yang berisi daftar tahun, tabel dimensi lokasi yang berisi daftar pulau, provinsi dan kabupaten/kota, dan tabel dimensi komoditas yang berisi daftar nama komoditas dan klasifikasi subsektornya. Tujuh tabel fakta yang ada pada SOLAP adalah tabel yang berisi informasi luas panen, produksi, produktivitas, luas tanam, serta populasi dan produksi dari setiap komoditas di setiap lokasi pada setiap tahunnya berdasarkan subsektor komoditasnya. Tabel dimensi dan tabel fakta menjadi hal yang krusial dalam proses penyajian data pada SOLAP, namun pemetaan untuk tabel dimensi lokasi dan tabel dimensi komoditas terdapat ketidaksesuaian dengan data sumber dari website Kementerian Pertanian Indonesia. Penelitian ini bertujuan untuk mengembangkan proses ETL mulai dari pengumpulan data hingga pembuatan modul ETL tambahan untuk tabel dimensi lokasi dan tabel dimensi komoditas. Penelitian ini berfokus pada pengujian fungsional menggunakan dua jenis data, yaitu data sumber dan data target. Data sumber merupakan data komoditas pertanian Indonesia yang terdiri atas empat subsektor dan berbagai indikator turunannya. Data target yaitu data warehouse pada SOLAP komoditas pertanian Indonesia yang telah dibangun pada penelitian sebelumnya. Penelitian ini terdiri dari beberapa tahapan, yaitu pengumpulan data, Pemodelan ETL, implementasi ETL, pembuatan Source-to-Target Mapping yang digunakan untuk pembuatan skenario pada pengujian kesesuaian data, pembuatan aturan kualitas data yang digunakan untuk pembuatan skenario pada pengujian kualitas daya, pengujian ETL, dan melakukan analisis terhadap hasil uji. Hasil penelitian ini memberikan data yang akurat dan terkini pada data warehouse komoditas pertanian Indonesia dengan hasil pengujian kesesuaian data mencapai 100 persen dan hasil pengujian kualitas data yang sesuai dengan harapan. Selain itu, hasil penelitian ini memungkinkan pemutakhiran data dilakukan
Keyword: agricultural commodities, data warehouse, ETL, functional testing, SOLAP