## FUSI CITRA DENGAN SCALE INVARIANT FEATURE TRANSFORM (SIFT) SEBAGAI REGISTRASI CITRA
Irma Wulandari Politeknik Elektronika Negeri Surabaya, Jl. Raya ITS, Kampus PENS Sukolilo irma@pens.ac.ac.id

## Abstrak
Fusi  citra  adalah  proses  menggabungkan  dua  atau  lebih  citra  ke  dalam  satu  citra, dengan  mempertahankan  fitur  penting  dari  masing-masing  gambar.  Fusi  citra  adalah  salah satu  cara  untuk  menyelesaikan  masalah  gambar  yang  tidak  fokus  hasil  dari  penggunaan kamera  non-profesional.  Fusi  citra  juga  dapat  digunakan  dalam  penginderaan  jauh, pengamatan, dan aplikasi medis. Dalam penelitian ini, diusulkan teknik fusi citra baru dengan menggunakan SIFT (Scale Invariant Feature Transform) sebagai registrasi citra. Prosedur fusi dilakukan  dengan  mencocokkan  fitur  gambar  SIFT  menggunakan  RANSAC  dan  kemudian menggabungkan  dua  citra  dengan  aturan  rata-rata  piksel.  Langkah  terakhir  membandingkan hasil  fusi  citra  menggunakan  QABF,  intensitas  rata-rata  piksel  dan  standard  deviasi.  Hasil eksperimental  menunjukkan  bahwa  metode  yang  diusulkan  mengungguli  teknik  fusi konvensional, terutama untuk citra yang mengalami translasi atau rotasi.
Kata Kunci: Fusi citra, SIFT (Scale Invariant Feature Transform), Registrasi citra

## Abstract
Image  fusion  is  the  process  of  combining  two  or  more  images  into  a  single  image, which retains important features from each. Image fusion is one way to resolve the problem of un-focused images produced by non-professional camera users. Image fusion also can be use in remote sensing, surveillance and medical application. In this research, a new image fusion  technique  for  multi-focus  images  based  on  the  SIFT  (Scale  Invariant  Feature Transform) is proposed. The fusion procedure is performed by matching the im age features of  SIFT  using  RANSAC  and  then  fusing  two  images  by  pixel  averaging.  The  last  step  is comparing  fused  images  using  Q ABF ,  average  pixel  intensity  and  standard  deviation. Experimental  results  show  that  the  proposed  method  outperforms  the  conventional  fusion techniques, especially for images with translation or rotation.
Keywords: Image fusion, SIFT (Scale Invariant Feature Transform), Image registration

## PENDAHULUAN
Fusi  citra  merupakan  proses  pengga- bungan dua atau lebih citra menjadi satu citra yang  memiliki  hasil  yang  lebih  baik,  salah satu metode fusi citra dengan Wavelet Diskrit menggunakan  PCA  dapat  memperbaiki  dua citra  yang  sama  dengan  kerusakan  yang berbeda  [1].  Pada  citra  hasil  penginderaan
jauh  ( remote  sensing )  diperlukan  perbaikan kualitas  citra,  untuk  itu  B.  Purba  meng- gunakan  metode  Contrast  Stretching  untuk mendapatkan citra baru yang lebih berkualitas [2].  Shutao  Li,  dkk.  memberikan  hasil penelitan  untuk  beberapa  metode  fusi  citra pixel-level  pada  penginderaan  jauh  ( remote sensing ),  medis,  pengamatan  dan  fotografi [3].  Untuk  citra  muti-fokus,  S.  Paul
menggunakan  metode  fusi  citra  multi-fokus dan multi-exposure menggunakan Haar wavelet [4].
Dalam penelitian ini, kami mempertim- bangkan fusi citra dengan multi-fokus seperti yang  ditunjukkan  pada  Gambar  1.  Sebelum citra  yang  dipilih  menyatu,  registrasi  citra menggunakan  SIFT  ( Scale  Invariant  Feature Transform ) diterapkan pada citra.
Korespondensi  fitur  diperkirakan,  invarian pertama  terhadap  kemungkinan  deformasi gambar.  Perhatikan  bahwa  deskripsi  fitur yang sesuai  dari  gambar yang menyatu  harus sangat mirip. SIFT dipilih karena invariannya untuk  rotasi  gambar,  penskalaan,  rotasi maupun translasi [5]. Gambar-gambar menyatu  dengan  aturan  mean-max  dari koefisien  wavelet.  Untuk  mengukur  kualitas fusi  gambar,  kami  menggunakan  Petkovic Metric  Parameter  Q AB/F ,  yang  merupakan indeks pelestarian informasi tepi yang relevan untuk kualitas fusi [6].

## METODE PENELITIAN
Metodologi  yang  digunakan  dalam penelitian  ini  meliputi  beberapa  tahapan yaitu:  registrasi  citra,  pencocokan  citra,  fusi citra,  transformasi  wavelet  diskrit  (discrete wavelet  transform/dwt),  dan  pengukuran kualitas fusi citra.
1. Registrasi Citra
Registrasi  citra  merupakan  proses untuk  mendapatkan  kesesuaian  posisi  yang benar  dari  beberapa  gambar  pada  scene  yang sama  dengan  berbagai  kondisi  yang  berbeda. Kondisi yang berbeda dalam hal pengambilan gambar  dapat  berupa  waktu  pengambilan gambar,  sudut  gambar,  alat  pengambil gambar atau intensitas cahaya. Pada penelitian,  digunakan  SIFT  ( Scale  Invariant Feature  Transform )  sebagai  registrasi  citra. SIFT mendeskripsikan sebuah gambar dengan menemukan  titik-titik  (disebut  juga keypoint ) yang menonjol dari gambar, berikut langkah- langkah untuk menghasilkan fitur SIFT [7]:
(a) (b) (c)
Gambar 1. Citra Awal dengan (a) Fokus Kanan, (b) Fokus Kiri, (c) Hasil Fusi
(a) Scale-space  extrema  detection :  Tahap pertama dari pencarian adalah mencari semua skala  dan  lokasi  citra.  Ini  diimplementasikan secara  efisien  dengan  menggunakan  fungsi Difference-of-Gaussian untuk mengiden- tifikasi  interest  point  potensial  yang  tidak berubah  terhadap  skala  dan  orientasi.  (b) Keypoint  localization :  Di  setiap  lokasi kandidat,  model  terperinci  dicocokkan  untuk menentukan lokasi dan skala. Keypoint dipilih berdasarkan ukuran kestabilannya. (c) Removing low contrast features : Jika besarnya intensitas pada piksel dalam gambar difference-of-Gaussians  kurang  dari  nilai tertentu,  maka  ditolak.  (d) Orientation assignment : Satu atau lebih orientasi ditentukan  pada  setiap  lokasi  keypoint berdasarkan  arah  gradien  citra  asal.  (e)
Keypoint  descriptor :  Gradien  citra  asal dihitung  pada  skala  tertentu  di  area  sekitar setiap keypoint .
2. Pencocokan Citra
Pencocokan  citra menjadi bagian  dasar dari  beberapa  permasalahan  pada  computer vision, termasuk pengenalan objek, menyelesaikan  bentuk 3D dari  beberapa citra dan  pelacakan  pergerakan.  Fiturnya  invariant pada  citra  yang  di  skala  dan  di  rotasi,  dan invariantnya bersifat sebagian untuk perubahan  pada  pencahayaan  dan  sudut pandang pada kamera 3D.
Kemampuan untuk mencocokkan secara  efisien keypoint SIFT  dari  citra  asal dengan citra lain atau dari basis data keypoint
adalah hal yang mendasar. Keypoint SIFT dan fitur  citra  lainnya  biasanya  digunakan  untuk menghitung transformasi  - matriks dasar atau homograf  planar,  misalnya  -  di  antara  citra. Secara  khusus,  fitur  citra  dicocokkan  antara citra,  pencocokan  yang  dibentuk  dapat digunakan  secara  analitik  untuk  menghitung transformasi yang diinginkan.
Algoritma  RANSAC  [8]  banyak  digunakan untuk melakukan perhitungan tersebut dengan kemungkinan adanya kecocokan fitur outlier . RANSAC (Random Sample Consensus) telah populer  pada  permasalahan  regresi  dengan sampel  yang  memiliki  dengan outlier .
RANSAC mampu menafsirkan atau menghaluskan data yang mengandung persentase kesalahan kotor [8].
3. Fusi Citra
Misalkan I 1 ( x , y )  dan I 2 ( x , y )  adalah dua  gambar  input  yang  diperoleh  dengan teknik  yang  berbeda.  Diasumsikan  bahwa mereka  selaras  dalam  semua  aspek  dan  siap untuk  menyatu.  Selanjutnya,  asumsikan bahwa I f (x,  y)  adalah  gambar  output.  Proses pencampuran I 1 ( x , y ) dan I 2 ( x , y ) menjadi I f ( x , y ) disebut citra fusi [9].
Dalam  penggabungan  level  pixel,  ada dua  metodologi  utama  yaitu,  dekomposisi non-multiskala dan multiskala. Dalam dekomposisi  non-multiskala,  gambar  input I 1 ( x , y )  dan I 2 ( x , y )  digabungkan  dalam  suatu fungsi untuk membuat gambar keluaran yang menyatu  Jika  ( x , y ).  Tidak  ada  transformasi domain  yang  melintasi  dalam  seluruh  proses.
Jika  fungsi f adalah  operator  fusi,  maka  jika ( x , y ) ditulis dapat dilihat pada Persamaan 1.
( ) ( ) ( ) ( ) y x I y x I f y x I f , , , , 2 1 = (1)
Metode Pixel  Averaging berlaku  untuk fusi  tingkat  piksel  domain  waktu  serta mengubah  fusi tingkat  piksel  domain.  Idenya pada dasarnya adalah untuk menghitung rata-
rata (tertimbang) dari input dan mencerminkan  hasilnya  secara  langsung  ke output.    Metode-metode  ini  bekerja  dengan menggabungkan  nilai-nilai  piksel  dari  dua atau  lebih  gambar  yang  akan  menyatu  secara linear atau non-linear [10].
Ekspresi  matematika  untuk  rata-rata tingkat piksel menggunakan Persamaan 2.
( ) ( ) 1 0 2 1 1 0 c c I c I c I F + • + • = (2)
dimana c 0 dan c 1 adalah  bobot  yang  bebas piksel.  Kemudian  output  menyatu  untuk gambar I 1 dan I 2 .
4. Transformasi  Wavelet  Diskrit  (Discrete Wavelet Transform/DWT)
Metode  wavelet  merupakan  salah  satu cara  untuk  mendekomposisi  citra,  pada Gambar  2  merupakan  contoh  transformasi wavelet 3 level.
5. Pengukuran Kualitas Fusi Citra
Kerangka  kerja Q AB/F ialah  mengaitkan informasi  visual  penting  dengan  informasi gradien dan menilai fusi dengan mengevaluasi  keberhasilan  transfer  informasi gradien dari input ke citra fusi.
Gambar 2. Tranformasi Wavelet 2 Dimensi untuk 3 Level
Algoritma  fusion  yang  mentransfer lebih banyak informasi gradien input ke dalam fusi  citra  dengan  lebih  akurat  dikatakan berkinerja  lebih  baik.  Secara  khusus,  dengan asumsi dua citra input A dan B dan hasil citra fusi  yang  dihasilkan  F,  operator  tepi  Sobel diterapkan  untuk  menghasilkan  informasi kekuatan  g  dan  orientasi  α  ( ∈ [0,  π])  untuk setiap  input  dan  piksel  gambar  leburan. Menggunakan  parameter  ini,  kekuatan  relatif dan  orientasi  "perubahan"  faktor  G  dan  A, antara setiap input dan gambar yang menyatu, diturunkan Persamaan 3 dan 4.
    
          = otherwise g g g g if g g G F m n A m n F m n A m n A m n F m n AF m n
, , , , , , , , , (3) 2 2 , , 1 ,     − − = − F m n A m n AF m n G (4)
Faktor-faktor  ini  adalah  dasar  dari ukuran  untuk    menjaga  informasi  tepi  yang diperoleh  dengan  pemetaan  sigmoid  faktor kekuatan  dan  perubahan  orientasi.  Kuantitas ini  memodelkan  hilangnya  persepsi  informasi input  dalam  gambar  yang  menyatu  dan konstanta Γ, κ g , σ g , κ α , σ α menentukan  bentuk persis dari pemetaan sigmoid (Persamaan 5).
( ) 1 , , 1 − −       + = g AF m n g G K AF m n e Q  (5)
Kinerja  fusi  total Q AB/F dievaluasi sebagai jumlah nilai pelestarian informasi tepi tertimbang untuk gambar input Q AF dan Q BF di
mana  faktor  bobot w A dan w B mewakili kepentingan  perseptual  masing-masing  piksel gambar  input  (Persamaan  6).  Kisarannya adalah  0  ≤ Q AB/F ≤  1,  di  mana  0  berarti kehilangan  total  informasi  input  telah  terjadi dan Q AB/F = 1 menunjukkan “fusi ideal” tanpa kehilangan  informasi  input.  Dalam  bentuknya yang  paling  sederhana,  bobot  perseptual w A dan w B mengambil  nilai  parameter  kekuatan gradien yang sesuai g A dan g B .
    + + = m n B m n A m n m n B m n AF m n A m n AF m n F AB w w w Q w Q Q , , , , , , , , (6)
Frekuensi  spasial  mengukur  tingkat aktivitas keseluruhan dalam suatu citra. Untuk blok citra F ukuran M × N ,  dengan  nilai abu- abu F(m,  n) pada  posisi  ( m,  n ),  frekuensi spasial didefinisikan pada Persamaan 7.
2 2 CF RF
SF + = (7)
Dimana RF dan CF adalah frekuensi baris  (Persamaan  8)  dan  frekuensi  kolom (Persamaan 9).
( ) ( )    = = − − = M m N n n m F n m F MN RF 1 2 2 1 , , 1 (8) ( ) ( )    = = − − = N n M m n m F n m F MN CF 1 2 2 , 1 , 1 (9)

## HASIL DAN PEMBAHASAN
Pada  langkah  pertama,  fitur  citra didapatkan  dengan  SIFT.  Langkah  selanjut- nya  pencocokan  citra  dengan  menemukan keypoint yang meminimalkan  Jarak  Euclidean
minimum,  dan  kemudian,  memperkirakan parameter  transformasi  dengan  RANSAC. Dalam penelitian ini, kami menggunakan citra uji yang dikumpulkan dari beberapa situs web pemrosesan  citra,  seperti  www.imfsr.com  dan www.ImageFusion.org  Kami  menggunakan SIFT  sebagai  registrasi  citra  dalam  penelitian ini.  Kami  mengkhususkan  pada  pengga- bungan  citra  multi-fokus,  yaitu  citra  dengan "fokus kiri dan fokus kanan" atau "fokus latar depan  dan  fokus  latar  belakang".    Langkah pertama metode kami adalah menemukan fitur citra  dengan  SIFT.  Kami  juga  mencoba  citra uji  dengan  ground  truth  (GT)  untuk  evaluasi kinerja.  Untuk  mengha-silkan  citra  multi- fokus  yang  disimulasikan  ini,  pertama-tama kami  memilih  citra  dengan  fokus  baik  (Lena
sebagai  contoh)  dan  membuat  dua  tiruannya, satu  untuk  latar  depan  dan  satu  untuk  latar belakang,  ditunjukkan  pada  Gambar  2. Kemudian gambar multi fokus yang disimulasikan dihasilkan oleh Gaussian blur di wilayah yang ditentukan, seperti yang ditunjukkan pada Gambar 3. Langkah selanjutnya  setelah  menemu-kan  fitur  citra adalah  pencocokan  gambar.    Kesesuaian terbaik  dalam database untuk  setiap keypoint ditemukan  oleh  kondisi  tetangga  terdekat dalam  jarak  Euclidean.    Setelah  kandidat pencocokan  fitur  citra  diperoleh,  RANSAC ( Random Sample Consensus Algorithm ) digunakan  untuk  mengenali outlier dan memperkirakan model transformasi.
Gambar 2. Citra Input
Gambar 3. Fitur SIFT

## Gambar 4. Pencocokan Fitur Citra
Gambar  4  menunjukkan  imple-mentasi pencocokan  fitur  citra.  Langkah  berikutnya adalah  melakukan  fusi  citra,  pada  Gambar  5 citra  yag  digunakan sebagai input  adalah dua citra yang memiliki  perbedaan fokus. Berikutnya citra input yang digunakan adalah citra yang mengalami pergeseran seperti pada Gambar 6 dan pada Gambar 7 citra input yang digunakan adalah citra yang dirotasi.
Untuk menganalisis secara objektif dan mengevaluasi  skema  fusi  yang  diusulkan, beberapa  metrik  kualitas  obyektif  tanpa ground truth (GT) digunakan. Kesimpulan ini
dapat  berguna  untuk  analisis  kinerja  fusi ketika ground  truth tidak  tersedia.  Di  antara mereka,  parameter  metrik  Petrovic  ( Q AB/F ) adalah indeks pelestarian informasi tepi. Q AB/F dianggap  lebih  relevan  dalam  fusi  citra  [6]. Tabel 1 menunjukkan nilai Q AB/F untuk teknik fusi  yang  dibahas.  Kami  juga  menggunakan metrik  kualitas  gambar  lainnya,  termasuk Intensitas  Piksel  Rata-Rata  ( Average  Pixel Intensity ),  Penyimpangan  Standar  ( Standard Deviation ),  dan  Frekuensi  Spasial  ( Spatial Frequency ).
Citra input Citra Fusi tanpa SIFT Citra Fusi dengan SIFT
Gambar 5. Hasil Fusi Citra dengan Beda Fokus
Citra input Citra Fusi tanpa SIFT Citra Fusi dengan SIFT
Gambar 6. Hasil Fusi Citra dengan Pergeseran
Citra input Citra Fusi tanpa SIFT Citra Fusi dengan SIFT
Gambar 7. Hasil Fusi Citra dengan Rotasi
Hasil masing-masing perhitungan dapat silihat  pada  Tabel  2  sampai  dengan  Tabel  4. Intensitas  Piksel  Rata-rata  adalah  indeks untuk  kontras, Standard  Deviation mencer- minkan  penyebaran  dalam  data.  Frekuensi spasial dapat digunakan untuk mencerminkan
kejelasan  suatu  citra.  Kita  dapat  melihat  dari Tabel  1  bahwa  metode  yang  diusulkan memiliki nilai Q AB/F yang lebih baik daripada metode lainnya.  Secara  keseluruhan,  menam- bahkan SIFT dalam citra dapat meningkatkan kinerja
Tabel 1. Perbandingan Nilai Q AB/F Metode Buku Gelas Lena Lena dengan rotasi 1. Averaging 0.771 0.444 0.547 0.309 2. SIFT + Averaging 0.761 0.611 0.543 0.706 3. SIIFT + DWT + averaging 0.7864 0.641 0.661 0.764 4. CVT – DWT [11] 0.666 - - - 5. CNT [12] 0.283 - - -

## Tabel 2. Perbandingan Intensitas Piksel Rata-Rata
Metode Buku Gelas Lena Lena dengan rotasi 1. Averaging (mean) 82.97 115.06 128.11 98.0 2. SIFT + Averaging 82.86 110.85 127.78 127.36 3. SIIFT + DWT + averaging 83.19 110.39 128.03 127.78 4. CVT – DWT [11] 85.58 - - - 5. CNT [12] 86.24 - - - Tabel 3. Perbandingan Nilai Standard Deviasi Metode Buku Gelas Lena Lena dengan rotasi 1. Averaging (mean) 67.66 49.05 53.79 51.06 2. SIFT + Averaging 67.50 51.32 53.71 56.57 3. SIIFT + DWT + averaging 68.40 55.37 57.55 58.01 4. CVT – DWT [11] 63.18 - - - 5. CNT [12] 61.31 - - - Tabel 4. Perbandingan Nilai Frequensi Spasial Metode Buku Gelas Lena Lena dengan rotasi 1. Averaging (mean) 18.59 9.73 10.0 12.39 2. SIFT + Averaging 18.22 12.45 10.25 14.0 3. SIIFT + DWT + averaging 22.81 18.26 18.37 18.60

## KESIMPULAN DAN SARAN
Dalam penelitian ini fusi gambar multi- fokus  diselidiki.  Salah  satu  masalah  utama adalah  menggunakan  SIFT  sebagai  registrasi gambar.  Metode  yang  diusulkan  menunjuk- kan  peningkatan  yang  signifikan  untuk gambar  yang  menyatu  dengan  terjemahan atau rotasi.  Kita dapat melihat bahwa gambar yang  menyatu  dengan  kolaborasi  SIFT  dan metode Averaging  Pixel memberikan  gambar dengan  kualitas  yang  lebih  baik,  baik  secara subyektif  dan  obyektif,  meskipun  diperlukan lebih  banyak  waktu.  Untuk  kedepannya  bisa menambahkan  metode  lain  sehingga  akan memperbaiki performa fusi citra dan mencoba citra hasil fotografi secara real time .

## DAFTAR PUSTAKA
[1] M.  T.  Alvian,  R.  H.  Sianipar  dan  M.
Irwan, “Fusi citra berbasis transformasi wavelet  diskrit  menggunakan  PCA (Prinsip Komponen Analisis),” Dielektrika , vol. 6, no. 1, Feb., hal. 75-
83, 2019.
[2] B.  Purba,  “Aplikasi  perbaikan  kualitas citra  hasil  penginderaan  jauh  ( remote sensing ) dengan metode contrast stretching ,” Jurnal Technology Informatics & Computer System
(Times),  vol  6,  no. 2,  Des.,  hal.  26-36, 2017.
[3] X.  Le,  X.  Kang,  L.  Fang,  dan  H.  Yin, “Pixel-level  image  fusion:  a  survey  of
the  state  of  the  art,” Information
Fusion ,  vol.  33,  Jan.,  hal.  100-112,
2017.
[4] S.  Paul,  I.  S.  Sevcenco  dan  P.
Agathoklis, “Multi-exposure and multi-
focus image fusion in gradient domain,” Journal  of  Circuit,  Systems and Computers , vol. 25, no. 10, 2016.
[5] H.  Khusnuliawati,  “ Multi-feature fusion menggunakan  integrasi  fitur
scale  invariant  feature  transform dan local  extensive  binary  pattern untuk pengenalan pembuluh darah pada jari,”
tesis master, Institut Teknologi Surabaya, Surabaya, 2016.
[6] P.  Shah,  S.  N.  Merchant,  dan  U.  B.
Desai,  “An  Efficient  spatial  domain fusion  scheme  for  multifocus  images using statistical properties of
neighborhood,”  Dalam  Proc.  2011 IEEE  International  Conference  on Multimedia and Expo, 2011, hal. 1-6.
[7] D.  G.  Lowe,  “  Distinctive  image features from scale-invariant key points,” International Journal of Computer  Vision ,  vol.  60,  hal.  91-110,
2004.
[8] M.  A.  Fischler  dan  R.  C.  Bolles, “Random sample consensus: a
paradigm  for  model  fitting  with applications  to  image  analysis  and automated cartography,”
Communications  of  the  ACM.  ACM, vol.  24,  no.  6,  June,  hal.  381–395,
1981.
[9] N. Mitianoudis dan T. Stathaki, “Pixel- based  and  region-based  image  fusion schemes using ICA bases,” Information Fusion , vol.  8,  Apr.,  hal.  131-142, 2007.
[10] R. Maruthi, dan K. Sankarasubramanian , “Multi  focus image  fusion  based  on  the  information level  in  the  regions  of  the  images,” Journal  of  Theoretical  and  Applied Information  Technology ,  vol.  3,  no.  4,
Des., hal. 80-85, 2007.
[11] S.  Li  dan  B.  Yang, “Multifocus image fusion  by  combining  curvelet  and wavelet transform,” Pattern
Recognition Letters , vol. 29, no. 9, Juli, hal. 1295-1301, 2008.
[12] S.  Ibrahim  dan  M.  Wirth, “Visible  and IR  data  fusion  technique  using  the contourlet  transform,”  Dalam  Proc. IEEE International Conference Science and Engineering, 2009, hal. 42-47.