## RETURN OF TRAINING INVESTMENT (ROTI) TRAINING IN PTP NUSANTARA IV
Rohana Sinaga 1) , Harmein Nasution 2) , Nazaruddin Matondang 3) rohanasin@yahoo.com ,
2) Dosen Departemen Teknik Industri Universitas Sumatera Utara harmein_nst@yahoo.com
3) Dosen Departemen Teknik Industri Universitas Sumatera Utara nazaruddin_matondang@yahoo.com

## ABSTRACT
PT  PTPN  IV  (PTPN  IV)  as  one  of  the  state-owned  enterprises  (SOEs)  has  made  the transformation,  including  in  terms  of  human  resource  management.  This  is  reflected  in  a transformation  program  which  has  been  launched  by  the  Board  of  Directors  PTPN  IV, namely: human resources as the most important asset that must be transformed into a level of qualification that is recognized universally, in the aspects of competence, capability and integrity. To increase knowledge (knowledge), skills (skills) and attitude (attitude) to fit the demands  of  the  post,  periodically  HR  should  be  given  education  and  training  means  that the education and training of human resources is an investment that can be interpreted by issuing a number of funds. Evaluation of training can be used as a measuring tool to help identify  and  analyze  the  training  benefit  significantly,  demonstrating  clear  returns  for  the company, as the basis for evaluation of the training system during this time so that it can be improved in order to contribute to the training of the company. Significant changes occur on the competence of the ex-trainee aircraft operator on duty at the boiler palm oil mill PT PTPN  IV,  after  they  followed  the  training.  This  is  evident  from  the  average  value  of  the competence  of  the  former  participants  of  the  training  changes  are  relatively  high  at  4.27 (good category) of the three domains of competence studied, the greatest changes occur is on the domain of skills of participants increased quality of the work with a score of 4, 44 followed by Attitudes that increased motivation with a score of 4.40, respectively. Return on Training Investment (ROTI), obtained BREAD value of 420%.
Keywords: Return on Training Investment (ROTI), training, education, evaluation.

## 1. PENDAHULUAN
Sumber  daya  manusia  (SDM)  merupakan  salah  satu  aset  yang  senantiasa  harus dipelihara dan ditingkatkan kemampuannya  agar  tujuan organisasi  dapat  terwujud.  Untuk meningkatkan  pengetahuan  ( knowledge ),  keterampilan  ( skill )  dan  sikap  ( attitude )  agar sesuai  dengan  tuntutan  jabatan,  secara  berkala  SDM  perlu  diberikan  pendidikan  dan pelatihan.  Pelatihan  sebagai  suatu  upaya  sistematis  untuk  meningkatkan  pengetahuan ( knowledge ),  keterampilan  ( skills )  dan  sikap  kerja  ( behaviors )  para  karyawan  melalui proses  belajar  (Noe,  2002).  Dengan  demikian  dapat  dinyatakan  bahwa  pendidikan  dan pelatihan merupakan investasi SDM  yang dapat  diartikan dengan mengeluarkan sejumlah dana  (sesuatu  yang  dapat  diukur  dengan  uang)  dalam  meningkatkan  pengetahuan, keterampilan  kerja  dan  perilaku  yang  tujuan  akhirnya  untuk  meningkatkan  produktivitas
kerja.  PT  Perkebunan  Nusantara  IV  (PTPN  IV)  sebagai  salah  satu  Badan  Usaha  Miliki Negara  (BUMN)  telah  melakukan  transformasi  termasuk  dalam  hal  pengelolaan  SDM, dimana  SDM  sebagai  salah  satu  asset  yang  paling  penting  yang  harus  ditransformasi menuju  suatu  tingkat  kualifikasi  yang  diakui  secara  universal,  dalam  aspek  kompetensi, kapabilitas dan integritas.
Dalam upaya meningkatkan kompetensi SDM, PTPN IV secara periodik melakukan pelatihan  kepada  karyawannya.  Pada  tahun  2013  biaya  pelatihan  yang  dikeluarkan mencapai Rp 3.407.000.0000,- Biaya yang  dikeluarkan untuk pelatihan tersebut sebaiknya perlu  dilakukan  evaluasi.  Menurut  Noe  (2002),  evaluasi  pelatihan  sebagai  suatu  proses pengumpulan  keluaran  yang  dibutuhkan  untuk  menilai  apakah  sebuah  program  pelatihan sudah efektif atau belum sesuai dengan Surat Keputusan Kementerian Badan Usaha Milik Negara  Nomor  SK-16/S.MBU/2012  tentang  Indikator/Parameter  Penilaian  dan  Evaluasi atas  Penerapan  Tata  Perusahaan  Yang  Baik  ( Good  Corporate  Governance) dan berdasarkan  surat  Nomor:  S-153/S.MBU/2012,  dimana  setiap  BUMN  diharuskan melakukan  penilaian  dan  evaluasi  terhadap  aktivitasnya  termasuk  dalam  pelaksanaan kegiatan pelatihan yakni bagaimana persahaan mengevalusi efektivitas dan efisiensi sistem pembelajaran  dan  pengembangan.  Mengacu  kepada  surat  keputusan  diatas  maka  perlu dilakukan  penilaian  terhadap  efektifitas  kegiatan  pelatihan  yang  telah  dilakukan  secara terukur.
Umumnya, suatu pelatihan diselenggarakan dengan tujuan memberikan dampak yang positif  terhadap  kinerja  perusahaan,  misalnya  peningkatan  hasil  penjualan,  peningkatan hasil produksi, penurunan biaya produksi, peningkatan pelayanan nasabah, dan sebagainya (Tupamahu dan Soetjipto, 2005).
Beberapa  peneliti  menekankan  pentingnya  evaluasi  pelatihan  yang  didasarkan  pada perhitungan  finansial  agar  mampu  memberikan  informasi  yang  nyata  dan  tegas  kepada perusahaan  mengenai  kontribusi  pelatihan  tersebut  terhadap  kinerja  perusahaan.  Pagey (1981)  menyatakan  bahwa  “sebagian  besar  organisasi  dalam  mengalokasikan  jumlah anggaran untuk pelatihan sangat sedikit. Alasannya adalah  bahwa pengembalian investasi pelatihan  sangat  sedikit.  Jadi,  banyak  organisasi  kurang  berinvestasi  pada  pelatihan”. Pagey  (1991)  telah  mengembangkan  pendekatan  rasional  secara  kuantitatif  untuk mengukur Return  On  Training  Investment (ROTI),  yang  dikembangkan  berdasarkan analisis biaya-manfaat. Semakin tinggi indeks ROTI, maka semakin efektif pelatihan yang telah dilakukan.
PT Perkebunan IV (Persero), belum  melakukan evaluasi sejauh mana hasil manfaat finansial  yang  didapat  perusahaan  dibandingkan  dengan  besarnya  biaya  yang  telah dikeluarkan  untuk  kegiatan  pelatihan,  sehingga  perlu  dilakukan  penelitian  untuk mengetahui  mengetahui besarnya  return  of  training  investment (ROTI)  pelatihan. Penelitian ini bertujuan ntuk mengevaluasi pelatihan dengan ROTI agar diketahui seberapa besar  manfaat  finansial/  benefit  dari  kegiatan  suatu  pelatihan  dan  untuk  merumuskan kebijakan  pelatihan  pada  masa  yang  akan  datang  sehingga  tujuan  utama  pelatihan  dalam meningkatkan kompetensi SDM dapat terwujud.

## 2. METODOLOGI
Tahapan yang dilakukan untuk melakukan evaluasi pelatihan adalah sebagai berikut:

## 2.1. Pengumpulan Data
Data  yang digunakan merupakan data  yang dikumpulkan setelah program  pelatihan dilakukan  dan  para  eks ‐ peserta  pelatihan  telah  kembali  ke  tempat  kerjanya  semula,  agar terdapat  kesempatan  yang  cukup  bagi  mereka  untuk  menerapkan  pengetahuan  dan keterampilan  yang  diperolehnya  selama  pelatihan.  Berdasarkan  berbagai  pertimbangan, pengumpulan data peserta dilakukan menggunakan kuesioner.

## 2.2. Tahap Isolasi Pengaruh Pelatihan
Kenyataan  bahwa  kegiatan  pendidikan  dan  pelatihan  akan  memberikan dampak/pengaruh  terhadap  perubahan  kinerja  seseorang  merupakan  hal  yang  tidak terbantahkan.  Pada  penelitian  ini  untuk  mengisolasi  pengaruh  pelatihan  dari  dari  faktor lainnya menggunakan Langevin Learning Services (2001) yang meliputi faktor knowledge and  skill,  ca pacity, measurement,  feedback,  conditions,  incentives .  Setiap  eks ‐ peserta pelatihan diminta untuk memperkirakan/memberikan estimasi persentase dari setiap faktor tersebut  terhadap  perubahan  atau  peningkatan  kinerja  yang  dialaminya  setelah  mengikuti pelatihan.  Dalam  penelitian  perkiraan  perubahan  meliputi  tiga  kompetensi  utama  yaitu: pengetahuan ( knowledge ), keterampilan ( skill ) dan sikap peserta ( attitudes ).

## 2.3. Tahap Konversi Data Menjadi Monetary Values
Mengkonversi  data business  results menjadi monetary  values pada  dasarnya merupakan  tahap  awal  untuk  mengekspresikan  dampak  pelatihan  dalam  ukuran  finansial. Phillips (2002) membedakan business results dalam dua kategori data, yaitu hard data dan soft data . Pada penelitian ini digunakan hard data yaitu biaya operasi peasawat boiler.
2.4.   Tahap Identifikasi Biaya Pelatihan
Biaya pelatihan yang dikeluarkan untuk pelaksanaan suatu kegiatan pelatihan.

## 3. HASIL DAN DISKUSI

## 3.1. Relevansi Pelatihan Dan Kompetensi
Pada penelitian ini evaluasi pelatihan dilakukan terhadap 25 operator pesawat boiler yang tersebar di 14 pabrik kelapa sawit PTPN IV yang telah mengikuti pelatihan Operator Pesawat  Uap  Kls  I  (Boiler)  yang  dilakukan  selama  delapan  hari,  untuk  selanjutnya  eks- peserta  pelatihan  ini  disebut  dengan participant .  Menurut  Philips  (2002),  participant merupakan sumber data yang paling sering digunakan dan mereka berada pada posisi yang memungkinkan untuk memberikan data yang lengkap.
Untuk  meningkatkan  kompetensi  operator  pesawat  uap  boiler  dilakukan  pelatihan dengan tujuan yang ingin dicapai adalah sebagai berikut:
a. Mengetahui Keseimbangan Energi di Pabrik /PKS
b. Konsisten terhadap kapasitas Pabrik yang optimal
c. Mengetahui kebutuhan bahan bakar untuk pesawat Uap yang di operasikan
d. Mengetahui Efesiensi Boiler
e. Perubahan perilaku bekerja semakin baik
Hasil  penelitian  menunjukkan  bahwa  semua  elemen  pelatihan  relevan  dengan pekerjaan  dengan nilai rata-rata 4,73, sebagaimana dapat dilihat pada Tabel 1.
Tabel 1. Relevansi Pelatihan
No Elemen Program Pelatihan Distribusi jawaban Rata- rata 1 2 3 4 5 1 Materi pelatihan 0% 0% 12% 28%  60% 4,60 2 Diskusi kelas selama pelatihan 0% 0% 8% 28%  64% 4,76 3 Diskusi kelompok yang dilakukan selama pelatihan 0%
0% 12% 28%  60% 4,60 4 Role play yang dilakuakn selama pelatihan
0% 0% 12% 20%  68% 4,68 5 Praktek yang diberikan
0% 0% 12% 32%  56% 5.00 Rata-rata relevansi pelatihan dengan pekerjaan 4,73
Keterangan : 1 = sangat tidak relevan, 5 = sangat relevan
Hasil wawancara dengan atasan participant menunjukan bahwa terjadi peningkatan komptensi operator yang telah dilatih dengan nilai rata-rata 4,27 yang merupakan katagori bagus.  Hal  yang  menarik  dari  hasil  penelitian  ini  adalah  dari  tiga  domain  kompetensi (knowledge,  skills  dan  attitudes),  ternyata  yang  paling  besar  perubahannya  adalah  dalam hal  keterampilan  (skills)  peserta  dengan  skor  4,44,  kemudian  diikuti  dengan  peningkatan attitudes berupa peningkatan motivasi dan keinginan untuk berprestasi. Hasil penilaian dari atasan terhadap participant disajikan pada Tabel 2
Tabel 2.  Penilaian Atasan Terhadap Kinerja Eks-Peserta Pelatihan
No Indikator Penilaian NILAI PESERTA (%) Rata- Rata Sangat Kuran g Kuran g Cuku p Bagu s Sangat Bagus 1 Laporan yang disampaikan peserta setelah sampai di unit kerja 0% 0% 16% 80% 4% 3,88 2 Kualitas  dari tindak lanjut (action plan) yang akan dilaksanakan 0% 0% 4% 76% 20% 4,16 3 Motivasi dari peserta untuk melakukan tindak lanjut 0% 0% 12% 36% 52% 4,40 4 Perubahan sikap dan perilaku dalam bekerja setelah kembali dari pelatihan 0% 0% 4% 64% 32% 4,28 5 Kualitas hasil kerja setelah kembali dari pelatihan 0% 0% 0% 56% 44% 4,44 6 Kemauan peserta untuk membagi pengetahuan dan keterampilan yang diperoleh dari pelatihan 0% 0% 4% 60% 36% 4,32 7 Peningkatan prestasi kinerja setelah pelatihan 0% 0% 0% 60% 40% 4,40 Rata-rata 4,27

## 3.2. Tahap Isolasi Pengaruh Pelatihan
Setelah diketahui  dampak perubahan perilaku pekerja, selanjutnya dilakuakn isolasi untuk  mengetahui  pengaruh  sebenarnya  kegiatan  pelatihan.    Untuk  melakukan  isolasi dilakukan  dengan  melihat  sejauh  mana  pengaruh  faktor  eksternal  yang  meliputi  kondisi ekonomi  dan  dukungan  keluarga,  serta  pengaruh  faktor  internal  yang  meliputi  dukungan atasan,  rekan  kerja,  system  bisnis  proses,  peralatan  kerja,  keterampuilan  individu  dan pelatihan  yang  diikuti.  Dari  hasil  wawancara  berdasarkan  panduan  yang  telah  dibuat didapat  besarnya pengaruh pelatihan terhadap dampak kinerja participant sebesar 22,20% sebagaimana dapat dilihat pada Gambar1.
Gambar 5.1. Pengaruh Dampak Pelatihan
6.96 8.40 15.40 8.84 7.36 9.68 21.16 22.20 Kondisi Ekonomi Dukungan Keluarga Dukungan Atasan
Rekan Kerja
Sistem Bisnis Proses
Tersediannya Peralatan Keterampilan Individu Pelatihan yang Diikuti
3.3. Tahap Konversi Data Menjadi Monetary Values

## 3.3.1. Perhitungan Benefit Pelatihan
Setelah data diisolasi maka akan terlihat seberapa besar kontribusi pelatihan terhadap kinerja  yang  dilakukan  oleh  eks  peserta  pelatihan.  Hasil  pelatihan  dapat  dilihat  pada Tabel 3.
Tabel 3.  Penggunaan Bahan Bakar Boiler Sebelum dan Sesudah Pelatihan
No. Nama Responden Kebun Penggunaan Bahan Bakar Cangkang (Kg/Jam) Sesudah Pelatihan Sebelum pelatihan Penghematan 1 1 SUPRIADI SOSA 1.100 1300 200 2 ANTUS MARTUA NASUTION 2 3 SAFARUDDIN HASIBUAN BERANGIR 1.215 1.350 135 4 SUDARSO 3 5 ELISA LASE PASARIBU PULU RAJA 1.450 1.600 150 4 6 AGUS PRATIKON AIR BATU 1.200 1.400 200 7 SUKARMIN SIAHAAN 5 8 EFFENDI MANURUNG TINJOWAN 1800 2000 200 6 9 WARISMAN ADOLINA 1550 1.800 250 10 E.SIMBOLON 7 11 R.PERANGIN ANGIN SAWIT LANGKAT 800 900 100 12 ADENAN 8 13 SAMAN GUNUNG BAYU 1900 2100 200 14 SUTRISNO II 9 15 SUYADI MAYANG 1300 1500 200 16 HADI SUTRISNO 10 17 SYAHFRUDDIN PASIR MANDOGE 1700 1900 200 18 M.MP.SIRINGO-RINGO 11 19 SADIO DOLOK SINUMBAH 1800 2.000 200 20 PONIRIN 12 21 MESRIADI DOLOK ILIR 1850 2000 150 22 PONIRIN.II 13 23 HISBULLAH PABATU 1600 1.800 200 24 RUSLI 14 25 RUKIJO BAH JAMBI 1800 2.000 200 JUMLAH 21.065 27.436 2.585
Berdasarkan  Tabel  3,  terlihat  bahwa  terjadi  kenaikan  kinerja  operator  di  dalam mengoperasikan  boiler,  dimana  terjadi  efektifitas  penggunaan  bahan  bakar  cangkang perhari sebesar 2.585 Kg. Dengan memperhitungakan jam operasi kebun per hari antara 20 sampai  22  hari  kerja  dan  harga  bahan  bakar  cangkang  sebesar  Rp.  500,-  per  Kg,  serta dampak  pelaksanaan  pelatihan  antara  10  sampai  dengan  50%  didapat  besarnya  benefit untuk  seluruh  pabrik  PKS  milik  PT  Perkebunan  Nusantara  IV  per  tahun  adalah  Rp. 661.500.000,-
3.3.2. Perhitungan Biaya Pelatihan
Biaya  pelatihan  dihitung  dengan  mempertimbangkan  komponen ‐ komponen kegiatan pelatihan. Untuk pelatihan  Operator Pesawat  Uap Kls  I  (Boiler)  diperlukan total biaya sebesar Rp. 157.367.256,- dimana rinciannya disajikan pada Tabel 4.
Tabel 4.  Biaya Pelatihan Operator Pesawat Boiler
No. Jenis Biaya Jumlah (Rp.) 1 Perencanaan dan Pengembangan 14.000.000 2 Biaya  Training  dalam  paket,  pengajar,hand  out,  sertifikat,  training  kit, konsumsi, dokumentasi,foto copy , peralatan dan Fasilitas lainnya 110.584.000 3 Biaya Transfortasi peserta dan Panitia 13.000.000 4 Gaji peserta  (selama 8 hari ) mengikuti pelatihan 10.721.336 5 Uang Perjalanan Dinas Peserta 9.061.920 Total Biaya Pelaksanaan Pelatihan 157.367.256

## 3.3.3. Perhitungan Return On Training Investment
Perhitungan Return on Training Investment (ROTI) dilakukan dengan menggunakan formula sebagai berikut:
ROTI
dimana Net  Benefits  of  Training merupakan  keuntungan  bersih  yang  diperoleh  dari hasil  penerapan  pelatihan  setelah  memperhitungkan  faktor  isolasi  yang  telah diperhitungkan  pada  tahap  sebelumnya  dikurangi  dengan  realisasi  biaya  pelatihanyang dikeluarkan.  Berdasarkan  hasil  perhitungan  manfaat  dan  biaya  pelatihan  sebagaimana disajikan pada Tabel 6.3 dan 6.4, besarnya ROTI dapat dihitung sebagai berikut:
Manfaat pelatihan
= Rp. 3.102.000.000,-
Biaya pelatihan =Rp.    157.367.256,-
Manfaat bersih pelatihan  =Rp. 661.500.000,-
ROTI = = 420%

## 3.4. Perubahan Kompetensi Dan Implementasi Pelatihan
Penelitian yang dilakukan menunjukkan umumnya eks ‐ peserta pelatihan berpendapat bahwa  pelatihan  operator  pesawat  boiler  memiliki  relevansi  yang  kuat  dengan pekerjaannya  sehari ‐ hari.  Penelitian  yang  dilakukan  menunjukkan  bahwa  semua  elemen pelatihan  memiliki  rata ‐ rata  nilai  mencapai  4,27  pada  skala  penilaian  1,00  –  5,00  atau dengan kata lain bahwa kegiatan pelatihan telah berhasil meningkatkan kompetensi peserta relatif  meningkat.  Selain  relevan,  pelatihan  operator  pesawat  boiler  juga  memiliki kontribusi  yang  cukup  signifikan.  Peserta  pelatihan  menyatakan  bahwa  umumnya  tujuan pelatihan  telah  tercapai  dengan  adanya  peningkatan  pengetahuan  dan  kemampuan  eks ‐
peserta  dikaitkan  dengan  pekerjaan  sehari ‐ hari  yang  dihadapinya.  Besarnya  pengaruh pelatihan terhadap peningkatan kemampuan peserta mencapai 22,20%.

## 3.5. Dampak Training Terhadap Kinerja Pegawai
Sesuai  dengan  tujuan  penyelenggaraannya,  maka  fokus  utama  dampak  pelatihan operator  pesawat  boiler  terhadap  kinerja  pegawai  adalah  dalam  hal  meningkatkan kemampuan peserta dalam melakukan proses pengoperasian pesawat boiler. Sebagaimana diketahui bahwa dalam mengoperasikan boiler, biaya yang paling besar adalah penggunaan bahan bakar cangkang. Dari hasil penelitian ditemukan bahwa, pelatihan operator pesawat boiler  telah  berhasil  melakukan  penghematan  penggunaan  bahan  bakar  yang  besarnya mencapai Rp. 661.500.000,- per tahunnya.

## 4. KESIMPULAN
Berdasarkan  analisis  dan  pembahasan  yang  dilakukan,  dapat  ditarik  beberapa kesimpulan  sebagai  berikut:  Terjadi  perubahan  yang  cukup  signifikan  setelah  mereka mengikuti training tersebut.  Hal  ini  terlihat  dari  nilai  rata ‐ rata  perubahan  kompetensi  eks peserta training relatif tinggi, yaitu 4,27 ( kategori bagus )  Dari ketiga domain kompetensi yang  diteliti,  maka  perubahan  yang  paling  besar  terjadi  adalah  pada  domain  skill  peserta meningkatnya  kualitas  hsil  kerja  dengan  skor  4,44  diikuti  dengan Attitudes yaitu peningkatan  motivasi  dengan  skor  masing  masing  sebesar  4,40.  Terjadi  peningkatan kinerja  eks ‐ peserta  pelatihan  operator  pesawat  boiler  berupa  peningkatan  efisiensi penggunaan  bahan  bakar  boiler  dengan  besarnya  penghematan  mencapai  Rp. 661.500.000,- per tahunnya. Return on Training Investment (ROTI), diperoleh nilai ROTI sebesar  420%.  Nilai  tersebut  menunjukkan  bahwa  manfaat  yang  diberikan  oleh  pelatihan operator  pesawat  boiler  jauh  lebih  besar  dari  pada  biaya  yang  dikeluarkan  untuk penyelenggaraan  pelatihan  operator  pesawat  boiler  tersebut.  Dengan  demikian,  pada akhirnya dapat disimpulkan bahwa pelatihan operator pesawat boiler cukup berharga untuk diselenggarakan di kemudian hari.
Salah  satu  kelemahan  dalam  ilustrasi  ini  adalah  bahwa  evaluasi training hanya dilakukan  terhadap  eks ‐ peserta training saja.  Meskipun  hal  tersebut  masih  dapat dipertanggung jawabkan secara ilmiah, namun tidak dapat dipungkiri bahwa evaluasi yang dilakukan  secara  360 0 akan  memberikan  hasil  yang  lebih  baik  dan  obyektif.  dilakukan wawancara untuk memperkuat hasil yang diperoleh. Penghitungan sejenis berikutnya dapat dilakukan  terhadap  jenis ‐ jenis training yang  tidak  terkait  dengan  operasi  perusahaan
ataupun core ‐ business secara  langsung. Training dimaksud  dapat  terkait  dengan peningkatan kompetensi yang bersifat soft ‐ skills , seperti training mengenai kepemimpinan ( leadership )  atau  kerjasama  ( teamwork ),  maupun  kompetensi  yang  bersifat hard ‐ skills namun  termasuk  kegiatan  penunjang  bisnis  ( support  activities ),  seperti training tentang akuntansi atau audit.

## DAFTAR PUSTAKA
Almeida,  Rita  (2008).The  Return  to  Firm  Investments  in  Human  Capital. SP  Discussion Paper No. 0822 . Social Protection & Labor, The World Bank. Anonymus  (2005).  5  Creative  ways  to  Measure  Training  Return  on  Invesment.IOMA’S Report on Managing Training & Develovment, 3,1-3
Barker, Kathryn. (2002). Why Train? Calculating the Return on Training Investment. Open Learning Agency. Burnaby.
Bartel,  Ann  P.  (2000).  Measuring  the  Employer’s  Return  on  Investments  in  Training: Evidence from Literature. Industrial Relations, Vol 39, No. 3 (july 2000).
Burns,Alvin  C.and  Bush,  R.F.(2000).Marketing  Research  3 rd ed.Englewood  Cliff,  New Jersey: Prentice-Hall
Burrow,Jim&Berarnidelli,Paula  (2003).  Systematic  Performance  Improvement  –Refining the Space Between Learning and Result. Journal of Workplace Learning ,15, 6-13
Carr,Wendy  F.”  Designing  an  Efective  Training  Evaluation  Process”, SHRM  White Paper ,December 1999.
Cyrs, Thomas E ( 1998). Evaluating Distance Learning Program and Courses.Educational Develovment Associates,3, 1-2
Farrel, Don G.(2005).What The ROI of Training Programs? Lodging Hospitality,61,46. Fitz-enz,jac.(2000). ROI of Human Capital. New York: AMACOM, American Management Association.
Goldstein,Irwin  (1993 ).”Training  in  Organizations  :  Needs  Assesment,Development, and Evaluation.3 rd ed.California:Brooks/cole/Publishing Company. Gordon,Edward  E”  Training  ROI”  ,  Answering  the  Return  on  Invesment  Puzle”, SHRM White Paper ,August 1999.. Kirpatrick,Donald  L,  and  Kirpatrick,J,D.(2006). Evaluating  Training  Programs .San Fransisico: Berret –Koehler.
Lilly,  Frances.”  Four  Steps  to  Computing  Training  ROI”  , SHRM  White  Paper ,February 2001.
Lynch,Kara.,Akridge, Jay T.,Schaffer, Scott P. and Gray, Allan. (2006). A Framework for Evaluating  Return  on  Investment  inManagement  Development  Programs1. International Food and Agribusiness Management Review . Volume 9, Issue 2, 2006 Noe,Raymond A.(2002). Employe Training and Development . 2 nd ed. New York:
McGraw-Hill
Philips,Jack  J.(1997). Return  on  Invesment  in  Training  and  Performance  Improvement Programs. Houston : Gulf Publishing company. Sudjana  (2008),  ( http://teknologikinerja.wordpress.com/2008/07/23training-evaluation- model-part-1/ )
Tupamahu,  Stefan  dan  Soetjipto,  Budi  W.  (2005).  Pengukuran  Return  on  Training Investment  (ROTI).  Lembaga  Management,  Fakultas  Ekonomi  Universitas Indonesia.