## OUTCOME EFFECT DALAM PENGUKURAN KINERJA KEUANGAN DAN NONKEUANGAN : STUDI EKSPERIMEN
Indah Wahyuningsih, Dewi Fitriyani *) , dan Rita Friyani Fakultas Ekonomi dan Bisnis Universitas Jambi
*) Email: dewi_fitriyani@unja.ac.id
Abstract :  This  study  aims  to  examine  the  outcome  effect  of  decision  making  in  assessing  financial  and  non- financial performance. This study is an experimental research that involved 483 students. The research design was 2x4x2x2 between-subjects experimental design.. Hypothesis testing used univariate ANOVA. This research conclude: (1) there is significantly outcome effect in  performance appraisal  (2) there is no significantly result that non-financial measures extended outcome effect, and (3) there is no significantly result that controllability appraisal and outcome knowledge effect in minimizing outcome effect. This result also indicate when assessing financial performance will further enhance outcome effect.
Keywords: Performance  Appraisal,  Outcome  Effect,  Financial  And  Non-Financial  Measures,  Assess, Outcome Knowledge.

## 1. Pendahuluan
Penilaian  kinerja  melibatkan  evaluasi judgmental dari  karakter,  perilaku,  atau pencapaian  dari  pekerja  yang  selanjutnya  menjadi  dasar  untuk  membuat  keputusan  dan rencana  pengembangan  personal  (Kreitner  dan  Kinicki  dalam  Handoko,  2008).  Keputusan pada dasarnya adalah proses memilih satu penyelesaian dari beberapa alternatif yang ada dan setiap  keputusan  tentunya  memiliki  dampak  di  masa  mendatang.  Keputusan  sangat  penting diambil  oleh  manajer  setiap  hari.  Namun  pemahaman  masih  sangat  terbatas  dikuasai  oleh para manajer, diantaranya adanya pemahaman mengenai bias dalam pengambilan keputusan ini  dapat  digunakan  untuk  membuat  keputusan  yang  lebih  objektif  (Suartana,  2010). Keputusan  yang  diambil  manajer  perusahaan  perlu  didukung  berbagai  faktor  agar  mampu memberikan  keyakinan  kepada  kita  sebagai  pengambil  keputusan  ( decision  maker )  bahwa keputusan tersebut tepat. Keputusan yang tepat pada dasarnya adalah keputusan yang bersifat rasional,  yang  didukung  atas  dasar  informasi  yang  akurat  dan  lengkap,  sehingga  dapat dipertanggungjawabkan.
Pengambilan keputusan dengan rational model merupakan model instruksional terbaik karena  keputusan  yang  dipilih  adalah  keputusan  yang  optimal.  Keputusan  berkualitas  dapat dipilih  karena  diasumsikan  bahwa decision  maker mempunyai:  (a)  pengetahuan  tentang berbagai  alternatif  solusi,  (b)  pengetahuan  tentang  konsekuensi  tiap  alternatif  solusi,  (c) preferensi  yang well-organized dan  stabil  dari  tiap  konsekuensi,  dan  (d)  kemampuan membandingkan tiap konsekuensi dan menentukan alternatif mana yang terbaik untuk dipilih (Kreitner  dan  Kinicki  dalam  Handoko,  2009).  Akan  tetapi, rational  model tidak  dapat diterapkan dalam lingkungan dengan ketidakpastian yang tinggi seperti kondisi saat ini.
Pengambilan  keputusan  dalam  ketidakpastian  merupakan  bagian  yang  sulit  untuk menentukan  berapa  banyak  hasil  pengembalian  ekstra  yang  dibutuhkan  untuk  menerima suatu  tingkat  resiko  yang  terukur  (Weston  dan  Copeland,  1995).  Dalam  kondisi ketidakpastian tersebut terdapat berbagai bias yang mempengaruhi judgment decision maker atau para penilai kinerja decision maker (evaluator) (Handoko, 2009) . Debiasing adalah suatu strategi atau teknik  yang dirancang untuk mengurangi besaran dari  kesalahan  dan  bias  dalam  pertimbangan  dan  pengambilan  keputusan  (Anderson et  al. dalam  Suatarna,  2008). Debiasing dianggap  penting  karena  merujuk  pada  peningkatan kualitas  proses  kognitif  dalam  pengambilan  keputusan.  Konsep debiasing beranjak  dari sumber bias atau kesalahan dalam pertimbangan dan pengambilan keputusan.
Penilaian  kinerja  dilakukan  untuk  meminimalkan  perilaku  yang  tidak  semestinya diinginkan  melalui  umpan  balik  hasil  kinerja.  Penilaian  kinerja  dapat  berakibat  bias  dalam judgment sehingga  menyesatkan  dalam  pengambilan  keputusan.  Bias  mengarah  pada  situasi di  mana  suatu heuristic diaplikasikan  dengan  tidak  tepat  oleh  individu  dalam  mengambil keputusan  (Bazerman,  1994).  Richard et  al. (2002)  mengungkapkan  bahwa heuristic merupakan tehnik yang digunakan untuk mendapatkan pemecahan persoalan secara cepat dan tidak  murni. Heuristic tidak  lebih  dari  aturan  keputusan  yang  didasarkan  pada  intuisi  anda atau  beberapa  faktor  empiris  yang  meyakinkan  bahwa  keputusan  tertentu  umumnya  baik untuk  diikuti. Heuristic yang  baik  sering  menghasilkan  pemecahan  optimal,  tetapi  dalam kebanyakan kasus, yang dapat kita harapkan hanyalah pemecahan yang mendekati optimal.
Handoko  (2008)  menyebutkan  adanya  efek  bias  yang  ditimbulkan  oleh outcome (outcome  effect). Outcome atau ex  post  information adalah  hasil  akhir  dari  serangkaian aktivitas  yang  mungkin  tidak  terkait  dengan ex  ante  information (informasi  sebelumnya) karena outcome seringkali tidak dapat dikendalikan. Dalam konteks penilaian keputusan yang dibuat oleh decision maker, outcome effect timbul saat penilaian evaluator dipengaruhi oleh pengetahuan  tentang outcome (Hawkins  dan  Hastie  dalam  Handoko,  2008).  Jika outcome positif  maka  penilai  kinerja  ( evaluator )  cenderung  mengevaluasi  bawahannya  secara  lebih positif  dibandingkan  kelayakan  penilaian  sesungguhnya  yang  didasarkan  pada ex  ante information (informasi  sebelumnya),  dan  sebaliknya  (Lipe,  1993;  Clarkson et  al. ,  2002; Ghosh, 2005; dalam Handoko, 2009).
Ross et  al .  dalam  Handoko  (2009)  mengungkapkan  bahwa outcome  effect disebabkan oleh  kecenderungan  individu  untuk  berfokus  pada outcome tertentu  dan  mengintepretasikan sendiri  perilaku  atau  kejadian  antasenden  yang  terjadi.  Untuk  mengurangi outcome  effect, sebuah  strategi  perlu  berfokus  pada  proses  memperlemah  hubungan  kausal  antara pengetahuan outcome dengan persepsi penilai kinerja atas  perilaku atau kejadian antasenden yang dialami decision maker. Salah satu hal yang dapat dilakukan adalah mendorong penilai kinerja  untuk  menilai  tingkat  kemampuan  kendali (controllability )  atas  ukuran-ukuran outcome yang  dibebankan  kepada decision  maker .  Penilaian  tingkat  kemampuan  kendali (controllability) oleh penilai kinerja akan membuatnya menyadari lingkungan yang dihadapi oleh decision maker (sebagai peringatan tentang keterbatasan jika menggunakan pengetahuan outcome secara  berlebihan).  Dengan  menyadari  lingkungan  yang  dihadapi  oleh decision maker , penilai kinerja diharapkan menyadari bahwa terdapat faktor-faktor lain di luar kendali decision maker yang juga mempengaruhi dihasilkannya outcome tertentu.
Ghosh  (2005)  membuktikan  bahwa  penilaian  tingkat  kemampuan  kendali ( controllability )  oleh  penilai  kinerja  akan  membuatnya  meyadari  lingkungan  yang  dihadapi oleh decision  maker sehingga  mampu  mengurangi outcome  effect dalam  penilaian  kinerja. Brown  dan  Solomon  dalam  Handoko  (2009)  menyebutkan  bahwa  rekonstruksi  peristiwa antasenden  yang  menyebabkan  timbulnya outcome tertentu  dapat  dilakukan  salah  satunya dengan mempelajari outcome. Penilai kinerja yang mempunyai pengetahuan tentang outcome akan mampu memprediksi outcome yang akan dihasilkan, dengan kata lain memiliki tingkat kepastian yang lebih tinggi. Jamal (1993) menyebutkan bahwa pengetahuan tentang outcome yang  didasarkan  pada  kesepahaman/  persetujuan  antara  atasan  dan decision  maker akan mampu mengurangi outcome effect.
Belum  ditemukannya  hasil  yang  konsisten  dari  penelitian  Handoko  (2009)  dan  Ghosh (2005)  atas  penggunaan  ukuran  keuangan  dan  non  keuangan  dan  pengaruhnya  terhadap outcome  effect maka  peneliti  tertarik  untuk  melakukan  kembali eksperimen  tersebut  dengan metode  penarikan  sampel  menggunakan  purposive  sampling. . Eksperimen  Handoko  (2009) dilaksanakan  dengan  menggunakan  metode  convenience  sampling  dilakukan  untuk  menguji adanya outcome  effect yang  timbul  dalam  penilaian  kinerja  diukur  dari  berbagai  ukuran kinerja (ukuran keuangan dan non keuangan) serta mencari cara untuk mengurangi bias yang
terjadi  dengan  menambahkan  variabel  pengetahuan  tentang outcome ( outcome  knowledge ) serta penilaian kemampuan kendali ( controllability ) manajer dalam mengendalikan outcome effect . Studi melalui Handoko (2009) menemukan bahwa outcome effect berpengaruh dalam penilaian  kinerja  atas  pertimbangan  penggunaan  ukuran  keuangan.  Subyek  yang  menjadi penilai  kinerja  memiliki  penilaian  kemampuan  kendali  ( controllability )  dan  memiliki kesepahaman dengan pengambil keputusan outcome effect akan menjadi berkurang.
Hasil  penelitian  Handoko  (2009)  konsisten  dengan  penelitian  Ghosh  (2005)  yang membuktikan  bahwa outcome  effect berpengaruh  dalam  penilaian  kinerja.  Namun  berbeda dengan hasil studi yang berkaitan dengan ukuran keuangan yang juga dilakukan oleh Ghosh (2005)  menyatakan  bahwa  pertimbangan  penggunaan  ukuran-ukuran  non  keuangan  akan meningkatkan outcome  effect.  Outcome  effect tidak  semakin  besar  saat  penilai  kinerja menggunakan ukuran-ukuran non keuangan dibandingkan ukuran keuangan. Hal tersebut bisa terjadi dianggap bahwa karena manajer atau subjek yang tidak berpengalaman dalam menilai kinerja.  Oleh  karena  itu  penelitian  ini  tertarik  untuk  melakukan  penelitian  kembali  dengan mengacu pada Handoko (2009).

## 2. Kerangka Konseptual Pengambilan Keputusan
Pengambilan  keputusan  merupakan  tugas  utama  seorang  manajer  untuk  mengambil keputusan  yang  baik,  tepat  dan  menguntungkan  perusahaan  yang  dipimpinnya.  Setiap pengambil  keputusan  ( decision  maker) harus  bertanggungjawab  terhadap  resiko  keputusan yang  diambilnya.  Stoner et  al. (1996)  menyebutkan  bahwa  pengambilan  keputusan  adalah proses  mengidentifikasi  dan  memilih  serangkaian  tindakan  untuk  menghadapi  masalah tertentu  atau  mengambil  keuntungan  dari  sebuah  kesempatan.  Namun  dalam  membuat keputusan  banyak  diantaranya  yang  menyangkut  pada  peristiwa  dimasa  depan  yang  sulit diramalkan.
Model  pengambilan  keputusan  dikembangkan  atas  dasar  asumsi  bahwa  keputusan didasarkan atas rasionalitas yang memandang pengambil keputusan sebagai manusia rasional, dimana  mereka  selalu  konsisten  dalam  membuat  pilihan  memaksimumkan  nilai  dalam lingkup  keterbatasan-keterbatasan  tertentu  (Dermawan  dalam  Suatarna,  2010).  Pengambilan keputusan  manajerial  yang  rasional  berasumsi  bahwa  keputusan  dibuat  atas  kepentingan ekonomi  yang  terbaik  dari  perusahaan.  Itu  berarti  bahwa  pengambil  keputusan  ( decision maker) memaksimalkan  kepentingan  perusahaan,  bukan  kepentingan  sendiri.  Keputusan sangat  penting  diambil  oleh  manajer  setiap  hari.  Namun  pemahaman  masih  sangat  terbatas dikuasai  oleh  para  manajer,  diantaranya  adanya  pemahaman  mengenai  bias  dalam pengambilan keputusan ini dapat digunakan untuk membuat keputusan yang lebih objektif.

## Judgmental Heuristic
Tversky  dan  Kahneman  dalam  Suartana  (2010)  menyebutkan  bahwa  dalam  proses pengambilan keputusan banyak decision maker menggunakan metode heuristic atau petunjuk praktis untuk sampai pada penilaian pertimbangan terakhir mereka. Heuristic adalah prinsip yang  membuat  individu  membuat  penilaian  sosial  secara  cepat  dengan  sesedikit  mungkin usaha.  Dengan  kata  lain, heuristic merupakan  semacam  “jalan  pintas”  atau  cara  ringkas dalam proses pembuatan keputusan dan penilaian.
Richard et  al. (2002)  menyebutkan  bahwa heuristic digunakan  secara  insentif  dalam praktek  pengembangan  pemecahan  persoalan  manajemen.  Beberapa  alasan  yang  membuat manajer  puas  atas  keputusan heuristic yaitu  pertama, heuristic membutuhkan  waktu  yang jauh lebih sedikit untuk memecahkan persoalan. Kedua, banyaknya persoalan yang tidak bisa dipecahkan  secara  tuntas.  Ketiga,  pendekatan  ini  cenderung  lebih  lugas  dan  lebih  mampu menyerap berbagai asumsi. Keempat, lebih fleksibel dalam menghadapi perubahan dan sesuai dengan lingkungan dinamis yang dihadapi oleh para manajer. Heuristic memiliki nilai efektif
untuk  memudahkan decision  maker dalam  membuat  keputusan  yang  baik  dalam  waktu singkat  bahkan  seringkali  digunakan  oleh  para decision  maker untuk  membantu  mereka dalam  pengambilan  keputusan  sehari-hari,  hal  ini  karena  metodenya  yang  sederhana  serta pola pengambilan keputusan tersebut yang begitu mudah.

## Debiasing
Decision  maker biasanya  mengambil  keputusan  hanya  berdasarkan  pada  cara  yang sederhana  dan  mudah  saja  (Bazerman,  1994).  Hal  ini  terjadi  karena  terbatasnya  kapasitas kemampuan  dalam  memproses  informasi,  sehingga  mereka  hanya  mengadopsi  cara-cara sederhana  dengan  menggunakan heuristic untuk  mengatasi  kompleksitas  masalah  yang terjadi.
Outcome Bias dalam Penilaian Kinerja Penilaian  kinerja  ( performance  appraisal )  melibatkan  evaluasi judgmental dari  karakter, perilaku,  atau  pencapaian  dari  pekerja  yang  selanjutnya  menjadi  dasar  untuk  membuat keputusan  dan  rencana  pengembangan  personal  (Kreitner  dan  Kinicki  dalam  Handoko (2009). Recency  effect adalah  subyektivitas  penilai  terhadap  orang  yang  dinilai  tidak  jarang sangat  berpengaruh  dalam  proses  penilaian  kinerja,  hal  tersebut  biasanya  akan  diperparah dengan  kesan  “positif”  maupun  “negatif”  yang  baru  diberikan  menjelang  waktu  penilaian kinerja. Beberapa karakteristik khas sebuah outcome menurut Dedy dan Ayuningtias (2010): a. Outcome tercapai dalam jangka menengah, tidak secara langsung setelah  sebuah kegiatan dilaksanakan
b. Outcome seringkali tercapai dengan adanya faktor diluar kendali perusahaan
c. Beberapa outcome bersifat kualitatif
Baron  dan  Hersey  dalam  Handoko  (2009)  mengatakan  bahwa outcome adalah  nilai yang  dilekatkan  pada  suatu  aktivitas.  Dalam  penilaian  kinerja,  informasi  tentang outcome mempunyai dua efek: (a) efek pada penilaian probabilitas timbulnya outcome yang kemudian mempengaruhi  evaluasi,  dan  (b)  efek  langsung  pada  penilaian  kualitas  keputusan. Manajemen  ( decision  maker) mengevaluasi  keputusan  bawahannya  menggunakan  informasi outcome namun dalam menganalisis harus dapat memisahkan antara keputusan dan outcome.
Debiasing Outcome Effect: Penilaian Tingkat Kemampuan kendali (C ontrollability) dan Foresight Pengetahuan Tentang Outcome Ross et  al. dalam  Handoko  (2009)  mengungkapkan  bahwa outcome  effect disebabkan oleh kecenderungan individu untuk berfokus pada outcome tertentu dan menginterpretasikan sendiri  perilaku  atau  kejadian  antasenden  yang  terjadi.  Untuk  mengurangi outcome  effect, sebuah  strategi  perlu  berfokus  pada  proses  memperlemah  hubungan  kausal  antara pengetahuan outcome dengan persepsi penilai kinerja atas perilaku atau kejadian antasenden yang dialami decision maker . Salah satu hal yang dapat dilakukan adalah mendorong penilai kinerja  untuk  menilai  tingkat  kemampuan  kendali (controllability )  atas  ukuran-ukuran outcome yang dibebankan kepada decision maker .
Brown  dan  Solomon  dalam  Handoko  (2009)  mengungkapkan  bahwa  rekonstruksi peristiwa antesenden yang menyebabkan  timbulnya outcome tertentu dapat dilakukan salah satunya dengan learning from outcome. Penilai kinerja yang mempunyai pengetahuan tentang outcome akan mampu memprediksi outcome yang akan dihasilkan, dengan kata lain memiliki tingkat kepastian yang lebih tinggi. Sehingga pengetahuan tentang outcome yang didasarkan pada  kesepahaman  atau  persetujuan  antara evaluator dan decision  maker akan  mengurangi atau  meniadakan outcome  effect (Jamal,  1993) . Kesepahaman  yang  terjadi  antara  penilai kinerja  dan decision  maker atas  keputusan  diambil decision  maker dan  konsekuensi (outcome ) ekspektasian, akan mengurangi outcome effect. Pengembangan Hipotesis
Dalam  kondisi  ketidakpastian,  pada  saat  penilaian  kinerja  ( performance  appraisal ) melibatkan  evaluasi judgmental dari  karakter,  perilaku,  atau  pencapaian  dari outcome yang selanjutnya menjadi dasar untuk membuat keputusan seringkali menimbulkan bias. Outcome merupakan  hasil  akhir  dari  serangkaian  aktivitas,  karena outcome tersebut  tidak  dapat dikendalikan  oleh decision  maker. Bagi  manajemen  untuk  mengevaluasi  keputusan bawahannya decision maker sangatlah wajar dengan menggunakan informasi outcome, akan tetapi analisis semua keputusan harus dapat memisahkan antara keputusan dan outcome. Outcome  bias timbul  saat  penilaian evaluator dipengaruhi  oleh  pengetahuan  tentang outcome (Hawkins  dan  Hastie,  1990;  Ghosh,  2005;  dalam  Handoko,  2009) . Jika outcome positif  maka  penilai  kinerja  cenderung  mengevaluasi  bawahannya decision  maker secara lebih  positif  dibandingkan  kelayakan  penilaian  sesungguhnya . Dari  penjelasan  di  atas  ada outcome bias , sehingga diuji hipotesis alternatif sebagai berikut: H1: Outcome dari  suatu  pengambilan  keputusan  berpengaruh  terhadap  penilaian  kinerja decision maker .
Persepsi  bahwa  ukuran-ukuran  non  keuangan  dapat  lebih  dikendalikan  oleh decision maker akan  membuat outcome  effect lebih  nyata  saat  penilai  kinerja  harus  menilai decision maker bawahannya  berdasarkan outcome non  keuangan  yang  dihasilkannya.  Diduga  tingkat pengendalian  tiap  ukuran  berbeda,  ukuran  berupa  kepuasan  karyawan  lebih  mudah dikendalikan dibandingkan kepuasan konsumen (Handoko, 2009). Oleh karena itu akan diuji hipotesis alternatif sebagai berikut:
H2:   Makin  tinggi  kemampuan decision  maker mengendalikan  ukuran-ukuran outcome, makin besar outcome effect
H3: Outcome effect akan semakin besar untuk ukuran-ukuran non keuangan dibandingkan ukuran-ukuran keuangan
Handoko (2009) menyebutkan penilai kinerja (raters ) perlu menilai tingkat kemampuan kendali (controllability ) decision  maker atas  ukuran-ukuran outcome yang  dibebankan kepadanya.  Penilaian  tingkat  kemampuan  kendali (controllability) oleh  penilai  kinerja  akan membuatnya  menyadari  lingkungan  yang  dihadapi  oleh decision  maker (sebagai  peringatan tentang  keterbatasan  jika  menggunakan  pengetahuan outcome secara  berlebihan.  Selain  itu, penilai  kinerja  perlu  memiliki  kesepahaman  tentang  tindakan  (sebelum  pengambilan keputusan)  yang  akan  dilakukan  oleh decision  maker ,  sehingga  tingkat  kepastian  atas  hasil akan lebih tinggi. Oleh karenanya akan diuji hipotesis alternatif sebagai berikut:
H4:    Penilaian  tingkat  kemampuan  kendali (controllability) dan  kesepahaman  dengan decision maker yang dimiliki penilai kinerja akan mempengaruhi penilaian kinerja.
Penilaian  tingkat  kemampuan  kendali (controllability) oleh  penilai  kinerja  akan membuatnya  menyadari  lingkungan  yang  dihadapi  oleh decision  maker (sebagai  peringatan tentang  keterbatasan  jika  menggunakan  pengetahuan outcome secara  berlebihan).  Dengan menyadari  lingkungan  yang  dihadapi  oleh decision  maker ,  penilai  kinerja  diharapkan menyadari  bahwa  terdapat  faktor-faktor  lain  di  luar  kendali decision  maker yang  juga mempengaruhi  dihasilkannya outcome tertentu  (Handoko,  2009).  Selanjutnya  diduga outcome effect akan berkurang sehingga akan diuji hipotesis alternatif sebagai berikut:
H5 :  Penilaian  tingkat  kemampuan  kendali (controllability)  decision  maker pada  suatu outcome oleh penilai kinerja akan mengurangi outcome effect.
Pengetahuan tentang outcome ( ex ante information atau foresight ) dapat diperoleh dari berbagai  sumber,  formal  maupun  informal.  Dalam  penelitian  sekarang  (mengadopsi  dari Brown dan Solomon dalam Handoko, 2009) pengetahuan tentang outcome yang dimiliki oleh
penilai  kinerja  timbul  karena  keterlibatan  penilai  kinerja  sebagai advisor sebelum decision maker mengambil  keputusan.  Kesepahaman  yang  terjadi  antara  penilai  kinerja  dan decision maker atas keputusan diambil decision maker dan konsekuensi (outcome ) ekspektasian, akan mengurangi outcome effect (Handoko, 2009) . Sehingga akan diuji hipotesis alternatif sebagai berikut:
H6:    Penilai  kinerja  yang  mempunyai  pengetahuan  tentang outcome bahwa  telah  ada kesepahaman  sebelum  pengambilan  keputusan  dilakukan  oleh decision  maker akan mengurangi outcome effect.

## 3. Metode Penelitian Subjek Penelitian
Subjek  pada  penelitian  ini  adalah  mahasiswa  Jurusan  Akuntansi  dan  Jurusan  Manajemen Fakultas Ekonomi dan Bisnis Universitas Jambi, yang telah menempuh pendidikan selama 4 (empat)  semester  dan  memperoleh  mata  kuliah  minimal  80  SKS.  Subjek  tersebut  dipilih dengan  alasan  bahwa  mahasiswa  jurusan  Akuntansi  dan  Manajemen  tersebut  telah mengetahui  prinsip-prinsip  manajerial  untuk  mengambil  keputusan  maupun  menilai  hasil keputusan  secara  rasional,  sesuai  dengan  topik  penelitian  sekarang.  Selain  itu,  mereka familiar (minimal  secara  teoritis)  dengan  fungsi  ukuran-ukuran  keuangan  dan  atau  non keuangan dalam penilaian kinerja manajerial (Handoko, 2009).
Jumlah  subjek  dalam  penelitian  ini  adalah  sebanyak  480  mahasiswa.  Dengan  adanya ketentuan  bahwa  jumlah  subjek  untuk  tiap  kelompok  atau  perlakuan  minimal  15  orang (Christensen dalam Handoko, 2009). Berdasarkan kriteria tersebut, penelitian eksperimen ini memberikan  32  perlakuan  yang  mensyaratkan  bahwa  subjek  paling  sedikit  berjumlah  480 mahasiswa, dengan rincian yaitu 50% adalah mahasiswa dari Jurusan Akuntansi dan 50% nya lagi merupakan mahasiswa dari Jurusan Manajemen. Penugasan atas pengisian kuisioner dari kasus diberikan secara random ( randomly assignment ).
Tabel 1 Populasi penelitian
Jurusan Jumlah Mahasiswa Total Laki-laki Perempuan Akuntansi 274 399 673 Manajemen 352 265 617

## Metode Pengumpulan Data
Metode  yang  digunakan  dalam  pengumpulan  data  adalah  metode  eksperimen.  Dalam penelitian  ini  subjek  akan  dikumpulkan  dalam  satu  ruangan  (kelas),  data  diperoleh  melalui jawaban subjek atas kuisioner yang dibagikan setelah membaca kasus. Kuisioner merupakan alat pengumpulan data yang berupa serangkaian daftar pertanyaan untuk dijawab responden, pertanyaan-pertanyaan  tersebut  cukup  terperinci  dan  lengkap.  Jenis  pertanyaan  yang  akan diajukan  dalam  penelitian  ini  bersifat  tertutup,  yaitu  pertanyaan  dengan  alternatif  jawaban yang telah disediakan (Pratiwi, 2009).

## Desain Eksperimen
Eksperimen  yang  dilakukan  menggunakan  analisis  ANOVA  dengan  desain  2x4x2x2 between-subjects  design .  Variabel  independen  terdiri  dari  empat between-subjects  factors, yang diadopsi dari Handoko (2009). Secara keseluruhan terdapat  32 cells dalam eksperimen ini.
Tabel 2 Kondisi Eksperimen – 2x4x2x2 Between-Subjects Design

## Prosedur Eksperimen
Pengambilan data dari tiap subyek akan dilakukan dengan mengambil data saat perkuliahan dengan seijin dosen pengampu mata kuliah. Seluruh proses pengambilan data dalam ruangan kelas yang diawasi oleh dua orang eksperimenter. Cooper dan Schindler (2009) menyebutkan bahwa  beberapa  eksperimenter  berperan  untuk  mengendalikan  lingkungan  eksperimen  dari ancaman pada validitas internal eksperimen. Apabila studi eksperimen hanya dilakukan pada oleh peneliti saja maka dikuatirkan akan muncul demand effect, yaitu keinginan peneliti agar subyek  bertindak  dan  merespon  sesuai  yang  diinginkan  peneliti  baik  melalui  cara  peneliti menyapa  subyek  yang  masuk  dalam  laboratorium,  pemberian  instruksi  maupun setting laboratorium Christensen dalam Handoko (2009).
Penelitian  ini  diadopsi  dari  instrumen  Handoko  (2009)  dengan  kondisi  subjek  akan berperan  sebagai general  manager dari  perusahaan  ritel  yang  berskala  cukup  besar.  Tugas subjek penelitian adalah menilai kinerja bawahannya ( decision maker ) adalah manajer disalah satu  cabang.  Manajer  tersebut  memiliki  kinerja  dibawah  rata-rata  capaian  seluruh  cabang toko  ritel  tersebut,  sehingga  ia memutuskan  untuk  menginvestigasi  dan  mengubah  beberapa hal  yang  diduga  menjadi  penyebabnya.  Investigasi  membutuhkan  dana  yang  sukup  besar (hampir 10 % dari omzet penjualan cabang manajer tersebut). Permintaan manajer ( decision maker ) disetujui dan investigasi serta perubahan dilaksanakan.
Subyek  kemudian  diminta  untuk  memberi  penilaian  ( judgment evaluasi  kinerja), dengan  memberi  nilai  dengan  skala  1  -  5.  Selanjutnya,  subjek  juga  diminta  menjawab pertanyaan  demografi  dan  pertanyaan  penutup.  Ada  32  sel/modifikasi  eksperimen  sehingga diharapkan  akan  diperoleh  data  dari  480 mahasiswa  sesuai  dengan  saran  Christensen  dalam Handoko (2009) yang menyebutkan bahwa jumlah  subjek untuk tiap sel adalah minimal 15 orang.

## Pilot Test
Penelitian  ini  mengadopsi  instrumen  Handoko  (2009)  yang  telah  dikembangkan  dari penelitian  Ghosh  (2005)  dan  Brown  dan  Solomon  (1993).  Modifikasi  yang  telah  dilakukan oleh  Handoko  (2009)  membutuhkan pilot  test agar:  (a)  dapat  diketahui  apakah  kasus  yang diberikan dapat dipahami atau tidak oleh subyek, dan (b) peneliti dapat mengetahui kesalahan dalam  desain  dan memantau  apakah treatment telah  disampaikan  dengan  tepat  (Cooper  dan Schindler dalam Handoko, 2009). Seorang dosen dan seorang praktisi membantu dalam pilot test dan beberapa revisi telah dibuat sesuai dengan masukan.
Measures Outcome Ada Peningkatan Tidak Ada Peningkatan Ada Outcome Knowledge Tidak Ada Outcome Knowledge Ada Outcome Knowledge Tidak Ada Outcome Knowledge Ada assess Tidak ada assess Ada asses s Tidak ada assess Ada asses s Tidak ada assess Ada asses s Tidak ada assess Return On Investment 1 2 3 4 5 6 7 8 Nilai penj Produk 9 10 11 12 13 14 15 16 Indek kep. Konsumen 17 18 19 20 21 22 23 24 Indek Kep. Karyawan 25 26 27 28 29 30 31 32

## Variabel Penelitian dan Definisi Operasional Variabel
Variabel Dependen
Variabel dependen dalam penelitian ini adalah penilaian kinerja manajer dengan melibatkan evaluasi judgmental dari  karakter,  perilaku,  atau  pencapaian  dari  kinerja  yang  selanjutnya menjadi dasar untuk membuat keputusan (Kreitner dan Kinincki dalam Handoko, 2009). Variabel Independen Variabel outcome didesain  Handoko  (2009)  dengan  mendeskripsikan  ada  atau  tidak  adanya peningkatan  (hasil  positif  atau  negatif)  setelah decision  maker mengambil  keputusan perbaikan  di  pusat  pertanggungjawabannya.  Variabel measure (ukuran-ukuran outcome ) didesain  Handoko  (2009)  dengan  menyajikan  4  ukuran outcome yaitu return  on  investment (ROI) , nilai penjualan produk, kepuasan konsumen dan kepuasan karyawan. Variabel outcome  knowledge (pengetahuan  tentang outcome )  didesain  oleh  Handoko (2009)  mendeskripsikan  ada  atau  tidak  adanya  pengetahuan  tentang outcome pada  penilai kinerja  timbul  karena  keterlibatan  penilai  kinerja  sebagai advisor sebelum decision  maker mengambil keputusan.
Variabel assess (penilaian tingkat kemampuan kendali atau controllability ) didesain Handoko (2009)  dengan  mendeskripsikan  ada  atau  tidak  adanya  tingkat  kemampuan  kendali  oleh penilai kinerja terhadap ukuran-ukuran outcome.

## Pengujian Instrumen
Pada tahap ini dilakukan uji validitas dan reliabilitas tujuannya untuk menghasilkan data yang berkualitas. Dalam penelitian ini, peneliti menggunakan cara yaitu menggunakan instrument yang  sudah  teruji  validitas  dan  reliabilitasnya.  Namun  untuk  memberikan  keyakinan  bahwa pengukuran  yang  digunakan  adalah  pengukuran  yang  tepat  dengan  subjek  dan  waktu  yang berbeda  sehingga  peneliti  perlu  melakukan  kembali  uji  validitas  dan  reliabilitas  untuk menghasilkan data yang baik.

## Uji Validitas
Instrumen  yang  digunakan  dalam  penelitian  ini  sudah  siap  pakai  dan  diuji  validitas pengukurannya  oleh  peneliti  sebelumnya  (Handoko,  2009).  Namun  mengingat  adanya perbedaan  waktu  dan  subjek  dan  lingkungan  yang  berbeda  dengan  peneliti  terdahulu, sehingga  perlu  dilakukan  kembali  uji  validitas  tersebut.  Uji  validitas  pengukuran  dilakukan menggunakan  analisis  faktor  dengan varimax  rotation untuk  masing-masing  item  yang menunjukkan  kriteria  dalam  suatu  faktor.  Analisis  ini  digunakan  untuk  memastikan  bahwa masing-masing  pertanyaan  dalam  kuisioner  akan  terklasifikasi  pada  variabel  tertentu. Analisis  faktor  harus  >  0.4,  kemudian  akan  digunakan  statistik  deskriptif  untuk  mengetahui mean dan standar deviasinya.

## Uji Reliabilitas
Uji  reliabilitas  dapat  dilihat  konsistensi  alat  dalam  mengukur  gejala  yang  sama.  Tingkat reliabilitas suatu instrumen diukur dengan menghitung besarnya nilai cronbach alpha. Nilai cronbach alpha dapat dikatakan reliable apabila nilai cronbach alpha > 0,6 (Nunnaly dalam Ghozali (2011). Pada umumnya reliabilitas yang < 0,6 dikatakan kurang reliable , antara 0,6 s.d 0,8 dikatakan cukup reliable dan > 0,8 instrumen dikatakan baik (Sekaran, 2000).

## Metode Analisis Data
Uji Normalitas
Pengujian  yang  dilakukan  untuk  memisahkan  jenis  kelamin  responden  untuk  mengetahui normalitas  distribusi  subjek  dalam  tiap  sel  dilakukan  pengujian chi-square  test  of independence .  Sedangkan  untuk  mengetahui  distribusi  umur  dari  subjek  yang  diteliti
dilakukan  dengan  pengujian kolmogorov-smirnov dan shapiro  wilk .  Jika  probabilitas signifikan di atas 0,05, maka variabel tersebut terdistribusi secara normal (Ghozali, 2011). Pengujian Levene’s test of homogeneity of variance Homogeneity of variance adalah variabel dependen harus memiliki varian yang sama dalam kategori  variabel independen.  Jika  terdapat  lebih  dari  satu  variabel  independen,  maka  harus ada homogeneity  of  variance di  dalam cell yang  dibentuk  oleh  variabel  independen kategorikal. SPSS memberikan test ini dengan nama levene’s test of homogeneity of variance . Jika nilai levene’s test signifikan (probabilitas < 0,05) maka hipotesis nol akan ditolak bahwa group memiliki variance yang berbeda dan hal ini menyalahi asumsi. Jadi yang dikehendaki adalah tidak dapat menolak hipotesis nol atau hasil levene’s test tidak signifikan (probabilitas >  0,05).  Walaupun  asumsi variance sama  ini  dilanggar,  Box  dalam  Ghozali  (2011) menyatakan bahwa ANOVA masih tetap dapat digunakan oleh karena ANOVA robust untuk penyimpangan  yang  kecil  dan  moderat  dari homogeneity  of  variance .  Perhitungan  kasarnya rasio terbesar ke terkecil dari group variance harus 3 atau kurang dari 3.
Pengujian Hipotesis univariate ANOVA
Pengujian  hipotesis  pada  penelitian  ini  dilakukan  pada  batas  signifikansi  pada p-value 5  %. Analisis  of  variance (ANOVA)  merupakan  metode  untuk  menguji  hubungan  antara  satu variabel  dependen  (skala  metrik)  dengan  satu  atau  lebih  variabel  independen  (skala nonmetrik  atau  kategorikal  dengan  kategori  lebih  dari  dua).  ANOVA  digunakan  untuk mengetahui  pengaruh  utama  dan  pengaruh  interaksi  dari  variabel  independen  kategorikal terhadap  variabel  dependen  metrik.  Uji  H1,  H2,  H3,  H4,  H5,  H6  akan  digunakan  uji univariate ANOVA  dengan  variabel  independen  (1) outcome (ada  atau  tidak  adanya peningkatan), (2) measure (ukuran-ukuran outcome ), (3) outcome knowledge (ada atau tidak adanya  pengetahuan  tentang outcome pada  penilai  kinerja),  (4) assess (penilaian  tingkat kemampuan kendali/ controllability ) ada atau tidak adanya tingkat kemampuan kendali oleh penilai kinerja terhadap ukuran-ukuran outcome.
Variabel  dependen  adalah judgment penilaian  kinerja.  H1  diuji  dengan  melihat pengaruh outcome dari  suatu  pengambilan  keputusan  terhadap  penilaian  kinerja decision maker .  Jika  hasil p-value kurang  dari  atau  sama  dengan  0,05,  maka  H1  akan  diterima. Pengujian  H2  akan  diterima  jika  terdapat  interaksi  signifikan  antara  variabel outcome dan measure. H3  diuji  dengan  melihat  means  dari  total  evaluasi  kinerja  yang  menginteraksikan variabel outcome dan measure dari  tabel  statistik  deskriptif  yang  dihasilkan  ANOVA  yang membandingkan  antara  mean  ukuran  kinerja  keuangan  dan  non  keuangan  pengaruhnya terhadap  penilaian  kinerja.  Jika  hasil p-value kurang  dari  atau  sama  dengan  0,05,  maka  H3 akan  diterima.  H4  diuji  dengan  membandingkan  hasil  signifikan  ( p-value< 0,05)  antara variabel outcome  knowledge dan assess ( controllability ) . Pada  hipotesis  H5  diuji  dengan melihat interaksi signifikan antara outcome dan assess. Demikian juga pengujian hipotesis H6 juga  dilihat  interaksi  variabel outcome dan outcome  knowledge, H6  akan  diterima  apabila terdapat efek interaksi signifikan ( p-value< 0,05).

## Manipulation Check
Handoko  (2009)  menyebutkan manipulation  checks berbentuk  tes  keseriusan  yang  terdapat pada  4  jawaban  tentang judgment penilaian  kinerja  dan  jawaban  penilaian  tingkat kemampuan kendali (controllability). Subjek yang mempunyai perbedaan nilai ≥ 3 skala poin akan dieliminasi dari total  sampel. Handoko (2009) mengatakan bahwa ukuran-ukuran yang banyak dipengaruhi oleh faktor-faktor eksternal (yang tidak dapat dikendalikan oleh manajer) perlu disesuaikan terlebih dahulu, terutama untuk tujuan penilaian kinerja manajerial.

## 4.  Hasil Penelitian dan Pembahasan

## Hasil Cek Manipulasi
Pemahaman responden dalam menganalisis kasus yang diberikan digunakan dua bagian tes manipulation  check .  Bagian  pertama  terdapat  pada  4  pertanyaan  berkaitan  dengan judgment penilaian  kinerja.  Dari  keempat  pertanyaan  tersebut,  jika  subjek  menjawab pertanyaan  no  (1)  dan  (3)  dengan  skala  mendekati  5,  maka  pertanyaan  no  (2)  dan  (4) seharusnya  dijawab  dengan  skala  mendekati  angka  1  karena  telah  disajikan  dengan reverse coded (Ghosh, 2005) . Data menunjukkan bahwa 77 responden (15,9 % dari total 483 orang) gagal  dalam manipulation  check. Mereka  dikeluarkan  dari  data  untuk  pengujian  hipotesis, data yang akan diolah sebanyak 406 data responden.
Bagian kedua tes keseriusan dalam penelitian ini terdapat pada 16 kelompok perlakuan yaitu  berhubungan  dengan  tingkat  kemampuan  kendali  ( controllability ).  Subjek  yang mempunyai perbedaan nilai ≥3 skala poin dieliminasi sebanyak 22 responden, sehingga data akhir yang diolah sebanyak 384 responden (79,5 % dari sampel awal).

## Pengujian Hipotesis
Pengujian hipotesis dilakukan untuk memberikan jawaban atas masalah penelitian yang telah  disusun  sebelumnya.  Alat  uji  yang  digunakan  adalah univariate ANOVA yang mengukur pengaruh dari variabel independen terhadap variabel dependen. Pengujian interaksi pengaruh outcome,  measure,  assess, dan outcome  knowledge terhadap  penilaian  kinerja manajer  dilakukan  pada  batas  signifikan  sebesar  5  %.  Untuk  mengetahui  signifikansi  hasil uji,  peneliti  cukup  melihat p-value yang  dihasilkan  dari  pengolahan  data  tersebut.  Untuk menguji  hipotesis  peneliti  melihat  perbedaan mean pada  tabel descriptive  statistics yang dihasilkan.
Tabel 3 Hasil Levene’s Test Nilai F Nilai Sig. 1.202 0.216
Hasil levene’s  test menunjukkan  tidak  ada  perbedaan variance karena  F  hitung sebesar  1,202  secara  statistik  signifikansi  pada alpha 5%  ( p-value 0,216  >  0,05).  Hasil tersebut  memenuhi  asumsi  untuk  menggunakan  uji  statistik  ANOVA.  ANOVA mengehendaki hasil lavene’s test pada tingkat signifikan p-value > 0,05.
Pengujian  hipotesis  dilakukan  untuk  mengetahui  apakah  tidak  terdapat  perbedaan penilaian  kinerja general  manager pada manajer  bawahannya  ketika  dalam  kondisi  ada  dan tidak adanya peningkatan outcome, ukuran kinerja ( measure ) yang berbeda , ada dan tidaknya tingkat  kemampuan  kendali  manajer  ( assess )  serta  kesepahaman (outcome  knowledge) pengaruhnya terhadap penilaian kinerja manajer bawahannya.
Hasil  pengujian  dengan univariate ANOVAmenunjukkan  interaksi  signifikan  ( p- value <  0,05)  antara outcome dan  penilaian  kinerja.  Hal  ini  berarti  mendukung  pengujian hipotesis 1  yang menyatakan adanya pengaruh langsung  variabel outcome terhadap variabel dependen  dalam  hal  ini  adalah  penilaian  kinerja.  Terlihat  dari  signifikansi  pada p-value = 0,000 (p < 0,05).
Selain itu juga terdapat interaksi yang signifikan antara variabel outcome dan measure pada  nilai  F  sebesar  5,098  dan  signifikan  pada p  value sebesar  0,002,  hasil  tersebut menunjukkan  kesesuaian  dengan  tingkat  signifikan  (p<0,05),  dengan  kata  lain  hipotesis  2 diterima. Pada tabel 4.15 menyajikan mean ( standar deviation ) interaksi antara outcome dan measure (ukuran  kinerja  keuangan  berupa return  on  investment dan  non  keuangan  berupa tingkat  penjualan  produk,  indeks  kepuasan  konsumen/IKKs  dan  indeks  kepuasan karyawan/IKKy).
Tabel  4  menunjukkan  nilai  mean  (s.d)  dari  total  evaluasi  kinerja  yang menginteraksikan outcome dan measure diperoleh  hasil outcome  effect tidak  semakin  besar pada ukuran non keuangan dibanding ukuran keuangan. Outcome effect untuk ukuran indeks kepuasan  konsumen  (mean  1,90),  urutan  kedua  yaitu return  on  investment (mean  1,32), selanjutnya  indeks  kepuasan  karyawan  (mean  1,06)  dan  yang  terakhir  tingkat  penjualan (mean 0,89). Hasil tersebut tidak mendukung hipotesis 3 yang menyebutkan bahwa outcome effect makin besar untuk ukuran-ukuran non keuangan dibandingkan keuangan, dengan kata lain hipotesis 3 ditolak.
Tabel 4 Mean Dari Total Evaluasi Kinerja Dengan Variabel Outcome dan Measure
Ukuran Outcome Ada Peningkatan Outcome A Tidak Ada Peningkatan Outcome B Outcome Effect C=A-B Skor ROI 13.65 (1.110) 12.33 (0.963) 1.32 2 Tingkat penjualan 12.94 (0.909) 12.05 (0.975) 0.89 4 IKKs 13.37 (1.103) 11.47 (0.603) 1.90 1 IKKy 13.08 (1.222) 12.02 (0.758) 1.06 3
*Ranking mulai 1= paling dapat dikendalikan sampai 5 = paling tidak dapat dikendalikan
Pada  pengujian  hipotesis  4  yang  menyatakan  adanya  pengaruh  penilaian  tingkat kemampuan kendali ( assess ) dan kesepahaman ( outcome knowledge )  dengan decision maker yang  dimiliki  penilai  kinerja  terhadap  penilaian  kinerja.  Hasil  pengujian menunjukkan  hasil tidak  adanya  interaksi  yang  signifikan  antara outcome  knowledge dan assess seperti  yang telah  dihipotesisikan,  hipotesis  4  ditolak.  Nilai p  value menunjukkan  nilai  F  sebesar  0,172 pada tingkat signifikan 0,679, p value > 0,05.
Untuk pengujian hipotesis 5 dan hipotesis 6 yaitu interaksi antara outcome dan assess , outcome dan oucome  knowledge tanpa  melibatkan measure/ ukuran  kinerja.  Hasil  uji univariate ANOVA  menunjukkan  adanya  hasil  signifikan  untuk  masing-masing  variabel independen  yaitu outcome,  assess,  outcome  knowledge terhadap  variabel  penilaian  kinerja terlihat dari hasil yang diperoleh p value = 0,00, tingkat signifikan p-value < 0,05. Pengujian hipotesis  5  yang  menduga  bahwa  adanya  penilaian  tingkat  kemampukendalian  ( assess ) decision  maker pada  suatu outcome oleh  penilai  kinerja  akan  mengurangi outcome  effect terhadap  penilaian  kinerja.  Hipotesis  5  diterima  apabila  terdapat  efek  interaksi  signifikan antara outcome dan assess. Hasil pengujian menunjukkan bahwa interaksi antara outcome dan assess pada  nilai  F  sebesar  0,118  tidak  signifikan p  value sebesar  0,731>0,05.  Hal  tersebut memberikan penjelasan bahwa hasil pengujian hipotesis 5 ditolak.
Hipotesis ke enam menduga adanya efek interaksi antara variabel outcome dan outcome knowledge (kesepahaman)  terhadap  penilaian  kinerja.  Hasil  pengujian  dengan univariate ANOVA  menunjukkan  nilai  F  sebesar  0,279  dan  diatas  nilai  signifikan  0,598  >  0,05.  Hasil tersebut menolak hipotesis yang menyebutkan bahwa terdapat pengaruh pengetahuan tentang outcome dari  suatu  pengambilan  keputusan  mampu  mengurangi outcome  effect ,  hipotesis  6 ditolak.  Pada  tabel  4.17  di  bawah  ini  menunjukkan  mean  ( standar  deviation )  dari  total evaluasi kinerja dengan variabel outcome dan assess serta outcome dan outcome knowledge serta pengaruhnya pada outcome effect
Tabel  5  Mean  (s.d)  dari  total  evaluasi  kinerja  dengan  variabel outcome dan assess serta outcome dan outknow )
Assess Ada peningkatan outcome Tidak ada peningkatan outcome outcome effect A B C= A- B Ada penilaian tingkat kemampuan kendali 13.36 12.12 1.24 (1.069) (0.993) Tidak ada penilaian tingkat kemampuan kendali 13.19 11.89 1.3 (1.169) (0.777) Outknow Ada peningkatan outcome Tidak ada peningkatan outcome outcome effect Ada Outcome Knowledge 13.50 12.18                      1.31 (1.056) (.909) Tidak ada Outcome Knowledge 13.04 12.01                      1.04 (1.145) (.896)
Hasil  tabel  di  atas  menunjukkan  bahwa  pada  saat  terdapat  penilaian  tingkat kemampuan  kendali, outcome  effect berkurang  jika  dibandingkan  dengan  kondisi  tidak adanya  penilaian  tingkat  kemampuan  kendali  (1,3  turun  menjadi  1,24).  Berbeda  pada  hasil saat penilai kinerja memiliki kesepahaman dengan decision maker, outcome effect meningkat dari  (1,04  menjadi  1,31).  Hasil-hasil  tersebut  memberikan  gambaran  bahwa  pada  saat  ada penilaian tingkat  kemampuan  kendali  ( assess )  dan outcome mengalami  peningkatan  dengan membandingkan pada saat tidak ada penilaian tingkat kemampuan kendali dan tidak adanya peningktana outcome akan  memberikan  efek  atas outcome meskipun  perbedaannya  tidak signifikan telah mendukung pernyataan  yang telah dihipotesiskan. Hal tersebut juga berlaku pada interaksi antara outcome dan outcome knowledge.
Pengaruh Outcome dari  Pengambilan  Keputusan  terhadap  Penilaian  Kinerja Decision Maker
Hasil  pengujian  untuk  mengukur  pengaruh outcome sebagai  variabel  independen  terhadap penilaian kinerja decision maker sebagai variabel dependen seperti yang dihipotesiskan pada hipotesis  1  yang  menyebutkan  bahwa  ada  pengaruh  antara outcome dari  suatu  pengambilan keputusan terhadap penilaian kinerja manajer ( decision maker ) mampu membuktikan bahwa kondisi  yang  disajikan  dengan  ada  tidaknya  peningkatan outcome memperoleh  hasil  bahwa terdapat pengaruh langsung antara variabel outcome dengan variabel dependen. Hasil  uji  menunjukkan  tingkat  signifikan  sebesar p-value 0,000  ( p-value <  0,05), sehingga  dengan  kata  lain  hipotesis  1  diterima.  Temuan  tersebut  sejalan  dengan  hasil penelitian  yang  telah  dilakukan  oleh  Lipe  (1993),  Ghosh  (2005)  dan  Handoko  (2008,2009) yang  menunjukkan  bahwa  ada  pengaruh  antara outcome dengan  penilaian  kinerja  manajer atasan  terhadap  kinerja  manajer  bawahannya.  Artinya  pada  saat outcome mengalami peningkatan,  kinerja  manajer  akan  dinilai  lebih  baik  dibandingkan  pada  saat  tidak  adanya peningkatan outcome. Pengujian  tersebut  membuktikan  temuan  yang  menunjukkan  bahwa pada  saat  tidak  terdapat  peningkatan/perbaikan  seperti  yang  diharapkan  dari  pengambilan keputusan decision maker akan dinilai lebih rendah (mean dari total evaluasi kinerja 12,01) dibanding saat terdapat perbaikan (mean 13,28). Para penilaian kinerja dalam hal ini adalah seorang general  manager selalu  melibatkan  dan  mempertimbangkan  karakter,  perilaku  atau pencapaian kerja dari kinerja manajer bawahannya  yang kemudian digunakan sebagai dasar untuk mengambil keputusan.
Pengaruh  kemampuan  manajer  dalam  mengendalikan  ukuran-ukuran outcome terhadap outcome penilaian kinerja
Hasil  pengujian  hipotesis  2  mampu  membuktikan  bahwa  kondisi  yang  disajikan  untuk menguji interaksi antara outcome dan measure menunjukkan hasil yang signifikan dengan p value= 0,002, signifikan p value < 0,05 dan nilai F sebesar 5,098. Hasil tersebut mendukung penyataan  yang  telah  dihipotesiskan  yaitu  semakin  tinggi  kemampuan  manajer mengendalikan outcome maka  semakin  besar outcome  effect, semakin  tinggi  kemampuan decision maker mengendalikan ukuran-ukuran outcome berpengaruh terhadap outcome dalam penilaian kinerja.
Interaksi antara measure dalam penelitian ini didesain dengan berbagai ukuran  yaitu ukuran keuangan dan non keuangan berupa return on investment , tingkat penjualan produk, indeks  kepuasan  karyawan  (IKKs)  dan  indeks  kepuasan  konsumen  (IKKy)  dengan outcome dalam  kondisi  ada  tidaknya  peningkatan  atas outcome yang  diperoleh outcome dapat meningkatkan  meannya.  Temuan  tersebut  tidak  sejalan  dengan  penelitian  Handoko  (2009) namun  mendukung  hasil  temuan  Ghosh  (2005)  meski  tidak  menunjukkan  hasil  yang signifikan. Hal itu terjadi dianggap karena responden belum pernah berperan secara langsung menjadi  seorang  manajer  sesungguhnya.  Responden  dalam  penelitian  ini  hanya  memahami sebatas  pengetahuan  secara  teoritis  saja.  Kurangnya  pengalaman  dari  seorang  manajer ( decision maker ) akan mempengaruhi pemahaman dari berbagai permasalahan yang dihadapi oleh manajer sesungguhnya.
Pengaruh outcome untuk  ukuran  non  keuangan  dibandingkan  ukuran-ukuran keuangan terhadap penilaian kinerja.
Hasil  pengujian  hipotesis  3  yang  telah  dilakukan  untuk  menguji  interaksi outcome dan measure berupa  ukuran  keuangan  dan  non  keuangan  dengan  nilai  mean  ditunjukkan  pada tabel  sebelumnya  menunjukkan  bahwa  hipotesis  3  ditolak.    Hasil  ini  menyatakan  pada  saat manajer  melakukan  penilaian  kinerja  berupa  ukuran  non  keuangan, outcome  effect tidak semakin besar dibandingkan saat manajer melakukan penilaian kinerja berupa ukuran kinerja keuangan.
Hasil  temuan  ini  mendukung  temuan    penelitian  Handoko  (2009)  yang  menyatakan bahwa outcome effect tidak semakin besar untuk ukuran non keuangan dibandingkan ukuran keuangan.  Hal  ini  membuktikan  bahwa  hasil  pengujian  ini  tidak  sejalan  dengan  hasil penelitian Ghosh (2005) yang menyatakan bahwa outcome effect semakin besar untuk ukuran non keuangan di bandingkan ukuran keuangan.
Hasil  statistik  menunjukkan  bahwa  o utcome  effect untuk  ukuran  indeks  kepuasan konsumen  (mean  1,90),  urutan  kedua  yaitu return  on  investment (mean  1,32),  selanjutnya indeks  kepuasan  karyawan  (mean  1,06)  dan  yang  terakhir  tingkat  penjualan  (mean  0,89). Hasil tersebut tidak mendukung hipotesis 3 yang menyebutkan bahwa outcome effect makin besar untuk ukuran-ukuran non keuangan dibandingkan keuangan. Temuan ini diduga karena faktor demografi responden yang masih berada pada taraf mahasiswa, sehingga belum pernah merasakan  secara  langsung  berperan  sebagai  manajer  yang  melakukan  penilaian  terhadap bawahannya berkaitan dengan ukuran keuangan dan non keuangan.
Pengaruh  penilaian  tingkat  kemampuan  kendali (controllability) dan      kesepahaman dengan decision maker yang dimiliki penilai kinerja terhadap penilaian kinerja Dari  pengujian  hipotesis  4  yang  menyebutkan  bahwa  ada  pengaruh  antara  tingkat kemampuan  kendali  ( assess )  serta  kesepahaman  ( outcome  knowledge )  dengan  manajer ( decision  maker )  yang  dimiliki  penilai  kinerja  berpengaruh  terhadap  penilaian  kinerja, hipotesis  4  ditolak.  Hasil  yang  diperoleh pada  tabel  sebelumnya  tidak  menunjukkan  adanya interaksi  antara outcome  knowledge dan assess, dengan  nilai  F  sebesar  0,219  dan  tingkat
signifikan p  value= 0,640>0,05.  Saat  terdapat  kondisi outcome  knowledge dan assess, total evaluasi  kinerja  pada  tabel  statistik  deskriptif  memberikan  hasil  rata-rata  sama  dengan  saat tidak  terdapat  kondisi  keduanya.  Hasil  temuan  ini  tidak  mendukung  hasil  penelitian  oleh Handoko (2009) yang menyatakan bahwa saat penilai kinerja memiliki pengetahuan tentang outcome dan  tingkat  kemampuan  kendali (assess) maka  penilai  kinerja  cenderung  menilai pekerjanya secara lebih positif. Artinya bahwa pada saat penilai kinerja memiliki kemampuan mengendalikan  ( assess )  serta  pengetahuan/kesepahaman  dalam melakukan  penilaian  kinerja tidak mempengaruhi hasil evaluasi penilaian kinerja tersebut.
Kondisi yang menunjukkan kemungkinan adanya pengaruh kesepahaman serta tingkat kemampuan  kendali  yang  dimiliki  oleh  manajer  ( decision  maker )  disebabkan  adanya pemahaman  responden  mengenai  sosok  manajer  yang  dianggap  banyak  mendapat  masukan berupa  informasi-informasi  yang  masuk  dan  mungkin  kerap  dialami  sebelumnya  oleh manajer  sehingga  mempengaruhi  penilaian  kinerja.  Hasil  ini  juga  tidak  mendukung  hasil temuan  Brown  dan  Solomon  (1993)  yang  menemukan  bahwa  atasan  (penilai  kinerja)  yang memiliki pengetahuan tentang outcome akan mampu memprediksi outcome yang dihasilkan, sehingga  akan  memiliki  tingkat  kepastian  yang  lebih  tinggi,  pengetahuan  tentang outcome yang didasarkan pada kesepahaman/persetujuan antara evaluator (atasan) dan decision maker akan mengurangi outcome effect.
Pengaruh outcome pada penilaian tingkat kemampuan kendali (controllability) decision maker terhadap penilaian kinerja.
Dari hasil pengujian hipotesis 5 yang menyebutkan adanya pengaruh outcome pada penilaian tingkat  kemampuan  kendali terhadap  penilaian  kinerja  diperoleh  hasil  yang  tidak  signifikan seperti yang di paparkan pada tabel sebelumnya yaitu tidak ditemukan adanya interaksi antara assess dan outcome yang dimiliki oleh manajer dalam menilai evaluasi kinerja bawahannya. Hasil  menunjukkan  nilai  F  sebesar  0,118  dan  tingkat  signifikan  0,791  dengan  tingkat signifikan p  value =0,05,  hipotesis  5  ditolak.  Artinya  bahwa  pada  saat  terdapat  penilaian kemampuan  kendali  ( controllability ), outcome  effect menjadi  berkurang  dibandingkan dengan kondisi saat terdapat penilaian kemampuan kendali.
Hasil  uji  statistik  menunjukkan  adanya  hasil  mean  yang  lebih  tinggi  saat  terdapat peningkatan outcome dan  ada  kemampuan  kendali  berpengaruh  terhadap  penilaian  kinerja. Temuan tersebut mendukung hasil penelitian Handoko (2009) yang juga menyebutkan bahwa antara outcome dan assess tidak  ada  pengaruh  yang  signifikan,  hasil  ini  tidak  mampu didukung dari hasil pada tabel sebelumnya membuktikan adanya outcome effect pada saat ada tingkat kemampuan kendali dan kondisi peningkatan outcome , terbukti dari hasil mean yang lebih rendah pada kondisi saat tidak ada keduanya. Hasil ini tidak mendukung temuan Ghosh (2005) yang mengungkapkan bahwa outcome effect disebabkan oleh kecenderungan individu untuk  fokus  pada outcome tertentu  dan  menginterpretasikan  sendiri  kejadian  diluar  yang terjadi  sungguhnya.  Selain  itu,  hal  ini  terjadi  dianggap  karena  saat  penilai  kinerja  tidak menyadari  lingkungan  yang  sedang  dihadapi,  sehingga  sangat  perlu  bagi  seorang  manajer memahami faktor-faktor luar diluar kendalinya, karena akan mempengaruhi outcome effect.
Pengaruh  adanya  penilai  kinerja  yang  mempunyai  pengetahuan  tentang outcome dari suatu pengambilan keputusan  oleh decision maker dapat mengurangi outcome effect. Hasil uji hipotesis tidak ditemukan adanya interaksi antara outcome dan outcome knowledge. Hasil  uji univariate ANOVA  memberikan  hasil  dengan  nilai  F  sebesar  0,279  dan  tingkat signifikan  diatas p  value  = 0,731,  hasil  tersebut  >  0,05,  sehingga  hipotesis  6  yang menyatakan  bahwa  penilai  kinerja  yang  mempunyai  pengetahuan  tentang outcome bahwa telah ada kesepahaman sebelum pengambilan keputusan dilakukan oleh decision maker akan
mengurangi outcome effect ditolak. Artinya pada saat penilai kinerja memiliki kesepahaman (ada outcome knowledge ) dengan manajer, maka akan mengurangi adanya outcome effect. Hasil  tersebut  mendukung  temuan  Handoko  (2009)  yang  menyatakan  tidak ditemukannya  interaksi  signifikan  antara outcome dan outcome  knowledge .  Pada  tabel sebelumnya  menemukan  bahwa  pada  saat  kondisi  terdapat  kesepahaman  (ada outcome knowledge ) dengan decision maker outcome effect semakin berkurang dari 1,31 menjadi 1,04. Hasil  temuan  ini  tidak  mendukung  temuan  Brown  dan  Solomon  (1993)  yang menyatakan  pengetahuan  tentang outcome yang  dimiliki  oleh  penilai  kinerja  timbul  karena keterlibatan  penilai  kinerja  sebagai  pengambil  keputusan.  Selain  itu  juga,  kesepahaman terjadi  antara  penilai  kinerja  dan decision  maker atas  keputusan  diambil  dan  konsekuensi akan mengurangi outcome effect.

## 5.  Simpulan
Hasil pengujian yang telah dilakukan menyimpulkan bahwa : 1. Outcome dari suatu pengambilan keputusan berpengaruh terhadap penilaian kinerja.  Pada saat outcome mengalami  peningkatan,  kinerja  manajer  akan  dinilai  lebih  baik dibandingkan pada saat tidak adanya peningkatan outcome.
2. Kemampuan  manajer  dalam  mengendalikan  ukuran-ukuran  kinerja  berpengaruh  terhadap penilaian kinerja manajer, dengan kata lain terdapat pengaruh antara outcome dan measure dalam  penilaian  kinerja . Semakin  tinggi  kemampuan decision  maker mengendalikan ukuran-ukuran outcome akan  semakin  berpengaruh  terhadap outcome dalam  penilaian kinerja.
3. Outcome  effect tidak  semakin  besar  untuk  ukuran  non  keuangan  dibandingkan  dengan ukuran  keuangan  terhadap  penilaian  kinerja  manajer.  Pada  saat  manajer  melakukan penilaian  kinerja  berupa  ukuran  non  keuangan outcome  effect tidak  semakin  besar dibandingkan  saat  manajer  melakukan  penilaian  kinerja  berupa  ukuran  kinerja  keuangan (ukuran  kinerja  keuangan  berupa  ROI  dan  ukuran  kinerja  non  keuangan  berupa  tingkat penjualan produk, indeks kepuasan konsumen dan karyawan).
4. Tidak  ditemukannya  pengaruh  yang  signifikan  antara  penilaian  tingkat  kemampuan kendali  dan  kesepahaman  dengan decision  maker yang  dimiliki  penilai  kinerja  terhadap penilaian kinerja.  Pada saat penilai kinerja memiliki kemampuan mengendalikan ( assess ) serta pengetahuan/ kesepahaman dalam melakukan penilaian kinerja tidak mempengaruhi hasil evaluasi penilaian kinerja tersebut.
5. Tidak  ditemukan  adanya  pengaruh outcome dan  penilaian  tingkat  kemampuan  kendali (assess) decision  maker terhadap  penilaian  kinerja.  Pada  saat  terdapat  penilaian kemampuan kendali ( assess ), outcome effect tidak berkurang dibandingkan dengan kondisi saat terdapat penilaian kemampuan kendali.
6. Tidak  ditemukan  adanya  pengaruh  penilai  kinerja  yang  mempunyai  pengetahuan  tentang outcome dari  suatu  pengambilan  keputusan    oleh decision  maker dalam  mengurangi outcome effect. Pada saat penilai kinerja memiliki kesepahaman (ada outcome knowledge ) dengan manajer, maka tidak akan mengurangi adanya outcome effect.

## Keterbatasan dan Saran
Terdapat  beberapa  keterbatasan  yang  dapat  berpengaruh  pada  hasil  penelitian. Keterbatasan tersebut adalah sebagai berikut :
1. Pemilihan sampel dalam penelitian yang masih belum/kurang/tidak berpengalaman dalam mengambil  dan  menilai  keputusan,  sehingga  jawaban  yang  diberikan  juga  masih  belum sepenuhnya sesuai dengan yang diharapkan peneliti.
2. Pengambilan  sampel  kemungkinan  tidak  dilakukan  pada  waktu  yang  tepat  sehingga responden  kurang  serius  dalam  memahami  kasus  yang  diberikan  dan  memiliki
pemahaman  yang  berbeda-beda  terhadap  maksud  dari  perlakuan  yang  diinginkan  dalam penelitian.
Berdasarkan  kesimpulan  dan  keterbatasan  yang  disebutkan  sebelumnya,  maka disarankan  penelitian  yang  akan  datang  diharapkan  dapat  melakukan  eksperimen  dalam ruangan  yang  cukup  luas  dan  nyaman  serta  pada  waktu  dan  kondisi  yang  dianggap  tepat sehingga  responden  lebih  fokus  dalam  membaca  kasus,  memahami  dan  menjawab pertanyaan.

## Referensi
Antony,  Robert  N  dan  Govindaradjan,  Vijay.  2000. Manajemen  Control  System,  sistem pengendalian manajemen . Edisi 1. Mc Graw Hill.
Bazerman, Max. 1994. Judgment in Manajerial Decision Making . 3 rd ed.p. cm- willey series. Brown,  C.E.  dan  I.  Solomon.  1993. An  Experimental  Investigation  of  Explanations  for Outcome  Effects  on  Appraisals  of  Capital-Budgeting  Decisions.  Contemporary Accounting Research. Vol. 10, No. 1: 83-11 Clarkson, P.M., C. Emby, dan V.W-S. Watt. 2002. Debiasing the Outcome Effect: The Role of Instructions in an Audit Litigaton Setting. Auditing: A Journal of Practice & Theory. Vol.21, No. 2:7-20.
Cooper, Donald. R dan Pamela S. Schindler. 2009. Metode Riset Bisnis. Jakarta:  PT Media Global Edukasi.
Dedy, Nordiawan dan Ayuningtias, Hertianti. 2010. Akuntansi sektor publik. Edisi 2. Jakarta: Salemba Empat.
Ghosh,  Dipankar.  2005. Alternative  Measures  of  Managers’  Performance,  Controllability, and the Outcome Effect. Behavioral Research in Accounting. Vol 17: 55-70. Ghozali, Imam. 2011. Aplikasi analisis multivariate dengan program IBM SPSS 19 . Edisi 5. Semarang: Badan Penerbit Universitas Diponegoro.
Handoko,  Jesica.  2006. Pengaruh  Emosi  Negatif  dalam  Pemilihan  Alternatif  Investasi Modal:  Perbandingan  Keputusan  Individu  dan  Kelompok.  Jurnal  Riset  Akuntansi Indonesia. Vol. 10, No.3:303-320.
_____________.  2008. Penilaian  Keputusan  Investigasi  Varian:  Efek  Outcomes  dan Framing. Simposium Nasional Akuntansi (SNA) XI-Pontianak.
Hansen,  Don  R  dan  Mowen,  Maryanne  M.  2005. Manajement  accounting .  Edisi  7.  Buku  2 Jakarta: Salemba Empat.
Hasibuan  dan  Malayu.  2004. Manajemen  Dasar,  Pengertian,  dan  masalah. Jakarta:  Bumi Aksara
Hsu,  K.  2005. Using  Balanced  Scorecard  and  Fuzzy  Data  Envelopment  Analysis  for Multinational R&D Project Performance Assessment. The Journal of American Academy of Business. Vol. 7(1): 189-196.
Ikhsan, Arfan. 2008. Akuntansi keprilakuan . Edisi 1. Jakarta: Salemba Empat. Indriantoro, Nur dan Bambang Supomo. 2002. Metode Penelitian Bisnis . Yogyakarta: BPFE. Jamal,  K.  1993. Comments  on  An  Experimental  Investigation  of  Explanations  for  Outcome Effects  on  Appraisals  of  Capital-Budgeting  Decisions . Contemporary  Accounting Research. Vol. 10, No. 1:113-117. Kuncoro, Mudrajad. 2005. Metode Riset Untuk Bisnis Dan Ekonomi. Jakarta: Erlangga Lipe,  M.G.  1993. Analyzing  the  Variance  Investigation  Decision:  The  Effects  of  Outcomes, Mental Accounting, and Framing. The Accounting Review. Vol. 68, No.4: 748-764. Mulyadi. 2001. Akuntansi manajemen konsep manfaat dan Rekayasa. Edisi Kedua. Jakarta : Salemba Empat.
Pratiwi. 2009. Panduan Penulisan Skripsi. Yogyakarta: Penerbit Tugu Publisher.
Richard,  D;  John,  N  dan  Bob  F. 2002. Pengambilan  Keputusan  Secara  Kuatitatif .  Edisi  7. Jakarta: Raja Grafindo Persada
Rudianto.  2006. Akuntansi  Manajemen:  Informasi  Untuk  Pengambilan  Keputusan Manajemen . Jakarta: Penerbit Grasindo.
Sedyowidodo,
U. 2009. Penilaian Kinerja pada Kinerja.
http://www.uripsedyowidodo.com/penilaian-kinerja-pada-pekerja / diunduh  6  Februari 2011.
Sekaran,  Uma.  2000. Research  Method  For  Business,  Metode  Pelitian  Untuk  Bisnis. Edisi Empat. Jakarta: Salemba Empat
Stoner, James A.F; R. Edward  Freeman dan Daniel R. Gilbert. JR. 1996. Manajemen, Edisi Bahasa Indonesia. Jilid 2. Jakarta: Prenhallindo
Suartana,  I  Wayan.  2008. Upaya  Meningkatkan  Kualitas  Pertimbangan  Audit  Melalui  Self Review  Kasus  Going  Concern  Perusahaan.  Jurnal  Riset  Akuntansi  Indonesia .  Vol  11 No. 3.
_________. 2010. Akuntansi Keperilakuan, Teori Dan Implementasi. Yogyakarta: Andi Weston,  Fred  dan  Thomas  E.Copeland.  1995. Manajemen  Keuangan .  Edisi  9.  Jakarta  : Binarupa Aksara.
Wijaya, Tony. 2011. Cara cepat menggunakan SPSS 19 . Semarang: BPUD