Tantangan skema Winograd

Tantangan skema Winograd (, disingkat WSC) adalah sebuah uji untuk mengetes kecerdasan mesin. Uji ini diusulkan oleh Hector Levesque, seorang ilmuwan komputer di Universitas Toronto. Didesain sebagai perbaikan dari uji Turing, uji ini berisi kumpulan tes pilihan ganda yang berisi pertanyaan-pertanyaan dengan struktur yang sangat spesifik: pertanyaan-pertanyaan tersebut termasuk dalam suatu jenis yang disebut skema Winograd, dinamai sesuai nama Terry Winograd, seorang profesor ilmu komputer di Universitas Stanford.

Secara sederhana, pertanyaan skema Winograd hanya membutuhkan resolusi anafora: mesin harus mengidentifikasi anteseden dari kata ganti yang ambigu dalam sebuah pernyataan. Pertanyaan ini menjadikan tes menjadi sebuah masalah pemrosesan bahasa alami, tetapi Levesque berpendapat bahwa untuk skema Winograd, tugas tersebut membutuhkan penggunaan pengetahuan dan penalaran akal sehat.

Nuance Communications mengumumkan pada Juli 2014 akan mensponsori kompetisi WSC tahunan, dengan hadiah $25.000 dollar untuk sistem terbaik yang kemampuannya sebanding dengan peforma manusia. Tetapi, hadiah tidak lagi ditawarkan.

Latar belakang 
Tantangan Skema Winograd diusulkan dalam semangat uji Turing. Diusulkan oleh Alan Turing pada tahun 1950, uji Turing memainkan peran sentral dalam filosofi kecerdasan buatan (AI). Turing mengusulkan bahwa, alih-alih memperdebatkan apakah mesin dapat berpikir, ilmu AI harus berfokus pada observasi perilaku-perilaku cerdas yang dapat diuji. Tetapi sifat pasti dari uji yang diusulkan Turing telah mendapat sorotan, terutama sejak chatbot AI bernama Eugene Goostman diklaim lulus pada tahun 2014. Salah satu kekhawatiran utama dengan uji Turing adalah bahwa mesin dapat dengan mudah lulus tes dengan kekerasan dan/atau tipuan, bukan kecerdasan sejati. Tantangan skema Winograd diusulkan untuk memperbaiki masalah-masalah yang muncul dengan sifat program yang berkinerja baik pada uji Turing tersebut.

Usulan asli Turing adalah sebuah tes yang disebutnya sebagai permainan imitasi, yang melibatkan percakapan yang mengalir bebas dan tidak terbatas dalam bahasa Inggris, antara juri manusia dan program komputer melalui saluran teks (seperti teleprinter). Secara umum, mesin dinyatakan lulus tes jika interogator tidak dapat membedakan antara mesin dan manusia dalam percakapan lima menit.

Kekurangan dari uji Turing 
Kinerja dari chatbot Eugene Goostman menunjukkan beberapa masalah dari uji Turing. Levesque mengidentifikasi beberapa masalah utama, yang dirangkum sebagai berikut:

 Penipuan: Mesin dipaksa untuk membangun identitas palsu, yang bukan merupakan bagian dari kecerdasan.
 Percakapan: Banyak interaksi yang terjadi dapat memenuhi syarat sebagai "percakapan yang sah", seperti lelucon, basa-basi, poin-poin obrolan; tapi tidak memerlukan penalaran yang cerdas.
 Evaluasi: Manusia membuat kesalahan, dan hakim sering kali tidak setuju dengan hasil uji.

Skema Winograd 
Faktor kunci dalam WSC adalah format khusus dari pertanyaan-pertanyaan uji, yang berasal dari skema Winograd. Pertanyaan-pertanyaan dalam bentuk ini dapat disesuaikan untuk membutuhkan pengetahuan dan penalaran yang masuk akal dalam berbagai domain. Pertanyaan-pertanyaan tersebut juga harus ditulis secara hati-hati agar tidak mudah diselesaikan dengan menggunakan selectional restrictions atau informasi statistik tentang kata-kata dalam kalimat.

Berikut adalah alih bahasa dari contoh yang dikutip dari skema Winograd dikembangkan oleh Terry Winograd (dan menjadi alasan dari nama skema):Pilihan antara "takut" dan "pasti" mengubah skema menjadi dua kalimat:Pertanyaan tantangan skema adalah, "Apakah kata ganti 'mereka' merujuk pada polisi atau para pendemo?" Mengganti pilihan antara dua kalimat akan mengubah jawaban pertanyaan. Jawaban pertanyaan ini mudah bagi manusia  namun terbukti sulit ditiru oleh mesin. Levesque berpendapat bahwa pengetahuan memainkan peran sentral dalam masalah-masalah ini: jawaban atas skema ini berkaitan dengan pemahaman kita tentang hubungan khas antara dan polisi dan para demonstran.

Sejak proposal tantangan skema Winograd dipublikasi, Ernest Davis, seorang profesor di Universitas New York, telah menyusun daftar lebih dari 140 skema Winograd dari berbagai sumber sebagai contoh jenis pertanyaan yang seharusnya muncul pada tantangan skema Winograd.

Deskripsi formal 
Pertanyaan tantangan skema Winograd terdiri dari tiga bagian:

 Sebuah kalimat atau wacana singkat yang berisi hal-hal berikut:
 Dua frasa kata benda dari kelas semantik yang sama (pria, wanita, benda mati, atau kelompok benda atau orang),
 Kata ganti ambigu yang dapat merujuk ke salah satu frasa kata benda di atas, dan
 Kata khusus dan kata alternatif, sehingga jika kata khusus diganti dengan kata alternatif, resolusi alami dari kata ganti ambigu akan berubah.
 Sebuah pertanyaan yang menanyakan identitas kata ganti yang ambigu, dan
 Dua pilihan jawaban yang sesuai dengan frase kata benda yang dimaksud.

Mesin akan diberikan pertanyaan dalam bentuk standar yang mencakup pilihan jawaban, sehingga menjadikannya masalah keputusan biner.

Kelebihan dan kekurangan 
Tantangan skema Winograd memiliki kelebihan-kelebihan berikut ketimbang uji Turing:

 Pengetahuan dan penalaran yang masuk akal diperlukan untuk menyelesaikannya.
 Skema Winograd dengan berbagai tingkat kesulitan dapat dirancang, yang melibatkan apa pun mulai dari hubungan sebab-akibat sederhana hingga narasi peristiwa yang kompleks.
 Skema ini dapat dibangun untuk menguji kemampuan penalaran dalam domain tertentu (misalnya, penalaran sosial/psikologis atau spasial).
 Tidak perlu ada juri manusia.

Salah satu kekurangan dari tantangan skema Winograd adalah proses membuat pertanyaan. Skema ini perlu disesuaikan secara hati-hati untuk memastikan bahwa skema ini memerlukan penalaran yang masuk akal untuk menyelesaikannya. Sebagai contoh, Levesque memberikan contoh berikut (dialihbahasakan) ini dari apa yang disebut skema Winograd yang "terlalu mudah":Jawaban dari pertanyaan ini dapat ditentukan dengan menggunakan selectional restrictions: pada segala kemungkinan, pil tidak mungkin hamil namun perempuan mungkin; perempuan tidak mungkin beracun namun pil mungkin. Akibatnya jawaban dapat ditentukan tanpa menggunakan penalaran atau pemahaman tentang makna kalimat — informasi yang dibutuhkan hanya selectional restrictions untuk kata 'hamil' dan 'beracun'.

Aktivitas 
Pada tahun 2016 dan 2018, Nuance Communications mensponsori kompetisi dan menawarkan hadiah utama sebesar $25.000 untuk pencetak skor tertinggi di atas 90% (sebagai perbandingan, manusia menjawab dengan benar 92-96% pertanyaan WSC). Namun, tidak ada yang mendekati untuk memenangkan hadiah pada tahun 2016. Terlebih lagi, kompetisi 2018 dibatalkan karena kurangnya prospek dan hadiah tidak lagi ditawarkan.

Sebuah diadakan pada tanggal 23-25 Maret 2015 di Seri Simposium Musim Semi AAAI di Universitas Stanford, dengan fokus khusus pada tantangan skema Winograd. Panitia penyelenggara termasuk Leora Morgenstern (Leidos), Theodore Patkos (The Foundation for Research & Technology Hellas), dan Robert Sloan (Universitas Illinois di di Chicago).

Winograd Schema Challenge 2016 dijalankan pada tanggal 11 Juli 2016 di IJCAI-16. Ada empat kontestan. Babak pertama kontes ini adalah untuk memecahkan masalah disambiguasi kata ganti (pronoun disambiguation problems, PDP), yang diadaptasi dari sumber-sumber literatur dan tidak dikonstruksi sebagai pasangan kalimat. Skor tertinggi yang dicapai adalah 58% benar, oleh Quan Liu dkk, dari Universitas Sains dan Teknologi, Cina. Oleh karena itu, sesuai dengan aturan tantangan itu, tidak ada hadiah yang diberikan, dan tantangan tidak dilanjutkan ke babak kedua. Panitia penyelenggara pada tahun 2016 adalah Leora Morgenstern, Ernest Davis, dan Charles Ortiz.

Pada tahun 2017, model asosiasi neural (neural association) yang dirancang untuk akuisisi pengetahuan akal sehat mencapai akurasi 70% pada 70 masalah yang dipilih secara manual dari kumpulan data skema 273 Winograd asli. Pada bulan Juni 2018, skor akurasi 63,7% dicapai pada dataset lengkap menggunakan model ensemble dari recurrent neural network (RNN), menandai penggunaan pertama NN yang dapat belajar dari korpora independen untuk memperoleh pengetahuan akal sehat. Pada tahun 2019, skor 90,1% dicapai pada set data skema Winograd asli dengan fine-tuning dari model bahasa BERT. Model ini belajar dengan data training mirip-WSC yang sesuai untuk menghindari keharusan mempelajari penalaran akal sehat. Model bahasa umum GPT-3 mencapai skor 88,3% tanpa fine-tuning khusus pada tahun 2020.

Set data adversarial "Winogrande" yang lebih menantang dirancang pada tahun 2019. Dataset ini berisi 44.000 masalah dengan gaya isi titik-titik, berbeda dengan format kata ganti dari dataset sebelumnya. Sebuah versi dari tantangan skema Winograd menjadi salah satu bagian dari koleksi tolok ukur GLUE (General Language Understanding Evaluation) dari tantangan dalam pemahaman bahasa alami otomatis.

Referensi

Pranala luar 

 Situs untuk kontes yang disponsori oleh Nuance Communications