Jabarkan Aktivitas dari Tantangan skema Winograd

Pada tahun 2016 dan 2018, Nuance Communications mensponsori kompetisi dan menawarkan hadiah utama sebesar $25.000 untuk pencetak skor tertinggi di atas 90% (sebagai perbandingan, manusia menjawab dengan benar 92-96% pertanyaan WSC). Namun, tidak ada yang mendekati untuk memenangkan hadiah pada tahun 2016. Terlebih lagi, kompetisi 2018 dibatalkan karena kurangnya prospek dan hadiah tidak lagi ditawarkan.

Sebuah diadakan pada tanggal 23-25 Maret 2015 di Seri Simposium Musim Semi AAAI di Universitas Stanford, dengan fokus khusus pada tantangan skema Winograd. Panitia penyelenggara termasuk Leora Morgenstern (Leidos), Theodore Patkos (The Foundation for Research & Technology Hellas), dan Robert Sloan (Universitas Illinois di di Chicago).

Winograd Schema Challenge 2016 dijalankan pada tanggal 11 Juli 2016 di IJCAI-16. Ada empat kontestan. Babak pertama kontes ini adalah untuk memecahkan masalah disambiguasi kata ganti (pronoun disambiguation problems, PDP), yang diadaptasi dari sumber-sumber literatur dan tidak dikonstruksi sebagai pasangan kalimat. Skor tertinggi yang dicapai adalah 58% benar, oleh Quan Liu dkk, dari Universitas Sains dan Teknologi, Cina. Oleh karena itu, sesuai dengan aturan tantangan itu, tidak ada hadiah yang diberikan, dan tantangan tidak dilanjutkan ke babak kedua. Panitia penyelenggara pada tahun 2016 adalah Leora Morgenstern, Ernest Davis, dan Charles Ortiz.

Pada tahun 2017, model asosiasi neural (neural association) yang dirancang untuk akuisisi pengetahuan akal sehat mencapai akurasi 70% pada 70 masalah yang dipilih secara manual dari kumpulan data skema 273 Winograd asli. Pada bulan Juni 2018, skor akurasi 63,7% dicapai pada dataset lengkap menggunakan model ensemble dari recurrent neural network (RNN), menandai penggunaan pertama NN yang dapat belajar dari korpora independen untuk memperoleh pengetahuan akal sehat. Pada tahun 2019, skor 90,1% dicapai pada set data skema Winograd asli dengan fine-tuning dari model bahasa BERT. Model ini belajar dengan data training mirip-WSC yang sesuai untuk menghindari keharusan mempelajari penalaran akal sehat. Model bahasa umum GPT-3 mencapai skor 88,3% tanpa fine-tuning khusus pada tahun 2020.

Set data adversarial "Winogrande" yang lebih menantang dirancang pada tahun 2019. Dataset ini berisi 44.000 masalah dengan gaya isi titik-titik, berbeda dengan format kata ganti dari dataset sebelumnya. Sebuah versi dari tantangan skema Winograd menjadi salah satu bagian dari koleksi tolok ukur GLUE (General Language Understanding Evaluation) dari tantangan dalam pemahaman bahasa alami otomatis.