I 2004 fikk deltakerne som oppgave å utvikle maskinlæringsstrategier som klarte å tilordne semantiske roller til argumenter for verbalpredikater på bakgrunn av delvis syntaktisk informasjon. Deler av Wall Street Journal-delen i Penn Treebank, med annotasjoner fra PropBank, ble brukt som datasett. Det beste systemet var basert på støttevektormaskiner og oppnådde en F1-poengsum på 69,49.