Semantisk rolleoppmerking består av to separate steg, identifisering og klassifisering. Disse kan enten evalueres hver for seg, eller sammen. Det er vanlig å beregne , og F-poengsum på de semantiske rollemerkelappene for hvert argument generert av et system. Gjennom flere CoNLL Shared Tasks er det etablert baseline datasett som ofte brukes for å sammenligne systemer, med F-makrosnitt som evalueringsmetrikk.