Hva som er «straff» i EMKs forstand vil ikke være opp til statene selv å avgjøre; dette ligger nedfelt i konvensjonen, og er opp til Den europeiske menneskerettsdomstolen (EMD) å foreta en fortolkning av. Hva som etter nasjonal rett regnes som straff vil bare være et utgangspunkt. Om sanksjonen er straff eller ikke vil bli avgjort etter en konkret skjønnsmessig vurdering, der særlig to momenter kommer inn i bildet. Det første momentet går på den aktuelle handlingens art. Dette går på om den aktuelle normen retter seg mot handlinger som kan begås av enhver (typisk ordensforskrifter) eller om det snakk om en norm som kun kommer til anvendelse ovenfor spesielle grupper. Der normen er generell taler det for at man har med straff å gjøre. Det andre og viktigste momentet er hvor streng sanksjon overtredelsen fører med seg. Frihetsberøvelse vil normalt være nok til at det foreligger straff i rettslig forstand, selv om det finnes visse unntak fra dette der frihetsberøvelsen har vært av spesielt mild art, eller er helt kortvarig. Disse momentene har blitt anvendt av EMD i en rekke saker, og domstolen har blant annet kommet til at dispilinærtiltak i fengsler, bot ilagt av forvaltningen som følge av trafikkforseelse og rettergangsbot måtte anses som straff. I Norge har det vært diskusjon om inndragelse av førerkort skal regnes som straff i EMKs forstand, og Høyesterett kom i en dom fra 2002 til et bekreftende svar på dette spørsmålet.