Roughriders tilbød Speedie en dobling av lønnen han fikk av Browns i en periode hvor de canadiske ligaene forsøkte å øke interessen ved å signere stjernespillere fra NFL. Paul Brown nektet å matche tilbudet og Speedie, som tjente $11 000 i året med Browns, signerte kontrakt med det canadiske laget før 1953-sesongen. Brown truet deretter Speedie med søksmål for brudd på hans kontrakt med laget da han påstod at Browns hadde tatt nytte av en mulighet til å forlenge kontrakten etter den utløp i sommeren 1953. «Dette var enkelt og greit et tilfelle av kontraktsbrudd, da denne unge mannen moralsk og etisk hadde en kontrakt med oss», sa Brown. Speedie sa senere at Brown «sa til meg at han skulle ta hevn da jeg forlot ligaen».