Speedie vokste opp i Utah og ble en utmerket hekkeløpsutøver i high school og fullback på skolens fotballag til tross for en barndom med Perthes sykdom. Han gikk på University of Utah hvor han fortsatte å utmerke seg i friidrett og amerikansk fotball før han gikk inn i hæren i 1942 under andre verdenskrig. Han tjenestegjorde i fire år før han signerte med Browns i 1946, hvor han spilte end med quarterback Otto Graham, fullback Marion Motley og receiver Dante Lavelli. Browns, da et nytt lag i AAFC, vant ligatittelen hvert år mellom 1946 og 1949. Etter at ligaen ble oppløst i 1950 ble laget en del av NFL, og Speedie fortsatte sin suksess på veien til nok en ligatittel. Etter to år til med Browns valgte Speedie å forlate laget til fordel for Western Interprovincial Football Union (WIFU) etter en konflikt med hovedtreneren Paul Brown. Han spilte to fulle sesonger i WIFU og én kamp i en tredje sesong før han pensjonerte seg.