Det tok ikke lang tid før Speedie utviklet seg til en viktig del av Browns’ angrep sammen med quarterback Otto Graham, fullback Marion Motley og mottaker Dante Lavelli. Han var entusiastisk, energisk og kjapp, og var en utfordring for forsvarerne som dekket ham opp. Han hadde en uvanlig løpestil som et resultat av sykdommen, som Lavelli sa at «gav ham en merkelig gange som gjorde det lett for ham å lure forsvarere». Speedie tok imot den første touchdownpasningen i ligaens historie i Browns’ åpningskamp mot Miami Seahawks, som laget vant 44–0. Browns endte seriespillet 12–2 og vant divisjonstittelen i AAFC West og en plass i tittelkampen. I uken før tittelkampen mot New York Yankees ble Speedie og to lagkamerater, Lou Rymkus og lagkaptein Jim Daniell, arrestert etter en konfrontasjon med politiet i Cleveland. Daniell var sjåfør i en bil med Rymkus og Speedie som passasjerer og ventet på at Speedies kone skulle komme inn med et fly fra Utah. Daniell tutet på en politibil som blokkerte ham, som førte til konfrontasjonen og arrestasjonene. Brown sparket Daniell av laget, men Speedie og Rymkus ble ikke straffet av laget; de ble holdt i arresten i flere timer før de ble siktet for forstyrrelse av freden.