Ferguson vokste opp i Louisiana og spilte amerikansk fotball, basketball, baseball og drev med boksing da han gikk på New Iberia High School. Han vervet seg til marinen den 8. januar 1948 og tjenestegjorde under Koreakrigen. Under offseason jobbet han på et oljefelt i New Iberia. Selv om han aldri spilte college football ble Ferguson oppdaget da han spilte amerikansk fotball på et marinelag i California av en talentspeider for NFLs Los Angeles Rams. Han spilte med Navy League Amphibian Division og var en MVP som ble utnevnt All-Navy to år på rad. Etter å ha spilte amerikansk fotball i marinen i fire år ble han dimittert 7. januar 1952, og signerte med Los Angeles Rams den 11. juni før han ble waived 19. september. I 1953 ble han signert av Green Bay Packers som en free agent. Mellom 1953 og 1958 hadde Ferguson 2 120 yards på løp og 1 079 mottatte yards.