I 1955 hadde Ferguson over 1 000 yards totalt for Packers og ble utvalgt til Pro Bowl som en fullbacker sammen med vinner av Heisman-troféet og NFL Rookie of the Year Alan Ameche fra Baltimore Colts. Ferguson la opp i 1959 etter flere skader, men var tilbake med Los Angeles Chargers i American Football League (AFL) i 1960. I 1974 ble han innlemmet i Green Bay Packers Hall of Fame.