Davidson gikk på Baylor University og spilte på profesjonelt nivå for NFLs Baltimore Colts (1954, 1957) og AFLs Dallas Texans (1960–1962) og Oakland Raiders (1962–1968).