Etter militærtjenesten giftet Davis seg med forloveden Carol Sagal i en synagoge i Brooklyn; paret kjøpte sitt første hjem i Atlantic Beach, nær Davis’ foreldre. I ett år jobbet han frilans som talentspeider for Baltimore Colts i NFL. Han hadde omfattende kunskap om spillere han hadde hatt i sin spillerstall eller spilt mot, og tilbød Colts råd om hvem de burde tilby kontrakter eller drafte etter de fullførte militærtjenesten. Davis forsøkte bygge en relasjon med Colts’ hovedtrener Weeb Ewbank i et håp om at Ewbank kunne skaffe ham en trenerjobb, noe som endte opp med å lønne seg i januar 1955 da Davis ble ansatt av The Citadel i Sør-Carolina som en assistenttrener under hovedtrener John Sauer. Militærakademiet hadde tapt hver eneste kamp året før, og forrige hovedtrener John McMillan hadde fått sparken etter to sesonger. I et intervju sa Davis at han ville klare å overtale menn fra småbyer til å gå på The Citadel, som ofte hadde hatt problemer med å rekruttere stjernespillere på grunn av de strenge reglene på universitetet. Han fant suksess i rekrutteringen, selv om ikke alle han hentet inn ble værende etter treningsleiren på Parris Island.