Etter 1954-sesongen ble Davidson informert om at han hadde blitt innkalt til å tjene i USAs hær, og tilbrakte to år i militærtjeneste. Innen Davidson var tilbake med Colts i 1957 hadde Johnny Unitas blitt lagets startende quarterback.