Davidson naît dans le comté de Fairfax, en Virginie. Il est le fils de William B. Davidson, un officier d'artillerie de l'armée des États-Unis, et l'ex Elizabeth Chapman Hunter. Il est l'aîné des quatre fils ; ses frères sont Hunter, Roger et Charles. Son père meurt de maladie, en servant en Floride au cours de la deuxième guerre Séminole en 1840. Sa mère se remarie, une décennie plus tard, mais meurt peu de temps après, en 1850.