Era el hermano mayor de Ethelbert Barksdale, que fue miembro tanto del Congreso de los Estados Unidos como del Congreso de los Estados Confederados durante la Guerra Civil.