Den 9. mai 1840 giftet han seg med Margaret Moffette Lea i Marion i Alabama. Sammen fikk de åtte barn.