I 1853 giftet han seg med Ann Eliza Clifford Lewis i Columbus, Georgia, og hun forble hans ektefelle til hans død i 1888. De fikk et barn sammen, Charles Ney Pemberton som ble født i 1854.