Su padre fue James Clifford Pemberton, hermano del general confederado John Clifford Pemberton.