Su reputación se vio perjudicada en 1872 cuando uno de sus detractores, la sufragista Victoria Woodhull, lo acusó de adulterio.