Durante su vida incluso se rumoreó que tenía un romance con la hermana mayor de su esposa, Angelica, que tres años antes del matrimonio de Hamilton con Elizabeth se había fugado con John Barker Church, un inglés que hizo una fortuna en Norteamérica durante la Revolución y más tarde regresó a Europa como su esposa y con sus hijos entre 1783 y 1797.