En 1816 Lady Caroline publicó una novela gótica "Glenarvon", que retrataba tanto el matrimonio como su affair con Byron de una manera estridente, lo que causó a William aún mayor incomodidad, mientras que las maliciosas caricaturas de destacadas figuras sociales hicieron de ellos varios enemigos influyentes.