I august 1813 kontaktet hun Byron i brev for den første gang. Brevene fortsatte inn i det neste året, tilbød en del beroligelser og støtte i løpet av den tid da den offentlige mening av ham ikke var i hans favør, andre beskrev «den utilstrekkelig tiltrekning» hun følte for ham. I løpet av denne tiden aksepterte han en invitasjon fra Sir Ralph Milbanke til å besøke Seaham Hall, familiens hjem i grevskapet Durham.