I januar 1816 da ekteparet markerte deres første år sammen foreslo Lord Byron at de skulle oppgi huset ved Piccadilly Terrace. Han anbefalte at Lady Byron skulle ta med Ada til hennes foreldres hus og bli der midlertidig inntil han hadde ordnet opp i sin økonomi. Mistroisk søkte Annabella medisinsk råd da hun var overbevist om at ektemannen var blitt sinnssyk. Hun inviterte en lege til deres hjem for se på ektemannen. Lord Byron var uvitende om besøkets sanne hensikt og Lady Byron fikk rådet at burde gjøre hva ektemannen hadde foreslått og forflytte seg til foreldrenes hjem.