Vivieron su historia de amor en secreto durante algún tiempo, pero cuando lady Byron se enteró prohibió al joven entrar en su casa y relacionarse con su hija.