El idilio se rompió en 1523, cuando el padre de lord Henry se negó a apoyar el compromiso.