Fjorten år gammel ble han gift med sin fostersøster, Anne Dacre. Det arrangerte ekteskapet var dårlig til å begynne med, og de var lenge fra hverandre, men ble så gjenforent og fikk etterhvert et svært godt ekteskap.