Han giftet seg med Anne Holland, som var eneste datter av Anne of York og niese av Edvard IV. Hun døde tidlig uten å ha fått barn, og han giftet seg så med Cecily Bonville, baronesse av Harington and Bonville, som var niese av Richard, jarl av Warwick og stedatter av William Hastings. Lady Jane Grey var hans oldebarn fra det andre ekteskapet.