Han klarte gjennom rosekrigene å holde seg inne med alle konger, og fortsatte med det helt frem til sin død. Derby var først gift med Eleanor Neville, søster av Richard Neville, 16. jarl av Warwick. Selv etter at Warwick falt ut av nåde hos kongen talte dette til hans fordel. Senere giftet han seg på nytt med Margaret Beaufort, som var moren til Henry Tudor, Huset Lancaster ledende tronkrever på slutten av krigene.