Después de la muerte de María Tudor el 24 de junio de 1533, Brandon se casó en 1534 con su pupila Catherine Willoughby (1520–1580), "suo jure" baronesa Willoughby de Eresby, entonces una muchacha de apenas quince años.