1534 starb auch Brandons zweiter Sohn Henry, Earl of Lincoln, im Alter von nur zehn oder elf Jahren. Brandon blieb dem König verbunden, er stand am Schafott bei der Hinrichtung von Anne Boleyn und führte Maßnahmen gegen die Pilgrimage of Grace. Die letzten Jahre verbrachte Suffolk ruhig und vermögend, Heinrich hatte ihm reichlich eingezogenes Kirchenvermögen übereignet. Die beiden Söhne seiner vierten Ehe, Henry und Charles, starben am 14. Juli 1551 am Englischen Schweiß.