Da Anne av York døde i 1511 var han etter 17 år fortsatt barnløs og han giftet seg året etter med den betydelig yngre Elizabeth Stafford, datter av Edward Stafford, 3. hertug av Buckingham og Alianore Percy. Ekteskapet var ulykkelig, etter sigende ettersom han viste fram sitt utroskap med sin hustrus kammerpike Bess (Elizabeth) Holland, og brutalt banket opp sin hustru når hun protesterte. De fikk fire barn sammen. Deres eldste sønn var poeten Henry Howard, jarl av Surrey. De andre var Mary Howard, Thomas Howard og Katarina Howard. Han fikk i tillegg sannsynligvis datteren Jane Goodman utenfor ekteskap med Bess Holland.