Da den 19. jarlen døde i 1580 gikk tittelen til Philip Howard, som var Thomas Howard, 5. hertug av Norfolks eldste sønn. Philip var gift med den siste Fitzalanjarlens eneste datter. Både Philip og faren ble snart etter fratatt sine titler for å ha konspirert mot Elisabeth I. Under Jakob I fikk de titlene tilbake. Det var også et opphold i Oliver Cromwells regjeringstid, men i 1660 ble alle titler gitt tilbake til hertugen av Norfolk.