John Holland, som var en sønnesønn av den første FitzAlan, jarl av Surrey, fikk deretter opprettet tittelen hertug av Surrey. Han holdt tittelen i to år før han ble strippet for tittelen av kong Henrik IV av England og jarldømmet ble deretter gjenopprettet og gitt tilbake til familien Fitzalan. Denne jarlen døde i 1415 uten en mannlig arving og jarldømmet ble deretter enten nedlagt eller satt i bero (forskerne er uenige om dette), mens jarldømmet Arundel ble gitt videre til slektninger som ikke nedstammet fra de Warenne-familien.