María I de Escocia
La línea FitzAlan terminó cuando Mary FitzAlan, hija del decimonoveno conde, se casó con Thomas Howard, cuarto duque de Norfolk. La corona quitó el castillo a la familia tras ser ejecutados por conspirar para casarse con María I de Escocia, en 1572. Sin embargo el castillo fue devuelto a sus herederos, los sucesores del conde de Arundel.