Hijo mayor de Thomas Howard, III duque de Norfolk, y de su segunda esposa, lady Elizabeth Stafford (hija de Edward Stafford, duque de Buckingham), descendía de reyes por ambas líneas.