John de Gaunt mejoró el castillo a finales del siglo XIV como Duque de Lancaster.