Comenzó la transformación del castillo hacia una especie de fortaleza feudal de estilo gótico tan pronto como sucedió a su padre en 1811, encargando al arquitecto William Atkinson la reconstrucción del castillo entre 1812 y 1822, siendo siempre la residencia favorita del duque.