El Castillo se convirtió en residencia real en 1848, cuando fue alquilado a la Reina Victoria I, tatarabuela de la actual monarca.