Durante la Restauración de los Estuardo, Carlos II reconstruyó gran parte del castillo con ayuda del arquitecto Hugh May y creó una serie de extravagantes interiores barrocos que todavía hoy causan admiración.