El edificio fue modificado sustancialmente y ampliado durante la época victoriana por John Crichton-Stuart, Marqués de Bute, y el arquitecto William Burges.