Fue construido en 1091 y reformado durante la época victoriana por el tercer marqués de Bute, quien mediante el arquitecto William Burges incorporó las torres de estilo neogótico.