La Abadía Agustina en ruinas que está en los terrenos del Palacio fue construida en 1128 por orden del rey David I de Escocia.