Está rodeado por una muralla de fortificación mandada construir por Pedro IV como protección, a raíz de haber ordenado que se dedicase en la iglesia un espacio a panteón real.