Alrededor de la actual Iglesia parroquial quedan restos de una especie de fortaleza de la que se conservan un muro de 30 metros de longitud y 4 de altura. Fue mandada construir por Jaime II en 1337 como defensa contra las invasiones castellanas. Está realizada en sillares de grandes dimensiones, en el que quedan varias saeteras bien visibles en su cara interna y apenas apreciables en la parte externa del muro, además de un ligero talud en la base. En su recinto se incluía una torre con barbacana. En 1361 Pedro IV volvió a ordenar obras en el recinto. Tras la Guerra de los Dos Pedros quedó muy dañada, autorizando el arzobispo de Zaragoza la construcción de una torre campanario en el castillo.