Al voltant de l'actual església parroquial queden restes d'una espècie de fortalesa de la qual es conserva un mur de 30 m de longitud i 4 d'alçada. Va ser manada construir per Jaume II el 1337 com a defensa contra les invasions castellanes. Està feta en carreus de grans dimensions. Hi ha diverses sageteres ben visibles en la cara interna i amb prou feines apreciables en la part externa del mur, a més d'un lleuger talús a la base. En el recinte s'incloïa una torre amb barbacana. L'any 1361 Pere III va tornar a ordenar fer obres en el recinte. Després de la Guerra dels dos Peres va quedar molt malmesa i l'Arquebisbat de Saragossa va autoritzar la construcció d'una torre campanar en el castell.