Tras la expulsión de los mismos, a principios del siglo XIII, se construyó un castillo donde se fueron asentando diversas familias.