A partir de 1485 sirvió de tribunal y cárcel de la Inquisición, pero las Alteraciones de Zaragoza obligaron a Felipe II a fortificarlo en el estilo de ingeniería militar renacentista, y a partir de 1706, con la Guerra de Sucesión Española, se empleó como cuartel militar.