Tras numerosas modificaciones a la estructura original se convirtió en calabozo de la Inquisición española en 1486, época que concuerda con la decadencia del palacio.