Dicho recinto fortificado permaneció en pie hasta que, en el siglo XVI, el Emperador español Carlos V mandó que sus piedras fueran utilizadas para construir el convento de monjas que él tenía proyectado para Jamilena.