Tras la conquista castellana de la ciudad es durante el reinado de Carlos I cuando se realizan las mayores modificaciones destruyéndose parte del palacio nazarí para construir el llamado Palacio de Carlos V.