Ya en el siglo XIX, se planteó la oportunidad de recuperar como sede del Museo el famoso Palacio de Carlos V, considerado el edificio más importante de la Granada cristiana y que permanecía vacío, en condiciones no óptimas.