Tras el fallecimiento del cardenal Quiroga, en 1593, el cigarral es abandonado y comienza a deteriorarse rápidamente, hasta que en 1617, es adquirido por el segundo marqués de Malpica, a cuya familia va a permanecer hasta mediados del siglo XIX.