Felipe II también se aloja en el palacio, pero poco a poco va cayendo en desuso, lo que hace que se vaya deteriorando.