En 1792, tras la caída en desgracia de Floridablanca, Carlos IV decidió ofrecer el palacio a su favorito, el político Manuel Godoy.