El soberano habitó el palacio desde su entrada a Madrid en 1759 hasta su traslado al Palacio Real Nuevo en 1764.