Olivares, con intención de agradar al monarca, proyecta en 1629 y comienza en 1630 la construcción de una serie de gabinetes y pabellones como extensión del "Cuarto Real", que acabarán conformando el Palacio del Buen Retiro.