Por otro lado, los historiadores dicen que fue Olivares, y no el rey Felipe IV de España, quien impulsó la construcción del Palacio del Buen Retiro de Madrid, un amplio proyecto que revolucionó el ámbito de la pintura en la ciudad, gracias a los encargos y compras masivas que se efectuaron para decorar este nuevo palacio.