Vanbrugh wurde 1664 in London geboren und wuchs in Chester auf, wohin die Familie während der Großen Pest 1665/1666 geflüchtet war. Downes bezweifelt die Aussagen früherer Wissenschaftler, dass Vanbrugh aus einer Familie der unteren Mittelschicht kam und interpretiert dies als eine Fehldeutung von Angaben aus dem 18. Jahrhundert, dass sein Vater Giles Vanbrugh den Beruf eines „sugar bakers“ (wörtlich "Zuckerbäckers") ausübte. Der Beruf des Zuckerbäckers impliziert Wohlstand, denn damit wurde nicht der Hersteller von Süßigkeiten bezeichnet, sondern der Besitzer einer Manufaktur, in der Rohrzucker aus Barbados veredelt wurde. Die Zuckerveredelung war gewöhnlich auch mit dem Zuckerhandel verbunden und ein lukrativer Geschäftszweig. Downes konnte am Beispiel eines Liverpooler Zuckerbäckers zeigen, dass dieser ein beachtliches Einkommen von ungefähr 40.000 Pfund im Jahr erzielen konnte. Dies wirft ein deutlich anderes Licht auf Vanbrughs sozialen Hintergrund als das Bild einer Jugend in einem Süßigkeitenladen von Chester, das einer der Vanbrugh-Biografen des 19. Jahrhunderts, Leigh Hunt, im Jahre 1840 zeichnete und das spätere Biografien prägte.