Vanbrugh ble født i London som fjerde barn av 19, og var den eldste overlevende sønnen av Giles Vanbrugh og dennes hustru Elizabeth, enke etter Thomas Barker (som Vanbrughs mor hadde den første av hennes tyve barn, Vanbrughs eldre halvsøster Elizabeth), og datter av sir Dudley Carleton, av Imber Court, Thames Ditton, i Surrey. Vanbrugh vokste opp i Chester hvor hans familie var blitt fordrevet grunnet et større pestutbrudd i London i 1665.