Hans far, William Eliot Morris Zborowski (1858–1903) var også en racerbilfører og døde i en bilulykke under et hastighetsløp i 1903 i La Turbie i Nice, Frankrike. Hans mor var en velstående amerikansk arving, født Margaret Laura Astor Carey (1853–1911), et barnebarn av William Backhouse Astor, sr. og Margaret Rebecca Armstrong fra den fremtredende Astor-familien. Hun hadde vært Madame de Stuers før sin skilsmisse og nye ekteskap i 1892 med Eliot Zborowski.