Williams far var Robert Pitt (1680–1727), eldste sønn av guvernør Pitt. Han satt i parlamentet som tory fra 1705 til 1727. Williams mor var Harriet Villiers, datter av Edward Villiers-FitzGerald og Katherine FitzGerald. Begge Williams onkler på farssiden, Thomas og John var også parlamentsmedlemmer; hans tante Lucy giftet seg med den ledende whigpolitikeren og generalen James Stanhope. Fra 1717 til 1721 var Stanhope førsteminister i Stanhope–Sunderland-ministeriet og var en nyttig politisk kontakt for Pittfamilien frem til South Sea Bubble, en katastrofe var ødeleggende for regjeringen.