Walpole ble født i Houghton i Norfolk i 1676 som ett av 19 barn. Han var tredje sønn og femte barn av den lavadelige whig-politikeren Robert Walpole, som representerte Castle Rising i House of Commons, og hans hustru Mary Walpole, datter og arving av Geoffrey Burwell av Rougham.