Brouncker ble født i Castlelyons i County Cork som eldste sønnen til William Brouncker (1585-1649), 1. viscount Brouncker og Winifred, datter av William Leigh of Newnham. Familien hans kom opprinnelig fra Melksham i Wiltshire. Hans bestefar Henry Brouncker (død 1607) hadde vært Lord President of Munster 1603-1607, og bosatte sin familie i Irland.