William Pitt ble født ved Golden Square i Westminster. Hans storebror, Thomas Pitt, var født i 1704. Han hadde dessuten fem søstre: Harriet, Catherine, Ann, Elizabeth og Mary.