Holbach var sønn av vinbonden Johann Jakob Dietrich (1672–1756) og Catherine Jacobina Holbach (1684–1743), hun var datter av Johannes Jacobus Holbach (død 1723), en skatteinnkrever for fyrstbispen av Speyer. Fra åtteårs alder ble Holbach oppfostret av sin styrtrike og adlede onkel, Franz Adam Holbach. Begge tok fransk statsborgerskap. Holbach ble adoptert av sin onkel, og arvet hans formue, land og tittel.