Brazza nedstammet fra en gammel italiensk adelsslekt. Afrikaforskeren Giacomo di Brazzà var hans bror. Pierre var syvende sønn av greve Ascanio Savorgnan di Brazzà, en adelsmann fra Udine med mange franske forbindelser, og hans hustru Giacinta Simonetti.