Pierre Boulez var sønn av forretningsmannen Léon Boulez og av Marcelle Calabre. Han begynte på hjemstedets katolske skole som seksåring; det var lange skoledager, de daglige bønnestundene i skolekapellet i ti år klarte å gi ham selvdisiplin, men gikk visstnok utover gudstroen.