Pehr G. Gyllenhammar er sønn av Pehr Gyllenhammar Sr. og Aina Gyllenhammar, født Kaplan (1903–1995). Han giftet seg 24. oktober 1959 med Christina Gyllenhammar, født Engellau, datter av Volvos mangeårige adm.dir. Gunnar Engellau og Margit Engellau, født Höckert. Pehr G. Gyllenhammar er far til Cecilia Gyllenhammar, Charlotte Gyllenhammar, Sophie Gyllenhammar Mattsson og Oscar Gyllenhammar (født 1966).