Gyllenhammar begynte sin karrière som datasjef i Skandia, der hans far, Pehr Gyllenhammar sr., var administrerende direktør. I 1970 etterfulgte han sin far som adm.dir., men allerede året etter gikk han til Volvo.