Hildegard Goss-Mayr er datter av Kaspar Mayr som grunnla den østerrikske grenen av International Fellowship of Reconciliation (IFOR). Hun studerte filosofi i Wien og New Haven, og tok en Ph.D ved Universitetet i Wien i 1953. Samme år begynte hun å jobbe i IFOR. I 1958 giftet hun seg med den franske fredsaktivisten Jean Goss (1912–1991), og de fikk to barn sammen.