Göring vokste opp på Marienbad sanatorium, ved Rosenheim i Bayern. Familien var velstående, og kom fra en aristokratisk slekt med tyskspråklig, sveitsisk bakgrunn. Faren, Heinrich Ernst Göring (31. oktober 1839 – 7. desember 1913), var en tidligere kavalerioffiser, og hadde arbeidet som embetsmann i Tysk Sydvest-Afrika. Der ble medlemmer av herero-stammen satt i konsentrasjonsleir, hvor Heinrich Göring lot sine kolleger utføre medisinske eksperimenter på fangene, med raseforskning som formål.