Göring vokste opp i Friedenau i Berlin. Faren Heinrich Ernst Göring (1839–1913) var en tidligere kavalerioffiser og hadde arbeidet som tysk rikskommissær i Tysk Sydvest-Afrika. Familien var velstående og kom fra en aristokratisk familie med tyskspråklig sveitsisk bakgrunn.