Göring afirmà que el seu nom era en honor d'Armini que derrotà les legions romanes a la Batalla del bosc de Teutoburg. Tanmateix, sembla que la història no era tan espectacular, i el nom va ser en honor del seu padrí, un cristià d'ascendència jueva, nascut Hermann Epenstein. Epenstein, que havia estat cirurgià militar a Berlín, esdevingué metge i negociant, i una gran influència en la infància de Göring, si no paternal. Gran part de la seva infància, incloent una llarga separació dels seus pares quan el seu pare ocupava càrrecs diplomàtics a Àfrica i a Haití (climes considerats massa brutals per a un nen europeu) va ser en companyia de diverses institutrius i parents. Tanmateix, fins al retir de Heinrich Göring cap al 1898 la seva gran família, mantinguda només amb la seva pensió modesta del cos de funcionaris públics, per motius financers, va fer que sovint s'allotgessin a la casa del vell amic, Hermann Ritter von Epenstein.