Teller ble født 15. januar 1908 i Budapest, Østerrike-Ungarn (nå Ungarn) til en jødisk familie. Foreldrene var Max (jurist) og Ilona (pianist) Teller. Han forlot Ungarn i 1926, i en alder av 18 år. Det politiske klimaet og revolusjoner i Ungarn i hans ungdom innpodet et langvarig fiendskap i Teller, overfor både kommunismen og fascismen. Da han var ung student, ble hans høyre fot kuttet av i en bilulykke i München, som gjorde at han måtte gå med en protese på foten, og etterlot ham med en livslang halting. Han gikk på Minta-gymnaset i Budapest, kjent for sine mange begavede elever. Fra elite-gymnasene i Ungarn kom det flere fremstående vitenskapsfolk blant andre John von Neumann, Theodore von Kármán, Leo Szilard og Eugene Wigner. I USA ble innvandrede ungarske jøder omtalt som (marsboere). Teller ble venn av Neumann, Szilards og Wigner. Neumann, blant andre, var oppmerksom på dette «ungarske fenomen» med verdensledende fysikere og andre fremstående vitenskapsfolk (feks Albert Szent-Györgyi Karl Polanyi).