Bergen ble født Edgar John Berggren i Chicago, som et av fem barn og den yngste av to sønner. Foreldrene var de svenske immigrantene Nilla Svensdotter (født Osberg) og Johan Henriksson Berggren. Han bodde på en gård i Decatur i Michigan frem til han var fire år da familien returnerte til Sverige hvor han lærte svensk. Han lærte seg selv buktaling fra en brosjyre kalt "The Wizard's Manual" da han var elleve, og familien reiste tilbake til Chicago. Han gikk på Lake View High School.