Elmer Andersen ble født i Chicago. Moren, Jennie Olivia, født Johnson, var andregenerasjons svensk-amerikaner. Morfaren kom fra Luleå i Nord-Sverige. Faren, Arne Andersen Kjelsberg fra Hof i Solør, utvandret i 1887 og arbeidet som trikkefører i Chicago. Foreldrene ble separert da Elmer var seks år gammel. Han flyttet med moren til Muskegon, der de levde i trange kår. Han hadde bare sporadisk kontakt med sin far. Da han var midt i tenårene, var begge foreldrene døde.