Elser var sønn av en trelasthandler og verthuseier. Han tok svennebrev som møbelsnekker i 1922, og arbeidet deretter som bygnings- og møbelsnekker i Königsbronn, Aalen og Heidenheim.