Erzberger var sønn av skredderen og postbetjenten Josef Erzberger og hans hustru Katherina, født Flad. Fødestedet var landsbyen Buttenhausen, i det daværende kongeriket Württemberg. I dag er Buttenhausen del av kommunen Münsingen i Schwäbische Alb.