Sus padres eran Johann Baptist Pölzl, un pequeño granjero, y Johanna Hiedler, matrimonio que tuvo once hijos de los cuales solo sobrevivieron tres a la infancia: Klara, la mayor, Johanna y Theresia.