Josef Zimmermanns fødested Langwied var den gang en liten landsby vest for München. Han var bondesønn. Etter gynmnasiet studerte han teologi.