Hans far var løytnant i den keiserlige østerrikske hær under første verdenskrig. Etter krigen gikk han inn i den gjenopprettede polske hæren, hvor han jobbet med administrative oppgaver. Han ble tidlig pensjonert, og familien hadde derfor trange økonomiske kår. Moren Emilia (født Kaczorowska), var syerske, men led av en nyresykdom og døde i barselseng 13. april 1929, 45 år gammel. Datteren hun ventet var dødfødt. 5. desember 1932 døde Karols 14 år eldre bror Edmund av skarlagensfeber. Dermed var faren og Karol alene. Mormorens etternavn var Scholz, noe som har ført til spekulasjoner om at Wojtyła hadde delvis jødisk opphav.