Josef Kramer var enebarn og vokste opp i en middelklassefamilie. Hans foreldre Theodor og Maria Kramer oppdro ham i streng katolisisme. I 1915 flyttet familien fra München til Augsburg, der Josef Kramer gikk på skole.