Panzram var født i Minnesota som sønn av prøyssiske innvandrere, Johann «John» og Matilda Panzram, og oppvokst på familiens gård.