Johann Shmidt ble født i en landsby i Tyskland, av foreldrene Hermann Shmidt og Martha Shmidt. Moren hans døde under fødsel, og faren ga Johann skylden for Marthas død. Johanns far forsøkte å drukne babyen, bare for å bli stoppet av en doktor. Senere begikk faren selvmord, noe som etterlot Johann foreldreløs. Doktoren tok Johann med til et barnehjem, hvor barnet levde en ensom tilværelse. Johann stakk av fra barnehjemmet når han var 7 år gammel, og levde på gaten som tigger og tyv. Etter hvert som han ble eldre, hadde Johann forskjellige dårlig betalte jobber. Men han tilbrakte mesteparten av tiden sin i fengsel.