Voigt ble født i Tilsit, Preussen (nå det sovetiske Kaliningrad oblast). I 1863, 14 år gammel, ble han dømt til 14 dagers fengsel for tyveri, noe som førte til at han ble utvist fra skolen. Han gikk i skomakerlære hos sin far.