Kort tid etter at hans første kone døde i 1918, hadde Lorenz et forhold til Viktoria Gabriel, og han ble mistenkt for å være Josefs far. Etter å ha nektet for dette flere ganger erkjente han til slutt farskapet, men betalte ingen pengestøtte til Viktoria.