Lorre vokste opp i Østerrike-Ungarn og gikk der på tysk folkeskole. Etter morens død flyttet familien i 1913 til Wien. Der ble han senere bankfunksjonær.