Han var sønn av den skånskfødte kjøpmann Simon Jørgensen (1660–1739) og hustru Marthe Jørgensdatter Holst (1668–1733), og vokste opp i et hjem preget av velstand. Han ble en svært selvbevisst person, som ofte havnet i stridigheter med byens øvrighetspersoner.