De bodde i Løvolds hus i en periode inntil de flyttet til Det gamle politikammer, et stenkast unna i samme gate. Issac og hustruen fikk seks barn, ett av dem var Catharina Helmer Leth (1783-1869), (kjent som Kitty Kallevig), som giftet seg med skipsreder, konsul og kjøpmann Morten Michael Kallevig.