Isaac giftet seg med Marthe Nilsdatter Willulmsen 16. januar 1781. Marthe var datter av Nils Willulmsen, kjøpmann og tobakkspinner, «en av byens 6 mænd», og eide Høgedal gård i Arendal og Grimenes gård i Lillesand. Da Nils døde overtok Isaac og Marthe Løvolds hus på Tyholmen og de andre eiendommene som faren eide.