I 1763 giftet han seg i København Ingeborg Jensdatter Akeleye (1741–1800), og ekteparet bosatte seg så på Fossum hovedgård. Ingeborg Løvenskiold innledet senere et forhold til grev Christian Conrad Danneskiold-Laurvig, og i 1770 ble ekteskapet oppløst. Herman Leopoldus Løvenskiold fikk samtidig tillatelse til å gifte seg igjen, mens Ingeborg Akeleye «måtte anmelde det» til myndighetene, dersom hun ønsket å inngå nytt ekteskap.