I 1771 giftet Herman Leopoldus Løvenskiold seg på nytt, med Inger Marie Deichman (1744–1793), som var datter av oberst Vilhelm Deichman; ektefellene var dermed fetter og kusine. De fikk fire barn sammen. Da hans andre kone døde sørget han dypt, og solgte både Bolvig Jernverk og Fossum Jernverk til sin bror Severin Løvenskiold.