Herman Lorentz og Ida Sophie Amalie var foreldre til generalmajor Christian Siegfried von Nissen-Benzon til Skærsø (1690–1763) og til Christian Ulrich von Nissen-Benzon til Skærsø (1691–1756), guvernør i Trankebar 1720–26 og kommandant på Dansborg i Ostindia fra 1718, senere etatsråd, stiftamtmann over Trondhjems stiftamt, stiftamtmann over Aarhus stiftamt, stiftamtmann over København, medlem av Højesteret 1744–56 og ridder av Dannebrogordenen 1747. Han var også far til døtrene Cecilie Katharina von Nissen (f. 1693) og Elisabeth Margrethe von Nissen (f. 1695). Etter den første ektefellens død var Herman Lorentz gift på nytt med enken Frederica Amalie Rathe.