Holst ble første gang gift med prestedatteren Marthe Grønbech i 1775. Hans andre hustru var Marthe Grønvold, som var datter av en oberstløytnant.