Halvor Borse var gift to ganger: Inger Giertsdatter Niemand (ca. 1645–1673) I 1675 med Margrethe Jochumsdatter Lobes (1641–1714), datter av slottsprest på Akershus Jochum Lobes og Sissel Rasmusdatter. De fikk blandt andre datteren Inger (1677–1714] som ble gift med Herman Leopoldus (senere Løvenskiold, samt sønnen Joachim som arvet faren.