Han fødtes i Hjartdal som sønn av sokneprest Søren Hansen Borse, som tidligere hadde vært rektor ved latinskolen i Skien. Halvor Borse var i sin tid en av de største godseierne i distriktet med omkring 17 gårder i Norge, deriblandt Borgestad. Fra 1672 var han forvalter av Ulefos Jernværk til han kjøpte det i 1676. I 1692 grunnla han Bolvig Jernværk i Solum.