I 1824 ble Borkenstein gift med Else Sophie Clausen (d. 1837), datteren til proprietæren på Bjølsen. I 1828 fikk de sønnen Carl August Conrad Borkenstein, som ble premierløytnant og senere kaptein, og i 1830 datteren Pouline Wilhelmine Antonette Borkenstein. Ekteparet Borkenstein kom også til å overta som eiere av Bjølsen gård.