På slutten av 1870-tallet slo Borch seg ned i Norge igjen for godt og hadde da bodd utenlands i nærmere 30 år. I 1852 var han bltt gift med Thora Marie Arveschoug (1832–1923), datter av prokurator, senere postmester Ole Siewers Arveschoug (1802–77) og Dorothea Tyrholm (1807–90).