Borne heiratete am 4. Juni 1881 in Küstrin Martha von Linstow (* 5. Juni 1856 in Magdeburg; † 9. März 1934 in Rudolstadt), eine Tochter des Generalleutnants Adolf von Linstow. Aus der Ehe gingen fünf Kinder hervor. Der älteste Sohn Fritz fiel zu Beginn des Ersten Weltkriegs als Kompanieführer im Großherzoglich Mecklenburgischen Grenadier-Regiment Nr. 89 bei Bertrix. Der zweitälteste Sohn fiel im gleichen Jahr als Kompanieführer im Infanterie-Regiment „Prinz Louis Ferdinand von Preußen“ (2. Magdeburgisches) Nr. 27 bei der Erstürmung von Lüttich. Der dritte Sohn Arndt fiel 1915 vor Soissons.