Borger With giftet seg med Kathrine Frølich i 1899. Datteren Ingrid var gift med Hans Jacob Ustvedt i perioden 1927–1947. Han var ridder av St. Olavs orden og kommandør av Wasa og Finlands hvite rose.