Borge var sønn av en gårdbruker og overtok farsgården i 1845. Han var medlem av herredsstyret 1851–1900, i perioden 1853–89 satt han i formannskapet. Han var ordfører i flere perioder; 1860–61, 1864–66, 1870–73 og 1878–89. Ellers var han forlikskommissær fra 1858 til 1903, sparebankdirektør og medlem i Rakkestad fogderikommisjon i tillegg til en rekke andre verv. Han var 1. representant for Smaalenenes amt på Stortinget i perioden 1880–1882. På tinget var han medlem av næringskomite nr. 2. Borge frasa seg gjenvalg i 1882. Han hadde i tillegg vært 4. suppleant flere år tidligere; i 1868–1869.