Han var gift med Magnhild Borten (født Magnhild Rathe, 26. mars 1922, død 2. juni 2006) fra 1948 til sin død. Hans dattersønn Ola Borten Moe var valgt inn på Stortinget fra 2005 til 2013 og var olje- og energiminister fra 2011 til 2013 og forsknings- og høyere utdanningsminister fra 2021 til 2023.