Fra 1934 til sin død i 1979 var han gift med Annemarta Borgen. Ekteparet fikk i 1934 datteren Brett Borgen, som ble skuespiller og senere forfatter. Hun er mor til sangeren Iselin Alme. En annen datter er forfatteren Ane Borgen.