Hansen giftet seg i 1949 med Laila Johanne f. Kaldestad i Bergen (1928-2012) og de fikk tre barn, de skilte seg i 1977. I 1977 ble han samboer med Torild Skard (1936-). De giftet seg i 1994.