Han vokste opp på slektsgården Gjeset på Jøa som sønn av gårdbruker Jens Johannesen Lie-Gjeseth og hustru Elise Olsdatter Nufsfjord. Faren døde da gutten var seks år gammel. Han giftet seg i 1917 med Bertha Sandvik fra Jøa; blant deres fire barn var sjøoffiser og museumsbestyrer Jens Lie-Gjeseth.