Lifjell giftet seg med Ebba Renberg i 1941. Ebba var datteren til Elsa Laula Renberg. De hadde 3 barn da Ebba Kristina Margaretha Lifjell, født Renberg, døde 2. mars 1955 38 år gammel. Han giftet seg senere med Maja, født Jåma.