Trygve Lies far, snekkeren Martin Lie, forlot familien og utvandret til USA i 1902, og lot aldri høre fra seg igjen. Trygve og lillesøsteren vokste opp i enkle kår sammen med moren Hulda, som drev et pensjonat på Grorud.