I flere år tilbrakte Lie og hans amerikanske kone vintrene i Florida, før han til slutt flyttet tilbake til Norge for godt. Lie var gift to ganger, den første gangen i 1929 med Ragnhild Halvorsen (1905–1991) som han ble kjent med i Arbeiderpartiets ungdomsbevegelse, og deretter fra 1952 med den amerikansk-jødiske sosialøkonomen Minnie Dockterman (1912–1999). Det var under krigen at han gjennom det amerikanske bilarbeider­forbundet fikk låne en hytte i Florida som senere ble hans faste vinterbolig. Han fikk tilsammen tre døtre, hvor to var fra hans første ekteskap. Venner av Israel i Norsk Arbeiderbevegelse (VINA) har plantet en skog til hans minne i Israel.