Lie var gift med Inger (født Aass 1914, død 1995). Begge ligger begravet på Ringsaker.