Han var sønnesønn til Mons Lie d.e., «Nådigherren», som var politimester i Trondheim, og han var gift med Pauline Christine Tiller. Deres mest kjente barn er forfatteren Jonas Lie (1833).