Han var sønn av forfatteren Jonas Lie (1833–1908) og Thomasine Lie (1833–1907). To av brødrene ble forfatter, nemlig han Mons Lie (1864–1931) og han Erik Lie (1868–1943). I 1897 giftet han seg med Maggie Annie Plahte (1863–1955) som var dattera til kjøpmann Frithjof M. Plahte som var fetter av både faren Jonas og moren Thomasine.