Lyder Sagen ble gift med Anne Marie Hansen (d. 1839), som var datter av en kjøpmann i København, men pleiedatter av juveler Magnus Tank i Bergen.