Lila Lykke-Seest var datter av lagerarbeider Jens Martin Andersen (1841–1917) og Andrine Fredrikke Johnsen (1842–1913). Hun ble i 1903 gift med forfatter, filmprodusent og -regissør Peter Lykke-Seest (1868-1948). De var foreldre til skuespiller Esben Lykke-Seest (1905-1988).