Lydia Olsrud ble født og vokste opp på gården Olsrud i Grane av foreldrene Kristine Lovise Jensdotter og Svein Erik Davidsson, en svensk skredder som hadde kommet til distriktet gjennom sølvgruvedriften i Svenningdalen. Gjennom faren var hun halvsøster til forfatteren Andreas Haukland.