Foreldrene var Clemmens Andersson og Anna Larsdotter. Etter farens død i 1817 giftet moren seg på nytt med Torkel Jonsson. Det førte til at Milla fikk en søster til, Sara Brita, som ble født i 1825.