Halldis Neegaard ble født på storgården Neegård i Stor-Elvdal i en søskenflokk på ti. Moren tok i 1910 med seg de yngste barna og flyttet til Oslo. Faren dro litt senere til Canada. Halldis ble plassert hos slektninger i Ålesund, men forlot disse etter en stund og reiste da til moren og bestemoren i Oslo. I Oslo var hun aktiv i Bondeungdomslaget.