I 1902 tok Marthas mor med seg datteren og reiste til Canada, der de ble gjenforent med Sjur. De neste elleve årene førte familien et omflakkende liv, og bodde på til sammen sju forskjellige steder i Minnesota og Sør-Dakota. En slik rotløs tilværelse var noe som mange av innvandrerne i USA opplevde. Familien Ostenso levde av Sjurs meierivirksomhet, og at Olina tok imot klær til vask. Martha viste tidlig sans for ord og språk. Hun sang versene hun hadde laget selv, lenge før hun lærte å lese og skrive. Broren Bjarne (Barney) ble født i 1903, og yngstebroren Oivind (som fikk kjælenavnet «Spot») ble født i 1905.