I Lauras bøker beskrives Charles som en mann med mye vandrelyst; han likte ikke å oppholde seg på tett befolkede steder. Først tok han med seg Caroline til Pepins i Wisconsin (huset ble bygd ca 14 km fra Pepins). Etter at Mary og Laura ble født (Laura var ett år gammel), flyttet de til Kansas hvor Carrie ble født. Da de etter et år i Kansas, og bare noen uker etter Carries fødsel fikk vite at de bodde på indiansk territorium, flyttet de tilbake til Wisconsin, for så å flytte til Walnut Grove, Minnesota. Deretter tilbragte de et år i Iowa før de flyttet tilbake til Walnut Grove, for deretter å flytte til De Smet i det som den gang het Dakota-territoriet (De Smet ligger i dag i Sør-Dakota) hvor han slo seg ned. Da hadde han lovet Caroline at de ikke skulle flytte mer, fordi Caroline blant annet var bekymret for barnas utdannelse.