Da Sofja var åtte år gammel, tok faren avskjed fra hæren og familien flyttet til landstedet Palibino i dagens Belarus. Her fikk hun også en ny guvernante, Miss Smith fra England, en svært restriktiv person, som fra nå av hadde ansvaret for Sofjas oppdragelse og utdannelse.