Etter møtet med Bertram flyttet Olive fra sted til sted og hadde stillinger som guvernante i forskjellige familier. Hun forlot dem ofte på grunn av personlige konflikter med arbeidsgiverne sine. En sak som alltid dukket opp, var hennes uvanlige syn på religion. Frafallet hennes falt ikke i god jord hos de tradisjonelle famiiene hun arbeidet hos, spesielt ettersom det førte til at hun ikke villle undervise i religion.