Kartevolds økende engasjement på det religiøse og politiske område ble ikke sett på med blide øyne bland de «etablerte borgere» på Sandnes, og særlig var angrepene fra Lars Oftedals følgere harde. Kartevold ble i 1887 kastet som formann i fattigkommisjonen og medlem av formannskapet, han mistet stillingen som bibliotekar og andre posisjoner. Han ville ikke ha klart seg uten økonomisk støtte fra sønnen Theodor, som hadde utvandret til Amerika.