I 1839 døde hans hustru Mariken Hof, og siden forble han enkemann. Etter sin kones død ble han forflyttet til Slidre i Valdres. I 1847 søker han seg til garnisonprestembedet i Kristiania, men valgte snart å dra tilbake til Slidre, da hans stortingsvirksomhet skapte misstemning i denne tildels strengt konservative menighet. Inntektene i den nyopprettede Vestre Slidre menighet var små og uteble ofte. I 1852 ble han utnevnt sogneprest til Nøtterøy, et kall han hadde i 27 år. Han fikk innvilget avskjed i desember 1878, men bestyrte kallet frem til april 1879. Han flyttet så til sin sønn Fredrik Gottfried Christian Bohr Harbitz på Abbediengen i Veste Aker.