Etter bryllupet flyttet paret til Suffolk, ikke langt fra hvor Rochemont var blitt tilbudt en menighet og en gutteskole. Barbauld benyttet denne tiden og omskrev noen salmer, et vanlig tidsfordriv på 1700-tallet, utga dem som (). I tillegg til dette er hennes essay «Thoughts on the Devotional Taste, on Sects and on Establishments» («Tanker om den oppbyggelig smak, om sekter og om statskirken») som forklarte hennes teorier om den religiøse følelse og problemene knyttet til institusjonaliseringen av religionen.