I Olney inviterte Newton Cowper til å bidra i en salmebok han jobbet med. Resultatet, kjent som boken kom ikke ut før i 1779, men inneholder salmer som «Praise for the Fountain Opened» (starter med ordene «There is a fountain fill'd with blood») og «Light Shining out of Darkness» (starter med ordene «God moves in a mysterious way») som skulle bli noen av Cowpers mest kjente vers. Flere av Cowpers salmer, i tillegg til andre salmer som først ble publisert i er i dag bevart i Sacred Harp-tradisjonen.