I 1772 ble han ordinert til prest i Church of England. Fire år senere, i 1776, gav han ut salmesamlingen . Til tross for at han var anglikansk prest, var han en brennende kalvinist og han ble etterhvert prest for en kalvinistisk menighet i London. Han lå i en kraftig strid med metodismens grunnlegger, John Wesley over teologiske uenigheter.