Sin embargo, sus motivaciones religiosas y asociación con John Newton (quien escribió el himno "Amazing Grace") le llevaron a crear la poesía por la que es hoy en día más recordado: los himnos religiosos.