Han ble født i 1834 i en landsby nord for London. Hans far var en handelsmann og kunstner og flyttet familien til Hull ved den engelske kysten. Som barn ble han glad i poesi og utviklet også en lidenskap for musikk. Han ble med i kirkekoret da han var ni år. Menighetsmessig var han tilknyttet Plymouth Bretheren, og han var engasjert som musikalsk leder da evangelistene D.L Moody og I.D. Sankey besøkte London i 1870-årene. Salmene hans ble publisert i aviser og andre magasiner, og ble utgitt i bøkene i 1891 og som kom ut i 1926, året etter hans død.