Nació el 13 de diciembre de 1770 en Gloucester y estudió en Oxford bajo la tutela de Philip Hayes. En 1789, fue nombrado organista de la iglesia parroquial de Ludlow. Cuatro años más tarde, obtuvo el título de Licenciatura en Música en Cambridge, y en 1795, fue elegido organista de la catedral de Armagh, de donde se retiró en el mismo año a Dublín, con los cargos de organista y maestro de los niños en la catedral de San Patricio y la catedral de la Santísima Trinidad de Dublín. Se vio obligado a huir de Irlanda por la rebelión de 1798, y aceptó el puesto de organista en los colegios Trinity y Saint John's en Cambridge, y casi al mismo tiempo adoptó el apellido de Whitfield, además de Clarke, por el que había sido previamente conocido. En 1799, se licenció en Música por la universidad de Cambridge, y en 1810, obtuvo el mismo grado en Oxford.