Su padre, cuyo nombre tomó, fue Thomas Chatterton, un hombre con aficiones culturales fuera de lo corriente en su clase social, amante de la música, poeta, numismático y aficionado al ocultismo, además de sochantre en la catedral de Bristol y maestro en la escuela libre de Pyle Street, cercana a la iglesia de Redcliffe.