Han vokste opp i grevskapet Morgannwg i Sør-Wales, og levde et omflakkende liv med bl.a. lengre opphold i London (1773–1781 og 1791–1795). I London kom han i kontakt med det walisiske miløet i byen, blant annet mesenen Owen Jones (også kjent som Owain Myfyr) og leksikografen William Owen Pughe. Av disse fikk han i oppdrag å finne historiske håndskrifter i forskjellige private samlinger rundt omkring i Wales som kunne publisere i de først moderne utgavene av walisisk middelalderlitteratur – som ble utgitt i London. Mot slutten av hans liv bodde han mye hos sønnen Taliesin Williams i Merthyr Tydfil.