Dafydd Gam fu un membro di una delle più importanti famiglie gallesi del Breconshire. Nipote di Hywel Fychan, proprietario della villa di "Parc Llettis" vicino Llanover nel Monmouthshire vicino Abergavenny e quarto in linea di successione da Einion Sais, proprietario di un castello sul fiume Usk vicino Brecon, che aveva combattuto nelle battaglie di Crecy e Poitiers. La sua famiglia è stata definita "un esempio lampante di una famiglia gallese che fiorì sotto il dominio di una famiglia aristocratica inglese". Gli Hywel ap Llywelyn, trasferirono la tradizionale fedeltà della famiglia al nuovo signore di Brecon, Enrico Bolingbroke, che aveva sposato Maria di Bohun nel 1380. Alcuni dicono che Dafydd era stato precedentemente al servizio del padre di Enrico, Giovanni di Gaunt e che dopo aver ucciso un rivale in "Brecon High Street" avesse dovuto lasciare temporaneamente il Galles.