Cafodd ei eni yn Nhrefynwy ar y 3 Gorffennaf 1785 ac fe'i bedyddiwyd yn Eglwys Gatholig Santes Fair yn y dref lle'r ymsefydlodd y teulu ychydig ynghynt. Roeddent wedi symud i Drefynwy ar ôl i'r tad fynd yn fethdalwr. Roedd taid Tomos, sef James Tudor Morgan yn Uwch Siryff Sir Forgannwg yn 1744. Llyfrwerthwr oedd ei dad Owen Tudor ac roedd ganddo ddau fachgen a oedd yn arlunwyr da a thalentog. Creodd y tri ohonynt sgetsis a diagramau i lyfr o'r enw Historical Tour in Monmouthshire a broliwyd y llyfr gan yr Archddiacon William Coxe. Dim ond tair-ar-ddeg oed oedd Thomas ar y pryd a'i frawd yn bymtheg oed.