Томас де Беркли принадлежал к знатному и богатому роду, владевшему обширными землями с центром в замке Беркли в Глостершире. Это была одна из наиболее влиятельных семей Валлийской марки. Томас был старшим сыном Мориса, 2-го барона Беркли, и его первой жены Евы ла Зуш. Ещё в юности он начал военную службу. В 1314 году Томас вместе с отцом, дедом и младшим братом принял участие в походе в Шотландию и в битве при Баннокберне попал в плен (а с ним дед и брат). Позже все Беркли получили свободу за выкуп.