Lally-Tollendal was de zoon van Sir Gerard Lally of O'Mullally, een uit het Ierse Tuam (in County Galway) afkomstige jacobiet, die in 1690 met James II naar Frankrijk was gevlucht na de Glorious Revolution van 1688. Zijn moeder was Anne-Marie de Bressac de la Vache, dochter van een Franse edelman. Thomas Arthur de Lally werd in 1709 tot kapitein in het Franse leger benoemd, en was tijdens de Spaanse Successieoorlog aanwezig bij het beleg van Barcelona (1713-1714). Zijn militaire carrière moest worden afgebroken zodat hij een opleiding kon volgen.