В 1317 году Гилберт был назначен губернатором Глостерского замка. В 1319 году он участвовал в шотландском походе в свите Уильяма Ла Зуша, 1-го барона Зуш. Когда Томас Ланкастерский начал открытую войну против фаворитов Эдуарда II — Диспенсеров (1321 год), Толбот примкнул к нему. В 1322 году вместе с баронами Валлийской марки он разграбил Бриджнорт. Узнав о приближении королевской армии, Толбот бежал на север, там присоединился к войску Ланкастера и принял участие в битве при Боробридже, где мятежники были наголову разгромлены. Гилберт попал в плен, но, в отличие от многих союзников, избежал казни. Он получил свободу, обязавшись выплатить штраф в две тысячи фунтов и присылать королю ежегодно бочку вина стоимостью сорок шиллингов.