Ce château féodal, situé aux portes d’Albi, occupe alors une position stratégique importante. En 1229, il a été reconstruit une première fois après la croisade contre les Albigeois. Le château a été une nouvelle fois détruit durant la guerre de Cent ans puis reconstruit par un seigneur du nom de "Pierre III" au XVe siècle. Cependant, ce fort est encore une fois détruit lors des guerres de religion et reconstruit à la fin du XVIe siècle. Par la suite, Lescure est dirigée par des seigneurs catholiques qui combattent les protestants de la région. Les seigneur de Lescure ont détenu le titre de baron jusqu’au XVIIe siècle.