John de Vieuxpont starb 1241, bevor er volljährig wurde. Der neue Erbe, Johns Sohn Robert, war nicht alt genug, um sein Erbe anzutreten, und so verblieben die Ländereien der Familie unter Vormundschaft. In dieser Zeit verfielen die Gebäude, vermutlich auch Brougham Castle. Als Robert de Vieuxpont um 1257 volljährig wurde, erbte er beträchtliche Schulden. Er war einer der Adligen aus dem Norden, die Simon de Montfort im zweiten Krieg der Barone (1264–1267) bei seiner Revolte unterstützten. Im Juni 1264 war Vieuxpont tot und, da er als Verräter angesehen wurde, konfiszierte König Heinrich III. seine Besitzungen. 1266 begnadigte der König Vieuxpont postum und seine beiden Töchter konnten die Ländereien der Familie erben. Die Wächter der beiden Mädchen, die damals zu jung zum Heiraten waren, teilten die Ländereien in der Erwartung auf, dass sie nach der jeweiligen Heirat in den Besitz der Mädchen kommen würden. "Isabel Vieuxpont" wurde mit Roger de Clifford, dem Sohn ihres Wächters, verheiratet. Mit ihr ging die Verwaltungshoheit von Westmorland und der Burgen von Brougham und Appleby an die Cliffords über.