През 1208 г. папа Инокентий III, заедно с краля на Франция предприемат кръстоносен поход срещу катарите, известен като Албигойски кръстоносен поход. Катарите са унищожени, а Алби преминава без много съпротива в лагера на католиците. По този начин градът попада под влиянието на френската корона, а областта е присъединена към Франция. За да засили влиянието на църквата в района, към края на 13 век епископът Бернар дьо Кастане построява укрепен епископален дворец и впечатлителна катедрала.