С историей замка Бирон тесно связана история двух важных аббатств Перигора — аббатства Сарла (основано не позже середины X века) и аббатства Кадуэн, с 1119 года принадлежавшего ордену цистерцианцев. Между аббатами и хозяевами замка установились добрые отношения, основанные на пересечении материальных и духовных интересов. Первые имели дополнительные гарантии военной защиты, вторые получали дополнительные заверения в спасении души для себя, и прекрасные карьеры в ранге высшего духовенства для своих младших сыновей. Предположительно, этот союз с духовенством стал причиной осады замка Бирон армией крестоносцев под командованием Симона де Монфора.