Cuando Geoffroy de Vivans, famoso capitán Hugonote y señor de Doissac, se trasladó a La Roque-Gageac en el año 1589, el castillo del obispo y las casas de los nobles comenzaban ya a deteriorarse, y muchas estaban ya abandonadas.