Durante el papado de Aviñón, fue la principal residencia del legado papal Cardenal Albornoz.