Når han befant seg i Avignon tok kardinal Pierre d'Arrablay og hans følge bolig i ulike paleer som var spesifikt stilt til rådighet for kardinalene. Han hadde residens i paleet som mye senere fikk tilnavnet Cambrai-palasset, etter kardinal Pierre d'Ailly som også var biskop av Cambrai. Cambrai-palasset finnes ikke mer; den katolske kirken solgte eiendommen i 1719, og noen tiår senere ble paleet revet. I dag holder Musée Calvert til i bygningen som erstattet kardinalenes gamle residens.