Clemente vivió como invitado en el monasterio dominicano de Aviñón y su sucesor, el papa Juan XXII estableció allí un magnífico establecimiento, pero la reconstrucción del viejo palacio obispal fue empezado en serio por el papa Benedicto XII (1334-42) y continuó con sus sucesores hasta 1364.