Con los papas Clemente VI, Inocencio VI y Urbano V, el edificio fue ampliándose para formar lo que hoy es conocido como el "Palais Neuf".