Desde 1356, el apoyo del papa Inocencio VI le vale ser prior de Saint-Gilles, afincándose en la corte papal de Aviñón, donde el Papa lo nombra gobernador de la ciudad y le encarga su defensa, para la que mandará construir unas famosas murallas.