El Palacio se construyó en dos fases principales con dos segmentos distintivos, conocidos por el "Palais Vieux" (Palacio Antiguo) de Benedicto XII y "Palais Neuf" (Palacio Nuevo) de Clemente VI.