El palacio se comenzó en 1316 por Juan XXII y continuó por los papas posteriores a lo largo del siglo XIV hasta que se acabó en 1370.