Pavepalasset er en av de største bygningene fra europeisk middelalder. I sin største utstrekning omfattet det 11 000 m². Det ble bygget i to faser, fra 1335–1364, har vegger som er mer enn 5 meter tykke, og ligger på en naturlig klippe som gjør den vanskelig å angripe. Murene som ble bygget av pavene i årene før 1348 er godt bevart. De utgjør ikke spesielt sterke festningsverker, da pavene i stedet satte sin lit til å befeste selve pavepalasset.