Palasset ble bygd på 1200-tallet. Men paven flyttet ikke inn der før i 1377 eller 1378. Palasset ble påbygd, pusset opp og utvidet mye på 1400 og 1500-tallet.