Pave Innocens VIII påbegynte i 1484 byggingen på området, med utsikt mot Peterskirken. Gårdsplassen var fortsatt ikke ferdig da Bramante døde i 1514. Det hele ble ferdigstilt av Pirro Ligorio for pave Pius IV 1562–1565.