Pope Pius IV
Строительство дворца было закончено после смерти Барбо в 1471 году. Здание многократно перестраивали новые хозяева, Папы римские от Александра VI до Клемента VIII. В 1494—1495 годах во время итальянского похода для завоевания Неаполитанского королевства во дворце останавливался французский король Карл VIII. В 1564 году Папа Пий IV разрешил послам Венецианской республики занять часть пустующего дворца, отчего и возникло его позднейшее название.