分石料取自附近的罗马斗兽场，直到最近几个世纪在罗马这是常见的做法。威尼斯枢机主教皮埃特罗．巴博，后来的教宗保禄二世居住于此，在此可以观看毗邻的科尔索路（Via del Corso）上的赛马场。 这座建筑成为教宗住所，庇护四世将这座建筑的大部分给予威尼斯共和国用作使馆。在19世纪，这座建筑是奥匈帝国驻梵蒂冈使馆。1917年，意大利获得这座建筑的所有权。墨索里尼的办公室设在Sala del Mappamondo，官邸也设在宫内，墨索里尼大多使用这座宫殿的阳台向聚集在威尼斯广场的人群演说。威尼斯宫博物