Palasset ble bygget mellom 1428 og 1430 for familien Contarini, som skaffet Venezia åtte Doger mellom 1043 og 1676. Giovanni Bon og sønnen Bartolomeo Bon var arkitekter. De er også kjent for sitt arbeide på Dogepalasset, først og fremst Porta della Carta med sin monumentale skulptur av Salomos dom.