To branner på 1500-tallet ødela mange av palassets rom; den første den 11. mai 1574 og den andre den 20. desember 1577. De ødela mange av de verk som var blitt skapt frem til da av kunstnere som Gentile da Fabriano, Pisanello, Gentile Bellini, Alvise Vivarini, Vittore Carpaccio, Tiziano og Paolo Veronese. Restaureringen som fulgte ble ledet av Antonio da Ponte og ble avsluttet allerede 1580.