De fleste av bygningene i Rialto ble ødelagt av en bybrann i 1514, den eneste som klarte seg fullstendig var San Giacomo di Rialto, mens de øvrige måtte gradvis gjenoppbygges.