Carlo della Torre Rezzonico var sønn til en venetiansk kjøpmann. Slekten hadde bygd upp en anselig formue på handel, og hadde fått adels rang i 1687.