El actual escudo de armas, que puede verse en el centro del frontón partido del palacio, corresponde al nieto de Fabio Nelli, Baltasar de Rivadeneira y Zúñiga.