La construcción de los Álvarez de la Rivera pasó al marquesado de Ferrera por el matrimonio de la primogénita de la Casa de Rivera con el marques de Ferrera y posteriormente a María Ramona Quiroga Navia Osorio, descendiente de los Ferrera, que fueron los grandes reformadores del palacio a finales del siglo XIX y principios del XX.