La "Casa-Palacio de los Ramírez", como fue conocida antaño pese a que la familia pasó a denominarse "Ramírez de Saavedra", acabó en manos de la Condesa del Castellar por sucesión hereditaria, añadiéndole ésta un edificio más, obra que se puede observar en el plano de Madrid de Pedro Teixeira del año 1656.