En 1562 pudo procederse a la compra de la casa-palacio, de la que según consta en Real Cédula, era propietario entonces Fadrique de Vargas, nieto de Francisco de Vargas, el promotor del edificio.