Cuando los condes de Heras y Soto se establecieron en el Virreinato, compraron la casa a una orden religiosa, y solo la habitaron por dos generaciones ya que en la segunda mitad del siglo XIX se le empezó a conocer como la ""Casa de los Pimenteles"", familia que comenzó a habitar el recinto por ese tiempo.