El edificio fue fundado entre finales del siglo XVII y siglo XVIII por parte de tres de las familias más poderosas de la zona junto con la de Duque de Estrada los Valdés, Rivero y Posada.