El origen del edificio probablemente es medieval, aunque su compra por parte de los marqueses de Velada en el siglo XVI conllevó cambios en la decoración exterior.