Pertenecieron a un poderoso linaje local, los Linares, señores de Peñarrubia y La Hermida que aún en el siglo XVIII seguían viviendo en la Torre del Pontón.