La fundación del edificio no está documentada apareciendo los primeros textos documentados sobre la existencia de una construcción en 1032 perteneciente a la familia cántabra de Estrada, regidores del castillo de Llanes y que a partir del año 1647 son nombrados condes de la Vega del Sella.