Dicho palacio tiene entre otros el escudo de los Alvarado, linaje procedente de Secadura (localidad del municipio de Voto) también en Cantabria.