Los pocos datos que se pueden aportar sobre este edificio es que Juan Zorrilla de San Martín, vecino de Espinosa de los Monteros, señor de las casas de San Martín y de la Gandara (Cantabria), construyó este palacio, junto a su hijo Francisco Zorrilla San Martín.