Fue levantado por los herederos del antiguo señorío del condado de Garcíez, cuyo origen se remonta a la Conquista cristiana y se mantuvo como patrimonio heredado hasta el siglo XX por los marqueses de Viana Castromonte.