Poco después de las ruinas del castillo se aprovechó piedra para construir una torre en alto del Pico Sacro con la finalidad de establecer una pequeña guarnición que sirviese para servir de atalaya defensiva en la frontera de las posesiones arzobispales y las de sus enemigos los Moscoso.