El castillo de San Silvestre fue construido por el comendador de la Orden de Santiago, Gutierre de Cárdenas, en el siglo XV, al igual que el castillo de la Vela (Maqueda).