En la Edad Moderna, Olmillos de Castro estuvo integrado en el partido de Carbajales de Alba de la provincia de Zamora, al igual que las pedanías de Marquiz de Alba y Navianos de Alba, si bien San Martín de Tábara pertenecía al partido de Tábara, tal y como reflejaba en 1773 Tomás López en "Mapa de la Provincia de Zamora".