En el año 1525 el décimo señor de Fernán Núñez, don Alonso Gutiérrez de los Ríos y Venegas, mandó construir la Capilla de Santa Ana, en el solar de la actual ermita.