Originalmente existía una capilla de paja de tres naves, llamada la Ermita de Los Mártires, por haber estado dedicada a San Fabián y San Sebastián, patronos de la ciudad.