Durante la Baja Edad Media y los Siglos de Oro, la ermita de San Lázaro, y el hospital creado cerca de ella, quedó a cargo hermandad de San Antón que renombraría la célebre ermita.