La primera noticia de la ermita data de mediados del siglo XVII y se halla en la Relaciones "ad limina" de los obispos de Segorbe, pontificando fray Francisco Gavaldá Guasch (1656), que menciona «Tres ermitas» en la denominada «Torre Baxa», lugar de Castielfabib con treinta domicilios (unos 130-135 habitantes).