La tradición local y la devoción popular vinculan el convento de san Guillermo de Castielfabib con el personaje de Guillermo de Poitiers (1071-1126), duque de Aquitania, pretendiendo que mientras estuvo en Castielfabib, durante su apoyo entre 1120 y 1123 a Alfonso I de Aragón en sus diversas campañas militares, hizo penitencia en una cueva próxima al lugar donde habría de ubicarse muchos años después el monasterio de su nombre.