Au lieu-dit "l'Abbaye", il ne reste aujourd'hui plus rien de ce qui a été jadis la première fondation guillemite en France, sinon une croix dite de Saint-Guillaume placée là où se trouvait le chœur de l'église abbatiale. Le prieuré fut créé en 1249 par Jehan I, comte de Rethel, peut-être avant son départ pour la grande croisade de Saint Louis. L’ordre de Saint-Guillaume, ou « Guillemites », comptait alors un grand nombre de monastères en Flandre et en Allemagne, mais aucun en France. Celui de Louvergny fut le premier fondé en France. Il subsista jusqu’aux années 1640.