A.- R._ est affiliée à la Caisse-maladie SUPRA (ci-après : la SUPRA) notamment pour l'assurance obligatoire des soins. Souffrant de fibromyalgie, elle suit depuis quelques années un traitement de physiothérapie intensif prescrit par son médecin traitant, le docteur F._.
Eu égard au nombre élevé de ces séances, la SUPRA a adressé à ce médecin un questionnaire portant sur la nécessité d'un tel programme thérapeutique. Dans sa réponse, le docteur F._ a indiqué que la physiothérapie entreprise était à visée réhabilitative et antalgique, que les résultats obtenus étaient très positifs du moment que les séances intervenaient de manière régulière et soutenue, et enfin qu'il ne voyait pas d'autre alternative pour aider sa patiente, les traitements médicamenteux s'étant avérés insuffisants dans son cas. La SUPRA a alors soumis le dossier médical de l'assurée à son médecin-conseil, la doctoresse de B._. Cette dernière a considéré qu'une physiothérapie pouvait certes apporter un soulagement temporaire aux personnes atteintes de fibromyalgie, mais ne constituait pas une mesure thérapeutique indiquée à long terme pour ce genre de maladie (rapport du 6 février 1998).
Par lettre du 20 février 1998, la SUPRA a informé l'assurée qu'elle cesserait désormais de prendre en charge les factures afférentes aux séances de physiothérapie.
R._ ayant contesté cette prise de position, une expertise a été confiée au docteur G._, médecin-chef du service de rhumatologie de l'Hôpital X._. Dans son rapport du 3 septembre 1998, cet expert a exposé qu'en cas de fibromyalgie, "on admettait généralement un programme thérapeutique comportant deux séries de neuf séances par année" et que le programme actuel ne répondait dès lors pas au critère de l'économie du traitement contenu dans la LAMal. Se fondant sur cette expertise, la SUPRA a accepté de rembourser au plus deux fois neuf séances de physiothérapie en 1998 et de renouveler cette prise en charge pour l'année suivante. Par décision du 14 décembre 1998, elle a refusé de prendre en charge un traitement de physiothérapie plus étendu.
L'assurée a formé opposition contre cette décision en produisant à son appui un certificat médical de la doctoresse L._ du 26 janvier 1999. La SUPRA a confirmé son point de vue par décision sur opposition du 22 juin 1999.
B.- Saisi d'un recours de l'assurée, le Tribunal administratif du canton de Neuchâtel l'a admis et annulé la décision sur opposition du 22 juin 1999 ainsi que la décision du 14 décembre 1998 (jugement du 22 mars 2000).
C.- La SUPRA interjette recours de droit administratif contre ce jugement, dont elle requiert l'annulation. Elle conclut à la confirmation des termes de sa décision sur opposition du 22 juin 1999.
L'assurée conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales ne s'est pas déterminé.

Considérant en droit :
1.- Le litige porte sur la prise en charge du programme de physiothérapie entrepris par l'intimée.
2.- Le jugement attaqué expose de manière complète et exacte les dispositions légales et réglementaires ainsi que les principes jurisprudentiels applicables en l'espèce, notamment en ce qui concerne les exigences d'efficacité, d'adéquation et d'économie des prestations dont le remboursement incombe à l'assurance obligatoire des soins, de sorte qu'il peut y être renvoyé.
3.- a) Examinant l'ensemble des documents médicaux au dossier, le tribunal cantonal est parvenu à la conclusion que l'intimée n'était pas fondée à restreindre, comme elle l'a fait, sa couverture d'assurance à deux fois neuf séances de physiothérapie par an. En particulier, ils ont écarté l'expertise du docteur G._ au profit des avis des médecins traitants.
La recourante soutient pour sa part que c'est à tort que les premiers juges n'ont pas tenu compte des conclusions de l'expert; à tout le moins auraient-ils dû, en présence d'avis médicaux contradictoires, ordonner une instruction complémentaire.
b) D'après les docteurs F._ et L._, les séances régulières de physiothérapie constituent le traitement le plus efficace pour maintenir la mobilité et diminuer notablement les douleurs de l'assurée. Ces médecins ont en effet constaté que R._ réagit positivement à ce type de traitement et qu'une interruption des séances conduit à une péjoration de son état de santé (dépression, augmentation des douleurs). De son côté, le docteur G._ a déclaré que "le programme thérapeutique lié à une fibromyalgie (ne devait pas) impérativement être complété par une physiothérapie continue", tout en précisant que "généralement, on pouvait admettre la nécessité (d'un tel traitement)" sous une forme limitée à dix-huit séances par année. Il a également préconisé, comme alternative à la physiothérapie, un régime hypocalorique et la pratique d'exercices physiques.
c) En l'espèce, les conclusions de l'expert - peu motivées - reposent sur des assertions par trop générales pour qu'on puisse se faire une idée précise des soins qui sont véritablement requis par l'état de santé de l'assurée et de ce que celle-ci doit elle-même supporter en vertu de son obligation de réduire le dommage (par exemple gymnastique personnelle). Par ailleurs, et cela est déterminant, l'expert ne s'est pas prononcé sur les motifs qui l'ont amené à se détacher de l'appréciation de son confrère, le docteur F._, appréciation pourtant à l'origine de la décision de la recourante de mettre en oeuvre une expertise.
Aussi, peut-on considérer - à l'instar de la juridiction cantonale - que son rapport n'est pas suffisamment étayé pour se voir reconnaître une pleine valeur probante au sens de la jurisprudence (<ref-ruling> consid. 1c et les références). Pour autant, les premiers juges ne pouvaient trancher le litige à la seule lumière des certificats médicaux des médecins traitants. Outre le fait qu'il convient de tenir compte qu'un médecin traitant est généralement enclin à prendre parti pour son patient en raison de la relation de confiance qui l'unit à ce dernier (<ref-ruling> 3b/cc et les références), les avis des docteurs F._ et L._ accordent une place trop importante aux plaintes subjectives de leur patiente par rapport aux constatations médicales objectives. Il faut dès lors admettre que les pièces médicales au dossier sont insuffisantes et qu'elles ne permettent pas de se prononcer sur la question de droit litigieuse.
Il s'impose donc de renvoyer la cause au tribunal cantonal pour qu'il en complète l'instruction, notamment par une nouvelle expertise, et rende ensuite un nouveau jugement.
Dans cette mesure, le recours est bien fondé.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est admis en ce sens que le jugement du 22 mars 2000 du Tribunal administratif du canton de
Neuchâtel est annulé, la cause étant renvoyée à cette
autorité pour instruction complémentaire et nouveau
jugement au sens des motifs.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, au Tribunal administratif du canton de Neuchâtel et à l'Office fédéral des assurances sociales.
Lucerne, le 6 novembre 2000
Au nom du
Tribunal fédéral des assurances
Le Président de la IIe Chambre :
La Greffière :