A.- A._ a travaillé en qualité d'assistante sociale à l'Hôpital X._, à plein temps dès l'année 1970, puis à 80 % à partir de 1987. Invoquant des douleurs lombaires et cervicales, une fatigue excessive ainsi que des crises de migraine fréquentes (rapport de la doctoresse B._, du 11 novembre 1997), elle a sollicité le versement d'une rente de l'assurance-invalidité, le 7 octobre 1997.
L'Office de l'assurance-invalidité du canton du Jura (l'office AI du Jura) a recueilli l'avis des docteurs C._ et D._, médecins au Service de rhumatologie, médecine physique et rééducation de l'Hôpital Y._. Dans leur rapport d'expertise du 29 juin 1998, ces derniers ont diagnostiqué, parmi d'autres affections, un syndrome douloureux chronique de l'appareil locomoteur (fibromyalgie), des lombo-sciatalgies gauches et des migraines chroniques. En raison de ces troubles, les docteurs C._ et D._ ont estimé que la capacité de travail de l'assurée dans son activité d'assistante sociale s'élevait entre 50 et 60 %. L'administration en a déduit que le taux d'invalidité de l'assurée dans son activité lucrative était de 50 %.
L'office AI du Jura a appliqué la méthode mixte d'évaluation de l'invalidité et arrêté la part des activités lucratives et ménagères de l'assurée respectivement à 80 % et 20 %. Dans l'exercice des tâches ménagères, il a retenu un taux d'invalidité de 30 % (cf. enquête économique sur le ménage du 30 septembre 1998).
Par décision du 10 mars 2000, l'office AI du Jura a alloué un quart de rente simple d'invalidité à l'assurée, ainsi que deux rentes complémentaires simples pour enfant, fondées sur un degré d'invalidité de 46 % (50 % de 80 %, 30 % de 20 %).
L'assurée s'est établie en Valais en décembre 1999. Le 27 mars 2000, l'Office de l'assurance-invalidité du canton du Valais (l'office AI du Valais) a rendu une décision portant sur les rentes complémentaires pour enfant. Ultérieurement, par décision du 17 novembre 2000, il a adapté le montant des rentes dès le 1er décembre 2000. Dans celles-ci, il n'a pas remis en cause le taux d'invalidité retenu par l'office AI du Jura.
B.- A._ a recouru contre ces trois décisions devant la Chambre des assurances du Tribunal cantonal jurassien, en concluant à l'octroi d'une demi-rente d'invalidité dès le 1er décembre 1997 pour elle-même, assorties des rentes complémentaires correspondantes.
Par jugement du 8 mars 2001, la juridiction cantonale a admis les recours et annulé les décisions des 10 mars et 17 novembre 2000. En bref, elle a considéré que l'assurée avait réduit son activité professionnelle en 1997, soit un peu plus de huit mois avant le dépôt de sa demande de prestations.
En conséquence, les premiers juges ont estimé que l'administration aurait dû appliquer la méthode générale de comparaison des revenus au lieu de la méthode mixte, si bien que la cause devait être renvoyée à l'office AI pour qu'il procède à l'évaluation de l'invalidité selon cette méthode.
C.- L'office AI du Jura interjette recours de droit administratif contre ce jugement dont il demande l'annulation, en concluant au rétablissement de sa décision du 10 mars 2000, ce que l'Office fédéral des assurances sociales propose également. Quant à l'office AI du Valais, il invite le Tribunal fédéral des assurances à admettre le recours de l'office AI du Jura et à ordonner un complément d'instruction, aux termes d'un préavis circonstancié qui sera résumé ci-après.
L'intimée conclut au rejet du recours, avec suite de dépens. Elle précise qu'elle avait saisi l'office AI du Valais d'une nouvelle demande de prestations, le 13 février 2001; comme celle-ci porte sur des faits survenus en 1999, soit antérieurement à la première décision litigieuse, elle invite le Tribunal fédéral des assurances à statuer sur ladite demande.

Considérant en droit :
1.- Le litige porte sur le degré d'invalidité de l'intimée (cf. art. 4 et 28 LAI), que le recourant a fixé à 46 %, et par voie de conséquence sur le droit de celle-ci à une rente d'invalidité.
2.- Dans la procédure de recours concernant l'octroi ou le refus de prestations d'assurance, le pouvoir d'examen du Tribunal fédéral des assurances n'est pas limité à la violation du droit fédéral - y compris l'excès et l'abus du pouvoir d'appréciation - mais s'étend également à l'opportunité de la décision attaquée. Le tribunal n'est alors pas lié par l'état de fait constaté par la juridiction inférieure, et il peut s'écarter des conclusions des parties à l'avantage ou au détriment de celles-ci (art. 132 OJ).
Par ailleurs, le Tribunal fédéral des assurances n'étant pas lié par les motifs que les parties invoquent (art. 114 al. 1 en corrélation avec l'art. 132 OJ), il examine d'office si le jugement attaqué viole des normes de droit public fédéral ou si la juridiction de première instance a commis un excès ou un abus de son pouvoir d'appréciation (art. 104 let. a OJ). Il peut ainsi admettre ou rejeter un recours sans égard aux griefs soulevés par le recourant ou aux raisons retenues par le premier juge (<ref-ruling> consid. 1b et les références).
3.- a) Selon l'<ref-law>, l'invalidité est la diminution de la capacité de gain, présumée permanente ou de longue durée, qui résulte d'une atteinte à la santé physique ou mentale provenant d'une infirmité congénitale, d'une maladie ou d'un accident.
b) Parmi les atteintes à la santé psychique, qui peuvent, comme les atteintes physiques, provoquer une invalidité au sens de l'<ref-law>, on doit mentionner - à part les maladies mentales proprement dites - les anomalies psychiques qui équivalent à des maladies. On ne considère pas comme des conséquences d'un état psychique maladif, donc pas comme des affections à prendre en charge par l'assurance-invalidité, les diminutions de la capacité de gain que l'assuré pourrait empêcher en faisant preuve de bonne volonté; la mesure de ce qui est exigible doit être déterminée aussi objectivement que possible. Il faut donc établir si et dans quelle mesure un assuré peut, malgré son infirmité mentale, exercer une activité que le marché du travail lui offre, compte tenu de ses aptitudes. Le point déterminant est ici de savoir quelle activité peut raisonnablement être exigée dans son cas. Pour admettre l'existence d'une incapacité de gain causée par une atteinte à la santé mentale, il n'est donc pas décisif que l'assuré exerce une activité lucrative insuffisante; il faut bien plutôt se demander s'il y a lieu d'admettre que la mise à profit de sa capacité de travail ne peut, pratiquement, plus être raisonnablement exigée de lui, ou qu'elle serait même insupportable pour la société (<ref-ruling>; VSI 2000 p. 153 consid. 2a et les références).
c) Selon la jurisprudence, des troubles somatoformes douloureux peuvent, dans certaines circonstances, provoquer une incapacité de travail (<ref-ruling> consid. 2c/cc; RSAS 1997 p. 75; RAMA 1996 n° U 256 pp. 217 ss consid. 5 et 6). De tels troubles entrent dans la catégorie des affections psychiques, pour lesquelles une expertise psychiatrique est en principe nécessaire quand il s'agit de se prononcer sur l'incapacité de travail qu'ils sont susceptibles d'entraîner (VSI 2000 p. 160 consid. 4b).
A cet égard, la doctrine a décrit en détail la tâche de l'expert médical, lorsque celui-ci doit se prononcer sur le caractère invalidant de troubles somatoformes. Selon Mosimann, sur le plan psychiatrique, l'expert doit poser un diagnostic dans le cadre d'une classification reconnue et se prononcer sur le degré de gravité de l'affection. Il doit évaluer le caractère exigible de la reprise par l'assuré d'une activité lucrative. Ce pronostic tiendra compte de divers critères, tels une structure de la personnalité présentant des traits prémorbides, une comorbidité psychiatrique, des affections corporelles chroniques, une perte d'intégration sociale, un éventuel profit tiré de la maladie, le caractère chronique de celle-ci sans rémission durable, une durée de plusieurs années de la maladie avec des symptôme stables ou en évolution, l'échec de traitements conformes aux règles de l'art. Le cumul des critères précités fonde un pronostic défavorable. Enfin, l'expert doit s'exprimer sur le cadre psychosocial de la personne examinée. Au demeurant, la recommandation de refus d'une rente doit également reposer sur différents critères. Au nombre de ceux-ci figurent la divergence entre les douleurs décrites et le comportement observé, l'allégation d'intenses douleurs dont les caractéristiques demeurent vagues, l'absence de demande de soins, les grandes divergences entre les informations fournies par le patient et celles ressortant de l'anamnèse, le fait que des plaintes très démonstratives laissent insensible l'expert, ainsi que l'allégation de lourds handicaps malgré un environnement psychosocial intact (Mosimann, Somatoforme Störungen :
Gerichte und [psychiatrische] Gutachten, RSAS 1999, p. 1 ss et 105 ss; VSI 2000 p. 155 consid. 2c).
4.- a) Dans ses déterminations sur le recours, l'office AI du Valais fait observer que l'intimée souffre de fibromyalgie, ainsi que les docteurs C._ et D._ l'ont attesté (rapport du 29 juin 1998). A ce sujet, l'office se réfère à l'opinion du docteur E._, médecin-chef du Service ambulatoire de la Clinique Z._, qui estime que la fibromyalgie peut être assimilée à un trouble somatoforme, plus particulièrement au syndrome douloureux somatoforme persistant (Revue médicale de la Suisse romande, n° 6/2001, pp. 443 ss, spécialement p. 446).
Cela exposé, l'office AI du Valais remarque qu'on ignore la mesure dans laquelle le syndrome douloureux influencerait en l'espèce le degré de la capacité de travail attesté par les experts C._ et D._. Néanmoins, comme ces derniers ont mentionné en premier lieu ledit syndrome dans la liste des affections qu'ils ont diagnostiquées chez l'intimée, l'office estime que ce point a occupé une place prépondérante dans leur appréciation du cas.
b) Ainsi que l'office AI du Valais l'admet à juste titre au terme de son préavis, la gravité du syndrome douloureux et son éventuel caractère invalidant n'a pas été instruite à satisfaction. En effet, en l'absence d'une expertise psychiatrique répondant aux exigences posées par la jurisprudence (cf. VSI 2000 p. 155 consid. 2c), il est impossible de se prononcer sur l'incapacité de travail que ledit syndrome douloureux est éventuellement susceptible d'entraîner chez l'intimée (VSI 2000 p. 160 consid. 4b). En conséquence, il était prématuré de statuer sur le droit à la rente en l'état du dossier, si bien que les premiers juges ont annulé à bon droit les décisions des 10 mars et 17 novembre 2000.
La juridiction cantonale de recours a omis de se prononcer sur la décision du 27 mars 2000 dont l'intimée avait pourtant également requis l'annulation (cf. écriture du 20 avril 2000). Le sort de cette décision est toutefois lié à celui de la décision du 10 mars 2000, dès lors qu'elle porte sur des rentes complémentaires pour enfant. Pour les motifs exposés ci-dessus et par économie de procédure, il convient aussi de l'annuler.
c) En conséquence, la cause sera renvoyée à l'office AI du Jura (<ref-law>, 40 al. 3 RAI) afin qu'il reprenne l'instruction de la cause et statue à nouveau. S'il devait s'avérer que les faits invoqués dans un échange de lettres des 22 et 28 juin 2001 entre l'intimée et l'office AI du Valais sont survenus avant le 10 mars 2000, jour où la première décision litigieuse a été rendue, le recourant en tiendra également compte (cf. <ref-ruling> consid. 1b et les arrêts cités). Par ailleurs, les circonstances qui avaient amené l'intimée à réduire son activité lucrative en 1987 n'ont pas été suffisamment éclaircies, de sorte qu'il n'est pas non plus possible, en l'état, de se prononcer sur la méthode d'évaluation de l'invalidité qui est applicable au cas d'espèce (cf. <ref-ruling>).
5.- La juridiction cantonale a admis le recours et renvoyé la cause à l'administration afin qu'elle procède selon les considérants de son jugement. A teneur de ceux-ci, qui font partie intégrante du dispositif (cf. <ref-ruling>, SVR 1995 ALV n° 27 p. 68 consid. 1a), il incombe au recourant d'évaluer l'invalidité de l'intimée selon la méthode générale de comparaison des revenus et de statuer à nouveau.
Toutefois, en lieu et place de cette évaluation de l'invalidité, le recourant devra procéder conformément au consid. 4 du présent arrêt. Il s'ensuit que le jugement attaqué sera confirmé dans son dispositif, par substitution de motifs.
Comme le recourant succombe, il est redevable d'une indemnité de dépens à l'intimé (art. 159 al. 1 OJ).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté au sens des considérants.
II. La décision de l'Office de l'assurance-invalidité du canton du Valais du 27 mars 2000 est annulée.
III. Il n'est pas perçu de frais de justice.
IV. Le recourant versera à l'intimée la somme de 2500 fr.
à titre de dépens (y compris la taxe à la valeur ajoutée)
pour l'instance fédérale.
V. Le présent arrêt sera communiqué aux parties, à
l'Office de l'assurance-invalidité du canton du
Valais, à la Chambre des assurances du Tribunal
cantonal jurassien, ainsi qu'à l'Office fédéral des
assurances sociales.
Lucerne, le 9 octobre 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IIIe Chambre :
Le Greffier :