A.- A._ a travaillé en qualité d'assistante sociale à l'Hôpital X._, à plein temps dès l'année 1970, puis à 80 % à partir de 1987. Invoquant des douleurs lombaires et cervicales, une fatigue excessive ainsi que des crises de migraine fréquentes (rapport de la doctoresse B._, du 11 novembre 1997), elle a sollicité le versement d'une rente de l'assurance-invalidité, le 7 octobre 1997. L'Office de l'assurance-invalidité du canton du Jura (l'office AI du Jura) a recueilli l'avis des docteurs C._ et D._, médecins au Service de rhumatologie, médecine physique et rééducation de l'Hôpital Y._. Dans leur rapport d'expertise du 29 juin 1998, ces derniers ont diagnostiqué, parmi d'autres affections, un syndrome douloureux chronique de l'appareil locomoteur (fibromyalgie), des lombo-sciatalgies gauches et des migraines chroniques. En raison de ces troubles, les docteurs C._ et D._ ont estimé que la capacité de travail de l'assurée dans son activité d'assistante sociale s'élevait entre 50 et 60 %. L'administration en a déduit que le taux d'invalidité de l'assurée dans son activité lucrative était de 50 %. L'office AI du Jura a appliqué la méthode mixte d'évaluation de l'invalidité et arrêté la part des activités lucratives et ménagères de l'assurée respectivement à 80 % et 20 %. Dans l'exercice des tâches ménagères, il a retenu un taux d'invalidité de 30 % (cf. enquête économique sur le ménage du 30 septembre 1998). Par décision du 10 mars 2000, l'office AI du Jura a alloué un quart de rente simple d'invalidité à l'assurée, ainsi que deux rentes complémentaires simples pour enfant, fondées sur un degré d'invalidité de 46 % (50 % de 80 %, 30 % de 20 %). L'assurée s'est établie en Valais en décembre 1999. Le 27 mars 2000, l'Office de l'assurance-invalidité du canton du Valais (l'office AI du Valais) a rendu une décision portant sur les rentes complémentaires pour enfant. Ultérieurement, par décision du 17 novembre 2000, il a adapté le montant des rentes dès le 1er décembre 2000. Dans celles-ci, il n'a pas remis en cause le taux d'invalidité retenu par l'office AI du Jura. B.- A._ a recouru contre ces trois décisions devant la Chambre des assurances du Tribunal cantonal jurassien, en concluant à l'octroi d'une demi-rente d'invalidité dès le 1er décembre 1997 pour elle-même, assorties des rentes complémentaires correspondantes. Par jugement du 8 mars 2001, la juridiction cantonale a admis les recours et annulé les décisions des 10 mars et 17 novembre 2000. En bref, elle a considéré que l'assurée avait réduit son activité professionnelle en 1997, soit un peu plus de huit mois avant le dépôt de sa demande de prestations. En conséquence, les premiers juges ont estimé que l'administration aurait dû appliquer la méthode générale de comparaison des revenus au lieu de la méthode mixte, si bien que la cause devait être renvoyée à l'office AI pour qu'il procède à l'évaluation de l'invalidité selon cette méthode. C.- L'office AI du Jura interjette recours de droit administratif contre ce jugement dont il demande l'annulation, en concluant au rétablissement de sa décision du 10 mars 2000, ce que l'Office fédéral des assurances sociales propose également. Quant à l'office AI du Valais, il invite le Tribunal fédéral des assurances à admettre le recours de l'office AI du Jura et à ordonner un complément d'instruction, aux termes d'un préavis circonstancié qui sera résumé ci-après. L'intimée conclut au rejet du recours, avec suite de dépens. Elle précise qu'elle avait saisi l'office AI du Valais d'une nouvelle demande de prestations, le 13 février 2001; comme celle-ci porte sur des faits survenus en 1999, soit antérieurement à la première décision litigieuse, elle invite le Tribunal fédéral des assurances à statuer sur ladite demande.