A.- a) Souffrant notamment d'une neuronite vestibulaire de l'oreille droite (rapport du docteur X._, médecin traitant, du 14 novembre 1998) et de troubles anxieux avec agoraphobie (rapport du docteur Y._, spécialiste en psychiatrie et psychothérapie, du 30 octobre 1999), A._ s'est annoncée à l'assurance-invalidité.
Lors de l'évaluation de l'invalidité, l'Office cantonal AI du Valais (l'office AI) a estimé que la part des tâches ménagères de l'assurée serait la même que celle de ses activités lucratives, soit 50 %. L'administration a estimé que l'assurée ne subissait ni incapacité de travail ni invalidité dans ses travaux ménagers; en revanche, elle a arrêté ces taux à 25 % dans l'activité lucrative que l'assurée souhaitait exercer. Le degré global d'invalidité s'élevant ainsi à 12,5 %, l'office AI a nié le droit de l'assuré à une rente, par décision (entrée en force) du 3 décembre 1999.
b) Par lettre du 27 mars 2000 (reçue le 29), l'assurée a annoncé une aggravation de son état de santé, en invitant l'office AI à "poursuivre rétroactivement le dossier". Elle a produit une attestation du docteur X._ du 28 avril 2000, dans laquelle ce médecin précisait que sa patiente souffrait désormais d'un carcinome épidermoïde du col utérin et qu'elle était entièrement incapable de travailler depuis le 15 février 2000.
Par décision du 21 juillet 2000, l'office AI a informé l'assurée qu'il instruirait la demande de prestations en février 2001, soit à l'échéance du "délai de carence" d'une année.
B.- A._ a déféré cette décision au Tribunal des assurances du canton du Valais, en demandant que "l'effet rétroactif de la maladie soit reconnu et analysé dans toute sa gravité".
Par jugement du 9 février 2001, la juridiction cantonale a admis le recours, annulé la décision du 21 juillet 2000, et renvoyé la cause à l'office AI afin qu'il invite sans délai l'assurée à établir de manière plausible que son invalidité s'était modifiée de manière à influencer ses droits.
C.- L'office AI interjette recours de droit administratif contre ce jugement dont il demande l'annulation, en concluant au rétablissement de sa décision.
L'intimée s'en remet à justice, tandis que l'Office fédéral des assurances sociales (OFAS) ne s'est pas déterminé.

Considérant en droit :
1.- a) On peut préliminairement se demander si le recourant n'aurait pas dû considérer l'écriture de l'intimée du 27 mars 2000 comme une demande de reconsidération de la décision du 3 décembre 1999.
b) A cet égard, il faut rappeler queselon un principe général du droit des assurances sociales, l'administration peut reconsidérer une décision formellement passée en force de chose jugée et sur laquelle une autorité judiciaire ne s'est pas prononcée quant au fond, à condition qu'elle soit sans nul doute erronée et que sa rectification revête une importance notable (<ref-ruling> consid. 4b, 46 consid. 2b, 125 V 389 consid. 3 et les arrêts cités).
En outre, par analogie avec la révision des décisions rendues par les autorités judiciaires, l'administration est tenue de procéder à la révision d'une décision entrée en force formelle lorsque sont découverts des faits nouveaux ou de nouveaux moyens de preuve, susceptibles de conduire à une appréciation juridique différente (<ref-ruling> consid. 4b, 46 consid. 2b et les références).
c) Cette question peut rester indécise, car une telle demande de reconsidération aurait, quoi qu'il en soit, dû être rejetée en l'état du dossier. En effet, il ne ressort pas du rapport du docteur X._ du 28 avril 2000 (produit dans le cadre de la demande du 29 mars 2000) que le degré de la capacité de travail de l'intimée aurait été mal évalué en 1999, de sorte que la décision du 3 décembre 1999 n'était pas manifestement erronée au sens où la jurisprudence l'entend.
2.- a) En l'espèce, le recourant a assimilé la lettre de l'intimée du 27 mars 2000 à une demande de révision au sens de l'art. 87 al. 3 et 4 RAI. En conséquence, il a fait savoir à l'assurée qu'il lui incombait d'établir de manière plausible que son invalidité s'était modifiée depuis le 3 décembre 1999, de manière à influencer ses droits (cf.
réponse du recourant du 29 mars 2000).
b) Selon l'<ref-law>, le droit à la rente au sens de l'art. 28 prend naissance au plus tôt à la date dès laquelle l'assuré a présenté, en moyenne, une incapacité de travail de 40 pour cent au moins pendant une année sans interruption notable. La jurisprudence rendue à propos de cette disposition légale et de l'ancien ch. 3024 des directives de l'OFAS concernant l'invalidité et l'impotence a précisé que la diminution de la capacité de travail est notable lorsqu'elle atteint 20 % (VSI 1998 p. 126).
Par ailleurs, la demande de révision doit établir de manière plausible que l'invalidité ou l'impotence de l'assuré s'est modifiée de manière à influencer ses droits (<ref-law>). Lorsque la rente ou l'allocation pour impotent a été refusée parce que le degré d'invalidité était insuffisant ou parce qu'il n'y avait pas d'impotence, la nouvelle demande ne peut être examinée que si les conditions prévues au 3e alinéa sont remplies (<ref-law>).
c) Les premiers juges semblent avoir pris en compte le taux d'incapacité de travail moyen existant en décembre 1999 (12, 5 %) lorsqu'ils ont cherché à déterminer la date à partir de laquelle l'intimée avait présenté, en moyenne, une incapacité de travail de 40 % au moins au sens de l'<ref-law>. Une telle manière de procéder eût certes été conforme à la jurisprudence (cf. VSI 1998 p. 126) si le taux d'incapacité de travail s'était élevé à 20 % au moins, le 3 décembre 1999. Tel n'était pourtant pas encore le cas à cette date-là.
Dès lors, le recourant a retenu à juste titre, dans sa décision du 21 juillet 2000, que la période de carence d'une année prévue par l'<ref-law> n'avait débuté qu'en février 2000, en d'autres termes que la demande de prestations de l'intimée était prématurée. Le recours est bien fondé.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est admis et le jugement du Tribunal des
assurances du canton du Valais du 9 février 2001 est
annulé.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton du Valais et à l'Office fédéral des assurances sociales.
Lucerne, le 13 août 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IIIe Chambre :
Le Greffier :