A.- Dans un certificat médical du 6 janvier 1997, le docteur A._ a attesté que sa patiente, B._, avait présenté une incapacité totale de travail du 23 novembre 1995 au 5 janvier 1997, et que ce taux s'élevait désormais à 50 % à partir du 6 janvier 1997.
L'assurée a sollicité le versement d'indemnités de chômage à partir du 6 janvier 1997, en indiquant qu'elle était disposée et capable de travailler à 50 %; la Caisse d'assurance-chômage FTMH (la caisse de chômage) lui a alloué ses indemnités sur la base d'une aptitude au placement de 50 %.
Par décision du 27 octobre 1997, l'Office cantonal AI du Valais a alloué une rente entière d'invalidité à B._, avec effet rétroactif au 1er novembre 1996.
Cette prestation, fondée sur un degré d'invalidité de 75 %, a remplacé la rente de veuve que l'assurée avait perçu jusqu'au 31 octobre 1996.
Par lettre du 16 octobre 1997, la caisse de chômage a fait savoir à son assurée que le montant total des indemnités de chômage aurait dû s'élever à 6014 fr. 70, compte tenu de son aptitude au placement de 25 %. Comme l'assurée avait perçu une somme totale de 10 697 fr. 80, la caisse de chômage l'a informée qu'elle allait s'adresser à la Caisse cantonale valaisanne de compensation afin d'obtenir le remboursement de 4683 fr. 10, correspondant aux prestations versées en trop.
Dans le cadre de la compensation, la caisse de chômage n'a toutefois pu obtenir qu'une somme de 2463 fr. Aussi, par décision du 10 novembre 1997, ladite caisse a-t-elle invité l'assurée à lui restituer la somme de 2220 fr. 10, correspondant à la différence restée impayée.
B.- B._ a recouru contre cette décision devant la Commission cantonale valaisanne de recours en matière de chômage, en concluant à son annulation.
Par jugement du 9 novembre 2000, la juridiction cantonale a admis le recours et annulé la décision du 10 novembre 1997, avec allocation de dépens.
C.- Le Secrétariat d'Etat à l'économie (seco) interjette recours de droit administratif contre ce jugement dont il requiert l'annulation, en concluant au rétablissement de la décision de la caisse de chômage du 10 novembre 1997.
Tandis que cette dernière renonce à intervenir dans la procédure fédérale, l'intimée conclut de son côté au rejet du recours, avec suite de dépens. Les premiers juges ont produit des déterminations, auxquelles l'intimée se rallie.

Considérant en droit :
1.- a) Le litige porte sur la restitution d'indemnités de chômage que la caisse de chômage n'a pas pu récupérer par voie de compensation, à la suite de l'octroi avec effet rétroactif d'une rente de l'assurance-invalidité.
b) Dans la procédure de recours concernant l'octroi ou le refus de prestations d'assurance, le pouvoir d'examen du Tribunal fédéral des assurances n'est pas limité à la violation du droit fédéral - y compris l'excès et l'abus du pouvoir d'appréciation - mais s'étend également à l'opportunité de la décision attaquée. Le tribunal n'est alors pas lié par l'état de fait constaté par la juridiction inférieure, et il peut s'écarter des conclusions des parties à l'avantage ou au détriment de celles-ci (art. 132 OJ).
Le Tribunal fédéral des assurances n'étant pas lié par les motifs que les parties invoquent (art. 114 al. 1 en corrélation avec l'art. 132 OJ), il examine d'office si le jugement attaqué viole des normes de droit public fédéral ou si la juridiction de première instance a commis un excès ou un abus de son pouvoir d'appréciation (art. 104 let. a OJ). Il peut ainsi admettre ou rejeter un recours sans égard aux griefs soulevés par le recourant ou aux raisons retenues par le premier juge (<ref-ruling> consid. 2b, 119 V 28 consid. 1b, 442 consid. 1a et les références).
2.- a) Selon l'art. 8 al. 1 let. f LACI, l'assuré a droit à l'indemnité de chômage s'il est apte au placement.
Aux termes de l'<ref-law>, le handicapé physique ou mental est réputé apte à être placé lorsque, compte tenu de son infirmité et dans l'hypothèse d'une situation équilibrée sur le marché de l'emploi, un travail convenable pourrait lui être procuré sur ce marché; le Conseil fédéral règle la coordination avec l'assurance-invalidité. D'après l'art. 15 al. 3, première phrase, OACI, lorsque, dans l'hypothèse d'une situation équilibrée sur le marché du travail, un handicapé n'est pas manifestement inapte au placement et qu'il s'est annoncé à l'assurance-invalidité ou à une autre assurance selon le deuxième alinéa, il est réputé apte au placement jusqu'à la décision de l'autre assurance.
L'assuré qui reçoit des indemnités de chômage pour une certaine période et qui, ultérieurement, est mis au bénéfice d'une rente de l'assurance-invalidité pour la même période est tenu de restituer les indemnités perçues; lorsque l'assuré, malgré le versement d'une rente, disposait d'une capacité résiduelle de gain susceptible d'être mise à profit, le montant soumis à restitution est proportionnel au degré de l'incapacité de gain (DTA 1999 n° 39 pp. 229-230 consid. 2a et les arrêts cités).
b) Dans le même arrêt (DTA 1999 n° 39 p. 231 consid. 3a), le Tribunal fédéral des assurances a par ailleurs considéré ce qui suit, à propos de la compensation d'indemnités de chômage avec des rentes d'invalidité échues.
Selon l'<ref-law>, édicté par le Conseil fédéral en application des art. 94 al. 2 et 95 LACI, lorsqu'une caisse verse des indemnités de chômage et qu'ultérieurement une autre assurance sociale fournisse, pour la même période, des prestations qui ont pour effet d'entraîner le remboursement de l'indemnité de chômage, la caisse exige la compensation en s'adressant à l'assureur compétent.
Conformément au principe de la concordance temporelle exprimé par cette disposition réglementaire, seuls les jours pour lesquels l'assuré a été indemnisé par l'assurance-chômage peuvent être pris en considération pour la compensation et non pas toute la période de chômage coïncidant avec celle pendant laquelle la rente de l'assurance-invalidité a été versée (<ref-ruling> consid. 5b). En d'autres termes, il faut, le cas échéant, tenir compte du fait que l'assuré n'a pas perçu des indemnités pour certains jours ou certains mois au cours de la période considérée. Dès lors, pour calculer le montant des rentes avec lesquelles la compensation peut être opérée, on applique la formule suivante (voir le chiffre 23 de la circulaire de juillet 1986 de l'Office fédéral de l'industrie, des arts et métiers et du travail [actuellement : seco] concernant la restitution de prestations indûment versées, la compensation et le traitement des demandes de remise) :
prestations de l'AI x nombre d'indemnités de chômage
(montant mensuel) (période de contrôle)
_
21,7
c) Les considérants de la commission de recours, relatifs à la capacité résiduelle de travail de l'assurée intimée, de même que les moyens de l'office recourant, touchant au gain assuré et à l'aptitude au placement, ainsi que ceux de l'intimée, méconnaissent la jurisprudence exposée précédemment. Dénués de toute pertinence pour la solution du litige, on ne les exposera pas plus dans le présent arrêt.
3.- En l'occurrence, les premiers juges n'ont pas vérifié l'exactitude du montant de 4683 fr. 10 dont la caisse de chômage a demandé la compensation, ni a fortiori celui de 2220 fr. 10 qui a fait l'objet de la décision en restitution, dès lors qu'ils ont admis le recours de l'intimée pour des motifs erronés. Quant au recourant, il a certes pris des conclusions chiffrées, mais il ne s'est pas non plus prononcé sur le bien-fondé du calcul de la caisse de chômage.
Le dossier de l'assurance-chômage dont on dispose est d'ailleurs incomplet. En effet, on ne trouve aucune trace des décomptes initiaux des indemnités journalières sur la base desquels la caisse de chômage avait alloué ses prestations, de sorte qu'il n'est pas possible de vérifier les allégués de la caisse de chômage (voir le tableau résumant sa demande de restitution, daté du 14 octobre 1997). Par ailleurs, on ignore si la caisse de chômage s'est conformée au chiffre 23 de la circulaire précitée du seco, car le calcul prescrit n'apparaît pas non plus au dossier de la cause.
Sous peine de faire perdre à l'assurée une instance de recours, il convient dès lors de retourner le dossier aux premiers juges afin qu'ils procèdent à cet examen et statuent à nouveau sur le recours dont ils sont saisis.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est admis en ce sens que le jugement de la
Commission cantonale valaisanne de recours en matière
de chômage du 9 novembre 2000 est annulé, la cause
étant renvoyée à ladite commission pour qu'elle
procède conformément aux considérants.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, à la Commission cantonale valaisanne de recours en matière de chômage, ainsi qu'à la Caisse d'assurance-chômage
FTMH.
Lucerne, le 21 novembre 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IVe Chambre :
Le Greffier :