A.- Dans un certificat médical du 6 janvier 1997, le docteur A._ a attesté que sa patiente, B._, avait présenté une incapacité totale de travail du 23 novembre 1995 au 5 janvier 1997, et que ce taux s'élevait désormais à 50 % à partir du 6 janvier 1997. L'assurée a sollicité le versement d'indemnités de chômage à partir du 6 janvier 1997, en indiquant qu'elle était disposée et capable de travailler à 50 %; la Caisse d'assurance-chômage FTMH (la caisse de chômage) lui a alloué ses indemnités sur la base d'une aptitude au placement de 50 %. Par décision du 27 octobre 1997, l'Office cantonal AI du Valais a alloué une rente entière d'invalidité à B._, avec effet rétroactif au 1er novembre 1996. Cette prestation, fondée sur un degré d'invalidité de 75 %, a remplacé la rente de veuve que l'assurée avait perçu jusqu'au 31 octobre 1996. Par lettre du 16 octobre 1997, la caisse de chômage a fait savoir à son assurée que le montant total des indemnités de chômage aurait dû s'élever à 6014 fr. 70, compte tenu de son aptitude au placement de 25 %. Comme l'assurée avait perçu une somme totale de 10 697 fr. 80, la caisse de chômage l'a informée qu'elle allait s'adresser à la Caisse cantonale valaisanne de compensation afin d'obtenir le remboursement de 4683 fr. 10, correspondant aux prestations versées en trop. Dans le cadre de la compensation, la caisse de chômage n'a toutefois pu obtenir qu'une somme de 2463 fr. Aussi, par décision du 10 novembre 1997, ladite caisse a-t-elle invité l'assurée à lui restituer la somme de 2220 fr. 10, correspondant à la différence restée impayée. B.- B._ a recouru contre cette décision devant la Commission cantonale valaisanne de recours en matière de chômage, en concluant à son annulation. Par jugement du 9 novembre 2000, la juridiction cantonale a admis le recours et annulé la décision du 10 novembre 1997, avec allocation de dépens. C.- Le Secrétariat d'Etat à l'économie (seco) interjette recours de droit administratif contre ce jugement dont il requiert l'annulation, en concluant au rétablissement de la décision de la caisse de chômage du 10 novembre 1997. Tandis que cette dernière renonce à intervenir dans la procédure fédérale, l'intimée conclut de son côté au rejet du recours, avec suite de dépens. Les premiers juges ont produit des déterminations, auxquelles l'intimée se rallie.